蟒蛇 - 网页抓取BeautifulSoup和urllib的

Question

我使用python 3.4和我的脚本是这样的：

import urllib 
from urllib.request import Request, urlopen 
from urllib.error import URLError, HTTPError 
from bs4 import BeautifulSoup 

url = "http://www.embassy-worldwide.com/" 

headers={'User-Agent': 'Mozilla/5.0'} 
#req = Request(url, headers) 

try: 
    req = urllib.request.Request(url, headers) 
    #print (req) 
except HTTPError as e: 
    print('Error code: ', e.code) 
except URLError as e: 
    print('Reason: ', e.reason) 
else: 
    print('good!') 

print (req) 

#html = urllib.request.urlopen(req) 
with urllib.request.urlopen(req) as response: 
    html = response.read() 
print(html) 

上述导致错误代码：

ValueError异常：内容长度应指定可以迭代的数据{'User-Agent'：'Mozilla/5.0'}

如何获取html代码然后遍历标签以获取所有国家的列表？

Answer 1

尝试这种风格在urllib3：

import sys 
import re 
import time 
import pprint 
import codecs 
import unicodedata 
import urllib3 
import json 

urllib3.disable_warnings() 

cookie = '_session_id=29913b5f1b8836d2a8387ef4db00745e' 
header = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/536.26.17 (KHTML, like Gecko) Version/6.0.2 Safari/536.26.17' 
url = 'https://yoururl.com/' 
m = urllib3.PoolManager(num_pools = 15) 

r = m.request('GET', url, None, {'User-Agent' : header, 'Cookie' : cookie}) 

print(r.data) 

的进口超过需要。这只是我使用的刮刀的一大部分的片段。我使用一些正则表达式，因为我需要的小片段在正则表达式中比完整的优化器实现更快。