使用data传输数据时，必须将urlencode方法将data的数据转换为bytes类型。
在使用urlopen方法时，如果不使用data参数，则使用的get方式传送数据，如果使用了data参数，则是以post的方式传送数据。post的方式必须保证要爬取的网站上有相应的方法(上面代码要爬取的网址是，post就是要处理我们通过data参数传输数据的方法)，否则会报urllib.error.HTTPError: HTTP Error 404: NOT FOUND的错误。
timeout参数的用法：
该参数是用于设置请求超时时间，免得出现网络故障或服务器异常时我们的爬虫程序长时间等：
import urllib.request as request
response = request.urlopen('http://www.bigdata17.com', timeout=1)
print(response.read())
如果将timeout设置为0.01，则会报如下的错误：
socket.timeout: timed out
During handling of the above exception, another exception
设置请求头信息：
请求的头信息一般对带有浏览器的信息，很多网站根据请求头信息来判断该请求是正常的浏览器发起的还是由爬虫发起的。设置爬虫头信息方法：
from urllib import request, parse
url = 'http://httpbin.org/post'
headers = {
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Host': 'httpbin.org'
}
dict = {
'name': 'bigdata17'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))
设置代理：
如果一个ip过于频繁的访问某一个网站时，根据反爬虫措施，会限制该IP的访问。我们可以通过urllib提供的ProxyHandler方法来设置代理：
import urllib.request
proxy_handler = urllib.request.ProxyHandler({'http': 'http://www.bigdata17.com:3128/'})
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()
proxy_auth_handler.add_password('realm', 'host', 'username', 'password')
opener = urllib.request.build_opener(proxy_handler, proxy_auth_handler)
# This time, rather than install the OpenerDirector, we use it directly:
opener.open('https://accounts.douban.com/login?alias=&redir=https%3A%2F%2F%2F&source=index_nav&error=1001')
