Python2/3中的urllib库相关用法(2)

在Python2.X中，urllib模块和urllib2模块通常一起使用，因为urllib.urlencode()可以对URL参数进行编码，而urllib2.Request()可以构建Request对象，定制请求头，然后统一使用urllib2.urlopen()发送请求。

传递POST请求

import urllib.request import urllib.parse url = 'https://passport.cnblogs.com/user/signin?' post = { 'username': 'xxx', 'password': 'xxxx' } postdata = urllib.parse.urlencode(post).encode('utf-8') req = urllib.request.Request(url, postdata) r = urllib.request.urlopen(req)

我们在进行注册、登录等操作时，会通过POST表单传递信息。

这时，我们需要分析页面结构，构建表单数据post，使用urlencode()进行编码处理，返回字符串，再指定’utf-8’的编码格式，这是因为POSTdata只能是bytes或者file object。最后通过Request()对象传递postdata，使用urlopen()发送请求。

下载远程数据到本地

import urllib.request url = "https://www.python.org/static/img/python-logo.png" urllib.request.urlretrieve(url, "python-logo.png")

爬取图片、视频等远程数据时，可使用urlretrieve()下载到本地。

第一个参数为要下载的url，第二个参数为下载后的存放路径。

该样例下载python官网logo到当前目录下，返回元组(filename, headers)。

设置代理IP

import urllib.request url = "https://www.cnblogs.com/" proxy_ip = "180.106.16.132:8118" proxy = urllib.request.ProxyHandler({'http': proxy_ip}) opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler) urllib.request.install_opener(opener) r = urllib.request.urlopen(url)

有时频繁的爬取一个网页，会被网站服务器屏蔽IP。这时，可通过上述方法设置代理IP。

首先，通过网上代理IP的网站找一个可以用的IP，构建ProxyHandler()对象，将’http’和代理IP以字典形式作为参数传入，设置代理服务器信息。再构建opener对象，将proxy和HTTPHandler类传入。通过installl_opener()将opener设置成全局，当用urlopen()发送请求时，会使用之前设置的信息来发送相应的请求。

异常处理

import urllib.request import urllib.error url = "" try: r = urllib.request.urlopen(url) except urllib.error.URLError as e: if hasattr(e, 'code'): print(e.code) if hasattr(e, 'reason'): print(e.reason)

可以使用URLError类，处理一些URL相关异常。导入urllib.error，捕获URLError异常后，因为只有发生HTTPError异常（URLError子类）时，才会有异常状态码e.code，所以需要判断异常是否有属性code。

Cookie的使用

import urllib.request import http.cookiejar url = "" cjar = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar)) urllib.request.install_opener(opener) r = urllib.request.urlopen(url)

通过无状态协议HTTP访问网页时，Cookie维持会话间的状态。例如：有些网站需要登录操作，第一次可通过提交POST表单来登录，当爬取该网站下的其它站点时，可以使用Cookie来保持登录状态，而不用每次都通过提交表单来登录。

首先，构建CookieJar()对象cjar，再使用HTTPCookieProcessor()处理器，处理cjar，并通过build_opener()构建opener对象，设置成全局，通过urlopen()发送请求。

官方文档

Python2.X： urllib、urllib2

Python3.X： urllib.request