所谓网页抓取，就是把URL地址中指定的网络资源从网络流中抓取出来。在Python中有很多库可以用来抓取网页，我们先学习urllib.request。
Python模块源代码： C:\Users\haoch\Anaconda3\Lib
urllib.request源代码:C:\Users\haoch\Anaconda3\Lib\urllib\request.py
1.1 urlopen我们先来看源代码
# data没写-> get请求，否则是Post请求 def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, *, cafile=None, capath=None, cadefault=False, context=None): global _opener if cafile or capath or cadefault: import warnings warnings.warn("cafile, cpath and cadefault are deprecated, use a " "custom context instead.", DeprecationWarning, 2) if context is not None: raise ValueError( "You can't pass both context and any of cafile, capath, and " "cadefault" ) if not _have_ssl: raise ValueError('SSL support not available') # 知识点1： 做SSL认证 context = ssl.create_default_context(ssl.Purpose.SERVER_AUTH, cafile=cafile, capath=capath) # 知识点2： 通过HTTPS处理器创建处理器对象 https_handler = HTTPSHandler(context=context) # 知识点3： 将处理器对象包进去 opener = build_opener(https_handler) elif context: https_handler = HTTPSHandler(context=context) opener = build_opener(https_handler) elif _opener is None: _opener = opener = build_opener() else: opener = _opener # 知识点4： 自定义的open方法 return opener.open(url, data, timeout) 1.2. 用urlopen来获取网络源代码 # 导入urllib2 库 import urllib.request # 向指定的url发送请求，并返回服务器响应的类文件对象 response = urllib.request.urlopen("http://www.baidu.com/") # 类文件对象支持 文件对象的操作方法，如read()方法读取文件全部内容，返回字符串 html = response.read() print(html)实际上，如果我们在浏览器上打开百度主页， 右键选择“查看源代码”，你会发现，跟我们刚才打印出来的是一模一样。也就是说，上面的4行代码就已经帮我们把百度的首页的全部代码爬了下来。
1.3. urllib.request.Request的使用如果需要执行更复杂的操作，比如增加HTTP报头，必须创建一个 Request 实例来作为urlopen()的参数；而需要访问的url地址则作为 Request 实例的参数。
import urllib.request # url 作为Request()方法的参数，构造并返回一个Request对象 request = urllib.request.Request("http://www.baidu.com") # Request对象作为urlopen()方法的参数，发送给服务器并接收响应 response = urllib.request.urlopen(request) html = response.read() print html不加user-agent-请求信息
上面的例子中有一个最大缺点是不能给请求添加head，不能更改User-Agent的默认值，那么urlopen中User-Agent的值是什么呢，让我们来看源代码
class OpenerDirector: def __init__(self): # __version__ = '%d.%d' % sys.version_info[:2]--->sys.version[:3] = 3.7 client_version = "Python-urllib/%s" % __version__ # client_version = Python-urllib 3.7 self.addheaders = [('User-agent', client_version)] # self.handlers is retained only for backward compatibility self.handlers = [] # manage the individual handlers self.handle_open = {} self.handle_error = {} self.process_response = {} self.process_request = {}urllib2默认的 User-Agent:Python-urllib 3.7，被管理员看到后，容易被封IP，应该重构我们的User-Agent
2.1) 为什么要用User-Agent?我们用一个合法的身份去请求别人网站，显然人家就是欢迎的，所以我们就应该给我们的这个代码加上一个身份，就是所谓的User-Agent头。
浏览器 就是互联网世界上公认被允许的身份，如果我们希望我们的爬虫程序更像一个真实用户，那我们第一步就是需要伪装成一个被浏览器。用不同的浏览器在发送请求的时候，会有不同的 User-Agent 报头。
urllib.request默认的User-Agent头为：Python-urllib/x.y （x和y 是Python 主.次 版本号，例如 Python-urllib/3.7）
2.2) 如何添加User-Agent信息到请求中去？首先我们用抓包工具抓取请求，在其中获取User-Agent的值