最近在学习网络爬虫，完成了一个比较简单的python网络爬虫。首先为什么要用爬虫爬取信息呢，当然是因为要比人去收集更高效。
网络爬虫，可以理解为自动帮你在网络上收集数据的机器人。
网络爬虫简单可以大致分三个步骤：
第一步要获取数据，
第二步对数据进行处理，
第三步要储存数据。
获取数据的时候这里我用到了python的urllib标准库，它是python中非常方便抓取网页内容的一个模块。
具体为：
这里我要爬取的是电影天堂一个电影页面的电影名称，日期等数据。
1 from urllib import request 2 def get_data ( ): 3 url=\'\' 4 headers={\'User-Agent\': \' Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36\' } 5 req=request.Request(url, headers=headers) 6 response=request.urlopen(req) 7 # print (type(response)) #响应对象的类型 8 # print(response.getcode()) #响应状态码 9 # print(response.info()) 10 if response.getcode() == 200: 11 data=response.read()#读取响应的结果 12 data =str(data,encoding=\'gb2312\') 13 #print(data) 14 #将数据写入文件中 15 with open (\'index.html\',mode=\'w\',encoding=\'gb2312\') as f: 16 f.write(data)