win10，Python3.6，pycharm，未设虚拟环境
之前写的爬虫并没有架构的思想，且不具备面向对象的特征，现在写一个基础爬虫架构，爬取百度百科，首先介绍一下基础爬虫框架的五大模块功能，包括爬虫调度器，URL管理器，HTML下载器，HTML解析器，数据存储器，功能分析如下：
>>爬虫调度器主要负责统筹其他四个模块的协调工作
>>URL管理器负责管理URL链接，维护已经爬取的URL集合和未爬取的URL集合，提供获取新URL链接的接口
>>HTML下载器用于从URL管理器中获取未爬取的URL链接并下载HTML网页
>>HTML解析器用于从HTML下载器中获取已经下载的HTML网页，并从中解析出新的URL链接交给URL管理器，解析出有效数据交给数据存储器
>>数据存储器用于将HTML解析器解析出来的数据通过文件或者数据库的形式存储起来
URL管理器：URL管理器主要包括两个变量，一个是已爬取的URL集合，另一个是未爬取的URL集合；链接去重很重要，因为爬取链接重复时容易造成死循环，防止链接重复方法主要有三种，一是内存去重，二是关系数据库去重，三是缓存数据库去重；大型成熟的爬虫基本上采用缓存数据库的去重方案，尽可能避免内存大小的限制，又比关系型数据库去重性能高得多（每爬一个链接之前都要在数据库中查询一遍）；由于基础爬虫的爬取数量较小，因此我们使用Python中set这个内存去重方式
在pycharm中新建一个python项目，然后新建一个URLManager.py文件，敲入以下代码：
class UrlManager(object): def __init__(self): self.new_urls = set()#未爬取URL集合 self.old_urls = set()#已爬取URL集合 def has_new_url(self): \'\'\' 判断是否有未爬取的url :return \'\'\' return self.new_url_size()!= 0 def get_new_url(self): \'\'\' 获取一个未爬取的url :return: \'\'\' new_url = self.new_urls.pop() self.old_urls.add(new_url) return new_url def add_new_url(self,url): \'\'\' 将新的url添加到未爬取的URL集合中 :return: \'\'\' if url is None: return if url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) def add_new_urls(self,urls): \'\'\' 将新的URL添加到未爬取的URL集合中 \'\'\' if urls is None or len(urls)==0: return for url in urls: self.add_new_url(url) def new_url_size(self): \'\'\' 获取未爬取URL集合的大小 \'\'\' return len(self.new_urls) def old_url_size(self): \'\'\' 获取已经爬取URL集合的大小 \'\'\' return len(self.old_urls)