1.安装scrapy框架:pip install scrapy
2.使用cmd窗口命令创建项目:
①进入要创建项目的路径
②scrapy startproject qsbk(项目名),创建爬虫scrapy genspider qsbk_sqider
③pycharm下打开刚才创建的项目
④修改settings下的ROBOTSTXT_OBEY=False
⑤再添加下面DEFAULT_REQUEST_HEADERS添加headers信息
⑥指定项目名文件下的start_url信息,改成要爬取的网页
⑦项目名下添加start文件,就是执行代码的主文件,如下:
from scrapy import cmdline cmdline.execute("scrapy crawl qsbk_spider".split())