Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
开发流程开发一个简单爬虫步骤：
新建项目
scrapy startproject demo
编写spider
种子url （请求)
解析方法
编写item
结果数据模型
持久化
编写pipelines
通常我们解析都会涉及到 xpath csspath 正则，有的时候可能还有jsonpath（python中json访问基本不用使用复杂的jsonpath，字典访问就可以)
scrapy 内置xpath、csspath以及 正则支持
而解析器本身也可以单独使用
xpath()
extract_first()
extract() #返回一个列表
索引访问，因为scrapy.selector.unified.SelectorList继承list，可以通过索引访问
from scrapy import Selector if __name__ == \'__main__\': body = """<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <p>hello</p> <p>hello</p> </body> </html>""" s = Selector(text=body) title=s.xpath("//title/text()").extract_first();#抽取 print(title) #Title pe = s.xpath("//p") print(s.xpath("//p").extract()) #[\'<p>hello</p>\', \'<p>hello</p>\'] print(pe) #[<Selector xpath=\'//p\' data=\'<p>hello</p>\'>, <Selector xpath=\'//p\' data=\'<p>hello</p>\'>] print(type(pe)) #<class \'scrapy.selector.unified.SelectorList\'> print(type(pe[0])) #通过索引访问 #<class \'scrapy.selector.unified.Selector\'> print(type(pe.pop())) #<class \'scrapy.selector.unified.Selector\'> p=s.xpath("//p").extract_first() print(p)css()
css选择器我们::text选择内容，用::attr() 选择属性
css()和xpath()混用
scrapy.selector.unified.SelectorList scrapy.selector.unified.Selector 本身有css和xpath方法，所以可以组合使用
re()和re_first()
scrapy.selector.unified.SelectorList scrapy.selector.unified.Selector 拥有 re()方法，支持通过正则来过滤
但re()返回列表，.re_first返回str，所以不能再继续调用其他的选择方法
在爬虫中使用解析器response对象已经
class GiteeSpider(scrapy.Spider): name = \'gitee\' allowed_domains = [\'gitee.com\'] start_urls = [\'https://gitee.com/haimama\'] def parse(self, response): print(type(response)) t=response.xpath("//title/text()").extract_first() print(t) ##启动爬虫执行后的结果 # 执行结果省略日志 # <class \'scrapy.http.response.html.HtmlResponse\'> # 码马 (haimama) - Giteeresponse对象类型为 scrapy.http.response.html.HtmlResponse，该类继承TextResponse 。拥有xpath()和css()方法如下