新增完成后,还需要在配置文件 settings 中开启这个下载器中间件,找到 DOWNLOADER_MIDDLEWARES ,将注释去掉,修改为:
DOWNLOADER_MIDDLEWARES = { 'first_scrapy.middlewares.UaDownLoaderMiddleware': 543, }到这里,我们的修改就完成了,可以重新运行这只爬虫:
scrapy crawl httpbin结果部分截取如下:
{ "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Encoding": "gzip,deflate,br", "Accept-Language": "en", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" }, "origin": "183.195.68.215, 183.195.68.215", "url": "https://httpbin.org/get" }可以看到,这里响应的 UA 已经变成了我们刚才设置的 UA 头,证明我们的修改是成功的。
本篇就先到这里了,希望各位同学可以自己动手试一下。
示例代码本系列的所有代码小编都会放在代码管理仓库 Github 和 Gitee 上,方便大家取用。
示例代码-Github
示例代码-Gitee
参考https://docs.scrapy.org/en/latest/topics/downloader-middleware.html