小白学 Python 爬虫(36):爬虫框架 Scrapy 入门基础(四) Downloader Middleware (3)

新增完成后,还需要在配置文件 settings 中开启这个下载器中间件,找到 DOWNLOADER_MIDDLEWARES ,将注释去掉,修改为:

DOWNLOADER_MIDDLEWARES = { 'first_scrapy.middlewares.UaDownLoaderMiddleware': 543, }

到这里,我们的修改就完成了,可以重新运行这只爬虫:

scrapy crawl httpbin

结果部分截取如下:

{ "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Encoding": "gzip,deflate,br", "Accept-Language": "en", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" }, "origin": "183.195.68.215, 183.195.68.215", "url": "https://httpbin.org/get" }

可以看到,这里响应的 UA 已经变成了我们刚才设置的 UA 头,证明我们的修改是成功的。

本篇就先到这里了,希望各位同学可以自己动手试一下。

示例代码

本系列的所有代码小编都会放在代码管理仓库 Github 和 Gitee 上,方便大家取用。

示例代码-Github

示例代码-Gitee

参考

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyjffy.html