初试pyspider

https://zhuanlan.zhihu.com/p/31421316

抓取页面:

https://www.nvshens.com/tag/new/

页面分析:

首页获取所有图片详情页,需要遍历15页

初试pyspider

 

获取得到图片详情页后,需要获取图片集链接

初试pyspider

  3. 得到图片集链接后,需要获取图片真实地址,需要对所有图片页进行遍历

初试pyspider

 

函数设计:

1. 调用以下2个得到所有详情页的url

 

初试pyspider

 

2. 调用以下函数得到图片集地址

 

初试pyspider

3. 调用以下函数得到图片真实地址并保存,由于有多页,所以需要回调自身

初试pyspider

 

代码地址: https://github.com/copywang/spiders_collection/tree/master/pyspider

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyzswj.html