由于之前一直想爬取花瓣网() 的图片,又迫于没时间,所以拖了很久。 鉴于最近在学go语言,就刚好用这个练手了。 预览
进入网站后,首页大概是这个样子
分析网站采用的流式布局,动态加载。未经渲染的初始页面源代码中包含有20张图片的相关信息。
每张图片有它的pin_id和key, pin_id差不多就是id,而key应该是文件的特性码,由此key拼接url可以直接得到图片的地址。
使用了动态加载,鉴于这个比较简单,就没必要用无头浏览器了, 直接需要抓包分析,来手动模拟翻页请求。
翻页的一个实例:
?max=2117952645&limit=8&wfl=1有三个参数max就是图片的id, limit是指定了返回图片的数量,而那个wfl就不知道了,变成0好像也没啥变化,就不管它了。
这里我想,要是直接把limit变成一个很大的数,翻页的过程不就省略了吗