上一篇介绍了爬取文章,这一篇宏哥就简单的介绍一下,如何爬取图片然后保存到本地电脑中。网上很多漂亮的壁纸或者是美女、妹子,想自己收藏一些,挨个保存太费时间,那你可以利用爬虫然后批量下载。
2.爬虫原理其实这个和上一篇都是一样的道理,宏哥在啰嗦一遍。Jmeter 的爬虫原理其实很简单,就是对网页提交一个请求,然后把返回的所有 href 提取出来,利用 ForEach 控制器去实现 url 遍历。这样解释是不是很清晰?下面宏哥就来简单介绍一下如何操作。
3.牛刀小试宏哥这里以一个图片网站为例给小伙伴或者童鞋们演示用过程和步骤。
该网站为动态。网址:https://unsplash.com/
3.1开始实战
1、因为是动态网站,所以获取网页内容后,很多图片找不到,使用浏览器F12功能,分析网站的请求,得出:
网页动态加载请求:https://unsplash.com/napi/photos?page=1&per_page=12&order_by=latest,其中1,代表加载几页,12代表每次加载12张图片;
图片下载请求:https://unsplash.com/photos/xxx/download?force=true,其中xxx代表每个图片的id。
2、我们开始使用jmeter爬取网站上的图片。打开Jemter,新建线程组,如下图所示: