java爬虫系列第一讲-爬虫入门 (2)

运行Ady01comPageProcessor中的main方法,执行结果如下:

java爬虫系列第一讲-爬虫入门

5.总结

本文中主要用了一个示例说明webgic是如此简单就可以完成数据的抓取工作,从代码中可以看出复杂的代码webmagic都帮我们屏蔽了,只需要我们去关注业务代码的编写。

文章中没有详细介webmagic如何使用,至于我为何没有在文档中去做说明,主要是webigc已经提供了非常完善的学习文档,可以移步到webgic中文文档,需要更深入了解的可以研究一下webgic的源码,对你编写爬虫是非常有用的。

明日我们将爬取每个动作电影详情页信息,采集详情页中电影的下载地址

示例代码,导入到idea中运行,idea中需要安装mavenlombok的支持

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zgjgfs.html