运行Ady01comPageProcessor中的main方法,执行结果如下:
本文中主要用了一个示例说明webgic是如此简单就可以完成数据的抓取工作,从代码中可以看出复杂的代码webmagic都帮我们屏蔽了,只需要我们去关注业务代码的编写。
文章中没有详细介webmagic如何使用,至于我为何没有在文档中去做说明,主要是webigc已经提供了非常完善的学习文档,可以移步到webgic中文文档,需要更深入了解的可以研究一下webgic的源码,对你编写爬虫是非常有用的。
明日我们将爬取每个动作电影详情页信息,采集详情页中电影的下载地址
示例代码,导入到idea中运行,idea中需要安装maven和lombok的支持