基于node.js实现爬虫的讲解

今天小编就为大家分享一篇关于基于node.js实现爬虫的讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

1. cheerio 与 request

request:模拟客户端行为,对页面进行请求

cheerio:对服务器端返回的页面进行解析;

var cheerio = require('cheerio'); var request = require('request'); var startUrl = 'http://www.baidu.com' request(startUrl, function(err, response) { if (err) { console.log(err); } var $ = cheerio.load(response.body); var title = $('title').text(); console.log(title); }

2. 认识 cheerio

获取 element 位置

通过 class 属性进行匹配:

var $=cheerio.load('<div></div>'); $('.container')

取其链接:<a href="" target="_blank"></a>

$('a.downbtn').attr('href')

某一页面下的全部可链接:

var url = var $ = cheerio.load(data); $("a.downbtn").each(function(i, e) { console.log($(e).attr("href")); }); console.log("done"); } else { console.log("error"); }

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

您可能感兴趣的文章:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/f7e07d745f7e8d9a2a9ebec5ae4e12f4.html