通过npm安装依赖模块
第二步，通过require引入依赖模块，确定爬取对象URL：
var url = require("url");
var async = require("async");
var cheerio = require("cheerio");
var superagent = require("superagent");
var baseUrl = 'http://www.chenqaq.com';
第三步：使用superagent请求目标URL，并使用cheerio处理baseUrl得到目标内容url，并保存在数组arr中
superagent.get(baseUrl)
.end(function (err, res) {
if (err) {
return console.error(err);
}
var arr = [];
var $ = cheerio.load(res.text);
// 下面和jQuery操作是一样一样的..
$(".post-list .post-title-link").each(function (idx, element) {
$element = $(element);
var _url = url.resolve(baseUrl, $element.attr("href"));
arr.push(_url);
});
// 验证得到的所有文章链接集合
output(arr);
// 第四步：接下来遍历arr，解析每一个页面需要的信息
})
我们需要一个函数验证抓取的url对象，很简单我们只需要一个函数遍历arr并打印出来就可以：
function output(arr){
for(var i = 0;i<arr.length;i++){
console.log(arr[i]);
}
}
第四步：我们需要遍历得到的URL对象，解析每一个页面需要的信息。
这里就需要用到async控制并发数量，如果你上一步获取了一个庞大的arr数组，有多个url需要请求，如果同时发出多个请求，一些网站就可能会把你的行为当做恶意请求而封掉你的ip
async.mapLimit(arr,3,function(url,callback){
superagent.get(url)
.end(function(err,mes){
if(err){
console.error(err);
console.log('message info ' + JSON.stringify(mes));
}
console.log('「fetch」' + url + ' successful！');
var $ = cheerio.load(mes.text);
var jsonData = {
title:$('.post-card-title').text().trim(),
href: url,
};
callback(null,jsonData);
},function(error,results){
console.log('results ');
console.log(results);
})
})
得到上一步保存url地址的数组arr，限制最大并发数量为3，然后用一个回调函数处理 「该回调函数比较特殊，在iteratee方法中一定要调用该回调函数，有三种方式」
callback(null)调用成功callback(null，data)调用成功，并且返回数据data追加到resultscallback(data)调用失败，不会再继续循环，直接到最后的callback
好了，到这里我们的node简易的小爬虫就完成了，来看看效果吧
嗨呀，首页数据好少，但是成功了呢。