1.前言分析
往常都是利用 Python/.NET 语言实现爬虫，然现在作为一名前端开发人员，自然需要熟练 NodeJS。下面利用 NodeJS 语言实现一个糗事百科的爬虫。另外，本文使用的部分代码是 es6 语法。
实现该爬虫所需要的依赖库如下。
request: 利用 get 或者 post 等方法获取网页的源码。 cheerio: 对网页源码进行解析，获取所需数据。
本文首先对爬虫所需依赖库及其使用进行介绍，然后利用这些依赖库，实现一个针对糗事百科的网络爬虫。
2. request 库
request 是一个轻量级的 http 库，功能十分强大且使用简单。可以使用它实现 Http 的请求，并且支持 HTTP 认证， 自定请求头等。下面对 request 库中一部分功能进行介绍。
安装 request 模块如下：
npm install request
在安装好 request 后，即可进行使用，下面利用 request 请求一下百度的网页。
const req = require('request');
req('http://www.baidu.com', (error, response, body) => {
if (!error && response.statusCode == 200) {
console.log(body)
}
})
在没有设置 options 参数时，request 方法默认是 get 请求。而我喜欢利用 request 对象的具体方法，使用如下：
req.get({
url: 'http://www.baidu.com'
},(err, res, body) => {
if (!err && res.statusCode == 200) {
console.log(body)
}
});
然而很多时候，直接去请求一个网址所获取的 html 源码，往往得不到我们需要的信息。一般情况下，需要考虑到请求头和网页编码。
网页的请求头网页的编码
下面介绍在请求的时候如何添加网页请求头以及设置正确的编码。
req.get({
url : url,
headers: {
"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",
"Host" : "www.zhihu.com",
"Upgrade-Insecure-Requests" : "1"
},
encoding : 'utf-8'
}, (err, res, body)=>{
if(!err)
console.log(body);
})
设置 options 参数, 添加 headers 属性即可实现请求头的设置；添加 encoding 属性即可设置网页的编码。需要注意的是，若 encoding：null ，那么 get 请求所获取的内容则是一个 Buffer 对象，即 body 是一个 Buffer 对象。
上面介绍的功能足矣满足后面的所需了
3. cheerio 库
cheerio 是一款服务器端的 Jquery，以轻、快、简单易学等特点被开发者喜爱。有 Jquery 的基础后再来学习 cheerio 库非常轻松。它能够快速定位到网页中的元素，其规则和 Jquery 定位元素的方法是一样的；它也能以一种非常方便的形式修改 html 中的元素内容，以及获取它们的数据。下面主要针对 cheerio 快速定位网页中的元素，以及获取它们的内容进行介绍。