0.14.0.2841爬虫框架(2)

[root@localhost Python-2.7.2]# python setup.py install  

安装执行后，相关Python模块被安装到目录/usr/local/lib/python2.7/site-packages下。
4、安装zope.interface

下载地址如下所示：

安装过程如下所示：

[root@localhost scrapy]$ tar -xvzf zope.interface-3.8.0.tar.gz   [root@localhost scrapy]$ cd zope.interface-3.8.0   [root@localhost zope.interface-3.8.0]$ python setup.py build   [root@localhost zope.interface-3.8.0]$ python setup.py install  

安装完成后，可以在/usr/local/lib/python2.7/site-packages下面看到zope和zope.interface-3.8.0-py2.7.egg-info。 5、安装Twisted

下载地址如下所示：

安装过程如下所示：

[root@localhost scrapy]# bzip2 -d Twisted-11.1.0.tar.bz2   [root@localhost scrapy]# tar -xvf Twisted-11.1.0.tar   [root@localhost scrapy]# cd Twisted-11.1.0   [root@localhost Twisted-11.1.0]# python setup.py install  

安装完成后，可以在/usr/local/lib/python2.7/site-packages下面看到twisted和Twisted-11.1.0-py2.7.egg-info。
6、安装w3lib

下载地址如下所示：

安装过程如下所示：

[root@localhost scrapy]# tar -xvzf w3lib-1.0.tar.gz   [root@localhost scrapy]# cd w3lib-1.0   [root@localhost w3lib-1.0]# python setup.py install  

安装完成后，可以在/usr/local/lib/python2.7/site-packages下面看到w3lib和w3lib-1.0-py2.7.egg-info。
7、安装libxml2

可以到网站上面找到相应版本的压缩包。

安装过程如下所示：

[root@localhost scrapy]# tar -xvzf libxml2-2.7.4.tar.gz   [root@localhost scrapy]# cd libxml2-2.7.4   [root@localhost libxml2-2.7.4]# ./configure   [root@localhost libxml2-2.7.4]# make   [root@localhost libxml2-2.7.4]# make install  

8、安装pyOpenSSL

该步骤可选，对应的安装包下载地址为：

https://launchpad.net/pyopenssl

如果需要的话，可以选择需要的版本。我这里直接跳过该步骤。

9、安装Scrapy

下载地址如下所示：

安装过程如下所示：

[root@localhost scrapy]# tar -xvzf Scrapy-0.14.0.2841.tar.gz   [root@localhost scrapy]# cd Scrapy-0.14.0.2841   [root@localhost Scrapy-0.14.0.2841]# python setup.py install  

安装验证

经过上面的安装和配置过程，已经完成了Scrapy的安装，我们可以通过如下命令行来验证一下：

[root@localhost scrapy]# scrapy   Scrapy 0.14.0.2841 - no active project      Usage:     scrapy <command> [options] [args]      Available commands:     fetch         Fetch a URL using the Scrapy downloader     runspider     Run a self-contained spider (without creating a project)     settings      Get settings values     shell         Interactive scraping console     startproject  Create new project     version       Print Scrapy version     view          Open URL in browser, as seen by Scrapy      Use "scrapy <command> -h" to see more info about a command  

上面提示信息，提供了一个fetch命令，这个命令抓取指定的网页，可以先看看fetch命令的帮助信息，如下所示：