scrapy是python下的一个开源包,首先你要安装这个。首先当然是要安装python环境。。Ubuntu默认自带一个python环境,Windows下需要自行安装并配置环境变量等,在此不多做赘述。
1.Windows
Windows下scrapy需要很多的依赖包。
(1)pywin32
pywin32下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/
(2)twisted
当然twisted这个异步通信框架也需要一些依赖包(= =)。
zope.interface 和 pyopenssl
zope下载地址:https://pypi.python.org/pypi/zope.interface#download
pyopenssl下载地址:https://pypi.python.org/pypi/pyOpenSSL
twisted下载地址:
(3)lxml
下载地址:https://pypi.python.org/pypi/lxml/
ps:如果遇到.whl的扩展名,只需改成.rar解压后将里面的文件夹放到python的系统环境中即可。
(4)安装scrapy
安装scrapy有很多方法。可以用easytool
我是用pip装的:pip install scrapy
2.Ubuntu
(1).升级python至2.7.11(自带pip) ---可选,也可不升级
wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz
tar -xvf Python-2.7.11.tgz
cd Python-2.7.11
./configure && make && make install && make clean #
(2)安装依赖包
apt-get install python-dev libxml2-dev libxslt1-dev libssl-dev libffi-dev #