Scrapy1.4爬取笑话网站数据，Python3.5+Django2.0构建笑话应用

Part1：需求简要描述

 

1、抓取网站的笑话

2、以瀑布流方式显示

  

Part2：安装爬虫框架Scrapy1.4

 

1、 安装Scrapy1.4

E:\django\myProject001>pip install scrapy

执行报错：

error: Unable to find vcvarsall.bat

Failed building wheel for Twisted

 

2、安装wheel

E:\django\myProject001>pip install wheel

 

3、下载编译好的wheel文件

访问下面链接下载编译好的wheel文件到当前目录下

https://www.lfd.uci.edu/~gohlke/pythonlibs/
 

4、安装编译好的wheel文件

E:\django\myProject001>pip install Twisted-17.9.0-cp35-cp35m-win_amd64.whl
E:\django\myProject001>pip install Scrapy-1.4.0-py2.py3-none-any.whl

 

5、查看Scrapy是否安装成功

E:\django\myProject001>scrapy version

Scrapy 1.4.0

 

6、安装Py32Win模块

E:\django\myProject001>pip install pypiwin32

访问windows系统API的库

  

7、安装OpenPyXL

 

E:\django\myProject001>pip install openpyxl

用于将爬取数据写入Excel文件

  

Part3：创建项目及应用

  

1、创建项目及应用

E:\django>django-admin startproject myProject001

E:\django>cd myProject001

E:\django\myProject001>python3 manage.py startapp joke

 

2、修改settings.py

文件路径：myProject001\myProject001\settings.py

# 增加应用 INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.messages', 'django.contrib.staticfiles', 'joke', ] # 修改amind管理后台语言 LANGUAGE_CODE = 'zh-hans' TIME_ZONE = 'Asia/Shanghai'