我们知道有一些网站是需要验证码才可以登陆的，比如豆瓣网在错误输入几次账号密码后，都会需要提交包含验证码的表单才可以登陆，便需要处理验证码型登陆
技术路径：scrapy爬虫框架。
技术重点：还是scrapy的FormRequest方法。
（由于由于不涉及到豆瓣网登陆后页面的解析（老生常谈的问题了）。我们只需要编写spider模块的代码就可以了。）
我们给出代码
# -*- coding: utf-8 -*-
import scrapy
from scrapy
.http
import FormRequest
,Request
from scrapy
.selector
import Selector
class DoubanspiderSpider(scrapy
.Spider
):
name
= \'doubanspider\'
#start_urls = [\'http://douban.com/\']
login_url
=\'https://accounts.douban.com/login\'
def start_requests(self
):
yield Request
(\'https://accounts.douban.com/login\',callback
=self
.login
)
#下载验证码和模拟登陆
def login(self
,response
):
#用于获取验证码的图片链接
login_pic_url
=response
.xpath
(\'//*[@id="captcha_image"]/@src\').extract_first
()
print(\'获取验证码url中\')
#这里打印出验证码的链接，打开浏览器查看链接，记录下验证码
print(login_pic_url
)
#在这里的表单中填写验证码
data
={\'captcha-solution\':input(\'输入验证码：\'),
\'form_email\':\'1004210191@qq.com\',\'form_password\':\'*********\'}
#利用FormRequest.from_response()方法提交表单
完成页面解析
yield FormRequest
.from_response
(response
,formdata
=data
,callback
=self
.parsepage
)
#解析登陆后的页面，解析内容可自己实现，在这里就以保存网页作为解析内容
def parsepage(self
, response
):
with open(\'D:/豆瓣.html\',\'wb\') as f
:
f
.write
(response
.body
)
这样我们就实现了模拟登陆需要验证码的网站。
