Python爬虫入门教程 41-100 Fiddler+夜神模拟器+雷电模拟器配置手机APP爬虫部分 (2)

在Fiddler中抓取到如下链接,代表环境配置已经完毕

python3爬虫入门教程

温馨提示下,在抓包过程中,你的fiddler不能关闭哦。关闭了之后你手机网络就不能用了。

停止网络监控的话去掉wifi的代理设置即可

设置过滤

1.手机上设置代理后,这时候fiddler上抓到的是pc和app所有的请求,如果pc上打开网址,会很多,这时候就需要开启过滤功能了。

2.打开fiddler>Tools>Fiddler Options>HTTPS>...from remote clients only,勾选这个选项就可以了

python3爬虫入门教程

...from all processes :抓所有的请求

...from browsers only :只抓浏览器的请求

...from non-browsers only :只抓非浏览器的请求

...from remote clients only:只抓远程客户端请求

Fiddler 抓包简介

Fiddler想要抓到数据包,要确保Capture Traffic是开启,在File –> Capture Traffic。开启后再左下角会有显示,当然也可以直接点击左下角的图标来关闭/开启抓包功能。

python3爬虫入门教程

需要能简单看懂Fiddler上的内容

更详细的使用,可以参考一篇写的很不错的文章 参考博客

python3爬虫入门教程

上述横着的红色框
|名称 |含义 |
|------|------|
|#|抓取HTTP Request的顺序,从1开始,以此递增|
|Result|HTTP状态码|
|Protocol|请求使用的协议,如HTTP/HTTPS/FTP等|
|Host|请求地址的主机名|
|URL|请求资源的位置|
|Body|该请求的大小|
|Caching|请求的缓存过期时间或者缓存控制值|
|Content-Type|请求响应的类型|
|Process|发送此请求的进程:进程ID|
|Comments|允许用户为此回话添加备注|
|Custom|允许用户设置自定义值|

下面竖着的红色框
|图标|含义|
|-----|-----|
|

python3爬虫入门教程

|请求已经发往服务器|
|

python3爬虫入门教程

|已从服务器下载响应结果|
|

python3爬虫入门教程

|请求从断点处暂停|
|

python3爬虫入门教程

|响应从断点处暂停|
|

python3爬虫入门教程

|请求使用 HTTP 的 HEAD 方法,即响应没有内容(Body)|
|

python3爬虫入门教程

|请求使用 HTTP 的 POST 方法|
|

python3爬虫入门教程

|请求使用 HTTP 的 CONNECT 方法,使用 HTTPS 协议建立连接隧道|
|

python3爬虫入门教程

|响应是 HTML 格式|

python3爬虫入门教程

|响应是一张图片|
|

python3爬虫入门教程

|响应是脚本格式|
|

python3爬虫入门教程

|响应是 CSS 格式|
|

python3爬虫入门教程

|响应是 XML 格式|
|

python3爬虫入门教程

|响应是 JSON 格式|
|

python3爬虫入门教程

|响应是一个音频文件|
|

python3爬虫入门教程

|响应是一个视频文件|
|

python3爬虫入门教程

|响应是一个 SilverLight|
|

python3爬虫入门教程

|响应是一个 FLASH|
|

python3爬虫入门教程

|响应是一个字体|
|

python3爬虫入门教程

|普通响应成功|
|

python3爬虫入门教程

|响应是 HTTP/300、301、302、303 或 307 重定向|
|

python3爬虫入门教程

|响应是 HTTP/304(无变更):使用缓存文件|
|

python3爬虫入门教程

|响应需要客户端证书验证|
|

python3爬虫入门教程

|服务端错误|
|

python3爬虫入门教程

| 会话被客户端、Fiddler 或者服务端终止|

好了,文章到此结束了~~大家Fiddler用起来吧

下一篇,将写一下如何爬取儿歌多多APP

python3爬虫入门教程

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wspdwx.html