【Python爬虫】:使用动态IP代理进行反反爬虫

一.为什么要动态IP代理?

当我们有时使用爬虫的时候,如果频繁对某一个界面请求过太多的次数,那么有些网站就会因为反爬虫的措施发现同一个IP地址对它请求了太多的次数,因此对我们的爬虫进行了禁止,你必须要登录这个网站才能够继续进行爬虫。这个时候呢,如果我们能够直接在请求网页的时候不断更换自己的IP地址,就不会被系统检查出来。因此,这也是我们需要使用动态IP代理的缘故。

二.常用的动态IP代理网站

一般常见的有;

1.快代理

2.西祠代理

3.

代理IP的类型:

http:应用到http协议的url当中
https:应用到https协议的url当中

代理IP的匿名度:
-透明:服务器知道该次请求使用了代理,也知道本次请求的真实IP

-匿名:知道使用了代理,但是不知道真实的IP

-高匿:服务器不知道使用了代理,也不知道使用了假的IP

三.如何使用动态IP代理?

假设我们对百度进行请求,就能够知道自己当前请求的IP地址是多少了,如下所示:

import requests url=\'https://www.baidu.com/s?wd=ip\' headers={ \'User-Agent\':\'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36\' } #使用post请求得到响应的数据 response=requests.get(url=url,headers=headers,proxies={\'https\':\'https://61.145.48.46:9999\'}).text #获取json响应数据 with open(\'proxy_ip.html\',\'w\',encoding=\'utf-8\') as fp: fp.write(response) print(response)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwwjdf.html