一.为什么要动态IP代理?
当我们有时使用爬虫的时候,如果频繁对某一个界面请求过太多的次数,那么有些网站就会因为反爬虫的措施发现同一个IP地址对它请求了太多的次数,因此对我们的爬虫进行了禁止,你必须要登录这个网站才能够继续进行爬虫。这个时候呢,如果我们能够直接在请求网页的时候不断更换自己的IP地址,就不会被系统检查出来。因此,这也是我们需要使用动态IP代理的缘故。
二.常用的动态IP代理网站一般常见的有;
1.快代理
2.西祠代理
3.
代理IP的类型:
http:应用到http协议的url当中
https:应用到https协议的url当中
代理IP的匿名度:
-透明:服务器知道该次请求使用了代理,也知道本次请求的真实IP
-匿名:知道使用了代理,但是不知道真实的IP
-高匿:服务器不知道使用了代理,也不知道使用了假的IP
三.如何使用动态IP代理?假设我们对百度进行请求,就能够知道自己当前请求的IP地址是多少了,如下所示:
import requests url=\'https://www.baidu.com/s?wd=ip\' headers={ \'User-Agent\':\'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36\' } #使用post请求得到响应的数据 response=requests.get(url=url,headers=headers,proxies={\'https\':\'https://61.145.48.46:9999\'}).text #获取json响应数据 with open(\'proxy_ip.html\',\'w\',encoding=\'utf-8\') as fp: fp.write(response) print(response)