爬虫基础

1.什么是爬虫！

　　通编写代码，模拟浏览器上网，让其在互联网上爬取数据的过程！

 

2.爬虫的分类

　　通用爬虫
　　聚焦爬虫
　　增量式爬虫

3.反爬虫机制

　　robots.txt协议
　　防君子不防小人

4.requests

　　pip install requests 　　　　- 指定URL
　　　　- 发送请求
　　　　- 获取响应页面数据
　　　　- 持久化存储

案例 #!/usr/bin/nev python import requests url="https://www.baidu.com/" response = requests.get(url=url) response_text = response.text with open("index.html",mode="w",encoding="utf-8") as f: f.write(response_text)