Python第一条网络爬虫,爬取一个网页的内容

一、球赛结果预测代码部分函数测试。

Python第一条网络爬虫,爬取一个网页的内容

Python第一条网络爬虫,爬取一个网页的内容

Python第一条网络爬虫,爬取一个网页的内容


二、用requests库函数访问搜狗网页20次。

1 import requests 2 from bs4 import BeautifulSoup 3 def getHTMLText(self): 4 try: 5 r=requests.get(url,timeout=30)#如果状态不是200,引发异常 6 r.raise_for_status() #无论原来用什么编码,都改成utf-8 7 r.encoding =\'utf-8\' 8 soup=BeautifulSoup(r.text) 9 return r.text,r.status_code,len(r.text),r.encoding,len(soup.text) 10 except: 11 return "" 12 url="https://www.sogou.com" 13 print(getHTMLText(url)) 14 for i in range(20): 15 print("第{}次访问".format(i+1)) 16 print(getHTMLText(url))

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zggxwg.html