Python爬虫项目--爬取某宝男装信息

2. 空白处"右击"再点击"检查"审查网页元素, 点击"Network".

1) 找到对应的URL, URL里的参数正是Query String Parameters的参数, 且请求方式是GET

    

Python爬虫项目--爬取某宝男装信息

 2) 我们请求该URL得到内容就是"Response"里的内容, 那么点击它来确认信息.

 

Python爬虫项目--爬取某宝男装信息

 3) 下拉看到"男装"字样, 那么再往下找, 并没有发现有关"男装"的商品信息.

 4) 任意复制一个商品信息, 空白处右击再点击"查看网页源代码", 在源码查找该商品, 即可看到该商品的信息.

 5) 对比网页源代码和"Response"响应内容, 发现源代码<script>..........</script>中的商品信息被替换, 这便是采用了JS加密

 6) 如果去请求上面的URL, 得到的则是加密过的信息, 这时就可以利用Selenium库来模拟浏览器, 进而得到商品信息.

2. 获取单个商品界面

1. 请求网站

1 # -*- coding: utf-8 -*- 2 from selenium import webdriver #从selenium导入浏览器驱动 3 browser = webdriver.Chrome() #声明驱动对象, 即Chrome浏览器 4 def get_one_page(): 5 '''获取单个页面''' 6 browser.get("https://www.xxxxx.com") #请求网站

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpyfgx.html