BOSS直聘网爬虫初尝试

  通过搜索职位关键字,来获取该职位的招聘信息,信息包括:岗位的名称,招聘的公司,公司所在地,工作经验要求,学历要求

2、技术分析

     代码语言:python

  所需要的类库:requests、BeautifuiSoup

3、详细分析

  在BOSS直聘网站搜索框上搜索关键字:Java

  

BOSS直聘网爬虫初尝试

图1 搜索关键字

  观察下其跳转链接,发现其请求的方式为get,那么,我们就需要构造一个请求的链接。

  

BOSS直聘网爬虫初尝试

 

图2 目标链接地址

BOSS直聘网爬虫初尝试

  图3 请求的参数

def get_target_link(keyword): data = { 'query': keyword, 'scity': 101280600, 'industry':'', 'position':'' } queries = urlencode(data) url = base_url + queries

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpzxsx.html