练习要求
从中山国际人才网,添加搜索岗位检索条件,采集所有分页list中的所有岗位信息。
比如搜索条件 15-20K条件的岗位列表
搜索列表:展示岗位,薪资,经验,学历,公司,地点
重点掌握,针对一条岗位记录,采用了xpath获取到jobslist进行岗位定位,然后基于当前节点再进行名称,薪资,学历等元素进行定位,这个比直接定位会更加精准数据无偏差。
以下是部分代码示例
本次练习要求,在代码给出的岗位列表中,增加【地点】和【行业】
结果如下
岗位:海外渠道-人造石板材-销售经理,薪资:15-30K,经验:3-5年,学历:本科,公司:热浪科技,地点:珠海市/金湾区,行业:机械/设备/重工

import requests
import time
import random
from lxml import etree
import re

def get_soup(url):
    #目标练习站点中山国际人才网https://www.job001.cn/
    #实现请求url列表的页面内容解析
    response = requests.get(url)
    tree = etree.HTML(response.text)
    jobs = tree.xpath('//div[@class="jobsList"]')
    for job in jobs:
        job_name = re.sub( r'\s+', '', job.xpath('.//a[@class="jobNameCon"]/text()')[0])
        salary =re.sub( r'\s+', '',  job.xpath('.//span[@class="salaryList"]/text()')[0])
        age =job.xpath('.//div[@class="jobLeft"]/dl/dd[1]/text()')[1].replace('\n','').replace(' ','')
        xueli=job.xpath('.//div[@class="jobLeft"]/dl/dd[1]/text()')[2].replace('\n','').replace(' ','')
        company=job.xpath('.//div[@class="jobRight"]/dl/dt/a/text()')[0].replace('\n','').replace(' ','')
        address=''
        print(f"岗位:{job_name},薪资:{salary},经验:{age},学历:{xueli},公司:{company},地点:{address}")
    pass



if __name__ == '__main__':
    #实现3秒内随机暂停,并按分页规律请求岗位清单
    for i in range(1,170):
        # url=f'https://www.job001.cn/jobs?keyType=0&keyWord=&jobTypeId=&jobType=%E8%81%8C%E4%BD%8D%E7%B1%BB%E5%9E%8B&industry=&industryname=%E8%A1%8C%E4%B8%9A%E7%B1%BB%E5%9E%8B&workId=25.308&workPlace=%E4%B8%AD%E5%B1%B1%E5%B8%82&salary=4,5&salaryType=&entType=&experience=&education=&entSize=&benefits=&reftime=&workTypeId=&sortField=&pageNo={i}&curItem=&searchType=1'
        url=f'https://www.job001.cn/jobs?keyType=0&keyWord=&jobTypeId=&jobType=%E8%81%8C%E4%BD%8D%E7%B1%BB%E5%9E%8B&industry=&industryname=%E8%A1%8C%E4%B8%9A%E7%B1%BB%E5%9E%8B&workId=25.293&workPlace=%E7%8F%A0%E6%B5%B7%E5%B8%82&salary=4,5&salaryType=&entType=&experience=&education=&entSize=&benefits=&reftime=&workTypeId=&sortField=&pageNo={i}&curItem=&searchType=1'
        get_soup(url)
        pause_time = random.uniform(0, 3)
        time.sleep(pause_time)

结果集展示

岗位:海外渠道-人造石板材-销售经理,薪资:15-30K,经验:3-5年,学历:本科,公司:热浪科技,地点:珠海市/金湾区
岗位:海外渠道-销售经理(卫浴),薪资:15-25K,经验:3-5年,学历:本科,公司:热浪科技,地点:珠海市/金湾区
岗位:生产经理/车间主任,薪资:13-16K,经验:6-9年,学历:本科,公司:热浪科技,地点:珠海市/金湾区
岗位:澳门某酒店招专职管家,薪资:11-16K,经验:1-2年,学历:大专,公司:珠海市大把人信息咨询服务有限公司,地点:珠海市/香洲区
岗位:土建主管工程师,薪资:10-20K,经验:6-9年,学历:大专,公司:广东远尚建设工程有限公司,地点:斗门区/白蕉
岗位:澳门某工程冷气安装/维修工,薪资:13-15K,经验:3-5年,学历:学历不限,公司:珠海市大把人信息咨询服务有限公司,地点:珠海市/香洲区
岗位:澳门某连锁公司招销售员(多名),薪资:15-20K,经验:1-2年,学历:学历不限,公司:珠海市大把人信息咨询服务有限公司,地点:珠海市/香洲区
岗位:澳门某物流公司招聘招聘职位:仓管员,薪资:14-18K,经验:1-2年,学历:初中及以下,公司:珠海市大把人信息咨询服务有限公司,地点:珠海市/香洲区
岗位:电气工程师,薪资:10-15K,经验:3-5年,学历:大专,公司:珠海市精广包装机械设备有限公司,地点:珠海市/香洲区

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部