结合关键词定向抓取BOSS直聘全国岗位信息 | 应用分享
评论
收藏

结合关键词定向抓取BOSS直聘全国岗位信息 | 应用分享

经验分享
l
luol_
2025-09-08 20:02·浏览量:1135
l
luol_
影刀中级开发者
发布于 2025-08-18 15:00更新于 2025-09-08 20:021135浏览

特别说明!!!

因网站反扒机制严格,机器人设置了智能休眠机制(这每爬取 75 条数据后,自动休眠 30-60 秒),虽爬取效率较慢,但能有效降低账号 / IP 被封禁风险,特别适合:

  • 时间充裕的个人用户(不急于于获取数据)
  • 夜间 / 凌晨挂机运行场景
  • 重视账号安全的谨慎用户(优先保证长期可用)

数据说明:

✅ 覆盖范围:覆盖全国 373 个城市,支持关键词定向筛选

✅ 城市编码数据示例:

codename
101010100
北京

✅ 岗位信息数据示例:

securityIdbossAvatarbossCertencryptBossIdbossNamebossTitlegoldHunterbossOnlineencryptJobIdexpectIdjobNamelidsalaryDescjobLabelsjobValidStatusiconWordskillsjobExperiencedaysPerWeekDescleastMonthDescjobDegreecityNameareaDistrictbusinessDistrictjobTypeproxyJobproxyTypeanonymousoutlandoptimaliconFlagListitemIdcityisShieldatsDirectPostgpsafterNameIconsbeforeNameIconsencryptBrandIdbrandNamebrandLogobrandStageNamebrandIndustrybrandScaleNamewelfareListindustrycontactshowTopPosition获取时间
2yt015TL0zQ5E-l1-QRQFtTj-xs3YL2NUyJjBliMmD78IvMR6vNBNUEPUaVR9HtpP797Q2IbW-NWZ0pODHlm27VDm8B1jg1NgcN5Zl0qAurCmtOB0hLv0YhmwnZX9SWgb9Hzj7qghttps://img.bosszhipin.com/beijin/upload/avatar/20241217/607f1f3d68754fd067c3b9336612506052c057ae0968a50f026df9d0678e0ac61aee8f9163da964e_s.png.webp3cf151784f7bcc2740Xx839i7GFZT刘云坤猎头顾问1FALSE6e3bbeac1e4e293003J939W_EVFQ1036188737python数据分析师6uxMHuBa3Z1.search.215-25K[
 "3-5年",
 "本科"
]
1[
 "Python",
 "数据分析/挖掘经验",
 "计算机相关专业",
 "大模型(LLM)应用​",
 "数据生成技术",
 "​​AI数据处理经验",
 "数据清洗",
 "​​数据标注自动化"
]
3-5年本科北京01110100[
 8
]
21010101000FALSE{
 "longitude": 116.27118,
 "latitude": 40.047585
}
[][
 "https://img.bosszhipin.com/static/file/2022/cy4fi6cada1655206055291.png"
]
北京某大型计算机软件上市公司https://img.bosszhipin.com/beijin/app/mobile/n-af8dd288f86448d9eaaf3a4b0fd60b27.png已上市计算机软件10000人以上[
 "餐补",
 "带薪年假",
 "五险一金",
 "定期体检",
 "通讯补贴",
 "节日福利",
 "补充医疗保险"
]
100021FALSEFALSE2025年08月18日 01:37
T7De1bM1iFbDR-41t8qbeE5FYRfmG3FNnjmdzUngAXNZ-RALWXbmIjeSgyfwP92JcUUqGYGtKJACbI59sKM22fHqy_S2Jo7L3neTlstOvqV4f3PSqlmqEe0VI8rPisHDDj0aZGcZu5k~https://img.bosszhipin.com/beijin/upload/avatar/20210608/e3fd2a2ada99067812dea87ae580a6319bc0ae1f96ea887b40da7efbb79653de_s.png3bb05fa04791cb85703R829W8F1Y~李女士招聘者0FALSE78a7b21f796a47c903J52dq1ElNX1036188737数据分析-实习(J14768)6uxMHuBa3Z1.search.69200-220元/天[
 "5天/周",
 "3个月",
 "本科"
]
1[
 "SPSS",
 "Power BI"
]
5天/周3个月本科北京西城区西直门400000[]691010101000FALSE{
 "longitude": 116.352849,
 "latitude": 39.941027
}
[][]a1a93271badff1fe1XN409u8慧策(掌上先机)https://img.bosszhipin.com/beijin/upload/com/workfeel/20211111/7bf6f160950405e9accf55b931a585552a9df29338cb9ed945ab4d0232693ae3431fd59de023d582.jpgD轮及以上互联网1000-9999人[
 "年终奖",
 "餐补",
 "补充医疗保险",
 "加班餐",
 "零食下午茶",
 "通讯补贴",
 "节日福利",
 "五险一金",
 "股票期权",
 "打车福利",
 "带薪年假",
 "交通补助",
 "绩效奖金"
]
100020FALSEFALSE2025年08月18日 01:40

使用说明:

第一步:准备浏览器插件

  1. 打开 Edge 浏览器,点击浏览器右上角 拓展图标,再点击 获取Mircosoft Edge 扩展 ,然后搜索 Auto refresh Plus 插件并安装
  2. 安装完成后,点击浏览器右上角插件图标,确保插件已启用(图标亮显)

第二步:配置网页自动刷新

  1. 打开目标网址:「宁波招聘」-2025年宁波人才招聘信息 - BOSS直聘
  2. 点击插件图标打开设置面板:选择「随机间隔」,时间范围设置为 25-30 秒,点击「开始刷新」,确认页面会按设定间隔自动刷新

第三步:运行机器人

  1. 启动机器人程序,根据弹窗提示依次填写必要参数

其他说明:

  • 当前限制:暂不支持单独选择城市(单城市最大数据量 150 条,感觉没必要)
  • 版本规划:下个版本将上线「省份选择」功能,支持自主挑选省份获取区域数据。
  • 反馈渠道:如有需求或问题,可发送邮件至 heosfmlaw@outlook.com 提出。

应用分享链接: 已弃用

版本已更新!更新详情见: https://www.yingdao.com/community/detaildiscuss?id=854276282580320256

经验分享:其实就是对数据资源的请求URL进行格式化处理后(配合城市编码、页码和关键词生成URL列表),逐URL进行获取、解析和提取;同时配合网页刷新能有效解决被检测为访问异常的情况。

应用架构如下图,如有问题和优化建议欢迎提出!!:

收藏2
全部评论1
最新
发布评论
评论