智联招聘循环点击查看职位详情和鼠标滚动网页指令的问题
回答
收藏

智联招聘循环点击查看职位详情和鼠标滚动网页指令的问题

fre1999
2024-01-08 22:19·浏览量:748
fre1999
发布于 2024-01-08 22:19748浏览

OS:Windows10 x64

影刀版本:5.14.38

任务描述:在智联招聘上输入对应关键词,搜索得到对应的职位结果,依次点开所有职位详情页并采集所需关键信息。

遇到的问题:

1.在使用循环点击相似元素(web)后,页面起初加载的3个职位都能正确打开对应的详情页,但是从第4个职位开始必须设置向下滚动才能循环点击打开对应的详情页,爬取猎聘这类网站并未遇到需要设置向下滚动才能打开,不知道是因为智联这个网站设计那个碍人的底栏原因,或是selenium的原因?反正就是不设置向下滚动就根本没法继续。

2.鼠标滚动网页的问题在于滚动距离,我不清楚是因为什么原因,当我设置了滚动到指定位置时,打开详情页几次后会失效,程序无法继续运行,我设置的是等距滚动,一次向下滚动一个职位的距离,例:第一次向下滚动到(0,200),第二次向下滚动到(0,400),以此类推,但几次后会失效,但当我改为滚动一屏时,不论滚动到哪儿,当执行循环点击相似元素时,都能准确回弹到下一个需要点击的详情页位置,我本来说那样虽说可以正常获取数据,但是看上去太割裂了,想设置个等距的向下滚动,结果程序运行几次后便会无法继续打开对应的下一个详情页了,不知道是不是设置的下滑距离不够大导致的,具体没再去花时间测试了。

尝试过的方案

加上了向下滚动一屏,解决了目前的问题,但是想知道有没有人知道具体原因,实在想不通,智联的30个职位的详情页链接都是明摆着的,定位相似元素也能定位到30个相似,但就是打不开后面职位的详情页。。。

题外话:请问能不能将获取元素信息这个部件添加一个继续获取下一个之类的。。。采集一个页面都得拖拽n次这个玩意儿,加上还得依次调整属性,耗费不少时间,应该更有效率才对。

收藏
全部回答1
最新
发布回答
回答