具体网页是 百度 上的 高考大数据 热搜趋势 页面,URL如下——
https://motion.baidu.com/activity/gaokao2022/trend?sa=searchpromo_gkdsj_h5_dsjtab
此网页共2783条数据,一屏展示约10条,页面没有 页码及翻页按钮,但人工操作鼠标滚轮后翻,页面就会自动加载显示出来,我尝试了 将“鼠标滚动网页” 命令 for循环了 300次,才探到底(2783条数据,300次循环还空转了若干次),最底部是一行字 “到底了 没有更多内容” ,但我 用 if元素可见(web) 判断 “到底了...”元素不可见时就循环 “鼠标滚动网页” ,但1-2页就会自动中止循环,多次运行打印日志显示捕获的元素条数在60、90、120等不同。
现在的问题是: 象这类没有翻页按钮但实际有N多页,如何翻页到最后,以便可以捕获此页上的全部相似元素?