批量抓取数据,翻最后一页的问题
回答
收藏

批量抓取数据,翻最后一页的问题

w
welbug
2023-04-25 10:03·浏览量:1257
w
welbug
发布于 2023-04-23 19:13更新于 2023-04-25 10:031257浏览

先看图:


问题:

1、翻页按钮只有这一个,最后一页也是这个,而且可以点击。

2、每一次翻页,没有网址、网页结构的变化。导致无法和前一页捕获的内容做对比。

报错现象:
1、无限循环点击翻页按钮,并导出到Excel表格后,最后一页的内容,会重复添加至Excel,无法结束应用。

2、不能称之为报错,而是缺一个逻辑,需要翻到最后一页,判断出,并且结束掉。


Tips:

关于批量获取数据的功能,里面有自动翻页的按钮,实际上用不了,因为没有加入自动结束的机制。这个功能在别的RPA里面是有的。

现在开发者只能自己手写,遇到这类恶心人的网站翻页设计,一时间没什么好的办法来自动结束。


有懂的大神请帮忙出个主意~

感谢~


——————————————————————


 新的问题是:翻到58页时(总共60页)会报错。在57页时,页面列表的前后都有“...”的标识;到58页时,后面就没有“...”标识,直接是“59”、“60”。该怎么判断?





————————————

经过多次测试,已获得成功。
新的方案:

1、在循环里,先定位【当前页面】,拿到具体页数。

2、点一次翻页按钮。

3、然后再定位一次【当前页面】并拿到具体页数。

4、最后对比一下翻页前后的页数,要是相等,则退出循环。

收藏1
全部回答1
最新
发布回答
回答