【RPA经验分享】你是不是非常喜欢用批量数据抓取 抓取数据呢？ 你知道什么时候时候用吗？

前言

批量数据抓取确实是非常好用，支持多页和单页抓取，但是你是否在开发的时候有考虑到有些网页是不适合用批量数据抓取多页抓取的呢？

案例说明

比如我今天要抓这个页面的数据，我们可以看到这个页面总共有170页，

如果我们批量数据抓取这样设置，在网页正常的情况下是可以抓取到数据的，

但是！重点来了。如果网页运行过程中突然崩溃，我们的的程序就不可以跑下去了，如果在中途跑的过程中崩溃 想想就难受~~~

推荐解决方案

改成for循环 加批量数据抓取

在这个页面中我们发现他下一页的改变会让url也改变

我改成了如下思路

为啥要for套for 是为了异常的时候自己重试3次

打开网页 批量数据抓取一次

总结

页码数过多的时候要考虑异常情况 ，适当使用批量数据抓取指令