现有的批量抓取功能有一个不是很复杂的缺陷,但是要填补这个缺陷必须牺牲一部分代价。
【特殊网站会动态调用部分动态数据进行展示页面】如果批量抓取翻页设置的时间过长,那么时间跨度大的批量抓取(例如10多页20多页数据)非常耗时。
如果批量抓取翻页设置时间过短,那么即使设置了变量获取最大页数加载也有可能因为未加载完就进行点击造成无效点击而导致没有抓取所有页面。
所以,如果可以的话希望批量抓取的功能建议设置成两项,一个是默认输入时间,然后另一个就是新增下拉选择某元素加载完成进行翻页。