我想抓取近两个月每天的数据,然后我做了个日期循环,每次循环抓取一次数据。在实施过程中,我发现抓取的数据有的是前一天的数据。我想可能是网页加载慢导致日期选择后数据还没刷新就就直接抓取了。这个该怎么解决,才能使数据能准确被抓取?
1、尝试过等待2秒再抓取数据,但这个一方面浪费时间,另一方面可能加载中的时间超过两秒,数据准确性无法保障;
2、我想加个无限循环,在其中加个判断,如果页面可见某一元素,退出循环,再抓取数据,这个方法好像也有问题。
我的数据抓取和循环在同一级,这会不会导致循环失效?是否应该在判断元素出现的条件子句中抓取数据?