我是要抓取销售后台的要货单数据。
人工做的时候,界面是分成上下两部分,上层是单据基本信息,下层是选中单据的商品明细信息,鼠标需要点击上面的单据数据行,下面才会出现对应的商品明细。我想对商品明细信息进行抓取,但捕捉相似元素遇到很奇怪的情况。
如果直接使用数据抓取,只能抓看得见的6-8个,我认为相当于这个网页每次只加载8个,需要下滑滑块才能显示新的商品信息,那么用相似元素来抓取理论上应该可以抓全。
诡异的是,如果商品明细数据在100行以内,懒加载能够全部抓取到,比如下面这个99行的,能校验到全部14列数据(14*99=1386个元素)

但一旦商品明细超过100行,就只能抓取到8个,比如下面这个有103行,只能抓取到8行(8*14列=112个元素)。通过循环打印元素内容发现只抓到了当前页面看得到的8行,相当于滑块没有动起来。

后面我听说了懒加载,结果循环之后是同样的问题,100行以下没有问题,100行以上还是只能有8个。多次试验,抓取到的8行数据基本固定,但也没有规律,序号分别为1、2、3、4、6、22、55、96。
我的测试代码是这样的:

有没有大佬能看看,我用的思路有没有问题?为什么遇到这种问题?该怎么解决?