如图:微信搜一搜内,获取了全部相似元素共200个,但是循环依次点击每篇文章操作时,只处理了6篇文章之后。没有滚动下拉的文章(底部红框)无法点击进去获取信息。
尝试了键盘输入{DOWN}滚动,但是发现最多采集了几十篇之后就滚动不到最新的列表文章了,也就无法继续爬取数据。
请问各位大神如何编写代码爬取到全部的文章数据?
流程如下: