各位大佬,有个问题想要咨询下:
就是之前我有自己学了一下rpa抓取数据,然后去抓取虾皮品台的商品数据,我的大概流程是对话框输入我想要搜索的关键词,然后按销量排序,抓取前几页的商品的一些数据,我用的是foeach循环,循环打开每个商品详情页,然后抓取各项数据,经过一些调试之后也是成功了。
遇到问题的地方在,我每次抓取到差不多六七十个商品的信息之后,就会出现网页打不开的问题,再怎么也进不去了,差不多有个一天左右就可以。查过一些资料,说是因为触发网站的反爬被拒绝访问了,
我有试过,在流程中加入一些随机等待,或者无意义鼠标移动,还有搞一些ip代理,但是没啥用,也可能是我没用对。这个有没有解决办法呢?