【场景痛点】:
需要抓取大众点评的店铺评价,网页端的大众没有所有的数据,查看所有评价就提示需要下载手机app,PC端也没有客户端可以下载,然后操作手机app的话,速度快一点,或者重复一个滑动的动作就会触发风控,弹验证码
【解决方案思路】:
既然手机的风控那么严,直接放弃手机,使用微信小程序,在电脑登录微信,访问小程序抓取数据即可
1、关键元素抓取,小程序普通捕获是抓不到数据的,需要使用深度捕获模式
2、可以减少直接操作元素,改成相对于窗口左上角的固定坐标,进行鼠标定位,然后滚动滑轮或者点击
3、评论数据抓取通过抓包工具获取数据,然后把数据存储到本地json中,再通过影刀的python模块解析json就可以提取到需要的评论数据了
【核心步骤/截图】:
1、深度捕获

2、相对定位
循环评论完整流程
【实操效果】:单次运行一个半小时,捕获评论3000多条,都没有任何异常
【可复现的脱敏测试用例】无