NO.95-插件结合影刀进行美团小程序数据的抓取

一、问题背景

想要了解周边超市的全部商品的价格信息，包括但不限于价格、名称和类目，但是单纯的抓取对于此需求来说速度和安全性都无法满足。面对超市中大量商品信息，一条一条信息的获取速度过慢，同时美团平台对于机器人批量数据的获取风控较为严格，此时需要利用影刀和其他的工具进行互相配合实现最终目的。

二、解决思路

利用一款叫筋斗云的电脑软件，该软件可以实现获取当前美团小程序展示页面的数据信息获取，并且获取的信息可以进行一键导出

三、业务实现流程

3.1 流程说明

美团小程序的特殊情况，当进行类目切换时，需要鼠标移动到空白处在进行滚轮的滑动，否则无法正常向下滚动，因此需要在每次切换类后加入鼠标悬浮。

无法判断每一个类目何时全部获取完信息，因此需要加入一个判断机制，在每次向下滑动界面时进行当前展示商品的列表获取，并和滑动前获取的商品列表信息进行对比，若此次滑动前后的商品列表内容没有发生改变则说明该类目此时已经全部获取完毕。

3.2 业务细节实现难点

1.美团超市商品界面的滚动特殊情况

2.在向下滑动的过程中无法自动切换类目，需要添加类目切换的判断

3.3 效果展示

四、业务价值

单纯的数据抓取速度较慢，单纯的用插件十分容易遭受风控，影刀结合插件的方法则可以很好的实现更加快速稳定的抓取想要的数据，便于进行数据的分析。