基于Charles的微信小程序数据获取——by.北方区平平无奇组织

    目前对于小程序数据获取的方式，是通过捕获元素后取元素上的文本信息，这种方式安全稳定。但小程序不能像网页请求那样通过监听请求获取数据也没有网页元素那么好操作，所以在获取数据时一方面是效率低，二是获取数据实现逻辑比较繁琐，有些数据可能捕获不到。

    怎样实现监听功能呢，这里结合抓包工具Charles实现监听小程序获来取数据。Charles是一款HTTP代理服务器, 可以实现监听的功能并可以将监听到的数据保存为本地文件。基于Charles保存到本地的数据文件结合影刀处理数据和自动化的能力，就可实现快速获取数据的目的。

流程图

效果展示：

（这里是在电脑上打开微信小程序进行监听的）

实现过程

1.安装教程

下载地址：https://www.charlesproxy.com/download/
安装教程：https://juejin.cn/post/6844903665304600589#heading-58

2.打开Charles，设置SSL代理

3.安装证书

https://blog.csdn.net/sumoyan1010/article/details/129959040

4.分析响应数据

正常运行Charles，点亮捕获记录按钮，对捕获到的请求数据一层一层点开，分析是该小程序的请求链接。

点亮捕获按钮后，同时在电脑端打开微信小程序操作小程序获取数据，这个过程Charles会实时捕获数据

分析请求数据，点开请求链接后可以看到数据和小程序中显示的数据对应，来确定是不是我们想要的数据。

右击这个链接复制url

修改url统配性

5.保存数据到本地文件

通过设置charles将请求的响应数据内容保存到本地文件

Tools--->MirrorSettings

将上一步修改好url的直接粘贴到host内回车，它自动识别，空白位置填*即可，表示通配任意文本

点击ok保存，重新开始捕获，数据就会保存到本地了

文件是json格式的字符串，可进行分析或取数据

6.影刀读取并进行数据清洗。

使用影刀读取文件内容并进行数据清理，最后写入表格。

这里只是读取了一个文件的内容打印了出来，数据清洗根据个人需求取数写入表格即可。

Charles学习视频参考：
https://www.bilibili.com/video/BV1tv4y1575S/?p=10&spm_id_from=333.999.top_right_bar_window_history.content.click