tiktok抓取达人信息经常页面奔溃?一个小妙招搞定!
评论
收藏

tiktok抓取达人信息经常页面奔溃?一个小妙招搞定!

经验分享
恒星
2024-10-12 16:10·浏览量:1203
恒星
发布于 2024-10-12 16:101203浏览

背景:

很多小伙伴需要在tiktok后台的Find creators页面筛选查找达人,抓取达人的信息或者向达人打招呼,但是会发现,运行一段时间之后,浏览器就会奔溃,导致流程一直运行不下去。如:

问题分析:

这个页面容易奔溃,大概率是因为操作久了缓存太多导致的,特别是当流程需要逐个点开达人的详情页面,将会使浏览器占用大量内存,久而久之就承受不住了。

所以我们可以把流程拆解成两部分:

1、抓取达人详情页的链接,存入excel表格中

2、循环excel表格,逐个打开取数,并在表格里记录好抓取进度

这样的好处是:

1、抓取达人详情页的动作,我们只需要不断下拉达人列表,让所有达人都加载出来,不需要额外打开那么多的详情页,减少缓存,降低奔溃的几率;

2、循环excel表格逐个打开达人详情页,即使页面奔溃了,也能从中断的地方继续抓取,不影响流程进度。

方案:

这个方案主要使用的是“网页监听”技术。

我们发现这个页面在加载达人列表时,会接收到一个json文件,这里面就是达人的信息,里面有一个很关键的信息就是方框所示的creator_oecuid的value值,这个其实就是达人详情页的cid:

我们再看下达人详情页的网址,最后这个数字其实就是cid,我们只需要修改网址上这个cid的值,就能访问对应的达人的详情页了:

于是,我们使用网页监听功能,把这个json文件抓下来,读取出里面的cid,全部都存入excel表格中,就完成了达人cid的抓取,也就意味着我们已经知道了所有达人的详情页的网址了。

最后,我们只需要遍历excel文件,把每个达人的详情页打开,即可进行取数或者打招呼操作了。如果遇到浏览器奔溃,也只需重启浏览器,重新访问刚才发生奔溃了的那个达人详情页,继续执行下一步操作,完全不影响流程的进度。

可能有些小伙伴还不知道影刀的网页监听具体怎么用,这里推荐先观看该教程:

https://www.bilibili.com/video/BV1hg41127Xg/

这里写了个简单的deom:

一些细节:

监听的资源路径url为:https://affiliate.tiktok.com/api/v1/oec/affiliate/creator/marketplace/find*

温馨提示:为了避免被平台反爬或风控,在循环访问达人详情页时,请勿频率过高,比如可以在每次循环里加上随机等待几秒的指令,让流程的行为不过于像机器人,避免一些异常风险。如果运行过程中多次遇到弹验证码、掉线等情况,请注意你可能被平台关注了哦。



收藏4
全部评论1
最新
发布评论
评论