猫人 | 搭建电商全平台自动化框架，挖掘数据增长点

猫人品牌陈小涛老师在一个月内实现了猫人品牌电商全平台自动化，他的数据框架、思路、执行是从哪些角度出发的呢？希望本文的复盘对大家有所帮助。

本文从方案框架和实际案例两方面做复盘。

| 方案架构

方案框架主要涉及以下几个关键点：

• 数据库连接的封装
• 登录及滑块优化
• 浏览器缓存清理
• 重复执行
• 网页请求的监听与JSON处理
• Session（会话）保存本地再利用(FidderCore，REQUEST)
• 第三方程序的调用

方案流程图

运行页面截图

此流程图为方案框架核心，我们以此来拆解概述此方案。

流程开始，先判断数据采集报告是否含相关数据，如果已经采集，那么会自动过滤；如果没有采集，那么会运行、开始循环。

循环开始，流程中会做一个条件判断：会话是否过期；如果不过期，那么执行以下步骤：

• 采集报告
• 循环数据采集
• 主动请求接口取数优点，查漏补缺
• 数据保存

如果过期，那么执行以下步骤：

• 采集报告
• 循环数据采集
• 影刀RPA模拟登录跳转指定页面
• 拦截程序（保存会话）
• 数据保存
• 拦截程序（保存会话）

备注：使用影刀RPA（最新版）获取cookie，获取请求结果保存。

| 实操案例

生意参谋和京东商智的框架大同小异，这里以京东商智为例。陈小涛老师在此方案运行后做了一次深度挖掘，他做了一个生动的比喻：人工复制粘贴=人腿，自动模拟=高铁，这套方案=飞机。

• 总体数据是一条曲线图，二级销售数据当天有，用这套方案，一天即可；
• 解决了数据全面采集，但是程序高效，数据来的太容易，以至于无法衡量时效，建议两套数据程序；
• 技术人员需要被重视。

为什么此方案可行？

在获取数据场景下，当店铺数量多，需要频繁切换操作，如：店铺在一个浏览器中登录，那么会需要一直使用验证码登录，甚至会造成浏览器崩溃。

最典型的例子是：当在A店退出后，A店的数据会出现在B站。

速度快。在用第三方、影刀RPA去做请求（JSON数据请求），速度会很快，部分1秒就可以完成，如果做模拟滑块登录，可以十几秒去完成。

数据报告页面

在此方案中，陈小涛老师着重介绍了影刀RPA的封装模块，包含以下几种：

模块一：登录滑块

模块二：登录账号

模块三：数据库封装

• 数据库连接，所有项目都指向一个服务器，所有数据库连接封装好后，后期可直接调动，发动指令即可

模块四：通用函数

• 日期时间
• 本地session获取
• 本地session设置

模块五：清除浏览器数据

• 谷歌浏览器清除，防止滑块和数据库混乱

什么是模块化？

模块化是一种处理复杂系统分解为更好的可管理模块的方式。解决一个复杂问题时自顶向下逐层把系统划分成若干模块的过程，有多种属性，分别反映其内部特性。

在程序中，代码封装成模块化，独立运行，可以在多个项目中使用。

为什么要封装成模块？

模块化用来分割，组织和打包软件。每个模块完成一个特定的子功能，所有的模块按某种方法组装起来，成为一个整体，完成整个系统所要求的功能。主要是封装完成之后，后面做项目用起来会很轻松，并且节约工作量和时间，减少错误以及代码的臃肿会影响代码的可读性。

| 复盘总结

陈小涛老师做了一个总结：

• 影刀RPA工具容易上手。初期对功能模块不熟悉会消耗掉部分时间，但是熟悉功能后会非常便捷
• 项目搭建快
• 产品有模块封装
• 复用性高。一个场景下已经完成设计搭建的应用/任务，稍作修改后，可复用到其他场景中使用
• 稳-底层设计优秀
• 软件开发者认同，底层设计优秀
• 团队技术实力强
• 重点-服务好

陈小涛:

很多开发者，包括我当初也一样，能自己解决的决不用第三方软件，所有都要自己尝试一遍，前天写的代码今天就忘了它是干什么的。

如果是模拟操作取数。我可以用python，js调用selenium ，也可以封装浏览器来采集。但我们不可避免遇到滑块，鼠标定位，当然可能更多向我项目结合的第三方应用。单从一个图片识别坐标定位，0基础的很难在短期开发出来，有图像识别开发基础的，也要三两天。

我们很难做到大而全，精通网页，手机，windows接口，图片识别等等，也没有老板愿意花高价雇佣这么样的一个人，更不说不确定的成功率和漫长的开发周期。

如果是大批量的平台要短期上线，几乎是不可能。对于向生意参谋反爬平台，我们也必须使用人工智能去操作，用自己的封装浏览器去做，几乎是不可能的解决方案，存在痛点。

陈小涛老师最后非常感谢影刀RPA提供的功能和服务，让他一个月完成了该项目。他表示，利用这套流程，能解决大部分场景的数据问题。

最后，他引用“一枝独秀不是春，百花齐放春满园”结束了本次课程，希望更多的人能了解影刀RPA带来的价值。