【网页自动化】如何使用网页监听指令抓取数据

问题描述

在网页上抓取数据时遇到某些图表数据无法抓取，但在开发者模式的Network-response中可以找到需要的数据，可使用监听网页请求指令获取目标数据（此方法目前仅支持影刀内置浏览器）

操作步骤

第一步：找到目标数据所在的url

1.打开目标数据所在网页（以下简称“网页”），按下F12打开开发者模式；

2.按下ctrl+R重新加载；

3.点击左侧的路径依次寻找其response中是否存在目标数据；

4.若存在目标数据，复制其url中不变的部分（一般日期时间或ID等是会变化的部分）

第二步：监听第一步所获得的URL

1.监听步骤

获取网页对象-开始监听请求-跳转至新网址（重新加载）-延迟执行（等待加载完成）-获取网页请求结果（获取第一步中得到的URL的监听结果）-停止监听王爷请求

2.流程实例

示例流程与相关参数配置如下

（此处获取获取已打开的网页对象即为第一步中的目标数据所在网页，也可用打开网页指令去获取目标网页对象）

流程：

第三步：获取目标数据

1.循环获取的response_body_list

流程：

2.转换数据格式

循环项是一个包含目标url各项数据的字典，response内的数据包含在循环项字典的键[“body”]中，body是一个字符串，转化成json对象后即可对其中的数据进行提取

3.提取json对象中的目标信息

(可将打印出的json文本复制至网站json.cn中观察数据结构，便于数据提取)