

痛点:有大量重复性浏览器web任务,比如搜索关键词调研竞品,查排名等待,单流程执行速度慢的一批,如何加快效率?
解决方案:多线程任务派发搭配DCpage同时执行并发的能力,可以一次执行n个任务并行

# 使用提醒:
# 1. xbot包提供软件自动化、数据表格、Excel、日志、AI等功能
# 2. package包提供访问当前应用数据的功能,如获取元素、访问全局变量、获取资源文件等功能
# 3. 当此模块作为流程独立运行时执行main函数
# 4. 可视化流程中可以通过"调用模块"的指令使用此模块
import xbot
from xbot import print, sleep
from .import package
from .package import variables as glv
import threading
import queue
import time
from .import process1
# ====================== 全局配置 ======================
# 任务队列(线程安全,空的时候会自动等)
task_queue = queue.Queue()
# 控制整个程序是否继续运行
is_running = True
# ====================== 1. 消费者:5个线程一直处理 ======================
def worker():
global is_running
while is_running:
try:
# 从队列取数据,没数据就阻塞等待(不会耗CPU)
data = task_queue.get(timeout=1)
# ==================== 你的业务处理逻辑 ====================
# data 就是你传进来的任意参数(字典、字符串、列表都行)
# time.sleep(5)
print(f"【{threading.current_thread().name}】正在处理:{data}")
process1.main({"端口号":data["端口号"],"关键词":data["关键词"]})
# xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"])
# ==========================================================
# 标记任务完成
task_queue.task_done()
except queue.Empty:
# 队列空了,继续循环等待新数据
continue
# ====================== 2. 启动 4 个固定线程 ======================
for i in range(4):
t = threading.Thread(
target=worker,
name=f"处理线程-{i+1}",
daemon=True
)
t.start()
# ====================== 3. 【对外接口】添加数据到队列 ======================
# 你在任何地方调用这个函数,就会把数据丢进去处理
def add_task(data):
"""
外部添加任务的入口
:param data: 任意类型:字符串、数字、列表、字典都可以
"""
task_queue.put(data)
print(f"==> 成功添加任务:{data}")
# ====================== 4. 模拟:无限循环、断断续续来数据 ======================
def produce_loop():
"""模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)"""
count = 0
while is_running:
# 模拟每隔一段时间来一条数据
time.sleep(1)
# 构造你要的入参(可以是任意结构)
task_param = {
"端口号": count%5 + 9222,
"关键词": f"影刀rpa",
"执行次数": count + 1
}
# 添加到任务队列
add_task(task_param)
count += 1
# ====================== 主程序启动 ======================
def main(args):
pass
def add_task(data):
"""
外部添加任务的入口
:param data: 任意类型:字符串、数字、列表、字典都可以
"""
task_queue.put(data)
print(f"==> 成功添加任务:{data}")def produce_loop():
"""模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)"""
count = 0
while is_running:
# 模拟每隔一段时间来一条数据
time.sleep(1)
# 构造你要的入参(可以是任意结构)
task_param = {
"端口号": count%5 + 9222,
"关键词": f"影刀rpa",
"执行次数": count + 1
}
# 添加到任务队列
add_task(task_param)def worker():
global is_running
while is_running:
try:
# 从队列取数据,没数据就阻塞等待(不会耗CPU)
data = task_queue.get(timeout=1)
# ==================== 你的业务处理逻辑 ====================
# data 就是你传进来的任意参数(字典、字符串、列表都行)
# time.sleep(5)
print(f"【{threading.current_thread().name}】正在处理:{data}")
process1.main({"端口号":data["端口号"],"关键词":data["关键词"]})
# xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"])
# ==========================================================
# 标记任务完成
task_queue.task_done()
except queue.Empty:
# 队列空了,继续循环等待新数据
continue
# ====================== 2. 启动 4 个固定线程 ======================
for i in range(4):
t = threading.Thread(
target=worker,
name=f"处理线程-{i+1}",
daemon=True
)
t.start()