多线程分发任务搭配DCpage并发简直就是yyds
评论
收藏

多线程分发任务搭配DCpage并发简直就是yyds

经验分享
【耐家军】DC
2026-03-29 15:57·浏览量:653
【耐家军】DC
影刀专家
影刀认证工程师
发布于 2026-03-29 15:57653浏览

痛点:有大量重复性浏览器web任务,比如搜索关键词调研竞品,查排名等待,单流程执行速度慢的一批,如何加快效率?

解决方案:多线程任务派发搭配DCpage同时执行并发的能力,可以一次执行n个任务并行

案例效果展示

DCpage流程参考

py代码

# 使用提醒:
# 1. xbot包提供软件自动化、数据表格、Excel、日志、AI等功能
# 2. package包提供访问当前应用数据的功能,如获取元素、访问全局变量、获取资源文件等功能
# 3. 当此模块作为流程独立运行时执行main函数
# 4. 可视化流程中可以通过"调用模块"的指令使用此模块

import xbot
from xbot import print, sleep
from .import package
from .package import variables as glv
import threading
import queue
import time
from .import process1

# ====================== 全局配置 ======================
# 任务队列(线程安全,空的时候会自动等)
task_queue = queue.Queue()

# 控制整个程序是否继续运行
is_running = True


# ====================== 1. 消费者:5个线程一直处理 ======================
def worker():
    global is_running
    while is_running:
        try:
            # 从队列取数据,没数据就阻塞等待(不会耗CPU)
            data = task_queue.get(timeout=1)

            # ==================== 你的业务处理逻辑 ====================
            # data 就是你传进来的任意参数(字典、字符串、列表都行)
            # time.sleep(5)
            print(f"【{threading.current_thread().name}】正在处理:{data}")
            process1.main({"端口号":data["端口号"],"关键词":data["关键词"]})
            # xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"])
            # ==========================================================

            # 标记任务完成
            task_queue.task_done()

        except queue.Empty:
            # 队列空了,继续循环等待新数据
            continue


# ====================== 2. 启动 4 个固定线程 ======================
for i in range(4):
    t = threading.Thread(
        target=worker,
        name=f"处理线程-{i+1}",
        daemon=True
    )
    t.start()


# ====================== 3. 【对外接口】添加数据到队列 ======================
# 你在任何地方调用这个函数,就会把数据丢进去处理
def add_task(data):
    """
    外部添加任务的入口
    :param data: 任意类型:字符串、数字、列表、字典都可以
    """
    task_queue.put(data)
    print(f"==> 成功添加任务:{data}")


# ====================== 4. 模拟:无限循环、断断续续来数据 ======================
def produce_loop():
    """模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)"""
    count = 0
    while is_running:
        # 模拟每隔一段时间来一条数据
        time.sleep(1)

        # 构造你要的入参(可以是任意结构)
        task_param = {
            "端口号": count%5 + 9222,
            "关键词": f"影刀rpa",
            "执行次数": count + 1
        }

        # 添加到任务队列
        add_task(task_param)

        count += 1


# ====================== 主程序启动 ======================

def main(args):
    pass

任务派发传参流程

def add_task(data):
    """
    外部添加任务的入口
    :param data: 任意类型:字符串、数字、列表、字典都可以
    """
    task_queue.put(data)
    print(f"==> 成功添加任务:{data}")

调用案例,也可以循环数据列表或者在线表格进行派发自行选择

def produce_loop():
    """模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)"""
    count = 0
    while is_running:
        # 模拟每隔一段时间来一条数据
        time.sleep(1)

        # 构造你要的入参(可以是任意结构)
        task_param = {
            "端口号": count%5 + 9222,
            "关键词": f"影刀rpa",
            "执行次数": count + 1
        }

        # 添加到任务队列
        add_task(task_param)

接受到任务可以并发执行,可搭配dcpage,或者协议请求支持并发操作的都可以

def worker():
    global is_running
    while is_running:
        try:
            # 从队列取数据,没数据就阻塞等待(不会耗CPU)
            data = task_queue.get(timeout=1)

            # ==================== 你的业务处理逻辑 ====================
            # data 就是你传进来的任意参数(字典、字符串、列表都行)
            # time.sleep(5)
            print(f"【{threading.current_thread().name}】正在处理:{data}")
            process1.main({"端口号":data["端口号"],"关键词":data["关键词"]})
            # xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"])
            # ==========================================================

            # 标记任务完成
            task_queue.task_done()

        except queue.Empty:
            # 队列空了,继续循环等待新数据
            continue


# ====================== 2. 启动 4 个固定线程 ======================
for i in range(4):
    t = threading.Thread(
        target=worker,
        name=f"处理线程-{i+1}",
        daemon=True
    )
    t.start()

猜你喜欢:DCpage:基于 DrissionPage 打造的影刀专属自定义指令库-经验分享-影刀RPA开发者社区

收藏5
全部评论(1)
最新
发布评论
评论