celery实现分布式

最新推荐文章于 2025-04-20 16:41:33 发布

青霄

最新推荐文章于 2025-04-20 16:41:33 发布

阅读量1.8k

点赞数

分类专栏： python celery 文章标签： celery

本文链接：https://blog.csdn.net/leiwuhen92/article/details/103406817

版权

python 同时被 2 个专栏收录

32 篇文章

订阅专栏

celery

1 篇文章

订阅专栏

worker运行在不同的机器上，每台机器上有多个task进程；

worker运行的时候连接到broker，在控制机器上（任务发布节点）直接向broker发送任务，只要建立一个broker，在不同的机器上运行celery worker。

框架图：

task.py：

# -*- coding: utf-8 -*-
from celery import Celery
from celery.schedules import timedelta
from celery.task import periodic_task

class Config:
    BROKER_URL = 'redis://10.21.144.110:6379/5'
    CELERY_RESULT_BACKEND = 'redis://10.21.144.110:6379/6'
    CELERY_TIMEZONE = 'Asia/Shanghai'

app = Celery('celery-tasks')
app.config_from_object(Config)

@app.task(queue='for_task_collect') #第一个队列
def println():
    print("thanks for god")
    return 'success'

@app.task(queue='for_task_add') #第二个队列
def add(x, y):
    print("x + y = {}".format(x+y))
    return x+y

test.py文件（任务生产者）：

# -*- coding: utf-8 -*-
from tasks import add, println
for i in range(500):
    println.delay()
    add.delay(2, 2)

1、若想多台机器共同使用其中一台机器上的Redis作为任务调度队列Broker，需要配置该机器上的redis文件，配置完成后务必重启redis服务

2、将task.py与test.py放在Broker服务器（样例中是10.21.144.110）的同一目录下，同时将task.py文件放到另一台worker服务器上（10.21.144.111）

3、分别在两台服务器上启动worker：

celery worker -A tasks -l info -Q for_task_add #机器10.21.144.110接收队列for_task_add中的任务交给worker处理
celery worker -A tasks -l info -Q for_task_collect #机器10.21.144.111接收队列for_task_collect中的任务交给worker处理

4、测试：执行python test.py

机器10.21.144.110上的worker处理结果：