有关celery中使用multiprocess出现daemonic守护进程错

CrazyCosin

于 2021-05-27 20:34:15 发布

阅读量1.7k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： python编程 web 文章标签： python 后端

本文链接：https://blog.csdn.net/CrazyCosin/article/details/117337015

python编程同时被 2 个专栏收录

10 篇文章

订阅专栏

web

5 篇文章

订阅专栏

本文探讨了在Celery任务中使用Multiprocessing引发的'celery:daemonic processes are not allowed to have children'错误，并提供了解决方案。问题源于Celery与Multiprocessing使用了不同的系统接口库。解决方案是改用Celery内置的Billiard库来实现进程池。通过这种方式，可以避免冲突并在Celery任务中成功利用多进程能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

import celery
import multiprocess as mp

def func(x):
    return x**2


@celery.task
def add(self, x, y):
    rst = []
    with mp.Pool(processes=4) as pool:
         for i in range(x,y):
             res = pool.apply_async(func, i)
             rst.append(res.get())

# 运行出错
# celery: daemonic processes are not allowed to have children

调整

根据stackflow上的了解是因为celery跟multiprocess的实现使用了不同系统接口库，要调整为celery自身使用的billiard库

# 将上述代码的multiprocess改成billiard
from billiard import pool as mp

参考:

错误原因： https://stackoverflow.com/questions/30624290/celery-daemonic-processes-are-not-allowed-to-have-children

billiard库介绍：https://pypi.org/project/billiard/