消息队列：celery在Windows上运行worker在执行任务时，获取不到运行状态

已于 2024-11-26 10:26:59 修改
阅读量1.1k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python 踩坑大全 Fastapi协程与异步最佳实践 文章标签： python
于 2022-04-20 17:06:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43347021/article/details/124302031
本文讨论了Celery在Windows环境中使用gevent或Eventlet时遇到的worker状态为offline的问题，并提出了解决方案，即切换到threads并发模式。通过修改Celery配置，将worker的并发方式从eventlet改为threads，可以避免任务执行中的阻塞，确保worker状态的正常获取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • celery支持Prefork, Eventlet, gevent, threads/single threaded集中方式的并发
  • 但在window上不支持Prefork，因此我在使用gevent或则eventlet的时候经常碰到worker在执行任务时，状态为offline
    解决方法：将并发方式改为threads即可，代码如下：
celery -A tasks.tasks worker -P eventlet 
# 上面的并发方式为单线程，有时会阻塞，导致不能获取worker状态，改为下面即可解决
celery -A tasks.tasks worker -P threads
使用Celery实现任务队列管理：实用指南
windowshht的博客
10-09 313
Celery是一个异步任务队列/作业队列，基于分布式消息传递。它专为处理大量消息而设计，支持任务调度和定时任务。异步执行：可以将任务放入队列中，立即返回响应，而不需要等待任务完成。任务调度：支持定时任务，可以在特定时间或周期性地执行任务。可扩展性：支持多种消息代理（如RabbitMQ、Redis等），可以轻松扩展。本文详细介绍了如何使用Celery实现任务队列管理，包括安装、配置、创建任务、发送任务、监控任务和处理错误等。
在Windows下设置Celery分布式队列的心跳轮询
LpmShell的博客
09-24 226
Celery是一个常用的Python分布式任务队列，用于在应用程序中异步执行任务。在Windows操作系统下设置Celery的心跳轮询功能，可以确保任务在分布式环境中的可靠执行。Redis是一个开源的内存数据结构存储，它可以用作Celery任务队列的消息代理。解压下载的Redis压缩文件，并将解压后的文件夹路径添加到系统环境变量中，以便在命令提示符中可以直接访问Redis。访问Redis的官方网站（https://redis.io/）下载最新的Windows版本的Redis。在项目根目录中创建一个名为。
windows下使用celery，慎入！
道羲的博客
07-22 4715
学习Celery 学习的文档是celery的中文文档 然后这个中文文档没整明白，不过我找到了一个更好用的学习文档 以下是学习过程中遇到的问题 由于使用的是windows，RabbitMQ需要额外的依赖，官方推荐用choco install rabbitmq下载，但是我的电脑没有安装choco（这是一个软件安装工具，类似于mac的homebrew） 知乎上查询以后，choco在Windows CMD 上的安装命令：@"%SystemRoot%\System32\WindowsPowerShell\v1.0\p
celery任务状态监控
mr~li的博客
05-20 1万+
celery是python里常用的一个异步任务队列，使用celery可以大大简化搭建任务队列的工作。实际使用中可能会需要监控一些任务或者定时任务的运行状态。 这里就讲一下celery的任务状态监控相关的方法。 单独使用celery命令格式为 celery -A [proj] [cmd] 在django下使用时，用manage.py启动时则不需要-A参数，命令格式为 python manage....
Windows系统下【Celery任务队列】python使用celery 详解（一）
最新发布
qq_44990881的博客
05-09 932
Celery 是一个基于 Python 的分布式任务队列框架，它允许你在不同的进程甚至不同的服务器上异步执行任务。：如果使用 Redis 作为消息中间件，则需要在Celery 配置中指定 Redis 作为后端和消息代理。：在命令行中启动 Celery 工作者，监听任务队列并执行任务。于此同时，redis数据库多了两个，我们就可以根据ID取获取数据。：在 Python 代码中定义需要异步执行的任务函数，使用。：在其他地方的代码中，可以通过调用任务函数的。方法来将任务发送到消息队列中。文件， 定义了两个任务。
查询celery正在执行的任务
youhebuke225的博客
07-16 1548
对于大多数用户来说，使用Celery的命令行工具或Flower监控工具是查看正在执行的任务的最直接和有效的方法。命令行工具提供了快速检查任务状态的能力，而Flower则提供了一个更加全面和可视化的界面来监控和管理Celery任务。
windows——celery
weixin_30297281的博客
05-09 201
celery 4.0版本以后放弃对Windows的支持 GITHUB_issues(https://github.com/celery/celery/issues/4178) 替代解决方案： 安装：pip install eventlet 运行：celery -A tasks worker --pool=eventlet 使用eventlet替代prefork，使用solo也是可以的。 ...
celery获取任务进度状态
热门推荐
皮皮的博客
12-28 1万+
http://www.ziyoubaba.com/archives/732 https://segmentfault.com/a/1190000008022050
windows环境中利用celery实现简单任务队列过程解析
09-18
在Windows环境下，还需要安装eventlet，因为默认的gevent在Windows上不能工作。eventlet是一个Python网络库，可以用来作为Celery的并发模型。 ``` pip install eventlet==0.25.1 ``` 四、Celery代码示例 1. 创建...
任务队列神器：Celery 入门到进阶指南
03-23 1290
1.什么是celery celery是一个简单，灵活、可靠的分布式任务执行框架，可以支持大量任务的并发执行。celery采用典型生产者和消费者模型。生产者提交任务到任务队列，众多消费者从任务队列中取任务执行。 1.1 celery架构 Celery由以下三部分构成：消息中间件(Broker)、任务执行单元Worker、结果存储(Backend) 任务调用提交任务执行请求给Broker队列 如果是异步任务，worker会立即从队列中取出任务并执行，执行结果保存在Backend中
任务调度利器：Celery
m0_66925868的博客
12-27 1051
Celery是一个专注于实时处理和任务调度的分布式任务队列。所谓任务就是消息，消息中的有效载荷中包含要执行任务需要的全部数据。Celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。Celery建议的消息队列是RabbitMQ，但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, 和数据库（使用SQLAlchemy的或Django的 ORM）。
python常用库之分布式任务调度框架Celery
西京刀客
06-04 3931
Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery非常易于集成到一些web开发框架中。
Celery查看任务执行状态
Talk is cheap, show me the code!
08-21 9119
使用AsyncResult就可以通过id找对应任务的执行状态了 from celery.result import AsyncResult task = AsyncResult("your-task-id") status = task.status 但是看stackoverflow第二个回答，确实也是我的一大问题，如果在执行状态还是显示PENDING。另外如果task_id根本找不到，celery也是返回PENDING的。作者说的是要有一个独立于Celery的存储，我这边是使用了MongoDB存储各个任
数据中台系列3：celery 安装与使用 window 篇
domodo2012的博客
07-31 1778
window 中使用 celery，用法层层递进
windows下使用celery
ch_atu的博客
08-25 722
安装最新版本的celery： pip install celery #使用协程的方式启动。当然首先你需要安装eventlet。（pip install eventlet） celery -A celery_server worker --loglevel=info -P eventlet 这个命令会开启一个在前台运行的 worker，解释这个命令的意义： worker: 运行 worker 模块。 -A: –app=APP, 指定使用的 Celery 实例。 -l: –loglevel=INFO,
windows celery
皮皮的博客
08-24 949
https://www.jianshu.com/p/7d60fabe638f https://www.cnblogs.com/forward-wang/p/5970806.html
django（windows系统）使用celery框架
weixin_46371752的博客
12-17 1351
1、安装celery：pip install celery ，安装eventlet：pip install eventlet 2、创建celery_task.py模块，写上： from celery import Celery #'redis://密码@ip/库号' broker = 'redis://192.168.137.10/15' backend='redis://192.168.137.10/14'#执行结果放到这里 app = Celery(__name__,broker=...
celery 在 windows 接收任务不执行
Penny_Q的专栏
07-11 664
celery 在 windows 接收任务不执行
消息队列：celery启动worker正常启动，收不到任务
merlon学习笔记
04-20 3348
celerty自定义队列demo_queue,然后使用命令以下命令启动没问题 celery -A tasks.tasks worker -P eventlet -Q queue_common -l debug 使用下面方式启动收不到任务 app.worker_main(argv=[ 'worker', '--loglevel=info', '--pool=threads', '--concurrency=100', '-Q d
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值