celery 自动停止运行怎么解决

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2042 天前的主题，其中的信息可能已经有所发展或是发生改变。

项目采用了 celery 进行异步操作，但是 celery 运行很多任务后自动停止运行假死，目前我采取的是手动重新启动 celery，有的大神说这是 celery 的 bug，怎么解决？ backend 用的是 redis.

Celery

运行

Redis

backend

7 条回复 • 2019-04-29 18:14:20 +08:00

NaVient

2019-04-22 15:31:13 +08:00

定时重启，这个问题很普遍

gnozix

2019-04-22 15:33:24 +08:00

你这个`自动停止运行假死` 是个什么哦，我遇到过一个定时任务延迟或长时间执行不了的问题，是队列里的任务阻塞导致的。不知道你的是什么情况。

NaVient

2019-04-22 15:40:13 +08:00

@NaVient #1 Celery 还提供 CELERYD_FORCE_EXECV = True 这个设置来防止假死，但是然并卵，只是减少次数，但是还是会假死

rogwan

2019-04-22 15:56:39 +08:00 via Android

你的 celery 开机是怎么启动的？

jesnridy

2019-04-22 17:53:54 +08:00

服务器内存使用率是怎样的。看下有没有配置 CELERYD_MAX_TASKS_PER_CHILD （ worker 最多执行多少个任务，超过就销毁），官方默认是不限制的

hanssx

2019-04-25 13:20:30 +08:00

celery 生产环境用 rmq 好些吧，CELERYD_MAX_TASKS_PER_CHILD 这个参数按照楼上的设置个值试试，或者 celery 版本换成 3.6 的最后一个版本？楼主用的 4.2 ？
仅供参考

ziwen1942

2019-04-29 18:14:20 +08:00

# celery 的启动工作数量设置
CELERY_WORKER_CONCURRENCY = 5
# celery 的 worker 执行多少个任务后进行重启操作
CELERY_WORKER_MAX_TASKS_PER_CHILD = 200
这个在配置文件里写清楚，不然塞内存
核心逻辑：排队等死