Celery 任务堆积是怎么解决的?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 1505 days ago, the information mentioned may be changed or developed.

如果生产者的生产速度大于消费者的消费速度,在不增加消费者的情况下,celery 会怎么处理任务堆积的问题丢弃任务还是生产者无法写入? ps:celery 的官方文档各位还能打开吗,我的打不开了

Celery

生产者

堆积

任务

21 replies • 2022-03-18 21:40:50 +08:00

julyclyde

Mar 17, 2022

会导致队列变长

bulay

Mar 17, 2022

@julyclyde 那也不会无限制增长吧,redis 也会有限制的

so1n

Mar 17, 2022

@bulay 用 celery+redis 不怕出事吗...

tcpdump

Mar 17, 2022

@so1n 能出什么事？没发现问题。

Rebely

Mar 17, 2022

redis 内存吃光报错？
任务最好要加过期时间（ expires ）的吧

zhoudaiyu

PRO

Mar 17, 2022

会占用 broker （ redis ）的内存，异步任务会延迟

bulay

Mar 17, 2022

@so1n 能说说可能出现的问题有哪些吗,也好提前预防

bulay

Mar 17, 2022

@Rebely
@zhoudaiyu
那就是 celery 本身没有对任务堆积的处理呗,比如任务数目大于一定量时,写入任务报错这种机制

cyct123

Mar 17, 2022

@bulay 写入任务报错主要看 broker 的性能吧

so1n

Mar 17, 2022

@bulay
@tcpdump

so1n

Mar 17, 2022

@bulay
@tcpdump 不稳定啊容易出一些奇奇怪怪的问题（出来问题就很难排查的那种），还容易丢消息可以的话尽量用 rabbitmq 把

fengjianxinghun

Mar 17, 2022

@Rebely celery 超时实现的也不靠谱。。celery 就是个传销软件，bug 奇多，设计复杂

bulay

Mar 17, 2022

@fengjianxinghun 还有别的靠谱的分布式异步任务队列吗

fengjianxinghun

Mar 17, 2022

@bulay 没有，只有自己写的靠谱。

fengjianxinghun

Mar 17, 2022

我就没见过任何一个能正确硬超时的异步任务队列系统。。

fxxkgw

Mar 17, 2022

celery 任务本身要做成异步

cz5424

Mar 17, 2022 via iPhone

如果不特别处理会一直堆下去，可以把 task id 存起来，发现堆积主动丢弃

lesterholy

Mar 18, 2022

个人用过 dask 并没有深入对比过这两者，用的不精，楼主有时间可以研究研究

bulay

Mar 18, 2022

@fxxkgw 我觉的你这个想法很危险,会把服务器搞挂的
@cz5424 目前考虑这种做法,设置一个 expire,同时写任务的时候判断一下任务队列长度

leven87

Mar 18, 2022

https://docs.celeryq.dev/en/stable/ 可以打开

xiaoxiaoyizhi

Mar 18, 2022

有小伙伴想和 Googler 一起开发一个开源项目吗？
如果你每周有 5 天都能投入半小时以上的时间，即可参加
有一个组 HPA for Task Queue ，需要对 Celery 感兴趣的小伙伴加入
感兴趣，可加我 wx: love9871112