celery 最佳实践

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3779 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://denibertovic.com/posts/celery-best-practices/
https://denibertovic.com/talks/celery-best-practices/

Celery

实践

最佳

14 条回复 • 2014-10-14 16:03:40 +08:00

no13bus

2014-07-21 09:32:47 +08:00

第一个文章里面的回复里面有个解决作者关于不能直接传object的解决办法。可以看看。
刚才发现了这个地址。原来官网一直有好东西。自己没注意。嗨
http://www.celeryproject.org/community/

stillzhl

2014-07-21 10:22:38 +08:00

@no13bus 赞一个

dafang

2014-07-21 12:44:57 +08:00

好吧，真心觉得很水的一篇best practice。。。

no13bus

2014-07-21 12:51:17 +08:00

@dafang 你那里有好文章也分享出来呀。

MasterYoda

2014-07-21 13:19:22 +08:00

今天刚刚掉进一个奇怪的celery坑里，对broker（redis）的连接数暴增到10000+。

no13bus

2014-07-21 15:29:57 +08:00

@MasterYoda 后来呢？啥原因呢？我broker也是用的redis。

MasterYoda

2014-07-21 15:45:09 +08:00

@no13bus 没有找到原因啊，尴尬的很，task.delay时报错已经max number of clients了，一看连接到10000+了，到了redis conf里的上限。

MasterYoda

2014-07-21 15:45:47 +08:00

@no13bus
之前issue里有别人提过这个，不过新版本应该已经fix了。我这个问题的原因还在查。

no13bus

2014-07-21 17:39:13 +08:00

@MasterYoda 你得是3.1？新版本是3.2.我用的也是3.1
修复好了，可以分享下。一起来防坑

MasterYoda

2014-07-22 09:29:12 +08:00

@no13bus 3.1.12 突然间出的问题，也没有原因的恢复了，我把broker迁到了另一个机器上，连接数稳定在19了。

no13bus

2014-07-23 14:09:19 +08:00

@MasterYoda 有空交流交流celery的使用？最近用的比较多。qq 364416072. 不知道你们celery的监控室怎么做的。我用了他官方推荐的flower，是tornado写的。

MasterYoda

2014-10-14 14:51:14 +08:00

@no13bus 上次那个连接数的问题，redis达到它的maxmemory后，task.delay每次都会开一个新连接，原因未知。

no13bus

2014-10-14 15:56:01 +08:00

@MasterYoda 你怎么查看的redis的当前的连接数量？

no13bus

2014-10-14 16:03:40 +08:00

@MasterYoda 看到了redis-cli info就能看。