Python 封装通过的 celery 服务

需求:
1.在客户端使用 celery 的时候,将 celery 的任务使用 redis.lpush 存储到 redis 中(比如发送短信或者邮箱)
2.自己封装一个 celery 服务,将该 celery 服务跑在一个端口,使用 redis 的 rpop 实时监控是否有任务存在,如果有则处理
不知道我描述的够不够清楚,我现在不知道这个轮子应该怎么写,大家有没有之后的 demo 可以借鉴下啊

Celery

Redis

Python

封装

16 条回复 • 2019-08-08 17:39:16 +08:00

SingeeKing

2019-08-06 10:21:28 +08:00

你是不是对 Celery 有误解…… 它本身就可以自动监控是否有任务并处理，而且也可以用 Redis 做消息队列啊

37Y37

2019-08-06 10:25:08 +08:00

celery 本身就是个异步处理框架，都帮你做好了，你只需要用就行了，不用关心 redis 队列，使用可参考：
https://ops-coffee.cn/s/lXrp3igYo9W2UuE5Gauysg

kayseen

2019-08-06 10:26:27 +08:00

@SingeeKing 我知道你的意思,但是现在需求就是写一个通用的 celery 服务,就是你在项目中使用到 celery 的时候,只往 redis 中存任务,你封装的 celery 就是时刻监控 redis 中的任务...通俗点把 celery 单独提出来写个服务

leishi1313

2019-08-06 10:29:38 +08:00

还是跟其他几楼一样，celery 本来就是这么用的啊。或者针对 redis，有其他的轮子也可以用：python-rq.org 。

SingeeKing

2019-08-06 10:42:18 +08:00

意义何在啊，你这本身就是重复造了个 Celery 啊

你可以理解为 Celery 是一个消息队列的处理器、Redis 是一个消息队列； Celery 本身的作用就是「将任务存到 Redis 中」和「实时监控是否有任务存在，如果有则处理」，所以你现在的需求就是自己造一个 Celery

那么。。回复你的问题：Celery 就是你要的 demo

est

2019-08-06 10:43:45 +08:00

额。。。。。

youngce

2019-08-06 11:07:10 +08:00

你的问题，就好比现在你已经有一个轮子了，你只看到了轮胎，想着自己还要做个轮毂，殊不知人家轮胎里，已经包好了一个豪华轮毂了

AllenBigBear

2019-08-06 11:10:07 +08:00

@37Y37 我也关注了你的公众号，有些问题想借楼问一下，我最近在部署 django 2.0，配合 supervisor，celery 4，gunicorn 和 redis

部署的服务器是 1C1G5M 的良心云
然后我如果 supervisor 里面单独启动 gunicorn （也就是只运行 django ），加载速度没问题
但是如果我一并启动了 celery，服务器就一下子超卡。。
不知道有没有碰到过类似的问题？谢谢！

est

2019-08-06 11:13:54 +08:00

@youngce celery 本身就是轮子套轮子。。比如 RabbitMQ 这个其实本身功能就够强大了。celery 自作聪明套了一层。。