V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sirz
V2EX  ›  程序员

Python celery 替代

  •  
  •   sirz · 100 天前 · 2328 次点击
    这是一个创建于 100 天前的主题,其中的信息可能已经有所发展或是发生改变。
    py 没怎么搞过,现在有个很简单的需求,py 作为消费者消费 rabbitmq 队列,后台执行一些耗时处理。生产者是 Go 。
    试了下 celery 资源吃的挺多,有没有什么简单的组件实现这个功能?
    17 条回复    2024-08-27 07:47:29 +08:00
    zengxs
        1
    zengxs  
       100 天前
    pollux
        2
    pollux  
       100 天前
    qW7bo2FbzbC0
        3
    qW7bo2FbzbC0  
       100 天前
    当时选择了自己实现,这种框架对项目原来代码结构侵入比较严重
    zhengxiaowai
        4
    zhengxiaowai  
       100 天前
    celery 虽然也不太行,但是相比其他的还是问题算少的
    encro
        5
    encro  
       100 天前
    这种问题,

    是 celery 问题吗?

    celery 能吃多少资源?

    肯定是应用才是大头啊。
    bitmin
        6
    bitmin  
       100 天前
    如果只是消费 rabbitmq 队列, 装个类似 aio_pika 这样的依赖,直接订阅消费就可以了吧,后台消耗 cpu 的就丢进程池里处理,如果是消耗 io 的直接协程处理
    djangovcps
        7
    djangovcps  
       100 天前
    想简单点的话 while True: try except: 失败重试 消费呗
    iorilu
        8
    iorilu  
       100 天前
    RQ(redis queue)
    轻量一些把, celery 是比较重得
    Ritter
        9
    Ritter  
       100 天前
    rq
    brianinzz
        10
    brianinzz  
       100 天前
    tikazyq
        11
    tikazyq  
       100 天前
    这种简单需求用不着框架,自己实现就可以了
    fred649
        12
    fred649  
       100 天前
    试试 Django Q2
    fred649
        13
    fred649  
       100 天前
    不好意思,没看到不是 Django 项目
    gaeco
        14
    gaeco  
       100 天前
    pioflight
        15
    pioflight  
       100 天前
    supervisor 拉一个常驻,然后检测队列,做轮训吧,之前的项目稳定跑几年这块逻辑都不用维护,美滋滋
    MADBOB
        16
    MADBOB  
       100 天前
    https://github.com/rq/rq rq 简单好用,比 celery 轻量好多
    GeekGao
        17
    GeekGao  
       100 天前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5955 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 01:52 · PVG 09:52 · LAX 17:52 · JFK 20:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.