V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
miniyao
V2EX  ›  Python

celery 每过一阵子就假死,看日志说是 redis 端口连接不上。然后去看 redis 状态又正常,感觉是 celery 和 redis 互相甩锅

  •  
  •   miniyao · Aug 28, 2019 · 4959 views
    This topic created in 2437 days ago, the information mentioned may be changed or developed.
    没办法,只好重启服务器,celery 和 redis 又都开始正常工作了。

    有什么方式监控吗?否则 celery/redis 什么时候出现故障趴窝了都不清楚
    21 replies    2019-08-29 10:26:47 +08:00
    julyclyde
        1
    julyclyde  
       Aug 28, 2019
    看队列长度就行了
    llen events
    miniyao
        2
    miniyao  
    OP
       Aug 28, 2019
    @julyclyde 和 redis 的 connection 都每建立,看不到队列长度了。比较奇怪的是 redis 其实没宕,但是 celery 里的日志说连不上 redis

    redis.exceptions.ConnectionError: Error 111 connecting to localhost:6379. Connection refused.
    DonaidTrump
        3
    DonaidTrump  
       Aug 28, 2019 via iPhone
    换 rabbitmq 吧,官方也是推荐 rabbitmq,我用了两年多了,很稳
    julyclyde
        4
    julyclyde  
       Aug 28, 2019
    @tulongtou 你这个回答没什么用
    julyclyde
        5
    julyclyde  
       Aug 28, 2019
    @miniyao 猜测是 celery 的 fd 耗尽了,无法建立新的连接?
    binjjam
        6
    binjjam  
       Aug 28, 2019
    redis timeout 参数是多少?非 0 的话试试改为 0 看
    zuoakang
        7
    zuoakang  
       Aug 28, 2019
    celery 什么版本呢? 用了 celery beat 功能吗?
    Ehco1996
        8
    Ehco1996  
       Aug 28, 2019
    是不是和 redis 链接的时候没有用连接池?
    链接耗尽了?
    no1xsyzy
        9
    no1xsyzy  
       Aug 28, 2019
    @tulongtou 查 celery error 111 都是 rabbitmq 的问答……
    wuwukai007
        10
    wuwukai007  
       Aug 28, 2019
    我也遇到过,redis 连接不上,重启就好了
    wuwukai007
        11
    wuwukai007  
       Aug 28, 2019
    后来查看 redis 日志,发现 rdb 存储问题,配置一下 redis 后基本就没遇到过这个问题
    miniyao
        12
    miniyao  
    OP
       Aug 28, 2019
    @wuwukai007 rdb 存储问题,你配置了 redis 哪几个参数后变得稳定?
    MeteorCat
        13
    MeteorCat  
       Aug 28, 2019 via Android
    服务器是不是默认 fd 为 1024
    rb6221
        14
    rb6221  
       Aug 28, 2019
    互相甩锅笑死
    lauix
        15
    lauix  
       Aug 28, 2019
    redis 不适合大队列,已经踩过坑了,改成 rabbitmq 稳的很!
    15399905591
        16
    15399905591  
       Aug 29, 2019
    我之前也碰到类似问题,是卡在 redis 的阻塞 blpop, 网上查了资料,说是 redis 版本问题,升级了 redis3.2 就完事了
    sazima
        17
    sazima  
       Aug 29, 2019
    crontab 每周重启一次 #狗头
    LeeSeoung
        18
    LeeSeoung  
       Aug 29, 2019
    出问题的时候先在本机 telnet redis 看是不是真的连不通
    wuwukai007
        19
    wuwukai007  
       Aug 29, 2019
    @miniyao # Failed opening .rdb for saving: Read-only file system 之前报的这个错,顺着这个 google 改了配置,改了什么忘了,但是 google 应该有的。
    julyclyde
        20
    julyclyde  
       Aug 29, 2019
    @wuwukai007 read-only filesystem 那是你硬盘坏了!!
    wuwukai007
        21
    wuwukai007  
       Aug 29, 2019
    @julyclyde 腾讯云服务器上的,硬盘怎么会坏呢?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2753 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 13:17 · PVG 21:17 · LAX 06:17 · JFK 09:17
    ♥ Do have faith in what you're doing.