V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
Livid
V2EX  ›  NGINX

关于 error_log 聚合

  •  
  •   Livid · 2013-05-03 20:17:24 +08:00 · 3803 次点击
    这是一个创建于 4223 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如果想把很多 nginx web server 上的 error_log 聚合到一个地方进行分析,现在有什么比较好的方案么?
    6 条回复    1970-01-01 08:00:00 +08:00
    glancesx
        1
    glancesx  
       2013-05-03 20:34:40 +08:00
    flume/flume_ng+hdfs,数据量大就hadoop跑MR
    terry
        2
    terry  
       2013-05-04 08:49:06 +08:00
    最近正在看 logstash + HDFS / Hadoop 可以往这个方向看一下。
    fire9
        3
    fire9  
       2013-05-04 08:51:41 +08:00
    error_log会很多么?应该是access_log吧。
    fay
        4
    fay  
       2013-05-04 09:11:06 +08:00
    看看这个文档,或许有启发:http://loggly.com/support/sending-data/logging-from/platform-logs/unix/

    Loggly这个服务本身有点贵(对我而言)。关键词是rsyslog日志服务,可以搜下rsyslog + nginx。
    linlinqi
        5
    linlinqi  
       2013-05-04 09:55:25 +08:00
    简单点可以试试 xtail + scribe

    git://github.com/facebook/scribe.git

    或者给nginx打个支持pipe log的patch,再配合scribe
    daxingplay
        6
    daxingplay  
       2013-05-05 10:47:28 +08:00
    对这个问题我也挺困扰的。
    logstash吧,感觉他的界面有些乱,不太容易分析
    loggly这个online的服务,我试用了一下,感觉挺耗服务器资源的,而且分析的结果不是很准。
    我还用过log.io,nodejs写的,不太适合分析很大的数据,而且不能保存已经看过的,只能看当前的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5537 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 09:29 · PVG 17:29 · LAX 01:29 · JFK 04:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.