V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
fxxkgw

rsyslog+elasticsearch 日志收集系统

  •  
  •   fxxkgw · Jun 25, 2015 · 7571 views
    This topic created in 3972 days ago, the information mentioned may be changed or developed.

    想用最新的rsyslog通过omelasticsearch插件把nginx日志收集整理放到elasticsearch内,再用kibana分类展示。
    之前数据是通过logstash做的解析分割,现在想用rsyslog+omelasticseach代替logstash,有用过这种方式的么?

    7 replies    2015-06-26 12:11:09 +08:00
    eggegg
        1
    eggegg  
       Jun 25, 2015
    ELK这么成熟的方案,用rsyslog有何优势?
    wych
        2
    wych  
       Jun 25, 2015
    针对你的问题,我只能回答:有。
    fxxkgw
        3
    fxxkgw  
    OP
       Jun 25, 2015
    @eggegg
    现有流程是rsyslog收到数据存到redis logstash从redis取数据切割后放到elasticsearch内 现在想用rsyslog的omelasticsearch插件直接将数据接收后放入elasticsearch 相当于砍掉了redis和logstash。看效率和机器负载会不会好一些。


    @wych
    兄弟莫惜字如金哈 有方案可以一起交流咯。。
    ksupertu
        4
    ksupertu  
       Jun 25, 2015
    新浪的日志解析系统就是这样的,搜索三斗室的博客
    billzhuang
        5
    billzhuang  
       Jun 25, 2015
    logstash可以设置成input为nginx log file, output 设置成elasticsearch啊
    wych
        6
    wych  
       Jun 26, 2015
    @fxxkgw 先定位负载的瓶颈在哪里然后在找解决方案啦
    xderam
        7
    xderam  
       Jun 26, 2015
    楼主可以加那个logstash群问....
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   857 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 20:31 · PVG 04:31 · LAX 13:31 · JFK 16:31
    ♥ Do have faith in what you're doing.