rsyslog+elasticsearch 日志收集系统

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Elasticsearch 参考文档

› Elasticsearch: The Definitive Guide

› elasticseaerch-analysis-ik

这是一个创建于 3439 天前的主题，其中的信息可能已经有所发展或是发生改变。

想用最新的rsyslog通过omelasticsearch插件把nginx日志收集整理放到elasticsearch内，再用kibana分类展示。
之前数据是通过logstash做的解析分割，现在想用rsyslog+omelasticseach代替logstash，有用过这种方式的么？

logstash

rsyslog

kibana

7 条回复 • 2015-06-26 12:11:09 +08:00

eggegg

2015-06-25 17:31:51 +08:00

ELK这么成熟的方案，用rsyslog有何优势？

wych

2015-06-25 18:02:17 +08:00

针对你的问题，我只能回答：有。

fxxkgw

2015-06-25 18:17:23 +08:00

@eggegg
现有流程是rsyslog收到数据存到redis logstash从redis取数据切割后放到elasticsearch内现在想用rsyslog的omelasticsearch插件直接将数据接收后放入elasticsearch 相当于砍掉了redis和logstash。看效率和机器负载会不会好一些。

@wych
兄弟莫惜字如金哈有方案可以一起交流咯。。

ksupertu

2015-06-25 20:29:44 +08:00

新浪的日志解析系统就是这样的，搜索三斗室的博客

billzhuang

2015-06-25 21:54:55 +08:00

logstash可以设置成input为nginx log file, output 设置成elasticsearch啊

wych

2015-06-26 10:20:25 +08:00

@fxxkgw 先定位负载的瓶颈在哪里然后在找解决方案啦

xderam

2015-06-26 12:11:09 +08:00

楼主可以加那个logstash群问....