nginx 日志反导到数据库

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› NGINX

› NGINX Trac

› 3rd Party Modules

› Security Advisories

› CHANGES

› OpenResty

› ngx_lua

› Tengine

在线学习资源

› NGINX 开发从入门到精通

NGINX Modules

› ngx_echo

这是一个创建于 2712 天前的主题，其中的信息可能已经有所发展或是发生改变。

nginx 日志反导到数据库，有比较好的方案吗？最近有这个需求，一直没有比较好的方案。

Nginx

反导

日志

数据库

16 条回复 • 2017-06-21 13:05:37 +08:00

liprais

2017-06-20 17:43:29 +08:00

自己写个 parser 把你需要的 column 解出来写到数据库里去
或者找个开源的 parser

koon_kai

2017-06-20 17:48:56 +08:00

用 elk?

artandlol

2017-06-20 18:03:19 +08:00

@liprais 数据量大，估计处理不了
@koon_kai elk 估计要用到中间键，搞到数据库这个过程不是很明朗

dallaslu

2017-06-20 18:06:26 +08:00

@artandlol 先用流式处理或者集群方式，把原始日志加工一下；然后一次性 load 进库

prasanta

2017-06-20 18:24:01 +08:00 via Android

elk 就 elk，别纠结了

cnyang

2017-06-20 18:31:02 +08:00

https://www.v2ex.com/t/54591

misaka19000

2017-06-20 18:33:35 +08:00 via Android

写个脚本定时导入感觉很好了

hustlike

2017-06-20 18:38:34 +08:00

用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。

Cooky

2017-06-20 18:41:07 +08:00 via Android

rsyslog

yghack

2017-06-20 18:45:34 +08:00

ELK
数据量很大？不需要中间件，直接 filebeat

ohhe

2017-06-20 21:15:38 +08:00

fluentd

zhengwenk

2017-06-20 21:44:58 +08:00

elk 还有什么不明朗的

ohblue

2017-06-20 22:41:28 +08:00

filebeat

willis

2017-06-21 08:41:05 +08:00

nginx 日志自定义为 json ,然后 elk

MajorAdam

2017-06-21 09:37:44 +08:00

elk

coolloves

2017-06-21 13:05:37 +08:00 via iPhone

rsyslog 实时传到 es 即可