V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
artandlol
V2EX  ›  NGINX

nginx 日志反导到数据库

  •  
  •   artandlol · Jun 20, 2017 · 4108 views
    This topic created in 3235 days ago, the information mentioned may be changed or developed.

    nginx 日志反导到数据库,有比较好的方案吗? 最近有这个需求,一直没有比较好的方案。

    16 replies    2017-06-21 13:05:37 +08:00
    F281M6Dh8DXpD1g2
        1
    F281M6Dh8DXpD1g2  
       Jun 20, 2017
    自己写个 parser 把你需要的 column 解出来写到数据库里去
    或者找个开源的 parser
    koon_kai
        2
    koon_kai  
       Jun 20, 2017
    用 elk?
    artandlol
        3
    artandlol  
    OP
       Jun 20, 2017
    @liprais 数据量大,估计处理不了
    @koon_kai elk 估计要用到中间键,搞到数据库这个过程不是很明朗
    dallaslu
        4
    dallaslu  
       Jun 20, 2017
    @artandlol 先用流式处理或者集群方式,把原始日志加工一下;然后一次性 load 进库
    prasanta
        5
    prasanta  
       Jun 20, 2017 via Android
    elk 就 elk,别纠结了
    bigtwo
        6
    bigtwo  
       Jun 20, 2017
    misaka19000
        7
    misaka19000  
       Jun 20, 2017 via Android
    写个脚本定时导入感觉很好了
    hustlike
        8
    hustlike  
       Jun 20, 2017
    用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。
    Cooky
        9
    Cooky  
       Jun 20, 2017 via Android
    rsyslog
    yghack
        10
    yghack  
       Jun 20, 2017
    ELK
    数据量很大?不需要中间件,直接 filebeat
    ohhe
        11
    ohhe  
       Jun 20, 2017
    fluentd
    zhengwenk
        12
    zhengwenk  
       Jun 20, 2017
    elk 还有什么不明朗的
    ohblue
        13
    ohblue  
       Jun 20, 2017
    filebeat
    willis
        14
    willis  
       Jun 21, 2017
    nginx 日志自定义为 json ,然后 elk
    MajorAdam
        15
    MajorAdam  
       Jun 21, 2017
    elk
    sparkssssssss
        16
    sparkssssssss  
       Jun 21, 2017 via iPhone
    rsyslog 实时传到 es 即可
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5357 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 07:13 · PVG 15:13 · LAX 00:13 · JFK 03:13
    ♥ Do have faith in what you're doing.