V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
liuxurong
V2EX  ›  NGINX

有没有办法将Nginx网站访问日志直接写入MySQL或其它的数据库里?

  •  
  •   liuxurong · 2012-12-11 01:34:58 +08:00 · 11096 次点击
    这是一个创建于 4367 天前的主题,其中的信息可能已经有所发展或是发生改变。
    16 条回复    2017-06-20 19:02:40 +08:00
    wingoo
        1
    wingoo  
       2012-12-11 02:11:31 +08:00   ❤️ 1
    隔段时间分析导入?
    liwei
        2
    liwei  
       2012-12-11 08:43:04 +08:00   ❤️ 1
    这个工作没必要由nginx来做(而且可能会影响nginx的性能),可以用脚本分析日志然后再写入数据库。
    enj0y
        3
    enj0y  
       2012-12-11 09:15:24 +08:00
    我也觉得这会影响nginx的性能。而且你想想,访问你网站的人数多了,不管访问什么页面都像是一种CC攻击,这种的网站性能能好么。真心没必要。
    voidman
        4
    voidman  
       2012-12-11 12:32:01 +08:00
    1楼的正解
    ericFork
        5
    ericFork  
       2012-12-11 12:34:14 +08:00
    用纯文本也没啥不好的,汇总到一个地方供分析即可
    est
        6
    est  
       2012-12-11 12:41:48 +08:00   ❤️ 1
    其实LS说的影响性能的说法不存在。logging可以是一个unix pipe,或者udp这种fire-and-forget方式,甚至是异步的。

    http://tengine.taobao.org/document/http_log.html

    这个淘宝的nginx fork可以实现各种logging

    个人比较推荐udp logging。用来多节点做日志聚合非常方便。
    Livid
        7
    Livid  
    MOD
       2012-12-11 12:45:18 +08:00   ❤️ 2
    Livid
        8
    Livid  
    MOD
       2012-12-11 12:45:30 +08:00
    Fenng
        9
    Fenng  
       2012-12-11 13:08:49 +08:00
    为毛要这么折腾呢?
    plprapper
        10
    plprapper  
       2012-12-12 09:54:36 +08:00
    nginx日志导入到 mysql里面 之后的处理更复杂 还不如用awk或者perl什么的呢
    est
        11
    est  
       2012-12-12 10:05:46 +08:00
    @plprapper 一个例子,10G日志统计一下浏览器top 5的平均响应时间吧。你用 shellscript 搞一个试试?
    ElmerZhang
        12
    ElmerZhang  
       2012-12-12 10:07:56 +08:00   ❤️ 1
    用syslog-ng或者rsyslog应该可以实现
    plprapper
        13
    plprapper  
       2012-12-12 10:50:57 +08:00
    @est 100G的apache日志我处理过,没感觉有什么问题。 mysql处理这个东西 我感觉完全不合适。
    est
        14
    est  
       2012-12-12 10:53:06 +08:00
    @plprapper 计算个指标出来也一点问题没有?
    plprapper
        15
    plprapper  
       2012-12-12 11:00:39 +08:00
    不知道你指的指标是什么意思,我经常会通过apache日志统计各个url的pv uv rt等信息 awk里也有用很多 if else 正则 数组 substring什么的 我感觉性能还好 我的blog里面有关于写脚本处理日志的demo 你可以看看 。 10G日志你导入到mysql不知道你到底是神码硬件,能很流畅这样的东西。对UA这样的字段建索引,太折磨mysql了吧
    10Buns
        16
    10Buns  
       2017-06-20 19:02:40 +08:00 via iPhone
    @plprapper 求地址,0101.pro ? 跳转到奇怪的地方
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4548 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 04:07 · PVG 12:07 · LAX 20:07 · JFK 23:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.