V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
humiaozuzu
V2EX  ›  问与答

[调查]关于服务端的 log 的疑问

  •  
  •   humiaozuzu · 2014-03-03 01:58:18 +08:00 · 3176 次点击
    这是一个创建于 3920 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大家能不能分享一下自己的公司怎么做的?
    - 比如手游公司,运营人员要能在web中看到用户充值的记录?(某个用户充值后发现钱没有到账,他会去找运营人员)
    - 比如运营想知道最热的商品有哪些,你们是用log做的吗?还是在数据库中添加一些项来记录,还是专门用的数据库记录?

    大家还可以从下面的方向分享下自己公司的方案,无论是small还是large的scale

    ## what to log

    1. nginx/webapp/database 等系统的
    2. 业务和运营相关的日志类似,支付相关的操作/安全相关的操作/用户数据分析的log


    ## where to log

    - 到文件
    - 到数据库系统中
    - 到日志聚合系统中去

    ## visualization

    - 老板想看看今天用户量
    - 运维想看看今天的 4xx log有没有人攻击系统
    - 后端想看看 5xx log 修 bug
    - 运营人员想在 web 后台中看到昨天最热的xxx,然后放进推荐的栏目

    我们目前用到的(很简单)
    - 5xx log app会丢到 sentry 里面
    - 4xx 跑 cronjob
    - google analytics 上面看业务数据
    9 条回复    1970-01-01 08:00:00 +08:00
    binux
        1
    binux  
       2014-03-03 02:15:01 +08:00 via Android   ❤️ 1
    记录到文件,收集起来统计,记录到另一个数据库
    humiaozuzu
        2
    humiaozuzu  
    OP
       2014-03-03 02:25:34 +08:00
    @binux 就是说,douban目前是在dpark离线计算来分析业务日志

    另外,其他的问题方便告知否?
    - 日志搜集工具是
    - 记录到另一个数据库后可视化用的是什么
    - 监控,报警,监控数据可视化用的是什么
    - 你们有每月/周生成数据报表的需求吗?用的是什么工具
    - 豆瓣读书中涉及到了资金交易,这些log是如何处理的呢?
    misaka
        3
    misaka  
       2014-03-03 02:28:48 +08:00
    lembacon
        4
    lembacon  
       2014-03-03 02:53:56 +08:00   ❤️ 1
    @humiaozuzu

    - 服务端日志搜集是用 scribe;
    - 数据可视化 MicroStrategy;
    - 监控 Graphite;
    - dpark;
    - scribe + dpark。
    humiaozuzu
        5
    humiaozuzu  
    OP
       2014-03-03 03:24:43 +08:00
    @lembacon
    - 报警用的Seyren?
    - 资金交易方面的log dpark计算后也是和其他数据放一个数据库,一样的用MicroStrategy做可视化?
    lembacon
        6
    lembacon  
       2014-03-03 03:28:51 +08:00   ❤️ 1
    @humiaozuzu

    - 报警目前还是用到 Nagios。
    - 资金具体并不是很清楚,帮你 cc @iwinux
    happy123
        7
    happy123  
       2014-03-03 08:02:16 +08:00   ❤️ 1
    业务log进数据库
    服务端,监控用logstash+elasticsearch

    后面elasticsearch我胡说的,我一直觉得这是个好东西,但似乎用的人不多。
    humiaozuzu
        8
    humiaozuzu  
    OP
       2014-03-03 09:08:36 +08:00
    @happy123 业务 log 为什么不丢进 elasticsearch 呢?
    binux
        9
    binux  
       2014-03-03 10:56:55 +08:00
    @binux 我厂貌似大都是自己写的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1331 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 17:45 · PVG 01:45 · LAX 09:45 · JFK 12:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.