• 请不要在回答技术问题时复制粘贴 AI 生成的内容
cv1024
V2EX  ›  程序员

API 日志分析统计什么架构比较好?

  •  
  •   cv1024 · Aug 25, 2020 · 5541 views
    This topic created in 2265 days ago, the information mentioned may be changed or developed.

    目前 app 的 api 请求日志都是放在日志.log 里的,也没有 shell 去统计量。有没有好的工作可以做这种统计,ELK 感觉太过重,有没有轻量的工具推荐?

    25 replies  •  2020-08-26 11:25:55 +08:00
    InkAndBanner
    InkAndBanner
    Aug 25, 2020
    1
    同求
    tabris17
    tabris17
    Aug 25, 2020
    2
    ELK 还重?自己写 python 脚本吧
    ben1024
    ben1024
    Aug 25, 2020
    3
    ELK
    直接 E
    ben1024
    ben1024
    Aug 25, 2020
    4
    或者用哨兵
    chendy
    chendy
    Aug 25, 2020
    5
    elk 虽然”重“但是功能全
    其实只有 e 是必须的,l 和 k 都可以换(其实主要是 e 重…)
    letitbesqzr
    letitbesqzr
    Aug 25, 2020
    6
    没觉得 elk 有多重,es 是那种配置越好性能越好的软件.. 你要实在觉得“重”,使劲压榨下参数不就行了。。
    liujialongstar
    liujialongstar
    Aug 25, 2020
    7
    个人感觉 elk 里 k 比较重, 功能太多了, 一直没理清; 好在有替代品
    Fitz
    Fitz
    Aug 25, 2020
    8
    loki
    ohao
    ohao
    Aug 25, 2020
    9
    小公司个人的话 推荐 clickhouse,类 sql 查询支持 这个比较适合
    但是也要考虑你的查询需求和日志量和业务增加速度,做好预留

    ELK 的套件 非中大公司不太推荐 ,集群,容灾,一堆一堆的问题,虽然资料相对多
    对资源和维护要求都比较高
    我们以前 CDN 系统的日志支持的是这个,实际交付给客户使用阶段 还是发现不太合适
    xuanbg
    xuanbg
    Aug 25, 2020
    10
    ELK/EFK 这种一点都不重,几行 docker 命令就搞定
    nikandaoleshenme
    nikandaoleshenme
    Aug 25, 2020
    11
    0,自己动手写一个
    1,日志有明确的格式
    2,编写一个程序( shell 、py 、亦或你最拿手的语言 java 、go ),定时读取日志,然后解析格式(解析规则取决于日志格式),入库
    3,库可以是 es,甚至 mysql 、 建议文档数据库 mongodb,简单易用,方便后续的聚合查询
    4,工作量:一个人全心投入,一个下午即可出一个 简版来
    5,注意事项:日志解析需要细心,大文本读取策略,内存溢出,
    6,开始行动 或者 pass
    aeli
    aeli
    Aug 25, 2020
    12
    日志目前我用了 loki,算轻量的收集。但对 trace 之类支持不好。
    cv1024
    cv1024
    OP
    Aug 25, 2020
    13
    @tabris17 奈何脚本使用不灵活。还要手写各种统计的图。

    @ben1024
    @chendy
    @letitbesqzr
    @liujialongstar
    @xuanbg 谢谢各位,elk 是在待选方案里的,也打算进行尝试。
    cv1024
    cv1024
    OP
    Aug 25, 2020
    14
    @ohao 感谢,回头了解一下这个东西。
    cv1024
    cv1024
    OP
    Aug 25, 2020
    15
    @Fitz
    @aeli 谢谢,这个东西之前没搞过,看了下介绍,是轻量级工具。
    vipppppp
    vipppppp
    Aug 25, 2020
    16
    我们组折腾了一圈后回到了 elk,filebeat,kafka 。。
    自己开发与其他工具不是维护太麻烦、资料太少就是功能缺失。。
    c00WKmdje2wZLrSI
    c00WKmdje2wZLrSI
    Aug 25, 2020
    17
    为什么不用阿里云的日志服务呢?价格比自建低,又不用运维
    stardustree
    stardustree
    Aug 25, 2020
    18
    想轻量就不要采集原始的日志,直接在客户端从原始日志里抽出关心的指标,然后随便搞个时序数据库存着就好了
    gaigechunfeng
    gaigechunfeng
    Aug 25, 2020
    20
    elk 这种是日子分析框架,还是采集框架?
    我现在是需要在小程序,前端采集数据。不知道 elk 能不能支持
    fanshaohua
    fanshaohua
    Aug 25, 2020 via Android
    21
    可以考虑一下 Azure 的 Application Insight.
    podel
    podel
    Aug 25, 2020
    22
    强烈按理 阿里云的日志服务。
    便宜又好用。还能直接监测 VPS 上面的日志文件,还有智能正则匹配功能。
    sadfQED2
    sadfQED2
    Aug 25, 2020 via Android
    23
    https://www.xjiangwei.cn/2020/07/12/serverArchitecture/

    我个人博客项目的日志系统怎么样?绝对够轻量
    SmiteChow
    SmiteChow
    Aug 26, 2020
    24
    Google Analytics
    aladdindingding
    aladdindingding
    Aug 26, 2020
    25
    我们公司用的 clickhouse
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1895 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 70ms · UTC 09:09 · PVG 17:09 · LAX 01:09 · JFK 04:09
    ♥ Do have faith in what you're doing.