V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
justdoit123
V2EX  ›  科技

[日志] 关于日志查询系统选项的几个疑问, ES 系 与 Loki 系。

  •  
  •   justdoit123 · 74 天前 · 890 次点击
    这是一个创建于 74 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近要给公司搭建日志查询系统。几点疑问请教各位。

    1. 日志查询系统里的数据一般存放多久的日志?我们的日志有原始备份在 s3 上,查询系统上的数据是不是就可以定期删除掉了?

    2. Loki 动态标签问题。Loki 不推荐动态标签,其理由是影响性能、增加索引体积。但是我怎么感觉少了动态标签,查询就很鸡肋。下面是我的想法,不知道符不符合实践经验,望指正!想法:

      a. 分布式系统,少不了要用 reqeustId 去链接起一个请求经过不同服务产生的日志。

      b. 不同的子业务,会有不同重要的数据 ID 。比如,一个订单系统的请求,打印出来的每一条日志,至少都要带上订单 ID 吧?这类数据 ID 也是动态标签。

      c. 如果这些动态数据都不用 labels ,而是用正则匹配 log 内容查询。个人直觉告诉我,这个有点鸡肋。

    3. 如果用 Loki 索引动态标签。数据量大的时候,性能会不会比 ES 拉跨?

    两个种服务都在本地实验性的搭建起来过。

    Kibana 确实感觉有点吃性能,web 页面还偶尔会有点卡卡的,功能很多眼花缭乱(不过这个可以选择使用,逐步深入),但是查询的功能确实更强大。

    Loki 真的很轻量就是不知道这动态标签用起来之后,会不会卡。不过查询真的差点意思。

    相关文章:

    V2: 最近我安装了 Loki + Promtail + Grafana ,感觉这一组合可以取代 Elasticsearch + Logstash

    V2: Grafana Loki 开源日志聚合系统代替 ELK 或 EFK

    掘金:Loki 最佳实践(译)

    4 条回复    2024-09-24 11:39:13 +08:00
    Mi1kTea
        1
    Mi1kTea  
       73 天前   ❤️ 1
    查询系统的一般存个 7 天吧,方便排查问题,既然有 s3 的备份,原始数据确实可以删了,节省些成本

    不过我们业务量不大的情况下,loki 查询还是比较爽的,不比 es 差,业务量很大的情况暂时还没用过 loki ,还是用的 es
    justdoit123
        2
    justdoit123  
    OP
       72 天前
    @Mi1kTea 谢谢~
    jigege2019
        3
    jigege2019  
       67 天前   ❤️ 1
    loki 遇到数据量很大,就很吃硬盘,在对象存储中生成超级多的小文件,想删除都删除不了,删除都卡很久都没删除掉,只有重装系统。。
    最近用了 graylog 感觉还可以
    justdoit123
        4
    justdoit123  
    OP
       62 天前
    @jigege2019 谢谢反馈 loki ~

    最后已经搭建了 ES 。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5025 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 09:53 · PVG 17:53 · LAX 01:53 · JFK 04:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.