V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
sniperking1234
V2EX  ›  问与答

日志采集工具选型, logstash 或者 fluentd,应该怎么选?

  •  
  •   sniperking1234 · 2023-07-31 11:44:19 +08:00 · 1341 次点击
    这是一个创建于 479 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在网上查阅了关于这两个日志工具的对比资料,感觉两者之前功能各有优劣,自己也简单试用了一下,两者的配置都很丰富,不过感觉一些坑还是实际使用的时候才知道,问一下大家有没有在这两个组件踩过坑,或者有相关的经验可以赐教一下

    7 条回复    2023-07-31 18:02:12 +08:00
    wklken
        1
    wklken  
       2023-07-31 11:59:32 +08:00
    如果用 elk, 建议采集和解析分开, logstash 虽然能做采集, 但是资源占用有点多;
    filebeat(golang) -> redis -> logstash(java) -> es

    fluentd 没用过
    superchijinpeng
        2
    superchijinpeng  
       2023-07-31 12:03:28 +08:00
    现在都是 vector 了
    sniperking1234
        3
    sniperking1234  
    OP
       2023-07-31 12:41:21 +08:00
    @superchijinpeng vector.dev 这个吗,之前没听过这个组件,有啥优势呢
    sniperking1234
        4
    sniperking1234  
    OP
       2023-07-31 12:42:07 +08:00
    @wklken 现在是打算把采集和解析分开的,fluentd 也是这种架构
    zero47
        5
    zero47  
       2023-07-31 14:18:21 +08:00
    fluentd 如果是 docker 构建,建议直接用 debian tag ,基于 alpine 的镜像会各种写入权限问题。调了半天配置文件最后换个 tag 就好了,是真的坑。
    sniperking1234
        6
    sniperking1234  
    OP
       2023-07-31 14:39:32 +08:00
    @zero47 fluentd 用官方 docker-compose 的方式都起不来,最后还是翻 issue 解决的,感觉是不是官方维护不频繁啊
    zong400
        7
    zong400  
       2023-07-31 18:02:12 +08:00
    filebeat 我们用得挺好,稳定
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1447 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:56 · PVG 07:56 · LAX 15:56 · JFK 18:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.