• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hulk
V2EX  ›  程序员

golang consumergroup 开源

  •  
  •   hulk ·
    git-hulk · Jan 13, 2017 · 3512 views
    This topic created in 3413 days ago, the information mentioned may be changed or developed.

    对的, meitu 自己内部除了搞了一个 php 版本的 kafka consumer group ,还搞了一个 golang 版本的。

    为什么不用已有的? 主要当前已有的版本设计有些不符合我们的预期,比如:

    • consumer 启动消费,应该要么全部分区成功,要么启动失败而不能是部分,之前踩过这个坑
    • 日志耦合到依赖库,依赖库日志量巨大,线上不得不关闭。如果有问题没有任何日志可以排查。
    • 重试机制比较奇怪..

    综上我们内部自己基于 sarama 和 go-zookeeper 开发了自己的版本,并在内部线上使用一段时间。

    现在放到 github 上面来,欢迎 pr 或者拍砖。

    地址: https://github.com/meitu/go-kafka-consumergroup

    php 版本见之前主题: https://www.v2ex.com/t/330413

    6 replies    2017-01-13 22:01:35 +08:00
    agtc
        1
    agtc  
       Jan 13, 2017
    已 star
    hulk
        2
    hulk  
    OP
       Jan 13, 2017
    @agtc 感谢支持哈
    0915240
        3
    0915240  
       Jan 13, 2017
    资瓷~
    hulk
        4
    hulk  
    OP
       Jan 13, 2017
    @0915240 甚可思
    spice630
        5
    spice630  
       Jan 13, 2017
    你是怎么 解决这些问题的?
    hulk
        6
    hulk  
    OP
       Jan 13, 2017
    @spice630

    1. 启动部分失败直接退出并提示信息(这时候一定是有问题才会占用失败),处理完重启。
    2. 提供一套独立的日志接口
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1039 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 19:12 · PVG 03:12 · LAX 12:12 · JFK 15:12
    ♥ Do have faith in what you're doing.