V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
nodesolar
V2EX  ›  Go 编程语言

撸了个小轮子,将 Binlog 解析成 json 推送 kafka

  •  
  •   nodesolar · 2023-06-25 22:08:19 +08:00 · 1900 次点击
    这是一个创建于 527 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://github.com/feiin/go-binlog-kafka

    将 binlog 解析成 json 并推送 kafka 方便订阅消费

    {
        "binlog_file": "mysql-bin.000052", // binlog file
        "log_pos": 3013167, // binlog position
        "action": "insert", // insert/update/delete/DDL action
        "table": "tests",  // 表名称
        "gtid": "68414ab6-fd2a-11ed-9e2d-0242ac110002:1-608",// GTID
        "schema": "tests", // 库名称
        "values": null, // insert/delete 时是对应行数据
        "before_values":{...} // update 变更前行数据
        "after_values":{...} // update 变更后行数据
    }
    
    8 条回复    2023-06-26 11:58:05 +08:00
    leonhao
        1
    leonhao  
       2023-06-25 22:33:09 +08:00   ❤️ 1
    为啥不用 debezium
    akira
        2
    akira  
       2023-06-25 22:46:50 +08:00
    刚好这两天在看 flink cdc ,你也可以看一下,挺好用的
    vincent7245
        3
    vincent7245  
       2023-06-25 22:47:41 +08:00
    这种轮子已经不少了,不过还是辛苦 OP 了
    nodesolar
        4
    nodesolar  
    OP
       2023-06-25 23:15:45 +08:00
    @vincent7245 嗯 造轮子玩...哈哈哈
    nodesolar
        5
    nodesolar  
    OP
       2023-06-25 23:16:51 +08:00
    @akira 嗯 以前也用过 flink
    silentsky
        6
    silentsky  
       2023-06-25 23:17:23 +08:00 via Android
    为啥不用 maxwell
    a33291
        7
    a33291  
       2023-06-26 09:32:59 +08:00
    java 的话,就能直接拿着 debezium 中的组件直接内嵌到程序一起,不用单独去部署这么多东西,还是更方便一些.可惜.net 没有类似的工具,希望有一个.net 组件能够模拟 mysql 的从节点,这样就可以感知到数据变化(CDC)
    julyclyde
        8
    julyclyde  
       2023-06-26 11:58:05 +08:00
    不明白为什么 json
    kafka 也不是只能处理文本内容吧?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1283 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 18:03 · PVG 02:03 · LAX 10:03 · JFK 13:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.