V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PingCAP
V2EX  ›  推广

TiDB Binlog 组件正式开源,前排开“坑”走起!

  •  1
     
  •   PingCAP · 2019-05-06 18:51:33 +08:00 · 1677 次点击
    这是一个创建于 2027 天前的主题,其中的信息可能已经有所发展或是发生改变。

    TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如:TiDB/MySQL 等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库,以及 TiDB 数据准实时的备份与恢复。TiDB Binlog 作为 TiDB 的核心组件之一,已经在上百家用户的生产环境中长时间稳定运行。

    为方便用户和开发者更加深入理解和使用 TiDB Binlog 组件,以及基于 TiDB Binlog 组件做二次开发用于更多的业务场景, 我们决定今天正式开源 TiDB Binlog 组件。

    TiDB Binlog 适用的功能场景

    • 准实时数据同步:同步 TiDB 数据到其他数据库或消息队列(如 TiDB/MySQL/MariaDB/Kafka )。
    • 准实时备份和恢复:增量备份 TiDB 集群数据到外部系统,利用备份的数据在系统故障或者其他场景时可将数据恢复到任意时间点。

    TiDB Binlog 架构

    TiDB Binlog 核心特性

    • 支持类似 MySQL ROW 复制模式。
    • 准实时并按事务提交的时间顺序将数据同步至下游。
    • 分布式架构设计,支持水平弹性扩容和服务高可用。
    • 数据高可靠,系统实时将数据持久化到本地磁盘。
    • 支持多种输出方式,如下:
      • 文件:系统准实时将 binlog 写入文件系统作为增量备份,利用此增量备份文件可将数据恢复到任意时间点。
      • 消息队列:按照 binlog slave protocol 输出到 Kafka。
      • 下游目标数据库:TiDB/MySQL/MariaDB。

    TiDB Binlog 代码及文档资源

    欢迎大家一起参与 TiDB Binlog 的设计、研发、测试共同推进 TiDB Binlog 走向更成熟,更稳定。近期我们将发布 TiDB Binlog 源码阅读指南,敬请期待。

    3 条回复    2019-05-07 09:38:24 +08:00
    spongedu
        1
    spongedu  
       2019-05-06 19:34:46 +08:00
    资瓷一波。
    yghack
        2
    yghack  
       2019-05-06 19:47:14 +08:00
    资瓷 +1
    robert233
        3
    robert233  
       2019-05-07 09:38:24 +08:00
    资瓷 +1
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2646 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 05:30 · PVG 13:30 · LAX 21:30 · JFK 00:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.