V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
papaer
V2EX  ›  问与答

监听 Binlog 有哪些风险点

  •  
  •   papaer · May 19, 2022 · 1865 views
    This topic created in 1440 days ago, the information mentioned may be changed or developed.
    大家有做过使用 Binlog 的场景吗,以及遇到的风险点(已遇到的问题 + 未来可能出现的)
    4 replies    2022-05-19 16:11:57 +08:00
    cominghome
        1
    cominghome  
       May 19, 2022
    监听 binlog 本身没有什么风险(一般是监听从库),方案已经很成熟了( Cancal 了解一下),重点是你需要做什么
    leon0318
        2
    leon0318  
       May 19, 2022
    这能有啥风险,无非就是有数据延迟
    sadfQED2
        3
    sadfQED2  
       May 19, 2022
    binlog->kafka
    binlog->hive
    binlog->es
    binlog->pg

    我们的使用场景,无非就是做一些数据同步,或者监控某些数据变化。非说风险的话可能有敏感数据问题? binlog 里面的内容不方便做权限控制
    akiraX
        4
    akiraX  
       May 19, 2022
    注意 position 的保存时机,防止丢数据。
    消费端要保证幂等来处理重复的数据。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3321 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 13:09 · PVG 21:09 · LAX 06:09 · JFK 09:09
    ♥ Do have faith in what you're doing.