V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
sssmm666
V2EX  ›  MySQL

sqlServer 如何增量同步数据到 MySql,小公司买不起 DTS 服务

  •  
  •   sssmm666 · 286 天前 · 2138 次点击
    这是一个创建于 286 天前的主题,其中的信息可能已经有所发展或是发生改变。
    公司有个需求需要读取 sqlServer 数据库的数据到 MySql 数据库,看了下 DTS 服务好贵公司估计不肯掏钱,还有什么其他的方法或工具可以实现吗,不想自己写代码实现啊,主要表有点多
    https://imgur.com/a/Sx5MuGP
    25 条回复    2024-11-08 09:20:10 +08:00
    sssmm666
        2
    sssmm666  
    OP
       286 天前
    @littlewing Datax 用不了,有些表没有时间属性的,另外两个看了下,没看到支持 sqlServer 的
    goodryb
        4
    goodryb  
       286 天前
    先从架构上看看,C 库为什么要用 mysql ,都用 SQLserverless 行不行,同类型数据库相对来说比较容易做同步

    其次,同步的数据主要用作什么,入大数据还是日常的查询分析,这种一般都有数据集成工具,支持各种数据源
    N9f8Pmek6m8iRWYe
        5
    N9f8Pmek6m8iRWYe  
       286 天前
    大数据平台的 CDC ,用 streamset ,参考: https://blog.csdn.net/BlackArmand/article/details/106407801
    kgcHQbTYyvcz2w3j
        6
    kgcHQbTYyvcz2w3j  
       286 天前
    Kettle ? 要我就手撸 ETL ,定义好规则代码写起来很快的
    0xsui
        7
    0xsui  
       286 天前
    @xyzmax Kettle 被日本日立收购了吧,现在找个在线下载都费劲了
    xiaoer90
        8
    xiaoer90  
       286 天前
    cloudcanal ,3 个月免费,过期更新一下许可证就可以
    lstz
        9
    lstz  
       286 天前 via Android
    没钱的话,用最大众的 mysql 就是稳的。

    不过自己应用层写写代码,应该也能实现
    x66
        10
    x66  
       286 天前 via Android
    nifi 自己手撸 SQL
    asmoker
        11
    asmoker  
       286 天前
    可以试试 debezium (坑真 TM 的多,随便一搜时间戳处理的开源 Transforms 库就 TM 一大堆...
    ukhack
        12
    ukhack  
       285 天前
    @0xsui 哪里费劲了,一搜一大堆
    smallpigzbl
        13
    smallpigzbl  
       285 天前
    我用的 airbyte ,开源版本,本地 docker 部署,不是太老的 SQLSERVER 都可以
    sssmm666
        14
    sssmm666  
    OP
       285 天前
    @goodryb 因为我用惯了 mysql 加上用的开源框架,都用 sqlserver 的话使用开源框架那边也得换,因为目前只是从 sqlserver 读取数据的来做大屏分析和后台系统的饼图柱状图这些
    sssmm666
        15
    sssmm666  
    OP
       285 天前
    @lstz 客户用的是 sqlserver,我这边是需要去客户的数据库取数据的
    sssmm666
        16
    sssmm666  
    OP
       285 天前
    @asmoker 我昨天网上搜了一堆,flinkCDC 好像就是用的这个读取变更的数据
    sssmm666
        17
    sssmm666  
    OP
       285 天前
    @smallpigzbl 我去试下这个,昨天忙活一天用 flinkCDC 跑通了
    sssmm666
        18
    sssmm666  
    OP
       285 天前
    @lstz 自己写是最后的方案,要是找不到就只能自己手戳应用层了
    sssmm666
        19
    sssmm666  
    OP
       285 天前
    @vczyh 我找到的 flink-cdc 好像就用这个做插件读取变更数据的,感谢了
    sssmm666
        20
    sssmm666  
    OP
       285 天前
    昨天研究一天找到了解决方案了,用的是 flink-cdc 来处理,感谢各位的解答
    smallpigzbl
        21
    smallpigzbl  
       285 天前
    @sssmm666 Airbyte 更全一点,也支持 CDC ,折腾吧~
    sssmm666
        22
    sssmm666  
    OP
       284 天前
    @smallpigzbl Airbyte 不支持 sqlserver2008,T_T ,我去看了官方文档的要求了
    smallpigzbl
        23
    smallpigzbl  
       284 天前
    @sssmm666 想要 CDC 的话,最低都是 sqlsever 2008 R2 ,都得找兼容的连接器版本,最新版都不行。
    sssmm666
        24
    sssmm666  
    OP
       284 天前
    @smallpigzbl 那现在 flinkCDC 跑通了,应该 sqlsever 2008 R2 版本了,那 Airbyte 应该也能用了,我去折腾下看看
    yudoo
        25
    yudoo  
       40 天前
    @sssmm666 结果怎么样了, 我们最近用 datax, 我觉得这玩意是不是有点过时了呀
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5768 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 01:51 · PVG 09:51 · LAX 17:51 · JFK 20:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.