一个内网服务器，一个外网服务器（数据定时采集服务器），现在想把外网服务器的增量数据同步到内网服务器（初始数据和表结构可以导成 sql 到目标库执行），表结构完全相同，可以有一定的延迟，各位 V 友们有什么好的方案和工具吗?原先没研究过，最好有具体的实现方案帖子、视频、或者开源项目，一站式部署，学习成本比较低，免费拿来就可以用最好了！
› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
This topic created in 678 days ago, the information mentioned may be changed or developed.
 |
1
fool1024 Dec 6, 2024
|
 |
2
chen15798 Dec 6, 2024
seatunnel
|
 |
3
iyiluo Dec 6, 2024
直接弄个主从，如何开启 mysql 主从，网上一大堆
|
 |
4
Marelbruim Dec 6, 2024
用 datax 一个脚本的事
|
 |
5
junphe Dec 6, 2024
楼上都有提到对实时有要求 Mysql 主从就可以了
|
 |
6
sxinsuoyu20 OP @fool1024 @Marelbruim 你好，我查了一下感觉也有点懵啊，canal 和 datax 哪个更容易搭建，有什么区别吗？是开源免费的吗？ java 环境可以吗？
|
|
7
sxinsuoyu20 OP |
|
8
Marelbruim Dec 6, 2024
|
 |
9
hetal Dec 6, 2024
percona toolkit
|
 |
10
realpg Dec 6, 2024
innodb cluster
但是坑不少 你得踩踩 |
 |
11
Actrace Dec 6, 2024
@sxinsuoyu20 双主，或者多主，可以用用 MariaDB 的 Galera 。限制是只能 innoDB 引擎。
|
|
12
junphe Dec 6, 2024
@sxinsuoyu20 主从是实时增量，数据结构都可以同步的，从库必须可以链接到主服务，最好给单独开启账号配置服务，你可以在网上搜索相关的资料比较多，只要是数据的配置就可以了
|
 |
13
XyIsMy Dec 6, 2024
同个类型数据库，搭建主从或双主就可以了
|
 |
14
bootvue Dec 6, 2024
cloudcanal
|
 |
15
Karte Dec 6, 2024
@junphe 方案是可以, 但是主从会存在对主库操作延迟. 再加上网络问题等, 可能会影响到主库的正常处理. 建议还是使用类似 CDC 的实现 (Flink, 部署麻烦), DataX.
|
 |
16
devtk Dec 6, 2024
canal 或者 flink-cdc
|
|
17
junphe Dec 6, 2024
@Karte 主从实际是对主 Mysql 的 Binlog 读取和传输，受服务器 IO 和网络影响！但是对主库操作延迟，未仔细研究，我觉得应该影响不大。之前有同步过 aliyun 的 mysql 到本地机房，运行良好。如本地断网，等网通后会自动同步，做好延迟监控！
|
 |
18
miniliuke Dec 6, 2024
debezium+kafaka 或者 flink cdc
|
 |
19
qW7bo2FbzbC0 Dec 6, 2024
@fool1024
请问这两个在数据同步上区别是什么？(看起来 dataX 抽象程度更高，在 MySQL 同步上 dataX 是依赖于 canal 或者内置了 canal 还是自己重新实现了同样的逻辑?) 仅针对于 mysql 数据增量同步这两个更推荐哪个？ |
 |
20
ccloving Dec 6, 2024
@sxinsuoyu20 可以双主，我有具体的代码，你加我，我发给你
|
 |
21
npe Dec 6, 2024
DMS
|
|
22
sxinsuoyu20 OP @ccloving 你好，请问你的具体怎么实现的啊，有下载地址吗？怎么添加好友？
|
 |
23
xyooyx Dec 7, 2024  1
@qW7bo2FbzbC0
## 同步事件驱动源 dataX：一般由指令触发 canal：由 binlog 订阅事件驱动 ## 同步边界 dataX：需要在作业中定义 canal：由 binlog 控制同步边界 所以我理解初次迁移适合用 dataX ，迁移后如果需要持续增量同步则用 canal |
Select Language