目前在做 mysql 同步数据到 es,es 负责查询那块,了解到阿里巴巴的 canal 增量同步工具,便使用了自带的 canal-adapter 组件,但发现这个组件的文档已经几百年没更新并且维护人员流失了,很多东西都是我通过阅读源码才得知改了,而且复杂一点的 SQL 就解析不了了,局限性很大
1
ospider 2021-10-20 14:02:24 +08:00
前几天刚刚被这个工具坑了,比较简单的同步逻辑还是自己写吧……
|
2
liprais 2021-10-20 14:04:22 +08:00
cdc + debezium + kafka 呗
后面随便玩 |
3
sunshengkai27 2021-10-20 15:44:13 +08:00
canal 自带的 adapter?
|
4
MartinWu 2021-10-20 17:34:06 +08:00
我们最近刚上 flink cdc connector 这个车。
|
5
bootvue 2021-10-20 18:02:26 +08:00
logstash 插件
或者阿里粑粑的 datax 都可以写 sql 增量同步 |
6
Geekerstar 2021-10-20 22:08:12 +08:00
目前在用这个,坑确实比较多
|
7
starxg 2021-10-21 13:07:03 +08:00
canal->kafka->消费者->代码解析->es
|