jackLoveDota 最近的时间轴更新
jackLoveDota

jackLoveDota

V2EX 第 517258 号会员,加入于 2020-11-13 11:24:48 +08:00
今日活跃度排名 1338
aws mysql 数据同步到 clickhouse cloud 的问题求助
问与答  •  jackLoveDota  •  1 小时 53 分钟前  •  最后回复来自 jackLoveDota
2
出一台主机,新手,不太懂价格
二手交易  •  jackLoveDota  •  2023-03-27 20:24:55 PM  •  最后回复来自 um1ng
21
mbp 维修求助
问与答  •  jackLoveDota  •  2021-11-15 16:21:57 PM
请教 mac book pro 修理问题
MacBook Pro  •  jackLoveDota  •  2021-10-28 00:32:25 AM  •  最后回复来自 dark456852
5
mbp 无法冲进去电,需要更换新电池吗
Apple  •  jackLoveDota  •  2021-10-21 21:05:19 PM  •  最后回复来自 TomChaai
1
jackLoveDota 最近回复了
1 小时 53 分钟前
回复了 jackLoveDota 创建的主题 问与答 aws mysql 数据同步到 clickhouse cloud 的问题求助
这是脱敏后的配置文件,有那么用过的能帮忙解决下,解决后留地址,打 100u 给大佬买咖啡,谢谢了
1 小时 55 分钟前
回复了 jackLoveDota 创建的主题 问与答 aws mysql 数据同步到 clickhouse cloud 的问题求助
```
env {
execution.parallelism = 8
job.mode = "STREAMING"
# 检查点配置
checkpoint.interval = 60000
# 支持多次运行
restart.strategy = "fixed-delay"
restart.attempts = 3
}
source {
# MySQL 源表配置
MySQL-CDC {
result_table_name = "mysql_source"
server-id = 5400-5408
hostname = "localhost"
port = 3306
username = "root"
password = "root"
database-name = "abc"
# t_test 每天数据量 1000w ,按照天为纬度分表,这里合并到 clickhouse ,聚合成一张表,方便统计,是否合理?
table-names = ["abc.t_test","abc.t_test_*"]
base-url = "jdbc:mysql://localhost:3306/abc"
# 需要全量+增量
startup.mode = "INITIAL"
driver = "com.mysql.cj.jdbc.Driver"
# CDC 配置
monitor.interval = 1000
chunk.size = 32768
exactly-once = true
# 并行读取配置
split.size = 50000
split.even-distribution.factor.lower-bound = 0.05
split.even-distribution.factor.upper-bound = 0.95
# 并行读取优化
connection.pool.size = 8 # 增加连接池大小
fetch.size = 10000 # 增加每次获取的记录数

# 启用批量模式
enable.batch = true
batch.size = 10000

# 记录同步位点
offset.storage = "filesystem"
offset.storage.path = "/tmp/seatunnel/offset"
}
}
transform {
Sql {
query = """
SELECT
id,
CASE
WHEN statistic_finished = 1 THEN 1
ELSE 0
END as statistic_finished,
ip,
created_at,
updated_at
FROM mysql_source
"""
}
}
sink {
Clickhouse {
# ClickHouse Cloud 连接配置
host = "xxx.clickhouse.cloud:8443"
database = "local_test"
table = "t_test"
username = "default"
password = "123456"
# 表操作配置
primary_key = "id"
# 针对公网延迟优化的写入配置
bulk_size = 5000 # 考虑网络延迟,稍微减小批量
flush_interval = 5000 # 增加刷新间隔
# 重试配置
retry_codes = [429, 500, 503]
max_retries = 5
retry_interval = 10000
# 超时配置
connect_timeout = 60000
socket_timeout = 300000
# 连接池配置
connection_pool {
max_size = 16
core_size = 8
min_evictable_idle_time_millis = 300000
}
# 写入优化
enable_partition = true
partition_strategy = "balanced"
# 压缩配置
compression = true
compression_type = "gzip"
# 时区设置
server_time_zone = "UTC"
}
}
```
171 天前
回复了 ibrothergang 创建的主题 游戏 有什么游戏是你一直玩到现在的?
我想问下你们 mac 怎么玩 dota2 的,是直接下载 steam 和 dota2 吗?为什么我最新款的 mbp,16 寸,36G 的内存,玩 dota2 会卡
269 天前
回复了 whoami9426 创建的主题 生活 如何帮父母代缴社保医保?
我母亲还有几个月 60 岁,湖北农村户口,身体健康,体检没有任何问题,目前只交了新农合,这种一次性补缴 60 岁划算吗?我有点算不明白
276 天前
回复了 codcrafts 创建的主题 旅行 4 月份去泰国旅游,有没有什么注意的
最近朋友有想法在清迈开民宿,有邀请我加入,这块有搞头吗
2023-11-15 09:37:06 +08:00
回复了 lijianmin321 创建的主题 分享创造 V 站老哥太热情了, Airy 永久会员加送 9000,凑到 1 万
支持一下,试用下
2023-10-20 11:25:33 +08:00
回复了 BaseException 创建的主题 生活 骑电瓶车未戴头盔被摄像头拍到,收到短信了
请问下,你们的头盔都是怎么放的,2 个头盔感觉电动车放不下
2023-07-28 14:08:29 +08:00
回复了 EyebrowsWhite 创建的主题 推广 [抽奖] 评论送两台 OneKey Mini
中奖中奖
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1392 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 17:09 · PVG 01:09 · LAX 09:09 · JFK 12:09
Developed with CodeLauncher
♥ Do have faith in what you're doing.