利用 kettle 做 ETL，性能调优

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2443 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近在做架构迁移，sqlserver 到 mysql 的，涉及表拆分，业务表整合

拆分和整合等业务层面对数据表的转换我在 sqlserver 端用视图处理掉了，目前是用 kettle 做数据传输

现在有个问题，性能跟不上，每秒处理数据量才 7000 多，sqlserver 待迁移的数据库有 800G，跑了快一天都没跑完仿真测试

数据源是线上 slave 机器，配置为 E5 2678 256G 内存，配置给 kettle 20G

mysql 部署在本地内网虚拟机，分配 4 核心，32G 内存

公司带宽 100m

想问问大家 kettle 除了调整内存使用外还有什么参数可以设置

7 条回复 • 2018-03-03 11:19:08 +08:00

p216085

2018-03-02 10:43:16 +08:00

单表 7000 的话还可以啊~

p216085

2018-03-02 10:44:09 +08:00

如果是总共 7000 的话~需要具体分析~

Martin9

2018-03-02 11:47:44 +08:00

我们公司用的是 DMExpress，搜了一圈好像都没别的在用，碰到 bug 很绝望

twtiyb

2018-03-02 12:42:01 +08:00

只是做传输，你看下 datax

SlipStupig

2018-03-02 12:55:05 +08:00

kettle 本身速度一般，除了改内存以外可以改一下 GC 算法比如用 G1gc, 用 jvm server 模式，然后再就是改 Mysql 和 MSSQL 的配置，eg:mysql 可以修改线程池写入线程数

haiyang5210

2018-03-02 19:11:43 +08:00

单表能破万么

buliugu

2018-03-03 11:19:08 +08:00