V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 1199 days ago, the information mentioned may be changed or developed.
提前声明环境条件：
Windows 11 Kettle Spoon
java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
MySQL8.0 (本地)
800MB csv 文件 约 3000 万行数据
表输出线程 x10
使用连接池
提交记录数量 10000
useCompression true
rewriteBatchedStatements true
useServerPrepStmts false
问题说明：
使用 Kettle Spoon 向本地 MySQL 服务器导入 CSV 数据。启动转换后发现表输出速度骤降，30s 内从单线程处理速度 9000+降到 100+
尝试措施：
尝试过换成远程数据库，现象相同
Windows 11 Kettle Spoon
java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
MySQL8.0 (本地)
800MB csv 文件 约 3000 万行数据
表输出线程 x10
使用连接池
提交记录数量 10000
useCompression true
rewriteBatchedStatements true
useServerPrepStmts false
问题说明：
使用 Kettle Spoon 向本地 MySQL 服务器导入 CSV 数据。启动转换后发现表输出速度骤降，30s 内从单线程处理速度 9000+降到 100+
尝试措施：
尝试过换成远程数据库，现象相同
 |
1
opengps Jan 25, 2023
查一下导入过程磁盘的队列大小，队列大则可能已经触及性能上限了
|
Select Language