请问一下,有没有遇到 datax 从文件导入数据到 mysql ,单 channel 的速度上不去,然后我开多个 datax 同时导入,每个 datax 的速度也还是上不去,每个 channel 的速度都在 1M/s 的样子,而且数据库和跑导入的机器的 cpu 内存 磁盘都没达到瓶颈,网络也没达到瓶颈,有没有什么思路可以排查问题在哪里呢?
1
wnarutou OP 刚发现一个信息,不同的表单 channel 的上限速度不一样,似乎索引多的慢一些,这个角度看好像个数据库有关。
但是我把文件分成 5 个,然后同时导入,每个导入速度都可以达到上限,这方面看又不是数据库的问题。 |
2
haimianbihdata Dec 24, 2022 via Android
我这也是 1.5m 左右的速度,感觉不够理想
|
3
wnarutou OP @haimianbihdata 字段数量越多,导入速度也越慢
|