因为 sql 的文件带索引,我尝试修改 mysql 的配置,然后用 source 导入速度很不理想,24 小时才导入了 1.8kw ,有大佬指下方向吗?
1
cuixiao603 2019-08-22 21:43:31 +08:00
也是困扰我的一个问题
|
2
piloots OP @cuixiao603 http://note.youdao.com/noteshare?id=57e8cc049322e22db3fed23e4deac8e6 目前这样,不知道有没有更快的方法,现在 1s 大概 3k (不准确统计)
|
3
piloots OP 这样的速度,理想化也需要 3 个小时左右...
|
4
cubecube 2019-08-22 22:10:49 +08:00 via Android
下次别导出 sql 会快点
|
6
piloots OP 啥都不如直接复制 sql 的文件快
|
7
chinesestudio 2019-08-22 22:24:13 +08:00 via Android
物理机 ssd 集群 十几分钟就搞定了
|
8
piloots OP @chinesestudio 单机,普通硬盘,理想状态下 4 个小时...后悔呀,复制 mysql 文件,不导出 sql 都会比这个效率高,没办法了
|
9
justgodlike1993 2019-08-22 22:31:03 +08:00
SET SQL_LOG_BIN =0 ;试试
|
10
mchl 2019-08-22 22:38:02 +08:00 via iPhone
mysql -u username -p < /path/to/dump.sql
|
11
msg7086 2019-08-23 06:08:42 +08:00 via Android
先问是不是 SSD。
当年很出名的一个事,有个公司没用 SSD,跑 MySQL 升级跑了 9 个月还是多少来着,还没跑完,成为笑柄。 |
12
gam2046 2019-08-23 09:38:03 +08:00
不确定有没有用,考虑一下先不建立索引,关闭事务,全部导入完成以后,再一次性建索引?
|
13
aaronchou0 2019-08-23 10:10:48 +08:00
我每周都要导 30G+ 8kw+行的数据,用时最多不超过 50 分钟。10G 4kw 的话最多也就 20 分钟。
|
14
sr0miao 2019-08-23 10:18:22 +08:00
不会这样吧,我到处 200 个 G 数据大概 5 个小时啊,企业级的机械硬盘
|
15
sr0miao 2019-08-23 10:22:50 +08:00
试试导出的时候带 -e --max_allowed_packet=xx --net_buffer_length==xx 参数,可以设大一点,不然就是硬盘的问题了
|
16
aaronchou0 2019-08-23 10:28:16 +08:00
@sr0miao 你导出跟我导入速度差不多了。我这个是个破虚拟机 4C8G
|
17
sr0miao 2019-08-23 10:32:18 +08:00
@aaronchou0 说错了,是导入。。
|
18
sr0miao 2019-08-23 10:35:10 +08:00
@aaronchou0 这个跟你虚拟机没关系啊,使用 sql 文件导入影响导入速度的主要因素 sql 文件构成和磁盘速度(决定因素)。
|