V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
piloots
V2EX  ›  问与答

求助, mysql 怎么快速导入 10 个 G Sql 文件,大概有 4kw 数据

  •  
  •   piloots · 2019-08-22 21:23:41 +08:00 · 2656 次点击
    这是一个创建于 1905 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为 sql 的文件带索引,我尝试修改 mysql 的配置,然后用 source 导入速度很不理想,24 小时才导入了 1.8kw ,有大佬指下方向吗?

    18 条回复    2019-08-23 10:35:10 +08:00
    cuixiao603
        1
    cuixiao603  
       2019-08-22 21:43:31 +08:00
    也是困扰我的一个问题
    piloots
        2
    piloots  
    OP
       2019-08-22 22:08:30 +08:00
    @cuixiao603 http://note.youdao.com/noteshare?id=57e8cc049322e22db3fed23e4deac8e6 目前这样,不知道有没有更快的方法,现在 1s 大概 3k (不准确统计)
    piloots
        3
    piloots  
    OP
       2019-08-22 22:10:10 +08:00
    这样的速度,理想化也需要 3 个小时左右...
    cubecube
        4
    cubecube  
       2019-08-22 22:10:49 +08:00 via Android
    下次别导出 sql 会快点
    piloots
        5
    piloots  
    OP
       2019-08-22 22:12:38 +08:00
    @cubecube 嗯,确实是这样
    piloots
        6
    piloots  
    OP
       2019-08-22 22:14:40 +08:00
    啥都不如直接复制 sql 的文件快
    chinesestudio
        7
    chinesestudio  
       2019-08-22 22:24:13 +08:00 via Android
    物理机 ssd 集群 十几分钟就搞定了
    piloots
        8
    piloots  
    OP
       2019-08-22 22:27:38 +08:00
    @chinesestudio 单机,普通硬盘,理想状态下 4 个小时...后悔呀,复制 mysql 文件,不导出 sql 都会比这个效率高,没办法了
    justgodlike1993
        9
    justgodlike1993  
       2019-08-22 22:31:03 +08:00
    SET SQL_LOG_BIN =0 ;试试
    mchl
        10
    mchl  
       2019-08-22 22:38:02 +08:00 via iPhone
    mysql -u username -p < /path/to/dump.sql
    msg7086
        11
    msg7086  
       2019-08-23 06:08:42 +08:00 via Android
    先问是不是 SSD。
    当年很出名的一个事,有个公司没用 SSD,跑 MySQL 升级跑了 9 个月还是多少来着,还没跑完,成为笑柄。
    gam2046
        12
    gam2046  
       2019-08-23 09:38:03 +08:00
    不确定有没有用,考虑一下先不建立索引,关闭事务,全部导入完成以后,再一次性建索引?
    aaronchou0
        13
    aaronchou0  
       2019-08-23 10:10:48 +08:00
    我每周都要导 30G+ 8kw+行的数据,用时最多不超过 50 分钟。10G 4kw 的话最多也就 20 分钟。
    sr0miao
        14
    sr0miao  
       2019-08-23 10:18:22 +08:00
    不会这样吧,我到处 200 个 G 数据大概 5 个小时啊,企业级的机械硬盘
    sr0miao
        15
    sr0miao  
       2019-08-23 10:22:50 +08:00
    试试导出的时候带 -e --max_allowed_packet=xx --net_buffer_length==xx 参数,可以设大一点,不然就是硬盘的问题了
    aaronchou0
        16
    aaronchou0  
       2019-08-23 10:28:16 +08:00
    @sr0miao 你导出跟我导入速度差不多了。我这个是个破虚拟机 4C8G
    sr0miao
        17
    sr0miao  
       2019-08-23 10:32:18 +08:00
    @aaronchou0 说错了,是导入。。
    sr0miao
        18
    sr0miao  
       2019-08-23 10:35:10 +08:00
    @aaronchou0 这个跟你虚拟机没关系啊,使用 sql 文件导入影响导入速度的主要因素 sql 文件构成和磁盘速度(决定因素)。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   975 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 22:12 · PVG 06:12 · LAX 14:12 · JFK 17:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.