› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
Sevnx
V2EX  ›  MySQL

大文件导入 MYSQL,如何最快速。

  •  
  •   Sevnx · Jul 22, 2014 · 6022 views
    This topic created in 4451 days ago, the information mentioned may be changed or developed.
    现有一个文本文件,5G,一条记录一行,总共两千多万条
    每条记录都有固定格式。
    有什么方法能快速导入?
    用python一条一条插入,感觉效率很低。
    8 replies  •  2014-07-23 07:01:47 +08:00
    p2p
        1
    p2p  
       Jul 22, 2014   ❤️ 1
    The LOAD DATA INFILE statement reads rows from a text file into a table at a very high speed.
    hjse7en
        2
    hjse7en  
       Jul 22, 2014
    LOAD DATA INFILE
    fisherv
        3
    fisherv  
       Jul 22, 2014
    那么大的文件...
    Sevnx
        4
    Sevnx  
    OP
       Jul 22, 2014 via Android
    @fisherv
    @hjse7en
    @p2p
    谢了。已经搞定了。
    dekinr
        5
    dekinr  
       Jul 22, 2014
    咋搞定的,求分享 @Sevnx
    lijinma
        6
    lijinma  
       Jul 22, 2014
    如果是我,我会把 大文件记录----》生成 SQL 语句 ------》 source

    不知道会不会快一点?
    Sevnx
        7
    Sevnx  
    OP
       Jul 22, 2014 via Android
    刚跑完。就一楼那个指令。跑到现在了 。也不是很快。。
    @dekinr
    monkeylyf
        8
    monkeylyf  
       Jul 23, 2014
    batch load/batch write
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4988 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 01:25 · PVG 09:25 · LAX 18:25 · JFK 21:25
    ♥ Do have faith in what you're doing.