tianxiacangshen
V2EX  ›  PHP

2G 甚至 5G 10G 的 sql 文件怎么消化?

  •  
  •   tianxiacangshen · Jun 2, 2017 · 6525 views
    This topic created in 3448 days ago, the information mentioned may be changed or developed.
    不一定是传到数据库,而是能打开,能分割也行( SQLDumpSplitter 无效),这么大个文件,用什么打开编辑都是卡死,只能用大文件查看器查看一下,也不能编辑,请问有什么办法编辑比如剪切里面的内容?
    32 replies  •  2017-06-04 09:39:07 +08:00
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Jun 2, 2017 via iPhone
    1
    倒进数据库看....
    Fishdrowned
    Fishdrowned
    Jun 2, 2017 via Android
    2
    有个笨办法,先导入,再编辑,再导出
    operafans
    operafans
    Jun 2, 2017
    3
    Toad
    harker
    harker
    Jun 2, 2017
    4
    找个好点的配置的主机,导入到数据库,编辑完在导出,简单有效,主要是方便编辑
    baoguok
    baoguok
    Jun 2, 2017
    5
    导入再分批次导出嘛

    玩儿技术的,这都不是事儿
    buir
    buir
    Jun 2, 2017
    6
    卡死是你没 [耐心] 或者内存太小导致的。
    wudanyang
    wudanyang
    Jun 2, 2017
    7
    先分割呗, 用 `split` 命令
    ```
    split -b 256M file_name -d -a 4 file_prefix
    ```
    jianghu52
    jianghu52
    Jun 2, 2017❤️1
    8
    我最大打开过 6.8G 的 sql 文件。用的 emeditor。慢是慢了一点。但是没有死。10g 的是没试验过。
    gouchaoer
    gouchaoer
    Jun 2, 2017
    9
    手写一行一行的读
    or 用 vim 啥的
    tianxiacangshen
    tianxiacangshen
    OP
    Jun 2, 2017
    10
    @baoguok 这么大没办法导入啊
    baoguok
    baoguok
    Jun 2, 2017
    11
    @tianxiacangshen mysql cli 中,试试 source load xx.sql
    bookit
    bookit
    Jun 2, 2017
    12
    UltraEdit

    禁止临时文件
    禁止显示行号
    禁止文件(回车 & 换行符)转换
    禁止代码折叠
    禁止显示函数列表
    设置打开 XML 大文件阈值
    禁止语法高亮
    禁止列表变更指标( LCI )
    2ME
    2ME
    Jun 2, 2017 via Android
    13
    @tianxiacangshen
    为什么没办法导入 命令行设置编码 source 导入很快 上午刚导入一个 4g 不到的 sql 文件
    mahone3297
    mahone3297
    Jun 2, 2017
    14
    @2ME 4g 导入,差不多要多久?
    congeec
    congeec
    Jun 2, 2017
    15
    ...............
    楼主你听说过 vim 么?
    blankme
    blankme
    Jun 2, 2017 via Android
    16
    你能导出还不能导入么...
    而且只要内存够,vim 随便看随便编辑
    2ME
    2ME
    Jun 2, 2017
    17
    @mahone3297 没注意 很快 几分钟都不到
    tianxiacangshen
    tianxiacangshen
    OP
    Jun 2, 2017
    18
    @jianghu52 这是个神器啊,13G 打开毫无压力,还能“增删改查”
    likuku
    likuku
    Jun 2, 2017
    19
    转 csv,split 指令直接按行切分成多文件。

    grep,sort,awk, 配合起来用,筛出数据都可以。

    内存够大(超过文件体积),那么 vim 吧,快速定位行,复制黏贴,都可以。
    XiaoFaye
    XiaoFaye
    Jun 2, 2017
    20
    你是没用过 UltraEdit 这个神器吧?
    reus
    reus
    Jun 2, 2017
    21
    ed 啊
    artandlol
    artandlol
    Jun 2, 2017 via Android
    22
    使用 mysqldump -tab 导出每想单独的表
    估计是你本身的原因 我打开 11G 的文件嗯正常
    msg7086
    msg7086
    Jun 2, 2017
    23
    没记错的话 EmEditor 有专门用来处理大文件的功能,直接选定某个局部区域打开就行了。
    jhdxr
    jhdxr
    Jun 2, 2017❤️1
    24
    emeditor 我最高处理过一个单个 22G 的 SQL,而且批量替换啥的,如果不用正则速度还是很快的。
    Akkuman
    Akkuman
    Jun 2, 2017 via Android
    25
    emediter
    Akkuman
    Akkuman
    Jun 2, 2017 via Android
    26
    emeditor
    nadoo
    nadoo
    Jun 2, 2017
    27
    emeditor 可以
    gdsagdada
    gdsagdada
    Jun 2, 2017
    28
    emeditor,自己写个程序不就搞定了,哪个 SB 导这么大的文件,不知道分表分批次导出吗
    mingyun
    mingyun
    Jun 3, 2017
    29
    emeditor 这么屌
    20150517
    20150517
    Jun 3, 2017 via Android
    30
    搞什么 要看下肯定用 less less 是一点点加载的,但你如果要查找就麻烦了
    rubyvector
    rubyvector
    Jun 3, 2017
    31
    之前用过 UltraEdit,也很牛
    winglight2016
    winglight2016
    Jun 4, 2017
    32
    用 ETL 工具随便想输出什么格式都可以
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1127 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 77ms · UTC 23:22 · PVG 07:22 · LAX 15:22 · JFK 18:22
    ♥ Do have faith in what you're doing.