V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
uyhyygyug1234
V2EX  ›  分享发现

安利一下 一个叫 gnu parallel 的神器

  •  
  •   uyhyygyug1234 · 2016 年 7 月 31 日 · 3223 次点击
    这是一个创建于 3484 天前的主题,其中的信息可能已经有所发展或是发生改变。
    搜了一下,发现分享的不多啊。安利一下。

    先黑一下~~哈哈
    两核的 cpu


    四核的


    16 核的


    并行效果:

    grep 一个大文件,速度提高了 20 倍

    详细请看 : http://www.jianshu.com/p/c5a2369fa613
    16 条回复    2016-08-01 13:39:30 +08:00
    pathbox
        1
    pathbox  
       2016 年 7 月 31 日
    运维 用这个还是挺好的
    uyhyygyug1234
        2
    uyhyygyug1234  
    OP
       2016 年 7 月 31 日 via Android
    @pathbox 运维这种工具多,什么 fabric , ansible 之类的。都并行的。
    cuebyte
        3
    cuebyte  
       2016 年 7 月 31 日
    cool, despite it's a nagware. lol
    ivmm
        4
    ivmm  
       2016 年 7 月 31 日
    我还以为和 PD 有什么关联。
    fcicq
        5
    fcicq  
       2016 年 7 月 31 日
    time 的统计方法有问题, user cpu time 的计数不对. 另外这个 grep 应该换成 fgrep.
    loading
        6
    loading  
       2016 年 7 月 31 日 via Android
    四核…
    h4lt
        7
    h4lt  
       2016 年 7 月 31 日
    看了下楼主的这几篇文章,都挺不错呢。感谢。
    uyhyygyug1234
        8
    uyhyygyug1234  
    OP
       2016 年 7 月 31 日 via Android
    @fcicq fgrep 的确在这个例子里要快点,因为就是找个子串
    vibbow
        9
    vibbow  
       2016 年 7 月 31 日
    四核的为什么会有 CPU4 混进来...
    uyhyygyug1234
        10
    uyhyygyug1234  
    OP
       2016 年 7 月 31 日 via Android
    @vibbow 不要在意这些细节,哈哈。
    @loading
    pH
        11
    pH  
       2016 年 7 月 31 日
    @vibbow 这个亮点确实 666 啊
    9hills
        12
    9hills  
       2016 年 7 月 31 日   ❤️ 1
    parallel 确实是运维神器,而且参数爆多功能十分强大
    dudesun
        13
    dudesun  
       2016 年 8 月 1 日
    其实就是 perl 写的 map reduce
    uyhyygyug1234
        14
    uyhyygyug1234  
    OP
       2016 年 8 月 1 日 via Android
    @dudesun 是啊
    21grams
        15
    21grams  
       2016 年 8 月 1 日
    perl 写的? 有 python 版吗?
    uyhyygyug1234
        16
    uyhyygyug1234  
    OP
       2016 年 8 月 1 日 via Android
    @21grams 木有,就是个工具,其实用啥写的无所谓,感觉重写一遍工作量不小啊
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2190 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 12:32 · PVG 20:32 · LAX 04:32 · JFK 07:32
    ♥ Do have faith in what you're doing.