kevinyoung
V2EX  ›  问与答

求一个 Linux 服务器上的程序提交和管理工具

  •  
  •   kevinyoung · Apr 22, 2015 · 3086 views
    This topic created in 4060 days ago, the information mentioned may be changed or developed.

    做科研,需要在所里服务器上算一些东西。

    基本任务是同一个程序以不同的参数去跑。单个程序循环太慢,多进程的程序写起来太麻烦,所以一般为了利用服务器核多的优势都是直接以不同的参数多提交一些进程上去。

    数量少一点还好说,但有时候要提百十来个程序的话手动就很蛋疼了。所以想求一款程序提交的工具。

    现在能想到的解决方案是bash脚本,不过这东西用的不熟,感觉非常不靠谱,如果能有现成的工具或者框架那是最好了。

    先谢谢了!

    Supplement 1  ·  Apr 23, 2015
    感谢朋友们的帮助,我想GNU parallel(地址: https://www.gnu.org/software/parallel/ )就是我想要的工具。

    另外功能类似的还有一个叫ppss的工具。
    8 replies    2015-04-23 00:02:40 +08:00
    Septembers
        1
    Septembers  
       Apr 22, 2015   ❤️ 1
    xargs or parallel
    jokester
        2
    jokester  
       Apr 22, 2015   ❤️ 1
    有很多实验管理系统(experiment management system)
    但是如果bash也玩不转。。未必适合你
    pagxir
        3
    pagxir  
       Apr 22, 2015   ❤️ 1
    为什么我想到的是 gmake 的工具呢。。。 make -j${jobs} ... 同时利用多核心,并且。。。。
    fangjinmin
        4
    fangjinmin  
       Apr 22, 2015   ❤️ 1
    用shell是最简单的办法,而且容易管理。
    linhua
        5
    linhua  
       Apr 22, 2015   ❤️ 1
    bash或python都是可以的。
    kslr
        6
    kslr  
       Apr 22, 2015   ❤️ 1
    bash我感觉是最好的办法了,另外,你把多进程部分写成类调用.
    zhsj
        7
    zhsj  
       Apr 22, 2015   ❤️ 1
    kevinyoung
        8
    kevinyoung  
    OP
       Apr 23, 2015
    @jokester 感谢提醒。bash主要是不熟悉,另外也不想重复发明轮子了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4164 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 05:22 · PVG 13:22 · LAX 22:22 · JFK 01:22
    ♥ Do have faith in what you're doing.