V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
scream7
V2EX  ›  问与答

Hadoop 能实现这个功能吗?

  •  1
     
  •   scream7 · 2015-07-31 16:53:27 +08:00 · 1427 次点击
    这是一个创建于 3405 天前的主题,其中的信息可能已经有所发展或是发生改变。
    情况如下:
    1.我们实验室大概有10台服务器,大家一般运行Matlab,Python,少量C/C++代码。
    2.目前的情况是,大家看哪个服务器空闲,就在哪上面运行。
    3.现在想搭建一个分布式的系统,自动分发任务(通过管理主机/master),然而我并没有接触过Hadoop之类的
    4.我们会用到大量GPU运算,不知道能不能支持。
    5.请问如上可以用Hadoop实现么?或者其他替代方案,谢谢。
    6 条回复    2015-07-31 20:27:16 +08:00
    liprais
        1
    liprais  
       2015-07-31 17:11:15 +08:00
    matlab有分布式的好像
    9hills
        2
    9hills  
       2015-07-31 17:16:34 +08:00
    Hadoop不适合你这个场景。

    1. MATLAB和Python都可以分布式计算。
    2. 不想改造程序,你这个就是一个简单的调度可以解决。其实写个提交任务的脚本,每次提交的时候发现最空闲的机器,然后ssh上去提交任务。。这样是不是就够了
    scream7
        3
    scream7  
    OP
       2015-07-31 17:17:24 +08:00 via Android
    @liprais 是的~但是要专门编写MATLAB的分布式代码,而且我们还要用其他代码☺
    scream7
        4
    scream7  
    OP
       2015-07-31 17:29:19 +08:00 via Android
    @9hills 这样确实是可行的,不过很想试一把Hadoop ,而且万一以后要加个并行运算又得重搞了😅
    9hills
        5
    9hills  
       2015-07-31 20:14:53 +08:00 via iPhone   ❤️ 1
    @scream7 那Hadoop其实也是能用的。Hadoop 的map和reduce 可以调用任意程序
    scream7
        6
    scream7  
    OP
       2015-07-31 20:27:16 +08:00
    @9hills 谢谢哈~这期间我又调查了一把Docker,OpenStack,感觉思绪已经有点紊乱了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1284 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 18:00 · PVG 02:00 · LAX 10:00 · JFK 13:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.