V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
19zero
V2EX  ›  程序员

自建的 Hadoop 平台与阿里云等云平台提供的 MapReduce 服务各有什么优劣?

  •  
  •   19zero · 2016-12-07 11:10:19 +08:00 · 2097 次点击
    这是一个创建于 2897 天前的主题,其中的信息可能已经有所发展或是发生改变。

    不求详细说明各云平台 MR 的特点,仅希望了解自建平台和云平台之间的优劣,以供做路径选择分析。

    lucifer4he
        1
    lucifer4he  
       2016-12-07 12:30:41 +08:00
    说一点
    运维 3 台机器要一个人,运维 300 台也是一个人,你有 300 台么=。=
    jerryshao1984
        2
    jerryshao1984  
       2016-12-07 15:56:41 +08:00
    阿里云或是 aws 等云服务商提供的是 elastic MR ,也就是说根据处理的数据量弹性申请计算资源,在 MR 作业完成后释放资源。通常来说相比于自建平台会便宜一点,同时也省去了运维成本。但是有一个要求就是数据得在他们的 storage 上面,比如 S3 等。如果你的数据是在你们自己的平台上产生的,就需要上传上去进行计算。

    自建平台更灵活可配置,当然需要有更强的运维能力。一般的小公司如果没有大数据运维能力,使用 aws 或是 aliyun 是一个比较好的选择。但是如果公司规模较大的活自建平台的可控力更强,或许会更省成本。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1539 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:59 · PVG 07:59 · LAX 15:59 · JFK 18:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.