V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 2919 days ago, the information mentioned may be changed or developed.
本人 hadoop 初学者，由于老师想在实验室搭一个简单的 hadoop 集群做研究，让我自己去买设备。想咨询咨询各位大佬😂。具体问题如下：
1.一个最简单但各功能齐全的 hadoop 集群至少需要几台机器？选购时需要考虑哪些因素？
2.想着对性能要求高的节点（如 namenode ）用服务器，对性能要求低的节点（如 datanode ）买一般的台式机，不知可行否？服务器和台式机的硬件配置各有何要求呢，或者有什么推荐的机型呢？
3.以后可能还要在该集群上搞机器学习，是不是也要考虑什么硬件要求？
4.种种原因，机器无法连接外界互联网，只能集群内构建局域网。该情况下，能否顺利安装 cloudera hadoop ？
5.是否所有机器都需是 linux 系统？
万分感恩！！
1.一个最简单但各功能齐全的 hadoop 集群至少需要几台机器？选购时需要考虑哪些因素？
2.想着对性能要求高的节点（如 namenode ）用服务器，对性能要求低的节点（如 datanode ）买一般的台式机，不知可行否？服务器和台式机的硬件配置各有何要求呢，或者有什么推荐的机型呢？
3.以后可能还要在该集群上搞机器学习，是不是也要考虑什么硬件要求？
4.种种原因，机器无法连接外界互联网，只能集群内构建局域网。该情况下，能否顺利安装 cloudera hadoop ？
5.是否所有机器都需是 linux 系统？
万分感恩！！
 |
1
minato May 11, 2018
可以用虚拟机搞定啊。。
|
 |
2
racecoder00 May 11, 2018
曾经一个破烂笔记本开了 8 个虚拟机模拟环境
 |
 |
3
defunct9 May 11, 2018
2 节点 namenode+3 节点 zk+jounal node+3 datanode
最少 8 节点 |
|
4
defunct9 May 11, 2018  1
namenode 用最烂的，datanode 用最好的。
|
 |
5
gezizuozuosmile OP |
|
6
defunct9 May 11, 2018
都是 linux，买一台 DELL R730 足够了。虚拟出 8 台 linux，cloudera
|
 |
7
ai277014717 May 11, 2018
以前用过 4g 的笔记本，开了三个虚拟机，1 个 master，2 个 node。
|
 |
8
cstj0505 May 11, 2018
只是 ihadoop 的话去网上找个 docker 集群，一键式安装，还要毛的虚拟机
|
 |
9
hugedata May 11, 2018 1
64G 内存，10×300G 1W 转的 SAS 16、24、32 核处理器，全部装 Linux。然后虚拟机，Hadoop 选个发行版即可，比如 CDH 之类的。
|
 |
10
hellojinjie May 11, 2018 via Android
不说预算求配置都是耍流氓
|
Select Language