分享

新手请教集群的角色分配问题

zeus_lhl 发表于 2016-7-1 18:03:48 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 24779
前提: 针对不同规模的集群,比如6个节点和60个节点,600个节点,三种规模
1. 在企业里,充分利用资源,又不至于造成资源浪费的情况下,zookeeper、hbase、storm分别分配到多少台比较合适呢?
2. 这里又有哪些是至少必须在namenode所在节点上分配到的,换句话说,比如hbase的hmaster、storm的nimbus,一般都配置在namenode上吗?
初学hadoop,对企业中的实际情况不了解。还请大家指点,谢谢

已有(5)人评论

跳转到指定楼层
zeus_lhl 发表于 2016-7-1 18:40:04
或者大家说说自己企业中的集群是怎么分配的
回复

使用道具 举报

starrycheng 发表于 2016-7-1 20:58:27
这些没有固定的,一些进程可以都安装到一台机器上,也可以分布到不同的机器上。
机器的数量和配置也是不同的。

如果真想了解,楼主可以看看百度阿里的

推荐:
Hadoop在阿里和百度实际应用场景
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6543


Spark技术解析及其在百度最大单集群1300台的应用实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=11317


百度Hadoop分布式系统由4000节点组成集群

http://www.aboutyun.com/forum.php?mod=viewthread&tid=6533



回复

使用道具 举报

zeus_lhl 发表于 2016-7-1 22:44:23
starrycheng 发表于 2016-7-1 20:58
这些没有固定的,一些进程可以都安装到一台机器上,也可以分布到不同的机器上。
机器的数量和配置也是不同 ...

谢谢,写的有些深
针对我提的第二个问题,麻烦回答一下?
回复

使用道具 举报

einhep 发表于 2016-7-2 06:49:54
比如hbase的hmaster、storm的nimbus,一般都配置在namenode上吗?
hbase是hbase,storm是storm的。企业只要有安全思维是不会把他们放到一起的。
回复

使用道具 举报

zeus_lhl 发表于 2016-7-3 15:27:43
einhep 发表于 2016-7-2 06:49
比如hbase的hmaster、storm的nimbus,一般都配置在namenode上吗?
hbase是hbase,storm是storm的。企业只 ...

规模太小了 也没办法啊

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条