分享

集群增加节点出错

栎梓天冲 发表于 2015-7-5 17:36:11 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 10633
请问,我的Hadoop集群节点扩展之后,节点可以通过Namenode启动但是无法与namenode进行通信,新增节点无法识别。PS,SSH互信、Slaves文件都已经修改,也已经刷新了节点数。   不知道大家知道问题出在了哪里不?
我的hadoop是2.5的


已有(1)人评论

跳转到指定楼层
bioger_hit 发表于 2015-7-5 18:06:29

下面每个步骤都核实下,特别是hosts的配置
#########################################

配置新节点上的hosts
修改namenode节点上conf/slaves文件,增加新节点域名
在新节点上启动服务
[hadoop@slave4 hadoop-1.0.4]# ./bin/hadoop-daemon.sh start datanode
[hadoop@slave4 hadoop-1.0.4]# ./bin/hadoop-daemon.sh start tasktracker
复制代码

均衡block
这个会非常耗时
1) 如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2) 设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
[mw_shl_code=bash,true][hadoop@slave4 hadoop-1.0.4]# ./bin/start-balancer.sh -threshold 5[/mw_shl_code]


3)设置balance的带宽,默认只有1M/s
[mw_shl_code=bash,true]<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>1048576</value>
</property>[/mw_shl_code]


注意:
1. 必须确保slave的firewall已关闭;
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中


来源:Hadoop添加节点datanode

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条