yarn可以正常启动,但访问webui时只显示本节点的datanode。
问题详情:而且按常理,两个yarnweb端口,在一个未挂的情况下是不能访问另外一个页面的,而我却能访问全部(只配置了两个节点),每个页面下显示的只是当前节点下的datanode。其他节点的datanode不会显示,连失败也不算,就是一点都不显示。
这是我改的yarn-site.xml和其他人不同的地方,如果我将其value改成true,yarn中所有的服务是无法启动的。改成false后所有yarn进程都能正常显示。
下面是我yarn-site.xml的配置文件信息
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster1</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>slave2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>slave3</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>slave1:2181,slave2:2181,slave3:2181</value>
</property>
</configuration>
下图是hosts文件,所有的节点都是这样的,yarn的web UI页面是从slave2和slave3中访问的。
哪个版本?是否配置HA了,如果没有配置,其实很多不是必须的。
楼主访问的页面是没有错的,也可以访问下面url,master如果没有配置hosts,可以使用ip。
http://master:8088/
如果是hadoop3.0可参考
hadoop3.0通用版【GA】集群安装高可靠详细教程【包括零基础】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23773
阿飞 发表于 2018-8-2 17:32
哪个版本?是否配置HA了,如果没有配置,其实很多不是必须的。
楼主访问的页面是没有错的,也可以访问下面 ...
linux版本centos6.5 hadoop2.6.5 zookeeper3.4.6
一共4台虚拟机其中2台namenode, 3台datanode, 三台zookeeper
配置了ha,页面没有错可以正常访问,但就是只显示当前节点的datanode
以解决问题。我的锅,怪我太粗心了,yarn-site.xml文件中的配置行信息写错了,害得我搞了几天
之前看的日志都是假的,没有仔细揣摩其中的意思,只是瞎百度,上面改成false 。yarn是可以启动,但启动的是单节点的yarn,并没有启动高可用的yarn。突然的我突然的打开配置文件找这一项的时候。就发现了下图:
%……&%#¥#%&*%……&¥#¥&&*……*&%&……¥%
我的妈呀。就很%……&%……¥%¥&……*&
没关系,我还是要保持微笑来面对以后的生活的。这能怪谁,还不都是因为自己。
出问题多看日志,出问题多看日志,出问题一定要多看日志。这几天来总结的教训!
阿飞 发表于 2018-8-2 17:32
哪个版本?是否配置HA了,如果没有配置,其实很多不是必须的。
楼主访问的页面是没有错的,也可以访问下面 ...
蟹蟹哈,已解决,是yarn配置文件出了问题。
页:
[1]