分享

yarn可以正常启动,但访问webui时只显示本节点的datanode。

问题详情:
TIM截图20180802163236.png TIM截图20180802163309.png

而且按常理,两个yarnweb端口,在一个未挂的情况下是不能访问另外一个页面的,而我却能访问全部(只配置了两个节点),每个页面下显示的只是当前节点下的datanode。其他节点的datanode不会显示,连失败也不算,就是一点都不显示。

TIM截图20180802163342.png

这是我改的yarn-site.xml和其他人不同的地方,如果我将其value改成true,yarn中所有的服务是无法启动的。改成false后所有yarn进程都能正常显示。

下面是我yarn-site.xml的配置文件信息

[mw_shl_code=applescript,true]<configuration>

<!-- Site specific YARN configuration properties -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>false</value>
</property>

<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>

<property>
  <name>yarn.resourcemanager.cluster-ids</name>
  <value>rm1,rm2</value>
</property>

<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>slave2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>slave3</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>slave1:2181,slave2:2181,slave3:2181</value>
</property>
</configuration>
[/mw_shl_code]

下图是hosts文件,所有的节点都是这样的,yarn的web UI页面是从slave2和slave3中访问的。

TIM截图20180802170239.png





已有(4)人评论

跳转到指定楼层
阿飞 发表于 2018-8-2 17:32:34
哪个版本?是否配置HA了,如果没有配置,其实很多不是必须的。
楼主访问的页面是没有错的,也可以访问下面url,master如果没有配置hosts,可以使用ip。

http://master:8088/



如果是hadoop3.0可参考
hadoop3.0通用版【GA】集群安装高可靠详细教程【包括零基础】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23773


回复

使用道具 举报

﹏染指ぃ年華 发表于 2018-8-2 20:26:21
阿飞 发表于 2018-8-2 17:32
哪个版本?是否配置HA了,如果没有配置,其实很多不是必须的。
楼主访问的页面是没有错的,也可以访问下面 ...

linux版本centos6.5           hadoop2.6.5           zookeeper3.4.6   

一共4台虚拟机其中2台namenode,     3台datanode,   三台zookeeper

配置了ha,页面没有错可以正常访问,但就是只显示当前节点的datanode

回复

使用道具 举报

﹏染指ぃ年華 发表于 2018-8-3 11:05:30
以解决问题。我的锅,怪我太粗心了,yarn-site.xml文件中的配置行信息写错了,害得我搞了几天
TIM截图20180803103635.png

之前看的日志都是假的,没有仔细揣摩其中的意思,只是瞎百度,上面改成false 。yarn是可以启动,但启动的是单节点的yarn,并没有启动高可用的yarn。突然的我突然的打开配置文件找这一项的时候。就发现了下图:

TIM截图20180803103518.png

%……&%#¥#%&*%……&¥#¥&&*……*&%&……¥%
我的妈呀。就很%……&%……¥%¥&……*&
没关系,我还是要保持微笑来面对以后的生活的。这能怪谁,还不都是因为自己。
出问题多看日志,出问题多看日志,出问题一定要多看日志。这几天来总结的教训!
回复

使用道具 举报

﹏染指ぃ年華 发表于 2018-8-3 11:06:48
阿飞 发表于 2018-8-2 17:32
哪个版本?是否配置HA了,如果没有配置,其实很多不是必须的。
楼主访问的页面是没有错的,也可以访问下面 ...

蟹蟹哈,已解决,是yarn配置文件出了问题。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条