Hadoop2.5集群安装成功,运行wordcount出错,

查看数: 27373 | 评论数: 20 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2015-1-18 10:59

正文摘要:

1、各位论坛大神,想请问一下,在使用hadoopo2.5以及以上的版本时,对于/etc/hosts文件中的127.0.0.1 和127.0.1.1你们一般是把它们注释掉还是怎么样? 2、安装好了hadoop2.5之后,,每个节点信息都启动ok,jps ...

回复

roant 发表于 2015-5-10 10:06:06
hadoop小象 发表于 2015-5-9 11:42
我也遇到这问题了,只前跑过没什么问题,你是怎么解决的,replication:datanode在哪配置?

1、hdfs-site.xml中设置replication的数目,你有几个准备的datanode,就设置为对应的值
2、查看hostname是否设置正确,错误的话映射不到对应的节点
3、按照最后结贴的内容,查看下datanode的html页面,如下只启动了一个datanode
     
     这个页面显示的信息无误才可以继续往下走
4、配置了yarn.nodemanager.resource.memory-mb这个配置项,你把值改大些
希望对你有帮助~!

hadoop小象 发表于 2015-5-9 11:42:22
我也遇到这问题了,只前跑过没什么问题,你是怎么解决的,replication:datanode在哪配置?
roant 发表于 2015-1-20 10:23:47
运行成功,出来结贴~!希望可以给遇到同样问题的论坛朋友一个参考。(自己的想法,有错的地方希望大神们可以指出来,以免给别人带来错误的参考)
1、master:50070界面虽然显示"live nodes: 2",但实际上进去datanode页面查看,只有一个节点的信息,这个时候集群是非正常启动的,需要重新修改配置文件。所以集群启动成功与否,看datanode界面的响应的节点信息。
2、在修改完“/etc/hosts”文件之后,主机名其实还没有变化,需要在”etc/hostname“文件中进一步修改,如”ubuntu(原始的名称)  --->  你指定的hostname“,,然后重新开一个命令窗口,看@后面的字段是不是更新了,如果没更新,建议你重启一下机器
3、在找错的过程中,看到,yarn框架中你有几个datanode,就要将”replication:datanode数目“字段设置为对应数目
4、在求解的过程中,感谢langke93,desehawk大神的细心解答,谢谢~!
langke93 发表于 2015-1-19 22:19:25
roant 发表于 2015-1-19 20:36
在等待的期间,根本就没有任何的 WARN 或者 ERROR 信息(namenode和datanode上的logs我都查看了),无从 ...
说的更详细些,不要只说主观想法。比如:截图,mapreduce到达什么程度了,看的日志,看的什么日志,是否看错日志了。
只有提供了这些信息,才能帮助你解决问题
roant 发表于 2015-1-19 20:36:21
langke93 发表于 2015-1-19 20:18
继续看日志和报错

在等待的期间,根本就没有任何的 WARN 或者 ERROR 信息(namenode和datanode上的logs我都查看了),无从下手才来问的~~!
langke93 发表于 2015-1-19 20:18:34
roant 发表于 2015-1-19 19:44
生效了,我同时也更改了 /etc/hostname中的hostname,对应了每台机器的名称,输入hostname时候都显示了指 ...

继续看日志和报错
roant 发表于 2015-1-19 19:44:13

点评

继续看日志  发表于 2015-1-19 20:06
langke93 发表于 2015-1-19 19:16:46
roant 发表于 2015-1-19 18:25
这个是等待了很久之后,程序运行终止后给出的错误提示,没看懂,我已经在 /etc/hosts/文件中注释掉了 ubunt ...
注释掉生效了吗,最好重启下
langke93 发表于 2015-1-19 18:38:45
roant 发表于 2015-1-19 18:25
这个是等待了很久之后,程序运行终止后给出的错误提示,没看懂,我已经在 /etc/hosts/文件中注释掉了 ubunt ...

host混乱了,仔细检查程序。找到Ubuntu是从那来的
关闭

推荐上一条 /2 下一条