Gatsby 发表于 2016-6-14 17:45 你好。我装的是CDH5.4.8,之前一直跑的很稳定,然后突然就出问题了,也没有更改配置文件。问题挺诡异的,如果你感兴趣的话,可以看看我详细的问题描述、 http://www.aboutyun.com/thread-18857-1-1.html 谢谢了 |
fullmooner 发表于 2016-6-14 17:32 你是刚安装,还是之前用的挺好,后来突然出现的这种情况?如果是刚install,我觉得你可能是安装配置出现了写问题,我之前就这样,然后重新安装配置就好了 |
你好,我也遇到了和你类似的情况,而且我执行export HADOOP_ROOT_LOGGER=DEBUG,console之后,打印所有DEBUG消息,发现会一直打印形如 16/06/14 16:50:07 DEBUG security.UserGroupInformation: PrivilegedAction as:root (auth:SIMPLE) from:org.apache.hadoop.mapreduce.Job.updateStatus(Job.java:322) 16/06/14 16:50:07 DEBUG ipc.Client: IPC Client (453190819) connection to DX3-1/172.31.7.78:8032 from root sending #53 16/06/14 16:50:07 DEBUG ipc.Client: IPC Client (453190819) connection to DX3-1/172.31.7.78:8032 from root got value #53 16/06/14 16:50:07 DEBUG ipc.ProtobufRpcEngine: Call: getApplicationReport took 1ms 的消息。而且我即便是执行Hadoop自带的计算pi的例子也是这样,可以排除程序问题了。 请问楼主是怎么解决这个问题的呢?谢谢 |
这个看一下后台resourcemanager的日志,确定一下是否是参数的问题,还有代码里面指定一下resource的IP和端口 |
Gatsby 发表于 2015-8-7 18:34 说明集群有问题,或则提交的输出、输出路径有问题。注意版本问题 |
starrycheng 发表于 2015-8-7 18:03 ssh是互信的,没有问题 |
jixianqiuxue 发表于 2015-8-7 17:56 恩,谢谢提醒,拿wordcount试也是这种情况,我重新发帖吧 |
1.集群ssh是否正常。 2.楼主出现这种情况应该正常 /** * Scans the namesystem, scheduling blocks to be cached as appropriate. * * The CacheReplicationMonitor does a full scan when the NameNode first * starts up, and at configurable intervals afterwards. */ @InterfaceAudience.LimitedPrivate({"HDFS"}) public class CacheReplicationMonitor extends Thread implements Closeable { 查看源代码,这个是正常现象,每次启动做一个全扫描,以后每次定期扫描安装配置的时间长短 |
Gatsby 发表于 2015-8-7 17:39 还有提交参数什么,hadoop jar。。。。。。。最好写出来程序又是什么,最好贴出来 |