hadoop提交任务后,到Running Job就卡住了

查看数: 83822 | 评论数: 13 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2015-8-7 16:53

正文摘要:

如图,一运行到这里就卡住了,日志也没提示no space或报异常,大家看看怎么回事。

回复

fullmooner 发表于 2016-6-14 18:24:19
Gatsby 发表于 2016-6-14 17:45
你是刚安装,还是之前用的挺好,后来突然出现的这种情况?如果是刚install,我觉得你可能是安装配置出现 ...

你好。我装的是CDH5.4.8,之前一直跑的很稳定,然后突然就出问题了,也没有更改配置文件。问题挺诡异的,如果你感兴趣的话,可以看看我详细的问题描述、
http://www.aboutyun.com/thread-18857-1-1.html

谢谢了

Gatsby 发表于 2016-6-14 17:45:03
fullmooner 发表于 2016-6-14 17:32
你好,我也遇到了和你类似的情况,而且我执行export HADOOP_ROOT_LOGGER=DEBUG,console之后,打印所有DEBUG ...

你是刚安装,还是之前用的挺好,后来突然出现的这种情况?如果是刚install,我觉得你可能是安装配置出现了写问题,我之前就这样,然后重新安装配置就好了
fullmooner 发表于 2016-6-14 17:32:07
你好,我也遇到了和你类似的情况,而且我执行export HADOOP_ROOT_LOGGER=DEBUG,console之后,打印所有DEBUG消息,发现会一直打印形如
16/06/14 16:50:07 DEBUG security.UserGroupInformation: PrivilegedAction as:root (auth:SIMPLE) from:org.apache.hadoop.mapreduce.Job.updateStatus(Job.java:322)
16/06/14 16:50:07 DEBUG ipc.Client: IPC Client (453190819) connection to DX3-1/172.31.7.78:8032 from root sending #53
16/06/14 16:50:07 DEBUG ipc.Client: IPC Client (453190819) connection to DX3-1/172.31.7.78:8032 from root got value #53
16/06/14 16:50:07 DEBUG ipc.ProtobufRpcEngine: Call: getApplicationReport took 1ms
的消息。而且我即便是执行Hadoop自带的计算pi的例子也是这样,可以排除程序问题了。
请问楼主是怎么解决这个问题的呢?谢谢
supertianxiang 发表于 2015-8-8 17:28:10
这个看一下后台resourcemanager的日志,确定一下是否是参数的问题,还有代码里面指定一下resource的IP和端口
leo_1989 发表于 2015-8-7 18:48:22
Gatsby 发表于 2015-8-7 18:34
恩,谢谢提醒,拿wordcount试也是这种情况,我重新发帖吧

说明集群有问题,或则提交的输出、输出路径有问题。注意版本问题
Gatsby 发表于 2015-8-7 18:40:40
starrycheng 发表于 2015-8-7 18:03
1.集群ssh是否正常。
2.楼主出现这种情况应该正常
/**

ssh是互信的,没有问题
Gatsby 发表于 2015-8-7 18:34:01
jixianqiuxue 发表于 2015-8-7 17:56
楼主最好能上图或则过程说的详细些,这样问题才容易得到解决。
否则始终会在楼主的圈子里出不来,问题解 ...

恩,谢谢提醒,拿wordcount试也是这种情况,我重新发帖吧
starrycheng 发表于 2015-8-7 18:03:11



1.集群ssh是否正常。
2.楼主出现这种情况应该正常
/**
* Scans the namesystem, scheduling blocks to be cached as appropriate.
*
* The CacheReplicationMonitor does a full scan when the NameNode first
* starts up, and at configurable intervals afterwards.
*/
@InterfaceAudience.LimitedPrivate({"HDFS"})
public class CacheReplicationMonitor extends Thread implements Closeable {

查看源代码,这个是正常现象,每次启动做一个全扫描,以后每次定期扫描安装配置的时间长短
jixianqiuxue 发表于 2015-8-7 17:58:34
Gatsby 发表于 2015-8-7 17:39
不过日志中一直有下图的重复提示

还有提交参数什么,hadoop jar。。。。。。。最好写出来程序又是什么,最好贴出来

关闭

推荐上一条 /2 下一条