分享

用Oozie提交Map-Reduce样例程序报exitCode: 126 异常

pangge2007 发表于 2014-6-17 17:10:39 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 12 26709
本帖最后由 pig2 于 2014-6-17 17:25 编辑
Application application_1402991997361_0008 failed 2 times due to AM Container for appattempt_1402991997361_0008_000002 exited with exitCode: 126 due to: Exception from container-launch:
org.apache.hadoop.util.Shell$ExitCodeException:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
at org.apache.hadoop.util.Shell.run(Shell.java:379)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:744)


.Failing this attempt.. Failing the application.

已有(13)人评论

跳转到指定楼层
howtodown 发表于 2014-6-17 17:36:49
你检查下可能确保你的配置没有问题。特别是yarn的配置
回复

使用道具 举报

sstutu 发表于 2014-6-17 17:49:32
没有用过啊
这有一个跟你的错误类似,如果英文较好的话,可以参考
http://stackoverflow.com/questio ... -container-exceptio

回复

使用道具 举报

pangge2007 发表于 2014-6-17 17:50:30
howtodown 发表于 2014-6-17 17:36
你检查下可能确保你的配置没有问题。特别是yarn的配置


其他方式执行mapReduce程序能正常运行。。。。
回复

使用道具 举报

sstutu 发表于 2014-6-17 17:56:30
你说的其他方式什么方式,最好能贴出来。如果这样的话,看看通过Oozie提交的过程中,哪些参数、内容发生了变化
回复

使用道具 举报

desehawk 发表于 2014-6-17 18:00:38

你看看下面的对你是否有启发:

  1. 14/05/23 16:49:04 INFO mapreduce.Job: The url to track the job: http://flow1.richinfo.cn:8088/proxy/application_1400819375351_0004/
  2. 14/05/23 16:49:04 INFO mapreduce.Job: Running job: job_1400819375351_0004
  3. 14/05/23 16:49:13 INFO mapreduce.Job: Job job_1400819375351_0004 running in uber mode : false
  4. 14/05/23 16:49:13 INFO mapreduce.Job:  map 0% reduce 0%
  5. 14/05/23 16:49:13 INFO mapreduce.Job: Job job_1400819375351_0004 failed with state FAILED due to: Application application_1400819375351_0004 failed 2 times due to AM Container for appattempt_1400819375351_0004_000002 exited with  exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:
  6. org.apache.hadoop.util.Shell$ExitCodeException:
  7.         at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)
  8.         at org.apache.hadoop.util.Shell.run(Shell.java:418)
  9.         at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
  10.         at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
  11.         at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)
  12.         at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
  13.         at java.util.concurrent.FutureTask.run(FutureTask.java:262)
  14.         at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
  15.         at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
  16.         at java.lang.Thread.run(Thread.java:744)
  17. Container exited with a non-zero exit code 1
  18. .Failing this attempt.. Failing the application.
复制代码

applicationManager container加载不进job,退出job
解决方案
第一, 首先要添加hbase相关依赖到hadoop.env.sh,到web页面上配置yarn 中的

20140523174555312.jpg



第二,配置yarn.appliation.classpath,运行环境
2.jpg







回复

使用道具 举报

hyj 发表于 2014-6-17 18:08:44
试一下:
将yarn-site.xml中的yarn.application.classpath配置项注释掉
回复

使用道具 举报

pangge2007 发表于 2014-6-17 18:31:51
hyj 发表于 2014-6-17 18:08
试一下:
将yarn-site.xml中的yarn.application.classpath配置项注释掉


yarn.application.classpath属性的value值为空。

添加配置参数:

  <property>
    <description>
      CLASSPATH for YARN applications. A comma-separated list
      of CLASSPATH entries. When this value is empty, the following default
      CLASSPATH for YARN applications would be used.
      For Linux:
      $HADOOP_CONF_DIR,
      $HADOOP_COMMON_HOME/share/hadoop/common/*,
      $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
      $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,
      $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
      $HADOOP_YARN_HOME/share/hadoop/yarn/*,
      $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*
      For Windows:
      %HADOOP_CONF_DIR%,
      %HADOOP_COMMON_HOME%/share/hadoop/common/*,
      %HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,
      %HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,
      %HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,
      %HADOOP_YARN_HOME%/share/hadoop/yarn/*,
      %HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*
    </description>
    <name>yarn.application.classpath</name>
    <value>$HADOOP_CONF_DIR,
      $HADOOP_COMMON_HOME/share/hadoop/common/*,
      $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
      $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,
      $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
      $HADOOP_YARN_HOME/share/hadoop/yarn/*,
      $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*  </value>
  </property>

还是报以前一样的错误。

另外:我每次发送一个用来,在监控界面"http://hadoop:8088/cluster/apps"上都出现两条结果,一个成功,一个失败。。。
hadoop版本2.2

最上面的两个任务

最上面的两个任务

回复

使用道具 举报

hyj 发表于 2014-6-18 18:48:35
pangge2007 发表于 2014-6-17 18:31
yarn.application.classpath属性的value值为空。

添加配置参数:
要么注释掉,要么别有换行
<name>yarn.application.classpath</name>
    <value>$HADOOP_CONF_DIR,
      $HADOOP_COMMON_HOME/share/hadoop/common/*,
      $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
      $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,
      $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
      $HADOOP_YARN_HOME/share/hadoop/yarn/*,
      $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*  </value>
  </property>
回复

使用道具 举报

pangge2007 发表于 2014-6-19 13:38:21
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条