分享

oozie执行job后显示succeed,但实际上脚本没执行

本帖最后由 chenai3223 于 2015-5-8 15:56 编辑

配置如下:
job.properties:
nameNode=hdfs://master:9000
jobTracker=master:8032
queueName=default

oozie.wf.application.path=hdfs://master:9000/user/hadoop/workflows/shellTest
EXEC=test.sh

workflow.xml:
<workflow-app xmlns="uri:oozie:workflow:0.5" name="shell-wf">
    <start to="shellTest"/>
    <action name="shellTest">
                <shell xmlns="uri:oozie:shell-action:0.2">
                        <job-tracker>${jobTracker}</job-tracker>
                        <name-node>${nameNode}</name-node>
                        <configuration>
                                <property>
                                        <name>mapred.job.queue.name</name>
                                        <value>${queueName}</value>
                                </property>
                        </configuration>
                        <exec>test.sh</exec>
                        <argument>A</argument>
                        <argument>B</argument>
                        <file>test.sh</file>
                </shell>
                <ok to="end"/>
                <error to="fail"/>
    </action>
        <kill name="fail">
                <message>Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
        </kill>
    <end name="end"/>
</workflow-app>


test.sh
#!/bin/bash

mkdir -p /home/test/shell/$1 /home/test/shell/$2


oozie web控制台:
c1.jpg

jobTracker:
c2.png

jobTracker log:
c3.png
Failed while trying to construct the redirect url to the log server. Log Server url may not be configured java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all.

看上去是Yarn出错了,但是还是没找到具体原因和解决办法,希望各位大神帮忙看看,谢谢!

已有(5)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-5-8 16:11:44
检查下yarn是否启动
回复

使用道具 举报

chenai3223 发表于 2015-5-8 17:28:06
Alkaloid0515 发表于 2015-5-8 16:11
检查下yarn是否启动

http://master:8088,ResourceManager这个页面能打开,应该说明yarn已经启动了吧

jps查到的:
jps.png

我把/tmp/hsperfdata_*都删除后,重启了,还是看不到这些pid属于哪些进程

启动过程中都是OK的:
rm.png

我重新用oozie执行了一次,还是一样的问题。


回复

使用道具 举报

jixianqiuxue 发表于 2015-5-8 17:56:10
chenai3223 发表于 2015-5-8 17:28
http://master:8088,ResourceManager这个页面能打开,应该说明yarn已经启动了吧

jps查到的:

能打开不代表启动,他们是不同的进程
回复

使用道具 举报

jixianqiuxue 发表于 2015-5-8 18:10:40
chenai3223 发表于 2015-5-8 17:28
http://master:8088,ResourceManager这个页面能打开,应该说明yarn已经启动了吧

jps查到的:



代表进程有问题
process infomation unavailable

楼主先把yarn的解决掉
回复

使用道具 举报

chenai3223 发表于 2015-5-8 21:36:41
jixianqiuxue 发表于 2015-5-8 18:10
代表进程有问题
process infomation unavailable

这么查到,进程都起来了:

ps1.png
ps2.png


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条