分享

[oozie] Error: HTTP error code: 500 : Internal Server Error

feature09 发表于 2017-10-16 15:59:54 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 7 13816
执行的是自带的examples中的map-reduce

vim job.properties

nameNode=hdfs://fa01:9000
jobTracker=fa01:10020

queueName=default
examplesRoot=examples
oozie.wf.application.path=${nameNode}/user/hadoop/${examplesRoot}/apps/map-reduce/workflow.xml
outputDir=map-reduce


vim workflow.xml

<delete path="${nameNode}/user/hadoop/${examplesRoot}/output-data/${outputDir}"/>

红色部分是更改后的地方。其他都没有更改。

执行的命令:
bin/oozie job -oozie http://192.168.20.32:11000/oozie -config /home/hadoop/oozie-4.1.0-cdh5.5.2/examples/apps/map-reduce/job.properties -run


查看日志,就这两个有新日志生成。
第一个是localhost.riqi.log,第二个是oozie-audit.log。第二个日志,都显示状态成功了是么?但是用户什么的是空的?为什么呢?

第一个日志:
clipboard.png

第二个日志:
clipboard2.png

已有(7)人评论

跳转到指定楼层
feature09 发表于 2017-10-16 17:24:39
顺便问问大神们
workflow.xml 这里的这句话“uri:oozie:workflow:0.2”是什么意思啊。。。

感觉看不太懂里面的内容啊。
回复

使用道具 举报

langke93 发表于 2017-10-16 18:40:54
本帖最后由 langke93 于 2017-10-16 18:44 编辑
feature09 发表于 2017-10-16 17:24
顺便问问大神们
workflow.xml 这里的这句话“uri:oozie:workflow:0.2”是什么意思啊。。。

要修改的内容挺多的。uri:oozie:workflow:0.2这个oozie的版本。需要明白自己的版本,否则可能产生问题。修改内容如下:

修改版本为0.5【根据自己的情况】
修改程序名
修改 action 名(两处)
修改删除路径
修改 map reduce 新api
修改Mapclass(注意内部类的写法)
修改reduceclass(注意内部类的写法)
修改 map-output-key class value
修改 job-output-key class value
修改 input dir
修改 output dir

步骤如下

1.拷贝jar包到lib目录下

2.上传包文件夹到指定目录

3.上传数据文件

4.执行程序

更多推荐参考
http://www.cnblogs.com/cenzhongman/p/7245670.html
回复

使用道具 举报

feature09 发表于 2017-10-17 09:53:01
本帖最后由 feature09 于 2017-10-17 09:57 编辑
langke93 发表于 2017-10-16 18:40
要修改的内容挺多的。uri:oozie:workflow:0.2这个oozie的版本。需要明白自己的版本,否则可能产生问题。 ...

大神,有几个地方怎么没看明白:


修改Mapclass(注意内部类的写法)
com.cenzhongman.hdfs.WordCount$WordcountMapper

这个红色部分是什么啊。。?


1.拷贝jar包到lib目录下是将wordcount拷贝到哪个lib目录下?

2.上传包文件夹到指定目录
是什么包文件夹啊。。?


还有。。。这个wordcount代码中,不需要指定路径吧?那如何定义input和output呢?


求大神再解答一下啊,谢谢啦!!!

回复

使用道具 举报

desehawk 发表于 2017-10-17 11:02:41
feature09 发表于 2017-10-17 09:53
大神,有几个地方怎么没看明白:

默认oozie系统库在 oozie.site.xml中 用/user/${user.name}/share/lib中.可以试试这个
回复

使用道具 举报

desehawk 发表于 2017-10-17 11:11:29
com.cenzhongman.hdfs.WordCount$WordcountMapper意思应该是包名+内部类名
回复

使用道具 举报

hyj 发表于 2017-10-17 11:17:18
job.properties中这么写: oozie.use.system.libpath=true    ----> 这个是说明使用oozie的system share lib  oozie.libpath=hdfs://master:9000/user/hdfs/examples/lib  ----> 这个是说明使用额外的jar  比如你项目中用到的并且需要放在hdfs 运行时夹在hdfs这些包   如果需要多个hdfs路径 那么中间使用 逗号 分隔
回复

使用道具 举报

xuanxufeng 发表于 2017-10-17 11:23:30
oozie有不少这方面的路径,这里再给楼主提供一个方法:
对于OOZIE,引入第三方JAR的方法是oozie-site.xml中的oozie.service.WorkflowAppService.system.libpath, 我们需要配置这个选项,并把相应的JAR包上传到这个目录下。注意,这也是一个HDFS的路径!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条