分享

用oozie提交spark 任务报错

ALLEN_tVNN5 发表于 2016-2-17 13:03:44 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 14124
请大家帮忙看看。用oozie提交spark程序,报错。日志见下:


2016-02-17 10:24:21,984 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Created MRAppMaster for application appattempt_1455672954475_0002_0000022016-02-17 10:24:22,617 WARN [main] org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2016-02-17 10:24:22,693 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Executing with tokens:2016-02-17 10:24:23,171 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Kind: YARN_AM_RM_TOKEN, Service: , Ident: (appAttemptId { application_id { id: 2 cluster_timestamp: 1455672954475 } attemptId: 2 } keyId: 1590943555)2016-02-17 10:24:23,174 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Kind: RM_DELEGATION_TOKEN, Service: 192.168.1.200:8032,192.168.1.202:8032, Ident: (owner=root, renewer=oozie mr token, realUser=oozie, issueDate=1455675829683, maxDate=1456280629683, sequenceNumber=90, masterKeyId=46)2016-02-17 10:24:23,202 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: OutputCommitter set in config null2016-02-17 10:24:23,204 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: OutputCommitter is org.apache.hadoop.mapred.FileOutputCommitter2016-02-17 10:24:23,348 INFO [main] org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.mapreduce.v2.app.MRAppMaster failed in state INITED; cause: java.lang.UnsupportedOperationException: Not implemented by the TFS FileSystem implementationjava.lang.UnsupportedOperationException: Not implemented by the TFS FileSystem implementation        at org.apache.hadoop.fs.FileSystem.getScheme(FileSystem.java:217)        at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2624)        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2634)        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651)        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92)        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687)        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:170)        at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.getFileSystem(MRAppMaster.java:544)        at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceInit(MRAppMaster.java:289)        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)        at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$5.run(MRAppMaster.java:1556)        at java.security.AccessController.doPrivileged(Native Method)        at javax.security.auth.Subject.doAs(Subject.java:422)        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)        at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1553)        at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1486)
请帮忙看看,如何解决。
   注:spark-assembly 已经配置。不是与此相关问题。

已有(4)人评论

跳转到指定楼层
atsky123 发表于 2016-2-17 14:32:41
我也遇到过,使用IntelliJ,通过更新依赖解决的
Libraries:
org.tachyonproject:tachyon:0.5.0:jar => org.tachyonproject:tachyon:0.6.4:jar

确保删除旧的依赖
回复

使用道具 举报

ALLEN_tVNN5 发表于 2016-2-17 14:36:51
atsky123 发表于 2016-2-17 14:32
我也遇到过,使用IntelliJ,通过更新依赖解决的
Libraries:
org.tachyonproject:tachyon:0.5.0:jar => or ...

你好,非常感谢提供线索。
   能详细介绍下操作过程吗。


谢谢。

回复

使用道具 举报

atsky123 发表于 2016-2-17 14:39:51
ALLEN_tVNN5 发表于 2016-2-17 14:36
你好,非常感谢提供线索。
   能详细介绍下操作过程吗。

不需要复杂操作的,你也可以直接下载替换掉
回复

使用道具 举报

ALLEN_tVNN5 发表于 2016-2-17 16:58:03
我从官网上下载对应版本spark 替换掉其中的assembly,没有用,依然报错。我仔细看了下。报错是
org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.mapreduce.v2.app.MRAppMaster failed in state INITED; cause: java.lang.UnsupportedOperationException: Not implemented by the TFS FileSystem

是执行mapreduce时报的错,我直接通过spark-submit提交任务没有任何问题。是不是oozie还需要添加jar包到哪个目录里?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条