mapreduce运行错误

查看数: 12223 | 评论数: 4 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2017-3-18 14:05

正文摘要:

按照hadoop权威指南上的一个例子找出每年的最高气温,写的第一个MR例子,在eclipse里面能正常运行(这里我不知道程序走的是local模式还是yarn模式),将mr打包成jar在namenode节点上运行会出现以下错误。 User:&nbs ...

回复

w517424787 发表于 2017-3-21 08:48:51
还是不错了!
一颗银杏树 发表于 2017-3-19 23:48:39
qcbb001 发表于 2017-3-18 15:41
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist ...

终于解决问题了,摸索了一周啊,原因是namenode的java版本是jdk1.8.0_111 ,而datanode的java版本是jdk1.7.0_79,版本都改成jdk1.8.0_111后,运行成功了。
一颗银杏树 发表于 2017-3-19 21:50:43
qcbb001 发表于 2017-3-18 15:41
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist ...

/tmp/hadoop-yarn/staging/hadoop/.staging/job_1489819341897_0001/job_1489819341897_0001_1.jhist  这个文件在系统中有。报这个不存在不知道是个什么意思?问题研究好几天了,还是没有个头绪。。。。请教下您怎么检测hadoop api版本是否一致 ?




qcbb001 发表于 2017-3-18 15:41:52
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist: /tmp/hadoop-yarn/staging/hadoop/.staging/job_1489819341897_0001/job_1489819341897_0001_1.jhist
上面文件找不到,看下源码

java.lang.UnsupportedClassVersionError: com/it18zhang/mapreduce/CreateTheFirstMapper : Unsupported major.minor version 52.0
这个错误说明jdk版本不一致,另外检测hadoop api版本是否一致

关闭

推荐上一条 /2 下一条