分享

【求助】为何我的CDH5.X版本,运行MapReduce后再JobHistory里没有记录

itcareerist 发表于 2015-8-21 16:21:51 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 24981
【求助】为何我的CDH5.X版本,运行MapReduce后再JobHistory里没有记录?

已有(6)人评论

跳转到指定楼层
itcareerist 发表于 2015-8-24 19:49:19
补充一下,我是用java -cp xxx.jar来运行的,但代码里已经设置了conf属性mapreduce.framework.name为yarn。
如果使用hadoop jar xxx.jar xxxx.class,则JobHistory里面有数据。
回复

使用道具 举报

xuanxufeng 发表于 2015-8-21 16:35:16
这个问题有点简单了,只能简单的答了。

配置错了呗
回复

使用道具 举报

itcareerist 发表于 2015-8-21 16:45:07
默认配置,没有修改过
回复

使用道具 举报

xuanxufeng 发表于 2015-8-21 17:44:43
itcareerist 发表于 2015-8-21 16:45
默认配置,没有修改过

history 启动了么
回复

使用道具 举报

itcareerist 发表于 2015-8-23 11:48:46

通过Cloudera Manager能够访问HistoryServer Web UI、ResourceManager Web UI,但里面没有数据。
另外,我执行MapReduce时,通过代码打印出来的JobID,有local字符,如:job_local612019678_0001。这个我在其他大数据版本中没有出现这种情况。

回复

使用道具 举报

senlindeguo 发表于 2015-12-28 22:08:26
我也遇到了同样的问题,说的是浏览器客户端没有权限访问hdfs上的文件,可以通过赋权限解决。
[mw_shl_code=shell,true]hadoop fs -chmod -R 777 /user/history/done_intermediate/hdfs[/mw_shl_code]
不过这种方法不是很好。每次都要手动操作。

正在寻求更好的解决方案
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条