分享

hiveServer2一直允许mapreduce不结束

songy 发表于 2015-9-15 11:27:17 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 2 13380
本帖最后由 pig2 于 2015-9-15 12:25 编辑

麻烦各位帮我看看,hiveserver2 中的日志显示一直在运行mapreduce ,但是一直不停。这是什么问题,我该怎么定位?

3.png
2.png
1.png


已有(2)人评论

跳转到指定楼层
jixianqiuxue 发表于 2015-9-15 12:37:04
是不是数据倾斜了。导致不能结束

hive数据倾斜原因分析及解决方案
http://www.aboutyun.com/thread-8296-1-1.html


回复

使用道具 举报

songy 发表于 2015-9-15 15:10:55
jixianqiuxue 发表于 2015-9-15 12:37
是不是数据倾斜了。导致不能结束

hive数据倾斜原因分析及解决方案

谢谢你的答复,我的问题解决了。我无意中发现有datanode有运行MRAppMaster,但是在web页面已经没有running app了
然后我ps查看MRAppMaster进程是从昨天一直运行到今天。我把它kill掉,问题消失了。
估计这个情况是我在有app run 的时候重启hadoop 造成的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条