分享

求助帖,为何shuffle时间会是负数?

本帖最后由 树叶的狂欢 于 2015-6-3 10:13 编辑

在hadoop 的jobhistory的浏览器页面中,查看某个job的运行时间,截图如下:
我想问为什么有时候会出现
Average Shuffle Time  = -1mins -14sec的情况,时间怎么会是负的呢?还有就是average reduce time =1m40s大于job完成时间46s,这是怎么回事?
求大神们指教!谢谢

G]2_B{1O5F_4P($JCW{K1X7.png

已有(17)人评论

跳转到指定楼层
树叶的狂欢 发表于 2015-6-3 09:56:12
回复

使用道具 举报

Alkaloid0515 发表于 2015-6-3 10:03:44
map和reduce是可以同时执行的。所以他们的时间和可能大于job时间
回复

使用道具 举报

树叶的狂欢 发表于 2015-6-3 10:06:24
回复

使用道具 举报

nextuser 发表于 2015-6-3 11:02:45
树叶的狂欢 发表于 2015-6-3 10:06
我知道,但是我这里是只算平均Reduce时间就大于总运行时间 46s了,这不科学。。。。

ePshc.png

楼主配置是否有问题
回复

使用道具 举报

树叶的狂欢 发表于 2015-6-3 12:13:44
nextuser 发表于 2015-6-3 11:02
楼主配置是否有问题

会是配置的原因么?我的有些job显示也是正常的
FOS}WWNQX]K[[RWE6`U8S63.png
回复

使用道具 举报

bob007 发表于 2015-6-3 14:32:34
树叶的狂欢 发表于 2015-6-3 12:13
会是配置的原因么?我的有些job显示也是正常的



1.png
2.png

楼主怎么看,为什么有的两个时间,有的一个时间
回复

使用道具 举报

树叶的狂欢 发表于 2015-6-3 15:23:56
回复

使用道具 举报

bob007 发表于 2015-6-3 16:00:33
回复

使用道具 举报

树叶的狂欢 发表于 2015-6-3 16:30:42
bob007 发表于 2015-6-3 16:00
人家刚学,不要笑话人家了。
不过楼主的问题,确实够奇怪的。
会不会是bug那。

有时候是对的,有时候就出现负数了。。。。。
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条