MR任务在reduce阶段超时！

reduce会超时的问题，有的任务可以，有些任务不行！
有谁碰到过吗？麻烦帮忙解答一下

ZR@Y6_1`ECYNW]MT%OV[A7L.png

einhep · 发表于 2016-5-24 18:36:00

超时时间可以设置长一些，另外你看看是否数据倾斜

linjikai8888 · 发表于 2016-5-25 08:30:10

einhep 发表于 2016-5-24 18:36
超时时间可以设置长一些，另外你看看是否数据倾斜

数据倾斜指的是什么意思？

einhep · 发表于 2016-5-26 06:13:14

linjikai8888 发表于 2016-5-25 08:30
数据倾斜指的是什么意思？

数据倾斜也就是数据集中在集群的一部分节点，二分均匀分布。

更多：
hive数据倾斜原因分析及解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8296

Hadoop（7）MapReduce 性能调优：减小数据倾斜的性能损失

http://www.aboutyun.com/forum.php?mod=viewthread&tid=15544

图文精华