分享

mapreduce的一个疑问!

sunye 发表于 2015-9-18 10:58:16 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7241
本帖最后由 sunye 于 2015-9-18 11:56 编辑

情况说明:map之后同一个键的数据,交给了2个reducer处理,其中一个reducer只运行了一半。
我在reducer中加了Thread.sleep。  
疑问:同一个键的数据应该只交给1个reducer处理吧。是因为sleep,然后第一个reducer被认为有问题,所以把这批数据交给第二个reducer吗?

已有(1)人评论

跳转到指定楼层
bob007 发表于 2015-9-18 11:44:32
这个不好说。
楼主可以试验下。
推测应该不会。
hadoop机制如果完善的话,reduce挂掉后,会交给另外的reduce来处理。
好像storm存在容错。
hadoop还没有测试过
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条