分享

关于在Hadoop集群下的几个疑问

jiangeng59 发表于 2016-3-2 23:28:55 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 5145
本帖最后由 jiangeng59 于 2016-3-2 23:38 编辑

1.集群下Mapper被实例化的次数是否为切片数? 还是只有一个实例?

2.多个map如何共享一个对象,比如共享一个ArrayList ?


最近只使用一个map没有发现上面的问题,使用多个map就出现了各种问题?  

已有(1)人评论

跳转到指定楼层
atsky123 发表于 2016-3-3 08:32:48
1.集群下Mapper被实例化的次数是否为切片数? 还是只有一个实例?
每一个切片对应一个map函数,不会是一个实例的。

2.多个map如何共享一个对象,比如共享一个ArrayList ?
多个map分布于不同的机器,不会共享ArrayList 的



最近只使用一个map没有发现上面的问题,使用多个map就出现了各种问题?  
多个map就不属于mapreduce框架了,除非多个map链式用来处理数据

让你真正明白什么是MapReduce组合式,迭代式,链式
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7435



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条