链式mapreduce作业实例【代码实现】

查看数: 43585 | 评论数: 9 | 收藏 4
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2015-8-27 21:54

正文摘要:

本帖最后由 xuanxufeng 于 2015-8-27 21:59 编辑 问题导读 1.什么链式mapreduce? 2.链式mapreduce解决了什么问题? 3.如何实现链式mapreduce? 相关文章:让你真正明白什么是MapReduce组合式, ...

回复

abner_K2jFv 发表于 2016-6-14 16:28:10
李道 发表于 2016-2-2 16:07
和你一样的疑惑,感觉每个类的输入输出很诡异啊,不知道怎么理解ChainMap是链式Map。。

这个程序应该是有问题的,可以改写下就好了!楼主估计也就是让我们理解下怎么做的吧!哈啊哈
xuezhiji 发表于 2016-5-4 10:31:02
不错顶楼主
李道 发表于 2016-2-2 16:07:47
536528395 发表于 2015-8-31 15:25
楼主有个问题,最后面的代码没怎么看懂阿:
这个是先执行Mapper1然后执行Mapper2 最后执行reduce把?
--- ...

和你一样的疑惑,感觉每个类的输入输出很诡异啊,不知道怎么理解ChainMap是链式Map。。
536528395 发表于 2015-8-31 15:51:05
xuanxufeng 发表于 2015-8-31 15:38
ChainMapper是链式map

好吧,高手就是高手,我还是自己慢慢百度研究把。。。。。。。。。。。。。
xuanxufeng 发表于 2015-8-31 15:38:15
536528395 发表于 2015-8-31 15:25
楼主有个问题,最后面的代码没怎么看懂阿:
这个是先执行Mapper1然后执行Mapper2 最后执行reduce把?
--- ...

ChainMapper是链式map
536528395 发表于 2015-8-31 15:25:44
楼主有个问题,最后面的代码没怎么看懂阿:
这个是先执行Mapper1然后执行Mapper2 最后执行reduce把?
-------------------------------------------------------------------------------
如果不是这么这行的下面当我没说。
Mapper1 执行完应该是 key:2012-3-1 a  value:“”
然后执行Maper2, context.write(key, new Text(value.toString().split(" ")[0])); 这个时候的key和value 是maper1输出的key和value么?
还有reduce的时候 key怎么变成“”了 。。。不理解阿。。
peterzor 发表于 2015-8-28 09:49:08
mark,学习
arBen 发表于 2015-8-28 09:46:09
感谢分享
lixiaoliang7 发表于 2015-8-28 08:33:38
很赞很赞,学习了。
关闭

推荐上一条 /2 下一条