MapReduce 编程模型概述

查看数: 81647 | 评论数: 26 | 收藏 21
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-3-2 21:11

正文摘要:

本帖最后由 howtodown 于 2014-3-2 21:29 编辑 已经讲了一篇mapreduce编程模型,这里从另外一角度,感觉也不错。引用一个经典的图片来说明问题. 可以带着下面问题来阅读: mapreduce的过程都包含什么操作? ma ...

回复

pig2 发表于 2014-3-2 21:32:23
个人认为,仅供参考:


mapreduce的过程都包含什么操作?
排序复制合并

map处理完后,tasktracer会完成什么任务?
tasktracker会把数据进行复制和排序, 然后通过输出的key 和value进行 partition的划分, 并把partition相同的map输出, 合并为相同的reduce的输入.

ruducer的作用是什么?
把数据输出, 每个相同的key, 一定在一个reduce中处理完, 每一个reduce至少对应一份输出

map中经过谁的处理之后,变为reduce输入?
通过shuffle之后, 变成reduce的输入, 这是相同的key对应的value被组合成了一个迭代器

yngwiewang 发表于 2017-10-26 07:01:33
学习了,谢谢。
about-hadoop 发表于 2016-9-6 14:27:52
学习中呢!
Rommy.Yang 发表于 2016-6-3 23:05:35
学习先。
xuezhiji 发表于 2016-5-4 14:13:11
不错,学习了
bingyuac 发表于 2016-5-1 16:59:23
受益匪浅那
peterzor 发表于 2016-1-26 16:53:32
mark mark

shanquan2006 发表于 2016-1-26 15:08:13
MapReduce,学习了。mark,留着以后继续来此理解。
ccliu1593571 发表于 2015-8-30 18:55:20
abcabcabc 发表于 2015-6-13 21:28:10
关闭

推荐上一条 /2 下一条