Mapreduce 整个工作机制图

查看数: 154089 | 评论数: 69 | 收藏 14
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
lzw
发布时间: 2013-12-1 20:53

正文摘要:

刚才发现一张讲解mapreduce整个工作机制图,跟大家分享一下,大家发表一下建议,对mapreduce工作机制有何看法,或者那里有不清楚。mapreduce每一个工作阶段,对我们在工作中处理某种业务都是有很大帮助的。 ...

回复

nettman 发表于 2014-6-3 12:19:14
旋风来袭 发表于 2014-6-3 11:27
很模糊,有高手可以整体解释一下这张图吗???



205347vyzpuuh8iq8i2i8z.png


图中1:表示待处理数据,比如日志,比如单词计数
图中2:表示map阶段,对他们split,然后送到不同分区
图中3:表示reduce阶段,对这些数据整合处理。
图中4:表示二次mapreduce,这个是mapreduce的链式,详细可以看让你真正明白什么是MapReduce组合式,迭代式,链式



zmer 发表于 2015-9-17 01:02:02
两个node之间的交互其实是个抽象概念,不要纠结于这,先是几个node各自执行map阶段;执行完后,reducer所在的node去向执行map的节点抓取数据,然后执行reduce阶段,也就是shuffle过程。
孟子龙 发表于 2019-2-15 19:17:56
作为2019年的新手,狠狠地顶前辈的帖子,谢谢!
yngwiewang 发表于 2017-10-25 13:54:04
学习了,谢谢。
电猿 发表于 2017-7-18 10:57:43


作为初学者,顶一下!!!!
mapc 发表于 2017-4-29 12:16:09
zmer 发表于 2015-9-17 01:02
两个node之间的交互其实是个抽象概念,不要纠结于这,先是几个node各自执行map阶段;执行完后,reducer所在 ...

小白不知道你说的是对还是错,但是给我很大的启发
御兰草 发表于 2016-11-2 09:55:39
学习ing
zero-86 发表于 2016-8-17 17:01:34
学习,谢谢
green2 发表于 2016-8-10 16:47:28
reduce 通过key 来聚合的吗?
hihiheihei 发表于 2016-8-7 10:43:49
学习中,谢谢分享
Mr.k 发表于 2016-7-22 09:17:16
进来看一眼
yzm1990526 发表于 2016-7-18 16:57:47
不错,赞一个哈!
关闭

推荐上一条 /2 下一条