旋风来袭 发表于 2014-6-3 11:27 图中1:表示待处理数据,比如日志,比如单词计数 图中2:表示map阶段,对他们split,然后送到不同分区 图中3:表示reduce阶段,对这些数据整合处理。 图中4:表示二次mapreduce,这个是mapreduce的链式,详细可以看让你真正明白什么是MapReduce组合式,迭代式,链式 |
两个node之间的交互其实是个抽象概念,不要纠结于这,先是几个node各自执行map阶段;执行完后,reducer所在的node去向执行map的节点抓取数据,然后执行reduce阶段,也就是shuffle过程。 |
作为2019年的新手,狠狠地顶前辈的帖子,谢谢! |
学习了,谢谢。 |
作为初学者,顶一下!!!! |
zmer 发表于 2015-9-17 01:02 小白不知道你说的是对还是错,但是给我很大的启发 |
学习ing |
学习,谢谢 |
reduce 通过key 来聚合的吗? |
学习中,谢谢分享 |
进来看一眼 |
不错,赞一个哈! |