Mapreduce 整个工作机制图

学习了 学习了。

谢谢分享，学习中！

两台机器是如何交互的？  如果 1000 个节点呢？

可以讲一下分区么。。HASH分区 是不是会带带来倾斜问题。。

Rekklesly 发表于 2015-7-1 18:30
可以讲一下分区么。。HASH分区 是不是会带带来倾斜问题。。

HASH分区是普遍被使用，但是如果想更好的分区，则需要自己定制

nextuser 发表于 2015-7-1 18:31
HASH分区是普遍被使用，但是如果想更好的分区，则需要自己定制

比如有4个cluster{k1,[v1,v2,v3,v4]},{k2,[v1,v2,v3,v4]},{k3,[v1,v2,v3,v4]},{k4,[v1,v2,v3,v4]}...
要分给两个reuducer 工作。。那么一定是。。k1和k3在一个reduce,k2和k4在一个reduce.是吧。。

Rekklesly 发表于 2015-7-1 18:34
比如有4个cluster{k1,[v1,v2,v3,v4]},{k2,[v1,v2,v3,v4]},{k3,[v1,v2,v3,v4]},{k4,[v1,v2,v3,v4]}...
要 ...

这个由分区函数来决定我们可以自己写分区函数，但是一旦分区函数确定了。
至于这些数据是如何分区的，则是取决于分区函数，所以不能盲目的说谁和谁是一组的

nextuser 发表于 2015-7-1 18:40
这个由分区函数来决定我们可以自己写分区函数，但是一旦分区函数确定了。
至于这些数据是如何分区的，则 ...

恩呢 这个我明白。我的意思是说。。。如果用哈希分区。。那么就是上述的那种结果吧。。。

两个node之间的箭头是表示在交互什么信息呢？

正在看，谢谢