hadoop中combine，partition和shuffle的疑问

这是我理解的hadoop函数调用过程，但还是有点疑惑，比如：每个map函数输出都调用一个partition函数（图中为此方式）还是一个partition函数处理所有的map输出，如果图中的过程正确，那么shuffle函数调用发生在哪里？

绝尘H2 发表于 2016-3-8 09:08

楼主的图看不到，不过代码是分发到每个客户端来执行的。
而不是只有一份代码在跑。
比如map函数，也是多个客户端在跑，其它函数也是同理

atsky123 发表于 2016-3-8 10:09
楼主的图看不到，不过代码是分发到每个客户端来执行的。
而不是只有一份代码在跑。
比如map函数，也是 ...

绝尘H2 发表于 2016-3-8 12:22

这个也不是一两句能说明白的，下面一些资料，希望对楼主有帮助
hadoop中，combine、partition、shuffle作用分别是什么？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7104


Spark源码系列（六）Shuffle的过程解析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8375

Hadoop（6）MapReduce 性能调优：优化洗牌（shuffle）和排序阶段

http://www.aboutyun.com/forum.php?mod=viewthread&tid=15545