lanxueren121 发表于 2016-6-22 18:50
我做的进程图

请问下10个map为什么只有6个同时进行？

这跟hadoop调度器有关系。hadoop有三种调度：包括
先来先服务（FIFO）
公平调度策略


计算能力调度

当然楼主也可以自己写调度策略，实现楼主上面想法。


更多相关资料：

hadoop调度算法详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=5733


hadoop1 与hadoop2 fair-schduler调度器 配置和使用

http://www.aboutyun.com/forum.php?mod=viewthread&tid=14978


Hadoop计算能力调度器算法解析

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8118


hadoop Capacity Scheduler计算能力调度器配置

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8773

nextuser 发表于 2016-6-22 17:20
mapred.tasktracker.tasks.maximum这个只是最大设置，具体多少，还有其它因素影响

mapred.tasktracker.tasks.maximum 用的默认是2，为什么会有6个同时进行？？
我想改成全部一起进行最重要改变哪个值呢？？？我改了好多设置这个同时进行的数量都是6··············

我这个结果算不算数据倾斜？？？这个结果正确吗？？

lanxueren121 发表于 2016-6-22 14:50
可是我改变了这个配置的value   mapred.tasktracker.tasks.maximum一点变化都没有

mapred.tasktracker.tasks.maximum这个只是最大设置，具体多少，还有其它因素影响

可是我改变了这个配置的value   mapred.tasktracker.tasks.maximum一点变化都没有

影响因素很多，跟分区函数，内存的分配等因素有关系
如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6945