mapreduce map task并发性问题

只有一个虚拟机，一个节点，6GB内存，8core，为什么只有6个maptask同时进行？想改变这个数值要怎么做？？
这个跟我的输入文件太小有关吗？？

影响因素很多，跟分区函数，内存的分配等因素有关系
如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6945

可是我改变了这个配置的value   mapred.tasktracker.tasks.maximum一点变化都没有

lanxueren121 发表于 2016-6-22 14:50
可是我改变了这个配置的value   mapred.tasktracker.tasks.maximum一点变化都没有

mapred.tasktracker.tasks.maximum这个只是最大设置，具体多少，还有其它因素影响

nextuser 发表于 2016-6-22 17:20
mapred.tasktracker.tasks.maximum这个只是最大设置，具体多少，还有其它因素影响

mapred.tasktracker.tasks.maximum 用的默认是2，为什么会有6个同时进行？？
我想改成全部一起进行最重要改变哪个值呢？？？我改了好多设置这个同时进行的数量都是6··············

我这个结果算不算数据倾斜？？？这个结果正确吗？？

nextuser 发表于 2016-6-22 17:20
mapred.tasktracker.tasks.maximum这个只是最大设置，具体多少，还有其它因素影响

我做的进程图

请问下10个map为什么只有6个同时进行？

我看网上说map会有同时进行，然后全部完成后才启动reduce····

lanxueren121 发表于 2016-6-22 18:50
我做的进程图

请问下10个map为什么只有6个同时进行？

这跟hadoop调度器有关系。hadoop有三种调度：包括
先来先服务（FIFO）
公平调度策略


计算能力调度

当然楼主也可以自己写调度策略，实现楼主上面想法。


更多相关资料：

hadoop调度算法详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=5733


hadoop1 与hadoop2 fair-schduler调度器 配置和使用

http://www.aboutyun.com/forum.php?mod=viewthread&tid=14978


Hadoop计算能力调度器算法解析

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8118


hadoop Capacity Scheduler计算能力调度器配置

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8773