请问map数量分配机制？

现象：从hbase发起任务，有足够的数据块，目前控制map数量使用内存（总内存、map内存、yarn内存）进行控制，想要的map数量也可以调出来，但是通过程序临时调整了map内存后得不到预期map数量（每次也不可能调整yarn参数），哪位能详细解释以下内存资源的与map数量的分配机制？还是可将yarn.min内存调整极低？

网上能找到的资源全部在说文件的数量~~~~~~~~~~~~

evababy 发表于 2017-7-31 15:23
网上能找到的资源全部在说文件的数量~~~~~~~~~~~~

这个恐怕很难算出来。因为他是根据集群的配置情况来分配的，而且有的时候，同样的配置，任务数也会不相同。如果真想知道，恐怕需要研究源码。

langke93 发表于 2017-7-31 16:09
这个恐怕很难算出来。因为他是根据集群的配置情况来分配的，而且有的时候，同样的配置，任务数也会不相同 ...

是啊，源码翻了一会还是停留在文件数量这，因为map是分布式过成功控制的，大部分代码在程序中都不可见了，实在找不到哪里控制的。
我们集群规模不大，有些job需要高内存，而有些对内存要求低，想通过提高map数量来加快处理，但是临时调整map的内存达不到预期效果（最起码总资源/map是能接受的数量），总不能每次都修改总资源、map、yarn来达到想要的数量。总资源、yarn还不能通过命令、或程序来动态调整。

愁死人了，还是深扣源码吧，谢谢啦

evababy 发表于 2017-7-31 16:24
是啊，源码翻了一会还是停留在文件数量这，因为map是分布式过成功控制的，大部分代码在程序中都不可见了 ...

有些过高？？，map和map实现的功能应该都是一样的吧。是指不同的job，对内存的要求吧。