彻底明白Hadoop map和reduce的个数决定因素【白话】

问题导读

1.Hadoop 设置map的个数后为什么不生效？
2.map的个数有什么来决定？
3.如何确定分片的大小？
4.reduce个数该如何设置？
5.reduce个数由什么来决定？

Hadoop map和reduce的个数设置，困扰了很多学习Hadoop的成员，为什么设置了配置参数就是不生效那？Hadoop Map和Reduce个数，到底跟什么有关系。首先他的参数很多，而且可能随着版本不同一些配置参数，会发生一些变化，但是只要我们搞懂核心问题，那么其它在变，我们都能确定map的个数和reduce的个数。

首先来说，我们通过配置，无论你说的什么配置，能否就设置几个，就会跑出来几个。可以明确的如果设置几个，就有几个，那肯定是瞎猫捧着死耗子了。如果不懂原理，永远不能掌控Map和reduce的个数。

那么map和reduce的个数决定因素是什么？
map个数的决定因素是分片（Split）
reduce个数的决定因素是分区函数

1.map个数的决定因素是Split
如果你不懂Split，和分区函数，这里在跟大家白话以下：
Split在这里是一个名词，它跟map是什么关系？
Split：Map=1:1
它们之间是一一对应的。
搞不懂什么是Split，可参考Hadoop MapReduce中如何处理跨行Block和InputSplit

那么为什么会产生Split？
在大量的数据面前，我们不在适用单台机器，而是使用多台机器共同完成任务，既然多台完成，那么数据该怎么劈开？
ok，Split吧，对的，这里的Split是个动词，不再是一个名词，我们劈开之后那？每一个被劈开的数据，我们都交给map来处理。所以我们现在是否明白，map和split为什么是1:1的关系了。

上面我们只是白话了，那么这里面其实这里面还有一些问题，那么就是该如何Split？
比如1G的数据，该多少位一个块，或则多少M一个Split。这里面又有学问了，或则说又有门道了，因为不能直接设置，所以很多人对这个有迷惑了，直接设置不就好了。Hadoop可能怕我们胡乱设置，所以采取了一个折中的办法？那么它是如何做的？
SplitSize分片大小= max(minSize, min(blockSize, maxSize))

看上面公式，我们看到这个SplitSize的大小是折中的，也就是在minSize，blockSize，maxSize中，只取中间值，不取最大的，也不取最小的。我们分解开来如下：

当mapreduce.input.fileinputformat.split.maxsize > mapreduce.input.fileinputformat.split.minsize > dfs.blockSize的情况下，此时的splitSize 将由mapreduce.input.fileinputformat.split.minsize参数决定

当mapreduce.input.fileinputformat.split.maxsize > dfs.blockSize > mapreduce.input.fileinputformat.split.minsize的情况下，此时的splitSize 将由dfs.blockSize配置决定

当dfs.blockSize > mapreduce.input.fileinputformat.split.maxsize > mapreduce.input.fileinputformat.split.minsize的情况下，此时的splitSize将由mapreduce.input.fileinputformat.split.maxsize参数决定。

那么这时候，你是否明白，map的个数跟什么有关系了？
也就是说我们设置的map个数，如何我们不懂上面的原理，肯定是不会生效的。这就是我们为什么要优化的集群的原因了。

2.reduce个数的决定因素是分区函数
reduce我们知道有一个参数setNumReduceTasks(int num)，为什么设置之后不生效那？
对于分区函数？肯定是没有理解的。分区函数，在这里我们叫它分类函数，更贴近我们的生活。
这里举我们生活中的例子：

我们生活中，除了男就是女，所以分区函数如下

这里应该是有两个reduce的，可是我们设置为setNumReduceTasks为3，这是不可能有3个reduce，即使说是我们Hadoop产生了3个reduce，那么也是有一个reduce是不干活的。所以你设置了3个，可能只看到2个reduce在跑。

比如我们中国有23个省，那么就有23个reduce，你硬设置是24个reduce。这显然是不合理的。

当然还有另外一种特殊的情况下会生效，那就是设置reduce的个数为1，我们会看到只有1个reduce运行。

3.总结
从上面我们就可以明白map和reduce我们为什么设置参数为什么没有生效，以及我们该如何设置合适的参数。有问题欢迎交流。

最新经典文章，欢迎关注公众号