关于mapper和reducer启动数量的一些疑惑

请教一个问题~
mapred.tasktracker.map.tasks.maximum这个参数配置的是每个tasktracker能够启动的最大mapper数
意思就是每个节点上能启动的最大mapper数吗？
很多资料都说这个值等于CPU数，那么8是很正常的，可是官方文档里面说每个节点的mapper数最好在10-100之间？
在hadoop2.x里面，一个节点是否有多个container？
那么container和tasktracker有什么联系？
是一个container里面可以启动一个tasktracker吗（或者多个）？

问题比较多，求知欲较强，希望高手解答一下疑惑~

跟节点没有关系的
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2

也即：每一个tasktracker同时运行的map任务数为2

优化的时候，可以设置成跟cpu数量相同，但是二者不是等值
最好不要超过电脑的core，否则会报异常，也就是平常我们所说的你的电脑是几核的，也并非是电脑cpu个数

container里面可以启动一个tasktracker

无论是map task还是reduce task
详细参考
分片split和资源容器container之间的关系
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17181

bob007 发表于 2016-3-16 16:33
跟节点没有关系的
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2

一个container启动一个tasktracker，还是启动一个map task或者reduce task？mr2里面tasktracker这个概念好像挺模糊的
我看了下服务器的配置，4个物理CPU，2个超线程，每个CPU10个核心，有80个逻辑CPU，那么所说的几核是怎么算的，10核吗？

jchubby 发表于 2016-3-16 16:49
一个container启动一个tasktracker，还是启动一个map task或者reduce task？mr2里面tasktracker这个概念 ...

80个？怎么算的。确保正常，谁跑集群就按照谁的来计算。

Alkaloid0515 发表于 2016-3-16 17:12
80个？怎么算的。确保正常，谁跑集群就按照谁的来计算。

more /proc/cpuinfo | grep 'processor' | wc -l
结果就是第一个80，网站的资料说是逻辑cpu数=物理cpu数*每个cpu核数*超线程数
那么这机器要算几核？。。

jchubby 发表于 2016-3-16 17:18
more /proc/cpuinfo | grep 'processor' | wc -l
结果就是第一个80，网站的资料说是逻辑cpu数=物理cpu数 ...

如果你用物理机跑就是物理机数目
如果你用虚拟机跑就是虚拟机数目