关于mr1和mr2结构的一点疑问

mr1的结构是jobtracker+tasktracker
mr2的结构是yarn（resourcemanager+nodemaneger）
那么在mr2中还有tasktracker这个角色的存在吗？如果没有的话，是什么组件代替了它？

在配置
mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
的时候发现这两个值不太好确定，因为不确定mr2中是如何计算的，望高手指点~

MapReduce 2.0或者MRv2（MapReduce version 2）或者NextGen MapReduc
MapReduce 2.0或者MRv2具有与MRv1相同的编程模型，唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后，运行于资源管理框架YARN之上的MRv1，它不再由JobTracker和TaskTracker组成，而是变为一个作业控制进程ApplicationMaster，且ApplicationMaster仅负责一个作业的管理，至于资源的管理，则由YARN完成。
简而言之，MRv1是一个独立的离线计算框架，而MRv2则是运行于YARN之上的MRv1。

更多参考
hadoop2基础知识介绍--YARN/MR2编程模型介绍及俗语介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7207

s060403072 发表于 2016-3-16 22:00
MapReduce 2.0或者MRv2（MapReduce version 2）或者NextGen MapReduc
MapReduce 2.0或者MRv2具有与MRv1相 ...

那么既然mr2中jobtracker和tasktracker不存在了，那么请问
mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
这两个参数在mr2中还起作用吗

jchubby 发表于 2016-3-16 22:36
那么既然mr2中jobtracker和tasktracker不存在了，那么请问
mapred.tasktracker.map.tasks.maximum
mapr ...

hadoop2中没有看到这个属性
楼主可以自己找找

atsky123 发表于 2016-3-17 08:59
hadoop2中没有看到这个属性
楼主可以自己找找

有的呀，在hadoop官方文档里面，2.7.2版本的，所以一直很疑惑

jchubby 发表于 2016-3-17 10:17
有的呀，在hadoop官方文档里面，2.7.2版本的，所以一直很疑惑

mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
这两个属性是hadoop1.x的

mapreduce.tasktracker.map.tasks.maximum
mapreduce.tasktracker.reduce.tasks.maximum       
这两个是hadoop2.x的
这应该说是对1.x进行了改变了。
同样是对map和reduce任务数的设置

wscl1213 发表于 2016-3-17 10:24
mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
这两个属性是hadoop1 ...

原来如此，可是mr2中不是已经没有tasktracker了吗，为什么还有这两个参数？

jchubby 发表于 2016-3-17 10:28
原来如此，可是mr2中不是已经没有tasktracker了吗，为什么还有这两个参数？

tasktracker是没有这个进程了，不代表类里面不可以使用tasktracker。

wscl1213 发表于 2016-3-17 10:30
tasktracker是没有这个进程了，不代表类里面不可以使用tasktracker。

mapred.tasktracker.map.tasks.maximum那这个值如果设定为10，是不是就意味着每个节点上能启动的最大mapper的数量为10？

jchubby 发表于 2016-3-17 10:44
mapred.tasktracker.map.tasks.maximum那这个值如果设定为10，是不是就意味着每个节点上能启动的最大mapp ...

每一个tasktracker同时运行的 任务数 ，tasktracker跟节点没有关系的