About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hadoop|YARN › YARN工作流程【推荐】

YARN工作流程【推荐】

查看数: 44065 | 评论数: 5 | 收藏 10

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

nettman

发布时间: 2014-6-9 01:13

正文摘要:

问题导读YARN上的应用程序主要分为几类，分别是什么？YARN将分几个阶段运行该应用程序？YARN的工作流程分为八个步骤，分别是什么？运行在YARN上的应用程序主要分为两类：（1）短应用程序（2）长应用程序短 ...

qx_code 发表于 2020-9-1 16:56:19

学习了！！！

nextuser 发表于 2016-12-14 09:52:44

hlmcm 发表于 2016-12-14 09:17
ApplicationMaster这个是提交到nodemanager上面的吗？resourcemanager上的ApplicationsManager又是什么

ApplicationMaster这个是提交到nodemanager。这个谈不上提交。首先需要整体弄懂yarn:

Yarn/MRv2最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程。

有一个全局的ResourceManager(RM)和每个Application有一个ApplicationMaster(AM)，Application相当于map-reduce job或者DAG jobs。
注意：ApplicationMaster对应的是一个应用程序，也就是一个map-reduce job

ResourceManager和NodeManager(NM)组成了基本的数据计算框架。ResourceManager协调集群的资源利用，任何client或者运行着的applicatitonMaster想要运行job或者task都得向RM申请一定的资源。ApplicatonMaster是一个框架特殊的库，对于MapReduce框架而言有它自己的AM实现，用户也可以实现自己的AM，在运行的时候，AM会与NM一起来启动和监视tasks。

更多参考

yarn详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7678

hlmcm 发表于 2016-12-14 09:17:49