nettman 发表于 2014-6-9 01:13:22

YARN工作流程【推荐】

问题导读YARN上的应用程序主要分为几类，分别是什么？YARN将分几个阶段运行该应用程序？YARN的工作流程分为八个步骤，分别是什么？
static/image/hrline/4.gif



运行在YARN上的应用程序主要分为两类：（1）短应用程序（2）长应用程序短应用程序是指一定时间内（可能是秒级、分钟级或小时级，尽管天级别或者更长时间的也存在，但非常少）可运行完成并正常退出的应用程序，比如MapReduce作业、Tez DAG作业等.
长应用程序是指不出意外，永不终止运行的应用程序，通常是一些服务，比如Storm Service（主要包括Nimbus和Supervisor两类服务），HBase Service（包括Hmaster和RegionServer两类服务）等，而它们本身作为一个框架提供了编程接口供用户使用。
尽管这两类应用程序作用不同，一类直接运行数据处理程序，一类用于部署服务（服务之上再运行数据处理程序），但运行在YARN上的流程是相同的。当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序：
第一个阶段是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。
如图2-11所示，YARN的工作流程分为以下几个步骤：步骤1　用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
步骤2　ResourceManager为该应用程序分配第一个Container（这里可以理解为一种资源比如内存），并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。
步骤3　ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManage查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。
步骤4　ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。
步骤5　一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。
步骤6　NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
步骤7　各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。
步骤8　应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己。




原文链接：http://book.51cto.com/art/201312/422028.htm

junzi234 发表于 2014-6-13 12:41:41

mark下 留着备用

congzhiye 发表于 2016-7-25 21:06:33

看着就有点明白，不看就完全没概念，怎么办？

hlmcm 发表于 2016-12-14 09:17:49

ApplicationMaster这个是提交到nodemanager上面的吗？resourcemanager上的ApplicationsManager又是什么

nextuser 发表于 2016-12-14 09:52:44

hlmcm 发表于 2016-12-14 09:17
ApplicationMaster这个是提交到nodemanager上面的吗？resourcemanager上的ApplicationsManager又是什么

ApplicationMaster这个是提交到nodemanager。这个谈不上提交。首先需要整体弄懂yarn:

Yarn/MRv2最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程。


有一个全局的ResourceManager(RM)和每个Application有一个ApplicationMaster(AM)，Application相当于map-reduce job或者DAG jobs。
注意：ApplicationMaster对应的是一个应用程序，也就是一个map-reduce job

ResourceManager和NodeManager(NM)组成了基本的数据计算框架。ResourceManager协调集群的资源利用，任何client或者运行着的applicatitonMaster想要运行job或者task都得向RM申请一定的资源。ApplicatonMaster是一个框架特殊的库，对于MapReduce框架而言有它自己的AM实现，用户也可以实现自己的AM，在运行的时候，AM会与NM一起来启动和监视tasks。


更多参考

yarn详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7678


qx_code 发表于 2020-9-1 16:56:19

学习了！！！
页: [1]
查看完整版本: YARN工作流程【推荐】