desehawk 发表于 2014-4-5 18:48:10

hadoop2 YARN Resource Manager深入剖析—RMApp状态机分析

本帖最后由 pig2 于 2014-4-5 19:25 编辑

1.RMApp有几种状态?
2.NEW代表什么含义?
3.RM创建一个ApplicationMaster Attempt,此时Application状态被置为什么状态?
4.Application的ApplictionMaster运行失败,导致Application的状态被置为什么状态?
5.KILLED代表什么?
6.KILL代表什么?
7.ATTEMPT_FINISHING代表什么?

desehawk 发表于 2014-4-5 18:51:45

RMApp是ResourceManager中用于维护一个Application生命周期的数据结构,它的实现是RMAppImpl,该类维护了一个Application状态机,记录了一个Application可能存在的各个状态以及导致状态间转换的事件,当某个事件发生时,RMAppImpl会根据实际情况进行Application状态转移,同时触发一个行为。需要说明的是,在YARN中,每个application用数据结构RMApp表示,每个application可能会尝试运行多次,则每次运行尝试的整个运行过程用数据结构RMAppAttempt表示,如果一次运行尝试运行失败,则RMApp会创建另外一个运行尝试,直到某次运行尝试运行成功或者达到运行尝试运行上限。
如图所示,在RM看来,每个Application有8种基本状态(RMAppState)。RMAppImpl的作用是等待接收其他对象发出的RMAppEventType类型的事件,然后根据当前状态和事件类型,将当前状态转移到另外一种状态,同时触发另外一种行为(实际上执行一个函数,该函数可能会再次发出一种其他类型的事件)。下面具体进行介绍:
基本状态
(1) NEW状态机初始状态,每个Application对应一个状态机,而每个状态机的初始状态为NEW。(2) SUBMITTED客户端通过RPC函数ClientRMProtocol.submitApplication向RM提交一个Application,通过合法性验证后,RM会将Application状态置为SUBMITTED。(3) ACCEPTEDRM创建一个ApplicationMaster Attempt,此时Application状态被置为ACCEPTED。(4)RUNNINGRM创建的一个ApplicationMaster Attempt在某个节点上开始运行,此时Application状态被置为RUNNING。(5) FAILEDApplication的ApplictionMaster运行失败,导致Application的状态被置为FAILED。(6) KILLEDApplication收到KILL事件,将被置为KILLED。(7)FINISHINGApplication Master通过RPC函数AMRMProtocol.finishApplicationMaster()通知RM,自己运行结束,此时Application处于FINISHING状态。(8)FINISHEDNodeManager通过心跳汇报ApplicationMaster所在的Container运行结束,此时Application被置为FINISHED状态。
基本事件
(1) STARTEDNodeManager启动后,会通过RPC函数ResourceTracker.registerNodeManager()向RM注册,此时会触发STARTED事件。(2) KILL客户端调用RPC函数ClientRMProtocol.forceKillApplication()杀死Application,此时会触发一个KILL事件。(3) APP_REJECTED
客户端通过RPC函数ClientRMProtocol.submitApplication向RM成功提交一个Application,此时会触发一个APP_ACCEPTED事件。(5) ATTEMPT_REGISTERED

(6) ATTEMPT_FINISHINGApplicationMaster通过RPC函数AMRMProtocol.finishApplicationMaster ()向RM汇报自己运行完成,此时会触发一个ATTEMPT_FINISHING事件。(7)ATTEMPT_FINISHEDNodeManager通过心跳汇报ApplicationMaster所在的Container运行结束,此时Application被置为FINISHED状态。(8)NODE_UPDATENodeManager每次汇报心跳信息会触发一个NODE_UPDATE事件。(9)ATTEMPT_FAILEDApplicationMaster运行失败时,会触发一个ATTEMPT_FAILED事件。(10)ATTEMPT_KILLEDApplicationMaster被杀死时,会触发一个ATTEMPT_KILLED事件。下图描述了各个事件的来源:




转载自董的博客

zhujun182104906 发表于 2016-10-9 17:58:04

学习了
页: [1]
查看完整版本: hadoop2 YARN Resource Manager深入剖析—RMApp状态机分析