YARN/MRv2 Resource Manager深入剖析—RMContainer状态机分析

1.RMContainer的作用是什么？
2.RMContainer有几种基本状态？
3.RMContainerImpl的作用是什么？
4.RESERVED状态代表什么？
5.COMPLETED状态代表什么？
6.START事件的作用是什么？
7.当资源管理器发现某个节点上的资源不足以满足一个container基本需求时，ResourceManager会向RMContainerImpl发送一个什么事件？
8.NodeManager通过心跳机制告诉ResourceManager哪些Container运行完成了，ResourceManager收到后会为每个container发出一个什么事件？

RMContainer是ResourceManager中用于维护一个Container生命周期的数据结构，它的实现是RMContainerImpl，该类维护了一个Container状态机，记录了一个Container可能存在的各个状态以及导致状态间转换的事件，当某个事件发生时，RMContainerImpl会根据实际情况进行Container状态转移，同时触发一个行为。

如图所示，在RM看来，每个Container有9种基本状态（RMContainerState）和8种导致这9种状态之间发生转移的事件（RMContainerEventType），RMContainerImpl的作用是等待接收其他对象发出的RMContainerEventType类型的事件，然后根据当前状态和事件类型，将当前状态转移到另外一种状态，同时触发另外一种行为（实际上执行一个函数，该函数可能会再次发出一种其他类型的事件）。下面具体进行介绍：

基本状态

（1）NEW

状态机初始状态，每个Container对应一个状态机，而每个状态机的初始状态为NEW。

（2）RESERVED

当一个节点上的资源不予以满足一个Application的container的要求时，YARN会让该节点为该container预留资源，直到剩余资源足以满足container需求。Container处于资源得到不到满足状态即为RESERVED。

（3）ALLOCATED

当资源调度器将一个Container分配给一个Application时，该Container处于ALLOCATED状态。（注意，此时ApplicationMaster还未获取该Container。）

（4） ACQUIRED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container，此时，这些Container将被置为ACQUIRED。

（5）RUNNING

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container后，在对应的NodeManager上启动这些Container，接着NodeManager通过心跳机制将这些Container状态汇报给ResourceManager，此时，ResourceManager将这些Container状态置为RUNNING。

（6）RELEASED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()向ResourceManager发送信息，要求它释放一些Container（可能是由于资源过剩或者内部的抢占机制要求释放一些Container），ResourceManager收到请求后将这些Container置为RELEASED。

（7）COMPLETED

NodeManager通过RPC函数ResourceTracker.nodeHeartbeat()告诉ResourceManager运行完成的Container，而ResourceManager则将这些Container置为COMPLETED。

（8）EXPIRED

ResourceManager将一个container分配给ApplicationMaster后，该ApplicationMaster在一定时间内没有启用该Container，则ResourceManager会回收该Container，即将Container状态置为EXPIRED。

（9）KILLED

ApplicationMaster启动失败、被杀死或者运行过程中崩溃，ResourceManager会将该Application所有正在运行的Container置为KILLED状态。

基本事件

（1）START

当资源调度器将一个container分配给某个Application后，ResourceManager向RMContainerImpl发送一个START事件。

（2）RESERVED

当资源管理器发现某个节点上的资源不足以满足一个container基本需求时，ResourceManager会向RMContainerImpl发送一个RESERVED事件。

（3）ACQUIRED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container时，ResourceManager会向RMContainerImpl发送一个ACQUIRED事件。

（4）LAUNCHED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container后，在对应的NodeManager上启动这些Container，接着NodeManager通过心跳机制将这些Container状态汇报给ResourceManager，ResourceManager收到后会为每个container发出一个LAUNCHED事件。

（5）FINISHED

NodeManager通过心跳机制告诉ResourceManager哪些Container运行完成了，ResourceManager收到后会为每个container发出一个FINISHED事件。

（6）RELEASED

ApplicationMaster因为某种原因（资源过剩或者内部的抢占机制要求释放一些Container）需要释放一些Container，则它通过RPC函数AMRMProtocol.allocate()告诉ResourceManager，而ResourceManager会为每个container发出一个RELEASED事件。

（7）KILL

ApplicationMaster启动失败、被杀死或者运行过程中崩溃时，ResourceManager会发出一个KILL事件。

（8）EXPIRE

ResourceManager将一个container分配给ApplicationMaster后，该ApplicationMaster在一定时间内没有启用该Container，则ResourceManager会为该container发出一个EXPIRE事件。

下图描述了以上各个事件的来源：