YARN/MRv2 Resource Manager深入剖析—RMContainer状态机分析
1.RMContainer的作用是什么？2.RMContainer有几种基本状态？
3.RMContainerImpl的作用是什么？
4.RESERVED状态代表什么？
5.COMPLETED状态代表什么？
6.START事件的作用是什么？
7.当资源管理器发现某个节点上的资源不足以满足一个container基本需求时，ResourceManager会向RMContainerImpl发送一个什么事件？
8.NodeManager通过心跳机制告诉ResourceManager哪些Container运行完成了，ResourceManager收到后会为每个container发出一个什么事件？
RMContainer是ResourceManager中用于维护一个Container生命周期的数据结构，它的实现是RMContainerImpl，该类维护了一个Container状态机，记录了一个Container可能存在的各个状态以及导致状态间转换的事件，当某个事件发生时，RMContainerImpl会根据实际情况进行Container状态转移，同时触发一个行为。如图所示，在RM看来，每个Container有9种基本状态（RMContainerState）和8种导致这9种状态之间发生转移的事件（RMContainerEventType），RMContainerImpl的作用是等待接收其他对象发出的RMContainerEventType类型的事件，然后根据当前状态和事件类型，将当前状态转移到另外一种状态，同时触发另外一种行为（实际上执行一个函数，该函数可能会再次发出一种其他类型的事件）。下面具体进行介绍：
基本状态
（1）NEW状态机初始状态，每个Container对应一个状态机，而每个状态机的初始状态为NEW。（2）RESERVED当一个节点上的资源不予以满足一个Application的container的要求时，YARN会让该节点为该container预留资源，直到剩余资源足以满足container需求。Container处于资源得到不到满足状态即为RESERVED。（3）ALLOCATED当资源调度器将一个Container分配给一个Application时，该Container处于ALLOCATED状态。（注意，此时ApplicationMaster还未获取该Container。）（4） ACQUIREDApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container，此时，这些Container将被置为ACQUIRED。（5）RUNNINGApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container后，在对应的NodeManager上启动这些Container，接着NodeManager通过心跳机制将这些Container状态汇报给ResourceManager，此时，ResourceManager将这些Container状态置为RUNNING。（6）RELEASEDApplicationMaster通过RPC函数AMRMProtocol.allocate()向ResourceManager发送信息，要求它释放一些Container（可能是由于资源过剩或者内部的抢占机制要求释放一些Container），ResourceManager收到请求后将这些Container置为RELEASED。（7）COMPLETEDNodeManager通过RPC函数ResourceTracker.nodeHeartbeat()告诉ResourceManager运行完成的Container，而ResourceManager则将这些Container置为COMPLETED。（8）EXPIREDResourceManager将一个container分配给ApplicationMaster后，该ApplicationMaster在一定时间内没有启用该Container，则ResourceManager会回收该Container，即将Container状态置为EXPIRED。（9）KILLEDApplicationMaster启动失败、被杀死或者运行过程中崩溃，ResourceManager会将该Application所有正在运行的Container置为KILLED状态。
基本事件
（1）START当资源调度器将一个container分配给某个Application后，ResourceManager向RMContainerImpl发送一个START事件。（2）RESERVED当资源管理器发现某个节点上的资源不足以满足一个container基本需求时，ResourceManager会向RMContainerImpl发送一个RESERVED事件。（3）ACQUIREDApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container时，ResourceManager会向RMContainerImpl发送一个ACQUIRED事件。（4）LAUNCHEDApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container后，在对应的NodeManager上启动这些Container，接着NodeManager通过心跳机制将这些Container状态汇报给ResourceManager，ResourceManager收到后会为每个container发出一个LAUNCHED事件。（5）FINISHEDNodeManager通过心跳机制告诉ResourceManager哪些Container运行完成了，ResourceManager收到后会为每个container发出一个FINISHED事件。（6）RELEASEDApplicationMaster因为某种原因（资源过剩或者内部的抢占机制要求释放一些Container）需要释放一些Container，则它通过RPC函数AMRMProtocol.allocate()告诉ResourceManager，而ResourceManager会为每个container发出一个RELEASED事件。（7）KILLApplicationMaster启动失败、被杀死或者运行过程中崩溃时，ResourceManager会发出一个KILL事件。（8）EXPIREResourceManager将一个container分配给ApplicationMaster后，该ApplicationMaster在一定时间内没有启用该Container，则ResourceManager会为该container发出一个EXPIRE事件。下图描述了以上各个事件的来源：
页:
[1]