Hadoop 2.0 (YARN)中的安全机制介绍

问题导读

1.本文认为安装机制是有那两部分组成的？
2.Hadoop 2.0中的认证机制采用哪两种方案？







一般而言，系统安全机制由认证(authentication)和授权(authorization)两大部分构成。认证就是简单地对一个实体的身份进行判断；而授权则是向实体授予对数据资源和信息访问权限的决策过程。同Hadoop 1.0一样，Hadoop 2.0中的认证机制采用Kerbero和Token两种方案，而授权则是通过引入访问控制列表（Access Control List，ACL）实现的，接下来分别对它们进行介绍。

1. Hadoop 2.0认证机制

在Hadoop中，Client与NameNode和Client与ResourceManager之间初次通信均采用了Kerberos进行身份认证，之后便换用Delegation Token以较小开销，而DataNode与NameNode和NodeManager与ResourceManager之间的认证始终采用Kerberos机制，默认情况下，Kerberos认证机制是关闭的，管理员可通过将参数hadoop.security.authentication设为“kerberos”（默认值为“simple”）启动它。接下来重点分析Hadoop中Token的工作原理以及实现。

Hadoop中Token的定义在org.apache.hadoop.security.token.Token中，每类Token存在一个唯一TokenIdentifier标识，Token主要由下表列出的几个字段组成。

下面重点介绍YARN中的各类Token及其作用，有兴趣的读者可自行了解HDFS中Token的种类及其作用。

(1) ResourceManager Delegation Token

ResourceManager Delegation Token是ResourceManager授权令牌，持有该令牌的应用程序及其发起的任务可以安全地与ResourceManager交互，比如持有该令牌的MapReduce作业可以在Task中再次向ResourceManager提交一个或者多个作业，进而形成一个MapReduce工作流，Hadoop生态系统中的工作流引擎Oozie正是采用了该策略。该令牌由ResourceManager中的组件RMDelegationTokenSecretManager管理和维护。

(2)  YARN Application Token

Application Token用于保证ApplicationMaster与ResourceManager之间的通信安全。该Token的密钥（masterKey）由ResourceManager传递给NodeManager，并保存到ApplicationMaster Container的私有目录下。当NodeManager启动ApplicationMaster时，所有的Token将被加载到ApplicationMaster的UGI中（NodeManager通过环境变量HADOOP_TOKEN_FILE_LOCATION将Token所在目录传递给UGI，这样UGI可以直接从文件中读取Token信息，所有其他Token的传递过程也是一样的），以在与ResourceManager通信时进行安全认证，需要注意的是，该Token的生命周期与ApplicationMaster实例一致。该Token由ResourceManager中的AMRMTokenSecretManager管理和维护。

(3) YARN NodeManager Token

ApplicationMaster与NodeManager通信时，需出示NodeManager Token以表明ApplicationMaster自身的合法性。该Token是由ResourceManager通过RPC函数ApplcationMasterProtocol#allocate的应答中发送给ApplicationMaster的，它的密钥是各个NodeManager向ResourceManager注册（ResourceTracker#registerNodeManager）和发送心跳信息（ResourceTracker#nodeHeartbeat）时领取的。ApplicationMaster通过ContainerManagementProtocol协议与NodeManager通信时，需要出示该Token。该Token由ResourceManager中的NMTokenSecretManagerInRM管理和维护。

(4)  YARN Container Token

ApplicationMaster与NodeManager通信启动Container时，需出示Container Token以表明Container的合法性。该Token是由ResourceManager通过RPC函数ApplcationMasterProtocol#allocate的应答存放到Container中发送给ApplicationMaster的，它的密钥是各个NodeManager向ResourceManager注册和发送心跳信息时领取的。ApplicationMaster通过RPC函数ContainerManagementProtocol#startContainer与NodeManager通信启动Container时，需要出示相应的Container Token。该Token由ResourceManager中的RMContainerTokenSecretManager管理和维护。

(5)  YARN Localizer Token

Localizer Token用于保证ContainerLocalizer与NodeManager之间的通信安全。ContainerLocalizer负责在任务运行之前从HDFS上下载各类所需的文件资源，以构建一个本地执行环境，在文件下载过程中，ContainerLocalizer通过RPC协议LocalizationProtocol不断向NodeManager汇报状态信息。

(6)  MapReduce Client Token

MapReduce Client Token用于保证MapReduce JobClient与MapReduce Application Master之间的通信安全。它由ResourceManager在作业提交时创建，并通过RPC函数ApplicationClientProtocol#getApplicationReport发送给JobClient。该Token由ResourceManager中的ClientToAMTokenSecretManagerInRM管理和维护。

(7) MapReduce Job Token

MapReduce Job Token用于保证MapReduce的各个Task（包括Map Task和Reduce Task）与MapReduce Application Master之间的通信安全。它由ApplicationMaster创建，通过RPC函数ContainerManagementProtocol#startContainer传递给NodeManager，并由NodeManager写入Container的私有目录中，以在任务启动时加载到UGI中，从而使得任务可以安全地通过RPC协议TaskUmbilicalProtocol与ApplicationMaster通信。

(8)  MapReduce Shuffle Secret

MapReduce Shuffle Secret用于保证运行在各个NodeManager上的ShuffleHandler（内部封装了一个Netty Server）与Reduce Task之间的通信安全，即只有同一个作业的Reduce Task才允许读取该作业Map Task产生的中间结果，该安全机制是借助Job Token完成的。

2. Hadoop 2.0授权机制

Hadoop YARN的授权机制是通过访问控制列表（ACL）实现的，按照授权实体，可分为队列访问控制列表、应用程序访问控制列表和服务访问控制列表，下面分别对其进行介绍。

在正式介绍YARN授权机制之前，先要了解HDFS的POSIX风格的文件访问控制机制，这与当前Unix的一致，即将权限授予对象分为用户、同组用户和其他用户，且可单独为每类对象设置一个文件的读、写和可执行权限。此外，用户和用户组的关系是插拔式的，默认情况下共用Unix/Linux下的用户与用户组对应关系，这与YARN是一致的。

(1)  队列访问控制列表

为了方便管理集群中的用户，YARN将用户/用户组分成若干队列，并可指定每个用户/用户组所属的队列。通常而言，每个队列包含两种权限：提交应用程序权限和管理应用程序权限（比如杀死任意应用程序），这些是通过配置文件etc/hadoop/mapred-queue-acls.xml设置的。

(2)  应用程序访问控制列表

应用程序访问控制机制的设置方法是在客户端设置为每类ApplicationAccessType（目前只有VIEW_APP和MODIFY_APP两种类型）设置对应的用户列表，这些信息传递到ResourceManager端后，由它维护和使用。通常而言，为了用户使用方便，应用程序可对外提供一些特殊的可直接设置的参数（而不是通过API设置），以MapReduce作业为例，用户可以通过参数mapreduce.job.acl-view-job和mapreduce.job.acl-modify-job为每个作业单独设置查看和修改权限。需要注意的是，默认情况下，作业拥有者和超级用户（可配置）拥有以上两种权限且不可以修改。

(3)  服务访问控制列表

服务访问控制是Hadoop提供的最原始的授权机制，它用于确保只有那些经过授权的客户端才能访问对应的服务。比如可通过为ApplicationClientProtocol协议设置访问控制列表以指定哪些用户可以向集群中提交应用程序。

服务访问控制是通过控制各个服务之间的通信协议实现的，它通常发生在其他访问控制机制之前，比如文件权限检查、队列权限检查等。

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-security/