Hadoop—Spark企业应用实战(推荐版)

dengyangbj · 发表于 2017-11-6 17:31:22

学习！

边迪 · 发表于 2017-11-8 15:50:47

YARN的基本思想是将资源管理和作业调度/监控的功能分解成单独的守护进程。这个想法是有一个全局的资源管理器（RM）和每个应用程序的ApplicationMaster（AM）。应用程序可以是单个作业，也可以是DAG作业。

ResourceManager和NodeManager组成数据计算框架。ResourceManager是仲裁系统中所有应用程序之间资源的最终权威。NodeManager是负责容器的每机器框架代理，监视它们的资源使用情况（cpu，内存，磁盘，网络），并将其报告给ResourceManager / Scheduler。

每个应用程序的ApplicationMaster实际上是一个特定于框架的库，并负责从ResourceManager协商资源，并与NodeManager一起工作来执行和监视这些任务。