hadoop 公平调度器
本帖最后由 howtodown 于 2014-8-14 18:54 编辑公平调度是一种赋予作业(job)资源的方法,它的目的是让所有的作业随着时间的推移, 都能平均的获取等同的共享资源。当单独一个作业在运行时,它将使用整个集群。当有其它 作业被提交上来时,系统会将任务(task)空闲时间片(slot)赋给这些新的作业,以使得每 一个作业都大概获取到等量的 CPU 时间。与 Hadoop 默认调度器维护一个作业队列不同,这 个特性让小作业在合理的时间内完成的同时又不“饿”到消耗较长时间的大作业。它也是一 个在多用户间共享集群的简单方法。公平共享可以和作业优先权搭配使用——优先权像权重 一样用作为决定每个作业所能获取的整体计算时间的比例。
页:
[1]