图1为本发明可变并行作业的资源分配方法的流程图;
[0021] 图2为本发明作业调度实例的示意图。
【具体实施方式】
[0022] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对 本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并 不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0023] -般来说,可变并行作业的性能依赖于可变并行作业调度策略。而可变并行作业 调度策略的关键因素就是资源分配机制。不幸的是,现有的可变并行作业资源分配机制在 减少作业周转时间方面做的并不是很好,要么尽可能多的将每个作业的周转时间减少,当 前分配资源时只考虑了单个作业的性能,忽略了全局作业的性能;要么仅仅针对公平性进 行研宄,而没有过多的考虑调度性能的提升。
[0024] 为了获得更好的调度性能,本发明提出了代表增加一个处理器后每个作业所获得 缩短时间收益的指标,称为收益每处理器(Revenue per Processor,以下简称RP)。基于这 个指标,本发明设计了一种资源分配方法----最高收益优先(Highest Revenue First,简 称HRF)资源分配方法。该分配方法每次都将处理器分配给具有最高RP的作业,通过此方 法来达到缩短作业运行时间,从而缩短作业周转时间的目的。
[0025] 假设作业1在X个处理器上的运行时间是当增加一个处理器 后,该作业的运行时间变为/? yi(x + 1),则该作业增加一个处理器所收益的时间为 RP = + 1)。将RP作为分配资源的指标,表示一个处理器能够为该作业带 来的时间收益。
[0026] 图1所示为本发明可变并行作业的资源分配方法的流程图,具体包括以下步骤:
[0027] 步骤1集群管理者根据集群负载状况设置参数a和threshold。参数a表示在本 轮分配中可分配处理器占总的处理器数量的百分比;参数threshold表示在本轮分配中每 个作业所能分配的处理器占总的处理器数量的百分比;
[0028] 步骤2将等待队列中每一个作业的处理器数Xi均初始化为1。由于每个作业的收 益都是随着处理器数的增加而减少的,也就是说,每个作业处理器数为1的时候收益都最 大。将每个作业处理器数初始化为1,即保证了每个作业获得最高的收益,也保证每个作业 都被分配到最基本的资源,而不会产生作业饿死现象;
[0029] 步骤3查看待分配处理器是否分配完,如果分配完则流程结束,否则执行步骤4。 在本发明实施例中,待分配处理器的个数N的确定是根据整个集群的处理器数M以及参数 a(0〈a〈l. 3)的乘积来决定的,即N = aXM,可调参数a的选取根据具体调度过程中的负载 情况来决定,一般在选取先来先服务(First Come First Served,FCFS)调度的可变并行作 业调度算法中,负载越大,a选取越小,作业平均周转时间越小,而在选取回填调度的可变并 行作业调度算法中,负载越大,a选取越大,作业平均周转时间越小;
[0030] 步骤4计算每个作业的RP值,并找出RP最大的作业。具体包括以下子步骤:
[0032]
[0031] (4-1)根据现有Downey模型以及知识库的参数,计算每个作业1在当前处理器数 Xi时的运行时间Z?yi(X/)。其中,Downey模型如下所示:
【主权项】
1. 一种可变并行作业的资源分配方法,其特征在于,包括: 步骤1集群管理者根据集群负载状况设置参数a和threshold,其中,所述参数a表示 在本轮分配中可分配处理器占总的处理器数量的百分比;所述参数threshold表示在本轮 分配中每个作业所能分配的处理器占总的处理器数量的百分比; 步骤2将等待队列中每一个作业的处理器数Xi均初始化为1 ; 步骤3查看待分配处理器是否分配完,如果分配完则流程结束,否则执行步骤4 ; 步骤4计算每个作业的RP值,并找出RP值最大的作业,其中,RP值表示增加一个处理 器后每个作业所获得缩短时间收益的指标,所述步骤4包括以下子步骤: (4-1)根据Downey模型以及知识库的参数,计算每个作业Ji在当前处理器数X i时的 运行时间&Oi:); (4-2)根据所述Downey模型以及所述知识库的参数,计算每个作业1在当前处理器数 加1时的运行时间RiOi + 1); (4-3)计算每个作业1在当前处理器数时候的= %(Xi)-~〇/ + 1),并找 出RP值最大的作业; 步骤5判断所述RP值最大的作业分配的处理器数量是否达到处理器分配阈值,如果是 则将所述RP值最大的作业从待分配处理器的队列中去除,然后执行步骤3 ;否则将一个处 理器分配给所述RP值最大的作业,然后执行步骤3。
2. 如权利要求1所述的方法,其特征在于,其中,所述步骤3中,待分配处理器的个数N 的确定是根据整个集群的处理器数M以及所述参数a的乘积来决定的,即N = aXM。
3. 如权利要求1或2所述的方法,其特征在于,所述步骤5中所述处理器分配阈值等于 thresholdXM,M表示整个集群的处理器数。
【专利摘要】本发明公开了一种可变并行作业的资源分配方法,属于高性能计算技术领域。本发明包括:步骤1,集群管理者根据集群负载状况设置参数а和threshold;步骤2,将队列里每一个作业的处理器数初始化为1;步骤3,查看待分配处理器是否分配完,如果分配完则结束;步骤4,根据Downey模型以及知识库的参数,计算每个作业的单个处理器时间收益RP,并找出RP最大的作业;步骤5,判断RP最大的作业是否达到处理器分配阈值,如果是则将该作业从待分配处理器的队列中去除,转至步骤3,否则将一个处理器分配给该作业,转至步骤3。本发明不需要用户提供详细的作业信息,减少了用户的负担,并且减少了作业的平均周转时间,大大的提高了系统性能。
【IPC分类】G06F9-50
【公开号】CN104731662
【申请号】CN201510136202
【发明人】吴松, 金海 , 庹琼
【申请人】华中科技大学
【公开日】2015年6月24日
【申请日】2015年3月26日