面向数据中心全局能耗优化的气流感知型虚拟机调度方法与流程

[0001]
本发明涉及数据中心资源调度优化技术领域，具体涉及一种面向数据中心全局能耗优化的气流感知型虚拟机调度方法。


背景技术：

[0002]
云计算通过对大量计算资源的虚拟聚合和共享，实现按需向用户提供各种各样的计算服务，因此能够满足日益增长的大数据处理需求。为了进一步提高云计算系统对大数据的管理和处理能力，如何合理、高效地调度云计算的资源从而实现向用户弹性地提供计算服务是提高云计算系统性能的关键。
[0003]
在云计算环境中，由于云计算资源的数量庞大、数据中心虚拟机所承担的计算服务量也相当巨大。在应用云资源处理大数据计算任务时，不同的虚拟机放置及调度方式会带来不同的能耗。在现有的虚拟机放置调度模型中，可以依据虚拟机的物理资源优化(如cpu、内存、网络优化)或者依据气流组织特性进行放置与调度。然而在实际应用中，这类仅考虑单一维度指标的放置调度方式往往会在另一维度上增加能耗。比如为了降低服务器能耗，通常做法是尽可能的使用较少的服务器各类资源并启动较低数量的服务器以运行虚拟机任务，然而这种做法会容易造成局部热点的产生，导致制冷系统提供一个更低温度的冷气流才能满足服务器制冷的需求，从而增加了制冷系统的能耗。因此如何能够在虚拟机放置调度过程中同时考虑服务器、网络以及制冷系统能耗，从而进一步的降低数据中心的全局能耗，提出了新的挑战。


技术实现要素：

[0004]
本发明的目的是为了解决现有技术中的上述缺陷，提供一种面向数据中心全局能耗优化的气流感知型虚拟机调度方法，改善当今数据中心耗能过高、热点频发等问题，通过对数据中心服务器、网络以及气流组织进行建模，利用模拟退火算法计算虚拟机放置与调度的最佳方案，提高服务器的运行效率，降低数据中心全局能耗并减少热点故障产生的可能性。
[0005]
本发明的目的可以通过采取如下技术方案达到：
[0006]
一种面向数据中心全局能耗优化的气流感知型虚拟机调度方法，所述的气流感知型虚拟机调度方法包括以下步骤：
[0007]
s1、建立数据中心服务器能耗模型：将一个服务器s的能耗p
us
(s)由下式计算：p
us
(s)＝p
idle(s)
+u
s
*(p
max(s)-p
idle(s)
)，
[0008]
其中，u
s
为服务器s的利用率，p
idle(s)
为服务器空载时的能耗，p
max(s)
为服务器满载时的能耗；
[0009]
将数据中心内所有服务器的能耗由下式计算：
[0010][0011]
其中，n为服务器的数量，p
i
(us)为服务器i在利用率为u
s
时的能耗；
[0012]
s2、建立数据中心网络能耗模型：假设任意两个虚拟机v1和v2之间的跳数hops(v1,v2)定义为其之间进行通讯所必经的节点数，假设数据中心dc的网络能耗为p
network
，表示为其内所有虚拟机的交流权值与跳数的乘积，由下式进行计算：
[0013][0014]
其中，w(v1,v2)表示虚拟机v1和v2之间的交流权值大小；
[0015]
s3、建立数据中心气流组织模型：结合数据中心气流组织分布方式及数据中心机架排列特点及各机架上服务器数量对数据中心服务器进行建模，输出数据中心气流组织模型，过程如下：
[0016]
s301、确定每个服务器所能支持的最大虚拟机数量m、数据中心服务器总数为n，假设总任务需要的虚拟机数量为c
tot
，分配在每个服务器i上的虚拟机数量为c
i
，则如下限制条件应被满足：且c
i
≤m；
[0017]
s302、将虚拟机放置及调度方案用向量表示，表示服务器的基本能耗，表示放置m台虚拟机后服务器的当前能耗，服务器需要的入口温度为t
node
，d为考虑热循环的数据中心节点热矩阵，由如下公式计算：
[0018][0019]
其中，a
t
表示交叉干扰系数矩阵a的转置矩阵，交叉干扰系数矩阵a由实际数据中心基本功耗节点出口温度及制冷系统供应温度t
sup
依据公式：推导得出；
[0020]
其中，k为热力学常数值，k＝ρf
i
c
p
，c
p
表示气流的比热容，ρ表示气流密度，f
i
表示服务器i的气流流速，则制冷系统实时输出温度t
sup
由如下公式计算：
[0021]
将数据中心的制冷系统能耗通过下式进行计算：
[0022][0023]
其中，
[0024]
s4、对数据中心总能耗模型进行求解：将数据中心总能耗表示为：
[0025]
p
total
＝p
sever
+p
network
+p
cooling
，
[0026]
运用模拟退火算法对目标函数minimum p
total
求最优解，输出满足最低数据中心能耗的虚拟机放置方案。
[0027]
所述的步骤s4中，对数据中心总能耗模型进行求解的过程如下：
[0028]
s401、初始化模拟退火算法的初始温度t0、终止温度t
end
和队列大小参数l，并生成首次初始解，初始解中每个个体的编码方式为
[0029]
k(k1,k2,
…
,k
i
…
,k
n
)，
[0030]
其中，k
i
表示将工作流的虚拟机匹配到相应的服务器i执行；
[0031]
s402、运用选择交叉法则产生新解，即交叉变换k中的元素；
[0032]
s403、对上述运用选择交叉法则产生的新解，按照metropolis准则进行筛选，即接
受新解的概率p为：
[0033][0034]
即若df<0，以概率1接受新解；反之若df≥0，以概率接受新解；
[0035]
s404、如果当前模拟退火温度t超出初始化设定的终止温度t
end
则结束迭代，否则返回步骤s402继续执行。
[0036]
进一步地，所述的步骤s1、建立数据中心服务器能耗模型中，针对最近时刻的服务器利用率进行分类计算，其中，所述的服务器利用率分为低利用率、中利用率及高利用率，低利用率定义为利用率在30％以下，中利用率定义为利用率介于30％至60％，高利用率定义为利用率在60％以上。
[0037]
进一步地，所述的步骤s3、建立数据中心气流组织模型中，对不同位置的服务器进行区分，服务器间的相互影响参数有所区别，即不同数据中心的数据中心节点热矩阵d矩阵有所差异。
[0038]
进一步地，所述的步骤s4、运用模拟退火算法对目标函数minimum p
total
求最优解过程中，设置最大迭代次数以控制模拟退火算法整体运行时间，当迭代达到最大次数时输出当前所获得的最优解。
[0039]
进一步地，所述的步骤s4、运用模拟退火算法对目标函数minimum p
total
求最优解之后，将所得虚拟机放置与调度方案交由虚拟机调度器进行执行。
[0040]
进一步地，服务器的入口温度阈值依据服务器以及数据中心温度需求状况进行设定，定值为25℃，即服务器需要的入口温度t
node
＝25℃。
[0041]
进一步地，对等待队列中的业务进行分析，判定此业务需要虚拟机数量、业务量大小、优先级及是否允许调度。
[0042]
进一步地，通过任务调度器对虚拟机任务进行优先级排列，优先级别高的任务应优先得到分配执行，设置任务队列将一段时间内到来的虚拟机任务优先级由高至低进行排列，再按需执行分配，在调度阶段应首先对优先级低的虚拟机任务进行调度，以此保证高优先级任务的服务质量。
[0043]
本发明相对于现有技术具有如下的优点及效果：
[0044]
1、对于目前已经投入使用的数据中心，无需对其制冷系统及制冷方式进行改造，而是采用不同的虚拟机放置与调度方案，降低数据中心的整体能耗、优化气流组织并减少局部热点的产生。
[0045]
2、对于尚未建成的数据中心，本发明无需耗费过多开销用于设立独立的分布式制冷系统，能降低数据中心建设初期的投入花销，并降低后期的运营维护花销。
[0046]
3、本发明公开的利用气流组织分布方式进行数据中心虚拟机放置与调度在数据中心运营过程中自动且智能的执行，减少后期运营维护的开销，并能达到一次投入，终身使用的效果。
附图说明
[0047]
图1是本发明公开的面向数据中心全局能耗优化的气流感知型虚拟机调度方法的流程图；
[0048]
图2是本发明实施例中公开的模拟退火算法的流程图；
[0049]
图3是本发明实施例中公开的数据中心机架及服务器排列情况结构示意图。
具体实施方式
[0050]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
实施例
[0052]
本实施例具体公开了一种面向数据中心全局能耗优化的气流感知型虚拟机调度方法，若每个服务器所能支持的最大虚拟机数量m、数据中心服务器总数为n，假设总任务需要的虚拟机数量为c
tot
，分配在每个服务器i上的虚拟机数量为c
i
，则如下限制条件应被满足：且c
i
≤m。虚拟机调度的目标是，找到一种调度模式,使得数据中心全局能耗p
total
最低，即minimum p
total
，其中p
total
＝p
sever
+p
network
+p
cooling
。使这些虚拟机任务能在满足服务时间质量的优先约束限制的条件下，安排到相应的数据中心服务器中执行,使得能耗的指标能够降低，满足数据中心节能，降低pue的需求(pue是能源效率，power usage effectiveness的简写，是数据中心消耗的所有能源与it负载使用的能源之比，pue值越接近于1，表示一个数据中心的绿色化程度越高)。
[0053]
为了便于分析本发明，以下结合本发明面向数据中心全局能耗优化的气流感知型虚拟机调度方法流程图(图1)；本发明模拟退火算法流程图(图2)；本发明数据中心机架及服务器排列情况结构示意图(图3)，再作详细分析。
[0054]
一、对数据中心全局能耗进行建模的具体步骤：
[0055]
(1)、确定每个服务器所能支持的最大虚拟机数量m；
[0056]
(2)、确定数据中心服务器总数为n，假设总任务需要的虚拟机数量为c
tot
，分配在每个服务器上的虚拟机数量为c
i
，则如下限制条件应被满足：且c
i
≤m；
[0057]
(3)建立数据中心服务器能耗模型：一个服务器(假设为s)的能耗(p
us
(s))可由下式计算：
[0058]
p
us
(s)＝p
idle(s)
+u
s
*(p
max(s)-p
idle(s)
)，其中u
s
为服务器s的利用率，p
idle(s)
为服务器空载时的能耗(此状态下服务器启动但是无任务运行)，p
max(s)
为服务器满载时的能耗。数据中心内所有服务器的能耗可由下式计算：
[0059][0060]
其中p
i
(us)为服务器i在利用率为u
s
时的能耗。
[0061]
(4)、建立数据中心网络能耗模型：任意两个虚拟机(假设为v1，v2)之间的跳数可定义为其之间进行通讯所必经的节点数。数据中心(假设为dc)网络能耗(p
network
)，可表示为其内所有虚拟机的交流权值与跳数的乘积，可由下式进行计算：
[0062][0063]
其中w(v1,v2)表示虚拟机v1，v2之间的交流权值大小。
[0064]
(5)、将虚拟机放置及调度方案用向量表示，表示服务器的基本能耗，表示放置m台虚拟机后服务器的当前能耗，服务器需要的入口温度为t
node
，d为考虑热循环的数据中心节点热矩阵，则制冷系统输出温度可建模表示为：数据中心的制冷系统能耗可由下式进行计算：
[0065][0066]
其中
[0067]
基于这种建模方式，本发明所采用的模型就能够充分地考虑虚拟机任务所要求的资源特性及服务器所能承担的虚拟机任务数量。值得注意的是，在模型中，当且仅当放置及调度方案对所有的虚拟机任务都满足所需要的执行时间均能够满足阈值上限，则该方案是可行的。对于所述气流组织建模应对不同位置的服务器进行区分，服务器间的相互影响参数应有所区别，即不同数据中心的d矩阵应有所差异。
[0068]
二、模型求解算法的具体执行步骤：
[0069]
对模型进行求解，其中，目标函数是minimum p
total
，找到一种调度模式,使得数据中心全局能耗p
total
最低。可运用模拟退火算法对模型进行求最优解，求解的过程如下：
[0070]
(1)、初始化模拟退火算法的初始温度参数t0＝0、终止温度参数t
end
＝10000和队列大小参数l＝150，并生成首次初始解，初始解中每个个体的编码方式为k＝(k1,k2,
…
,k
i
…
,k
n
)
[0071]
其中，k
i
表示将工作流的虚拟机匹配到相应的服务器i执行；
[0072]
(2)、运用选择交叉法则产生新解，即交叉变换k中的元素；
[0073]
(3)、对以上交叉、变异操作所得到的新一代种群的每个个体，按照metropolis准则进行筛选，即接受新解的概率p为：
[0074][0075]
即若df<0,以概率1接受新解；反之若df≥0，以概率接受新解；
[0076]
(4)、如果当前模拟退火温度t超出算法设定的终止温度t
end
则结束迭代，否则返回步骤(2)继续执行。
[0077]
启发式算法求解后应将所得虚拟机放置与调度方案交由虚拟机调度器进行执行。同时，数据中心环境阈值温度应进行设置，常用阈值温度为25℃，即t
node
＝25℃。
[0078]
整个算法的流程图如图2所示。
[0079]
有关基于气流组织的数据中心全局能耗优化虚拟机放置与调度的算法十分少见，
在已有的文献中，只有tang等人提出的xint-ga算法能用于类似问题的求解中。因此，将发明的方法与xint-ga算法进行比较。本实施例用10个例子来对这两种方法进行测试。其中，前3个例子是现实中的虚拟机任务问题，包括各种在实际数据中心中产生的虚拟机任务。其余的例子则根据模拟环境生成。由于xint-ga是一种确定性算法，受此局限，因此它一次计算只能提供问题的一个解。为了将比较结果根据充分性，将发明的方法独立运行100次得到100个结果。在所有的10个问题中，基于模拟退火算法的虚拟机调度方法得到的平均值均优于xint-ga得到的结果。此外，在中或大规模问题中(带有30个以上任务的)，即使是本发明得到的最差结果也要优于xint-ga的结果。总的来说，本发明所提出的方法可以降低虚拟机任务运行中带来的10-20％的能耗开销，这证明了发明的方法是有效的。
[0080]
综上所述，本实施例提出了一种面向数据中心全局能耗优化的气流感知型虚拟机调度方法。该方法的目标是在满足用户所指定的最大执行周期约束和服务器阈值温度下，优化虚拟机放置与调度以降低数据中心的全局能耗(包括制冷能耗、服务器能耗以及网络能耗)。该方法能有效地将虚拟机放置与调度与当前数据中心各部分能耗进行结合建模并通过算法寻求最优解，从而降低数据中心的全局能耗，提高数据中心运行的整体效率，并大幅减少局部热点的产生，提高数据中心的运行可靠性。
[0081]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。