一种基于业务资源冗余量预测的节能减排方法与流程

本发明属于云平台资源管理领域；特别是涉及一种基于业务资源冗余量预测的节能减排方法。

背景技术：

现有的云平台资源管理策略主要是根据待分配的虚拟机参数与云平台资源分配现状进行放置虚拟机，进而保证云平台的资源高效利用。而业务申请资源时主要根据业务高峰期的资源需求量进行申请，但是业务访问量大部分时间都未达到高峰，造成资源与能耗的大量浪费，具体表现如下：

(1)由于业务本身受用户的行为习惯影响，云资源池业务存在访问量的峰谷现象；

(2)为确保业务在峰时的正常访问，为业务分配承受最大业务负载的虚拟机资源，在谷时造成资源闲置；

(3)分配给业务的虚拟机常开造成能源浪费(服务器自身耗电、虚拟机基础能耗、机房空调耗电等)。

技术实现要素：

针对上述技术问题，本发明提出一种基于业务资源冗余量预测的节能减排方法，根据业务历史资源利用率情况，基于时序预测算法预测业务未来一段时间内的资源利用率，根据资源利用率预测值计算未来一段时间业务资源的冗余量，在资源冗余量过高时对业务进行部分资源回收操作，可以保证业务在正常稳定运行的前提下，降低整体能耗从而达到节能减排的目的。

为达到上述目的，本发明采用的技术方案为：一种基于业务资源冗余量预测的节能减排方法，包括以下步骤：

步骤1，虚拟机资源使用率采集：采集业务下虚拟机的资源使用率，然后统计业务的资源使用率；

步骤2，业务资源利用率周期性判定：把业务资源使用率数据切割成多个单元，判定是否存在周期性，并筛选出周期性业务；

步骤3，业务资源需求预测：对存在周期性业务的资源利用率数据，使用时序算法建模并预测业务各项资源未来一段时间的需求量；

步骤4，业务虚拟机冗余量评估：依据业务资源需求量的预测值计算业务在未来时间段内的资源冗余量，计算满足业务需求的前提下，未来时间段内各个时间点可关闭的虚拟机数量；

步骤5，生成业务节能计划：依据业务未来一段时间各个时间点可关闭的虚拟机数量，生成业务节能计划。

进一步的，步骤2中根据相邻单元内数据的相似性判定业务是否存在周期性；

进一步的，步骤2业务资源利用率周期性判定具体包括以下步骤：

步骤2.1：对资源利用率数据进行平滑处理，计算整个序列的标准分数(z-score)，将超过阈值的标准分数判定为异常值并去除，用前后数据的均值填充；

步骤2.2：对平滑处理后的业务资源利用率数据，以特定时间区间为分割点，对序列进行分割；

步骤2.3：计算相邻单元之间的归整路径距离(warppathdistance)；根据规整路径距离的大小来衡量单元之间的相似度，距离越小，说明单元之间的相似度越高，相似度大于设定阈值的判断为具有周期性；距离越大，则说明单元之间的相似度越低，相似度小于设定阈值的判断为不具有周期性。

进一步的，本发明采用prophet时序算法分别对业务的各项历史资源使用率进行建模并预测未来一段时间的使用率。

作为优选的，为了不影响业务的正常使用，本发明采用prophet预测值上限作为业务的资源需求量。

进一步的，用业务实际分配到的虚拟机资源减去未来一段时间各个时间点资源需求量预测值，即可得到未来一段时间虚拟机资源冗余量；未来一段时间各个时间点(时间间隔5分钟)的虚拟机冗余量除以标准虚拟机配置量，即得到未来一段时间各个时间点可关闭虚拟机数；

进一步的，为避免反复不停的关闭虚拟机，限定在未来一段时间内(一天)对某个具体的业务只执行一次节能计划，在一定时间内只执行一次节能计划的前提下，所述节能计划的参数包括：虚拟机关闭时间、可关闭的虚拟机、虚拟机开启时间。

进一步的，生成节能计划详细步骤如下：

步骤5.1，根据业务未来一段时间各个时间点可关闭虚拟机数，假设在时间点ti预测到的可以关闭虚拟机数为n，那么其对应虚拟机开启时间tj需要满足条件：

1).ti到tj之间每个时间点(包括tj)可关闭虚拟机数均不小于n；

2).tj的下一个时间点可关闭虚拟机数小于n；

步骤5.2，统计每个时间点执行节能任务虚拟机关闭的时长，虚拟机关机时长＝虚拟机开启时间-虚拟机关闭时间。

步骤5.3，计算每个时间点执行节能任务的效益值，选择可以使效益值最大的虚拟机关闭、开启时间以及可关闭虚拟机数量n来执行节能任务。优选的方式中，效益值计算方法为：效益值＝关闭的虚拟机数量*虚拟机关机时长。

作为优选的，为保证业务安全稳定的运行，需要在资源需求量峰值过去后延迟关闭虚拟机，在需求量峰值来临前提前开启虚拟机，所以本发明采用的虚拟机关闭、开启时间以及关机时长计算方法如下：

虚拟机关闭时间＝ti+30分钟；

虚拟机开启时间＝tj-30分钟；

虚拟机关机时长＝虚拟机开启时间-虚拟机关闭时间。

作为优选的，步骤5中还包括如下步骤：统计业务下虚拟机历史资源利用率的均值，选出平均利用率最低的n台虚拟机作为上述节能任务的可关闭虚拟机；

进一步的，系统管理员确认节能计划是否执行，确认后生成定时任务执行计划或放弃执行。

本发明具有以下有益效果：

(1)现有云平台资源管理分配技术主要解决根据资源需求参数进行虚拟机的分配、放置，现有技术并没有考虑业务资源需求的周期性变化趋势；

(2)本发明主要是通过分析业务资源需求的周期特性，从而预测出未来资源需求量，计算对应每个时刻的业务资源冗余量以及可关闭虚拟机数，基于业务资源的冗余量预测情况生成节能作业计划；

(3)本发明是对现有云资源管理策略的一个有效的补充。

附图说明

图1为本发明实施例的基于业务资源冗余量预测的节能减排方法流程图。

图2为本发明实施例的基于业务资源冗余量预测的节能计划生成方法流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图和部分场景的具体实施方式，对本发明的技术方案做进一步描述。

本发明方案的一种基于业务资源冗余量预测的节能减排方法，通过采集业务下虚拟机的资源利用率指标数据进行分析，对虚拟机资源利用率加权计算得到业务负载指标，使用时序预测算法对业务的资源需求进行预测，即可预测出业务资源冗余量，根据资源冗余量计算未来一天每个时刻可关闭虚拟机数量，生成最优节能作业计划，按照节能作业计划执行虚拟机开关机操作，即可达到降低物理机的负载减少电量消耗的目的。流程步骤如下(如图1)：

step-1：采集业务下虚拟机资源使用率，每5分钟采集一次虚拟机的资源利用率；

step-2：统计业务下虚拟机的资源利用率得到业务资源利用率；

step-3：对资源利用率数据进行周期性判定，筛选出资源利用率存在周期性的业务，详细步骤如下：

step-3.1：对资源利用率数据进行平滑处理，计算整个序列的z-score，将超过阈值(阈值大小默认为3.5)判断异常值，也就是变化比较离谱的值剃掉，用前后数据的均值填充；

step-3.2：对平滑处理后的业务资源利用率数据，假定数据的周期为天/周/月，以天/周/月为分割点，对序列进行分割。取历史n天/周/月的资源利用率数据，分割后就会有n个单元，计算相邻单元之间的归整路径距离(warppathdistance)。根据规整路径距离的大小来衡量单元之间的相似度，距离越小，说明单元之间的相似度越高，具有周期性；距离越大，则说明单元之间的相似度越低，不具有周期性；

step-4：对存在周期性业务的资源利用率(即cpu与内存利用率)使用时序算法建模并预测业务各项资源未来一段时间的需求量。本发明采用prophet时序算法分别对业务的cpu、内存历史使用率使用建模并预测未来一天的使用率；为了不影响业务的正常使用，本发明采用prophet预测值上限作为业务的资源需求量；

step-5：用业务实际分配到的虚拟机资源减去未来一天各个时间点资源需求量预测值，即可得到未来一天虚拟机资源冗余量；

step-6：未来一天各个时间点(时间间隔5分钟)的虚拟机冗余量除以标准虚拟机配置量，即可得到未来一天各个时间点可关闭虚拟机数；

step-7：依据业务未来一天各个时间点可关闭虚拟机数，生成最优的节能计划(在一定时间内只执行一次节能计划的前提下，计划的参数包括：虚拟机关闭时间、可关闭的虚拟机、虚拟机开启时间)，各个时间说明如下：

虚拟机开启时间：理论计算的开启时间(在这个时间点虚拟机应当已经完全恢复服务能力)。考虑到虚拟机开启到虚拟机上的服务恢复正常需要一定的时间(本发明以30分钟为限)，所以虚拟机最晚开启时间实际要比理论计算的开启时间要早

虚拟机关闭时间：虚拟机从启动关闭到完全关闭也需要一定的时间(本发明以30分钟为限)，关闭时间指完全关闭的时间点。

详细步骤如下(如图2)：

step-7.1：根据业务未来一天各个时间点可关闭虚拟机数，假设在时间点ti预测到的可以关闭虚拟机数为n，那么其对应虚拟机开启时间tj需要满足条件：

1).ti到tj之间每个时间点(包括tj)可关闭虚拟机数均不小于n；

2).tj的下一个时间点可关闭虚拟机数小于n；

step-7.2：统计每个时间点执行节能任务虚拟机关闭的时长。为保证业务安全稳定的运行，需要在资源需求量峰值过去后延迟关闭虚拟机，在需求量峰值来临前提前开启虚拟机，所以本发明采用的虚拟机关闭、开启时间以及关机时长计算方法如下：

虚拟机关闭时间＝ti+30分钟

虚拟机开启时间＝tj-30分钟

虚拟机关机时长＝虚拟机开启时间-虚拟机关闭时间；

step-7.3：计算每个时间点执行节能任务的效益值，本发明采用的效益值如下：效益值＝关闭的虚拟机数量*虚拟机关机时长；

step-7.4：根据上述步骤计算未来一天各个时间点的效益值，选择可以使效益值最大的虚拟机关闭、开启时间以及可关闭虚拟机数量n来执行节能任务；

step-7.5：统计业务下虚拟机历史资源利用率的均值，选出平均利用率最低的n台虚拟机作为上述节能任务的可关闭虚拟机；

step-8：系统管理员确认节能计划是否执行，确认后生成定时任务执行计划或放弃执行。

本发明的上述方法应用实施例一：基于业务资源需求量预测模型的业务资源扩容决策方法；

step-1：业务下虚拟机的资源使用量采集，通过采集程序每5分钟采集一次虚拟机的实时资源使用量；

step-2：统计业务下虚拟机的资源利用量，汇总形成业务的资源使用量；

step-3：使用如prophet时序预测算法对业务历史各项资源使用量进行模型训练，并预测业务未来一段时间的资源需求量；

step-4：根据预测的资源需求量与业务已分配的资源分析已分配资源是否能够满足业务未来一段时间的需求，如业务资源需求超过已分配资源的70％则提示扩容。

本发明的上述方法应用实施例二：云平台业务峰谷效应造成资源冗余时关闭虚拟机资源的节能方案；

step-1：根据业务资源需求量预测结果与业务现有资源情况，计算业务在未来一段时间各个时间点的资源冗余量；

step-2：根据业务未来一段时间资源的冗余量变化趋势，在保证业务正常稳定的前提下，仅做一次关机操作的限制条件下遍历搜索业务下虚拟机关闭方案，详细步骤如图2；

step-3：系统管理员对上述方案进行确认是否执行，如确定执行则生成定时关闭虚拟机任务以及定时开启虚拟机以及虚拟机上的服务的任务。

以上对本发明的具体实施例进行了描述。应当理解，本发明并不局限于上述特定实施例，本领域技术人员可以在权利要求的范围内做出各种修改或变化，这并不影响本发明的实质内容。

以上的实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。