数据中心的PUE优化方法、装置及存储介质

数据中心的pue优化方法、装置及存储介质
技术领域
1.本技术涉及电力运维领域，尤其涉及一种数据中心的pue优化方法、装置及存储介质。


背景技术：

2.数据中心的电源使用效率(power usage effectiveness，pue)是数据中心总能耗与互联网技术(internet technology，it)设备能耗的比值，反映了数据中心的能源效率(以下简称为能效)。传统方法中，为了优化数据中心的能效，可以降低数据中心的总能耗或提高it设备的能耗占比，以降低数据中心的pue。其中，数据中心的总能耗包括空调系统、供配电系统、照明系统和it设备的能耗，it设备的能耗包括计算、存储、网络、安全等设备的能耗。
3.然而，数据中心的it设备能耗随着数据中心的负载波动而波动，且与总能耗之间的关系十分复杂，各设备能耗的改变对其他设备能耗的影响、对总体pue的影响都不明确，因此使用传统方法无法有效地优化数据中心的pue。


技术实现要素：

4.本技术提供一种数据中心的pue优化方法、装置及存储介质，用于有效地优化数据中心的pue。
5.为达到上述目的，本技术采用如下技术方案：
6.第一方面，提供了一种数据中心的pue优化方法，应用于数据中心的管理设备，该方法包括：获取目标数据集，该目标数据集包括pue相关数据中最大化信息系数(maximal information coefficient，mic)值大于或等于预设阈值的数据；基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型，该目标pue预测模型用于预测数据中心的pue值，训练后的深度强化模型用于优化数据中心的pue值。
7.基于上述数据中心的pue优化方法，管理设备可以基于mic值对pue相关数据进行特征选择，以确定出对pue影响较大的特征(即mic值大于或等于预设阈值的目标数据集)，从而将选择出来的特征作为深度强化模型的输入特征，而无需使用其他对pue影响很小的特征，因此管理设备在基于目标数据集和pue预测模型训练深度强化模型时，能够有效地降低深度强化模型的训练时间和训练资源开销，且保证了深度强化模型的训练精准度；并且，管理设备是基于训练后的深度强化模型来优化数据中心的pue，而并非是直接通过降低数据中心的总能耗或提高it设备的能耗占比来降低数据中心的pue，因此可以避免数据中心中各设备的能耗之间的复杂关系对pue的影响；如此通过本技术训练后的深度强化模型，能够精确、有效地来优化数据中心的pue。
8.一种可能的实现方式中，上述“获取目标数据集”的方法包括：采集pue相关数据，该pue相关数据包括历史pue数据和当前时刻的环境数据；计算pue相关数据中每两个数据之间的mic值，以得到至少一个mic值；将至少一个mic值中，大于或等于预设阈值的mic值对
应的数据确定为目标数据集。
9.一种可能的实现方式中，在上述“基于目标数据集和目标pue预测模型，对深度强化模型训练”之前，数据中心的pue优化方法还包括：基于目标数据集，对初始pue预测模型训练，得到目标pue预测模型。
10.一种可能的实现方式中，上述初始pue预测模型为门控循环单元(gated recurrent unit，gru)神经网络模型。上述“基于目标数据集，对初始pue预测模型训练，得到目标pue预测模型”的方法包括：将目标数据集划分为训练数据集和测试数据集；将训练数据集输入到gru神经网络模型中训练，得到训练后的gru神经网络模型；基于测试数据集，计算训练后的gru神经网络模型对应的损失函数；基于损失函数，调整训练后的gru神经网络模型中的参数；当gru神经网络模型的预测精度满足预设精度要求时，gru神经网络模型作为目标pue预测模型。
11.一种可能的实现方式中，上述深度强化模型为深度确定性策略梯度(deep deterministic policy gradient，ddpg)模型。上述“基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型”的方法包括：将目标数据集和目标pue预测模型预测的pue值，输入到ddpg模型中训练，得到训练后的ddpg模型；将训练后的ddpg模型作为训练后的深度强化模型。
12.一种可能的实现方式中，在上述“基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型”之后，数据中心的pue优化方法还包括：将目标数据集、目标pue预测模型预测的pue值，以及数据中心当前的实际pue值，输入到训练后的深度强化模型中，以获取数据中心中设备的设定参数；在设定参数允许调整的情况下，调整设定参数；根据调整后的设定参数，确定数据中心当前的实际pue值是否达到预设的pue优化值。
13.第二方面，提供了一种数据中心的pue优化装置，该pue优化装置应用于数据中心的管理设备，还可以为该管理设备中用于实现第一方面或第一方面的任一可能的设计所述的方法的功能模块。该pue优化装置可以实现上述各方面或者各可能的设计中管理设备所执行的功能，所述功能可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。如：该pue优化装置包括获取单元和训练单元。
14.获取单元，用于获取目标数据集，该目标数据集包括pue相关数据中mic值大于或等于预设阈值的数据。
15.训练单元，用于基于获取单元获取的目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型，该目标pue预测模型用于预测数据中心的pue值，训练后的深度强化模型用于优化数据中心的pue值。
16.其中，该pue优化装置的具体实现方式可以参考第一方面或第一方面的任一可能的设计提供的数据中心的pue优化方法中管理设备的行为功能，在此不再重复赘述。因此，该提供的pue优化装置可以达到与第一方面或者第一方面的任一可能的设计相同的有益效果。
17.一种可能的实现方式中，上述获取单元，具体用于采集pue相关数据，该pue相关数据包括历史pue数据和当前时刻的环境数据；并计算pue相关数据中每两个数据之间的mic值，以得到至少一个mic值；以及将至少一个mic值中，大于或等于预设阈值的mic值对应的
数据确定为目标数据集。
18.一种可能的实现方式中，上述训练单元，还用于在基于目标数据集和目标pue预测模型，对深度强化模型训练之前，基于目标数据集，对初始pue预测模型训练，得到目标pue预测模型。
19.一种可能的实现方式中，上述初始pue预测模型为gru神经网络模型。上述训练单元，具体用于将目标数据集划分为训练数据集和测试数据集；并将训练数据集输入到gru神经网络模型中训练，得到训练后的gru神经网络模型；并基于测试数据集，计算训练后的gru神经网络模型对应的损失函数；以及基于损失函数，调整训练后的gru神经网络模型中的参数；当gru神经网络模型的预测精度满足预设精度要求时，gru神经网络模型作为目标pue预测模型。
20.一种可能的实现方式中，上述深度强化模型为ddpg模型。上述训练单元，具体用于将目标数据集和目标pue预测模型预测的pue值，输入到ddpg模型中训练，得到训练后的ddpg模型；并将训练后的ddpg模型作为训练后的深度强化模型。
21.一种可能的实现方式中，pue优化装置还包括：调整单元和确定单元。其中，上述获取单元，还用于在训练单元基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型之后，将目标数据集、目标pue预测模型预测的pue值，以及数据中心当前的实际pue值，输入到训练后的深度强化模型中，以获取数据中心中设备的设定参数。调整单元，用于在获取单元获取的设定参数允许调整的情况下，调整设定参数。确定单元，用于根据调整单元调整后的设定参数，确定数据中心当前的实际pue值是否达到预设的pue优化值。
22.第三方面，提供了一种数据中心的pue优化装置，该pue优化装置可以为数据中心的管理设备或者该管理设备中的芯片或者片上系统。该pue优化装置可以实现上述各方面或者各可能的设计中管理设备所执行的功能，所述功能可以通过硬件实现，如：一种可能的设计中，该pue优化装置可以包括：处理器和通信接口，处理器可以用于支持pue优化装置实现上述第一方面或者第一方面的任一种可能的设计中所涉及的功能，例如：处理器基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型。
23.在又一种可能的设计中，数据中心的pue优化装置还可以包括存储器，存储器用于保存pue优化装置必要的计算机执行指令和数据。当该pue优化装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该pue优化装置执行上述第一方面或者第一方面的任一种可能的设计所述的数据中心的pue优化方法。
24.第四方面，提供了一种数据中心的pue优化装置，该pue优化装置可以为pue优化装置或者pue优化装置中的芯片或者片上系统。该pue优化装置可以实现上述各方面或者各可能的设计中pue优化装置所执行的功能，所述功能可以通过硬件实现，如：一种可能的设计中，该pue优化装置可以包括：处理器和通信接口，处理器可以用于支持pue优化装置实现上述第一方面或者第一方面的任一种可能的设计中所涉及的功能，例如：处理器基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型。
25.在又一种可能的设计中，数据中心的pue优化装置还可以包括存储器，存储器用于保存pue优化装置必要的计算机执行指令和数据。当该pue优化装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该pue优化装置执行上述第一方面或者第一方面
的任一种可能的设计所述的数据中心的pue优化方法。
26.第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质可以为可读的非易失性存储介质，该计算机可读存储介质存储有计算机指令或者程序，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的设计所述的数据中心的pue优化方法。
27.第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的设计所述的数据中心的pue优化方法。
28.第七方面，提供了一种数据中心的pue优化装置，该pue优化装置可以为pue优化装置或者pue优化装置中的芯片或者片上系统，该pue优化装置包括一个或者多个处理器以及和一个或多个存储器。所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述pue优化装置执行如上述第一方面或者第一方面的任一可能的设计所述的数据中心的pue优化方法。
29.第八方面，提供了一种芯片系统，该芯片系统包括处理器以及通信接口，该芯片系统可以用于实现上述第一方面或第一方面的任一可能的设计中数据中心的pue优化装置所执行的功能，例如处理器用于基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存程序指令和/或数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件，不予限制。
30.其中，第二方面至第八方面中任一种设计方式所带来的技术效果可参见上述第一方面所带来的技术效果，不再赘述。
附图说明
31.图1为本技术实施例提供的一种数据中心的pue优化方法的流程示意图；
32.图2为本技术实施例提供的另一种数据中心的pue优化方法的流程示意图；
33.图3为本技术实施例提供的另一种数据中心的pue优化方法的流程示意图；
34.图4为本技术实施例提供的一种gru神经网络的结构示意图；
35.图5为本技术实施例提供的另一种数据中心的pue优化方法的流程示意图；
36.图6为本技术实施例提供的另一种数据中心的pue优化方法的流程示意图；
37.图7为本技术实施例提供的一种ddpg模型的结构示意图；
38.图8为本技术实施例提供的另一种数据中心的pue优化方法的流程示意图；
39.图9为本技术实施例提供的一种数据中心的pue优化装置的结构示意图；
40.图10为本技术实施例提供的另一种数据中心的pue优化装置的结构示意图。
具体实施方式
41.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
42.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术实施例的一些方面相一致的装置和方法的例子。
43.还应当理解的是，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。
44.如背景技术，数据中心为了管理it设备产生的大量热量并维持合适的室内环境，需要消耗大量能耗。巨大的能耗和有限的电力供应之间存在的矛盾对当代it行业产生挑战。
45.pue是数据中心总设备能耗与it设备总能耗的比值，反映数据中心的能源效率。传统方法中，需要了解数据中心的设施和特定设备、以及工作原理，所以使用传统方法很难优化数据中心的pue。并且，使用标准公式进行预测建模通常会产生很大的错误，因为它们无法捕捉到如此复杂的相互依赖关系。因此，需要一种优化方法来有效地优化数据中心的pue。
46.鉴于此，本技术实施例提供了一种数据中心的pue优化方法，用于有效地优化数据中心的pue。该方法包括：数据中心的管理设备可以获取pue相关数据中mic值大于或等于预设阈值的数据集，并基于目标数据集和pue预测模型，对深度强化模型训练，得到训练后的深度强化模型，以优化数据中心的pue值。
47.基于上述方案，管理设备可以基于mic值对pue相关数据进行特征选择，以确定出对pue影响较大的特征(即mic值大于或等于预设阈值的目标数据集)，从而将选择出来的特征作为深度强化模型的输入特征，而无需使用其他对pue影响很小的特征，因此管理设备在基于目标数据集和pue预测模型训练深度强化模型时，能够有效地降低深度强化模型的训练时间和训练资源开销，且保证了深度强化模型的训练精准度；并且，管理设备是基于训练后的深度强化模型来优化数据中心的pue，而并非是直接通过降低数据中心的总能耗或提高it设备的能耗占比来降低数据中心的pue，因此可以避免数据中心中各设备的能耗之间的复杂关系对pue的影响；如此通过本技术训练后的深度强化模型，能够精确、有效地来优化数据中心的pue。
48.下面结合说明书附图对本技术实施例提供的方法进行详细说明。
49.本技术实施例提供了一种数据中心的pue优化方法。如图1所示，该方法可以包括s101和s102：
50.s101、管理设备获取目标数据集。
51.本技术实施例中，上述目标数据集包括pue相关数据中mic值大于或等于预设阈值的数据。
52.需要说明的是，pue相关数据可以理解为数据中心中与电能使用效率直接或间接相关的数据/特征，即能够影响数据中心中的电能使用效率的数据/特征。
53.本技术实施例中，上述pue相关数据可以包括历史pue数据和当前时刻的环境数据。
54.一种可能的实现方式中，上述历史pue数据可以包括以下至少一项：空调设定温
度、风扇风速、直流冷通道温度、运行冷水机组数量、湿球温度、室外气象数水温、水流量、冷水机功率、水压等相关数据。
55.一种示例中，机房能耗分配情况如下：it设备及网络通信设备占比30％，空调的制冷系统占比45％，变压器/电源供电系统占比24％，照明设施占比1％。在这种情况下，上述历史pue数据可以包括制冷方面的特征，例如空调设定温度和风扇风速等。
56.一种可能的实现方式中，上述环境数据可以包括以下至少一项：室内外温度、相对湿度、室外风速、室外气压、室内温度和室内相对湿度等环境数据。
57.一种可能的实现方式中，结合图1，如图2所示，上述s101具体可以通过下述的s101a至s101c实现：
58.s101a、管理设备采集pue相关数据。
59.需要说明的是，针对pue相关数据的描述可以参见上述实施例，此处不再赘述。
60.s101b、管理设备计算pue相关数据中每两个数据之间的mic值，以得到至少一个mic值。
61.本技术实施例中，mic可以衡量和解释特征的相关性，mic值越大，特征的相关性越高。管理设备可以基于mic算法进行特征选择，以从pue相关数据中筛选出能够对电能使用效率影响较大的关键特征，例如pue相关数据中mic值大于或等于预设阈值的数据。
62.需要说明的是，mic具有普适性、公平性和对称性。普适性是指在样本量足够大(包含了样本的大部分信息)时，能够捕获各式关联，不限定于特定的函数类型(例如线性函数、指数函数或周期函数)，能均衡覆盖所有的函数关系。本技术实施例中所述的pue优化问题就是复杂关系，不仅仅是通过单独一个函数就能够建模的，而是需要叠加函数来表现。
63.一种可能的实现方式中，以特征f1和特征f2为例，mic的定义如下述公式一所示：
[0064][0065]
其中，d＝{(f
1i
,f
2i
),i＝1,2,
…
,n}，d是一个有序对集合，x表示将特征f1的值域划为x段，yn表示将特征f2的值域划为y段，xy《b(n)表示网格数目不能大于b(n)表(例如数据总量的0.6或0.55次方)，分子i
*
(d,x,y)表示不同x
×
y网格划分下的互信息最大值(可以有多个值)，分母ln(min(x,y))表示将不同划分下的最大互信息归一化处理。
[0066]
一种可能的实现方式中，上述归一化处理的具体算法如下述公式二所示：
[0067][0068]
其中，x
nor
表示归一化数据，x表示原始数据；x
max
和x
min
分别表示数据样本每个特征的最大值和最小值。
[0069]
s101c、管理设备将至少一个mic值中，大于或等于预设阈值的mic值对应的数据确定为目标数据集。
[0070]
本技术实施例中，管理设备可以基于特征的mic值进行特征选择，筛选出能够对电能使用效率影响较大的关键特征，以将选择出来的特征作为后续pue预测模型和深度强化模型的输入特征，而无需使用其他对电能使用效率影响很小的特征，避免了后续训练pue预测模型和深度强化模型时浪费训练资源、且训练结果不够精确的问题，如此可以有效地降低pue预测模型和深度强化模型的训练时间和训练资源开销，并且可以保证pue预测模型和
深度强化模型的训练精准度。
[0071]
s102、管理设备基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型。
[0072]
本技术实施例中，上述目标pue预测模型用于预测数据中心的pue值；训练后的深度强化模型用于优化数据中心的pue值。
[0073]
一种可能的实现方式中，结合图1，如图3所示，在上述s102之前，本技术实施例提供的数据中心的pue优化方法还包括下述的s201：
[0074]
s201、管理设备基于目标数据集，对初始pue预测模型训练，得到目标pue预测模型。
[0075]
一种可能的实现方式中，上述初始pue预测模型可以为以下任一项：gru神经网络模型、人工神经网络(artificial neural network，ann)模型、支持向量回归(support vector regression，svr)模型、高斯过程回归(gaussian process regression，gpr)模型、适当正交分解(proper orthogonal decomposition，pod)模型。
[0076]
一种可能的实现方式中，上述gru神经网络模型可以有效地对时间序列数据中的信息进行有效学习和建模，本技术可以基于gru神经网络模型训练得到目标pue预测模型。
[0077]
需要说明的是，gru神经网络模型是基于长短时记忆网络(long short term memory network，lstm)网络的模型，在保持lstm性能的同时优化了lstm网络结构。与lstm网络的结构相比，gru神经网络具有更新门和重置门两种门结构，可以解决时间序列预测的长延迟问题。其中，更新门用于控制前一时刻的信息对当前时刻的影响程度，且更新门的值越大，前一时刻的信息对当前时刻的影响越小；重置门用于控制忽略前一时刻信息的程度。
[0078]
一种可能的实现方式中，如图4所示，示出了gru神经网络的结构。gru神经网络包括更新门和重置门，r
t
是t时刻复位门的输出，z
t
是t时刻重置门的输出，h
t
和h
t-1
分别是t时刻和t-1时刻的输出，x
t
是时间t的输入，σ(
·
)是激活函数。
[0079]
一种可能的实现方式中，gru神经网络的计算过程由如下述公式三所示：
[0080][0081]
其中，[]表示两个向量相连接，*表示矩阵间按元素乘。
[0082]
一种可能的实现方式中，上述初始pue预测模型为gru神经网络模型。示例性地，结合图3，如图5所示，上述s201具体可以通过下述的s201a至s201d实现：
[0083]
s201a、管理设备将目标数据集划分为训练数据集和测试数据集。
[0084]
一种可能的实现方式中，上述目标数据集可以表示为x∈r(n
×
m)，n是样本总数，m是输入特征的总数。其中，矩阵x的第m列表示第m个特征的数据，第n行表示第n个样本。目标数据集中的pue数据集可以表示为y∈r(n)。
[0085]
一种可能的实现方式中，管理设备可以将目标数据集按一定比例(例如预设比例)划分为训练数据集测试数据集。例如，目标数据集中的70％数据作为训练数据集，剩余的
30％数据作为测试数据集。
[0086]
s201b、管理设备将训练数据集输入到gru神经网络模型中训练，得到训练后的gru神经网络模型。
[0087]
本技术实施例中，管理设备可以构建gru神经网络模型，并初始化gru神经网络模型中的参数，然后将训练数据集输入到gru神经网络模型中训练。
[0088]
s201c、管理设备基于测试数据集，计算训练后的gru神经网络模型对应的损失函数。
[0089]
可以理解，上述损失函数为将测试数据集输入到训练后的gru神经网络模型中后，训练后的gru神经网络模型的输出值与预设的目标值之间的差值。
[0090]
s201d、管理设备基于损失函数，调整训练后的gru神经网络模型中的参数。
[0091]
本技术实施例中，当gru神经网络模型的预测精度满足预设精度要求时，gru神经网络模型作为目标pue预测模型。
[0092]
一种可能的实现方式中，管理设备可以通过反向传播梯度到gru神经网络模型中的参数，以对gru神经网络模型。具体的，可以使用反向传播梯度更新gru神经网络中的参数，并重复以上步骤至最大迭代次数，直到得到预测精度满足预设精度要求的gru神经网络模型，以输出该gru神经网络模型作为目标pue预测模型。
[0093]
一种可能的实现方式中，管理设备可以使用确定系数r2来评估gru神经网络模型的预测精度，该系数是用于误差和平均方差的统计度量(接近1的r2值对应于实际值和预测值之间的较高相关性)。并且，管理设备可以通过均方根误差(root mean square error，rmse)的最小方差系数(cv(rmse))来联合评估gru神经网络模型的预测精度(接近0的cv(rmse)值对应于较高的预测精度)。其中，r2≥0.8和cv(rmse)≤30％可以作为预测性能的评估标准。如果不能达到评估标准则可以调整模型参数以重新训练模型，直到达到评估标准。
[0094]
一种可能的实现方式中，上述确定系数r2的具体算法如下述公式四所示：
[0095][0096]
一种可能的实现方式中，上述rmse的具体算法如下述公式五所示：
[0097][0098]
一种可能的实现方式中，上述cv(rmse)的具体算法如下述公式六所示：
[0099][0100]
本技术实施例中，管理设备采用训练数据集对基于gru神经网络的pue预测模型进行训练，并采用测试数据集检验pue预测模型的训练效果，直到得到预测精度满足预设精度要求的gru神经网络模型作为目标pue预测模型，从而保证了目标pue预测模型的预测精度能够达到评估标准。
[0101]
一种可能的实现方式中，上述深度强化模型为深度确定性策略梯度(deep deterministic policy gradient，ddpg)模型。示例性地，结合图1，如图6所示，上述s102具
体可以通过下述的s102a和s102b实现：
[0102]
s102a、管理设备将目标数据集和目标pue预测模型预测的pue值，输入到ddpg模型中训练，得到训练后的ddpg模型。
[0103]
需要说明的是，在深度强化学习(deep reinforcement learning，drl)的框架内，代理与环境之间的交互形成一个五元组(代理(agent)，环境(environment)，状态(state)，行为(action)，奖励(reward))。本技术可以采用ddpg来构建深度强化模型，ddpg是一种基于行为(actor)-评估(critic)框架的深度强化学习算法，它包括一个策略网络，可以称为actor网络，以及一个评估网络，可以称为critic网络。其中，actor网络用于将状态映射到特定动作，critic网络用于估计动作。
[0104]
ddpg的网络结构为主网络和目标网络。其中，主网络可以包括actor网络和critic网络，用于产生和评估动作以及更新网络参数；目标网络可以包括目标actor和目标critic网络，用于根据下一个状态选择最优动作，并且目标网络采用软更新策略进行参数更新。目标网络和主网络具有相同的神经网络结构和初始化参数。
[0105]
一种可能的实现方式中，管理设备可以将策略网络的输出、评估网络的输出、目标pue预测模型预测的pue值(即当前时刻的pue预测值)、以及当前时刻的实际pue值输入到ddpg模型中，计算ddpg模型对应的损失函数，再采用该损失函数，调整ddpg模型中的参数，以对ddpg模型训练。
[0106]
一种可能的实现方式中，如图7所示，示出了ddpg模型的结构。ddpg包括策略网络(actor网络)和评估网络(critic网络)。其中，actor网络的输出是空调的设定温度、风扇风速等待调节参数，actor网络的动作值a＝μ(s|θ
μ
)；critic网络的输出q(s,a|θ
μ
)，用于评估actor网络在已知当前环境状态下所调节的参数；s为ddpg模型的输入状态。
[0107]
一种可能的实现方式中，管理设备在将目标pue预测模型预测的pue值和当前时刻的实际pue值输入到ddpg模型中后，ddpg模型可以计算ddpg的奖励(reward)，具体算法如下述公式七所示：
[0108][0109]
其中，r
t
为t时刻(当前时刻)的奖励，γ为影响因子，取值范围为(0,1)，γ使得当i越小时(离t时刻越近)pue值影响越大。pue
t
为t时刻实际测得的真实pue值(即当前时刻的实际pue值)。为预测的t+i时刻的pue值。
[0110]
一种可能的实现方式中，ddpg模型中还包括整流线性单元激活函数。在将目标数据集和预测的pue值输入到ddpg模型中训练时，ddpg模型可以采用整流线性单元激活函数，来拟合ddpg模型的隐层中的输入输出信号转换关系，以实现ddpg模型的训练。
[0111]
s102b、管理设备将训练后的ddpg模型作为训练后的深度强化模型。
[0112]
本技术实施例提供一种数据中心的pue优化方法，管理设备可以基于mic值对pue相关数据进行特征选择，以确定出对pue影响较大的特征(即mic值大于或等于预设阈值的目标数据集)，从而将选择出来的特征作为深度强化模型的输入特征，而无需使用其他对pue影响很小的特征，因此管理设备在基于目标数据集和pue预测模型训练深度强化模型时，能够有效地降低深度强化模型的训练时间和训练资源开销，且保证了深度强化模型的训练精准度；并且，管理设备是基于训练后的深度强化模型来优化数据中心的pue，而并非
是直接通过降低数据中心的总能耗或提高it设备的能耗占比来降低数据中心的pue，因此可以避免数据中心中各设备的能耗之间的复杂关系对pue的影响；如此通过本技术训练后的深度强化模型，能够精确、有效地来优化数据中心的pue。
[0113]
一种可能的实现方式中，在上述s102之后，结合图1，如图8所示，本技术实施例提供的数据中心的pue优化方法还包括下述的s301至s303：
[0114]
s301、管理设备将目标数据集、目标pue预测模型预测的pue值，以及数据中心当前的实际pue值，输入到训练后的深度强化模型中，以获取数据中心中设备的设定参数。
[0115]
本技术实施例中，训练后的深度强化模型可以对输入的目标数据集、目标pue预测模型预测的pue值，以及数据中心当前的实际pue值进行深度强化学习处理，以输出数据中心中设备的设定参数。
[0116]
一种可能的实现方式中，数据中心中设备的设定参数可以包括以下至少一项：空调设定温度、风扇风速等预设定参数。
[0117]
s302、在设定参数允许调整的情况下，管理设备调整设定参数。
[0118]
本技术实施例中，管理设备可以通过判断数据中心中设备的设定参数是否影响数据中心的安全运行，以确定是否允许调整设定参数，并在设定参数不影响数据中心的安全运行，即设定参数允许调整的情况下，调整设定参数。
[0119]
一种可能的实现方式中，管理设备可以结合数据中心的历史数据和各个参数的可调节范围，来判断设定参数的值是否会影响数据中心的安全运行。
[0120]
一种可能的实现方式中，在设定参数影响数据中心的安全运行，即设定参数不允许调整的情况下，管理设备可以再次执行s301，以重新获取数据中心中设备的设定参数。
[0121]
s303、管理设备根据调整后的设定参数，确定数据中心当前的实际pue值是否达到预设的pue优化值。
[0122]
本技术实施例中，在调整设定参数后，管理设备可以根据调整后的设定参数，重新计算数据中心当前的实际pue值，并将该实际pue值与预设的pue优化值进行对比，以在该实际pue值达到预设的pue优化值的情况下，完成pue优化任务，即达到优化pue的目的。
[0123]
一种可能的实现方式中，在数据中心当前的实际pue值未达到预设的pue优化值的情况下，管理设备可以再次执行s301至s303，以基于重新获取的数据中心中设备的设定参数实现pue的优化。
[0124]
需要说明的是，上述预设的pue优化值为在不影响it设备性能、同时满足服务水平协议的情况下，设置的数据中心的pue优化时需要达到的目标pue。pue＝数据中心总能耗/it设备能耗，其中，数据中心总能耗包括it设备能耗和制冷、配电等系统的能耗，数据中心总能耗的值大于1，数据中心总能耗的值越接近1，表明非it设备能耗越少，即能效水平越好。
[0125]
一种可能的实现方式中，基于数据中心能效限定值及能效等级的标准规范，数据中心能效等级可以分为3级，分别为1.50、1.30、1.20。1级表示能效最高，3级表示能效最低。管理设备可以将预设的pue优化值定位于1.30以下。当然，预设的pue优化值也可以由用户自定义设置。
[0126]
本技术实施例中，管理设备可以基于深度强化模型快速、准确地获取数据中心中设备的设定参数，并在设定参数允许调整的情况下调整设定参数，即在设定参数不影响数
据中心的安全运行的情况下调整设定参数，从而确定数据中心当前的实际pue值是否达到预设的pue优化值，如此本技术的pue优化方案，在保证了数据中心安全运行的同时，也有效地将数据中心的pue值控制在预设的pue优化值以下，实现了数据中心的pue的优化。
[0127]
本技术上述实施例中的各个方案在不矛盾的前提下，均可以进行结合。
[0128]
本技术实施例可以根据上述方法示例对数据中心的pue优化装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本技术实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0129]
在采用对应各个功能划分各个功能模块的情况下，图9示出了一种数据中心的pue优化装置70的结构示意图，该pue优化装置70可以为数据中心的管理设备，也可以为应用于该管理设备的芯片，该pue优化装置70可以用于执行上述实施例中涉及的对管理设备的功能。图9所示的pue优化装置70可以包括：获取单元701和训练单元702。
[0130]
获取单元701，用于获取目标数据集，该目标数据集包括pue相关数据中mic值大于或等于预设阈值的数据。
[0131]
训练单元702，用于基于获取单元701获取的目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型，该目标pue预测模型用于预测数据中心的pue值，训练后的深度强化模型用于优化数据中心的pue值。
[0132]
一种可能的实现方式中，上述获取单元701，具体用于采集pue相关数据，该pue相关数据包括历史pue数据和当前时刻的环境数据；并计算pue相关数据中每两个数据之间的mic值，以得到至少一个mic值；以及将至少一个mic值中，大于或等于预设阈值的mic值对应的数据确定为目标数据集。
[0133]
一种可能的实现方式中，上述训练单元702，还用于在基于目标数据集和目标pue预测模型，对深度强化模型训练之前，基于目标数据集，对初始pue预测模型训练，得到目标pue预测模型。
[0134]
一种可能的实现方式中，上述初始pue预测模型为gru神经网络模型。上述训练单元702，具体用于将目标数据集划分为训练数据集和测试数据集；并将训练数据集输入到gru神经网络模型中训练，得到训练后的gru神经网络模型；并基于测试数据集，计算训练后的gru神经网络模型对应的损失函数；以及基于损失函数，调整训练后的gru神经网络模型中的参数；当gru神经网络模型的预测精度满足预设精度要求时，gru神经网络模型作为目标pue预测模型。
[0135]
一种可能的实现方式中，上述深度强化模型为ddpg模型。上述训练单元702，具体用于将目标数据集和目标pue预测模型预测的pue值，输入到ddpg模型中训练，得到训练后的ddpg模型；并将训练后的ddpg模型作为训练后的深度强化模型。
[0136]
一种可能的实现方式中，结合图9，如图10所示，pue优化装置70还包括：调整单元703和确定单元704。其中，上述获取单元701，还用于在训练单元702基于目标数据集和目标pue预测模型，对深度强化模型训练，得到训练后的深度强化模型之后，将目标数据集、目标pue预测模型预测的pue值，以及数据中心当前的实际pue值，输入到训练后的深度强化模型中，以获取数据中心中设备的设定参数。调整单元703，用于在获取单元701获取的设定参数
允许调整的情况下，调整设定参数。确定单元704，用于根据调整单元703调整后的设定参数，确定数据中心当前的实际pue值是否达到预设的pue优化值。
[0137]
作为又一种可实现方式，图9和图10中的单元，例如获取单元701、训练单元702、调整单元703和确定单元704，可以由处理器代替，该处理器可以集成图9和图10中的单元的功能。
[0138]
本技术实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成，该程序可存储于上述计算机可读存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的数据中心的pue优化装置的内部存储单元，例如pue优化装置的硬盘或内存。上述计算机可读存储介质也可以是上述终端装置的外部存储设备，例如上述终端装置上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述pue优化装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述pue优化装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0139]
需要说明的是，本技术的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0140]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0141]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0142]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0143]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到
多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0144]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0145]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0146]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。