一种适用于数据中心水冷系统的节能预测控制方法与流程

本发明涉及数据中心水冷系统，尤其涉及一种适用于数据中心水冷系统的节能预测控制方法。

背景技术：

1、随着数字世界的快速发展，数据中心站点数量的激增也将带来更加高能耗的挑战。数据中心设施是全天候运行的，消耗大量的能源的同时会产生大量的热量。数据中心内的温度控制对于避免设备过热、调节设备冷却以及测量整体效率至关重要。根据统计数据显示，用于数据中心的冷却功耗占机房总功耗的40%左右。在降温过程中，水冷机组系统实时获得冷冻水供水压差作为控制条件之一，来使得水冷机组输出一定压力的冷冻水对数据中心机房进行降温，由于输送冷冻水的水管各个部位水压差存在实时变化问题，因此水冷机组无法及时对数据中心机房进行降温，即无法实现对水冷机组系统的预先性控制；此外由于数据机房中的温度极为重要，对于检测到过高温度以后再进行水冷机组的冷量输出中会产生一定的时差，导致该间隔时间内的机房温度处于危险情况，长久以来会导致机房内的各个部件的损坏，所以冷水机组的预先性冷量输出是有必要的。

2、鉴于以上问题，我们设计出了一种适用于数据中心水冷系统的节能预测控制方法来解决以上问题。

技术实现思路

1、目前的数据机房水冷机组的控制系统存在建立模型困难以及建模不准确等问题，传统算法旨在根据当前的环境进行水冷机组冷量的调整，忽视了数据中心机房环境以及外部天气环境对未来水冷机组冷量需求的影响；此外，传统的优化算法难以求解复杂的非线性问题且缺少对外界天气因素的考虑。本发明基于当前的外界环境因素对数据中心未来需求冷量进行预测，并且和强化学习方法相结合，预先设定下一时刻水冷机组的动作指令，在水冷机组能耗最低的前提下，以提高水冷机组系统的效率和能源利用率，保证数据中心的设备安全稳定。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种适用于数据中心水冷系统的节能预测控制方法，所述节能预测控制方法包括以下步骤：

4、步骤1，从数据库中获取历史数据中心的水冷机组冷量数据以及水冷机组运行的环境信息数据；

5、步骤2，将环境信息数据转化为元组形式，并将转化后的元组形式输入到预测神经网络中进行训练；

6、步骤3，采集当前数据中心的室内外环境信息，并将当前数据中心的室内外环境信息转化为步骤2中的元组形式，输入到训练好的预测神经网络中进行水冷机组未来冷量预测；

7、步骤4，建立水冷机组控制模型，设置水冷机组系统控制的目标函数为当前水冷机组能耗最低，约束条件为水冷机组产生的冷量满足数据中心运行以及水冷机组运行；

8、步骤5，水冷机组系统控制使用马尔可夫决策过程进行建模，用马尔可夫决策过程来表述水冷机组的冷量设定，确定水冷机组能耗优化模型的状态空间和动作空间，并且通过状态空间、动作空间和约束条件来确定奖励函数和状态-动作值函数；

9、步骤6，基于状态-动作值函数，水冷机组获得的预测冷量以及环境信息数据，进行基于td3算法的actor-critic神经网络训练，通过训练后actor-critic神经网络，输出水冷机组的调控策略。

10、作为本发明进一步方案，所述环境信息数据包括数据中心室内外的温湿度、风速和气压，以及水冷机组冷量设定的输出量。

11、作为本发明进一步方案，在所述步骤2中，将环境信息数据转化为符合分析的元组形式：，

12、其中，表示数据中心室内温度，表示数据中心室外温度，表示数据中心室内湿度，表示数据中心室外湿度，表示数据中心室内风速，表示数据中心室外风速，表示数据中心室内气压，表示数据中心室外气压，表示时间序，时刻冷量值，时刻冷量值，将时刻冷量值作为预测神经网络每组训练的目标，表示为当时刻的数据中心室内外环境状况下，时刻数据中心冷量的需求量。

13、作为本发明进一步方案，在所述步骤3中，通过设置在数据中心室内外各传感器采集当前时刻的室内外环境信息，并且将当前时刻的室内外环境信息按照步骤2的方式转化为元组形式，将转化后的元组形式所获得的数据，输入到训练好的预测神经网络中，进行下一时刻的冷量预测，预测神经网络对环境信息进行分析输出数据中心未来所需冷量值。

14、作为本发明进一步方案，在所述步骤4中，建立水冷机组控制模型，设置水冷机组系统控制的目标函数为当前水冷机组能耗最低，约束条件为水冷机组产生的冷量满足数据中心运行以及水冷机组运行约束，包括以下内容：

15、水冷机组系统控制的目标函数为当前水冷机组能耗最低，建立水冷机组系统的目标函数，即数据中心的水冷机组使用时间内能耗最低：

16、

17、其中，表示水冷机组的总能耗，水冷机组优化运行时间窗内共有个时刻，表示水冷机组的工作功率，表示相邻两次水冷机组冷量调节控制的时间间隔；

18、对水冷机组运行进行约束，水冷机组的功率不能超过其额定功率：

19、

20、其中，表示水冷机组的额定功率。

21、作为本发明进一步方案，在所述步骤5中，水冷机组系统控制使用马尔可夫决策过程进行建模，用马尔可夫决策过程来表述水冷机组的冷量设定，确定水冷机组能耗优化模型的状态空间和动作空间，并且通过状态空间、动作空间和约束条件来确定奖励函数和状态-动作值函数包括以下内容：

22、步骤5.1，确定状态空间，在水冷机组系统控制中，智能体从环境中获取环境信息数据；

23、步骤5.2，确定动作空间，在水冷机组系统控制中，智能体的动作空间包含风机转速调节、水冷机组的负荷率调节以及水泵频率调节；

24、步骤5.3，设置奖励函数，奖励函数代表了在某一个状态下，智能体采用指定的动作时，环境反馈给智能体的及时收益，为了使得整个水冷机组在整个调度周期内的能耗最小，奖励函数设置为：

25、

26、式中，表示时刻的水冷机组的总能耗，为惩罚因子；

27、步骤5.4，设置状态-动作函数，表征策略的优劣程度，即在策略下奖励函数的回报：

28、

29、式中，智能体的策略为状态空间到动作空间的映射，表示取值为[0,1]的折扣因子，表示当前数据中心室内外的环境状态，表示actor网络动作，最优策略为状态-动作函数的最大，即奖励函数的累积回报最大：

30、。

31、作为本发明进一步方案，在所述步骤6中，进行基于td3算法的actor-critic神经网络训练，训练的网络包括critic网络和策略actor网络，actor网络实现从状态空间到动作空间的映射，critic网络实现状态-动作函数的量化评估，通过给定环境信息数据的历史数据生成数据集，对水冷机组系统控制的深度神经网络进行训练，获得最优的状态-动作函数值映射。

32、作为本发明进一步方案，所述td3算法包括2个critic网络和1个actor网络、2个目标critic网络和1个目标actor网络，2个critic网络用于减少状态-动作函数值的过高估计，actor网络和目标actor网络的结构相同，参数不同；目标actor网络和目标critic网络的结构与actor网络和critic网络的结构相同，参数不同。

33、作为本发明进一步方案，在所述步骤6中，进行基于td3算法的actor-critic神经网络训练，通过训练后actor-critic神经网络，输出水冷机组的调控策略包括以下步骤：

34、步骤6.1，初始化actor网络、critic网络、目标critic网络、目标actor网络参数和经验缓冲池参数；

35、步骤6.2，对于每一幕的每个实践部执行如下的步骤：

36、步骤6.21，获取当前数据中心室内外的环境状态，并且获取预测神经网络分析输出数据中心未来时间段所需冷量，通过actor网络得到actor网络动作；

37、步骤6.22，在actor网络动作中引入随机噪声n得到随机动作；

38、步骤6.23，执行随机动作，获取奖励函数值和下一时刻数据中心室内外的环境状态；

39、步骤6.24，将存储到经验放回池；

40、步骤6.25，从经验回放池中随机抽取经验样本；

41、步骤6.26，基于经验样本通过目标actor网络获得下一时刻actor网络动作；

42、步骤6.27，在下一时刻动作中引入随机噪声n得到随机动作；

43、步骤6.28，通过2个目标critic网络的最小值和贝尔曼方程，获取目标critic函数：

44、

45、其中，为第i个目标critic网络的取值；

46、步骤6.29，通过目标critic函数与critic网络计算出的当前critic函数的均方差来计算critic网络损失函数，根据critic网络损失函数关于critic网络的梯度更新critic网络；通过总奖励值与actor网络概率的乘积计算actor网络损失函数，根据actor网络损失函数关于actor网络的梯度参数更新，输出训练好的actor-critic神经网络；

47、步骤6.3，将训练好的actor-critic神经网络程序部署在控制终端，并在控制终端使用传感器获取数据中心室内外的环境状态变量，以及获取预测神经网络中的预测冷量值，将环境状态变量以及预测冷量值输入到actor网络中，得到输出的水冷机组的风机转速、水冷机组的部分负荷率、水泵频率控制值，实现水冷机组的调控。

48、与现有技术相比，本发明的有益效果是：本发明根据当前时刻数据中心室内外的环境状况，预测未来一段间隔时间内的冷量需求，再根据当前室内外环境状态和预测的冷量需求，使用强化学习进行水冷机组的控制调节，水冷机组根据当前室内外环境以及预测的冷量需求对每个水冷机组的部分负荷率、每个水泵的频率和每个风机的转速进行控制；由于该方法对数据中心未来冷量需求进行预测，可以防止水冷机组针对环境变化做出冷量调节的滞后性问题，有效缓解了数据中心升温导致的异常或者损坏，满足了能耗最低的同时实现对水冷机组系统的及时性和预先性的智能控制。