一种基于深度强化学习的水电站实时负荷分配方法

本发明涉及电站优化调度技术，具体涉及一种基于深度强化学习的水电站实时负荷分配方法。

背景技术：

1、目前水电站站内实时负荷分配问题的求解算法包括传统优化算法和智能算法两类。传统优化算法主要包含等微增率法、动态规划法和负荷分配表法，智能算法主要包含遗传算法和粒子群算法。但这些方法很难被应用到实际的实时调度决策指导中，主要包含以下几个问题：

2、(1)传统优化算法中，等微增率法需要机组的流量特性曲线连续可微、微增率单调递增，但机组存在振动区，多数电站难以满足该条件，动态规划法和负荷分配表法均容易陷入维数灾，难以应对多机组、高精度的厂内经济运行问题。

3、(2)智能算法存在决策结果不稳定的问题，容易产生优化效果较差的解或者不可行解。

技术实现思路

1、发明目的：本发明的目的是提供一种基于深度强化学习的水电站实时负荷分配方法。

2、技术方案：本发明的一种基于深度强化学习的水电站实时负荷分配方法，包括以下步骤：

3、s1、构建基于深度强化学习的负荷优化分配模型，并结合历史运行数据训练基于深度强化学习的负荷优化分配模型；该负荷优化分配模型包括状态、动作、奖励和约束，以会对电站负荷分配决策产生影响的所有因素作为状态s；以负荷调整的思路设计动作，将一次负荷指令的分配转换为一个负荷分配方案逐步调整的过程，包含负荷调整与方案输出两类动作；每一次动作会有一个即时奖励r；基于深度强化学习的负荷优化分配模型的约束包含电站运行的约束条件；

4、s2、电站接收电网负荷指令，计算当前开机机组组合中各台机组的最小出力和最大出力，将各台机组的最小出力相加得到电站的出力范围下边界，将各台机组的最大出力相加得到电站的出力范围上边界；结合负荷指令的值判断当前开机机组组合能否完成该负荷指令；若能完成该负荷指令，则保持当前开机机组组合不变，并执行步骤s4；否则，执行步骤s3；

5、s3、若电网负荷指令大于电站的出力范围上边界，则开启当前关机时间最长的机组，更新电站机组的开停机状态及负荷范围，直至电网负荷指令在电站的出力范围下边界和电站的出力范围上边界之间；

6、若电网负荷指令小于电站的出力范围下边界，则关闭当前开机时间最长的机组，更新电站机组的开停机状态及负荷范围，直至电网负荷指令在电站的出力范围下边界和电站的出力范围上边界之间；

7、s4、判断是否存在其余可行的开机机组组合，若不存在其余可行的开机机组组合，则直接进入步骤s6，否则，执行步骤s5；

8、s5、结合机组启停的合理性约束生成其余可行的开机机组组合，结合未来一段时间内的负荷、流量预报信息，运用基于深度强化学习的负荷优化分配模型滚动计算所有可行开机机组组合方案在计算时段内的站内负荷分配方案及其所能取得的目标函数值；计算各方案在预报时段内所能取得的总目标函数值，结合总目标函数值选择最优开机机组组合，更新电站的开机机组组合；

9、s6、运用基于深度强化学习的负荷优化分配模型生成开机机组间的优化负荷分配方案。

10、进一步的，步骤s1中状态为一维张量[qin,qflood,qgenerate,qg,t,z,nin-plant]，其中，qin为入库流量，qflood为泄洪流量，qgenerate为发电流量，qg,t为t时刻完成电站水量调度目标所需要达到的发电流量，z为上游水位，nin-plant为机组负荷；

11、即时奖励r的计算公式为：

12、

13、其中，r为深度强化学习模型的即时奖励；n为机组总数；sj和sj+1分别为执行动作前和执行动作后的状态；和分别为执行动作前和执行动作后的机组i的出力；h为电站当前的水头；和分别为机组在出力为和水头为h时的发电流量；

14、约束包含电站运行的约束条件：机组运行约束、水量平衡约束、水位约束、水位-蓄水量关系约束和尾水位-出库流量关系约束。

15、进一步的，通过计算完成电站水量调度目标所需要达到的发电流量qg,t来优化电站的发电流量，在电站需要蓄水时，qg,t可以取为电站的最小下泄流量，在电站有水位控制需求时，qg,t的计算公式为：

16、qg,t＝qin,t-qflood,t+(v(zt)-v(zg,t))/△t

17、其中，qin,t为t时刻电站的入库流量，qflood,t为t时刻电站的泄洪流量，v(zt)和v(zg,t)分别为水位为zt和zg,t时，电站水库的蓄水量，zt为电站在t时刻的水位，zg,t为电站在t时刻的目标水位，△t为负荷指令间的时间间隔。

18、进一步的，步骤s1中基于深度强化学习的负荷优化分配模型的训练过程具体步骤包括：

19、(1)随机生成一个初始价值函数q(s,a)，取计数器i＝0，计数器j＝0，令训练轮数为i，抽样数为j，随机选取动作的概率pr，生成一个与电站历史运行数据库相同的样本库；

20、(2)在样本库中，以不放回抽样的方式，随机取出一条运行数据，并在保持当前开机机组组合不变的前提下，随机生成一个负荷指令nc的可行负荷分配方案nin-plant，结合运行数据和可行负荷分配方案构建当前时刻的状态s＝[qin,qflood,qgenerate,qg,t,z,nin-plant]，若样本库中所有数据均被采样，则重新生成一个与电站历史运行数据库相同的样本库，并令i＝i+1；

21、(3)将当前时刻的状态s输入负荷优化分配模型，判断并屏蔽将导致机组负荷落入振动区或为负值的无效动作，在[0,1]间生成一个随机数p，若p≤pr，则在可选动作中随机选取一动作作为当前时刻的动作a，否则，在可选动作中选取能取得最大价值函数值的动作作为当前时刻的动作a；

22、(4)执行当前时刻的动作a，更新nin-plant以得到下一时刻的状态s'，计算该动作所能获得的即时奖励r，将(s,a,r,s')存入经验池，令j＝j+1，若j≥j，则按照per方法在经验池中抽取j个样本，结合样本更新智能体的价值函数q(s,a)，其计算公式为：

23、q'(s,a)＝q(s,a)+α[r+γmaxa'q(s',a')-q(s,a)]

24、其中，q(s,a)和q'(s,a)分别为更新前和更新后状态(s,a)的价值函数，初次学习时q(s,a)为初始价值函数，q(s',a')为状态(s',a')的价值函数，a和a'分别为当前时刻和下一时刻的动作，α为步长因子，r为当前时刻所获得的即时奖励，γ为衰减率；

25、(5)若当前时刻的动作a为负荷调整动作，则令s＝s'并返回步骤(3)，若当前时刻的动作a为方案输出动作，则进入步骤(6)；

26、(6)若i≥i，则完成训练，否则，返回步骤(2)。

27、进一步的，步骤s5中结合机组启停的合理性约束生成其余可行的开机机组组合的方法为：

28、在能完成负荷指令的前提下，电站最多再开启或关闭一台机组，为保证机组启停的合理性，设置以下三条机组启停的约束条件，其计算公式分别为：

29、开机机组台数和关机机组台数应该在合理范围内：

30、non+noff＝n

31、其中，non为电站的开机机组台数，non>0，noff为电站的关机机组台数，noff>0，n为电站的机组台数；

32、电站在负荷上升时，不能减少开机机组的台数，电站在负荷下降时，不能增加开机机组的台数：

33、

34、其中，non,t+1为t+1时刻的开机台数，non,t为t时刻的开机台数，nc为电网负荷指令，为电站当前的总出力；

35、避免与未来负荷趋势相反的开停机操作：

36、

37、其中，non为开启机组后电站的最小出力，nc为负荷预测中的最小出力，为关闭机组后电站的最大出力，为负荷预测中的最大出力；

38、保留能满足上述约束的可行开机机组组合方案，将其作为除保持现状外的其余可行开机机组组合方案。

39、进一步的，步骤s5中运用基于深度强化学习的负荷优化分配模型滚动计算所有可行开机机组组合方案在计算时段内的站内负荷分配方案及其所能取得的目标函数值，具体步骤如下：

40、s521、读取电站未来一段时间内的负荷及流量预测序列，按顺序读取预测序列中的负荷及流量的预测值；计算该负荷预测值是否在当前开机机组组合的负荷范围内，若不在，则结合步骤s3的计算方法更新电站的开机机组组合至能完成该负荷指令；

41、s522、运用基于深度强化学习的负荷优化分配模型，分别计算保持当前开停机机组组合和其余可行开停机机组组合方案下，电站的站内负荷分配方案，并结合目标函数计算该负荷分配方案所能取得的目标函数值，目标函数值计算公式如下：

42、

43、其中，ft为电站本次站内负荷分配方案所能取得的目标函数值，qg,t电站在当前时刻为完成水量调度目标所需要达到的发电流量，n为电站的机组台数，q(ni,t,ht)为发电流量与机组出力和水头间的函数，ni,t为机组i在t时刻的出力，ht为水电站的实时水头，c为开停机次数，qp为开停机的惩罚流量；

44、s523、按顺序读取下一个负荷及流量的预测值，返回步骤s512，直至所有负荷及流量的预测数据均被读取和计算。

45、进一步的，步骤s5中对各个方案在预报时段内各次站内负荷分配方案所取得的目标函数值进行求和，得到各方案在预报时段内所取得的总目标函数值；选取总目标函数值最大的开机机组组合方案作为最优开机机组组合方案，按照该方案更新电站的开停机状态。

46、本发明的另一实施例中，一种基于深度强化学习的水电站实时负荷分配系统，包括：

47、模型构建及训练模块，用于构建基于深度强化学习的负荷优化分配模型，并结合历史运行数据训练基于深度强化学习的负荷优化分配模型；该负荷优化分配模型包括状态、动作、即时奖励和约束，以会对电站负荷分配决策产生影响的所有因素作为状态s；以负荷调整的思路设计动作，将一次负荷指令的分配转换为一个负荷分配方案逐步调整的过程，包含负荷调整与方案输出两类动作；每一次动作会有一个即时奖励r；基于深度强化学习的负荷优化分配模型的约束包含电站运行的约束条件；

48、数据计算模块，用于接收电网负荷指令，计算当前开机机组组合中各台机组的最小出力和最大出力，将各台机组的最小出力相加得到电站的出力范围下边界，将各台机组的最大出力相加得到电站的出力范围上边界；

49、判断执行模块，用于结合负荷指令的值判断当前开机机组组合能否完成该负荷指令；若能完成该负荷指令，则保持当前开机机组组合不变，并判断是否存在其余可行的开机机组组合，若不存在其余可行的开机机组组合，则运用基于深度强化学习的负荷优化分配模型生成开机机组间的优化负荷分配方案，若存在其余可行的开机机组组合，则根据机组更新模块更新电站的开机机组组合；若不能完成该负荷指令，若电网负荷指令大于电站的出力范围上边界，则开启当前关机时间最长的机组，更新电站机组的开停机状态及负荷范围，直至电网负荷指令在电站的出力范围下边界和电站的出力范围上边界之间；若电网负荷指令小于电站的出力范围下边界，则关闭当前开机时间最长的机组，更新电站机组的开停机状态及负荷范围，直至电网负荷指令在电站的出力范围下边界和电站的出力范围上边界之间；

50、机组更新模块，用于结合机组启停的合理性约束生成其余可行的开机机组组合，结合未来一段时间内的负荷、流量预报信息，运用基于深度强化学习的负荷优化分配模型滚动计算所有可行开机机组组合方案在计算时段内的站内负荷分配方案及其所能取得的目标函数值；计算各方案在预报时段内所能取得的总目标函数值，结合总目标函数值选择最优开机机组组合，更新电站的开机机组组合。

51、本发明的再一实施例中，一种装置设备，包括存储器和处理器，其中：

52、存储器，用于存储能够在处理器上运行的计算机程序；

53、处理器，用于在运行所述计算机程序时，执行如上述一种基于深度强化学习的水电站实时负荷分配方法的步骤。

54、本发明的一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上述一种基于深度强化学习的水电站实时负荷分配方法的步骤。

55、有益效果：与现有技术相比，本发明的显著技术效果为：

56、本发明方法运用深度强化学习算法构建基于深度强化学习的负荷优化分配模型，运用电站运行历史数据训练基于深度强化学习的负荷优化分配模型并以此实现对水电站实时负荷指令的快速分配；在电站接收负荷指令后，该方法首先结合当前负荷指令更新电站的开机机组组合，再结合对负荷及流量预报信息的滚动计算来优选开机机组组合，最后在该开机机组组合上完成对负荷指令的分配。本发明提出的方法在目标函数中考虑了电站的水量调度要求，这使得该方法在制作负荷分配方案时，可以在完成发电调度需求的前提下，进一步通过对机组启停方案的优化和对机组负荷分配方案的调整，配合电站水量调度需求调整电站发电流量。同时，该方法运用深度强化学习实现负荷分配，能够缓解维数灾问题，实现高精度、高效率的实时负荷分配决策。相较于当前站内实时负荷分配中常用方法，本发明提出的方法能够兼顾电站的发电调度要求和水量调度要求，而且能够兼顾决策精度和效率。