一种风力发电机组最大功率点跟踪强化学习控制方法与流程

本发明涉及风力发电机组控制的，具体为一种风力发电机组最大功率点跟踪强化学习控制方法。

背景技术：

1、风力发电机组的最大功率点跟踪控制是风力发电机组提高风能捕获效率的关键。在目前的工业实际中，风力发电机组的最大功率点跟踪大多采用功率曲线法进行控制。然而，风力发电机组特性曲线的准确性在很大程度上受系统运行环境的影响，由于系统的老化效应，如机械磨损、涡轮叶片的侵蚀以及相关因素等，机组的输出功率可能偏离正常功率曲线。因此，需要一种智能的在线学习算法来实现机组的最大功率点跟踪控制。

2、在强化学习中，智能体能够通过状态、动作和奖励直接与环境交互，从获取的经验中学习。智能体的目标是找到一个最优的动作选择策略，使未来获得的总奖励最大化。总奖励由一个状态值函数或一个动作值函数组成，分别估计智能体在当前状态或当前状态下执行给定动作的好坏程度。因此，值函数的估计是强化学习方法的核心。q-learning是一种广泛使用的无模型强化学习方法。然而，在传统的q-learning方法中，需要一个查找表来存储每一对状态-动作对应的值，这对于具有大状态空间的问题来说是不切实际的。

技术实现思路

1、针对上述问题，本发明提供了一种风力发电机组最大功率点跟踪强化学习控制方法，其消除了使用的传统强化学习中需要通过离线模拟研究确定一个大型查找表的问题，节省了算力资源与计算成本，而且使整个最大功率点跟踪算法更易于设计和实现。

2、一种风力发电机组最大功率点跟踪强化学习控制方法，其特征在于，其包括如下步骤：

3、s1、通过叶素动量理论建立风力发电机组的空气动力学模型，得到机组的功率-转子转速特性曲线与最优特性曲线；

4、s2、将人工神经网络与q-learning方法相结合，在线学习功率与转子转速的最优关系；

5、s3、当学习到最大功率点时，控制系统从在线强化学习切换到基于最优关系的在线最大功率点跟踪控制。

6、其进一步特征在于：

7、步骤s1具体如下，通过叶素动量理论建立风力发电机组的气动模型，风力发电机组从风中提取的气动功率计算如下：

8、

9、其中，ρ是空气密度，ar表示桨叶扫过的区域面积，vw为风速，cp为功率系数，由叶尖速比λ＝ωtr/vw和桨距角β决定，其中ωt为转子转速；

10、当机组的叶尖速比为最优叶尖速比λopt时，风力发电机组可以从给定的风力中提取最大功率：

11、

12、其中，cpmax为λopt处的最大功率系数，k表示最优参数。

13、步骤s2的具体步骤如下：

14、s2.1、q-learning算法的目标是确定在每个状态s下从行动空间a中采取的每个动作a的价值，定义智能体在未来从行动空间a中采取该行动所获得的预期总折扣奖励如下

15、qt+1(st,at)＝qt(st,at)+η[rt+1+γmaxaqt+1(st+1,at)-qt(st,at)]

16、其中，st和st+1分别表示当前时刻和下一时刻的状态，at和at+1分别表示当前时刻和下一时刻的动作，qt(st,at)为动作值，qt+1(st,at)为下一时间步更新的动作值，rt+1为奖励值，η∈(0,1]为学习率，它决定了之前估计的动作值qt(st,at)向新估计的动作值rt+1+γmaxaqt+1(st,at)-qt(st,at)的调整程度，γ∈[0,1)是折扣因子，它决定了智能体在未来所获得的奖励的重要性；

17、s2.2、采用一个多层前馈人工神经网络表示每个动作的动作值，每个时间步t中，动作值可以表示为

18、

19、其中，

20、

21、

22、式中，n和m分别为隐含层节点总数和人工神经网络的输入量总数，为人工神经网络的输入层与隐含层之间的连接权值，为隐含层与输出层之间的连接权值，ht,i和dt,i分别为神经网络的第i个隐含层节点的输入和输出，xt,j∈st(j＝1,…,m)为神经网络的第j个输入；

23、s2.3、基于q-learning更新人工神经网络的连接权值矩阵如下

24、

25、其中，wt表示连接权值矩阵wt(1)或wt(2)，是qt关于wt的梯度向量，通过反向传播法计算如下

26、

27、

28、s2.4、为了解决训练过程中效率不髙和收敛速度较慢的问题，将q-learning与资格迹方法相结合，并使用与所选动作相关的qt+1(st+1,at)替换贪婪项maxaqt+1(st+1,a)，连接权值矩阵的更新规则计算如下

29、

30、其中，λ表示迹衰减参数；

31、s2.5、在线学习过程中，人工神经网络的连接权值矩阵中的每个权重和(i＝1,…,n；j＝1,…,m)分别持有资格迹和依据资格迹更新权矩阵如下

32、

33、其中，et表示资格迹矩阵或

34、s2.6、对于被选择输出动作at的人工神经网络，其资格迹更新如下

35、

36、对于其他未被选择输出动作at的人工神经网络，其资格迹更新如下

37、et＝λγet-1；

38、s2.7、使用风电机组转子转速ωr与输出功率pe的最优关系，实现最大功率点跟踪控制，定义状态空间作为人工神经网络的两个输入如下

39、s＝{ωr,pe}

40、s2.8、智能体在线学习过程中，每当改变转子转速命令之前，先对风况进行评估；当风速稳定时，智能体开始学习，风速评价准则计算如下：

41、

42、步骤s3，其具体步骤如下：

43、s3.1、当风速稳定时，基于人工神经网络的q-learning算法开始学习；在每个学习周期中，利用ωr,t和pe,t作为人工神经网络的两个输入，分别计算当前采样周期的动作值；

44、s3.2、基于boltzmann探索策略从定义的动作空间中a中选择动作at；

45、s3.3、根据选择的动作at设置转子转速命令如下

46、

47、s3.4、在下一个采样周期中，将观察到一个新的状态st+1，并计算奖励rt+1依据奖励函数判断是否找到最大功率点，当最大功率点被找到时，在线学习算法停止，所训练好的智能体切换到在线应用状态；

48、s3.5、在找到最大功率点的情况下，通过计算ωr与pe的最优关系如下

49、

50、s3.6、基于完成在线学习的智能体计算待确定的最优参数kopt，进而控制机组的转子转速

51、

52、s3.7、当风电机组运行过程中的最优功率特性曲线偏离学习到的最优关系时，重新激活智能体的在线强化学习，以获得新的最优关系。

53、本发明将人工神经网络与q-learning方法相结合，学习风力发电机组转子转速与输出功率之间的最佳关系。然后，根据学习到的最优关系对最大功率跟踪点进行控制。当原有的最优功率特性曲线由于系统老化等因素而失效时，在线强化学习算法可以重新激活，获得新的最优关系。

54、本发明将人工神经网络与q-learning方法相结合设计强化学习算法对风电机组进行最大功率点跟踪控制，消除了使用的传统强化学习中需要通过离线模拟研究确定一个大型查找表的问题，节省了算力资源与计算成本，而且使整个最大功率点跟踪算法更易于设计和实现。