一种优化与控制双层协同二级电压控制方法与流程

本发明属于电力系统电压控制领域，涉及一种基于复数编码算法、蜻蜓算法、人工情感算法和强化学习算法的电压控制方法，适用于电力系统的电压控制。

背景技术：

传统电压控制包含三层，即自动电压调节、二级电压控制和三级电压控制。自动电压调节可通过传统的比例-积分-微分调节控制，但需要配置比例-积分-微分调节的参数。自动电压调节可以采用优化算法增加比例-积分-微分调节的控制性能，如灰色预测理论、基于教学优化算法或非洲水牛优化算法。然而，系统参数发生改变后，比例-积分-微分控制的参数应该重新配置。为获得更高的控制性能，动态系统可以采用强化学习算法。为获得更精确的控制策略，强化学习算法动作集合中的动作数量应该增加，强化学习算法的q值和p值矩阵维数将会增加，从而，强化学习算法编程所占空间过大，导致系统内存不足并产生维数灾难。因此，现有的比例-积分-微分调节控制和强化学习算法存在局限性，不能满足自动电压调节的性能需求。二级电压控制作用一个区域的节点时其他区域的节点被压缩，但电力系统的一般原则表明，任何控制区域的节点都是一般节点。因此，传统的二级电压控制不能满足电力系统对节点要求。由二级电压控制改进的协同二级电压控制满足节点要求，可以调节无功潮流的自由变量。本发明把碳能复合流纳入协同二级电压控制，旨在提高约束地区的电压稳定性。

近年来提出的蜻蜓算法可解决单目标、离散和多目标问题。蜻蜓算法已应用于多种应用领域。例如，支持向量机的参数优化、经济调度和机组组合问题。

技术实现要素：

本发明提出一种优化与控制双层协同二级电压控制方法。该方法将人工情感强化学习算法应用到自动电压调节中，同时提出了一种新优化算法，即复数编码蜻蜓算法。然后，复数编码蜻蜓算法和人工情感强化学习算法同时作用于协同二级电压控制。

自动电压调节通常被称为发电机励磁调节或控制算法调节，自动电压调节的控制周期是数秒钟。二级电压控制可以通过闭环控制算法来调节，例如比例-积分-微分调节和强化学习算法。二级电压控制的控制周期是数分钟。三级电压控制可以通过优化算法来解决，例如遗传算法、粒子群优化算法、灰狼算法、飞蛾扑火算法和蜻蜓算法。

本发明提出协同二级电压控制可减少电力系统多个控制区域的耦合结构。设置协同二级电压控制的控制周期为10秒。协同二级电压控制的主节点可由自动电压调节协同控制。

考虑碳排放的协同二级电压控制优化目标可描述为

f＝minμ1c′ds+μ2ploss+μ3vd(1)

式中，μ1、μ2和μ3分别是碳能复合流、有功功率损耗和稳态电压分量的权重。并且μ1+μ2+μ3＝1。稳态电压分量vd计算为

式中，ng是发电机节点数目；vj、和分别是j节点实际电压、最大电压和最小电压。有功损耗计算为

式中，nl是负载节点的数量；vi和vj分别是i和j负载节点的电压；θij是i与j负载节点之间的相角差；gij是i与j负载节点之间的电导。实际的碳能复合流c″ds计算为

式中，ω表示第ω个发电机，ω∈w。aiw计算为

式中，pωi是从ω节点到i节点的功率流；i⁺是i节点的所有输入总线的连接；当i节点和ω节点没有连接时，pωi＝0；psω是从s节点到ω节点的功率流；δsω是ω发电机的碳排放强度；p'ni是i节点的功率流输出；αg和βg分别是发机和电网碳排放量的权重。功率流方程的所有不等式和等式约束描述为

式中，pdi和qdi分别是i节点的负载有功和无功功率潮流输出；pgi和qgi分别是i节点的负载有功和无功功率潮流输入；bij是i和j负载节点之间的电纳；ni是连接到i节点的节点集合；ng是发电机的集合；nc是自动电压调节装置集合；nk是有载分接开关组；nl是分支集；所有端电压vgi，无功功率值qci，变压器变比kt是优化后的变量。

协同二级电压控制的控制目标是将发电机端电压uti维持在发电机端参考电压(标准值)urefi上。因此，自动电压调节控制器的输入是efi，自动电压调节控制器的输出是电压指令，可以转换为正弦脉宽调制指令。

对比二级电压控制，协同二级电压控制的主要特点可以概括如下：

(1)在碳排放的协同二级电压控制中考虑碳能复合流。

(2)当电力系统电压稳定裕度足够时，最优目标设置为主节点的电压偏差最小。

(3)当电力系统电压稳定裕度足够时，协同二级电压控制可以平衡各控制区域的无功潮流，维持足够的动态无功潮流。

蜻蜓群的主要两个群特征(即狩猎和迁移)分别类似于元启发式优化的两个过程(即探索和开发)。蜻蜓群的三个基本行为是分离、调整和聚合，可以描述为

式中，x是当前个体的位置；n是相邻个体的数量；xj是j相邻个体的位置；vj是j相邻个体的速度。

食物的吸引行为和敌人吸引的分心行为可以描述为

fi＝x⁺-x(10)

ei＝x^-+x(11)

式中，x⁺和x^-分别是食物和敌人的位置。

在t+1次迭代后的位置向量可以更新为

式中，s、a、c、f、e和w是更新位置的权重系数，因此所有权重系数设定基于蜻蜓算法的收敛性。随机游动探测是人工蜻蜓改进的随机性随机行为，随机游动探测更新蜻蜓在t次迭代中的位置可以描述为

式中，d是位置向量的维数。随机游动探测函数可以描述为

式中，r1(d)和r2(d)是两个随机数，r1(d),r2(d)∈[0,d]；βl是常数，βl＝1.5。σ可以计算为

式中，γx是阶乘函数，γx＝x-1！。

本发明所提方法中的复数编码蜻蜓算法为探索和开发提供更多空间。每一个复数编码蜻蜓算法记录为

xp＝rp+iip,p＝1,2,...,n(16)

式中，rp和ip分别是复数位置的实部和虚部；p个体的最大和最小绝对值分别是和p个体的复数位置可以描述为

rp+iip＝ρp(cosθp+isinθp)(17)

式中，复数位置的半径和角度的范围分别是和θp∈-2π，2π。

在(t+1)次迭代后复数位置向量的实部和虚部可以更新为

优化值由实数计算，实数由复数位置转换。如下所示

式中，

附图说明

图1是本发明方法的人工情感转化器示意图。

图2是本发明方法的人工情感强化学习算法结构图。

图3是本发明方法的协同二级电压控制框架图。

具体实施方式

本发明提出的一种优化与控制双层协同二级电压控制方法，结合附图详细说明如下：

图1是本发明方法的人工情感转化器示意图。强化学习算法属于机器学习范畴，机器学习又属于人工智能范畴。人工智能的另一个主要分支是人工心理学。人工心理学包括人工情感、人工意识和人工识别，人工情感是人工心理学的主要分支。

当人工情感应用于工程问题时，应该对人工情感进行量化。使用一种量化器，将状态θ(输入)转换为情感系数η(输出)。为提高强化学习算法的智能性，必须将情感系数转换为强化学习算法的实际效果。量化器的数学模型为

式中，θi表示输入信息；ωi表示情感权重；λi是第i次输入信息的转换值；fn是情绪能量；kη是情绪系数的上限；ηmax是最大的智能体情感系数，本发明将ηmax最大值设为1。

引入二次转换函数实现量化过程，如下所述

cfη＝kaη²+kbη+kc(22)

式中，cfη是量化的情感值；ka、kb和kc分别为二次、线性和常数系数。

图2是本发明方法的人工情感强化学习算法结构图。强化学习算法的框架包含智能体和环境。在第k+1次控制迭代，环境对智能体提供返回值r和系统状态sk；然后智能体向环境提供ak+1动作，智能体在每次迭代时更新其策略。因此，通过迭代优化强化学习算法的状态-动作对，表明智能体是在线训练。强化学习算法作为一种无模型算法，是不基于精确模型的算法。

第k+1次迭代中强化学习算法的q值为

式中，α是强化学习算法的学习率，0＜α＜1；γ是强化学习算法的折扣系数，0＜γ＜1；q^k(sk,ak)是第k次迭代强化学习算法的q值；sk∈s第k次迭代中的环境状态；ak∈a是第k次迭代中设置a操作的动作；q值的初始化设置为0。

强化学习算法的动作选择策略是控制策略的关键步骤。通常使用贪婪策略π^*，即在第k次迭代中将选择最大q值的动作作为输出动作ak。可以描述为

贪婪策略中的sk状态下，智能体具有选择最大q值的动作，因此可能无法充分搜索其他动作。为充分搜索sk状态下所有动作，本发明采用概率分布选择策略来选择动作。在概率分布选择策略中，每个q值对应于每个p值。因此，p值矩阵p的矩阵大小和q值矩阵q的矩阵大小是相同的。s状态下的概率值矩阵p可以被更新为

式中，β是概率分布选择策略的概率系数，0＜β＜1；是s状态下第k次迭代的选择概率；ag是贪婪策略中的选择动作。经过充足的在线搜索，选择概率将收敛到1，即为最优控制策略。

应用人工情感算法更新强化学习算法的输出动作，可减轻强化学习算法的维数灾难，获得更精确的控制策略。人工情感强化学习算法包含两个部分，即逻辑部分和情感部分。逻辑部分的输出动作被情感部分的输出动作修改为

人工情感强化学习算法的主要框架是强化学习算法框架。因此，人工情感强化学习算法的收敛性可以通过马尔可夫决策过程证明强化学习算法的收敛性。

图3是本发明方法的协同二级电压控制框架图。为同时获得最高的控制性能和收敛性能，协同复数编码蜻蜓算法和人工情感强化学习算法应用于协同二级电压控制和自动电压调节，从而形成一个协同的复数编码蜻蜓-人工情感强化学习算法。所提出的协同复数编码蜻蜓-人工情感强化学习算法应用到具有两个电压控制层的协同框架中。

与传统的电压控制相比，协同框架的主要特征可以概括为：

1)人工情感强化学习算法离线训练后，人工情感强化学习算法可在动态系统中在线更新控制策略；

2)从多智能体系统的角度看，通过动态系统，每个无功功率控制装置相互博弈是基于人工情感强化学习算法的智能博弈；

3)利用复数编码蜻蜓算法对每个智能体的无功功率指令进行优化。