一种潮流计算收敛的自动调整方法及装置与流程

本申请涉及电力系统技术领域，具体涉及一种潮流计算收敛的自动调整方法，同时涉及一种潮流计算收敛的自动调整装置。

背景技术：

潮流收敛调整问题是电网仿真分析最基础的工作，为电网运行与规划的方案设计提供了基础。从数学角度看，潮流计算的本质是求解非线性方程，如果方程的解不存在或者陷入病态解使潮流方程难以收敛，则被称为潮流不收敛。潮流不收敛目前主要通过人工进行调整，调整过程繁杂且依赖人工经验，效率较低。对于大电网，潮流方程变量高维，可调参数众多，调整效率进一步降低。电网每年会安排大量人力，付出很长时间来调整大电网的收敛，其中包括大量的重复性工作。综上，传统的调整模式存在明显的不足，主要包括大量消耗人力成本、严重依赖专家经验、易于引发错漏现象以及难以控制分析误差。因此，目前亟需一种潮流收敛自动调整方法，使工作更高效、精准，从而解放人力。

技术实现要素：

本申请提供一种潮流计算收敛的自动调整方法，解决目前调整大电网的收敛工作效率低、不精准，人力成本消耗过大的问题。

本申请提供一种潮流计算收敛的自动调整方法，包括：

设计用于潮流计算收敛的深度强化学习网络的状态、动作空间和奖赏；

根据所述状态、动作空间和奖赏构建用于潮流计算收敛的深度强化学习网络；

在所述深度强化学习网络中加入知识经验，并模拟人工调整潮流的过程，从而构建潮流调整策略，使用所述潮流调整策略对电网的潮流收敛进行调整。

优选的，深度强化学习网络的状态、动作空间和奖赏，包括：

深度强化学习网络的状态包括：发电机的出力状态、电容器/电抗器投切的有效性和区域间的交换功率；

深度强化学习网络的动作空间包括：发电机的出力变化量或者有效性，特定电容器/电抗器的有效性；

深度强化学习网络的奖赏包括：潮流计算结果得到的奖赏，符合知识经验得到的奖赏，符合约束条件得到的奖赏。

优选的，所述电容器/电抗器，为重负荷、多出线母线附近的未投入电容器和已投入电抗器。

优选的，所述重负荷、多出线母线附近的未投入电容器和已投入电抗器，通过如下方式获得：

统计各母线的负荷、出线情况，得到重负荷、多出线母线的位置；

记录各支路以及电容器和电抗器的位置；

运用dijkstra算法以最优路径的方法，得到重负荷、多出线母线附近的电容器和电抗器；

通过识别有效性标记位，最终得到重负荷、多出线母线附近的未投入电容器和已投入电抗器。

优选的，所述潮流计算结果得到的奖赏，收敛时，奖赏设为很大的正数；不收敛时，奖赏设为较小的负数。

优选的，所述符合知识经验得到的奖赏，包括：

区域内有功平衡：发电机的总有功功率略大于负荷的总有功功率，得到的奖赏；

区域间交换功率约束：若交换功率越限，得到的负奖赏。

优选的，所述符合约束条件得到的奖赏，包括：

发电机的额定功率约束：若出力功率越限，得到的负奖赏

平衡机的出力约束：若交换功率越限，得到的负奖赏。

优选的，所述知识经验，包括：

调整潮流收敛的顺序为，第一步平衡有功功率，第二步平衡无功功率。

优选的，在所述深度强化学习网络中加入知识经验，并模拟人工调整潮流的过程，从而构建潮流调整策略，包括：

根据知识经验，并模拟人工调整潮流的过程，形成常规平衡潮流调整策略和加pv节点平衡潮流调整策略；

所述常规平衡潮流调整策略，通过动作发电机来平衡有功，通过动作无功不平衡位置附近的电容器或者电抗器来平衡无功；

所述加pv节点平衡潮流调整策略，通过在无功不平衡的位置加pv节点，收敛并得到无功缺额后，在附近的母线投切等效的电容器或者电抗器来平衡无功功率。

本申请同时提供一种潮流计算收敛的自动调整装置，包括：

设计单元，设计用于潮流计算收敛的深度强化学习网络的状态、动作空间和奖赏；

网络构建单元，根据所述状态、动作空间和奖赏构建用于潮流计算收敛的深度强化学习网络；

调整单元，在所述深度强化学习网络中加入知识经验，并模拟人工调整潮流的过程，从而构建潮流调整策略，使用所述潮流调整策略对电网的潮流收敛进行调整。

本申请提供一种潮流计算收敛的自动调整方法，通过构建用于潮流计算收敛的深度强化学习网络，并在所述深度强化学习网络中加入知识经验，并模拟人工调整潮流的过程，从而构建潮流调整策略，使用所述潮流调整策略对电网的潮流收敛进行调整，解决目前调整大电网的收敛工作效率低、不精准，人力成本消耗过大的问题。

附图说明

图1是本申请提供的一种潮流计算收敛的自动调整方法的流程示意图；

图2是本申请涉及的基于dqn的算法流程图；

图3是本申请涉及的潮流调整的功率平衡方案；

图4是本申请实施例1的有功和无功平衡过程；

图5是本申请实施例1的36节点系统测试样本结果；

图6是本申请实施例2的东北电网测试样本结果；

图7是本申请提供的一种潮流计算收敛的自动调整装置示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

图1为本申请提供的一种潮流计算收敛的自动调整方法的流程示意图，下面结合图1对本申请实施例提供的方法进行详细说明。

步骤s101，设计用于潮流计算收敛的深度强化学习网络的状态、动作空间和奖赏。

深度强化学习网络的状态包括：发电机的出力状态、电容器/电抗器投切的有效性和区域间的交换功率；深度强化学习网络的动作空间包括：发电机的出力变化量或者有效性，特定电容器/电抗器的有效性；深度强化学习网络的奖赏包括：潮流计算结果得到的奖赏，符合知识经验得到的奖赏，符合约束条件得到的奖赏。

电容器/电抗器，为重负荷、多出线母线附近的未投入电容器和已投入电抗器。重负荷、多出线母线附近的未投入电容器和已投入电抗器，通过如下方式获得：统计各母线的负荷、出线情况，得到重负荷、多出线母线的位置；记录各支路以及电容器和电抗器的位置；运用dijkstra算法以最优路径的方法，得到重负荷、多出线母线附近的电容器和电抗器；通过识别有效性标记位，最终得到重负荷、多出线母线附近的未投入电容器和已投入电抗器。

潮流计算结果得到的奖赏，收敛时，奖赏设为很大的正数；不收敛时，奖赏设为较小的负数。符合知识经验得到的奖赏，包括：区域内有功平衡：发电机的总有功功率略大于负荷的总有功功率，得到的奖赏；区域间交换功率约束：若交换功率越限，得到的负奖赏。符合约束条件得到的奖赏，包括：发电机的额定功率约束：若出力功率越限，得到的负奖赏平衡机的出力约束：若交换功率越限，得到的负奖赏。

知识经验，包括：调整潮流收敛的顺序为，第一步平衡有功功率，第二步平衡无功功率。

步骤s102，根据所述状态、动作空间和奖赏构建用于潮流计算收敛的深度强化学习网络。

强化学习是一种半监督学习，与一般监督学习不同的是通过与环境交互得到奖赏来指导行为，获得奖赏值大的行为。相对于动态规划，强化学习可以解决无动作概率模型的马尔科夫决策过程。根据评估对象的不同，将强化学习分为最优价值算法和策略梯度算法。对于最优价值算法，典型的算法有蒙特卡罗方法和时序差分方法，根据估计的策略是否采用当前的交互策略将时序差分算法分为sarsa和q-learning，q-learning是目前应用最广泛的强化学习算法。相较sarsa，q-learning是一种基于值的强化学习算法，没有遵循交互序列，而是在下一时刻选择了使价值最大的行动。

所述深度强化学习是深度学习与强化学习的结合，本申请采用dqn(deepq-network)，它将q-learning与深度学习相结合，使用深度学习对强化学习的值函数进行拟合。所述构建的用于潮流计算收敛的深度强化学习网络，采用prelu作为激活函数，其为针对relu函数的一种改进。当输入为负数时，prelu函数会有一个很小的斜率，避免了梯度为0的问题。采用一范数构成的l1正则项，防止过拟合。

步骤s103，在所述深度强化学习网络中加入知识经验，并模拟人工调整潮流的过程，从而构建潮流调整策略，使用所述潮流调整策略对电网的潮流收敛进行调整。

知识经验，在在实际大电网计算中，为使调整潮流收敛，在排查完数据错误后，一般先平衡有功功率，再平衡无功功率。

所述有功功率平衡为全局平衡，需保证所有发电机和负荷的有功功率平衡，以及输送通道不越限，较易调整。具体方法如下：a)分区统计有功功率，检查区域间有功功率交换是否过大。如果交换功率越限，则增加受端分区的开机，减少送端分区的开机，以减少联络线的输送功率。b)检查平衡机承担的有功功率是否合理。如果平衡机的有功出力超过了承受范围，增加发电机出力，以使平衡机的有功出力在合理范围内。c)在调整时，还需检查发电机出力是否达到极限。如果发电机已经满发(允许的有功功率最大值)，在增加发电机出力时，需通过新增发电机来实现，如果发电机已经达到最小出力(允许的有功功率最小值)，在减少发电机出力时，需通过关闭发电机来实现。

所述无功功率平衡为分层分区平衡，难以准确定位无功功率不平衡的位置，只能考虑无功功率可能缺失的地方，因此较难调整。具体方法如下：a)根据电压等级或者分区估算无功功率缺额，就近投切电容器或者电抗器，进行无功平衡调整。b)进出线多和有功功率交换大的重载变电站、新能源接入变电站、直流换流站以及区域间输送通道附近是无功功率可能不平衡的位置，检查这些位置的无功补偿配置是否充足。若无功补偿配置不足，则就近投切附近的电容器或者电抗器。c)将上述无功功率可能不平衡的节点设为pv节点，先使潮流计算收敛，从而得到该节点需要补偿的无功容量，随后投切所需容量的无功补偿装置并设回pq节点，投切的位置根据该节点和周围的无功补偿进行等效计算。

所述深度强化学习是深度学习与强化学习的结合，本发明采用dqn(deepq-network)，它将q-learning与深度学习相结合，使用深度学习对强化学习的值函数进行拟合。基于dqn的算法流程如图2所示。

然后，根据知识经验，并模拟人工调整潮流的过程，形成两个方案，如图3所示，一个是常规平衡潮流调整策略，一个是加pv节点平衡潮流调整策略；所述常规平衡潮流调整策略，首先通过动作发电机来平衡有功，然后通过动作无功可能不平衡位置附近的电容器或者电抗器来平衡无功；所述加pv节点平衡潮流调整策略，与常规平衡潮流调整策略不同的是，通过在无功可能不平衡的位置加pv节点，收敛并得到无功缺额后，在附近的母线投切等效的电容器或者电抗器来平衡无功功率。

下面再结合附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例中，先通过小算例进行验证，在小算例上运用本发明的方法，通过平衡有功功率和无功功率来调整潮流，使不收敛的样本调整运行方式从而计算收敛。测试结果验证了本发明的有效性。

进一步的，所述小算例，为接近实际工程，在cepri36节点系统的低压母线上加入电容器和电抗器，使系统能承受更大的潮流和更多的无功不平衡。基于系统本身的初始收敛潮流，在0-4倍之间随机改变发电机和负荷，同时改变电容电抗器的投切情况，生成9711组数据。经潮流计算，在9711组数据中，其中4310组数据收敛、5401组数据不收敛。将4000组不收敛的数据作为训练集，1000组数据作为测试集。

进一步的，所述有功功率和无功功率平衡，参阅4，第1步平衡完有功后，之后便是无有功问题。第6步开始加pv节点，该过程中以加2个pv节点为上限。因此，在第7步的无功不平衡量之和比第8步的大，因为第8步减少了pv节点数。在不断增加和减少不同的pv节点后，如果潮流收敛了，则在所加pv节点附近投切等效的电容器或者电抗器。

进一步的，所述测试结果，参阅图5，100step和200step表示强化学习中1个episode所包含的步数，也就是同一个潮流调整的最大步数。可以看出，当步数无论为100或者200，方案2下难以收敛的样本都比方案1的少。在方案2下，当每个episode包括100步时，52％能在10步内收敛，5％在100步内难以收敛。当每个episode包括200步时，只有2％难以收敛，说明增加每个episode的步数，即增多每个样本调整的步数，可以提升潮流调整收敛的概率，但是效果也是十分有限的，同时会增加训练时长。

实施例2

在本申请实施例中，在东北电网进行验证，运用本发明的方法，通过平衡有功功率和无功功率来调整潮流，使不收敛的样本调整运行方式从而计算收敛。测试结果验证了本发明在实际系统中的有效性。

进一步的，所述测试结果，参阅图6，相对于36节点系统，东北电网在方案1下的结果比方案的结果差很多，主要由于在大电网中，投切电容器的范围更广，更不容易有效平衡无功。在方案2下，当每个episode包括100步时，43％能在10步内收敛，8％在100步内难以收敛。当每个episode包括200步时，只有3％难以收敛，调整收敛的效果相对36节点系统有所降低。因为在实际系统中，平衡无功变得复杂，除了需要考虑重载变电站，还要计及新能源和直流的影响。但是在生成的样本中，不可调整收敛的样本都是潮流过重的情况，这种情况在实际工程中很难遇到，因此本方法在实际工程中还是可行的。

本申请的工作原理是：通过在强化学习中加入知识经验，对强化学习的动作空间和状态空间进行限定，缩小了搜索空间、降低了神经网络学习的复杂度。并模拟人调整行为，先调整有功平衡，再调整无功平衡，使搜索具有了方向性。

本申请同时提供一种潮流计算收敛的自动调整装置700，如图7所示，包括：

设计单元710，设计用于潮流计算收敛的深度强化学习网络的状态、动作空间和奖赏；

网络构建单元720，根据所述状态、动作空间和奖赏构建用于潮流计算收敛的深度强化学习网络；

调整单元730，在所述深度强化学习网络中加入知识经验，并模拟人工调整潮流的过程，从而构建潮流调整策略，使用所述潮流调整策略对电网的潮流收敛进行调整。

本申请提供一种潮流计算收敛的自动调整方法，通过构建用于潮流计算收敛的深度强化学习网络，并在所述深度强化学习网络中加入知识经验，并模拟人工调整潮流的过程，从而构建潮流调整策略，使用所述潮流调整策略对电网的潮流收敛进行调整，解决目前调整大电网的收敛工作效率低、不精准，人力成本消耗过大的问题。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。