基于自适应学习的互联微电网复合频率控制方法及装置

1.本发明涉及互联微电网领域，尤其涉及一种基于自适应学习的互联微电网复合频率控制方法及装置。


背景技术：

2.微电网是指由分布式电源、储能装置和电力负载等组成的小型系统，是现代电力系统的一种典型代表。在电力系统中，通常存在着不同的发电单元和电力负载，频率偏差是电力负载与发电机提供的机械功率之间功率不匹配的直接后果。因此，频率偏差已成为评价电力系统稳定性和电能质量的有用指标，有功功率和频率控制称为负载频率控制(lfc, load frequency control)。
3.随着可再生能源的加入，由于不确定的发电量和多变的负载需求，微电网的频率控制变得更具挑战性。微型涡轮机被认为是补偿功率失配的主要受控设备；但是，对于具有可再生能源的微电网，还需要一些额外的储能设备来参与调频。电动汽车并网后可被视为分布式储能装置，它除了满足出行需求外，还可以对调频产生一些积极的影响。
4.比例积分微分(pid,proportion-integration-differentiation)控制是lfc设计的经典调频策略，但难以处理复杂非线性且无法应对新能源设备并网带来的挑战。近年来，基于机器学习的一些智能控制方法已经被应用到微电网系统的调频问题中。但是对于互联微电网系统，动态频率响应能力仍然有待提高、新能源设备的高效集成亟待解决。


技术实现要素：

5.本发明提供了一种基于自适应学习的互联微电网复合频率控制方法及装置，本发明提高了互联微电网系统的动态频率响应能力，实现了新能源设备的高效集成，且本方法设计简单、易于实现，提高了频率稳定性，详见下文描述：
6.第一方面，一种基于自适应学习的复合频率控制方法，所述方法包括以下步骤：
7.建立包含电动汽车和风电的互联微电网频率控制模型；
8.依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
9.基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
10.频率控制器由pid主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与pid控制器的主控制策略相加，实现对微电网频率的复合控制。
11.其中，所述互联微电网频率控制模型为：
12.电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
13.在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用
联络线进行互联互通；每个微网通过区域控制误差进行调频控制，风机系统的功率稳定通过桨距角控制实现。
14.基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
15.其中，状态采集中的状态为：频率偏差及其在不同时间步的时延；
16.所述奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
17.所述方法还包括，所述辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与pid主控制器的控制信号相加，便可得到复合频率控制信号。
18.第二方面，一种基于自适应学习的复合频率控制装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面的任一项所述的方法步骤。
19.本发明提供的技术方案的有益效果是：
20.1、本发明考虑了风能和电动汽车并入互联微电网系统的工作场景，构建了一种新颖的风能混合的频率控制模型，电动汽车作为储能装置参与调频；
21.2、本发明提出了一种具有自适应学习能力的新型复合频率控制器，由pid主控制信号和基于强化学习的辅助控制信号组成复合控制策略，从而实现了新能源波动和负荷干扰时微电网频率的有效调节、有效消除频率偏差的同时改善了频率响应的动态性能。
附图说明
22.图1为一种基于自适应学习的互联微电网复合频率控制方法的流程图；
23.图2为频率控制模型的结构示意图；
24.图3为基于自适应学习的复合控制结构示意图；
25.其中，实线表示控制信号，虚线表示状态采集信号。
26.图4为扰动信号的示意图；
27.图5为评价神经网络的学习调整过程的示意图；
28.图6为频率响应结果的对比图；
29.图7为一种基于自适应学习的互联微电网复合频率控制装置的结构示意图。
具体实施方式
30.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
31.实施例1
32.本发明实施例公开了一种考虑包含常规发电机(微型涡轮机)、电动汽车、风力发电和智能负荷的互联微电网系统，基于pid控制方法和强化学习技术提出了一种基于自适应学习的复合频率控制方法，参见图1，该方法包括以下步骤：
33.101：建立包含电动汽车和风电的互联微电网频率控制模型；
34.其中，本发明实施例公开考虑的微电网主要包括：微型涡轮机、风力涡轮机、调速
器、电动汽车等设备。对于每个区域微网，测量获得涡轮机时间常数t
it
，调速器时间常数t
ig
，电力系统时间常数t
ip
，电动汽车聚合器时间常数t
ie
，电力系统增益k
ip
和调速系数k
if
；测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差δfi(t)，联络线功率偏差δp
tie,i
(t)，涡轮机功率偏差δp
it
(t)，调速器位置偏差δx
ig
(t)和电动汽车聚合器功率偏差δp
ie
(t)；测量获得风机功率偏差δp
iwg
(t)和负荷扰动信号δp
id
(t)。
35.电力系统通过自动发电控制实现负载波动下的频率稳定性，当微电网供需功率不平衡时，运行频率偏移期望，可以通过区域控制误差acei＝δp
tie,i
+k
if
δfi进行调频控制。风机系统的功率稳定通过桨距角控制实现。
36.102：依据控制模型完成状态采集、计算奖励信号并设计网络更新规则，得到基于自适应强化学习的智能控制策略；
37.其中，本发明实施例公开涉及的主要状态x
ia
(t)是频率偏差δfi(t)及其在不同时间步的时延，例如δfi(t-1),δfi(t-2),δfi(t-3),
…
；奖励信号主要由当前辅助控制u
ia
(t)的能量成本和状态奖励ri(t)组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数ui(x
ia
,u
ia
)和代价函数ji(t)。
38.103：基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值行为网络依据近似值和当前状态给出新的辅助控制策略；
39.其中，上述控制决策是通过评价网络和行为网络权值的交互迭代实现的，并且自适应于微电网的频率偏差变化。
40.104：将新的辅助控制策略与pid控制器的主控制策略结合，得到一种复合频率控制方案。
41.在这个复合设计中，pid控制器起稳定频率和消除稳态误差的基础作用，而辅助控制器则通过改善动态响应加快频率调节过程。为了保证pid控制调节的基础作用同时也是避免强化学习的异常变动，将获得的辅助控制信号进行限幅操作并与主控制信号相加得到最终的复合控制策略。
42.综上所述，本发明实施例针对互联微电网系统频率控制问题，利用强化学习技术，研究在风力发电和新型储能设备存在下频率能否稳定在标幺值附近允许的范围内，以实现快速、准确、有效的频率调节，是符合微电网技术的应用需求和发展趋势的。
43.实施例2
44.下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
45.201：建立包含电动汽车和风电的互联微电网频率控制模型；
46.其中，本发明实施例公开的复合频率控制方法的一个示例性实施场景，如图2所示，每个区域微电网主要由：频率控制器21、调速器22、微型涡轮机23、电动汽车24、风力涡轮机25等设备组成。
47.在一种可实现方式中，可以利用线性化模型来分析各个设备偏离额定工作点的动态特性，因此本发明实施例使用传递函数来描述每个设备，进而得到互联微电网频率控制模型。如图2的结构框图所示，核心元件的数学模型均用传递函数表示，主要包括：电力系统，可再生能源，电动汽车聚合器和调速器等。电力系统引入不确定的负载需求干扰信号δ
p
id
(t)和随机风力发电干扰信号δp
iwg
(t)，其中风电机组提供角速度信号δω和风速信号δv 给桨距角控制器，δβ则是桨距角控制器反馈的桨距角信号。电力系统产生频率偏差信号δfi(t)，经调速系数ri反馈至调速器，调速器给出位置偏差信号δx
ig
(t)至微型涡轮机，微型涡轮机进一步产生功率偏差δp
it
(t)。此外，本发明实施例考虑大量的电动汽车通过集群的形式接入微电网系统，方便实现集群控制；电动汽车聚合器产生功率偏差信号δp
ie
(t)并作用至电力系统。在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；另外，各区域利用联络线进行互联互通，1/2πt
il
是区域互联增益，基于其他区域的频率偏差，每个区域微网产生联络线功率偏差δp
tie,i
(t)并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
48.其中，步骤201涉及微电网系统参数测量。对于每个区域微网，测量获得涡轮机时间常数t
it
，调速器时间常数t
ig
，电力系统时间常数t
ip
，电动汽车聚合器时间常数t
ie
，电力系统增益k
ip
和调速系数k
if
；测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差δfi(t)，联络线功率偏差δp
tie,i
(t)，涡轮机功率偏差δp
it
(t)，调速器位置偏差δx
ig
(t) 和电动汽车聚合器功率偏差δp
ie
(t)；测量获得风机功率偏差δp
iwg
(t)和负荷扰动信号δp
id
(t)。
49.在一种可实现方式中，电力系统通过自动发电控制实现负载波动下的频率稳定性，当微电网供需功率不平衡时，运行频率偏移期望，可以通过区域控制误差acei＝δp
tie,i
+k
if
δfi进行调频控制，该指标同时考虑了频率偏差和联络线功率偏差。
50.在一些实施例中，电动汽车集成到微电网系统中，可以看作是储能设备，由电动汽车聚合器进行调节。聚合器是电动汽车集群的概念，虽然单辆电动汽车的行驶位置是不确定的，但由多辆电动汽车组成的电动汽车集群会表现出一定的统计规律，其不确定性将大大降低。因而可以使用一阶惯性环节来反映电动汽车聚合器的响应特性。
51.对于风电机组，由于风能的随机性，其输出功率通常是波动的甚至是不稳定的。在上述实施例中，可以通过桨距角控制器26来应对风电波动，进而稳定风力发电机组的功率输出。
52.202：实现基于自适应学习的辅助控制；
53.在步骤202中，首先完成状态采集，如图3中标记31所示。
54.在一种实施例中，辅助控制器中利用行为网络和评价网络来生成辅助自适应控制信号u
ia
(t)。图3示出了辅助控制器结构示意图，其中评价网络321和行为网络322通过强化学习的交互迭代实现控制决策。
55.举例说明，辅助控制器的输入状态向量为：
56.x
ia
(t)＝[δfi(t),δfi(t-1)]
t
,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0057]
其中，x
ia
为辅助控制器的输入状态向量，δfi(t)和δfi(t-1)分别是时刻t的频率偏差及其一步时延，t为数学上的转置操作。
[0058]
在步骤202，要完成奖励信号设计。对于每个区域，效用函数首先可以定义为：
[0059][0060]
其中，ri(t)是奖励信号并可以计算为q为权值矩阵，用以调整系统状态在效用函数中的比重。显然不难发现该奖励由不同的频率偏差组成，用
来评估辅助控制信号u
ia
(t)的性能。这种设计考虑了系统稳定性和动态响应的需求，使得辅助控制具备了较强的自适应能力。
[0061]
在步骤202，继续完成网络规则设计，通过上述两个网络的交互学习获得辅助控制策略。在效用函数基础之上，定义代价函数如下：
[0062]ji
(t)＝ui(x
ia
,u
ia
)+γji(t+1),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0063]
其中，γ是折扣因子，ui为效用函数，ji为代价函数。
[0064]
建立微电网系统频率调节的效用函数ui(x
ia
,u
ia
)和代价函数ji(t)。
[0065]
在一种实施例中，评价网络用来近似代价函数，获得如下的近似值：
[0066][0067]
其中，是代价函数的近似值，是隐层到输出层的权值，是中间变量， mc为评价网络中隐层的神经元个数。
[0068]
在此基础上，可以获得评价网络的学习误差如下：
[0069][0070]
行为网络用来近似辅助控制策略，获得如下的近似值：
[0071][0072]
其中，是隐层到输出层的权值，是中间变量，ma为行为网络中隐层的神经元个数。
[0073]
在此基础上，可以获得行为网络的学习误差如下：
[0074][0075]
其中，ud(t)是理想的代价，一般情况下，可以将其选择为0。
[0076]
接下来，根据评价网络和行为网络的学习误差，确定评价网络的平方误差
[0077]
确定行为网络的平方误差然后，采用基于反向传播的梯度下降方法，确定评价网络和行为网络的更新规则如下：
[0078][0079]
其中，和分别表示评价网络和行为网络的更新量；αc＞0和αa＞0分别代表评价网络和行为网络的学习率。
[0080]
203：互联微电网的复合频率控制。
[0081]
在步骤203中，完成复合频率控制器的构建。图3示出本发明实施例的复合频率控制器的实施思路，辅助控制器32和pid控制器33共同构成复合频率控制器，其体现在图2 中的标记21。在这种情况下，复合控制信号ui(t)是通过将主控制信号u
io
(t)和辅助控制信号uia
(t)相加而获得的，在获得复合控制信号之前，需要对辅助控制信号进行限幅，此设计可以保证pid控制调节的基础作用的同时避免强化学习的异常变动。在这个复合设计中， pid控制器起稳定频率和消除稳态误差的基础作用，而辅助控制器则通过改善动态响应加快频率调节过程。
[0082]
进一步地，复合控制信号将会被用于电力系统34中。不难看出，步骤203是对步骤 201中频率控制模型中频率控制器的细化描述和具体描述。
[0083]
实施例3
[0084]
下面结合具体的实验数据、实例对实施例1和2中的方案进行可行性验证，详见下文描述：
[0085]
基于图2中所示的频率控制模型进行验证仿真，以一个双区域的微电网系统说明如何实施提出的复合频率控制方法。值得强调的是，电动汽车和风机都提供有功功率来补偿发电量，因此在实施例中，风能和电动汽车的影响被视为正功率扰动而负荷需求则被认为是负功率扰动。
[0086]
根据步骤201，对两个区域微电网，获得微型涡轮机时间常数t
1t
＝0.3,t
1t
＝0.4，调速器时间常数t
1g
＝0.1,t
2g
＝0.15，电力系统时间常数t
1p
＝10,t
2p
＝8，电动汽车聚合器时间常数t
1e
＝1,t
2e
＝1,，电力系统增益k
1p
＝1,k
2p
＝2和调速系数k
1f
＝0.4,k
2f
＝0.4。
[0087]
调频过程中，实施者应该测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差δfi(t)，联络线功率偏差δp
tie,i
(t)，涡轮机功率偏差δp
it
(t)，调速器位置偏差δx
ig
(t) 和电动汽车聚合器功率偏差δp
ie
(t)。
[0088]
根据图2中示出的桨距角控制器，测量获得风机功率偏差δp
iwg
(t)；在此基础上，考虑负载需求变化引起的负荷干扰，施加了两个由负荷变化引起的有功功率扰动δp
id
(t)，分别为10秒处的-0.12p.u干扰和40秒处的+0.16p.u干扰。将这两种扰动合并就可以得到图4 所示的扰动信号。
[0089]
根据步骤202，对两个区域微电网按照公式(1)和(2)所示计算输入状态向量x
ia
(t) 和奖励信号其中q＝[1,0；0,0.5]。按照公式(4)和(6)所示配置神经网络，其中折扣因子γ＝0.95，神经元数目mc＝ma＝6。
[0090]
根据步骤203，按照图3所示进行复合频率控制器设计。首先，配置pid控制器，对于区域1，比例增益、积分增益和微分增益分别为k
p1
＝15,k
i1
＝26,k
d1
＝1；对于区域2，比例增益、积分增益和微分增益分别为k
p2
＝5,k
i2
＝20,k
d2
＝4。其次，配置辅助控制器，辅助控制策略根据步骤202中构建的网络结构执行即可，需要对两个区域的辅助控制信号进行限幅，约束在区间[-0.01,0.01]p.u.之内。
[0091]
代表性地，评价网络调整过程如图5所示，可以发现评价权值随着扰动波次变化进行自适应调节；行为网络的调整过程与评价网络类似，此处便不再赘述。一旦获得收敛的权值，辅助控制便会给出新的控制信号，经限幅与pid控制信号相加，便可用于电力系统进行频率控制。图6示出了本公开的复合频率控制方法与纯pid控制方法的调频过程对比，可以发现，复合频率控制方法在维持较好稳态效果的同时还能较快地减少频率波动。为了更加形象地展示两种方法的对比结果，定义频偏积分绝对误差(iae)：
[0092]
[0093]
在实施例中，按照上述公式计算调频阶段的iae。对于区域1，复合频率控制方法和纯pid控制方法的iae分别为f
1ae
＝0.6256和f
1ae
＝0.7810；对于区域2，两种方法的iae 分别为f
2ae
＝0.8158和f
2ae
＝0.9539。
[0094]
总的来说，本发明实施例公开的一种基于自适应学习的互联微电网复合频率控制方法的有益效果是属实的。
[0095]
实施例4
[0096]
一种基于自适应学习的复合频率控制装置，参见图7，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的以下方法步骤：
[0097]
电动汽车和风电的互联微电网频率控制模型；
[0098]
依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
[0099]
基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
[0100]
频率控制器由pid主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与pid控制器的主控制策略相加，实现对微电网频率的复合控制。
[0101]
其中，上述的互联微电网频率控制模型为：
[0102]
电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
[0103]
在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；
[0104]
基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
[0105]
其中，状态采集中的状态为：频率偏差及其在不同时间步的时延；
[0106]
奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
[0107]
该处理器还包括，辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与pid主控制器的控制信号相加，便可得到复合频率控制信号。
[0108]
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0109]
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
[0110]
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
[0111]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
[0112]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例
序号仅仅为了描述，不代表实施例的优劣。
[0113]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。