基于自然进化策略的极限学习机网络参数两阶段优化方法

1.本发明涉及电力工程技术领域，尤其涉及基于自然进化策略的极限学习机风力发电两阶段预测方法。


背景技术：

2.由于风电、光伏等绿色可再生能源受天气等环境因素影响较大，具有很强的不确定性，预测未来一段时间内可再生能源出力状况，可以提前制定入网运行规划，避免强不确定性带来的风险隐患。准确有效且及时地对其出力进行预测能够揭示，将对提高风力电场能源质量，保证电力系统安全稳定运行提供积极的指导作用。
3.现有的风力发电功率预测模型中，考虑了历史风能出力和诸如风速、风向等外部环境因素统计数据，对于风机和风电场在多种环境因素干扰下的发电功率进行了预测。然而已有的反向传播bp算法、径向基rbf算法等预测模型的参数训练过程和模型预测精度往往依赖于模型参数的反复优化，造成建立与训练模型的过程经常需要花费大量的时间，而且每当有新的预测任务到来时都需要大量的资源进行重新训练。因而在有限的时间内无法取得较高的预测精度，在实际应用的过程中受到很大的限制。
4.本发明针对目前已有的预测模型存在的训练速度慢精度低等问题设计了一种基于极限学习机的风力发电预测方法，极大地降低预测时间。同时为了提高极限学习机模型预测精度，提出了一种基于自然进化策略的极限学习机网络参数两阶段优化方法，在第一阶段极限学习机模型参数的基础上引入输出层偏移，利用自然进化算法对其进行优化，并更进一步引入自适应因子来优化自然进化算法的收敛速度，从而达到提高预测模型精度的效果。


技术实现要素：

5.本发明所要解决的技术问题是针对背景技术的缺陷，提供基于自然进化策略的极限学习机网络参数两阶段优化方法，在保证较高预测精度的同时，极大地降低了预测时间。
6.本发明为解决上的技术问题采用以下技术方案：
7.基于自然进化策略的极限学习机网络参数两阶段优化方法，首先建立了基于极限学习机的风力发电预测模型得到第一阶段预测模型网络参数，然后对上述模型参数与预测精度之间的关系进行数学建模，并利用基于自然进化策略的优化算法，在验证集上对预测模型rmse误差进行第二阶段参数优化，从而提高预测模型精度减小预测误差。
8.基于自然进化策略的极限学习机网络参数两阶段优化方法具体步骤如下：
9.第一阶段训练分为如下四步：
10.步骤(1)、搜集风电场单台或多台风机历史风能出力和外部环境因素如风速、风向等统计数据；
11.步骤(2)、收集到的统计数据进行标准化处理，将其变形为预测对象要求的格式；
12.步骤(3)、将整个数据集按一定比例划分为训练集、验证集和测试集，然后通过训
练集确定适合该预测对象的隐藏节点数和激活函数等极限学习机模型网络结构参数；
13.步骤(4)、利用极限学习机建立训练集上历史风能出力、外部环境因素与所需预测目标间的初步预测模型，得到第一阶段的模型网络参数。
14.第二阶段训练分为如下四步：
15.步骤(1)、对上述第一阶段得到的模型参数中映入隐含层至输出层的偏移基组合成第二阶段参数训练所需的输入，同时对其与该模型在测试集上的预测误差之间的映射关系进行数学建模；
16.步骤(2)、通过基于自然进化策略的优化算法，将预测模型的网络参数视为输入，预测误差视为优化目标进行全局优化，减少使其在测试集上的rmse误差；
17.步骤(3)、利用训练好的预测模型参数对预测目标进行预测，计算预测任务目标的预测值；
18.步骤(4)、当上述数据集之后有更进一步的数据产生时，将其加入到旧的数据集中合并成新的总数据集，可以不断适应预测对象系统结构关系的变化。
19.第一阶段步骤(1)中，历年统计数据的风能出力预测目标数据用y表示，历史风能出力和外部环境因素如风速、风向等统计数据分别用数组z1,z2,z3,
…
,z
m
表示。
20.第一阶段步骤(2)中首先根据原始数据的时间维度将其处理成达成预测目标的所需的时间间隔得到处理后的数据集，然后运用mapminmax函数y＝(ymax
‑
ymin)*(x
‑
xmin)/(xmax
‑
xmin)+ymin，令xmax等于1，xmin等于0，将数据集进行[0,1]标准化处理。
[0021]
第一阶段步骤(3)中的训练集、验证集和测试集划分方法和极限学习机模型网络结构参数方法如下：
[0022]
①
按照2∶1∶1的比例将经过步骤(2)标准化处理的数据集分别分为训练集、验证集和测试集；
[0023]
②
将训练集输入至极限学习机预测模型，选取不同的网络激活函数分别重复多次训练网络；
[0024]
③
记录在不同激活函数下的预测模型在验证集上的平均误差，选取误差最小的激活函数g(z)作为最终模型网络参数；
[0025]
④
将训练集输入至极限学习机预测模型，选取不同的网络隐藏节点数分别重复多次训练网络；
[0026]
⑤
记录在不同隐藏节点数下的预测模型在验证集上的平均误差，选取误差最小的隐藏节点数作为最终模型网络参数。
[0027]
第一阶段步骤(4)中的确定第一阶段的模型网络参数过程如下：
[0028]
①
对于步骤(3)中确定的训练集，随机产生输入层到隐含层连接权重w'
ij
和偏移b'
ij
；
[0029]
②
计算隐含层输出矩阵h'：
[0030][0031]
③
通过广义矩阵逆运算求得其中为矩阵h'的moore
‑
penrose广义逆
矩阵；
[0032]
④
得到第一阶段的模型网络参数连接权重w'
ij
、偏移b'
ij
和输出权重β'。
[0033]
第二阶段步骤(1)中的对上述第一阶段得到的模型参数中引入隐含层至输出层的偏移基组合成第二阶段参数训练所需的输入，同时对其与该模型在测试集上的预测误差之间的映射关系进行数学建模过程如下：
[0034]
①
将上述第一阶段模型参数连接权重w'
ij
、偏移b'
ij
和输出权重β'的数据集合按顺序组合成一个向量形式视为输入x1,x2,
…
,x
d
；
[0035]
②
在极限学习机模型参数的基础上，引入新参数隐含层到输出层的偏移基b'
o
，初始值设置为零，视为x
d+1
与原模型参数一起组合为第二阶段优化参数；
[0036]
③
将该模型在测试集上的预测误差e视为模型函数的输出f(x1,x2,
…
,x
d+1
)；
[0037]
④
将输入与输出之间的映射关系转化为标准的参数优化问题：
[0038]
min f(x1,x2,
…
,x
d+1
)
[0039][0040]
第二阶段步骤(2)中的自然进化策略的优化算法过程如下：
[0041]
①
将第二阶段步骤(1)中所得多个输入x1,x2,
…
,x
d+1
作为初始种群空间；
[0042]
②
利用多重正态分布对每一组输入x添加正比于高斯分布的噪声e
i
～n(0,i)得到突变种群空间在初始化基因x周围生成符合分布的多个基因样本；
[0043]
③
计算每一个基因样本x
i
的目标函数适宜度值f(x
i
)；
[0044]
④
计算将被用于更新基因个体x基因序列的对数导数以及被用于更新多重正态分布分布范围σ的对数导数其数学计算公式分别如下所示：
[0045][0046][0047]
⑤
计算被用于更新基因个体x基因序列的自然梯度向量以及被用于更新多重正态分布分布范围σ的自然梯度向量其数学计算公式分别如下所示：
[0048][0049][0050]
⑥
用和分别以同样的学习速率η更新基因个体x基因序列和多重正态分布分布范围σ，其数学公式如下：
[0051][0052][0053]
⑦
引入自适应因子λ，其数值由f(x
i
)的方差σ决定，当方差σ过大时，令λ<1,缩小多重正态分布分布范围σ；反之，当方差σ过小时，令λ>1,扩大多重正态分布分布范围σ；
[0054]
⑧
重复
①
～
⑦
过程直至达到设定好的收敛条件或者循环上限。
[0055]
第二阶段步骤(3)中的计算预测目标预测值的过程如下：
[0056]
将步骤(6)中所得优化完成的输入x(x1,x2,
…
,x
d+1
)中的前d位数据重新组合成优化后连接权重w”ij
、偏移b”ij
和输出权重β”的矩阵形式，而x
d+1
作为优化后的输出偏移基b”o
，在新的预测数据输入值即验证集进入系统时计算其预测目标预测值t：
[0057][0058]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0059]
(1)在考虑时序历史数据与预测数据间的内在关联性的基础上，引入了外部环境因素的影响；
[0060]
(2)在第一阶段极限学习机所得模型参数的基础上创造性地引入了自然进化策略优化算法，对预测模型参数进行第二阶段的调整优化，从而提高了模型预测精度；
[0061]
(3)在自然进化策略算法中引入了自适应因子使算法能够随着迭代的进行自适应地调整优化算法的搜索范围及种群中个体间的聚合均衡度；
[0062]
(4)在极限学习机模型中添加了额外的输出层偏移参数，与传统风力发电预测方法相比提高了预测的准确度，且极大地降低了预测所需时间。
附图说明
[0063]
图1为本发明基于自然进化策略算法的极限学习机网络参数优化方法的流程图。
[0064]
图2为本发明具体实施例部分数据展示。
[0065]
图3为本发明调整不同隐藏节点激活函数下第一阶段模型预测误差对比图。
[0066]
图4为本发明调整不同隐藏节点数下第一阶段模型预测误差对比图。
[0067]
图5为本发明第一阶段的模型预测结果真实值与预测值对比图。
[0068]
图6为本发明基于自然进化策略算法的优化过程展示图。
[0069]
图7为本发明两阶段优化中，部分预测目标测试集真实值、第一阶段测试集预测值和第二阶段测试集预测值对比图。
具体实施方式
[0070]
下面结合附图对本发明的技术方案做进一步的详细说明：
[0071]
本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。
[0072]
本发明所述的故障率综合预测方法对基于自然进化策略的极限学习机风力发电预两阶段预测方法对模型参数进行了优化并对风能处理情况进行了预测。本实施例中，统计了风电场功率历史数据、历史风速、历史风向三种预测变量。
[0073]
基于自然进化策略的极限学习机风力发电预两阶段预测方法，两阶段具体步骤如
下：
[0074]
在第一阶段训练过程中：
[0075]
1、搜集风电场单台或多台风机历史风能出力和外部环境因素如风速、风向等统计数据；风能出力预测目标数据用y表示，历史风能出力和外部环境因素如风速、风向等统计数据分别用数组z1,z2,z3,
…
,z
m
表示。本实施例的风能出力预测目标数据y和外部环境因素z1,z2,z3,
…
,z
m
的历年统计数据来自national renewable energy laboratory(nrel)官方网站上某风电场2012年功率和周围环境因素信息数据，其nrel内部标识号为46620，经度坐标为
‑
106.398224，纬度坐标为39.273796。部分数据展示如图2所示。
[0076]
2、原数据集为每五分钟记录一次的风力发电厂功率出力数据以及周围环境风速、风向信息，在实际使用过程中为了符合预测短期内未来下一个小时风力发电厂功率出力这一任务目标将其处理成时间间隔为一个小时的数据形式，处理完成后的数据集长度为8784小时。最后根据极限学习机预测模型的特点，将模型输入参数和预测目标即太阳能出力通过标准化函数mapminmax函数作[0 1]的标准化处理。
[0077]
3、将整个数据集按2：1：1划分为三份。第一份为训练集占可用数据的前四分之二，数量为4392小时，作用是用于极限学习机本身第一阶段的训练参数确定；第二部分为验证集占之后的四分之一，数量为2196小时，作用是参与本章节极限学习机第二阶段的参数优化任务，通过自然进化策略算法提高极限学习机预测模型在验证集上目标函数适宜度，以提高其预测准确性降低预测误差；最后一部分作为测试集占数据集最后的四分之一，数量为2196小时。
[0078]
通过反复对比实验测试隐藏节点激活函数与隐藏节点个数对预测结果的影响，分别由图3、图4所示，从图中不同曲线之间的对比结果所示s型函数sigmoid function与的表现最好，相较于其他两个激活函数更加适合预测本文研究案例，随着隐藏节点数的不断提高训练集上的rmse误差一直呈现下降趋势，这表明随着隐含层隐藏节点数的提高，模型复杂度上升，极限学习机模型对训练集输入输出关系拟合效果加强；而验证集上的rmse误差在隐藏节点数小于100时呈现下降趋势，当隐藏节点数在100到200之间时基本保持平稳趋势，当隐藏节点数大于200时，存在较为明显的上升趋势，因此选择100作为本实施例隐藏节点参数。
[0079]
4、利用极限学习机建立训练集上历史风能出力、外部环境因素与所需预测目标间的初步预测模型，得到第一阶段的模型网络参数，初步预测模型结果真实值与预测值对比图如图5所示。
[0080]
在第二阶段训练过程中：
[0081]
1、对第一阶段得到的模型参数中引入隐含层至输出层的偏移基组合成第二阶段参数训练所需的输入，同时对其与该模型在测试集上的预测误差之间的映射关系进行数学建模过程如下：
[0082]
①
将上述第一阶段模型参数连接权重w'
ij
、偏移b'
ij
和输出权重β'的数据集合按顺序组合成一个向量形式视为输入x1,x2,
…
,x
d
；
[0083]
②
在极限学习机模型参数的基础上，引入新参数隐含层到输出层的偏移基b'
o
，初始值设置为零，视为x
d+1
与原模型参数一起组合为第二阶段优化参数；
[0084]
③
将该模型在测试集上的预测误差e视为模型函数的输出f(x1,x2,
…
,x
d+1
)；
[0085]
④
将输入与输出之间的映射关系转化为标准的参数优化问题：
[0086]
min f(x1,x2,
…
,x
d+1
)
[0087][0088]
2、利用自然进化策略算法对该问题进行求解其具体过程如下：
[0089]
①
将第二阶段步骤(1)中所得多个输入x1,x2,
…
,x
d+1
作为初始种群空间；
[0090]
②
利用多重正态分布对每一组输入x添加正比于高斯分布的噪声e
i
～n(0,i)得到突变种群空间在初始化基因x周围生成符合分布的多个基因样本；
[0091]
③
计算每一个基因样本x
i
的目标函数适宜度值f(x
i
)；
[0092]
④
计算将被用于更新基因个体x基因序列的对数导数以及被用于更新多重正态分布分布范围σ的对数导数其数学计算公式分别如下所示：
[0093][0094][0095]
⑤
计算被用于更新基因个体x基因序列的自然梯度向量以及被用于更新多重正态分布分布范围σ的自然梯度向量其数学计算公式分别如下所示：
[0096][0097][0098]
⑥
用和分别以同样的学习速率η更新基因个体x基因序列和多重正态分布分布范围σ，其数学公式如下：
[0099][0100][0101]
⑦
引入自适应因子λ，其数值由f(x
i
)的方差σ决定，当方差σ过大时，令λ<1,缩小多重正态分布分布范围σ；反之，当方差σ过小时，令λ>1,扩大多重正态分布分布范围σ；
[0102]
⑧
重复
①
～
⑦
过程直至达到设定好的收敛条件或者循环上限。
[0103]
其中在本实施例中具体的多重正态分布分布范围σ设置为0.1，学习速率η设置为1％，当方差σ大于1时λ设置为0.8，当方差σ小于1时λ设置为1.1。其具体的训练优化过程如图6所示。
[0104]
3、在测试集上检验该优化预测模型的实际预测能力，部分预测目标测试集真实值、第一阶段测试集预测值和第二阶段测试集预测值对比结果如图7所示，在本实施例中验证集上的rmse误差从经过优化前的0.1327下降到了优化后的0.1310，使得验证集上的rmse预测误差减小了1.28％。在测试上从经过优化前的0.1418下降到了优化后的0.1395，使得测试上的rmse预测误差减小了1.62％。