优化深度Transformer网络的风电功率预测方法及系统

优化深度transformer网络的风电功率预测方法及系统
技术领域
1.本发明属于电力系统规划领域，更具体地，涉及一种基于鲸群算法优化深度transformer网络的风电功率预测方法及系统。


背景技术：

2.由于化石燃料的短缺，环境污染和温室效应问题变得越来越严重，可再生能源的开发和利用已逐渐引起全世界的关注。风能是一种清洁能源，具有巨大的储量和较高的发展潜力。风力发电是风能利用的主要形式之一，近年来受到研究者的越来越多的关注。当将风能大规模用于发电时，必须预测风电功率以确保电网的可靠性，稳定性和经济性。风力发电预测是风电场整合必不可少的关键环节，可以为电力系统的发电、调度和维护提供有效依据。准确的预测结果将大大降低风电并网带来的调峰压力，减少对电网的影响，从而确保电网的安全运行。因此，风电功率预测的研究具有重要的现实意义。风能的随机性和波动性特征使风力发电的输出功率不稳定，这增加了风电功率预测的研究难度。深度学习方法具有强大的数据挖掘功能，并已引起广泛关注。风能数据是长程相关性的时间序列且该序列存在多种长度的复杂依存关系。传统的循环结构的神经网络，比如：循环神经网络(recursive neural network，rnn)，长短期记忆网络(long short
‑
term memory，lstm)和门控循环单元(gated recurrent unit，gru)在处理该复杂的时间序列时存在困难，且无法进行并行运算使得模型训练时间过长。


技术实现要素：

3.针对现有技术的以上缺陷或改进需求，本发明提出了一种优化深度transformer网络的风电功率预测方法及系统，可以提高风电功率预测的效率和精确度。
4.为实现上述目的，按照本发明的一个方面，提供了一种优化深度transformer网络的风电功率预测方法，包括：
5.将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
6.对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
7.初始化transformer网络参数，设置待优化transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
8.根据初始化的transformer网络中超参数的取值建立transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；
9.根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；
10.经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合，并利用最优参数构建woa
‑
transformer风电功率预测模型，以对风电功率进行预测。
11.在一些可选的实施方案中，所述经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合，包括：
12.将transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生transformer中的超参数的初始解；
13.若随机参数p的值小于第一预设值，则判断系数向量|a|是否小于第二预设值，若系数向量|a|小于第二预设值，则选择收缩包围捕食机制，根据a＝2a
·
r
‑
a,c＝2r和更新个体位置，若系数向量|a|不小于第二预设值，则选择搜索捕食机制，根据更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，m为最大迭代次数，r为随机向量且r∈[0,1]，x
rand
表示当前座头鲸种群中随机位置向量，x
rand,j
表示x
rand
中的第j个数据；
[0014]
若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据更新个体位置，其中，x
j
、x
j+1
和分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，d'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[
‑
1,1]；
[0015]
计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合。
[0016]
在一些可选的实施方案中，所述transformer网络模型包括编码器和解码器组成，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
[0017]
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码
‑
解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
[0018]
在一些可选的实施方案中，所述利用最优参数构建woa
‑
transformer风电功率预测模型，以对风电功率进行预测，包括：
[0019]
在利用n个时间点的数据来预测第n+1个时间点的风电功率时，需要将n个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
[0020]
同时将n个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，
进入解码器层中的编码
‑
解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第n+1的时间点风电功率的预测值。
[0021]
按照本发明的另一方面，提供了一种优化深度transformer网络的风电功率预测系统，包括：
[0022]
数据获取模块，用于将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
[0023]
数据处理模块，用于对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
[0024]
初始化模块，用于初始化transformer网络参数，设置待优化transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
[0025]
最优参数获取模块，用于根据初始化的transformer网络中超参数的取值建立transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合；
[0026]
预测模块，用于利用最优参数构建woa
‑
transformer风电功率预测模型，以对风电功率进行预测。
[0027]
在一些可选的实施方案中，所述最优参数获取模块，用于将transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生transformer中的超参数的初始解；若随机参数p的值小于第一预设值，则判断系数向量|a|是否小于第二预设值，若系数向量|a|小于第二预设值，则选择收缩包围捕食机制，根据a＝2a
·
r
‑
a,c＝2r和更新个体位置，若系数向量|a|不小于第二预设值，则选择搜索捕食机制，根据更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，m为最大迭代次数，r为随机向量且r∈[0,1]，x
rand
表示当前座头鲸种群中随机位置向量，x
rand,j
表示x
rand
中的第j个数据；若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据更新个体位置，其中，x
j
、x
j+1
和分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，d'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[
‑
1,1]；计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合。
[0028]
在一些可选的实施方案中，所述transformer网络模型包括编码器和解码器组成，其中，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全
连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
[0029]
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码
‑
解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
[0030]
在一些可选的实施方案中，所述预测模块，用于在利用n个时间点的数据来预测第n+1个时间点的风电功率时，需要将n个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
[0031]
同时将n个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，进入解码器层中的编码
‑
解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第n+1的时间点风电功率的预测值。
[0032]
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
[0033]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：通过本发明的深度transformer网络可以支持并行运算从而提高模型训练效率，该网络中的自注意力(self
‑
attention)机制可以学习存在多种长度的复杂依存关系的时间序列的有用信息。同时，为了避免该网络选择超参数的盲目性，鲸群算法(whale optimization algorithm，woa)用于优化transformer网络中超参数(学习率、epoch、batchsize和dropout)，获得最优的transformer网络中超参数组合，并利用最优参数构建woa
‑
transformer风电功率预测模型。本发明结合优化算法和深度学习预测算法，大大提高了风电功率预测的精确度。
附图说明
[0034]
图1是本发明实施例提供的一种方法流程示意图；
[0035]
图2是本发明实施例提供的另一种方法流程示意图；
[0036]
图3是本发明实施例提供的一种利用鲸群算法优化网络中超参数的流程示意图；
[0037]
图4是本发明实施例提供的一种深度transformer风电功率预测模型结构图。
具体实施方式
[0038]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0039]
如图1及图2所示是本发明实施例提供的一种基于鲸群算法优化深度transformer
网络的风电功率预测方法的流程示意图，包括以下步骤：
[0040]
s1：将收集到的风电功率及其相关影响因素(包括：风向、风速、空气温度、地面气压和轮毂高度处的空气密度等数据)的序列数据作为样本数据；
[0041]
其中，根据历史数据，每一个时间点的风电功率、风向、风速、空气温度、地面气压和轮毂高度处的空气密度等数据的组合作为一个样本数据。
[0042]
s2：对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
[0043]
s3：初始化transformer网络参数，设置待优化transformer网络中的超参数(如学习率、epoch、batchsize和dropout)的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
[0044]
s4：根据初始化的transformer网络中超参数的取值建立transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；
[0045]
s5：根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；
[0046]
s6：经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合，并利用最优参数构建woa
‑
transformer风电功率预测模型，以对风电功率进行预测。
[0047]
在本发明实施例中的鲸群算法是模拟座头鲸觅食时出现的环绕式捕食、发泡网攻击和搜索捕食这三种行为。
[0048]
(a)环绕式捕食行为的数学描述
[0049]
当鲸发现猎物时，它会不断更新自身的位置来逐渐靠近猎物。空间中的最优解在搜索整个空间前是未知的，需要在当前位置的基础上不断调整自身的位置，不妨以x
j
、x
j+1
和来分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，j为当前迭代次数，则有：
[0050]
x
j+1
＝x
j
‑
a
·
d
ꢀꢀꢀ
(1)
[0051][0052]
其中，a和c称为系数向量，其计算过程如下：
[0053]
a＝2a
·
r
‑
a,c＝2r
ꢀꢀꢀ
(3)
[0054][0055]
其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，m为最大迭代次数，r为随机向量且r∈[0,1]。由式(4)可以看出a从2到0线性递减。
[0056]
(b)座头鲸发泡网攻击行为的数学描述
[0057]
该行为主要包括两个过程，分别为收缩包围和螺旋式位置更新。收缩包围过程主要是通过式(4)中a值的变化来实现的。当j增大时，a值会减小，显然向量a的变化范围也在缩小，向量a在区间[
‑
a,a]上变化，而a在迭代过程中从2到0线性递减。将向量a设置为[
‑
1,1]上随机数，座头鲸更新后的位置可以是更新前原始位置和最佳位置之间的任何位置。
[0058]
螺旋式位置更新的过程中首先需要计算鲸群距离猎物多远，然后通过建立螺旋式
数学模型来模拟座头鲸螺旋式游动过程：
[0059][0060]
其中，d'表示第i个鲸的当前最佳位置到猎物的距离，b为对数螺旋常数，l为随机数且l∈[
‑
1,1]。
[0061]
考虑到收缩包围和螺旋式位置更新两个过程会同时发生的情况，不妨假设选择这两个过程存在阈值为50％，即把两个过程同时发生的问题看成是具有一定概率的仅选择其中一个过程的问题，则有：
[0062][0063]
其中，p为随机数且p∈[0,1]。
[0064]
(c)搜索捕食行为的数学描述
[0065]
考虑鲸群更广的捕食范围，前两种行为中鲸群搜索的主要范围在[
‑
1,1]，但是在这个区间以外也可能存在更好的捕食对象，为了能够搜索到全局的最优解，采用随机选择当前鲸鱼位置的方式，搜索捕食的过程同样可以建立在随机向量a的基础上，此时研究的范围满足|a|＞1，则有：
[0066][0067]
其中x
rand
表示当前座头鲸种群中随机位置向量，此处座头鲸个体的选择也具有随机性，x
rand,j
表示x
rand
中的第j个数据。
[0068]
woa在实际使用中会随机选择环绕式捕食、发泡网攻击和搜索捕食三种行为作为搜素最优解的解决方案，在每次进行迭代更新运算时都会随机选择鲸群个体和最佳的问题解决方案。参数a由2减小到0在进行发泡网攻击和搜索捕食行为时座头鲸位置更新过程中都发挥着极其重要的作用。当|a|＞1时主要是选择座头鲸的个体，而当|a|＜1时主要是选择最优座头鲸的位置，随机参数p可以使座头鲸在作螺旋运动或者圆周运动之间切换。当鲸群算法满足迭代的终止条件时会停止迭代。
[0069]
在本发明实施例中，如图3所示，为了减少人工调整transformer模型超参数(学习率、epoch、batchsize和dropout)的工作量，采用woa来自动寻优得到这些最优的超参数组合，从而获得最佳的transformer模型来进行电力负荷预测的具体实现方式如下：
[0070]
(1)鲸群初始化，具体过程是利用随机数生成器自动产生transformer中的超参数的初始解；
[0071]
(2)若随机参数p的值小于第一预设值，则判断系数向量|a|是否小于第二预设值，若系数向量|a|小于第二预设值，则选择收缩包围捕食机制，根据a＝2a
·
r
‑
a,c＝2r和更新个体位置，若系数向量|a|不小于第二预设值，则选择搜索捕食机制，根据
更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，m为最大迭代次数，r为随机向量且r∈[0,1]，x
rand
表示当前座头鲸种群中随机位置向量，x
rand,j
表示x
rand
中的第j个数据；
[0072]
(3)若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据更新个体位置，其中，x
j
、x
j+1
和分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，其中，位置表示transformer中的超参数的具体值，d'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[
‑
1,1]。
[0073]
(4)计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合，由得到的最优超参数优化transformer网络模型得到woa
‑
transformer风电功率预测模型，以对风电功率进行预测。
[0074]
在本发明实施例中，为了解决风电预测问题，在谷歌设计的用于自然语言处理的transformer模型的基础上进行了修改来处理时间序列。修改后的模型如图4所示，主要由一个编码器和一个解码器组成。
[0075]
编码器由输入层，位置编码层和四个相同的编码器层堆叠而成。输入层通过全连接层将输入的数据映射成d
model
维的向量。编码层将输入向量与位置编码向量逐元素相加，具体过程是使用具有正弦和余弦函数的位置编码对时间序列数据中的顺序信息进行编码。所得的向量被馈送到四个编码器层。每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层(feed forward)。每个子层之后是归一化层(norm)。编码器产生d
model
维的向量被馈送到解码器。
[0076]
解码器是由输入层，四个相同的解码器层和一个输出层堆叠而成。输入层将解码器输入映射成d
model
维的向量。每个解码器层中除了含有编码器层中的两个子层之外，还插入一个第三子层，即编码
‑
解码注意力层，来对编码器的输出应用自我注意力机制。最后，有一个含有单个神经元的输出层，它将最后一个解码器层的输出映射到风电功率预测的值。
[0077]
使用该模型来融合相关特征向量信息并完成风电功率的预测。当利用n个时间点的数据来预测第n+1个时间点的风电功率时，需要将n个时间点的5维特征向量(风向、风速、空气温度、地面气压和轮毂高度处的空气密度)通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过四个编码器层最后被馈送到解码器。同时将n个时间点对应的风电功率通过解码器输入层映射成时间序列，该时间序列进入解码器的过程与编码器中的序列传递过程类似，不同之处在于在解码器中不含有编码层，而是在解码层中增加了编码
‑
解码注意力层，用来关注编码器和解码器中序列的相关性信息。特征向量和风电功率的时间序列经过整个transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第n+1的时间点风电功率的预测值。
[0078]
在本发明实施例中，选择woa优化后得到最佳的学习率、epoch、batchsize和
dropout取值来设置transformer的超参数。利用训练集数据进行模型学习并更新内部参数，保存训练好的模型参数，则可以用测试集来进行风电功率预测。
[0079]
本发明实施例的基于鲸群算法优化深度transformer网络的风电功率预测方法，深度transformer网络可以支持并行运算从而提高模型训练效率，该网络中的自注意力(self
‑
attention)机制可以学习存在多种长度的复杂依存关系的时间序列的有用信息，同时利用鲸群算法来优化transformer模型的超参数减少了人工调整参数的工作量，也提高了风电功率预测的精确度。
[0080]
本申请还提供一种优化深度transformer网络的风电功率预测系统，包括：
[0081]
数据获取模块，用于将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
[0082]
数据处理模块，用于对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
[0083]
初始化模块，用于初始化transformer网络参数，设置待优化transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
[0084]
最优参数获取模块，用于根据初始化的transformer网络中超参数的取值建立transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合；
[0085]
预测模块，用于利用最优参数构建woa
‑
transformer风电功率预测模型，以对风电功率进行预测。
[0086]
在一些可选的实施方案中，上述最优参数获取模块，用于将transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生transformer中的超参数的初始解；若随机参数p的值小于第一预设值，则判断系数向量|a|是否小于第二预设值，若系数向量|a|小于第二预设值，则选择收缩包围捕食机制，根据a＝2a
·
r
‑
a,c＝2r和更新个体位置，若系数向量|a|不小于第二预设值，则选择搜索捕食机制，根据更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，m为最大迭代次数，r为随机向量且r∈[0,1]，x
rand
表示当前座头鲸种群中随机位置向量，x
rand,j
表示x
rand
中的第j个数据；若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据更新个体位置，其中，x
j
、x
j+1
和分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，d'表示第i个鲸的当前最佳位置到猎物的距离，b为对数螺旋常数，l为随机数且l∈[
‑
1,1]；计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法woa的若干次迭代后获得最优的transformer网络中超参数组合。
[0087]
在一些可选的实施方案中，上述transformer网络模型包括编码器和解码器组成，其中，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
[0088]
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码
‑
解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
[0089]
在一些可选的实施方案中，上述预测模块，用于在利用n个时间点的数据来预测第n+1个时间点的风电功率时，需要将n个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
[0090]
同时将n个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，进入解码器层中的编码
‑
解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第n+1的时间点风电功率的预测值。
[0091]
其中，各模块的具体实施方式可以参考上述方法实施例的描述，本发明实施例将不再复述。
[0092]
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现方法实施例中的优化深度transformer网络的风电功率预测方法。
[0093]
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
[0094]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。