一种可解释性增量Transformer的风电场出力量子迁移平行预测方法

文档序号:37352042发布日期:2024-03-18 18:33阅读:17来源:国知局
本发明属于电力系统人工智能领域,涉及迁移学习、增量学习、平行系统以及transformer方法,适用于电力系统的风电场出力预测。
背景技术
::1、现有风电场出力预测的时间序列模型缺乏可解释性。虽然这些现有的时间序列模型能够预测风电场的出力,但缺乏可解释性。现有的时间序列模型预测的依据和原理无法被解释。缺乏可解释性会限制这些时间序列模型在复杂场景下的应用。其次,风电场受多种因素影响,包括风向、风速、温度的复杂时序关系。现有的时间序列模型难以捕捉这些复杂的非线性关系,导致预测精确度低。2、现有风电场出力预测的时间序列模型对某一个风电场进行风力预测时,会依赖于该风电场的大量历史数据。这需要对大量的数据进行采集,从而增加数据成本。另外,风电场的环境和状态可能随时间而变化,这些现有的时间序列模型无法接收新数据并实时更新,从而无法满足实时性的要求。而且现有风电场出力预测的时间序列模型都属于单一系统方法。当系统的参数空间复杂且非凸时,单一系统方法在训练时会陷入局部最优解。此外,单一系统方法的鲁棒性不足,还会存在过拟合的风险。3、因此,提出一种可解释性增量transformer的风电场出力量子迁移预测方法,来解决现有方法存在的可解释性差、预测精度低、过度依赖风电场大量历史数据、无法满足实时性、容易陷入局部最优解以及鲁棒性差的问题。技术实现思路1、一种可解释性增量transformer的风电场出力量子迁移预测方法能对风电出力进行精准预测,具备可解释性、鲁棒性和泛化能力强;建立np个参数不同的系统,每个系统都由可解释性增量transformer的风电场出力量子迁移平行预测方法组成;这np个系统同时运行,寻找最优参数,最优的系统被用于预测中;每个系统中可解释性增量transformer的风电场出力量子迁移平行预测方法在使用过程中的步骤为:2、步骤(1)scada系统采集t时刻的回溯数据dt=[d1,t-k:t,d2,t-k:t,d3,t-k:t,d4,t-k:t,d5,t-k:t]和前瞻数据st=[s1,t:t+τ,s2,t:t+τ,s3,t:t+τ];3、t时刻的回溯数据为历史风电场出力数据d1,t-k:t、历史风速数据d2,t-k:t、历史风向数据d3,t-k:t、历史湿度数据d4,t-k:t以及历史温度数据d5,t-k:t;4、d1,t-k:t为在t时刻过去k小时的风电场出力数据;5、d2,t-k:t为在t时刻过去k小时的风速数据;6、d3,t-k:t为在t时刻过去k小时的风向数据;7、d4,t-k:t为在t时刻过去k小时的湿度数据;8、d5,t-k:t为在t时刻过去k小时的温度数据;9、t时刻的前瞻数据为未来风速数据s1,t:t+τ、未来风向数据s2,t:t+τ以及未来湿度数据s3,t:t+τ;未来风速数据、未来风向数据和未来湿度数据从气象站采集得到;10、s1,t:t+τ为在t时刻未来τ小时的风速数据;11、s2,t:t+τ为在t时刻未来τ小时的风向数据;12、s3,t:t+τ为在t时刻未来τ小时的湿度数据;13、步骤(2)可解释性增量transformer的风电场出力量子迁移预测方法由变量选择网络a、变量选择网络b、长短期记忆网络编码器、长短期记忆网络解码器、门控线性单元a、门控线性单元b、门控线性单元c、min-max归一化层a、min-max归一化层b、min-max归一化层c、门控残差网络a、门控残差网络b、门控残差网络c、可解释性多头注意力网络、量子前馈神经网络以及全连接层组成;14、将回溯数据dt输入到变量选择网络a中,得到t时刻的第1融合特征变量为的第1个元素,为的第2个元素;为的第k个元素;15、步骤(3)将第1融合特征变量输入到长短期记忆神经网络编码器中,得到t时刻的编码候选隐藏状态与编码特征和的维度均为1×k;16、步骤(4)将步骤(3)得到的编码特征输入到门控线性单元a中,得到t时刻的第1选择变量的维度为1×k;17、步骤(5)将和进行对应位置的元素相加求和,得到t时刻的第1求和变量为的第1个元素,为的第2个元素;为的第k个元素;18、步骤(6)将第1求和变量输入到min-max归一化层a中,得到t时刻的第1归一化变量为的维度为1×k;19、步骤(7)将第1归一化变量输入到门控残差网络a中,得到第1残差变量的维度为1×k;步骤(8)将前瞻数据st输入到变量选择网络b中,得到t时刻的第2融合特征变量其中,为的第1个元素,为的第2个元素;为的第k个元素;20、步骤(9)将第2融合特征变量和步骤(3)中得到的编码候选隐藏状态输入到长短期记忆神经网络解码器中,得到t时刻的解码特征其中,的维度均为1×τ;21、步骤(10)将步骤(9)中得到的解码特征输入到门控线性单元b中,得到t时刻的第2选择变量的维度为1×τ;22、步骤(11)将和进行对应位置的元素相加求和,得到t时刻的第2求和变量的维度为1×τ;步骤(12)将第2求和变量输入到min-max归一化层b中,得到t时刻的第2归一化变量为的维度为1×τ;23、步骤(13)将第2归一化变量输入到门控残差网络b中,得到第2残差变量的维度为1×τ;步骤(14)将步骤(7)中得到的第1残差变量和步骤(13)中得到的第2残差变量输入到可解释性多头注意力网络中,得到t时刻的可解释注意变量yatten,t;24、步骤(15)将yatten,t输入到门控线性单元c中,得到t时刻的第3选择变量的维度为1×τ;25、步骤(16)将和进行对应位置的元素相加求和,得到t时刻的第3求和变量的维度为1×τ;步骤(17)将第3求和变量输入到min-max归一化层c中,得到t时刻的第3归一化变量为的维度为1×τ;26、步骤(18)将第3归一化变量输入到门控残差网络c中,得到第3残差变量其中,为的第1个元素,为的第2个元素;为的第τ个元素;27、步骤(19)将第3残差变量输入到量子前馈神经网络中,得到t时刻的量子特征其中,q1,t为qt的第1个元素,q2,t为qt的第2个元素;q2,t为qt的第mq个元素;28、步骤(20)将量子特征qt输入到全连接层中,输入得到t时刻的风力出力预测变量pt;pt的维度为1×24,表示未来24小时的风电场出力情况;29、步骤(21)变量选择网络a由6个门控残差网络和1个softmax激活函数组成;6个门控残差网络分别为:门控残差网络a1、门控残差网络a2、门控残差网络a3、门控残差网络a4、门控残差网络a5以及门控残差网络a6;30、门控残差网络a1的输出为:31、ygrn,a1=fgrn,a1(d1,t-k:t)=layernorm(d1,t-k:t+glu(w1,grn,a1(elu(w2,grn,a1d1,t-k:t+b2,grn,a1))+b1,grn,a1))(1)式中,ygrn,a1为门控残差网络a1的输出;fgrn,a1(·)为门控残差网络a1函数;layernorm(·)为min-max归一化函数;glu(·)为门控线性单元;w1,grn,a1和b1,grn,a1分别为门控残差网络a1中第1个全连接层的权重和偏置;w2,grn,a1和b2,grn,a1分别为门控残差网络a1中第2个全连接层的权重和偏置;elu(·)为指数线性单位激活函数;32、门控残差网络a1中的门控线性单元、门控残差网络a2中的门控线性单元、门控残差网络a3中的门控线性单元、门控残差网络a4中的门控线性单元、门控残差网络a5中的门控线性单元、门控残差网络a6中的门控线性单元、门控残差网络b1中的门控线性单元、门控残差网络b2中的门控线性单元、门控残差网络b3中的门控线性单元、门控残差网络b4中的门控线性单元、门控线性单元a、门控线性单元b和门控线性单元c具有一致的结构;输入与输出的计算过程为:33、34、式中,yout,glu为门控线性单元的输出;xin,glu为门控线性单元的输出;wglu,1和bglu,1分别为门控线性单元中第1个全连接层的权重和偏置;wglu,2和bglu,2分别为门控线性单元中第2个全连接层的权重和偏置;σ(·)是sigmoid函数;为哈达玛积;35、门控残差网络a2的输出为:36、ygrn,a2=fgrn,a2(d2,t-k:t)=layernorm(d2,t-k:t+glu(w1,grn,a2(elu(w2,grn,a2d2,t-k:t+b2,grn,a2))+b1,grn,a2))   (3)式中,ygrn,a2为门控残差网络a2的输出;fgrn,a2(·)为门控残差网络a2函数;w1,grn,a2和b1,grn,a2分别为门控残差网络a2中第1个全连接层的权重和偏置;w2,grn,a2和b2,grn,a2分别为门控残差网络a2中第2个全连接层的权重和偏置;37、门控残差网络a3的输出为:38、ygrn,a3=fgrn,a3(d3,t-k:t)=layernorm(d3,t-k:t+glu(w1,grn,a3(elu(w2,grn,a3d3,t-k:t+b2,grn,a3))+b1,grn,a3))   (4)式中,ygrn,a3为门控残差网络a3的输出;fgrn,a3(·)为门控残差网络a3函数;w1,grn,a3和b1,grn,a3分别为门控残差网络a3中第1个全连接层的权重和偏置;w2,grn,a3和b2,grn,a3分别为门控残差网络a3中第2个全连接层的权重和偏置;39、门控残差网络a4的输出为:40、ygrn,a4=fgrn,a4(d4,t-k:t)=layernorm(d4,t-k:t+glu(w1,grn,a4(elu(w2,grn,a4d4,t-k:t+b2,grn,a4))+b1,grn,a4))   (5)式中,ygrn,a4为门控残差网络a4的输出;fgrn,a4(·)为门控残差网络a4函数;w1,grn,a4和b1,grn,a4分别为门控残差网络a4中第1个全连接层的权重和偏置;w2,grn,a4和b2,grn,a4分别为门控残差网络a4中第2个全连接层的权重和偏置;41、门控残差网络a5的输出为:42、ygrn,a5=fgrn,a5(d5,t-k:t)=layernorm(d5,t-k:t+glu(w1,grn,a5(elu(w2,grn,a5d5,t-k:t+b2,grn,a5))+b1,grn,a5))  (6)式中,ygrn,a5为门控残差网络a5的输出;fgrn,a5(·)为门控残差网络a5函数;w1,grn,a5和b1,grn,a5分别为门控残差网络a5中第1个全连接层的权重和偏置;w2,grn,a5和b2,grn,a5分别为门控残差网络a5中第2个全连接层的权重和偏置;43、门控残差网络a6的输出为:44、ygrn,a6=fgrn,a6(dt)=layernorm(dt+glu(w1,grn,a6(elu(w2,grn,a6dt+b2,grn,a6))+b1,grn,a6))   (7)式中,ygrn,a6为门控残差网络a6的输出;fgrn,a6(·)为门控残差网络a6函数;w1,grn,a6和b1,grn,a6分别为门控残差网络a6中第1个全连接层的权重和偏置;w2,grn,a6和b2,grn,a6分别为门控残差网络a6中第2个全连接层的权重和偏置;45、变量选择网络a的输出为:46、47、式中,vg1为第1选择系数矩阵,变量选择网络a的第1选择系数矩阵为:48、49、步骤(22)变量选择网络b由4个门控残差网络和1个softmax激活函数组成;4个门控残差网络分别为:门控残差网络b1、门控残差网络b2、门控残差网络b3以及门控残差网络b4;50、门控残差网络b1的输出为:51、ygrn,b1=fgrn,b1(s1,t:t+τ)=layernorm(s1,t:t+τ+glu(w1,grn,b1(elu(w2,grn,b1s1,t:t+τ+b2,grn,b1))+b1,grn,b1))   (10)式中,ygrn,b1为门控残差网络b1的输出;fgrn,b1(·)为门控残差网络b1函数;w1,grn,b1和b1,grn,b1分别为门控残差网络b1中第1个全连接层的权重和偏置;w2,grn,b1和b2,grn,b1分别为门控残差网络b1中第2个全连接层的权重和偏置;52、门控残差网络b2的输出为:53、ygrn,b2=fgrn,b2(s2,t:t+τ)=layernorm(s2,t:t-τ+glu(w1,grn,b2(elu(w2,grn,b2s2,t:t+τ+b2,grn,b2))+b1,grn,b2))  (11)式中,ygrn,b2为门控残差网络b2的输出;fgrn,b2(·)为门控残差网络b2函数;w1,grn,b2和b1,grn,b2分别为门控残差网络b2中第1个全连接层的权重和偏置;w2,grn,b2和b2,grn,b2分别为门控残差网络b2中第2个全连接层的权重和偏置;54、门控残差网络b3的输出为:55、ygrn,b3=fgrn,b3(s3,t:t+τ)=layernorm(s3,t:t+τ+glu(w1,grn,b3(elu(w2,grn,b3s2,t:t+τ+b2,grn,b3))+b1,grn,b3))  (12)式中,ygrn,b3为门控残差网络b3的输出;fgrn,b3(·)为门控残差网络b3函数;w1,grn,b3和b1,grn,b3分别为门控残差网络b3中第1个全连接层的权重和偏置;w2,grn,b3和b2,grn,b3分别为门控残差网络b3中第2个全连接层的权重和偏置;56、门控残差网络b4的输出为:57、ygrn,b4=fgrn,b4(st)=layernorm(st+glu(w1,grn,b4(elu(w2,grn,b4st+b2,grn,b4))+b1,grn,b4))   (13)式中,ygrn,b4为门控残差网络b4的输出;fgrn,b4(·)为门控残差网络b4函数;w1,grn,b4和b1,grn,b4分别为门控残差网络b4中第1个全连接层的权重和偏置;w2,grn,b4和b2,grn,b4分别为门控残差网络b4中第2个全连接层的权重和偏置;58、变量选择网络b的输出为:59、60、式中,vg2为第2选择系数矩阵,变量选择网络b的第2选择系数矩阵为:61、vg2=softmax(ygrn,b4)   (15)62、步骤(23)长短期记忆网络编码器和长短期记忆网络解码器由长短期记忆神经网络的记忆单元组成,具有一样的结构;长短期记忆神经网络的记忆单元结构由遗忘门、输入门、输出门和细胞状态构成;63、输入门的表达式为:64、65、式中,是长短期记忆神经网络中输入门的第一权重矩阵;是长短期记忆神经网络中输入门的第二权重矩阵;是长短期记忆神经网络中输入门的偏置;σ(·)是sigmoid函数;ilstm,t是长短期记忆神经网络中输入门t时刻的输出;hlstm,t-1为长短期记忆神经网络输出门t-1时刻的输出;xlstm,t为长短期记忆神经网络t时刻的输入变量;66、在长短期记忆网络编码器中:67、68、在长短期记忆网络解码器中:69、70、遗忘门的表达式为:71、72、式中,是长短期记忆神经网络中遗忘门的第一权重矩阵;是长短期记忆神经网络中遗忘门的第二权重矩阵;是长短期记忆神经网络中遗忘门的偏置;flstm,t是长短期记忆网络中遗忘门t时刻的输出;73、输出门的表达式为:74、75、式中,是长短期记忆神经网络中输出门的第一权重矩阵;是长短期记忆神经网络中输出门的第二权重矩阵;是长短期记忆神经网络中输出门的偏置;hlstm,t是长短期记忆神经网络中输出门t时刻的输出;76、在长短期记忆网络编码器中:77、78、在长短期记忆网络解码器中:79、80、长短期记忆网络中t时刻的细胞状态为:81、82、式中,clstm,t为长短期记忆神经网络中t时刻的细胞状态;clstm,t-1为长短期记忆神经网络中t-1时刻的细胞状态;为长短期记忆神经网络中t时刻的候选隐藏状态;⊙为点乘运算;83、在长短期记忆网络编码器中:84、85、步骤(24)在步骤(14)中的可解释性多头注意力网络中,在每个头中共享数值,并对所有头进行加法汇总:86、87、式中,qw为q映射矩阵、kw为k映射矩阵、vw为v映射矩阵;为t时刻可解释性多头注意力网络的输入变量;interpretablemultihead(·)为可解释性多头注意力网络函数;hcomb,t为可解释性多头注意力网络中t时刻所有头的输出的组合;wh为可解释性多头注意力网络中每个头的权重矩阵;88、可解释性多头注意力网络中所有头的输出组合为:89、90、式中,mh为可解释性多头注意力网络的头数;为第h个头的q变换矩阵;为第h个头的k变换矩阵;wv为所有头共享的v变换矩阵;(·)t表示矩阵转置运算;datten为注意力缩放因子;91、步骤(25)量子前馈神经网络由输入到输出的过程依次为:经典空间到量子空间的编码过程、量子隐藏层的操作过程、量子输出层的操作过程以及量子空间到经典空间的解码过程;92、经典空间到量子空间的编码过程表示为:93、94、式中,|ψinput>为量子编码变量;uinput为量子输入层的幺正变换;表示的第1个量子态;表示的第2个量子态;表示的第τ个量子态;95、量子隐藏层的操作过程表示为:96、|ψhidden>=uhidden|ψinput>   (28)97、式中,|ψhidden>为量子隐藏层的输出;uhidden为量子隐藏层的幺正变换;98、量子输出层的操作过程表示为:99、|ψoutput>=uoutput|ψhidden>   (29)100、式中,|ψoutput>为输出层的输出;|ψoutput〉的量子比特个数为nq;uoutput为量子输出层的幺正变换;101、量子空间到经典空间的解码过程表示为:102、103、式中,q1,t为qt的第1个元素,q2,t为qt的第2个元素;q2,t为qt的第mq个元素;qt为量子前馈神经网络的输出;α1为|ψoutput〉的第1个量子比特;α2为|ψoutput>的第2个量子比特;为|ψoutput>的第nq个量子比特。104、本发明相对于现有技术具有如下的优点及效果:105、(1)预测准确高。该方法中引入了量子前馈神经网络,能够精准捕捉风向、风速、温度的复杂时序关系,能够更好地捕捉非线性关系,从而提高风电出力的预测准确度。106、(2)可解释性强。该方法采用可解释性多头注意力网络和变量选择网络等组件,使得预测结果具备可解释性。(3)投入数据成本低。通过对该方法框架中最后两层的量子前馈神经网络和全连接层进行微调,实现迁移学习从而在数据有限的情况下高效地利用已有的数据,提高泛化能力。107、(4)实时适应性强。当风电场的风向、风速等气候环境发生变化时,该方法通过增加可解释性多头注意力网络的头数实现增量学习,以适应变化后的环境,从而提高模型的实时适应性。108、(5)通过建立多个系统,每个系统具有不同的参数设置,可以同时在参数搜索空间内进行更细致地探索。这有助于找到最优的模型参数,提高预测性能和鲁棒性。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1