一种消除噪声的电力负荷预测方法、系统、设备及介质与流程

本发明属于电力负荷，特别涉及一种消除噪声的电力负荷预测方法、系统、设备以及介质。

背景技术：

1、“清洁低碳、安全可控、灵活高效、智能友好、开放互动”的新型电力系统建设势在必行。新型电力系统具有“高比例的电力电子设备、高比例的可再生能源、供应侧随机性增强、需求侧随机性增强”的“双高、双随机”特点，可再生能源的接入多元化和用电负荷多元化导致电力负荷数据量级增大、数据类别增多、数据特性复杂，这对电力系统负荷预测带来了新的挑战。

2、电力系统负荷预测主要分为两类：一是传统负荷预测方法，二是现代负荷预测法。传统负荷预测方法包括回归分析法、指数平滑法和时间序列法：回归分析预测方法的模型结构较为简单，但需要正确选择对负荷预测影响较高的分量，不同数据集选取影响较大的分量所采用方法不同，对最终预测结果的准确性影响较大；指数平滑法是通过对预测时刻前的几个时间点的历史负荷数据加权求和得出预测结果，且临近预测时刻的数据赋予较大的权重；时间序列法主要是通过分析电力负荷数据在时间上的变化规律建立预测模型并进行预测。现代负荷预测方法包括机器学习和深度学习等应用人工智能技术的方法，如人工神经网络、随机森林、极限学习机、长短期记忆网络等。

3、基于机器学习的负荷预测方法的主要思路是学习历史负荷数据的特征与未来预测值之间关系的函数，仅考虑了数据的特征，并没有考虑日期信息和时间顺序隐含的与用电负荷的关系；基于深度学习的负荷预测方法拥有极强的数据特征表示能力，不需要专门针对某专业的数据进行特征提取，但现有研究中没有考虑数据噪声对预测模型的负面作用，导致其预测精度易受到观测数据噪声的影响，难以应用于实际场景。

4、因此，可以设计一种消除噪声的电力负荷预测方法、系统、设备及存储介质，以解决上述技术问题。

技术实现思路

1、针对上述问题，本发明提出了一种消除噪声的电力负荷预测方法，其中，所述方法包括：

2、基于transformer算法，构建具有变量选择网络的transformer负荷预测模型；

3、将待电力负荷预测的数据建模为一个数据分布，并将所述数据分布作为输入变量输入至transformer负荷预测模型中，以消除数据噪声，其中，所述待电力负荷预测的数据为与时间呈依赖关系的变量的数据。

4、进一步地，

5、所述变量选择网络，还用于处理静态协变量和与时间呈依赖关系的变量，并选择出最显著的特征，以进行模型学习。

6、进一步地，所述transformer负荷预测模型还包括与变量选择网络连接的长短记忆网络以及与长短记忆网络连接的第一门控残差网络，其中，

7、所述长短记忆网络，用于对经过变量选择网络处理后，输出的变量和静态协变量进行处理；

8、所述第一门控残差网络，用于对长短记忆网络的输出，进行非线性处理。

9、进一步地，

10、所述变量选择网络所使用到的公式如下：

11、

12、其中，为变量选择网络的输出，mx为历史输入变量，为第j个输入经过变量选择网络中的门控残差网络处理过的特征变量，为t时刻第j个输入变量的变量选择权重；

13、其中，通过如下公式确定：

14、

15、其中，为t时刻的变量选择网络的输入变量，grn为变量选择网络中的门控残差网络；

16、通过如下公式确定：

17、

18、其中，为变量选择权重，cs为静态协变量的编码，e为t时刻做预测的所有历史输入变量mx的拼接矩阵；

19、e通过如下公式确定：

20、

21、其中，t为矩阵的转置符号；

22、cs通过如下公式确定：

23、

24、式中，ζ为静态协变量输入s经过变量选择网络的输出。

25、进一步地，长短记忆网络的每一个神经元都具有三个输入参数，分别是来自上一时刻神经元的输出hn-1、上一时刻神经元的状态参数cn-1和当下的外界输入；

26、长短记忆网络所使用到的公式如下：

27、ht＝ot*tanh(ct)

28、其中，ht为t时刻长短记忆网络的神经元的输出，ot为输出门的输入，ct为t时刻状态参数。

29、ot的通过如下公式确定：

30、ot＝σ(wo[ht-1，xt]+bo)

31、式中，σ为sigmoid激活函数，xt为t时刻的输入，wo为输出门的权重，[ht-1，xt]为输入门的两种输入信息拼接起来的新矩阵，bo为输出门的偏置；

32、ct通过如下公式确定：

33、

34、式中，ft表示ct-1的权重，it表示的权重，为输入门记录信息的候选值，ct-1表示t-1时刻的状态参数；

35、ft通过如下公式确定：

36、ft＝σ(wf[ht-1，xt]+bf)

37、式中，wf为遗忘门的权重，bf为遗忘门的偏置；

38、it通过如下公式确定：

39、it＝σ(wi[ht-1，xt]+bi)

40、式中，wi为输入门的权重，bi为输入门的偏置；

41、通过如下公式确定：

42、

43、式中，wc为新数据对应的神经元状态候选值的权重，bc为对应偏置。

44、进一步地，所述长短记忆网络中的隐层变量通过如下公式确定：

45、

46、式中，为神经元的外界输入，ln表示层归一化；

47、其中，φ(t，n)通过如下公式确定：

48、

49、其中，n∈[-k，γmax]为t时刻的编码范围到解码范围，并以此作为位置索引，lstm表示长短时记忆网络，其中，k为静态协变量的长度，γmax为输入变量的最大特征长度。

50、进一步地，所述transformer负荷预测模型还包括与第一门控残差网络连接的多头自注意力模块，所述多头自注意力模块，用于将经第一门控残差网络输出的输出变量进行处理，以获取作为时间自我注意力机制层的输出δ(t，n)，其中，

51、δ(t，n)通过如下公式确认：

52、δ(t，n)＝ln(θ(t，n)+gluδ(β(t，n)))

53、式中，glu为门控线性单元，θ(t，n)为静态富集层的输出，β(t，n)为多头注意力机制模块的输出；

54、θ(t，n)通过如下公式确定：

55、

56、其中，grn表示门控残差网络，ce为静态协变量经过静态协变量编码器生成一种上下文变量；

57、b(t)通过如下公式确定：

58、b(t)＝imh(θ(t)，θ(t)，θ(t))

59、其中，imh为可解释的多头注意力，θ(t)表示静态富集层输出θ(t，n)的变量聚合。

60、进一步地，所述第一门控残差网络训练过程中在η1计算完后可以采用dropout操作防止过拟合，dropout操作所采用的公式如下：

61、grn(a，c)＝ln(a+glu(η1))

62、式中，a为原始输入数据；

63、其中，η1通过如下公式确定：

64、η1＝w1η2+b1

65、式中，w和b分别为对应的权重矩阵和偏置；

66、η2通过如下公式确定：

67、η2＝elu(w2a+w3c+b2)

68、式中，c为上下文变量，elu为指数线性单元激活函数；

69、glu(γ)＝σ(w4γ+b4)⊙(w5γ+b5)

70、式中⊙为元素方式的hadamard乘积，γ为输入变量。

71、进一步地，所述transformer负荷预测模型还包括与多头自注意力模块连接的第二门控残差网络，其中，

72、所述第二门控残差网络，用于将时间自我注意力机制层的输出δ(t，n)经过处理得到输出ψ(t，n)。

73、进一步地，输出ψ(t，n)通过如下公式确定：

74、ψ(t，n)＝grnψ(δ(t，n))。

75、进一步地，

76、输出ψ(t，n)通过门和求和标准化后获得中间变量其中，通过如下公式确定：

77、

78、进一步地，

79、输入到全连接层以计算分位数输出其中，通过如下公式确定：

80、

81、式中，为分位数输出结果，q为预测的分位数设定值，r为预测步长,r∈{1，...，rmax}。

82、本发明还提供一种消除噪声的电力负荷预测系统，其中，所述系统包括：

83、构建模块，用于基于transformer算法，构建具有变量选择网络的transformer负荷预测模型；

84、消除模块，用于将待电力负荷预测的数据建模为一个数据分布，并将所述数据分布作为输入变量输入至transformer负荷预测模型中，以消除待电力负荷预测的数据中含有的数据噪声。

85、本发明还提供一种消除噪声的电力负荷预测设备，其中，所述设备包括：

86、处理器和用于存储能够在所述处理器上运行的计算机程序的存储器，

87、其中，所述处理器用于运行所述计算机程序时，执行上所述方法的步骤。

88、本发明还提供一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现上述方法的步骤。

89、本发明的一种消除噪声的电力负荷预测方法、系统、设备及介质，保证了预测的精度和transformer负荷预测模型的稳健性。

90、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。