一种中低压配网量测数据补齐方法与流程

文档序号:33479510发布日期:2023-03-15 11:39阅读:69来源:国知局
一种中低压配网量测数据补齐方法与流程

1.本发明属于配网量测数据处理技术领域,尤其涉及一种中低压配网量测数据补齐方法。


背景技术:

2.随着电力系统规模不断增大,电力系统量测数据呈现快速增长趋势,然而海量数据的采集、测量、传输和存储等过程均可能出现数据缺失问题,尤其是配电网量测数据的质量和缺失情况相对输电网更差,不解决将严重影响配网的可观测性并威胁电网安全,同时由于量测装置数量巨大,完全训练占用的计算资源巨大,以及量测量类型多样(电流、电压、功率),不同类型的量测量其随时间的变化规律各不相同,如何有效补齐配网量测数据是亟需解决的问题。传统的量测数据补齐方法主要针对单量测或小规模量测量进行预测,但其计算精度与计算速度难以满足大规模的量测数据补齐。
3.因此,有必要提供一种新的中低压配网量测数据补齐方法解决上述技术问题。


技术实现要素:

4.本发明的目的就在于为了解决上述问题而提供一种中低压配网量测数据补齐方法。
5.本发明通过以下技术方案来实现上述目的:
6.一种中低压配网量测数据补齐方法,包括以下步骤:
7.获取历史上的样本量测量数据,对所述样本量测量数据进行处理得到样本输入向量矩阵和样本响应向量;
8.构建量测补齐模型,将所述样本输入向量矩阵和所述样本响应向量输入所述量测补齐模型进行训练,得到训练后量测补齐模型,对所述训练后量测补齐模型进行优化,得到最终量测补齐模型;
9.获取当前时刻的量测量数据,对所述量测量数据进行处理得到当前输入向量矩阵和当前响应向量;
10.将所述当前输入向量矩阵和所述当前响应向量输入所述最终量测补齐模型,得到量测量预测值;
11.基于所述量测量预测值对当前时刻的所述量测量数据进行补齐处理,以补齐中低压配网量测数据。
12.作为本发明的进一步优化方案,获取历史上的样本量测量数据,对所述样本量测量数据进行处理得到样本输入向量矩阵和样本响应向量,具体过程包括:
13.获取历史上的样本量测量数据;
14.基于k-mediods聚类方法对所述样本量测量数据进行分类,区分出各类数据中的主/备用关键量测量数据和非关键量测量数据,并计算同一类数据中的非关键量测量数据和主/备用关键量测量数据之间的平均误差;
15.基于预设的所述样本量测量数据中连续的n+1个值,对每个主关键量测量数据和备用关键量测量数据构建维的样本输入向量矩阵,其中,表示样本量测量数据构成的向量,表示第一时刻的量测数据值,表示第二时刻的量测数据值,表示第三时刻的量测数据值,表示第n-1时刻的量测数据值,表示第n时刻的量测数据值;分别表示与向量中n个量测数据值一一对应的时间序列特征构成的n维向量,向量表示与向量中n个量测数据值一一对应的关于工作日的判别,向量表示量测对象类型;
16.基于样本输入向量矩阵构建样本响应向量,其中;其中,b1表示样本响应向量中第一个数据值,b2表示样本响应向量中第二个数据值,b3表示样本响应向量中第三个数据值,b
n-1
表示样本响应向量中第n-1个数据值,bn表示样本响应向量中第n个数据值。
17.作为本发明的进一步优化方案,基于k-mediods聚类方法对所述样本量测量数据进行分类,区分出各类数据中的主/备用关键量测量数据和非关键量测量数据,并计算同一类数据中的非关键量测量数据和主/备用关键量测量数据之间的平均误差,具体过程如下:
18.设定样本量测量数据为x(n*m),其中,n为数据样本数,m为每个数据的特征维数,给定聚类数为k,得到k个聚类中心;
19.在样本量测量数据中,随机选择k个样本数据作为初始聚类中心,其中,表示第一个样本数据,表示第二个样本数据,表示第三个样本数据,表示第k个样本数据;
20.计算剩余的n-k个样本数据与k个聚类中心的欧式距离,其中,表示剩余的样本数据中第一个样本数据,表示剩余的样本数据中第二个样本数据,表示剩余的样本数据中第三个样本数据,表示剩余的样本数据中第n-k个样本数据,并按照欧式距离最小值将剩余样本数据划分至对应类簇下,得到聚类结果,实现聚类更新;欧氏距离计算公式如下:
21.ꢀꢀꢀꢀꢀꢀꢀꢀ
(1);
22.其中,表示样本数据中第l个元素,表示样本数据中第l个元素;
23.遍历各类簇中的所有样本点,以该簇中所有其他点到中心点的欧式距离之和最小为目标函数,对聚类中心点进行更新,目标函数公式如下:
24.ꢀꢀꢀꢀꢀꢀꢀꢀ
(2);
25.其中,表示第j个样本点到第1个聚类中心的欧氏距离,表示第j个样本点到第2个聚类中心的欧氏距离,表示第j个样本点到第t个聚类中心的欧氏距离;
26.重复聚类更新和聚类中心点更新过程,迭代直至所有的聚类中心点及聚类结果不再发生变化或达到预设的最大迭代次数,则聚类结束;
27.设定k个聚类中心点即为主关键量测量数据,分别计算k类中非关键量测量数据与主关键量测量数据之间的平均误差,设每一类中非关键量测量数据的个数分别为,则第i类中非关键量测量数据为,其中表示第i类中第一个非关键量测量数据,表示第i类中第二个非关键量测量数据,表示第i类中第三个非关键量测量数据,表示第i类中第个非关键量测量数据;表示第一类的平均误差向量,表示第二类的平均误差向量,表示第三类的平均误差向量,表示第k类的平均误差向量,平均误差计算公式如下:
28.ꢀꢀꢀꢀꢀ
(3);
29.其中,表示向量中第j个元素,表示主关键量测量数据中第k个元素,表示非关键量测量数据中第k个元素;
30.将k个主关键量测量数据从各类簇中剔除,分别对各类簇中剩余的数据样本重新寻找聚类中心点,得到的新的k个聚类中心点即为备用关键量测量数据,其中,表示新的k个聚类中心点中第一个聚类中心点,表示新的k个聚类中心点中第二个聚类中心点,表示新的k个聚类中心点中第三个聚类中心点,表示新的k个聚类中心点中第k个聚类中心点,分别计算k类中非关键量测量数据与备用关键量测量数据之间的新的平均误差,设每一类中非关键量测量数据的个数分别为,则第i类中非关键量测量数据为,其中表示第i类中第一个非关键量测量数据,表示第i类中第二个非关键量测量数据,表示第i类中第三个非关键量测量数据,表示第i类中第个非关键量测量数据;表示第一类的新的平均误差向量,表示第二类的新的平均误差向量,表示第三类的新的平均误差向量,表示第k类的新的平均误差向量,新的平均误差计算公式如下:
31.ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4);
32.其中,表示向量中第j个元素,表示备用关键量测量数据中第k个元
素,表示非关键量测量数据中第k个元素。
33.作为本发明的进一步优化方案,所述时间序列特征包括年、季度、月、日、时、分;关于工作日的判别具体包括工作日用0表示,非工作日用1表示;所述量测对象类型包括电流量、电压量和功率量,电流量用0表示,电压量用1表示,功率量用2表示。
34.作为本发明的进一步优化方案,所述量测补齐模型为lstm模型,所述lstm模型包括输入门、遗忘门和输出门,采用双层结构,其公式为:
35.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5);
36.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6);
37.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7);
38.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8);
39.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9);
40.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10);
41.式(5)-式(10)中,表示当前时刻输入门状态,表示当前时刻遗忘门状态,表示当前时刻输出门状态,表示lstm模型当前时刻的状态,表示lstm模型前一时刻的状态,为lstm模型当前时刻的候选状态,表示lstm模型当前时刻对和的初步特征提取,用于计算当前细胞状态,表示lstm模型当前时刻的输入,为输入到输入门的权值,为前一时刻隐含层到输入门的权值,为输入到遗忘门的权值,为前一时刻隐含层到遗忘门的权值,为输入到输出门的权值,为前一时刻隐含层到输出门的权值,为输入在特征提取过程中的权值,为前一时刻隐含层在特征提取过程中的权值,和分别表示输入门、遗忘门、输出门和特征提取过程中的偏置值,符号表示hadamard积。
42.作为本发明的进一步优化方案,将所述样本输入向量矩阵和所述样本响应向量输入所述量测补齐模型进行训练,得到训练后量测补齐模型,具体过程如下:
43.采用symlet小波函数对样本输入向量矩阵中的向量中的数据进行去噪处理,再将去噪后的样本输入向量矩阵和样本响应向量中的所有数据标准化为具有零均值和单位方差的数据,以得到标准化后的样本输入向量矩阵和标准化后的样本响应向量;
44.将所述标准化后的样本输入向量矩阵和所述标准化后的样本响应向量按照比例划分为训练集、验证集与测试集;
45.将训练集中的标准化后的样本输入向量矩阵和所述标准化后的样本响应向量输入所述量测补齐模型进行训练,再将验证集中的标准化后的样本输入向量矩阵和所述标准化后的样本响应向量输入所述量测补齐模型,对所述量测补齐模型的参数进行修正,得到训练后量测补齐模型。
46.作为本发明的进一步优化方案,所述量测补齐模型的参数包括权值和偏置值。
47.作为本发明的进一步优化方案,所述量测补齐模型采用adam算法进行训练,权重更新公式为:
48.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11);
49.ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12);
50.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13);
51.式(11)-式(13)中,和为相邻时间步长内待更新的网络权值参数,为平滑参数,为学习率,和分别为一阶和二阶矩估计的指数衰减率,、分别为对一阶和二阶矩估计的偏差修正值;表示时间步为t-1时对梯度的一阶矩估计;表示时间步为t时的梯度;表示时间步为t-1时对梯度的二阶矩估计;表示时间步为t时的梯度的平方;
52.设定均方根误差函数rmse为所述量测补齐模型训练的损失函数,公式为:
53.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14);
54.式中,为待预测的量测量数据总个数,为待预测的量测量数据真实值,为量测补齐模型所输出的量测量数据预测值。
55.作为本发明的进一步优化方案,对所述训练后量测补齐模型进行优化,得到最终量测补齐模型,具体过程如下:
56.采用贝叶斯优化方法对训练后量测补齐模型的超参数进行调优,得到最优化网络参数,基于最优化网络参数重新构建训练后量测补齐模型,得到最终量测补齐模型。
57.作为本发明的进一步优化方案,所述训练后量测补齐模型的超参数包括迭代次数、隐含层层数、每层神经元个数和学习率。
58.作为本发明的进一步优化方案,采用贝叶斯优化方法对训练后量测补齐模型的超参数进行调优,得到最优化网络参数,具体过程如下:
59.设定贝叶斯框架的目标函数,自变量表示超参数;
60.选择个观测点,计算目标函数在观测点处的值,即预设的观测模型的观测值;
61.设定,基于观测值对目标函数进行估计,得到目标函数的函数分布上的目标值的最小值;
62.设定当前观测数据,基于当前观测数据d计算预设的采集函数并确定下一个观测点,计算在下一个观测点处的采集函数值
,设定,更新预设的概率代理模型;
63.重复上述步骤直至目标值达到预设的最大观测次数m,得到最优化网络参数。
64.作为本发明的进一步优化方案,所述概率代理模型为高斯过程回归模型,所述高斯过程回归模型服从k维正态分布,公式如下:
65.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15);
66.其中,表示一个n维向量,为均值函数,为协方差函数。
67.作为本发明的进一步优化方案,采用期望提高函数作为采集函数并确定下一个观测点,公式如下:
68.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16);
69.ꢀꢀꢀꢀꢀꢀ
(17);
70.式(16)-式(17)中,是第i步观测的位置,是n+1时间点的代理的后验均值;表示令当前目标函数最大时的观测位置;为当前目标函数的最大值;argmax(f(x))函数是求使f(x)值最大的自变量x;max(f(x))函数是求f(x)的最大值;d表示当前观测数据集合;e(f(x))函数是对f(x)求期望。
71.作为本发明的进一步优化方案,获取当前时刻的量测量数据,对所述量测量数据进行处理得到当前输入向量矩阵和当前响应向量,具体过程如下:
72.获取当前时刻的量测量数据;
73.基于k-mediods聚类方法对当前时刻的量测量数据进行分类,区分出各类数据中的当前时刻主/备用关键量测量数据和当前时刻非关键量测量数据,并计算同一类数据中的当前时刻非关键量测量数据和当前时刻主/备用关键量测量数据之间的平均误差;
74.判断当前主关键量测量数据是否缺失,若否,则基于该类中当前时刻非关键量测量数据与当前时刻主关键量测量数据之间的平均误差对该类缺失的当前时刻非关键量测量数据进行补齐;若是,则比较当前时刻主关键量测量数据和当前时刻备用关键量测量数据前序时段的数据的缺失程度,将缺失程度较低的当前时刻主/备用关键量测量数据作为待预测量测量数据;
75.选择所述待预测量测量数据的待预测时刻的前m个时刻的数据构造m维向量,并基于这m个数据构造维的当前输入向量矩阵,其中,c1表示前m个时刻的第一个向量,c2表示前m个时刻的第二个向量,c3表示前m个时刻的第三个向量,c
m-1
表示前m个时刻的第m-1个向量,cm表示前m个时刻的第m个向量;y2、y3、y4、y5、y6、y7分别表示与向量y1中m个量测数据值一一对应的时间序列特征构成的m维向量,向量y8表示与向量y1中m个量测数据值一一对应的关于工作日的判别,向量y9表示量测对象类型;
76.构建当前响应向量,其中,
,为t时刻量测值,设定。
77.作为本发明的进一步优化方案,将所述当前输入向量矩阵和所述当前响应向量输入所述最终量测补齐模型,得到量测量预测值,具体过程如下:
78.将当前输入向量矩阵和当前响应向量作为输入参数输入最终量测补齐模型,输出量测量预测值为,其中,表示第一时刻的量测量预测值,表示第二时刻的量测量预测值,表示第三时刻的量测量预测值,表示第m-1时刻的量测量预测值,即为t时刻的量测量预测值。
79.作为本发明的进一步优化方案,基于所述量测量预测值对当前时刻的所述量测量数据进行补齐处理,具体过程如下:
80.基于所述量测量预测值,根据同一类中非关键量测量数据与主/备用关键量测量数据之间的平均误差对该类缺失的量测量数据进行补齐,直至所有类中的量测量数据全部补齐。
81.本发明的有益效果在于:
82.本发明有效利用各量测量数据彼此之间存在的关联性,从而降低了待求解问题的规模,提高了大规模量测数据补齐的效率,同时在lstm模型中添加时序特征以及数据类型等影响因素,提升了数据预测的精度。
附图说明
83.图1是本发明的方法流程框图;
84.图2是本发明中模型训练阶段的流程图;
85.图3是本发明中量测量补齐阶段的流程图;
86.图4是本发明所采用的lstm模型总体结构图;
87.图5是本发明所采用的lstm模型内部结构图;
88.图6是本发明所采用的k-mediods聚类算法流程图。
具体实施方式
89.下面结合附图对本技术作进一步详细描述,有必要在此指出的是,以下具体实施方式只用于对本技术进行进一步的说明,不能理解为对本技术保护范围的限制,该领域的技术人员可以根据上述申请内容对本技术作出一些非本质的改进和调整。
90.如图1所示,一种中低压配网量测数据补齐方法,包括以下步骤:
91.s1:获取历史上的样本量测量数据,对所述样本量测量数据进行处理得到样本输入向量矩阵和样本响应向量;
92.s2:构建量测补齐模型,将所述样本输入向量矩阵和所述样本响应向量输入所述量测补齐模型进行训练,得到训练后量测补齐模型,对所述训练后量测补齐模型进行优化,得到最终量测补齐模型;
93.s3:获取当前时刻的量测量数据,对所述量测量数据进行处理得到当前输入向量矩阵和当前响应向量;
94.s4:将所述当前输入向量矩阵和所述当前响应向量输入所述最终量测补齐模型,得到量测量预测值;
95.s5:基于所述量测量预测值对当前时刻的所述量测量数据进行补齐处理,以补齐中低压配网量测数据。
96.在本实施例中,具体包括以下步骤:
97.如图2所示,模型训练阶段:
98.步骤1:获取历史上的样本量测量数据,即获取现有的量测量数据,采用k-mediods聚类方法对现有量测量数据进行分类,在各类中选择出主/备用关键量测量,并记录同一类中其他量测量与主/备用关键量测量之间的平均误差,其他量测量数据即为非关键量测量数据;
99.步骤2:对每一个主关键量测量和备用关键量测量,基于量测量中连续的n+1个值()构造维输入向量矩阵,其中为量测量数据构成的向量,每个元素代表一个时刻的量测数据值,分别为与向量中n个量测数据值一一对应的时间序列特征(年、季度、月、日、时、分)构成的n维向量,向量表示与向量中n个量测数据值一一对应的关于工作日的判别(工作日用0表示、非工作日用1表示),向量表示量测对象类型(电流量用0表示、电压量用1表示、功率量用2表示);
100.步骤3:构造响应向量,其中,,即预测序列在将来时间步的值,将响应向量指定为将值移位了一个时间步的训练序列,在输入序列的每个时间步,lstm网络都学习预测下一个时间步的值;
101.步骤4:建立量测补齐模型,采用lstm模型结构,如图4所示,主要包括输入门(控制当前时刻的候选状态有多少信息需要保存)、遗忘门(控制上一时刻的内部状态需要遗忘多少信息)和输出门(控制当前时刻的内部状态有多少信息需要输出给外部状态)三个门结构;设置lstm模型的训练方式采用adam优化算法,损失函数为均方根误差函数rmse,学习率为0.005,输入参数为预处理后的步骤2中构造的多维输入向量矩阵以及步骤3中构造的响应向量,对模型参数进行训练,每一个主关键量测量和备用关键量测量都参与训练,得到面向不同量测类型和时刻的量测补齐模型;
102.步骤5:利用贝叶斯优化(bayesian optimization)方法对建立好的lstm模型超参数(迭代次数、隐含层层数、每层神经元个数、学习率等)进行调优,得到最优化网络参数,利用最优化参数重建lstm模型用于预测。
103.如图3所示,量测量补齐阶段:
104.步骤1:根据当前时刻(t时刻)主关键量测量数据缺失情况选择待预测的量测量,若未缺失,则基于主关键量测量,根据该类中其他量测量与主关键量测量之间的平均误差对该类其他缺失的量测量进行补齐,跳转至步骤6,若缺失,则比较主关键量测量和备用关键量测量前序时段数据的质量(缺失程度),质量好的作为待预测的量测量;
105.步骤2:基于选择出的待预测量测量,选择该量测量待预测时刻(t时刻)的前m个时刻的数据构造m维向量,并基于这m个数据构造维输入向量矩阵,构造方法同模型训练阶段步骤2;
106.步骤3:构造响应向量,其中,,为t时刻量测值(缺失),故令;
107.步骤4:将输入向量矩阵和响应向量预处理后作为输入参数,基于已经训练好的针对该量测量类型的量测补齐模型进行预测,输出结果为,反标准化后的即为t时刻的量测量预测值;
108.步骤5:基于上述主/备用关键量测量预测值,根据同一类中其他量测量与主/备用关键量测量之间的平均误差对该类其他缺失的量测量进行补齐;
109.步骤6:对每一类量测量重复上述步骤,直至所有类中的量测量数据全部补齐。
110.在本实施例中,如图6所示,采用k-mediods聚类方法进行聚类的具体步骤包括:
111.步骤1:设输入数据样本为x(n*m),其中,n为数据样本数,m为每个数据的特征维数,给定聚类数为k,即把n个数据聚为k类;
112.步骤2:在原始数据样本中,随机选择k个样本作为初始聚类中心;
113.步骤3:聚类更新:计算剩余的n-k个样本与k个聚类中心的欧式距离,并按照距离最小值将剩余数据划分至对应类簇下,得到聚类结果。欧氏距离计算公式如下:
114.ꢀꢀꢀꢀ
(1);
115.其中,表示样本数据中第l个元素,表示样本数据中第l个元素;和均为m维样本数据向量,向量中每个元素都代表某一时刻量测数据。
116.步骤4:聚类中心点更新:遍历各类簇中的所有样本点,以该簇中所有其他点(t-1个)到中心点的欧式距离之和最小为目标函数,对聚类中心点进行更新,目标函数公式如下:
117.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2);
118.设某一类簇中共有t个样本点,分别将每一个样本点作为聚类中心点,计算该簇中所有其他点到中心点的欧式距离之和,式中,表示将第一个样本点作为聚类中心点,该类簇中所有其他点到该中心点的欧式距离之和,以此类推,表示第j个样本点到第1个样本点(中心点)的欧氏距离,表示第j个样本点到第2个聚类中心的欧氏距
离,表示第j个样本点到第t个聚类中心的欧氏距离;以此类推,其中均为0;
119.步骤5:重复聚类更新和聚类中心点更新过程,迭代直至所有的聚类中心点及聚类结果不再发生变化或达到事先指定的最大迭代次数,则聚类结束;
120.步骤6:得到的k个聚类中心点即为主关键量测量,分别计算k类中其他量测量与主关键量测量之间的平均误差并记录,平均误差计算公式如下:
121.ꢀꢀꢀꢀꢀꢀꢀ
(3);
122.其中,表示向量中第j个元素,表示主关键量测量数据中第k个元素,表示非关键量测量数据中第k个元素;和均为m维样本数据向量,向量中每个元素都代表某一时刻量测数据;
123.步骤7:将选出的k个主关键量测量从各类簇中剔除,分别对各类簇中剩余的数据样本重新寻找聚类中心点;
124.步骤8:得到的新的k个聚类中心点即为备用关键量测量,分别计算k类中其他量测量与备用关键量测量之间的平均误差并记录,平均误差计算公式如下:
125.ꢀꢀꢀꢀꢀꢀꢀ
(4);
126.其中,表示向量中第j个元素,表示备用关键量测量数据中第k个元素,表示非关键量测量数据中第k个元素;和均为m维样本数据向量,向量中每个元素都代表某一时刻量测数据。
127.在本实施例中,构建量测补齐模型,将所述样本输入向量矩阵和所述样本响应向量输入所述量测补齐模型进行训练,得到训练后量测补齐模型,对所述训练后量测补齐模型进行优化,得到最终量测补齐模型,具体包括以下步骤:
128.量测补齐模型采用lstm模型,如图5所示,lstm模型采用双层结构,隐含层神经元个数为96*3,单个lstm结构由输入门、遗忘门和输出门组成,其公式为:
129.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5);
130.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6);
131.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7);
132.ꢀꢀꢀꢀꢀꢀ
(8);
133.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9);
134.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10);
135.式中,表示当前时刻输入门状态,表示当前时刻遗忘门状态,表示当前时刻输出门状态,表示lstm当前时刻的状态,表示lstm前一时刻的状态,为lstm当前时刻的候选状态,表示lstm当前时刻对和的初步特征提取,用于计算当前细胞状态,表示lstm当前时刻的输入,为输入到输入门的权值,为前一时刻隐含层到输入门的权值,为输入到遗忘门的权值,为前一时刻隐含层到遗忘门的权值,为输入到输出门的权值,为前一时刻隐含层到输出门的权值,为输入在特征提取过程中的权值,为前一时刻隐含层在特征提取过程中的权值,和分别表示输入门、遗忘门、输出门和特征提取过程中的偏置值,符号表示hadamard积。
136.对模型训练阶段步骤2构造的输入向量矩阵和模型训练阶段步骤3构造的响应向量进行预处理,首先选取symlet小波函数对输入向量矩阵中量测量数据构成的向量中的数据进行去噪处理,再将输入向量矩阵和响应向量中的所有数据标准化为具有零均值和单位方差的数据;
137.按照8:1:1的比例将输入向量矩阵和响应向量按列划分为训练集、验证集与测试集,训练集和验证集用于训练模型和确定参数(权值w、u和偏置值b),测试集用于检验模型的泛化能力。
138.将训练集中的输入向量矩阵和响应向量作为lstm的输入,最后通过全连接层得到输出,再将验证集中的输入向量矩阵和响应向量作为lstm的输入,对lstm模型中的参数进行修正,得到训练好的lstm模型,即训练后量测补齐模型。
139.采用adam算法对lstm层模型进行训练,其权重更新公式为:
140.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11);
141.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12);
142.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13);
143.式中,和为相邻时间步长内待更新的网络权值参数,为平滑参数,为
学习率,和分别为一阶和二阶矩估计的指数衰减率,分别为对一阶和二阶矩估计的偏差修正值;表示时间步为t-1时对梯度的一阶矩估计;表示时间步为t时的梯度;表示时间步为t-1时对梯度的二阶矩估计;表示时间步为t时的梯度的平方;
144.定义均方根误差函数(root mean square erro, rmse)为模型训练的损失函数,其公式为:
145.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14);
146.式中,为待预测的量测量数据总个数,为待预测的量测量数据真实值,为lstm模型所输出的量测量数据预测值。
147.在本实施例中,模型训练阶段步骤5中所涉及的贝叶斯优化(bayesian optimization)方法如下:
148.(1)贝叶斯优化框架
149.步骤1:自变量为超参数空间,模型训练的损失函数(rmse)作为贝叶斯框架的目标函数;
150.步骤2:选择个观测点,计算在这些点处的值即求出观测模型的观测值;
151.步骤3:令;
152.步骤4:根据有限的观测值对于函数进行估计,该假设被称为贝叶斯优化中的先验假设,通过该假设估计(函数分布)上的目标值最小值;
153.步骤5:根据当前观测数据,计算采集函数并确定下一个观测点,计算在下一个观测点处的函数值:,并令,更新概率代理模型;
154.步骤6:重复上述步骤4和5,直至假设分布上的目标值达到预设的标准或达到事先指定的最大观测次数m;
155.步骤7:输出以及对应的y,即为优化后的超参数。
156.(2)贝叶斯优化框架步骤4中采用的对函数分布进行估计的工具(概率代理模型)如下:
157.概率代理模型包含先验概率模型和观测模型,更新概率代理模型即根据公式得到包含更多数据信息的后验概率分布,计算公式如下:
158.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15);
159.式中,为目标函数,d表示已观测集合,为观测值的似然分布,表示的先验概率分布,表示的后验概率分布。
160.采用高斯过程回归作为概率代理模型,根据少数观测点估计出目标函数的分布(包括上每个点的取值以及该点对应的置信度),其中高斯过程回归服从k维正态分布:
161.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16);
162.其中,表示一个n维向量,为均值函数,为协方差函数。
163.(3)贝叶斯优化框架步骤5中采集函数如下:
164.采集函数衡量观测点对拟合所产生的影响,并选取影响最大的点执行下一步观测,采用期望提升ei(expected improvement)作为采集函数并确定下一个观测点,即如果某个点可以为当前最大的带来最大期望的提升,则将该点选定为下一个观测点,计算公式如下:
165.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17);
166.ꢀꢀꢀ
(18);
167.式(16)-式(17)中,是第i步观测的位置,是n+1时间点的代理的后验均值;表示令当前目标函数最大时的观测位置;为当前目标函数的最大值;argmax(f(x))函数是求使f(x)值最大的自变量x;max(f(x))函数是求f(x)的最大值;d表示当前观测数据集合;e(f(x))函数是对f(x)求期望。
168.以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1