基于压缩感知的大坝安全监测数据缺失值插补方法及系统与流程

本发明涉及数据插补处理，具体涉及一种基于压缩感知的大坝安全监测数据缺失值插补方法及系统。

背景技术：

1、随着传感技术的高速发展，越来越多的高新技术被应用到大坝安全监测领域，大坝安全监测逐渐由人工观测转变为仪器自动化监测，极大地提高了监测的效率和准确性。由于大坝的监测周期长且在运行过程中易受诸多不确定因素影响，在数据采集和数据输送存储过程中，常常出现数据缺失的情况，导致监测数据的不完整。监测数据的缺失使部分反映坝体安全性态的有效信息丢失，不利于数据的后续分析效果，降低安全监控模型的建模质量。

2、对监测数据中的缺失数据进行插补处理，恢复完整的监测数据序列，可为大坝安全运行和可靠预报提供完整数据支持。目前，在大坝安全监测数据的缺失值插补方法中，常用的包括三次样条插补法、多重插补法、k-最近邻插补法等，传统的数据插值方法对于某一段随机缺失的数据插补效果较好，但对于多段连续缺失的数据类型的插补效果还需要进一步提高。

3、压缩感知(compressive sensing，cs)理论主要是以稀疏信号包含原始信号中大量本质信息为基础，实现数据从高维到低维的压缩以及从低维到高维的重建。一方面，可以利用压缩感知理论寻找原始数据中的主要信息以实现数据的稀疏化；另一方面，可通过压缩感知的重建方法，将一些丢失的数据得到有效的恢复。因此，可将缺失后的现存数据视作为压缩后的观测信号，通过重构操作达到恢复缺失数据的效果。压缩感知理论通过对数据稀疏表示、压缩测量及重构稀疏系数来达到重构原始信号的目的。在利用压缩感知理论重建数据的各步骤中，不能正确的选择合适的相关算法会使得重构大坝安全监测数据缺失值的精确性不足。

技术实现思路

1、发明目的：

2、针对现有技术中的缺陷，提供一种基于压缩感知的大坝安全监测数据缺失值插补方法。

3、技术方案：

4、本发明提供一种基于压缩感知的大坝安全监测数据缺失值插补方法，包括如下步骤：

5、s1、选取待插补的大坝安全监测缺失数据序列；

6、s2、利用最大信息系数方法选取与待插补数据序列相关性较高的数据序列作为k-svd字典学习的训练样本；

7、s3、利用k-svd字典学习训练样本得到稀疏矩阵；

8、s4、利用稀疏矩阵对待插补的数据序列进行稀疏表示，根据缺失值的位置设计测量矩阵；

9、s5、利用stomp重构算法得到重构后的稀疏系数，通过与稀疏矩阵相乘得到插补后的大坝安全监测数据序列。

10、优先地，步骤s2中，利用最大信息系数方法选取与待插补数据序列相关性较高的数据序列作为字典学习的训练样本，包括以下步骤：

11、s21、给定的两个大坝安全监测数据序列x和y，其中x＝[x1,x2,x3,…,xn]，y＝[y1,y2,y3,…,yn]，计算两者之间的互信息：

12、

13、式中：p(x,y)为时间序列x与y的联合概率密度函数，p(x)和p(y)分别为时间序列x与y的边缘联合概率密度函数；

14、s22、选出最大的互信息值，并对其进行归一化：

15、

16、式中：b为样本变量，n为样本数据量，b的取值为n0.6；

17、s23、最大信息系数mic的取值范围为[0,1]，系数越大，变量间的相关程度越高，根据设定的阈值ε选取作为字典学习的训练样本。

18、优先地，步骤s23中，ε的取值范围为0.8～1。

19、优先地，步骤s3中，利用k-svd字典学习训练样本得到稀疏矩阵，包括以下步骤：

20、s31、初始化字典；

21、s32、根据已知字典d利用匹配追踪算法求解大坝测点集合中每个样本xi的稀疏系数si，求解：

22、

23、式中：t0为每个稀疏系数中非零元素总数所允许的最大值；

24、s33、固定每个样本xi，然后执行更新字典d；向量dk表示待更新字典d的第k列原子，利用得出的稀疏系数si与列向量dk相乘，得到即第k行向量，则此时样本集合的目标函数为：

25、

26、式中：x为一组数据训练样本，s为字典d的稀疏系数，||·||f为frobenius范数，向量为稀疏系数集合中字典原子dk对应的第k行向量，矩阵ek为去掉字典原子dk后的误差矩阵；

27、定义一个索引集，记作βk：

28、

29、式中：βk为训练样本s分解中用到字典原子dk时所有xi的索引集合，βk为n×|βk|阶矩阵，其中第βk(i)行第i列位置处的元素为1，其他元素都为0；

30、将去掉零输入后的矩阵ek、向量βk记作即：

31、

32、s34、对矩阵使用奇异值分解，得到：

33、

34、式中：矩阵u与矩阵v相互正交，△为对角矩阵，表达式为：

35、

36、式中：σi(i＝1,2,…,r)为的全部非零奇异值，r为矩阵的秩；

37、s35、利用协方差矩阵u的第一列向量来更新字典d的第k列，将矩阵v的第一列向量和对角阵△的最大奇异值相乘来更新系数向量得到的向量即是更新后的字典第k列原子，接着重复步骤s32～s34，进行逐列迭代，使字典d中的每一列原子都逐一得到更新，直至满足终止迭代条件，输出训练好的字典，得到大坝安全监测数据的稀疏表示。

38、优先地，步骤s4中，利用稀疏矩阵对待插补的数据序列进行稀疏表示，根据缺失值的位置设计测量矩阵，包括以下步骤：

39、s41、对于含有缺失值的大坝安全监测数据序列x∈rn，设计一个单位矩阵i∈rn×n；

40、s42、将x∈rn与单位矩阵i∈rn×n相乘，x中零值元素所在的行向量与单位矩阵相乘时，所得矩阵对应位置的元素为零，将该行值删除；

41、s43、将非零值所对应的行列设置为1，得到测量矩阵φ∈rm×n；

42、优先地，步骤s5中，利用stomp重构算法得到重构后的稀疏系数，通过与稀疏矩阵相乘得到插补后的大坝安全监测数据序列，包括以下步骤：

43、s51、给定门限阈值ts，将大于阈值的原子作为匹配原子，分阶段的从原子集合中选择迭代和余量匹配的原子，每次选择一个或多个匹配原子：

44、jn＝{j|μj>tnδn}，

45、式中：m为感知矩阵a的行数a∈rm×n，rn-1为第(n-1)次的余量，tn为极限因子，μj为原子内积。

46、s52、对余量r0进行初始化，令其等于y，并设置支撑集λ0＝{}，支撑集表示第i次迭代的索引集合，即原子的列序号；

47、s53、计算内积μ＝|atrj-1|，即|<ri-1,aj>|,1≤j≤n，选取大于门限阈值ts＝tnδn的μ值，将其对应感知矩阵a的列序号j构成集合j0；

48、s54、令λi＝λi-1∪j0,ai＝ai-1∪ai(所有j∈j0)，若λi＝λi-1，则停止迭代进入第s56；

49、s55、求解y＝aisi，得到并更新余量

50、s56、令迭代次数i＝i+1，若更新的误差或迭代次数未满足停止条件，则返回s52继续迭代，否则进入s56；

51、s57、重构所得的在λi处有非零项，其值分别为最后一次迭代所得的

52、s58、根据重构得到的与原始稀疏矩阵相乘，则得到插补后的大坝安全监测数据。

53、优先地，步骤s51中，ts的取值范围为[2，4]。

54、基于压缩感知的大坝安全监测数据缺失值插补系统，包括数据采集模块、训练样本选取模块、学习模块、插补模块；

55、数据采集模块选取待插补的大坝安全监测缺失数据序列；

56、训练样本选取模块利用最大信息系数方法选取与待插补数据序列相关性大于设定阈值的数据序列作为k-svd字典学习的训练样本；

57、学习模块利用k-svd字典学习训练样本得到稀疏矩阵；

58、插补模块根据缺失值的位置设计测量矩阵，利用stomp重构算法得到重构后的稀疏系数，通过与稀疏矩阵相乘得到插补后的大坝安全监测数据序列。

59、一种电子设备，包括处理器和存储器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行所述基于压缩感知的大坝安全监测数据缺失值插补方法。

60、一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行所述基于压缩感知的大坝安全监测数据缺失值插补方法。

61、有益效果：

62、本发明提供的数据缺失值插补方法能对大坝安全监测数据缺失值进行有效插补，插补精度高，对多段连续缺失值的插补效果良好，适应性强。