基于大数据分析和异常值过滤的大坝监测数据计算方法与流程

本发明属于水电工程大坝监测领域，具体涉及一种基于大数据分析和异常值过滤的大坝监测数据计算方法。

背景技术：

1、水利工程大坝在建设期和运行期受到温度应力、干缩应力、地基沉降、库水压力和冰冻等多因素影响，混凝土大坝很可能会发生劣化、开裂和破坏，若缺乏必要的监测和及时处理，可能由小的缺陷演变为大的事故，带来巨大的损失。因此大坝安全监测已成为大坝建设和运行过程中必不可少的重要环节。

2、现有大坝安全监测技术主要是通过埋设在大坝内部的各类传感器实时监测获取大坝各项数据，然后对监测数据进行分析处理来判别大坝的工作状态。受监测环境、人为因素以及仪器设备精度和漂移等影响，监测中会出现部分异常数据，进而直接影响大坝性态分析和安全评价的结果，给大坝安全监测带来一定的困扰。因此，对异常数据的筛选、分析和处理是大坝安全监测必不可少的工作之一。

3、虽然现有技术中有文献提出通过数据优化算法对异常数据进行检测，然后将异常数据直接进行删除，或者直接用一个相邻部位传感器的数据进行代替，从某种程度上解决了异常数据的困扰。但是这种处理方法不够严谨，删除数据会导致数据库不完整，直接替换也存在误差较大的问题，这对于大坝性态分析和安全评价也会产生直接影响，因此对于异常数据如何进行有效的处理，也是目前大坝安全监控工作的一大难题。

技术实现思路

1、本发明的目的是针对上述问题，提供一种基于大数据分析和异常值过滤的大坝监测数据计算方法，通过各类传感器获取大坝的多种监测数据，并利用聚类分析技术有效识别出无效或异常的样本数据，对异常样本数据依据其产生的原因进行分类修正，并利用修正前、后的样本数据建立机器学习模型的训练集，对大坝监测数据的机器学习模型进行训练，将训练好的机器学习模型用于大坝实时监测数据的自动校正，代替人工的数据校核，并利用带注意力机制的循环神经网络rnn，减弱无效数据或异常数据对预测结果影响的权重，加强有效数据对预测结果的权利，从而提高循环神经网络rnn的预测结果的准确性，提高大坝实时监测数据校正的实时性、准确性和效率，便于对大坝状态进行实时地准确评估。

2、本发明的技术方案是基于大数据分析和异常值过滤的大坝监测数据计算方法，包括以下步骤：

3、步骤1：通过各类传感器获取大坝各类监测数据，包括大坝不同部位监测点的温度、湿度、应力应变和位移沉降数据；对各类监测数据分别聚类分析，并根据聚类分析结果，筛选出大坝各类监测数据中异常的样本数据；

4、步骤2：对步骤1得到的异常的样本数据，判断异常的样本数据是否有效，筛选过滤其中的无效数据；

5、步骤3：分析所述异常的样本数据产生的原因并对其分类；对不同类别的异常数据分别进行修正，得到修正后的样本数据，将修正前、后的样本数据与步骤1得到的各类监测数据中的有效数据聚合到一起，构建训练数据集；

6、步骤4：采用循环神经网络构建大坝监测数据的机器学习模型，将修正前的样本数据作为所述机器学习模型的输入，将修正后的作为所述机器学习模型的输出，利用训练数据集所述机器学习模型进行训练；

7、步骤5：将实时的大坝监测数据作为所述机器学习模型的输入，利用训练好的大坝监测数据的机器学习模型得到大坝监测数据的校正数据；

8、步骤6：构建大坝有限元分析模型，将步骤5得到的大坝实时监测数据的校正数据作为大坝有限元分析模型的输入，利用大坝有限元分析模型分析、评估大坝的性能。

9、优选地，所述大坝监测数据的机器学习模型采用带注意力机制的循环神经网络rnn。

10、优选地，步骤2中，所述对大坝各类监测数据分别进行聚类分析，对每种类型的大坝监测数据的聚类分析的具体过程为：

11、1）在大坝监测数据样本集内随机选取 k个样本子集并分别计算样本子集的均值点，将样本子集的均值点作为初始聚类中心，得到初始分割的 k个数据簇；

12、2）对未被步骤1）选取的样本集中的样本点，按照如下的欧氏距离公式分别计算它们与初始聚类中心之间的距离：

13、

14、式中表示样本点之间的距离；分别表示样本点的第 i个特征参数的取值， m表示样本点的特征参数的数量；

15、根据距离最近原则，将样本点划分至与其距离最小的聚类中心所在的数据簇；

16、3）计算每一个数据簇的均值；

17、4）重复执行步骤2）和步骤3），分别计算 k个数据簇的均值，更新聚类中心，直至样本点分类不再发生改变；

18、5）计算新的样本点与最接近的聚类中心的距离，并与阈值进行比较，若该样本点与最接近的聚类中心的距离大于阈值，将判断该样本点为异常的样本数据。

19、优选地，所述步骤2中，采用3σ原则统计方法，判断异常的样本数据是否有效，筛选过滤其中的无效数据，具体过程包括：

20、（一）计算与异常数据最近的数据簇的均值μ和标准差σ；

21、（二）根据3σ原则，计算得到有效数值区间（μ-3σ，μ+3σ)；

22、（三）判断异常数据是否在有效数值区间内，将大于有效数值区间上限μ+3σ或者小于有效数值区间下限μ-3σ的异常数据标记为无效数据。

23、优选地，所述步骤3中，根据形成原因对异常数据分类，异常数据的分类包括：

24、(i)传感器自身精度不足导致监测数据异常；

25、(ii)传感器长时间工作后，在某时刻偶尔发生“漂移”，导致监测数据异常；

26、(iii)传感器信号数据线在某时刻受到强电磁干扰导致监测数据异常；

27、(iv)大坝施工时骨料分布不均、振捣不密实导致监测数据异常；

28、(v)数据监测设备短时间断电、掉线导致监测数据异常；

29、(vi)其它非硬件损坏原因导致监测数据异常。

30、优选地，所述步骤3中，对不同类别的异常数据分别进行修正，具体包括：

31、针对第i类异常数据，根据出现异常数据的监测点的相邻监测点的监测数据，采用插值法得到异常数据的修正值；

32、针对第ii、iii类异常数据，根据大坝监测点的历史监测数据采用指数曲线趋势外推法得到异常数据的修正值；

33、针对第iv类异常数据，根据出现异常数据的监测点的相邻监测点的监测数据，构建监测数据序列 se，对 se进行数据筛选，找出 se内所有极值点，并使用三次样条插值算法拟合出监测数据序列 se的上包络线ul( t)和监测数据序列 se的下包络线dl( t)， t表示时间，计算上、下包络线的均值函数ml( t)，

34、ml( t)=；

35、根据均值函数ml( t)得到第iv类异常数据的修正值；

36、针对第v类异常数据，分别计算异常数据与其相邻的n个数据样本点之间的距离，利用如下公式计算异常数据的修正值：

37、

38、式中为第v类常数据的修正值，dist1、dist2、…distn分别为异常数据与其相邻的第1个、第2个、……第n个数据样本点之间的距离；

39、针对第vi类异常数据，确定异常数据出现时刻的前后时间范围t，对时间范围t内的监测数据进行数据提取，确定时间范围t内监测数据的最大值qmax和最小值qmin，获取异常数据出现时刻相邻位置传感器的实时监测数据q，利用如下公式计算异常数据的修正值：

40、；

41、式中为第vi类异常数据的修正值。

42、优选地，步骤4中，所述大坝监测数据的机器学习模型采用带注意力机制的循环神经网络rnn。

43、所述带注意力机制的循环神经网络rnn的输出由循环神经网络的隐藏状态加权构成，其注意力权重系数是隐藏状态通过前馈神经网络生成，具体的计算式为：

44、

45、

46、

47、

48、式中，为第二层节点 i的注意力权重系数，、为第二层节点 i、 j的隐藏状态经前馈神经网络输出的权重参数，、、均是该前馈神经网络的参数，是自然底数；

49、该前馈神经网络的神经元采用双曲正切函数作为激活函数，以循环神经网络rnn的隐藏状态作为神经元的输入，输出隐藏状态对应的权重参数。

50、所述的大坝监测数据计算方法的系统，包括：

51、大坝监测数据采集模块，用于获取大坝各类监测数据，包括大坝不同部位监测点的温度、湿度、应力应变和位移沉降数据，存储到大坝监测数据库；

52、数据聚类分析模块，用于对大坝各类监测数据分别进行聚类分析，根据各类监测数据的聚类分析结果筛选区分大坝各类监测数据中的有效数据和异常数据，并依据异常数据的特性分析其产生原因，对其进行分类；

53、异常数据修正模块，从数据聚类分析模块获取大坝各类监测数据中的异常数据，根据所述异常数据的分类，对异常数据进行修正；

54、机器学习模型模块，用于构建大坝监测数据的机器学习模型，并利用修正前、后的样本数据建立机器学习模型的训练集，对大坝监测数据的机器学习模型进行训练；

55、智能校正模块，采用训练好的大坝监测数据的机器学习模型，对实时的大坝监测数据进行预测、校正，得到实时大坝监测数据的校正数据；

56、有限元分析模块，将实时大坝监测数据的校正数据作为大坝有限元分析模型的参数数据，利用大坝有限元分析模型得到大坝状态的评估结果。

57、相比现有技术，本发明的有益效果包括：

58、1）本发明通过各类传感器全面获取大坝的多种监测数据，并利用聚类分析技术有效识别出异常样本数据，对异常样本数据依据其产生的原因进行分类修正，提高了大坝监测数据的准确性和有效性。

59、2）本发明针对包含异常数据的大坝监测数据构建了机器学习模型，并利用修正前、后的样本数据建立机器学习模型的训练集，对大坝监测数据的机器学习模型进行训练，将训练好的机器学习模型用于大坝实时监测数据的自动校正，代替人工的数据校核，提高了大坝实时监测数据校正的实时性、准确性和效率，便于对大坝状态进行实时地准确评估。

60、3）本发明提供了一种带注意力机制的循环神经网络rnn作为大坝监测数据的机器学习模型，相比普通的循环神经网络，能够更好的对大坝实时监测数据进行识别和自动校正，提高了数控校正的实时性、准确性和效率。

61、4）本发明通过综合运用传感器技术、数据分析、机器学习等方法，显著提升了大坝安全管理的智能化和精细化水平，有助于及时发现并处理潜在的安全隐患，保障大坝的长期稳定运行。

62、5）本发明通过k-means算法从大坝监测数据库中甄别出无效、异常的监测数据，能有效避免无效、异常的监测数据对大坝安全分析的影响，更加真实、准确地反应大坝的工作状态。

63、6）本发明对异常数据进行深入分析，明确其产生的原因并进行分类，有助于更好地理解、评估大坝的安全状况，为后续的修正和预防措施提供了依据。

64、7）本发明将实时大坝监测数据的校正数据作为大坝有限元分析模型的参数数据，利用大坝有限元分析模型得到大坝状态的评估结果。