一种基于全卷积神经网络的大坝安全监测数据异常值识别方法与流程

1.本发明涉及大坝安全监测、监控及管理的技术领域，尤其是涉及一种基于全卷积神经网络的大坝安全监测数据异常值识别方法。


背景技术：

2.大坝安全监测是了解大坝运行性态的重要手段，因此大坝安全监测数据的可靠、准确对大坝管理而言显得异常重要。理想情况下，大坝安全监测数据过程线应是连续光滑的，但实际工程中的很多自动化观测数据由于受到外部干扰或仪器自身稳定性等影响，可能出现偏离整体的异常值、数据缺失、出现数据突变等现象。异常监测数据的存在将影响大坝安全分析的准确性，尤其是不利于大坝安全数字化监控系统的正常运行。目前对大坝安全异常值主要通过工程师目视和计算机设定规则两种手段进行识别。工程师目视的优势是能够凭借工程师的经验准确识别出异常数据，但其最大的劣势是费时费力。通过计算机编制规则识别需要工程师总结归纳并进行规则编程，但监测数据异常模式千变万化而无法穷尽描述，且存在部分高度抽象的规则难以用数学或计算机语言准确描述的问题，至今为止没有很好的解决方法。若能寻找到一种基于工程师经验和大量监测数据的数据挖掘方法，能够通过一种方法或模型就能对海量多类型监测数据异常值进行识别的方法，则对大坝安全管理而言将具有重要意义。


技术实现要素：

3.本发明的目的在于提供一种基于全卷积神经网络的大坝安全监测数据异常值识别方法，以解决现有技术中存在的识别大坝安全监测数据异常值费时费力的技术问题。
4.本发明提供的一种基于全卷积神经网络的大坝安全监测数据异常值识别方法，包括如下步骤：s1.采集大量不同类型异常值的大坝安全监测数据序列，并制作数据子序列集；s2.对s1中的数据子序列集中的异常值进行分类标记，并进行归一化处理，得到带有分类标记的大坝安全监测异常数据样本集；s3.构建端到端的一维全卷积神经网络模型；s4.将s2中的大坝安全监测异常数据样本集输入到s3中的全卷积神经网络模型进行训练，得到大坝安全监测数据异常值识别模型；s5.将待识别的监测数据序列进行s1 中的数据子序列集制作，并进行s2中的归一化处理；s6.将s5中归一化处理后的数据序列输入s4中的大坝安全监测数据异常值识别模型中，得到待识别的监测数据序列的异常值分类标记。
5.进一步的，制作所述数据子序列集的步骤包括：设置数据序列的格式为 [(t1,v1),(t2,v2),
……
(tn,vn)]，其中ti和vi分别代表第i个测值采集的时间和数值，数据序列长度为n；从该数据序列中取出有m个测值的数据子序列，如 [(t1,v1),(t2,v2),
……
(tm,vm)],[(t2,v2),(t3,v3),
……
(tm+1,vm+1)]
…
[(tn-m+1,vn-m+1),(tn-m+ 2,vn-m+2),
……
(tn,vn)]，得到该数据序列的n-m个数据子序列。
[0006]
进一步的，所述分类标记方法包括对每个数据子序列中的异常值进行人工标记，
形成标签数据。
[0007]
进一步的，构建所述一维全卷积神经网络模型的步骤包括：输入数据序列，其向量尺寸为m
×
2，经第一次卷积、第二次卷积和第一次池化处理后，得到特征数据长度为原数据的1/2；经第三次卷积、第四次卷积和第二次池化处理后，得到特征数据长度为原数据的1/4；经第五次卷积和第三次池化处理后，得到特征数据长度为原数据1/8；经第六次卷积和第四次池化处理后，得到特征数据长度为原数据的1/16；将最终长度为原数据1/16的特征数据进行第一次反卷积处理，得到长度为原数据1/8的特征数据；将第一次反卷积处理后的特征数据与原第三次池化处理后的数据融合，进行第二次反卷积处理，得到长度为原数据1/4的特征数据；将第二次反卷积处理后的特征数据与原第二次池化处理后的数据融合，进行第三次反卷积处理，并以softmax算子处理得到各数据的分类预测，向量尺寸为m
×
1。
[0008]
本发明提供的一种基于全卷积神经网络的大坝安全监测数据异常值识别方法，通过构建可处理时序数据的一维全卷积神经网络，结合工程师经验以监督式方法开展监测数据异常值识别，可实现工程技术人员识别过程的智能模拟，优于现有的基于规则或聚类的识别方法，解决了大坝安全监测数据异常识别费时费力的技术问题，对于大坝安全监测数据异常值识别具有普遍通用性，可直接用于大坝安全监测数据异常值识别，能够显著提高大坝安全管理的工作效率。
附图说明
[0009]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]
图1为本发明实施例提供的一种基于全卷积神经网络的大坝安全监测数据异常值识别方法的实施流程图；
[0011]
图2为本发明实施例提供的典型异常值类型示意图；
[0012]
图3为本发明实施例提供的全卷积神经网络结构。
具体实施方式
[0013]
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0014]
请参考附图1，本实施例提供的一种基于全卷积神经网络的大坝安全监测数据异常值识别方法，包括如下步骤：
[0015]
s1.采集大量不同类型异常值的大坝安全监测数据序列，并制作数据子序列集，请参考附图2，图中为监测传感器采集的监测数据样例，图中标注了各类数据异常值类型；
[0016]
s2.对s1中的数据子序列集中的异常值进行分类标记，并进行归一化处理，得到带有分类标记的大坝安全监测异常数据样本集；
[0017]
s3.构建端到端的全卷积神经网络模型；
[0018]
s4.将s2中的大坝安全监测异常数据样本集输入到s3中的全卷积神经网络模型进行训练，得到大坝安全监测数据异常值识别模型；
[0019]
s5.将待识别的监测数据序列进行s1中的数据子序列集制作，并进行s2中的归一化处理，得到尺寸满足全卷积神经网络输入要求的子序列；
[0020]
s6.将s5中归一化处理后的数据序列输入s4中的大坝安全监测数据异常值识别模型中，得到待识别的监测数据序列的各子序列的测值结果，将各子序列的测值结果进行分类统计，得到待识别的监测数据序列的测值结果。比如在各子序列中，同一个测值出现几种分类结果，则取分类统计数最大的分类标记为该测值的最后分类结果。
[0021]
进一步的，s1中的制作所述数据子序列集的步骤包括：设置数据序列的格式为 [(t1,v1),(t2,v2),
……
(tn,vn)]，其中ti和vi分别代表第i个测值采集的时间和数值，数据序列长度为n；从该数据序列中取出有m个测值的数据子序列，如 [(t1,v1),(t2,v2),
……
(tm,vm)],[(t2,v2),(t3,v3),
……
(tm+1,vm+1)]
…
[(tn-m+1,vn-m+1),(tn-m+ 2,vn-m+2),
……
(tn,vn)]，得到该数据序列的n-m个子序列。其中，归一化处理是指将数据序列的测值的时间和数值都归一化到[0,1]区间。
[0022]
进一步的，s2中的分类标记方法包括对每个数据样本中的异常值进行工程师人工标记，形成标签数据，标签数据的格式为[bq1,bq2
…
,bqn]，其中，bqi为第i个测值的分类标签。测值的分类标签包括但不限于此7类，分别为正常值(标签值为0)、待确认值(标签值为1)、无效值(标签值为2)、突变前值(标签值为3)、突变后值(标签值为4)、缺失前值(标签值为5)、缺失后值(标签值为6)。由此可识别大坝安全监测数据中常见的3类异常类型，包括无效、突变、缺失。
[0023]
进一步的，请参考附图3，构建的一维全卷积神经网络模型结构如下：输入数据序列，其向量尺寸为m
×
2，经第一次卷积、第二次卷积和第一次池化处理后，得到特征数据长度为原数据的1/2；经第三次卷积、第四次卷积和第二次池化处理后，得到特征数据长度为原数据的1/4；经第五次卷积和第三次池化处理后，得到特征数据长度为原数据1/8；经第六次卷积和第四次池化处理后，得到特征数据长度为原数据的1/16；将最终长度为原数据1/16的特征数据进行第一次反卷积处理，得到长度为原数据1/8的特征数据；将第一次反卷积处理后的特征数据与原第三次池化处理后的数据融合，进行第二次反卷积处理，得到长度为原数据1/4的特征数据；将第二次反卷积处理后的特征数据与原第二次池化处理后的数据融合，进行第三次反卷积处理，并以softmax算子处理得到各数据的分类预测，向量尺寸为m
×
1。
[0024]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。