本发明涉及一种大坝安全监测数据粗差智能识别方法。适用于大坝安全监测领域及其他时间序列数据检测领域。
背景技术：
对于投运的中大型水坝工程而言，安全监测是了解其运行性态的最重要手段，而大坝安全监测数据也是实施大坝安全监控的重要基础，因此对于大坝安全管理而言必须确保监测数据的有效性。
实际工程中，大坝安全监测数据通过人工或自动化方式采集，由于受到人为、环境条件、外界干扰、仪器本身等因素的影响，两种采集方法均可能导致少量监测数据与大部分数据之间存在明显差异，这些与合理测值明显相悖的数据即粗差。
粗差实际上是错误的监测数据，粗差的存在影响后续监测数据分析的准确性，进而影响工程师对大坝安全的评判，尤其不利于大坝的自动化监控。
现阶段常用的大坝安全监测数据粗差判别方法主要有逻辑判别法、统计判别法和监控模型法，但是上述方法往往需要建立复杂的模型、人工设定评判阈值，对于不同数据序列也需要进行不同的设置或对模型进行维护，在面对大批量监测数据时往往效率低下。除此之外，灰色系统理论、模糊理论、人工免疫系统等方法也被用于粗差识别，但上述方法的发展还未完善，不同方法或多或少存在某些缺陷，在实际应用中有其局限性。
如何准确、快速地识别并剔除大坝安全监测数据中的粗差，尤其是寻求一种无须人为制定评判规则和阈值，又能够准确高效处理大批量多类型监测数据的粗差识别方法，对大坝安全管理而言具有非常重要的意义。
技术实现要素：
本发明要解决的技术问题是：针对上述存在的问题，提供一种无须人为制定评判规则和阈值，又能够准确高效处理大批量多类型监测数据的大坝安全监测数据粗差智能识别方法。
本发明所采用的技术方案是：一种大坝安全监测数据粗差智能识别方法，其特征在于：
s1、读入待检测的大坝安全监测数据，数据格式为[时间，数据]；
s2、采用无监督学习算法对待检测的监测数据序列进行检测，识别显著异常的数据，并标记疑似粗差数据ⅰ和可能正常数据ⅰ；
s3、对可能正常数据ⅰ采用滤波算法进行平滑处理，将原数据减去平滑处理后的数据得到残差，并再次使用无监督学习算法对数据序列的残差进行检测，根据残差分类识别出可能异常数据，标记疑似粗差数据ⅱ和可能正常数据ⅱ；
s4、对可能正常数据ⅱ使用监督学习算法对数据序列进行检测，识别数据中剩余的可能为粗差的数据，输出疑似粗差数据ⅲ和正常数据；
s5：将疑似粗差数据ⅰ、疑似粗差数据ⅱ和疑似粗差数据ⅲ组合为疑似粗差数据，将疑似粗差逐个放入正常数据序列并采用监督学习算法进行进一步检测，若疑似粗差数据被确认为正常则进行召回而标记为正常数据，否则标记为粗差数据。
s6：以带标签的形式输出粗差识别结果，数据格式为[时间，数据，标签值]，其中标签值代表相应数据为正常数据或粗差数据。
步骤s2包括：
s2-1、取出待检测数据序列的全部测值数据，利用无监督学习算法对测值数据建模分析以得到各数据的异常值得分；
s2-2、根据每个数据的异常值得分进行分类，当异常值得分大于设定值ⅰ时将该数据标记为粗差数据，反之标记为正常数据；
s2-3、将标记为粗差的数据作为疑似粗差ⅰ，标记为正常的数据作为可能正常数据ⅰ。
步骤s2-1中无监督学习算法选用孤立森林算法。
步骤s3包括：
s3-1、将可能正常数据ⅰ记为y1，采用滤波算法对数据序列进行处理，得到平滑后的数据序列y2，计算数据序列平滑前后的残差记为s，s＝y1-y2；
s3-2、利用无监督学习算法对残差数据建模分析，计算得到残差系列的异常值得分作为原数据序列的异常值得分；
s3-3、根据每个数据的异常值得分进行分类，当异常值得分大于设定值ⅱ时将该数据标记为粗差数据，反之标记为正常数据；
s3-4：将标记为粗差的数据作为疑似粗差数据ⅱ，标记为正常的数据作为可能正常数据ⅱ。
步骤s3-1中滤波算法选用中位值平均滤波算法。
步骤s3-2中无监督学习算法选用孤立森林算法。
步骤s4包括：
s4-1、对于可能正常数据ⅱ，首先将其分割为若干长度为m的数据序列作为待识别数据；
s4-2、调用训练好的基于卷积神经网络的粗差识别模型对待识别数据进行检测，对被识别为粗差的数据则标记为粗差数据，反之标记为正常数据；
s4-3：对s4-2中标记为正常的数据重复步骤s4-1和s4-2，直至粗差识别模型无法识别到粗差数据为止；
s4-4：将被标记为粗差的数据作为疑似粗差ⅲ，标记为正常的数据作为正常数据。
步骤s5包括：
s5-1、将疑似粗差数据ⅰ、疑似粗差数据ⅱ和疑似粗差数据ⅲ作为疑似粗差；
s5-2、分别将每一个疑似粗差数据放回序列中的原位置，并从序列中取固定长度为m且仅包含该疑似粗差的连续数据段作为待检测样本；
s5-3、调用训练好的基于卷积神经网络的粗差识别模型对s5-2输出的待检测样本进行检测，若疑似粗差数据经检测被确认为正常数据，则将其召回并标记为正常数据，反之确认为粗差数据；
s5-4：将s5-3中疑似粗差数据中确认为粗差的数据作为粗差数据，将s5-3中召回并标记为正常数据的疑似粗差数据和s4中被识别为正常的数据作为正常数据。
所述基于卷积神经网络的粗差识别模型构建方法，包括：
收集含粗差的大坝安全监测数据，数据格式为[时间，测值]；
采用人工方法对监测数据中的粗差进行识别并标记标签值，经标记后的监测数据格式为[时间，测值，标签值]；
将监测数据序列分割为长度为m的样本序列，分割要求是使得每个样本序列中至多含有一个粗差数据；
搭建用于粗差识别训练的卷积神经网络，其功能是对样本序列进行检测以识别是否存在粗差并确认粗差在序列中的位置；
利用样本数据对卷积神经网络进行训练，得到基于卷积神经网络的粗差识别模型，以备后续调用。
所述卷积神经网络包含6个卷积层，4个池化层及1个全连接层。
本发明的有益效果是：本发明采用无监督学习算法和监督学习算法结合的方法提供了一种能够准确、快速处理大批量多类型监测数据的粗差智能识别方法，该方法无须人为制定粗差判定规则及阈值，对于各类监测数据具有较好的通用性。本发明可直接用于大坝安全监测数据的粗差识别，为提高大坝安全管理效率提供了有效的手段。
附图说明
图1为实施例的实施流程图。
图2为实施例中监督学习算法所采用的卷积神经网络结构示意图。
图3为实施例中的粗差识别算例。
具体实施方式
本实施例提供一种大坝安全监测数据粗差智能识别方法，包括以下步骤：
s1、读入待检测的大坝安全监测数据，数据格式为[时间，数据]；
s2、采用无监督学习算法对待检测的监测数据序列进行检测，识别显著异常的数据，并标记疑似粗差数据ⅰ和可能正常数据ⅰ；
s2-1、取出待检测数据序列的全部测值数据，利用无监督学习算法(此处选用孤立森林算法)对测值数据建模分析以得到各数据的异常值得分，得分越高表明异常的概率越大；
s2-2、根据每个数据的异常值得分进行分类，当异常值得分大于0.7时将该数据标记为粗差数据，否则标记为正常数据；
s2-3、将标记为粗差的数据作为疑似粗差ⅰ，标记为正常的数据作为可能正常数据ⅰ；
s3、对可能正常数据ⅰ采用滤波算法进行平滑处理，将原数据减去平滑处理后的数据得到残差，并再次使用无监督学习算法对数据序列的残差进行检测，根据残差分类识别出可能异常数据，标记疑似粗差数据ⅱ和可能正常数据ⅱ；
s3-1：将可能正常数据ⅰ记为y1，采用滤波算法(此处选用中位值平均滤波算法)对数据序列进行处理，得到平滑后的数据序列y2，计算数据序列平滑前后的残差记为s，则s＝y1-y2；
中位值平均滤波算法即连续采样n个数据，去掉一个最大值和一个最小值，然后计算n-2个数据的算数平均值作为平滑后的数据；
s3-2：利用无监督学习算法(此处选用孤立森林算法)对残差数据建模分析，计算得到残差系列的异常值得分作为原数据序列的异常值得分；
s3-3：根据每个数据的异常值得分进行分类，当异常值得分大于0.7时将该数据标记为粗差数据，否则标记为正常数据。
s3-4：将标记为粗差的数据作为疑似粗差ⅱ，标记为正常的数据作为可能正常数据ⅱ；
s4、对可能正常数据ⅱ使用监督学习算法对数据序列进行检测，识别数据中剩余的可能为粗差的数据，输出疑似粗差数据ⅲ和正常数据；
s4-1：对于可能正常数据ⅱ，首先将其分割为长度为m的数据序列作为待识别数据；
s4-2：调用训练好的基于卷积神经网络的粗差识别模型对待识别数据进行检测，对被识别为粗差的数据则标记为粗差数据，反之识别为正常数据；
s4-3：除去在s4-2步中被识别为粗差的数据，对于剩余识别为正常数据的可能正常数据重复步骤s4-1和s4-2，直至卷积神经网络无法识别到粗差数据为止；
s4-4：将被识别为粗差的数据作为疑似粗差ⅲ，将被识别为正常的数据作为正常数据；
s5：将疑似粗差数据ⅰ、疑似粗差数据ⅱ和疑似粗差数据ⅲ组合为疑似粗差数据，将疑似粗差逐个放入正常数据序列并采用监督学习算法进行进一步检测，若疑似粗差数据被确认为正常则进行召回而标记为正常数据，否则标记为粗差数据；
s5-1、将疑似粗差数据ⅰ、疑似粗差数据ⅱ和疑似粗差数据ⅲ作为疑似粗差，将s4-4输出的正常数据作为正常数据；
s5-2、分别将每一个疑似粗差数据放回序列中的原位置，并从序列中取固定长度为m且仅包含该疑似粗差的连续数据段作为待检测样本；
s5-3、调用训练好的基于卷积神经网络的粗差识别模型对上述待检测样本进行检测，若疑似粗差数据经检测被确认为正常数据，则将其召回并标记为正常数据，否则确认为粗差数据；
s5-4、经s5-3检测后，将疑似粗差数据中确认为粗差的数据作为粗差数据，将s5-3中召回并标记为正常数据的疑似粗差数据和s4-4中被识别为正常的数据作为正常数据；
s6：以带标签的形式输出粗差识别结果，数据格式为[时间，数据，标签值]，其中，标签值代表相应数据点是否为正常的状态(正常数据标签为“0”，粗差数据标签为“1”)。
本实施例中基于卷积神经网络的粗差识别模型构建方法，包括以下步骤：
收集含粗差的大坝安全监测数据，数据格式为[时间，测值]；
采用人工方法对监测数据中的粗差进行识别并标记标签值，经标记后的监测数据格式为[时间，测值，标签值]；
将监测数据序列分割为较短的样本序列，每个样本的长度固定为m，分割要求是使得每个样本序列中至多含有一个粗差数据；
搭建用于粗差识别训练的卷积神经网络，该卷积神经网络包含6个卷积层，4个池化层及1个全连接层，其功能是对样本序列进行检测以识别是否存在粗差并确认粗差在序列中的位置；
利用样本数据对卷积神经网络进行训练，得到粗差识别器，以备后续调用。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。