一种基于电力物联网设备的数据过滤监测预警方法与流程

：
1.本发明属于电力物联网设备监测技术；尤其涉及一种基于电力物联网设备的数据过滤监测预警方法。


背景技术：

2.目前,电力物联网设备监测中异常数据出现的主要原因包括:信号采集部分经常发生故障,如传感器失效；站内通信故障率较高；测量系统的抗干扰能力差；数据传输与处理部分经常发生故障。这些问题会导致状态监测中出现大量异常数据,且异常数据的种类较多，没办法进行有效的监测预警。传统方法主要采用基于阈值的异常值判定和基于计量统计量的异常值剔除方法,譬如3σ准则(拉依达准则)。这些准则基于某种精度范围来检测异常值,通常需要掌握数据的概率分布。但电力物联网设备异常数据的分布特征和分布规律与统计方法中默认假设的分布往往不同,因此,在实际应用中,现有技术的方法会过滤掉部分正常数据,甚至是真正的设备故障数据,直接导致采集数据和故障诊断分析的准确率和性能下降。


技术实现要素：

3.本发明要解决的技术问题是：提供一种基于电力物联网设备的数据过滤监测预警方法。以解决现有技术采用基于阈值的异常值判定和基于计量统计量的异常值剔除方法删除电力物联网设备监测中异常数据；会过滤掉部分正常数据,甚至是真正的设备故障数据,直接导致采集数据和故障诊断分析的准确率和性能下降等技术问题。
4.本发明技术方案：
5.一种基于电力物联网设备的数据过滤监测预警方法，所述方法包括：
6.步骤1、采集需要过滤的状态监控数据到主站系统；
7.步骤2、设定状态监测参量异常数据的衡量标准；
8.步骤3、核查数据的类别划分是否准确；
9.步骤4、依据簇内数量、簇间相似度比较结果,按相似度由高到低排序,确定与各簇间相似度最大的核心簇为异常簇；
10.步骤5、依据optics聚类核心对象密度排序结果，按照高低位次区分汇总得到的异常数据对象统计；
11.步骤6、数据入库，将正常数据根据相应的监测类型进行解析入库，对异常数据进行剔除，同时记录监测装置类型、生产厂家以及数据偏离度等异常属性信息。
12.它还包括：
13.步骤7、将监测数据推送突变趋势预警分析引擎，对监测类型的数据进行突变以及趋势预警分析；
14.步骤8、突变趋势预警分析引擎分析得出各类监测时间的趋势以及突变预警信息并存入预警缓存表中；
15.步骤9、对趋势突变预警信息做相应的预警压缩和预警升级处理，得到一个熟预警信息，存入预警表中；若达到关联预警条件，则触发关联预警分析事件。
16.它还包括：
17.步骤10、若达到关联预警条件，则触发关联预警分析事件，由关联预警分析引擎从在线监测数据库中获取相关类型的监测数据；
18.步骤11、对获取的相应的关联监测信息进行分析，得出相应的关联预警信息，同时存入预警信息缓存表中。
19.根据权利要求3所述的一种基于电力物联网设备的数据过滤监测预警方法，其特征在于：它还包括：
20.步骤12、将步骤11得到的关联预警信息与步骤9中的触发预警信息进行统一合并，实现统一预警。
21.衡量标准包括：所有监测参量全部为零值；所有监测参量数据偏离均值。
22.核查数据的类别划分是否准确的方法为：
23.定义异常数据识别准确率为：
[0024][0025]
式中，na,t为非异常采集数据在某一时序条件下的样本数量，nx,t为在某一时序条件下的全体采集样本，其中t为同一时间序列。
[0026]
步骤4所述依据簇内数量、簇间相似度比较结果,按相似度由高到低排序,确定与各簇间相似度最大的核心簇为异常簇的方法采用optics算法进行；
[0027]
optics算法的基础有两点：
[0028]
参数：一个是输入的参数，包括:半径ε，和最少点数minpts；
[0029]
定义核心点，核心距离和可达距离：
[0030]
核心点的定义：如果一个点的半径内包含点的数量不少于最少点数，则该点为核心点，数学描述即
[0031]
nε(p)》＝minpts
[0032]
在这个基础上得出核心距离的定义，即对于核心点，距离第minptsth近的点与之的距离为核心距离；
[0033][0034]
if n(p)＜=minptselse
[0035]
可达距离：对于核心点p，o到p的可达距离定义为o到p的距离或者p的核心距离；
[0036][0037]
if n(p)＜=minptselse
[0038]
o到p直接密度可达，即p为核心点，且p到o的距离小于半径。
[0039]
异常簇的具体确定流程具体包括：
[0040]
步骤4.1、输入：数据样本d，初始化所有点的可达距离和核心距离为max，半径ε，和
最少点数minptsminpts；
[0041]
步骤4.2、建立有序队列和结果队列；
[0042]
步骤4.3、如果d中数据全部处理完，则算法结束，否则从d中选择一个未处理且为核心对象的点，将该核心点放入结果队列，该核心点的直接密度可达点放入有序队列，直接密度可达点并按可达距离升序排列；
[0043]
步骤4.4、如果有序序列为空，则回到步骤4.3，否则从有序队列中取出第一个；具体包括：
[0044]
步骤4.4.1、判断该点是否为核心点，是则将该点存入结果队列；
[0045]
步骤4.4.2、该点是核心点，则找出所有直接密度可达点，并将这些点放入有序队列，且将有序队列中的点按照可达距离重新排序，如果该点已经在有序队列中且新的可达距离最小，则更新该点的可达距离；
[0046]
步骤4.4.3、重复上述操作直至有序队列为空。
[0047]
异常数据对象统计的方法为：利用拉依达准则和grubbs检验法对各个监测参量进行异常数据统计量分析，依据对状态监测异常数据的定义，结合对状态监测异常数据的分析，得到设备实际运状态监测采集数据的异常数据分布情况。
[0048]
本发明有益效果：
[0049]
本发明将聚类技术用于状态监测中的异常数据分析中,提出了一种基于点排序识别聚类结构密度聚类分析方法的异常点过滤算法:利用optics密度聚类算法来挖掘数据的特征分布,实现状态监测采集数据的异常点判定；在此基础上,结合电力物联网设备状态标准、阈值判定等规则,设计电力物联网设备状态监测异常数据的过滤策略并进行监测预警。与传统异常数据过滤方法的对比,本发明提出的方法能更准确地挖掘电力物联网设备状态监测数据的典型特征分布,达到更好的异常数据过滤效果,并为监测预警的可靠性提供更为有利的保证。
[0050]
本发明提出的异常数据过滤策略能准确地过滤电力物联网设备状态监测数据集内的异常数据,平均异常识别准确率高达87％。
[0051]
本发明从异常数据的剔除、趋势预警分析及关联预警分析的角度提升了监测预警系统的使用价值,为运检人员提炼出更有价值的设备预警信息,对实现电力物联网设备状态监视和辅助决策等方面具有重要意义。同时还对各监测装置生产厂家的数据质量做了相应记录,对装置可靠性分析、促进行业水平具有一定意义。
[0052]
解决了现有技术采用基于阈值的异常值判定和基于计量统计量的异常值剔除方法删除电力物联网设备监测中异常数据；会过滤掉部分正常数据,甚至是真正的设备故障数据,直接导致采集数据和故障诊断分析的准确率和性能下降等技术问题。
附图说明
[0053]
图1本发明流程示意图。
具体实施方式
[0054]
本发明一种基于电力物联网设备的数据过滤监测预警方法，包括如下步骤：
[0055]
步骤1、将需要过滤的状态监控数据采集到主站系统；
[0056]
步骤2、设定状态监测参量的异常数据的主要衡量标准：
①
所有监测参量全部为零值；
②
所有监测参量数据局部严重偏离其均值；
[0057]
步骤3、考察对数据的类别划分是否准确，引入信息检索中的经典评价指标，其中最简单明了的是准确率。定义异常数据识别准确率为：
[0058][0059]
式中，na,t为非异常采集数据在某一时序条件下的样本数量，nx,t为在某一时序条件下的全体采集样本，其中t为同一时间序列。optics算法的基础有两点，
[0060]
参数(半径，最少点数)：
[0061]
一个是输入的参数，包括:半径ε，和最少点数minpts。
[0062]
定义(核心点，核心距离，可达距离)：
[0063]
另一个是相关概念的定义：
[0064]
核心点的定义，如果一个点的半径内包含点的数量不少于最少点数，则该点为核心点，数学描述即
[0065]
nε(p)》＝minpts
[0066]
在这个基础上可以引出核心距离的定义，即对于核心点，距离其第minptsth近的点与之的距离
[0067][0068]
if n(p)＜=minptselse
[0069]
可达距离，对于核心点p，o到p的可达距离定义为o到p的距离或者p的核心距离，即公式
[0070][0071]
if n(p)＜=minptselse
[0072]
o到p直接密度可达，即p为核心点，且p到o的距离小于半径。算法的计算过程如下：
[0073]
输入：数据样本d，初始化所有点的可达距离和核心距离为max，半径ε，和最少点数minptsminpts。
[0074]
1、建立两个队列，有序队列(核心点及该核心点的直接密度可达点)，结果队列(存储样本输出及处理次序)
[0075]
2、如果d中数据全部处理完，则算法结束，否则从d中选择一个未处理且未核心对象的点，将该核心点放入结果队列，该核心点的直接密度可达点放入有序队列，直接密度可达点并按可达距离升序排列；
[0076]
3、如果有序序列为空，则回到步骤2，否则从有序队列中取出第一个点；
[0077]
3.1判断该点是否为核心点，不是则回到步骤3，是的话则将该点存入结果队列，如果该点不在结果队列；
[0078]
3.2该点是核心点的话，找到其所有直接密度可达点，并将这些点放入有序队列，且将有序队列中的点按照可达距离重新排序，如果该点已经在有序队列中且新的可达距离
较小，则更新该点的可达距离。
[0079]
3.3重复步骤3，直至有序队列为空。
[0080]
4、算法结束。
[0081]
步骤4、依据簇内数量、簇间相似度比较结果,按相似度由高到低排序,确定与各簇间相似度(可达距离)最大的核心簇为异常簇；
[0082]
步骤5、依据optics聚类核心对象密度排序结果，按照高低位次区分汇总得到的异常数据对象统计。利用拉依达准则和grubbs检验法对各个监测参量进行异常数据统计量分析，依据之前对状态监测异常数据的定义，结合对状态监测异常数据的分析，得到设备实际运状态监测采集数据的异常数据分布情况。
[0083]
步骤6、数据入库。将正常数据根据相应的监测类型进行解析入库，对异常数据进行剔除，同时记录监测装置类型、生产厂家以及数据偏离度等异常属性信息。
[0084]
步骤7、趋势预警触发。同时将监测数据推送突变趋势预警分析引擎，由其对监测类型的数据进行突变以及趋势预警分析。
[0085]
步骤8、突变趋势预警信息。突变趋势预警分析引擎分析得出各类监测时间的趋势以及突变预警信息，并将其存入预警缓存表中。
[0086]
步骤9、突变趋势预警信息处理。对趋势突变预警信息做相应的预警压缩和预警升级处理，得到一个熟预警信息，同时将其存入预警表中。若达到关联预警条件，则触发关联预警分析事件。
[0087]
步骤10、关联预警分析触发。由步骤9触发了关联预警分析，由关联预警分析引擎从在线监测数据库中获取相关类型的监测数据。如覆冰关联预警，则取风速、风向、降雨量、降水强度、气温、等值覆冰厚度和杆塔综合倾斜度等信息。
[0088]
步骤11、关联预警分析。对步骤10中获取的相应的关联监测信息进行分析，得出相应的关联预警信息，同时存入预警信息缓存表中。
[0089]
步骤12、关联预警信息合并统一。将步骤11得到的关联预警信息与步骤9中的触发预警信息进行统一合并，实现统一预警的目的。