电网异常数据辨识方法、装置及系统与流程

1.本发明属于异常数据处理技术领域，具体涉及一种电网异常数据辨识方法、装置及系统。


背景技术：

2.随着电网智能电网调度控制系统的业务范围快速扩大，数据来源增多，数据类型多样，数据规模急剧增大，调控系统数据的“大数据”特征日益明显。对调控系统中重要设备的历史量测数据质量的筛查可以有效提升历史数据的质量，对电网大数据分析应用起到良好的铺垫与准备，提升电网的运行的智能性与可靠性，为此，急需一种能够对电网异常数据进行辨识方法。


技术实现要素：

3.针对上述问题，本发明提出一种电网异常数据辨识方法、装置及系统，能够基于历史规律挖掘出电网异常数据，提高数据质量，支撑数据分析应用。
4.为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
5.第一方面，本发明提供了一种电网异常数据辨识方法，包括：
6.获取电网历史量测数据，并进行数据清洗；
7.针对清洗后的数据，结合与不同数据类型对应的异常辨识规则，筛选出异常数据；
8.汇总所有异常数据，完成电网异常数据辨识。
9.可选地，在所述进行数据清洗步骤之前还包括：对数据进行预处理，所述预处理包括以下步骤：
10.根据电网设备类型与d5000表的拓扑结构提取历史量测数据；
11.基于数据类型与想要分析数据的时间段参数，抽取该时间段的历史量测数据；
12.根据所需数据的设备device_id，查询到在d5000表结构中的域field_id，并根据转化公式求得遥测yc_id；
13.根据遥测yc_id读取数据，调整数据的字段名，对齐时标，完成数据的预处理。
14.可选地，所述数据清洗具体为：
15.对所选时间段内的历史量测数据中缺失的数据、不刷新的数据以及在非正常状态运行的设备数据进行过滤。
16.可选地，当数据类型为线路数据时，所述结合与不同数据类型对应的异常辨识规则，筛选出异常数据，具体包括以下步骤：
17.对于一组线路对端量测的有功值之和以及局部时间段量测值之和分析，根据两侧之和与0的距离筛选，筛选出局部时间段内变化趋势不一致的对端量测值作为异常数据；
18.基于支持向量机二分类模型对所有量测的有功值变化趋势拟合出标准趋势，筛选出变化趋势不符合标准趋势的量测值作为异常数据。
19.可选地，所述筛选出变化趋势不符合标准趋势的量测值作为异常数据，具体为：
20.计算出基于标准趋势获得的有功值的取值区间；
21.计算出实际量测的有功值与基于标准趋势获得的有功值之间的最大误差间隔；
22.基于所述取值区间和最大误差间隔，筛选出变化趋势不符合标准趋势的量测值。
23.可选地，所述最大误差间隔的计算公式为：
[0024][0025]
其中，y代表误差间隔距离，y代表量测值，ω代表特征空间超平面的斜率，t代表超平面指数参数，b代表超平面函数的位移参数，x代表输入值；
[0026]
所述取值区间的计算公式为：
[0027][0028]
其中，l是关于ω、b、α的函数，三者都是取值区间函数训练出来的参数，α代表权重系数，x
i
代表第i个输入值，y
i
代表第i个量测值，α
i
代表第i个权重系数。
[0029]
可选地，当数据类型为发电机组数据时，所述结合与不同数据类型对应的异常辨识规则，筛选出异常数据，具体包括以下步骤：
[0030]
当发电机组量测大于送出线路线端的量测值超过预设阈值时，需标记为异常，获得异常数据；
[0031]
当送出线路线路端量测超过发电机组端时，需标记为异常，获得异常数据；
[0032]
基于原始量测数据衍生出发电机组与送出线路的有功采样变化率与变化趋势的特征值，使用支持向量机模型学习变化特征值，并筛选变化率异常的点，其中，所述发电机组的总出力与线路端的总有功两个量测，及其相应前后预设时间段的变化，共6个计算值作为输入支持向量机模型的参数，支持向量机模型选用rbf函数为核函数，惩罚系数c在rbf函数中取值为1。
[0033]
可选地，当数据类型为变压器数据时，所述结合与不同数据类型对应的异常辨识规则，筛选出异常数据，具体包括以下步骤：
[0034]
当对变压器三侧有功之和与0偏差大于设定阈值时，则将该数据作为异常数据；
[0035]
将前一步筛选出的异常点前后预设时间段内的变化率特征通过支持向量机模型进一步分析，筛选出异常数据；所述支持向量机模型的模型参数中，需要调整分类make_classification的参数为：n_features特征数量。
[0036]
第二方面，本发明提供了一种电网异常数据辨识装置，包括：
[0037]
获取模块，用于获取电网历史量测数据，并进行数据清洗；
[0038]
筛选模块，用于针对清洗后的数据，结合与不同数据类型对应的异常辨识规则，筛选出异常数据；
[0039]
汇总模块，用于汇总所有异常数据，完成电网异常数据辨识。
[0040]
第三方面，本发明提供了一种电网异常数据辨识系统，包括处理器和存储介质；
[0041]
所述存储介质用于存储指令；
[0042]
所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步骤。
[0043]
与现有技术相比，本发明的有益效果：
[0044]
本发明提出一种电网异常数据辨识方法、装置及系统，能够基于设备的工作特性以及历史量测值分析，建模与拟合函数，并利用数据中找出的规律辨析新的量测数据，根据理论区间与实际的差别筛选出异常的、可疑的数据点，供专业人员审查，提高数据质量，进而支撑其他数据分析应用。
附图说明
[0045]
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
[0046]
图1为本发明一种实施例的筛选方法流程；
[0047]
图2为线路有功异常点分析流程图；
[0048]
图3为发电机组有功异常点分析流程图。
具体实施方式
[0049]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。
[0050]
下面结合附图对本发明的应用原理作详细的描述。
[0051]
实施例1
[0052]
本发明实施例中提供了一种电网异常数据辨识方法，具体包括以下步骤：
[0053]
获取电网历史量测数据，并进行数据清洗；
[0054]
针对清洗后的数据，结合与不同数据类型对应的异常辨识规则，筛选出异常数据；
[0055]
汇总所有异常数据，完成电网异常数据辨识。
[0056]
在本发明实施例的一种具体实施方式中，在所述进行数据清洗步骤之前还包括：对数据进行预处理，所述预处理包括以下步骤：
[0057]
根据电网设备类型与d5000表的拓扑结构提取历史量测数据；
[0058]
基于数据类型与想要分析数据的时间段参数，抽取该时间段的历史量测数据；
[0059]
根据所需数据的设备device_id，查询到在d5000表结构中的域field_id，并根据转化公式求得遥测yc_id；
[0060]
根据遥测yc_id读取数据，调整数据的字段名，对齐时标，完成数据的预处理；所述遥测yc_id的计算公式为：
[0061]
yc_id＝int(device_id)+int(field_id)*math.pow(2,32)
[0062]
其中，yc_id代表设备对应的遥测编号，device_id代表设备的id编号，field_id代表该域所对应的编号。
[0063]
在本发明实施例的一种具体实施方式中，所述数据清洗具体为：
[0064]
对所选时间段内的历史量测数据中缺失的数据、不刷新的数据以及在非正常状态运行的设备数据进行过滤，具体包括以下步骤：
[0065]
(1)缺失筛选
[0066]
对所选时间段内的历史数据进行缺失数据筛查，找出缺失的量测值或缺失的时间段。在读取历史采样后首先查找量测值value列的空值，其次对时间occur_time列查缺，根
据时间跨度(end_time
‑
start_time)与采样频率(1min)查询缺失的时间点与日期。
[0067]
(2)不刷新筛选
[0068]
结合电网设备的特性、工作状态，与二次设备的采样频率，将长时间不变化的采样值筛选出来，对于采样频率为1分钟的电网设备，默认量测值连续3分钟不变化为不刷新。因为电网固定的50hz频率，其自身的真实变化频率应为0.02秒每次，所以当秒级采样超过3个量测值保持不变时会被标记为不刷新，阈值n＝3是可以配置的值；当设备运行状态低于额定容量的正常负载百分比时的异常工作状态也需要筛选处理，负载率阈值对于不同设备设置有不同；同时会过滤接近停机状态时的零漂值。
[0069]
在本发明实施例的一种具体实施方式中，当数据类型为线路数据时，所述结合与不同数据类型对应的异常辨识规则，筛选出异常数据，具体包括以下步骤：
[0070]
对于一组线路对端量测的有功值之和以及局部时间段量测值之和分析，根据两侧之和与0的距离筛选，筛选出局部时间段内变化趋势不一致的对端量测值作为异常数据；在具体实施过程中，所述时间段可以设置为3分钟，选取3分钟是为了避免量测延时造成的误差；
[0071]
基于支持向量机二分类模型对所有量测的有功值变化趋势拟合出标准趋势，筛选出变化趋势不符合标准趋势的量测值作为异常数据。在具体实施过程中，该步骤为基于业务规律关联对端有功量测值分析，对于一组对端的有功值之和以及局部3分钟(当前时刻与前后各一分钟)的量测变化方向与变化幅度的分析。其中，所述筛选出变化趋势不符合标准趋势的量测值作为异常数据，具体为：
[0072]
计算出基于标准趋势获得的有功值的取值区间；
[0073]
计算出实际量测的有功值与基于标准趋势获得的有功值之间的最大误差间隔；
[0074]
基于所述取值区间和最大误差间隔，筛选出变化趋势不符合标准趋势的量测值。
[0075]
所述最大误差间隔的计算公式为：
[0076][0077]
其中，y代表误差间隔距离，y代表量测值，ω代表特征空间超平面的斜率，t代表超平面指数参数，b代表超平面函数的位移参数，x代表输入值；
[0078]
所述取值区间的计算公式为：
[0079][0080]
其中，l是关于ω、b、α的函数，三者都是取值区间函数训练出来的参数，α代表权重系数，x
i
代表第i个输入值，y
i
代表第i个量测值，α
i
代表第i个权重系数。
[0081]
在本发明实施例的一种具体实施方式中，当数据类型为发电机组数据时，所述结合与不同数据类型对应的异常辨识规则，筛选出异常数据，具体包括以下步骤：
[0082]
当发电机组量测大于送出线路线端的量测值超过预设阈值(比如10％)时，需标记为异常，获得异常数据；
[0083]
当送出线路线路端量测超过发电机组端时，需标记为异常，获得异常数据；
[0084]
基于原始量测数据衍生出发电机组与送出线路的有功采样变化率与变化趋势的特征值，使用支持向量机模型学习变化特征值，并筛选变化率异常的点，其中，所述发电机
组的总出力与线路端的总有功两个量测，及其相应前后预设时间段的变化，共6个计算值作为输入支持向量机模型的参数，支持向量机模型选用rbf函数为核函数，惩罚系数c在rbf函数中取值为1，c值越大代表对误差的容忍越低，越容易产生过拟合。通过选择模型核函数，以及选择恰当的参数，可以使模型更准确的鉴别出变化趋势不符合正常趋势的量测值。
[0085]
在本发明实施例的一种具体实施方式中，当数据类型为变压器数据时，所述结合与不同数据类型对应的异常辨识规则，筛选出异常数据，具体包括以下步骤：
[0086]
基于业务规律：变压器三侧有功之和为0，以及主变高中压侧有功变化率一致性的特征筛选，当对变压器三侧有功之和与0偏差大于设定阈值时，则将该数据作为异常数据；
[0087]
考虑采样延时问题，在同一时刻的变压器三侧有功采样值之和与0可能有偏差，为了剔除这部分时延造成的偏差，将前一步筛选出的异常点前后预设时间段内的变化率特征通过支持向量机模型进一步分析，筛选出异常数据；所述支持向量机模型的模型参数中，需要调整分类make_classification的参数为：n_features特征数量，在本发明实施例中，所述n_features特征数量包括高中低三侧变压器三分钟的量测即3个特征。
[0088]
图1为基于业务逻辑与机器学习模型筛选异常数据的整体流程图。在图2所示的对端线路有功异常点分析中，考虑到本端与对端同一时刻的采样值应该大小相等，符号相反，正常的量测曲线应该对称的分布在横轴的上下两侧；当一侧曲线偏离、两条曲线变化趋势同向时，则说明当前量测值可疑；判定异常时还考虑了前后各一个采样点的情况。针对发电机组的出力异常数据分析，图3展示了异常采样点鉴别的流程，首先根据场站的拓扑汇总当前场站所包含的2个发电机组与3条线路，对相应的量测数据进行数据清洗，将筛选后的量测分别计算出发电总出力与线端总有功，根据业务逻辑筛选异常，并将两者变化率趋势通过svm二分类模型筛选出异常点。
[0089]
实施例2
[0090]
基于与实施例1相同的发明构思，本发明实施例中提供了一种电网异常数据辨识装置，包括：
[0091]
获取模块，用于获取电网历史量测数据，并进行数据清洗；
[0092]
筛选模块，用于针对清洗后的数据，结合与不同数据类型对应的异常辨识规则，筛选出异常数据；
[0093]
汇总模块，用于汇总所有异常数据，完成电网异常数据辨识。
[0094]
其余部分均与实施例1相同。
[0095]
实施例3
[0096]
本发明实施例中提供了一种电网异常数据辨识系统，包括处理器和存储介质；
[0097]
所述存储介质用于存储指令；
[0098]
所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步骤。
[0099]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。