一种电力系统配变电站负荷数据异常检测与修复方法与流程

本发明涉及一种电力系统配变电站负荷数据异常检测与修复方法，属于电力系统分析与控制技术领域。

背景技术：

保证电力系统负荷数据真实性和完整性对电力负荷预测精度和电力系统可靠运行具有重要的意义。然而在负荷数据采集过程中，可能由于采集装备故障、通信失败、信息攻击等原因，导致负荷数据采集不完整或者存在不同程度的偏差。缺失值、连续零值、连续某一恒定值、异常突然升高、异常突然降低等都是较为常见的异常数据类型。电压等级越低，对应负荷数据的异常检测和修复难度就越大。主要有两个方面的原因：1)较低电压等级的负荷采集、通信、存储等设备质量较差，使得异常坏数据的占比较高；2)较低电压等级的负荷因为其体量小，波动性明显，不确定较强。

目前已有相关电力系统负荷数据异常检测和修复相关的研究工作，研究的主要对象是母线负荷或者系统负荷，对低压配变负荷的研究较少，主要采用时间序列或其他简单的统计等分析方法开展相关研究。计算机领域的机器学习方法为电力系统的研究提供了更多的解决方案。目前对于低压配电网负荷数据的异常检测和修复研究工作较少，机器学习等新兴的工具利用也较少。

本发明方法相关的背景技术包括：

1、奇异值分解(svd)

奇异值分解是适用于非方阵矩阵的特征提取方法。设a是一个r×c的矩阵，则svd分解就是要将a分解为三个矩阵相乘，如下式所示：

a＝uσv^t

其中，u是一个r×r的酉矩阵，σ是一个r×c的半正定对角矩阵，其主对角线上的元素即为奇异值，v是一个c×c的酉矩阵。三个矩阵可以通过如下方法求得：

首先对方阵a^ta求特征值和特征向量：

(a^ta)νi＝λiνi

将所有的特征向量νi作为列向量构成c×c的矩阵即为v。

同样的，对方阵aa^t求特征值和特征向量：

(aa^t)μi＝γiμi

将所有的特征向量μi作为列向量构成r×r的矩阵即为u。

矩阵σ对角线上的奇异值为方阵a^ta的非零特征值的平方根(显然负荷矩阵一定是正定的，故其特征值均为非负数，奇异值不存在虚数情况)：

2、低秩矩阵技术

矩阵中最大的线性不相关的向量个数称为秩，低秩矩阵即秩远小于其大小的矩阵。对于非方阵矩阵而言，将其进行奇异值分解后得到的非零奇异值个数如果很小，则称原矩阵具有低秩性。对于具有低秩性的矩阵，由于其中大量的行列都可以由其他行列线性表出，因此它包含了大量的冗余信息。利用这种冗余信息，即可完成对缺失数据的恢复。记待修复矩阵为d，可以认为真实的矩阵为a，误差矩阵为e，三个矩阵满足d＝a+e。可以假设真实矩阵a具有低秩性，误差矩阵e具有稀疏性，于是可以将矩阵修复的问题建模成为一个优化问题：

s.t.d＝a+e

其中||a||*为矩阵a的核范数，即矩阵a所有奇异值的和；||e||1,1为矩阵e的(1,1)范数，其值等于所有元素绝对值的和；λ为一容差参数，表示误差矩阵e所占比重。该优化模型的求解方法有多种，包括奇异值阈值法、交替方向法等。

3、随机森林分位数回归模型

分位数回归主要研究自变量与因变量的条件分位数之间的关系，得到的回归模型可以通过自变量估计因变量的条件分位数。分位数回归较传统最小二乘回归而言，不仅可以度量回归变量在分布中心的影响，还可以度量在分布上尾和下尾的影响，为因变量不确定性提供更加详尽的信息。分位数回归可以描述成为一个典型的优化模型，如下式所示：

上式中，i和n分别表示模型训练样本的编号和总数；xi和yi分别表示第i个训练样本的自变量和因变量；q表示待回归的分位数，其取值在0到1之间；β(q)表示q分位数回归模型待估计的参数；ρq表示q分位数回归的损失函数，其具体表现形式为：

通过一定的优化算法可以求解相应的分位数回归模型。特别地，当分位数回归模型β(q)为线性模型时，该分位数回归为传统的线性分位数回归；当分位数回归模型β(q)为随机森林时，该分位数回归则为随机森林分位数回归。在r语言中有现成工具包quantregforest实现随机森林分位数回归。

技术实现要素：

本发明的目的是提出一种电力系统配变电站负荷数据异常检测与修复方法，利用低秩矩阵技术和分位数回归方法，挖掘负荷数据的长期和短期内在关联性以及负荷和气象的关联性，对电力系统中配变电站的负荷数据进行异常检测和修复。

本发明提出的电力系统配变电站负荷数据异常检测与修复方法，包括以下步骤：

(1)采集n天待检测和修复的电力系统配变电站的负荷数据l以及配变电站所在地区的温度数据t，设n天中每天采集的负荷数据长度为h，得到负荷数据l和温度数据t的长度分别为n×h；

(2)将负荷数据l重新排列为n行h列的负荷数据矩阵l1，负荷数据矩阵l1中的每一行对应每一天中h个时段的负荷数据，每一列对应不同天同一时刻的负荷数据；

(3)对步骤(2)的负荷数据矩阵l1进行奇异值分解：

l1＝u1σ1v1^t

其中，u1为一个n行n列的方矩阵，v1为一个h行h列的方矩阵，上标t为矩阵转置，σ1为一个n行h列的半正定对角矩阵，σ1中的对角元素由l1的奇异值σi从大到小排列而成，其他元素都是0，奇异值σi通过对矩阵l1^tl1的正特征值λi取平方根获得：

记负荷数据矩阵l1的奇异值σi的个数为s，s＝h；

(4)判断负荷数据矩阵l1是否具有低秩性：将所有奇异值σi从大到小排列，取所有奇异值中的前10％个奇异值，若前10％个奇异值的个数为小数，则向上取整，记为计算前10％个奇异值之和占所有奇异值和的比例：

设定一个判断阈值，对η进行判断，若比例η大于或等于判断阈值，则判定负荷数据矩阵l1具有低秩性，进行步骤(5)，若比例η小于判断阈值，则判定负荷数据矩阵l1不具有低秩性，进行步骤(6)；

(5)对负荷数据矩阵l1进行低秩矩阵分解：构建一个低秩矩阵技术修复优化模型如下：

s.t.l1＝l1′+e1

其中，l1′为利用低秩矩阵技术修复后的负荷数据矩阵，e1为误差矩阵，||l1′||*为矩阵a的核范数，||l1′||*的值等于l1′所有奇异值的和，||e1||1，1为误差矩阵e1的(1,1)范数，||e1||1，1的值等于矩阵e1所有元素绝对值的和，β为容差参数，取值为0.3，β表示误差矩阵e1所占比重，利用交替方向法对上述模型进行求解，得到修复后的负荷数据矩阵l1′；

(6)分别训练随机森林分位数回归模型，包括以下步骤；

(6-1)将步骤(5)初步修复后的负荷数据l1′和步骤(4)的不具有低秩性的负荷数据矩阵l1统称为负荷数据矩阵m，根据该负荷数据矩阵m以及步骤(1)的温度数据t，建立一个随机森林分位数回归模型gq，向该随机森林分位数回归模型中输入一个自变量xt，输出一个因变量yt，其中：

xt＝[w,h,tt,lt-h,lt-h-1,lt-2h+1,lt-2h,lt-2h-1,lt-3h]，yt＝lt，

其中，h表示待预测电力负荷所在的采样时段，h＝1,2,…,h，w表示待预测负荷所属日类型，定义w＝1为工作日，w＝0为非工作日，tt表示第t采样时段的温度值，lt表示第t采样时段的电力系统配变电站负荷数据，t＝1,2,…,t；

(6-2)根据上述自变量xt和因变量yt，训练上述随机森林分位数回归模型gq，得到与上述分位数q相对应的随机森林分位数回归模型gq的参数βq；

训练过程为：

其中，q取值在0到1之间，ρq表示q分位数损失函数，计算式如下：

其中，为分位数q随机森林分位数回归模型gq在第t采样时段的与q分位数相对应的电力负荷预测值；

分别取分位数q＝0.025、q＝0.5、q＝0.975，训练得到三个与三个不同分位数相对应的随机森林分位数回归模型g0.025、g0.5、g0.975；

(7)定义一个利用历史负荷和温度数据估计的0.025分位数和0.975分位数估计值构成的区间为正常可信区间，记录不在正常可信区间内的负荷值并修复，包括以下步骤；

(7-1)计算第t采样时段电力系统配变电站的负荷数据l的正常可信区间：

向步骤(6)的三个随机森林分位数回归模型g0.025、g0.5、g0.975分别输入自变量xt，则输出一个因变量其中：

得到第t采样时段的电力系统配变电站负荷数据lt的正常可信区间为

(7-2)对量测得到的电力系统配变电站负荷数据lt进行判断，若负荷数据lt在正常可信区间内，即则判定此时电力系统配变电站负荷数据处在正常可信区间，无需修正；若或则判定此时电力系统配变电站负荷数据不在正常可信区间，为异常数据，用50％分位数对原电力系统配变电站负荷数据进行修正，即使实现对电力系统配变电站负荷数据异常检测与修复。

本发明提出的电力系统配变电站负荷数据异常检测与修复方法，其优点是：

本发明方法根据负荷数据中常见异常的特点，分别提出了针对缺失及明显异常负荷修复方法和针对局部异常数据的微调方法，第一，通过两层筛查增加了异常负荷的检出准确率；第二，通过引入低秩矩阵分解技术简化了检查和修复步骤，降低了运算成本，提高了流程效率；第三，通过引入随机森林分位数回归模型提高了对局部异常数据的微调精度，有效保证了修复过程的可靠性。本发明方法通过引入低秩分解技术，将规模庞大的高维原始负荷矩阵简化到低维空间，使得计算成本大大降低，通过基于增广拉格朗日乘子的迭代算法对缺失数据进行填充，相较传统的矩阵填充方法，同时提高了运算速度和修复精度；通过引入基于随机森林的分位数回归模型，将概率负荷预测和综合预测有机结合，使得模型兼具概率性预测模型的鲁棒性和综合模型的高精度，相比于传统的单一预测模型，该方法能够捕捉负荷的统计特征，充分考虑负荷的不确定性，并且通过大量模型集成最小化错误预测的风险，极大提高了修复后负荷数据的置信度。

附图说明

图1为本发明提出的电力系统配变电站负荷数据异常检测与修复方法的流程框图。

具体实施方式

本发明提出的电力系统配变电站负荷数据异常检测与修复方法，其流程框图如图1所示，包括以下步骤：

(1)采集n天(n需要大于180)待检测和修复的电力系统配变电站的负荷数据l以及配变电站所在地区的温度数据t，设n天中每天采集的负荷数据长度为h，例如每小时采集一个点，则h＝24，例如每15分钟采集一个点，则h＝96，以此类推，得到负荷数据l和温度数据t的长度分别为n×h；

(2)将负荷数据l重新排列为n行h列的负荷数据矩阵l1，负荷数据矩阵l1中的每一行对应每一天中h个时段的负荷数据，每一列对应不同天同一时刻的负荷数据；

(3)对步骤(2)的负荷数据矩阵l1进行奇异值分解：

l1＝u1σ1v1^t

其中，u1为一个n行n列的方矩阵，v1为一个h行h列的方矩阵，上标t为矩阵转置，σ1为一个n行h列的半正定对角矩阵，σ1中的对角元素由l1的奇异值σi从大到小排列而成，其他元素都是0，奇异值σi通过对矩阵l1^tl1的正特征值λi取平方根获得：

记负荷数据矩阵l1的奇异值σi的个数为s，s＝h；

(4)判断负荷数据矩阵l1是否具有低秩性：将所有奇异值σi从大到小排列，取所有奇异值中的前10％个奇异值，若前10％个奇异值的个数为小数，则向上取整，记为计算前10％个奇异值之和占所有奇异值和的比例：

设定一个判断阈值，对η进行判断，若比例η大于或等于判断阈值，则判定负荷数据矩阵l1具有低秩性，进行步骤(5)，若比例η小于判断阈值，则判定负荷数据矩阵l1不具有低秩性，进行步骤(6)；

(5)对负荷数据矩阵l1进行低秩矩阵分解：构建一个低秩矩阵技术修复优化模型如下：

s.t.l1＝l1′+e1

其中，l1′为利用低秩矩阵技术修复后的负荷数据矩阵，e1为误差矩阵，||l1′||*为矩阵a的核范数，||l1′||*的值等于l1′所有奇异值的和，||e1||1，1为误差矩阵e1的(1,1)范数，||e1||1，1的值等于矩阵e1所有元素绝对值的和，β为容差参数，取值为0.3，β表示误差矩阵e1所占比重，利用交替方向法对上述模型进行求解，得到修复后的负荷数据矩阵l1′；

(6)分别训练随机森林分位数回归模型，包括以下步骤；

(6-1)将步骤(5)初步修复后的负荷数据l1′和步骤(4)的不具有低秩性的负荷数据矩阵l1统称为负荷数据矩阵m，根据该负荷数据矩阵m以及步骤(1)的温度数据t，建立一个随机森林分位数回归模型gq，向该随机森林分位数回归模型中输入一个自变量xt，输出一个因变量yt，其中：

xt＝[w,h,tt,lt-h,lt-h-1,lt-2h+1,lt-2h,lt-2h-1,lt-3h]，yt＝lt，

其中，h表示待预测电力负荷所在的采样时段，h＝1,2,…,h，w表示待预测负荷所属日类型，定义w＝1为工作日，w＝0为非工作日，tt表示第t采样时段的温度值，lt表示第t采样时段的电力系统配变电站负荷数据，t＝1,2,…,t；

(6-2)根据上述自变量xt和因变量yt，训练上述随机森林分位数回归模型gq，得到与上述分位数q相对应的随机森林分位数回归模型gq的参数βq；

训练过程为：

其中，q取值在0到1之间，ρq表示q分位数损失函数，计算式如下：

其中，为分位数q随机森林分位数回归模型gq在第t采样时段的与q分位数相对应的电力负荷预测值；

分别取分位数q＝0.025、q＝0.5、q＝0.975，训练得到三个与三个不同分位数相对应的随机森林分位数回归模型g0.025、g0.5、g0.975；

(7)定义一个利用历史负荷和温度数据估计的0.025分位数和0.975分位数估计值构成的区间为正常可信区间，记录不在正常可信区间内的负荷值并修复，包括以下步骤；

(7-1)计算第t采样时段电力系统配变电站的负荷数据l的正常可信区间：

向步骤(6)的三个随机森林分位数回归模型g0.025、g0.5、g0.975分别输入自变量xt，则输出一个因变量其中：

得到第t采样时段的电力系统配变电站负荷数据lt的正常可信区间为

(7-2)对量测得到的电力系统配变电站负荷数据lt进行判断，若负荷数据lt在正常可信区间内，即则判定此时电力系统配变电站负荷数据处在正常可信区间，无需修正；若或则判定此时电力系统配变电站负荷数据不在正常可信区间，为异常数据，用50％分位数对原电力系统配变电站负荷数据进行修正，即使实现对电力系统配变电站负荷数据异常检测与修复。