一种基于大数据挖掘的居民用电异常发现方法与流程

本发明涉及电力数据监控，尤其涉及一种基于大数据挖掘的居民用电异常发现方法。

背景技术：

1、现阶段，电力企业已经通过物联网技术将居民每日用电量数据采集并传输至数据中心。数据中蕴含着大量信息，通过合适的数据挖掘算法就能开发大量有用的价值，如对电力运营企业而言，可以发现偷电行为，进而采取必要的措施防止此类事件带来的经济损失；再如对于社会治理而言，通过居民用电异常可以发现潜在的违法犯罪行为，如未备案的房屋短(日)租行为发现。本发明针对后者：即短租房用户用电异常这一特性，设计一种基于大数据与深度卷积神经网络的居民用电异常发现方法。

2、由于未备案的短租房无备注标签，只有已备案用户具有标签，相对于大量的居民电力用户数据非常小。传统的统计机器学习方法虽然对数据要求较少，但由于居民电力消费数据中存在着由于各种原因造成的噪音，导致模型的鲁棒性和泛化能力很差；近年来迅速发展起来的神经网络方法可以很好的解决上述问题，但是对数据量的要求很高，动则需要万条数据才能较好的拟合数据中的模式，避免过拟合。

技术实现思路

1、为解决上述技术问题或部分技术问题，本发明采用了对比学习这种自监督学习方法训练一个初始的预训练模型，在此基础上只需要标注少量正常数据和与之相当的异常数据，既可训练得到居民用电异常发现模型。

2、本发明是通过如下措施实现的：一种基于大数据挖掘的居民用电异常发现方法，其特征在于，包括，分析居民用电数据的特征，获取一维数据，利用此数据构造皮尔逊相关系数矩阵，设定阈值将数据自动划分为正常数据和异常数据，具体为：

3、居民用电数据特征，正常居民用电数据呈现以周为单位的周期性，异常数据则缺乏周期性。

4、将正常居民用电数据划分为正常数据，异常居民用电数据划分为异常数据；选取一条正常日用电数据d1和一条异常用电数据d2对比分析，以周为单位，选取d1前四周数据为第一组g1，d2前四周数据为第二组g2，可视化数据发现：g1的4条数据具有相关性，而g2的4条不具有相关性。

5、为了更好的分析正常居民用电数据与异常数据的周期性，对g1和g2进行相关分析，分别计算两组数据的皮尔逊相关系数，并基于皮尔逊相关系数分别分析两组数据的相关性。对数据g1和g2进行皮尔逊相关分析表明：正常居民用电数据一周的数据与相邻周、间隔周甚至相隔两周的数据具有很高的相关性，而异常居民用电数据的一周与其它周的相关性很低，甚至负相关。所以，通过设置阈值，既可自动划分输入数据是否正常。但由于相关分析的鲁棒性有限，故而需要构建神经网络来提高模型的精度。

6、构建卷积神经网络；

7、构建卷积神经网络模型，包括：周为单位将一维的居民用电数据转化成二维数据；

8、再输入由多个卷积层组成的深度卷积神经网络组件；

9、最后接一个池化层和一个全连接层，以二分类的形式输出，对应于正常用电数据和异常用电数据。

10、构建卷积神经网络模型中，构造行卷积核gr(·)与列卷积核gc(·)的线性组合来提取特征其中，w为权重参数b为偏置参数，均为神经网络待学习参数，x是前层特征。

11、还包括最后的池化层采用了最大池化函数：

12、全连接层与传统的图像卷积神经网络模型没有差别，最后输入逻辑回归函数作为训练和预测的输出：

13、p(y＝1|x)＝δ(wx+b)；

14、y是自动生成的二分类正样本、负样本标签，δ(·)是sigmoid函数，x是卷积神经网络的输出特征，w是权值参数，b是偏置项，可以通过训练学习得到。

15、利用自动生成的正常数据和异常数据，构造三元组数据集，并采用对比学习的方法训练得到对比学习预训练模型，具体为：

16、构造<anchor,positive,negative>三元组，以triplet损失函数为目标函数：

17、

18、其中，d(·)为距离函数，fθ(·)为神经网络，θ为待学习的网络权重参数，xi为训练数据集x的第i个样本，以三元组的形式组成对比学习的训练数据，xa为基准样本，xp为正样本，xn为负样本，margin为正负样本的分类边界；

19、按照损失函数，结合三元数据即可训练对比学习预训练模型。

20、基于对比学习预训练模型，进行模型微调，具体为：

21、利用预训练模型结合卷积神经网络结构，按照下式构造二分类损失函数，公式为：

22、

23、其中是模型的预测结果，θ为待学习的网络权重参数，yi是数据标签；

24、人工标注居民用电数据，即可训练居民消费分类模型，实现居民异常用电异常发现。

25、构建卷积神经网络之前需要进行数据预处理，包括异常值处理和归一化处理。

26、本实施例中提供了一种存储介质，存储有计算机程序，其特征在于，该计算机程序被处理执行时，实现所述的基于大数据挖掘的居民用电异常发现方法。

27、本发明实施例提供的技术方案带来的有益效果是：采用了对比学习这种自监督学习方法训练一个初始的预训练模型，在此基础上只需要标注少量正常数据和与之相当的异常数据，既可训练得到居民用电异常发现模型。

技术特征：

1.一种基于大数据挖掘的居民用电异常发现方法，其特征在于，包括，

2.根据权利要求1所述基于大数据挖掘的居民用电异常发现方法，其特征在于，分析居民用电数据的特征，获取一维数据，利用此数据构造皮尔逊相关系数矩阵，设定阈值将数据自动划分为正常数据和异常数据，包括，

3.根据权利要求1所述基于大数据挖掘的居民用电异常发现方法，其特征在于，构建卷积神经网络模型，包括：

4.根据权利要求3所述基于大数据挖掘的居民用电异常发现方法，其特征在于，构建卷积神经网络模型中，构造行卷积核gr(·)与列卷积核gc(·)的线性组合来提取特征其中，w为权重参数b为偏置参数，均为神经网络待学习参数，x是前层特征。

5.根据权利要求3所述基于大数据挖掘的居民用电异常发现方法，其特征在于，利用自动生成的正常数据和异常数据，构造三元组数据集，并采用对比学习的方法训练得到对比学习预训练模型，具体为：

6.根据权利要求3所述基于大数据挖掘的居民用电异常发现方法，其特征在于，基于对比学习预训练模型，进行模型微调，具体为：

7.根据权利要求3所述基于大数据挖掘的居民用电异常发现方法，其特征在于，还包括最后的池化层采用了最大池化函数：

8.根据权利要求1所述基于大数据挖掘的居民用电异常发现方法，其特征在于，构建卷积神经网络之前需要进行数据预处理，包括异常值处理和归一化处理。

9.一种存储介质，存储有计算机程序，其特征在于，该计算机程序被处理执行时，实现如权利要求1-8中任一项所述的基于大数据挖掘的居民用电异常发现方法。

技术总结
本发明公开了一种基于大数据挖掘的居民用电异常发现方法，涉及电力数据监控技术领域，技术方案为，一种基于大数据挖掘的居民用电异常发现方法，其特征在于，包括，分析居民用电数据的特征，获取一维数据，利用此数据构造皮尔逊相关系数矩阵，设定阈值将数据自动划分为正常数据和异常数据；构建卷积神经网络；利用自动生成的正常数据和异常数据，构造三元组数据集，并采用对比学习的方法训练得到对比学习预训练模型；基于对比学习预训练模型，进行模型微调。本发明的有益效果为：采用了对比学习这种自监督学习方法训练一个初始的预训练模型，在此基础上只需要标注少量正常数据和与之相当的异常数据，既可训练得到居民用电异常发现模型。

技术研发人员：蒋海军,马新成,周钰,阿斯木·阿不力孜
受保护的技术使用者：中通服公众信息产业股份有限公司
技术研发日：
技术公布日：2024/5/8