基于教师助理知识蒸馏的非侵入式负荷分解方法

本发明属于负荷分解，具体涉及基于教师助理知识蒸馏的非侵入式负荷分解方法。

背景技术：

1、电力需求侧管理是指通过采取有效的激励措施，引导电力用户改变用电方式，提高终端用电效率，实现最小成本电力服务所进行的管理活动。为了引导用户自愿参加到电力需求侧管理之中，帮助其准确地了解能源消耗是一个基本但关键的步骤。因此，一种有效的负荷分解技术，有利于家庭用户清晰、准确地了解家用电器能耗，达到节能的目的。

2、随着深度神经网络的发展，各种基于神经网络的非侵入式负荷分解方法被提出，并取得了较好的效果。然而，高性能的非侵入式负荷分解模型往往规模庞大，运算成本高，资源消耗大，难以部署到实际应用设备中。

技术实现思路

1、本发明的目的是提供基于教师助理知识蒸馏的非侵入式负荷分解方法，解决了高性能的非侵入式负荷分解模型往往规模庞大，运算成本高，资源消耗大的问题，还能够实现非侵入式负荷分解模型的压缩。

2、本发明所采用的技术方案是，基于教师助理知识蒸馏的非侵入式负荷分解方法，具体按照以下步骤实施：

3、步骤1、构建多尺度残差金字塔网络；

4、步骤2、结合多尺度残差金字塔网络和教师助理知识蒸馏方法，构建基于教师助理知识蒸馏的非侵入式负荷分解模型；

5、步骤3、在数据集中提取原始负荷数据，通过原始负荷数据对基于教师助理知识蒸馏的非侵入式负荷分解模型进行训练；

6、步骤4、采集家庭总的用电数据，输入至训练后的基于教师助理知识蒸馏的非侵入式负荷分解模型，得到单个电器的负荷数据。

7、本发明的特点还在于：

8、步骤1中多尺度残差金字塔网络包括tcn残差模块、se注意力模块和密接层模块；主干是一个金字塔网络，包含下采样路径和上采样路径，并通过跳跃连接融合下采样路径和上采样路径的多尺度特征。

9、步骤2具体过程为：

10、多尺度残差金字塔网络作为教师模型，规模相对教师模型较小的扩张卷积残差网络充当教师助理模型，由全连接层组成学生模型，构建教师模型与教师助理模型之间的蒸馏损失函数以及教师助理模型和学生模型间的蒸馏损失函数，由教师模型、教师助理模型、学生模型、教师模型与教师助理模型之间的蒸馏损失函数、教师助理模型和学生模型间的蒸馏损失函数构成基于教师助理知识蒸馏的非侵入式负荷分解模型。

11、教师模型由5个tcn残差块、se注意力模块、密接层模块组成，教师助理模型由5个扩张残差模块组成，其中，每个扩张残差模块包括批量归一化，relu激活函数，扩张卷积和跳跃连接，学生模型由3个密接层模块组成，教师模型第2至5个tcn残差模块的输出特征进行特征重构，作为蒸馏训练过程中教师模型对教师助理模型的损失约束。

12、教师模型由5个tcn残差块、se注意力模块、密接层模块组成，教师模型第2至5个tcn残差模块的输出特征进行特征重构的具体过程为：假设教师模型第2至5个tcn残差模块为t_tcn2、t_tcn3、t_tcn4、t_tcn5，上述4个tcn残差模块输出的特征图用于特征融合，即t_tcn5输出的特征图经se注意力模块得到特征图ft4，t_tcn4输出的特征图和t_tcn5输出的特征图分别经se注意力模块得到的特征图融合得到特征图ft3，t_tcn3和t_tcn4输出的特征图分别经se注意力模块得到的特征图融合得到特征图ft2，t_tcn2和t_tcn3输出的特征图分别经se注意力模块得到的特征图相加得到特征图ft1。

13、教师模型与教师助理模型之间的蒸馏损失函数表示为：

14、lt2a＝loss_1+loss_2+loss_3+loss_4              (1)

15、其中，lt2a表示教师模型与教师助理模型之间的蒸馏损失函数，loss_1,loss_2，loss_3和loss_4分别表示教师和教师助理网络残差模块间的特征损失，每个loss_n损失的计算公式为：

16、

17、其中fti是教师模型输出的中间特征图，fai是教师助理模型输出的中间特征图，n代表特征图的个数。

18、教师助理模型与学生模型蒸馏训练过程损失函数为：

19、

20、

21、la2s＝αloss1+(1-α)loss2      (5)

22、其中，ya表示教师助理模型的分解值，ys代表学生模型的分解值，ytrue表示真实负荷标签值，||·||2表示l2损失计算，α是调节损失占比的超参数，la2s是教师助理至学生的蒸馏训练过程中的总损失。

23、步骤3数据集为redd数据集，其中包括总负荷数据和总负荷数据对应的每个电器的负荷数据。

24、步骤3具体过程为：在数据集中提取总负荷数据和总负荷数据对应的每个电器的负荷数据作为原始负荷数据，将原始负荷数据分别输入教师模型、教师助理模型后，结合教师模型与教师助理模型之间的损失函数对教师助理模型进行蒸馏训练，得到训练好的教师助理模型；将原始负荷数据分别输入训练好的教师助理模型、学生模型后，结合教师助理模型和学生模型间的蒸馏损失函数对学生模型进行蒸馏训练，得到训练好的学生模型。

25、本发明有益效果是：

26、本发明的基于教师助理知识蒸馏的非侵入式负荷分解方法，首先构建多尺度残差金字塔网络，充分利用多尺度特征，然后采用教师助理知识蒸馏方法，可以实现非侵入式负荷分解模型的压缩；还能够解决高性能的非侵入式负荷分解模型往往规模庞大，运算成本高，资源消耗大的问题，还能够实现非侵入式负荷分解模型的压缩。

技术特征：

1.基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，具体按照以下步骤实施：

2.根据权利要求1所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，步骤1中所述多尺度残差金字塔网络包括tcn残差模块、se注意力模块和密接层模块；主干是一个金字塔网络，包含下采样路径和上采样路径，并通过跳跃连接融合下采样路径和上采样路径的多尺度特征。

3.根据权利要求1所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，步骤2具体过程为：

4.根据权利要求3所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，所述教师模型由5个tcn残差块、se注意力模块、密接层模块组成，所述教师助理模型由5个扩张残差模块组成，其中，每个扩张残差模块包括批量归一化，relu激活函数，扩张卷积和跳跃连接，所述学生模型由3个密接层模块组成，所述教师模型第2至5个tcn残差模块的输出特征进行特征重构，作为蒸馏训练过程中教师模型对教师助理模型的损失约束。

5.根据权利要求3所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，所述教师模型由5个tcn残差块、se注意力模块、密接层模块组成，所述教师模型第2至5个tcn残差模块的输出特征进行特征重构的具体过程为：假设教师模型第2至5个tcn残差模块为t_tcn2、t_tcn3、t_tcn4、t_tcn5，上述4个tcn残差模块输出的特征图用于特征融合，即t_tcn5输出的特征图经se注意力模块得到特征图ft4，t_tcn4输出的特征图和t_tcn5输出的特征图分别经se注意力模块得到的特征图融合得到特征图ft3，t_tcn3和t_tcn4输出的特征图分别经se注意力模块得到的特征图融合得到特征图ft2，t_tcn2和t_tcn3输出的特征图分别经se注意力模块得到的特征图相加得到特征图ft1。

6.根据权利要求3所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，所述教师模型与教师助理模型之间的蒸馏损失函数表示为：

7.根据权利要求3所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，所述教师助理模型与学生模型蒸馏训练过程损失函数为：

8.根据权利要求3所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，步骤3所述数据集为redd数据集，其中包括总负荷数据和总负荷数据对应的每个电器的负荷数据。

9.根据权利要求8所述基于教师助理知识蒸馏的非侵入式负荷分解方法，其特征在于，步骤3所述具体过程为：在数据集中提取总负荷数据和总负荷数据对应的每个电器的负荷数据作为原始负荷数据，将原始负荷数据分别输入教师模型、教师助理模型后，结合教师模型与教师助理模型之间的损失函数对教师助理模型进行蒸馏训练，得到训练好的教师助理模型；将原始负荷数据分别输入训练好的教师助理模型、学生模型后，结合教师助理模型和学生模型间的蒸馏损失函数对学生模型进行蒸馏训练，得到训练好的学生模型。

技术总结
本发明公开了基于教师助理知识蒸馏的非侵入式负荷分解方法，构建多尺度残差金字塔网络；结合多尺度残差金字塔网络和教师助理知识蒸馏方法，构建基于教师助理知识蒸馏的非侵入式负荷分解模型，以实现多尺度特征的融合，进而提高非侵入式负荷分解模型的特征提取能力；在数据集中提取原始负荷数据，通过原始负荷数据对基于教师助理知识蒸馏的非侵入式负荷分解模型进行训练；采集家庭总的用电数据，输入至训练后的基于教师助理知识蒸馏的非侵入式负荷分解模型，得到单个电器的负荷数据。本方法负荷分解方法解决了高性能的非侵入式负荷分解模型往往规模庞大，运算成本高，资源消耗大的问题，还能够实现非侵入式负荷分解模型的压缩。

技术研发人员：林琳,张振伟,马雪丽,柳江,农贵山,臧义超,李士林,张云山,许津豪,张皓,高鹏琛
受保护的技术使用者：吉林化工学院
技术研发日：
技术公布日：2024/3/31