一种基于多层级多尺度特征融合的电网设备缺陷检测方法与流程

本发明涉及电力设备智能巡检，并且更具体地，涉及一种基于多层级多尺度特征融合的电网设备缺陷检测方法。

背景技术：

1、伴随着国家经济发展水平和人民生活水平的提高，电网的规模也在不断扩大，关注输电线路并保障电网安全可靠地运行是电力系统重要环节之一。在运行过程中由于长期暴露在野外，输电线路的杆塔、金具、绝缘子和导地线等部件容易出现锈蚀、破损、断股等异常。同时，部件安装不规范也为输电线路安全运行带来隐患。利用无人机巡检数据，通过深度学习技术高效、准确地获取输电线路本体缺陷信息对于线路缺陷巡检具有重要的实际意义。然而，输电线路所处环境复杂多变，这给缺陷识别带来了巨大的挑战。

2、目前，通过操纵无人机对输电线杆塔关键位置进行现场数据采集，然后将图像数据传回服务器，最后再由运行在服务器上的目标检测算法模型(如faster-rcnn、yolov3等)处理图像数据，从而得到设备缺陷的检测结果。电力设备缺陷种类众多，检测任务难度较大，一般经由算法模型得到的结果中还含有大量误报或者漏检，因而最终的结果还需要电网一线班组人员进行复核。

3、同时，采用无人机对输电线路巡检的工作依赖大量的机载可见光图像采集设备获得的大量的图像数据，在巡检期间，摄像头一直处于拍摄中，并将这些海量数据上传至服务器集中处理和分析或将拍摄的图像储存在机载存储设备中。由于网络带宽是时变且有限的资源，海量数据的上传至服务器进行集中处理和分析会占用大量的网络带宽，造成网络拥塞，使得整个通信过程延迟过高而无法完成故障缺陷的实时识别以至于对设备缺陷的忽略。

4、常规的目标检测算法，两阶段的检测算法虽然精度高但速度慢，一阶段算法快但精度低，进行复核需要消耗大量的人力物力，难以实现实时监控。

技术实现思路

1、针对现有技术的不足，本发明提供一种基于多层级多尺度特征融合的电网设备缺陷检测方法。

2、根据本发明的一个方面，提供了一种基于多层级多尺度特征融合的电网设备缺陷检测方法，包括：

3、采集待检测缺陷的电网设备的巡检图像数据；

4、通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；

5、通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；

6、利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。

7、可选地，全类缺陷检测模型用于检测电网设备巡检当前场景下涵盖的所有缺陷类型，全类缺陷检测模型包括：输电线路全类设备缺陷检测模型、配电线路全类设备缺陷检测模型、变电站全类设备缺陷检测模型以及换流站全类设备缺陷检测模型。

8、可选地，通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果，包括：

9、通过全类检测模型的特征提取层对巡检图像数据进行特征提取；

10、将提取的所有特征经过全类检测模型的融合自注意力模块后进行拼接融合；

11、对拼接融合后的数据特征进行分类和定位，确定第一缺陷检测结果。

12、可选地，单类缺陷检测模型采用nanodet-plus-m方法。

13、可选地，利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果，包括：

14、根据第一缺陷检测结果和第二缺陷检测结果分别构建多个缺陷类型的待处理候选框集，并构造一个存放最优框的集合m；

15、分别计算候选框集中每个候选框的置信度，并根据置信度对候选框集中的候选框进行排序，选出置信度最高的候选框移入到集合m；

16、遍历候选框集中的候选框，分别与集合m计算动态交并比，在交并比高于预先设置的第一阈值的情况下，将该候选框从候选框集去除，并且在交并比不高于第一阈值的情况下，将该候选框移入至集合m；

17、在候选框集为空时，依次获得多个缺陷类型的待处理候选框集对应的多个集合m，并根据多个集合m确定缺陷检测结果。

18、可选地，遍历候选框集中的候选框，分别与集合m计算动态交并比，包括：

19、根据每个候选框的缺陷类型对应的动态交并比计算公式，分别计算与集合m的交并比。

20、可选地，候选框的缺陷类型对应的动态交并比计算公式包括：

21、在候选框的缺陷类型为预设的小尺寸类缺陷或小目标缺陷的情况下，动态交并比计算公式为：

22、

23、在候选框的缺陷类型为非小尺寸类缺陷或者非小目标缺陷的情况下，动态交并比的计算公式为：

24、

25、其中，miou为动态交并比，d为候选框和集合m中框的中心点距离，c为包含候选框和集合m中框外接矩形的对角线，ws为候选框的宽，hs为候选框的高。

26、可选地，根据多个集合m确定缺陷检测结果的操作，包括：

27、分别检测多个集合m中的候选框是否有同一属性，并且损失函数是否大于预设的第二阈值；

28、在多个集合m中的候选框有同一属性，并且损失函数大于预设的第二阈值的情况下，将该候选框从多个集合m中去除，确定缺陷检测结果。

29、根据本发明的另一个方面，提供了一种基于多层级多尺度特征融合的电网设备缺陷检测装置，包括：

30、采集模块，用于采集待检测缺陷的电网设备的巡检图像数据；

31、第一确定模块，用于通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；

32、第二确定模块，用于通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；

33、第三确定模块，用于利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。

34、根据本发明的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明上述任一方面所述的方法。

35、根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明上述任一方面所述的方法。

36、从而，本技术通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。基于前沿的人工智能和计算机视觉技术，以深度卷积神经网络作为基础，采用一种基于多层级多尺度特征融合的模型来对电力设备多种缺陷进行检测。与现有电力设备缺陷检测方法相比，对电力设备多种缺陷进行识别的效果更优，在准确率高的同时错误检出也相对低，且运行速度较快。