输变电设备红外图像目标识别方法及系统与流程

本发明涉及图像处理，具体涉及一种输变电设备红外图像目标识别方法及系统。

背景技术：

1、随着国家的快速发展，用电需求不断增加，电力设备遍布全国各地，这也导致了电力系统故障发生概率的增加。由于不断发生电力系统造成的事故，我国对电力设备的安全性和自动化程度的关注日益加强。输变电设备是电力设备的重要组成部分，其出现故障的主要表现为机械损坏、温度升高和电场变化。传统方式要想发现这些故障，需要大量人工的参与，并且对人工的专业程度有一定的要求，同时也增加了很多不确定性，加大了设备监测的难度。

2、传统的设备监测需要有经验的人工参与，成本高昂，容易出现较大的偏差，加大了电力巡检的困难，而非接触式设备监测可以有效解决这个问题。非接触式设备监测主要通过设备的红外图像识别出各类设备并完成各类故障的监测，测温范围广泛且准确率和稳定性都表现的更好，被广泛应用于输变电设备的监测。同时，随着各类目标检测算法的提出，将输变电设备红外图像和这些算法结合可以更快地完成对指定对象的识别与监测。其中基于深度学习的目标检测方法目前已经应用于各个图像识别领域，将该方法用于检测输变电设备可以很大程度地提高识别的精度和速度，进而实现对各类故障的快速反应，有效地提高了变电站的工作效率及安全性，并提高其智能化程度。

3、目前的输变电设备检测算法主要分为三种，分别是传统算法，基于机器学习的算法和基于深度学习的算法：

4、（1）传统算法主要通过不同的算法提取输变电设备红外图像的特征，这些算法包括灰度共生矩阵、小波变换等，提取完特征之后再通过分类器进行分类。而在实际运用环境当中，输变电设备的红外图像拍摄会存在一些问题，例如不同拍摄设备拍摄角度的不同，光照强度的影响以及不同场景下会存在的一些干扰，这些都会导致传统算法设计出的模型通用性不足，无法适应实际场景下的输变电设备红外图像监测。

5、（2）基于机器学习的算法通过支持向量机、决策树、随机森林等方法完成对红外图像中输变电设备的识别，它和深度学习的算法都属于数据驱动。

6、（3）基于深度学习的算法主要包括yolo（you only look once）系列的算法和r-cnn（region based convolutional neural network）系列的算法。其中，r-cnn使用选择性搜索算法或其他区域生成算法生成图像中的候选目标区域，然后从图像的每个候选区域中提取特征，对每个候选区域的特征进行分类，以预测目标的类别和位置。yolo系列的算法一般通过各个模块从图像中提取特征，获取对象的特征信息，然后使用检测网络预测图像中对象的位置、类别、以及框的边界，最后使用非极大值抑制（non-maximum suppression，nms）算法删除重叠的检测框，以确保最终只剩下一个识别结果。无论是哪一种基于深度学习的方法，它们一般都是通过训练标记好的输变电设备红外图像得到一个模型，然后通过这个模型去预测未标记红外图像中的各类输变电设备。

7、对于基于深度学习的方法，r-cnn属于two-stage网络，也就是将网络分为两个阶段，步骤相较于yolo更为繁琐，除此以外，使用区域生成算法生成的候选目标区域会存在一些冗余，这会导致在复杂的变电站环境中模型的适应能力下降，同时也降低了算法的实时性。而对于yolo系列的算法，每个版本都存在一些改进，最新的版本相较于上一个版本会在精度方面或是速度方面做出一些改善。比如yolov2相对于yolov1加入了回归先验框机制，并且使用新的网络结构darknet-19，yolov3相对于yolov2加入了残差网络，还利用了多尺度特征融合进行目标检测。而最新的yolov8相较于之前的版本，加入了c2f模块，其分类损失为vfl loss，其回归损失为ciou loss+dfl的形式，和之前的网络相比，其分类能力得到了有效地提高。但是其自带的ciou并不是最优的选择，虽然ciou通过中心点回归缓解了两框距离较远时难优化的问题，但是其算法中的长宽比的差异不是宽高分别与其置信度的真实差异，这会阻碍模型有效的优化。

8、当然，会有一些工作将squeeze-and-excitation block（se），bottleneckattention module（bam）和convolutional block attention module（cbam）等注意力机制和这些网络结构结合来提高分类精度或者收敛速度，从而提高模型的效率，比如公布号为cn112101434a中提出的基于改进yolov3的红外图像弱小目标检测方法，但该方案中se模块通过动态调整特征图中不同通道的重要性来增强网络的表征能力，只考虑了通道间信息的编码，而忽略了输入特征图的位置信息。而bam模块使用bottleneck结构来降低计算成本并帮助专注于目标对象。cbam机制通过通道注意力模块计算通道注意力和通过空间注意力模块计算空间注意力，但通常会遭受收敛的困难或沉重的计算负担，同时这些注意力机制并没有充分利用空间注意和通道注意之间的相关性且卷积只能捕获局部位置信息。

技术实现思路

1、本发明所要解决的技术问题在于如何提高变电站对输变电设备识别的效率及其智能化水平。

2、本发明通过以下技术手段解决上述技术问题的：

3、一方面，本发明提出了一种输变电设备红外图像目标识别方法，所述方法包括：

4、采集输变电设备红外图像并输入至目标检测模型，所述目标检测模型包括骨干网络和检测头网络，所述骨干网络的头部和尾部分别添加有s2-mlpv2模块，所述骨干网络的输出连接所述检测头网络；

5、利用所述骨干网络提取所述红外图像的特征图，其中，所述s2-mlpv2模块利用空间转移操作进行各图像块之间的通信；

6、利用所述检测头网络预测所述特征图中包含目标的位置和类别。

7、进一步地，所述s2-mlpv2模块包括多层感知器mlp_1、空间位移操作层spatialshift_1、空间位移操作层spatial shift_2、分散注意力模块split attention和多层感知器mlp_2；

8、多层感知器mlp_1将输入的特征图进行扩展后分解为三个子图，，；

9、空间位移操作层spatial shift_1和空间位移操作层spatial shift_2分别对子图和进行空间位移操作后再与子图重塑为矩阵；

10、分散注意力模块split attention对所述矩阵进行处理后输出至多层感知器mlp_2。

11、进一步地，所述s2-mlpv2模块的分类损失为vfl损失，公式表示为：

12、

13、式中，是vfl损失函数，是iou感知分类评分，是目标分数，是加权因子，是焦点损失指数。

14、进一步地，所述骨干网络包括依次连接的卷积层conv_1、第一c2f模块、卷积层conv_2、第二c2f模块、卷积层conv_3、第三c2f模块、卷积层conv_4、第四c2f模块和sppf模块，卷积层conv_1与第一c2f模块之间设置有第一s2-mlpv2模块，sppf模块的输出连接有第二s2-mlpv2模块。

15、进一步地，所述检测头网络包括上采样层upsample_1和上采样层upsample_2，上采样层upsample_1的输出经拼接层concat_1与第一c2f-h模块连接，上采样层upsample_2的输出经拼接层concat_2与第二c2f-h模块连接；

16、第二c2f-h模块的输出连接检测器detect_1和卷积层conv_5，卷积层conv_5的输出和第一c2f-h模块的输出连接拼接层concat_3，拼接层concat_3的输出连接第三c2f-h模块，第三c2f-h模块的输出连接卷积层conv_6和检测器detect_2，卷积层conv_6的输出连接拼接层concat_4，拼接层concat_4的输出连接第四c2f-h模块，第四c2f-h模块的输出连接检测器detect_3；

17、所述第二s2-mlpv2模块的输出连接上采样层upsample_1和拼接层concat_4，所述第三c2f模块的输出连接拼接层concat_2，所述第四c2f模块的输出连接拼接层concat_1。

18、进一步地，所述第一c2f模块、所述第二c2f模块、所述第三c2f模块及所述第四c2f模块中的bottleneck块中使用残差连接。

19、进一步地，所述检测头网络采用decoupled-head头。

20、进一步地，所述目标检测模型采用yolov8目标检测网络架构，所述目标检测模型在训练过程中采用的损失函数为：

21、

22、式中，是基于中心点的距离和对角线距离的比值，是影响因子，是交并比，是加权因子。

23、此外，本发明还提出了一种输变电设备红外图像目标识别系统，所述系统中部署采集模块和预先训练好的目标检测模型，包括：

24、采集模块，用于采集输变电设备红外图像并输入至所述目标检测模型，所述目标检测模型包括骨干网络和检测头网络，所述骨干网络的头部和尾部分别添加有s2-mlpv2模块，所述骨干网络的输出连接所述检测头网络；

25、所述骨干网络用于提取所述红外图像的特征图，其中，所述s2-mlpv2模块利用空间转移操作进行各图像块之间的通信；

26、所述检测头网络用于预测所述特征图中包含目标的位置和类别。

27、此外，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的输变电设备红外图像目标识别方法。

28、本发明的优点在于：

29、（1）本发明通过在目标检测模型中的骨干网络backbone中添加改进的s2-mlpv2模块，s2-mlpv2模块利用空间转移操作来进行各个图像块之间的通信，提高了backbone部分的特征提取能力从而加快训练进度并促进模型收敛，提高变电站设备监测的工作效率。

30、（2）将目标检测模型训练过程时采用的回归损失函数中的ciou替换为alpha-iou，实现对现有的基于iou的损失进行统一的功率泛化，可以进行更加精确的bounding box回归，保证模型的分类精度，实现对绝缘子类、导电线类、金具类、变压器套管等输变电设备的高精度目标识别，最终达到提高变电站安全系数以及自动化程度的目的。

31、（3）在骨干网络中，将yolov5的c3模块更换成c2f模块，c2f模块拥有更加丰富的梯度流，实现了进一步的轻量化。

32、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。