一种复杂场景下无人机巡检变电设备的方法

本发明涉及变电设备的红外图像检测方法，具体涉及一种复杂场景下无人机巡检变电设备方法。

背景技术：

1、作为电力系统重要的基础设施，变电设备起到电压和电流变换、接受和分配电能的作用。变电设备主要包括避雷器、互感器、隔离开关和支柱瓷瓶。它们长期工作在室外，具有高电压、大电流的特点，容易出现局部过热故障，严重威胁到电网运行的安全和稳定。因此，监测变电设备的发热状态是日常巡检的一项基本任务。由于变电设备架设在高处，无人机搭载红外热成像仪获取变电设备的航拍图像是一种识别变电设备表面发热异常的有效手段。近年来，许多研究对变电设备的自动巡检的视觉任务开展了研究。不同的变电设备具有不同的表面温度分布特点。因此，为了实现变电设备发热状态的自动检测与诊断，首先要在红外图像中快速精确地识别和定位变电设备。

2、近年来，随着卷积神经网络的发展，一些通用的目标检测网络，如faster rcnn、ssd和yolo，相继被提出，在可见光图像的多尺度目标检测方面取得了显著的效果。由于红外图像与可见光图像的差异，这些通用目标检测模型很难直接应用于红外图像中变电设备检测。研究人员针对不同应用场景，相应改进了通用的检测模型。尽管这些方法一定程度上改善了无人机红外航拍图像目标检测的效果，红外航拍图像中检测变电设备仍然面临如下挑战：

3、(1)目标空间分布不均衡。无人机视角下，变电设备往往集中于图像的中间区域。导致部分区域内目标密集，相互遮挡。

4、(2)变化的无人机视角。在不同的无人机视角下，相同类别的变电设备外观存在差异；另一方面，不同类别的变电设备在特定的无人机视角下外观极为相似。这种类别内差异大和类别间差异小的问题导致模型难以有效的区分目标。

5、(3)变化的目标尺度。由于飞行高度的变化，无人机图像中同一类目标呈现的尺度随之急剧变化。而且，同一幅图像中可能同时存在大目标和小目标。模型需要能检测出变化尺度的目标。

6、(4)有限的机载资源。受承重、功耗和成本的限制，无人机机载的计算平台资源十分有限。将检测模型部署在这种资源不足的计算平台上，需要在确保检测精度的前提下减少模型的参数、计算复杂度和推理时间。

7、现有的方法在上述挑战下，无法在低计算资源消耗和快速、准确地从航拍的红外图像中检测出变电设备之间兼顾。

技术实现思路

1、本发明要解决的技术问题：针对现有技术的上述问题，提供一种复杂场景下无人机巡检变电设备方法，本发明能够解决现有方法难以在维持低计算资源消耗情况下，无人机巡检变电设备红外图像检测精度不高的问题。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种基于复杂场景下无人机巡检变电设备方法，包括采集被检测的变电设备红外图像，将变电设备红外图像输入预先训练好的变电设备红外图像检测模型得到被检测的变电设备的检测结果，所述变电设备红外图像检测模型包括：

4、主干特征提取网络，用于对输入的变电设备红外图像提取不同层次的特征；所述的主干特征提取网络gscsplnet采用十层结构，第一层为focus模块，第二、四、六、八层为gsconv_bn_silu模块，第三、五、七、十层为gscsp-l模块，第九层为多层级感受野特征增强模块mrffem；所述的gscsp-l模块为依次级联的gscsp和长距离特征捕捉注意力机制ldfc，gscsp的输出连接到ldfc的输入，ldfc的输出为gscsp-l模块的输出；所述的gsconv_bn_silu模块为依次级联的轻量化卷积gsconv、batchnorm2d和激活函数silu；所述的gscsp采用cspnet的基本结构，每个gscsp都由x个gsresblock和多个gsconv组成，gsresblock由主支路与残差支路相加构成，主支路由两个串联的gsconv_bn_silu模块组成，残差支路为依次串联的深度可分离卷积dwsconv、batchnorm2d和激活函数silu；所述主干特征提取网络gscsplnet的第三层、第五层、第六层、第七层、第八层和第十层提取的特征图分别记为c2、c3，c4'、c4、c5'和c5；所述的多层级感受野特征增强模块mrffem的输入为主干特征提取网络提取的特征图c4'和c5'，mrffem的输出经过gscsp-l得到c5；

5、多尺度特征聚合网络mfen，用于对主干特征提取网络提取的特征图c2、c3、c4和c5进行多尺度多层级特征聚合，得到特征图p3、p4和p5；

6、检测头网络，用于对多尺度特征聚合后的特征p3、p4和p5进行检测，获得变电设备的检测结果。

7、可选地，所述的长距离特征捕捉注意力机制ldfc包含如下步骤：首先，对输入的特征图z依次采用平均池化层、1×1的卷积操作和线性激活函数，得到特征图和然后，将特征图输入至垂直方向的自适应池化层、中心特征聚合层和1×1的卷积，捕获垂直方向的长距离空间特征将特征图输入至水平方向的自适应池化层、中心特征聚合层和1×1的卷积，捕获水平方向的长距离空间特征最后通过sigmoid函数和上采样操作将和转换为全局空间可学习权重αh(h)和αh(w)。

8、可选地，所述的多层级感受野特征增强模块mrffem包括辅助层定位特征增强块alfeb和深层语义金字塔池化块dsppb；所述的alfeb具有一个输入，三条数据处理支路和一个输出，alfeb的输入为特征图c4'，alfeb的数据处理支路一为依次级联的1×3的空间可分离卷积、3×1的空间可分离卷积、卷积核大小为3×3膨胀率为3的膨胀卷积和simam注意力，支路二为依次级联的1×3的空间可分离卷积、3×1的空间可分离卷积、1×3的空间可分离卷积、3×1的空间可分离卷积、卷积核大小为3×3膨胀率为5的膨胀卷积和simam注意力，支路三为依次级联的1×3的空间可分离卷积、3×1的空间可分离卷积、1×3的空间可分离卷积、3×1的空间可分离卷积、1×3的空间可分离卷积、3×1的空间可分离卷积、卷积核大小为3×3膨胀率为7的膨胀卷积和simam注意力；最后，将三条数据处理支路的输出采用拼接操作聚合，经过1×1卷积后得到输出f1；所述的dsppb包含了一个输入，三条数据处理支路和一个输出，dsppb的输入为特征图c5'，dsppb的数据处理支路一为依次级联的1×1的gsconv、自适应池化层、卷积核为3×3膨胀率为1的膨胀卷积和simam注意力，支路二为依次级联的3×3的gsconv、自适应池化层、卷积核为3×3膨胀率为3的膨胀卷积和simam注意力，支路三为依次级联的两个3×3的gsconv、自适应池化层、卷积核为3×3膨胀率为5的膨胀卷积和simam注意力；最后，将三条数据处理支路的输出采用拼接操作聚合，经过1×1卷积得到输出f2；将f1和f2拼接操作，经过1×1卷积得到最终的输出。

9、可选地，所述多尺度特征聚合网络mfen由三个堆叠的融合与重组特征聚合块care和一个类融合与重组特征聚合块scare构成；第一个care的输入为特征图c5、c4和c3，c3经过下采样得到与c4相同尺度大小的特征图n3，c5经过上采样得到与c4相同尺度大小的特征图l5，将n3、c4和l5拼接，再经过gscsp-l得到输出p4_1；第二个care的输入为p4_1、c3和c2，c2经过下采样得到与c3相同尺度大小的特征图n2，p4_1经过上采样得到与c3相同尺度大小的特征图l4_1，将n2、c3和l4_1拼接，再经过gscsp-l得到输出p3；第三个care的输入为c5、p4_1和p3，p3经过下采样得到与p4_1相同尺度大小的特征图n3_1，c5经过上采样得到与p4_1相同尺度大小的特征图l5_1，将n3_1、p4_1和l5_1拼接，再经过gscsp-l得到输出p4；scare的输入为c5和p4，c5经过特征辅助模块afsb得到与c5相同大小尺寸的特征图s5，p4经过下采样得到与c5相同尺度大小的特征图n4，将s5、n4和c5拼接，再经过gscsp-l得到输出p5；最后p3、p4和p5分别输出给检测头网络的第一检测头、第二检测头和第三检测头。

10、可选地，所述特征辅助模块afsb由主支路与残差支路组成；主支路中包含两条支路，第一条支路为依次级联的1×1的卷积和softmax函数，第二条支路为自适应池化层，两条支路的输出相乘，再依次经过1×1卷积、layernorm和激活函数relu得到主支路的输出；最后将主支路的输出与残差支路拼接得到afsb的输出。

11、可选地，所述检测头模块网络包括第一检测头yolo_head1、第二检测头yolo_head2和第三检测头yolo_head3；所述第一检测头yolo_head1对80×80大小的特征图进行检测获得变电设备的检测结果；所述第二检测头yolo_head2对40×40大小的特征图进行检测获得变电设备的检测结果；所述第三检测头yolo_head3对20×20大小的特征图进行检测获得变电设备的检测结果。

12、可选地，所述将变电设备红外图像输入预先训练好的变电设备红外图像检测模型之前还包括训练变电设备红外图像检测模型的步骤：

13、s1)采集红外图像样本并附加标签，构建变电设备红外图像数据集；

14、s2)构建变电设备红外图像检测模型；

15、s3)采用预设的训练参数对变电设备红外图像检测模型进行训练，最终得到预先训练好的变电设备红外图像检测模型。

16、可选地，所述预设的训练参数为模型的初始学习率为0.01，动量为0.937的标准sgd优化器训练模型，权重衰减始终设置为5×10-4，共训练400个批次。

17、此外，本发明还提供一种基于复杂场景下无人机巡检变电设备方法，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于深度学习的变电设备红外图像检测方法的步骤。

18、此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实施所述基于复杂场景下无人机巡检变电设备方法的步骤。

19、和现有技术相比，本发明主要具有下述优点：本发明在低计算资源消耗的情况下，提高了无人机航拍红外图像中变电设备检测的精度，可应用于变电站、电线路无人机自主巡检变电设备运行状态日常巡检。