基于多尺度特征融合的架空输电线路缺陷检测方法与流程

本发明涉及输电线路导线检测，具体是一种基于多尺度特征融合的架空输电线路缺陷检测方法。

背景技术：

1、目前，我国在超、特高压架空线架设安装质量验收作业时大多采取人工走线验收方式和无人机验收方式。人工走线验收需要验收人员沿线路行走，对线路和相关金具进行质量验收，该验收方式存在诸如作业环境恶劣、安全风险高、劳动强度大、工作效率低等问题，且人工检查存在视觉盲区容易出现遗漏质量缺陷的情况。无人机可以大幅提高验收作业效率，但无人机验收一般针对架空输电线路周围的建筑物、树木、山坡、道路、河流等环境是否符合规范来设计，容易受环境、天气等因素影响，且需要搭载相关验收设备，存在续航不足，不能对导线及其附件进行360°全方位、多特征检视导致质量缺陷的漏检问题。上述问题均为日后线路的安全稳定运行埋下了隐患，因此亟需研究、开发、利用新技术予以解决。

2、专利号为cn202310740759的发明专利主要介绍了一种结合变化检测和语义分割任务的遥感图像语义变化检测方法和系统。它利用弱监督和三重注意机制，该机制结合了图像频道注意、相邻像素块注意和相似像素块注意，以更有效地探索同一位置不同时期图像对的语义变化信息。这种方法能够提高遥感图像语义变化的检测性能，其不足之处在于，现有基于深度学习的变化检测方法大多依赖于大量标注数据。这可能由于图像对中变化区域面积小和标注数据集的主观性，导致遥感图像数据的利用率较低。专利号为cn202410482951的发明专利主要介绍了一种基于yolov8的缺陷检测方法。此方法通过在yolov8计算网络中引入一个新的c2f模块，该模块使用扩张卷积层来降维原始特征图，并提取局部和边界信息。此外，该方法还融合了注意力机制，以增强融合特征图中的关键通道和空间位置，从而识别缺陷。总体来说，该方法提供了一种使用yolov8进行快速且准确的缺陷检测解决方案。其不足之处在于尽管新的c2f模块可以改善性能，但在处理非常复杂或细微缺陷的图像时，可能仍存在挑战，尤其是在背景噪声高的情况下。该方法可能需要较大的计算资源和存储容量，特别是在应用于大规模的实时检测系统时。虽然该方法在平衡检测速度和准确性方面取得了进展，但在极端情况下（如极高速度要求或极端精度需求场景）可能需要进一步的优化。

技术实现思路

1、本发明为了解决现有技术的问题，提供了一种基于多尺度特征融合的架空输电线路缺陷检测方法，将导线图像与激光点云图像进行校正配准并进行数据增强，构建检测数据集；将两种图像分别输入目标检测网络进行训练，在特征提取网络backbone中添加注意力机制从而对目标进行相关性计算，同时在yolov8运算网络主干部分采用多尺度特征融合的检测方法，在保证模型大小的前提下，实现精度和准确性的提高，满足实际架空输电导线缺陷检测的需要。

2、本技术实施例提供了一种基于yolo模型的导线质量缺陷检测方法，所述导线质量缺陷检测方法包括：

3、获取架空输电线路导线图像以及激光云点图像。

4、将用于获取导线图像以及激光云点图像的环形阵列摄像装置的内外参数输入预先训练好的目标yolo模型之中，对所述导线图像进行网格划分，并对每个网格进行目标检测，输出每个所述网格中的质量缺陷的边缘矩形框中心位置信息、宽高信息、置信度信息以及目标类别信息；其中，所述质量缺陷包括导线损伤变形、防震锤歪斜、间隔棒歪斜、各相不垂直、铝包带缠绕不紧密、不到位等。其中所述环形阵列摄像装置设置在机器人环形摄像阵列上。

5、（1）在所述目标yolo模型之中基于所述导线图像以及所述环形摄像矩阵装置的内外参数网格中的质量缺陷进行位置检测，输出每个网格中的所注导线质量缺陷在所述导线图像中相对于所述环形阵列摄像装置的位置信息。

6、（2）构建基于改进yolov8的架空输电导线缺陷检测模型，包括加入注意力机制后的backbone模块、cds-neck模块以及head模块；

7、所述backbone模块引入下采样模块cgneck_down进行特征提取和残差学习，引入triplet-attention模块进行跨维度交互作用，通过捕捉空间维度和输入张量通道维度之间的交互作用，解决了基于spatial和channel的cbam模型缓解了空间相互依赖的问题。

8、所述cds-neck模块首先通过主干网络中p2层的特征图引入其中，进一步加强特征提取能力，引入轻量化采样算子carafe模块提高网络性能，减少一个concat层，增加一个carafe层；并改变原本的连接方式，实现轻量化的同时保证了特征提取能力。

9、triplet-attention模块用于捕捉图像中更为复杂的特征关系。通过在水平、垂直和通道三个不同方向上计算注意力，进而提升特征表示能力。

10、将原yolov8中ciou损失函数替换为eiou损失函数，通过计算预测框和真实框中心点的欧氏距离可以更准确地衡量边界框的位置差异。通过考虑预测框和真实框的宽度和高度差异，可以更好地处理形状和比例不匹配的问题。

11、（3）采用数据集对构建的基于改进yolov8的架空输电导线缺陷检测模型进行训练；采用训练后的模型进行检测，实现输电导线多种缺陷的检测。

12、进一步地，步骤（1）所述数据集包含导线损伤变形、防震锤歪斜、间隔棒歪斜、各相不垂直、铝包带缠绕不紧密不到位五种缺陷。

13、进一步地，步骤（1）所述数据集中图像尺寸缩放调整为640×640像素；存放数据文件夹为data，包含两个子文件夹，分别为images，labels，其中images保存训练图像，labels保存于训练图像对应的xml文件；训练集图像路径保存在train.txt，其中存放的是训练图像和标签相对路径。

14、进一步地，步骤（2）所述backbone模块包括一个conv模块，四个cgneck_down模块，一个triplet-attention模块，四个c2f-dysnakeconv模块和一个空间金字塔池化模块sppf。

15、进一步地，步骤（2）所述backbone模块实现过程如下：

16、主干网络中四层c2f-dysnakeconv分别为3、5、7、9层，将3、5、7层所提取的特征信息输入到cds-neck模块进一步融合特征信息；输入图像先进入一个conv层进行特征提取，而后进入triplet-attention模块有效处理上下文信息同时保留局部描述的同时向neck层输出，再进行以下循环操作：进入cgneck_down模块进行从语义层次和空间层次两方面进行捕获所有阶段的上下文特征，并进行采样操作；进入c2f-dysnakeconv模块进行特征提取并向neck层输出；如此反复，最后进入sppf模块，在不改变特征图大小的情况下，对不同尺度的特征图进行池化操作。

17、所述cgneck_down模块包括局部特征提取器floc(*)、周围上下文提取器fsur(*)、联合特征提取器fjoi(*)和全局特征提取器fglo(*)；所述floc(*)以常规卷积计算实现；所述fsur(*)以膨胀卷积计算实现；所述fjoi(*)为一个拼接层，后面加上一个bn层和prelu函数激活；所述fglo(*)为全局池化层后面跟两个全连接层抽取特征，得到一个权重向量，以该权重向量指导联合特征融合。

18、进一步地，所述cgneck_down模块中cgneck采用残差学习；采用局部残差学习和全局残差学习两种方式。

19、进一步地，所述triplet-attention模块是一种在卷积神经网络中用于增强特征表达的注意力机制通过分别在三个正交方向上进行注意力计算，来捕捉更加全面的特征信息。包括通道注意力、空间注意力、高度注意力，对输入特征图在空间维度（h×w）上进行全局平均池化和全局最大池化，得到两个通道描述向量。

20、所述triplet-attention模块中的通道注意力计算流程如下所示：

21、（1）全局平均池化和最大池化：设输入特征图为x，形状为c×h×w;全局平均池化：，形状为c×1×1；全局最大池化：，形状也为c×1×1；

22、（2）全连接层：将全局平均池化和最大池化的结果分别通过共享权重的全连接层，得到每个通道的重要性评分；，；

23、（3）加权求和与激活：将全连接层的输出通过加权求和后，使用sigmoid函数进行激活，得到通道注意力权重：；

24、（4）重新加权：将输入特征图与通道注意力权重相乘，得到增强的特征图：；

25、所述triplet-attention模块中的空间注意力计算流程如下所示：

26、（1）通道维度聚合：对输入特征图在通道维度（c）上进行聚合，得到两个二维特征图；设输入特征图为x，形状为c×h×w，通道平均池化：，形状为1×h×w；通道最大池化：，形状也为1×h×w；

27、（2）卷积计算：将聚合后的二维特征图进行拼接，并通过一个卷积操作，生成空间注意力图；在拼接过程中有以下公式：，形状为2×h×w；而后进行卷积运算，运算后的形状为1×h×w；

28、（3）激活和重新加权：将注意力图通过sigmoid函数激活，得到空间注意力权重：，将输入特征图与空间注意力权重相乘，得到增强的特征图：；

29、所述triplet-attention模块中的高度注意力计算流程如下所示：

30、（1）通道维度聚合：对输入特征图在高度维度（h）上进行聚合，得到两个高度特征图；设输入特征图为x，形状为c×h×w；高度平均池化，形状为c×1×w；高度最大池化，形状为c×1×w；

31、（2）卷积计算:将聚合后的高度特征图进行拼接，并通过一个卷积操作，生成高度注意力图；在拼接过程中有以下公式：，形状为c×2×w；而后进行卷积运算，运算后的形状为c×1×w；

32、（3）激活和重新加权：将注意力图通过sigmoid函数激活，得到空间注意力权重：，将输入特征图与空间注意力权重相乘，得到增强的特征图：；

33、将上述三个注意力模块的输出通过加权求和得到最终的增强特征图。

34、所述triplet-attention模块实现过程如下：

35、三重注意力由三个平行分支组成，其中两个负责捕捉通道维度c与空间维度h或w之间的跨维度交互；所有三个分支的输出都通过简单的平均法进行汇总，通过捕捉输入张量的空间维度和通道维度之间的交互来解决这一缺陷；在三元组注意力中引入了跨维度交互，通过三个分支分别捕捉输入张量的（c，h）、（c，w）和（h，w）维度之间的依赖关系；z-pool层负责通过连接平均池化和最大池化特征，将张量的第零维度缩减为二维；

36、将三重注意定义为一个三分支模块即三重关注模块，它接收输入张量并输出相同形状的精炼张量，给定一个输入张量χ∈rc×h×w，将其传递给所提出的三重关注模块的三个分支中的每一个：

37、在第一个分支中，在高度维度和通道维度之间建立交互，将输入的χ沿h轴逆时针旋转90◦；然后，χ1将通过zpool，并还原为χ∗1，其形状为（2×h×c）；χ∗1随后将通过内核大小为k×k的标准卷积层，通过批量归一化层，从而提供维度为（1×h×c）的中间输出；然后，将张量通过一个sigmoid激活层(σ)，生成注意力权重；生成的注意力权重随后应用于χ1，然后沿h轴顺时针旋转90◦，以保留χ的原始输入形状；

38、在第二个分支中，我们将χ沿w轴逆时针旋转90◦；旋转后的张量χ2的维度为（h×c×w），并通过z池层；因此，张量被简化为形状为（2×c×w）的χ∗2；χ∗2经过一个标准卷积层，该层由k×k内核大小定义，然后经过一个批处理归一化层，输出一个形状为（1×c×w）的张量；然后，将该张量通过一个sigmoid激活层(σ)，得到注意力权重，再简单地应用于χ2，随后将输出沿w轴顺时针旋转90◦，以保持与输入χ相同的形状；

39、在最后一个分支中，输入张量χ的通道被z池缩减为两个；缩小后的张量χ3的形状为（2×h×w），通过一个标准卷积层，该层由k核大小定义，之后是一个批处理归一化层；输出通过sigmoid激活层(σ)，生成形状(1×h×w)的注意力权重，然后将其应用于输入χ；三个分支分别生成的形状（c×h×w）细化张量通过简单的平均法进行汇总。

40、进一步地，所述的cds-neck模块实现过程如下：首先由backbone 中 3、5、7层输出的特征图进入颈部的concat层实现输入数据的拼接，第10层的特征图先进入轻量级算子carafe上采样模块放大图像，提取特征后再进入第13层的concat层进行拼接;再经过14层、15层两个c2f-dysnakeconv模块提取特征后，14层的c2f-dysnakeconv模块先向head部的detect头进行输出，然后输入第16层carafe层进行上采样操作，输出的特征图像与第5层输入的特征图像一起进入第17层concat层进行拼接操作，然后进入18层c2f-dysnakeconv模块进行特征提取后先向 head部的detect头进行输出；然后进入19层conv层卷积层减少计算量，再进入20层carafe层进行上采样操作，再与第3层输入的特征一起进入21层concat层进行拼接，将不同大小的特征张量连接起来，提升模型的表现能力；进入第22层c2f-dysnakeconv模块进行特征提取融合；最后输出到head部的detect头。

41、本发明有益效果在于：

42、1、本发明针对低端设备计算能力有限，预测精度不高的情况，将yolov8网络中backbone主干网和neck 里面的c2f模块里的bottleneck换成了dynami-snake模块，c2f_dysnakeconv模块实现高准确率，同时更适配的关注细长缺陷的特征，可以更有效地提取特征信息；

43、2、在小目标检测精度方面，主干网络中p2层的特征图也引入到neck 中，在原来的neck中增加上采样层，放大图片大小，提升提取特征能力，提升了在缺陷检测中小目标检测的检测精度；

44、3、在整体检测精度上，将yolov8网络中 backbone主干网的下采样模块替换成了cgneck_down模块，进行特征提取融合并进行残差学习，促进信息传递，进一步加强特征的提取能力，降低复杂背景对缺陷检测造成的干扰，抑制冗余和干扰信息，提高模型对缺陷检测及其分类的准确率，提高了模型对重要特征的关注程度，降低模型的复杂度；改进后的c2f_dysnakeconv模块也更好的关注细长缺陷的特征，准确定位缺陷时保留精确的位置信息；在设计上更注重对全局上下文的建模，通过大核自注意力机制在全图范围内进行信息交互，局部残差学习(lrl）和全局残差学习(grl）这有助于模型更好地理解整个图像的语境和关联，而不仅仅是局部区域，提高缺陷检测的整体精度。