一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法

1.本发明涉及图像分析技术领域，尤其涉及一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法。


背景技术：

2.输电线路故障是造成电网大面积停电事故的重要原因之一，线路运维是保证电力系统安全的重要环节。输电线路中螺栓数量众多，广泛存在于杆塔、绝缘子和金具之中，起到固定部件，维持输电线路结构稳定的关键作用。但是螺栓体积较小、缺陷类型复杂，其庞大的数量和受力复杂等条件以及户外输电线路的运行环境受到多变的气候、恶劣自然灾害、廊道周围植被生长、线路周围生物活动等因素的直接或间接影响，螺栓容易从正常状态转变为缺陷状态。一般缺陷如螺母松动、销子松动等会导致部件松动，影响结构稳定；危急缺陷如销子缺失、螺母缺失等，将会影响电力传输安全并可能导致大面积线路故障，严重威胁电网安全运行。因此，对螺栓进行缺陷检测是确保输电线路正常运行的必要工作。
3.近年来，随着人工智能技术发展，利用无人机对输电线路进行巡检，然后采用计算机视觉和图像处理技术对输电线路的航拍图像进行自动化处理已成为当下的主要手段。
4.然而利用深度学习方法对输电线路中的螺栓进行缺陷检测存在以下两个难题：
5.1.相对输电线路中的其他金具，螺栓的尺寸很小，因此很难对螺栓进行目标检测。这是影响螺栓缺陷检测精度的关键因素。因此，在螺栓缺陷检测中，首先要使该模型具有检测小尺度目标的能力。
6.2.现有的大多数螺栓缺陷识别和检测方法都假设缺陷是视觉可分的。螺栓上某一部分缺失时，螺栓便被视为是存在缺陷的。然而，输电线路中螺栓缺陷实际属于视觉不可分的范畴。例如，在提包式悬垂线夹上的螺栓需要具备螺母和垫片两类属性，当螺母或者垫片缺失时，螺栓才被认为存在缺陷。但是提包式悬垂线夹上的螺栓是不需要销子这一属性，因此在提包式悬垂线夹上的螺栓不存在销子缺失这一缺陷。反观u型挂环上的螺栓需要螺母和销子两类属性，而不存在垫片缺失这一缺陷。所以，螺栓的缺陷检测不能仅依靠目标检测算法实现，还需要引入电力领域的相关知识辅助模型进行缺陷的判别。
7.因此，在上述背景下，将电力领域相关知识引入深度学习模型中，解决当前输电线路螺栓缺陷检测存在的问题，使其进一步提高检测精度的同时符合工业化需求成为重中之重。


技术实现要素：

8.本发明的目的是提供一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法，解决螺栓目标较小难以检测和输电线路螺栓缺陷检测中存在的视觉不可分等问题，设计一种新的模型可以同时检测到螺栓目标及其缺陷，并设计引入输电线路中螺栓的位置知识和属性知识来进一步提高螺栓缺陷检测的精度。
9.为实现上述目的，本发明提供了如下方案：
10.一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法，包括以下步骤：
11.s1，构建金具-螺栓数据集，得到不同类别、不同尺度的金具和螺栓图像；
12.s2，选取transformer模型detr为基础架构，采用resnet50模型作为主干网络；
13.s3，加入可拓展的编码器模块，提高模型对不同尺度的金具和螺栓的适应能力；
14.s4，保留detr中原有的绝对位置编码的同时，在编码器的自注意力机制中加入irpe 相对位置编码，综合考虑方向、位置、queries对相对位置编码的影响，以准确获得特征之间的相对位置关系，进一步提高目标检测和螺栓缺陷识别的准确率。
15.s5，在检测头之后设计了螺栓属性分类器和螺栓缺陷分类器，当模型检测到目标为螺栓时首先分类螺栓的属性，然后将螺栓的属性信息与带有位置信息的螺栓特征相结合进一步判别螺栓缺陷。
16.进一步的，所述步骤s1中，构建金具-螺栓数据集，得到不同类别、不同尺度的金具和螺栓图像，具体包括：
17.将航拍图像中输电线路及杆塔上包含金具及螺栓的区域裁剪下来，进行清洗，选取其中图像清晰、含有金具和螺栓的种类及数目较多的图像。将数据集按照coco数据集格式进行标注，并在此基础上为每个目标螺栓标注出属性和缺陷类别。
18.进一步的，所述步骤s2中，选取transformer模型detr为基础架构，采用resnet50 模型作为主干网络，具体包括：
19.首先使用resnet50模型作为主干网络提取金具-螺栓图像的特征。然后将图像特征加入绝对位置编码传入detr的编码器，编码器通过多头自注意力机制学习特征间的关系后将优化后的特征传入detr解码器，解码器中初始化100个可学习的queries，首先queries 传入解码器的自注意力模块进行优化，然后将优化后的queries与编码器输出的图像特征相结合传入detr的交叉注意力模块得到带有图像特征的queries，之后通过二部匹配将 queries用作目标检测的分类和回归，以得到金具和螺栓的类别信息及边界框位置信息。
20.进一步的，所述步骤s3中，加入可拓展的编码器模块，提高模型对不同尺度的金具和螺栓的适应能力，具体包括：
21.首先引入可拓展的编码器模块，增强特征提取能力和鲁棒性。由于detr中若使用特征金字塔网络fpn会导致计算量过大，故detr对小目标的检测效果不佳。针对这一问题，通过叠加标准卷积和膨胀卷积来扩大c5层特征的感受野。膨胀卷积的感受野计算公式为：
22.k＝(rate-1)
×
(k-1)+k
ꢀꢀꢀ
(1)
23.式中，k为膨胀卷积感受野，rate为膨胀卷积率，k为卷积核大小。
24.可拓展的编码器模块包含两个部分：投影层和残差块。投影层采用1
×
1的卷积来降低通道维数，然后添加一个3
×
3卷积层来细化上下文的语义信息。之后，残差块通过叠加4 个不同膨胀率的连续膨胀卷积残差块生成包含所有目标尺度的多个感受野的输出特征。
25.最后，将原始尺度范围和放大的尺度范围通过添加相应的特征相结合，得到一个包含多个感受野的输出特征，仅使用c5层特征即可覆盖所有的物体尺度，获取语义信息更丰富的特征图，极大的降低了计算量。
26.进一步的，所述步骤s4中，加入二维图像相对位置编码irpe，通过考虑方向、距离以及编码器中自注意力的查询和相对位置嵌入之间的相互作用，使得模型获取图像中不同目标的相对位置关系，进一步提高目标检测和螺栓缺陷识别的准确率，具体包括：
27.首先，保留detr中原有的绝对位置编码，在图像特征划分为元素块后，为了让模型利用序列的顺序，为每个元素块标记其的位置信息，并添加绝对位置编码p＝(p1,p2,
…
,pn)到嵌入为x的元素块。
28.xi＝xi+piꢀꢀꢀ
(2)
29.式中，xi为第i个元素块，pi使用不同频率的正弦函数的固定编码。
30.其次，针对detr无法充分利用不同输入元素之间成对关系的特点，引入了一种二维图像相对位置编码irpe方法。通过分段索引函数g(x)将元素间的相对距离映射到有限集合中的一个整数，然后相对位置编码可以被该整数索引，并且在不同的位置关系中共享此条件。分段索引函数可以大大减少序列的计算成本和参数数量。分段索引函数的公式为：
[0031][0032]
式中，[
·
]表示整数运算，sign(x)决定x的符号，正输入返回1，负输入返回-1，否则返回0。α为分段点，β控制[-β,β]范围内的输出，γ调整对数部分的曲率。
[0033]
然后为了充分考虑元素之间方向的重要性，将水平和垂直方向的编码分别计算后再相结合，公式为：
[0034][0035]ix
(i,j)＝g(x
i-xj)
ꢀꢀꢀ
(5)
[0036]iy
(i,j)＝g(y
i-yj)
ꢀꢀꢀ
(6)
[0037]
式中，(xi,yi)和(xj,yj)分别为第i个和第j个元素块的位置。i
x
(i,j)和iy(i,j)分别为水平方向和垂直方向上经g(x)索引后的整数。和分别为水平方向和垂直方向的相对位置编码，是可学习的向量。r
ij
为结合后的相对位置编码。
[0038]
最后将r
ij
引入detr编码器的自注意力模块中以帮助模型获取图像中不同目标的相对位置关系，进一步提高目标检测和螺栓缺陷识别的准确率，公式为：
[0039][0040][0041][0042][0043]
式中，wq、wk和wv均为可学习的参数矩阵。r
ijt
为相对位置编码的转置矩阵。b
ij
为和编码器中的查询结合后的相对位置编码。dz是q和k的维度，此处相当于归一化的作用。 e
ij
为编码器中的查询对键值的注意力数值。为e
ij
经softmax操作后的输出。zi为第i个元素经自注意力模块后的输出。
[0044]
进一步的，所述步骤s5中，设计了螺栓属性分类器和螺栓缺陷分类器，当模型检测
到目标为螺栓时首先分类螺栓的属性，然后将螺栓的属性信息与带有位置信息的螺栓特征相结合进一步判别螺栓缺陷，具体包括：
[0045]
首先，由detr解码器输出优化后的带有图像特征的100个queries，其中每个queries 即包含每个目标的特征和位置信息。之后detr的目标检测头将queries用作分类和边界框回归，得到金具-螺栓图像的类别信息和边界框位置信息。
[0046]
然后，模型判别当前图像中是否包含螺栓这一类别，若包含螺栓则获取其对应的 queries并将此queries用作螺栓属性的分类。螺栓属性分类器和螺栓缺陷分类器均由mlp 组成，将带有螺栓特征的queries传入螺栓属性分类器，可得到螺栓各类属性的分数。此处螺栓属性分别为螺母、销子和垫片三类。
[0047]
最后将得到的螺栓属性的分数作为向量f
attribute
，乘以一个可学习的权重矩阵w
attribute
，得到螺栓的属性信息后与带有螺栓特征和螺栓位置信息的queries相结合，公式为：
[0048]fattribute
＝[s
nut
,s
pin
,s
shim
]
ꢀꢀꢀ
(11)
[0049]
f＝f
bolt
+f
attributewattribute
ꢀꢀꢀ
(12)
[0050]
式中，s
nut
、s
pin
和s
shim
分别为螺栓属性分类器分类出的螺母，销子和垫片的分数。f
attribute
为螺栓的分数向量。w
attribute
为可学习的权重矩阵。f
bolt
为queries中带有位置信息的螺栓特征。f为结合螺栓属性信息和带有位置信息的螺栓特征的输出特征。
[0051]
之后进一步将f传入螺栓缺陷分类器中，分类出当前螺栓是否存在缺陷及缺陷类别。其中缺陷类别分为四类情况，分别为螺栓缺失、销子缺失、垫片缺失和正常螺栓四类。
[0052]
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法，包括步骤：构建金具-螺栓数据集，得到不同类型、不同尺度的金具及螺栓图像；选取transformer架构detr作为基础模型，使用 resnet50作为主干网络，同时加入可拓展的编码器模块，在只使用c5层特征的情况下获取目标的多尺度特征以提高目标检测的准确率，同时解决了detr中使用多尺度特征训练速度过慢的问题；除了detr本身的绝对位置编码，在编码器的多头自注意力模块中加入了 irpe相对位置编码以考虑方向、距离以及编码器中自注意力的查询和相对位置编码之间的相互作用，更准确的获取每个元素块的相对位置关系；在检测头之后设计添加了螺栓属性分类器和螺栓缺陷分类器，将具有位置信息的螺栓特征和螺栓的属性信息相结合，进一步提高螺栓缺陷分类的准确率。本发明将detr应用于螺栓缺陷检测，通过结合螺栓的属性和位置有效提高了视觉不可分螺栓缺陷检测的精度，满足了端到端螺栓缺陷检测的需要。
附图说明
[0053]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0054]
图1是本发明实施例一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法的流程图；
[0055]
图2是本发明实施例可拓展的编码器模块的网络结构示意图；
[0056]
图3为本发明实施例整体结构示意图；
[0057]
图4为本发明实施例金具-螺栓目标检测的效果图。
[0058]
图5为本发明实施例螺栓缺陷检测的效果图。
具体实施方式
[0059]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]
本发明的目的是提供一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法，解决输电线路中螺栓目标相对较小难以检测、detr对小尺度目标检测性能较低以及输电线路中螺栓缺陷检测存在的视觉不可分等问题，实现在提高螺栓缺陷检测精度的同时满足工业化需求的目的。
[0061]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0062]
如图1所示，本发明提供的一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法，包含以下步骤：
[0063]
s1，构建金具-螺栓数据集，得到不同类别、不同尺度的金具和螺栓图像；
[0064]
s2，选取transformer模型detr为基础架构，采用resnet50模型作为主干网络；
[0065]
s3，加入可拓展的编码器模块，提高模型对不同尺度的金具和螺栓的适应能力；
[0066]
s4，保留detr中原有的绝对位置编码的同时，在编码器的自注意力机制中加入irpe 相对位置编码，综合考虑方向、位置、编码器中自注意力的查询对相对位置编码的影响，以准确获得特征之间的相对位置关系，进一步提高目标检测和螺栓缺陷识别的准确率。
[0067]
s5，在检测头之后设计了螺栓属性分类器和螺栓缺陷分类器，当模型检测到目标为螺栓时首先分类螺栓的属性，然后将螺栓的属性信息与带有位置信息的螺栓特征相结合进一步判别螺栓缺陷。
[0068]
本发明的基本流程图如图1所示。
[0069]
深度学习模型在训练时需要大量的数据集图像样本作为支撑，由于无人机航拍图像采集到的大多为输电线路全局图像，需要按照模型输入图像尺寸对其进行裁剪。此外，为直观对比改进前后模型对视觉不可分螺栓缺陷检测的精度提升效果，需要进一步对包含螺栓类型的样本进行筛选。因此，所述步骤s1中，构建金具-螺栓数据集，得到不同类别、不同尺度的金具-螺栓图像，具体包括：
[0070]
将航拍图像中输电线路及杆塔中包含金具的区域裁剪下来，进行清洗，选取其中图像清晰、含有金具和螺栓的种类及数目较多的图像。将数据集按照coco数据集格式进行标注，并在此基础上为每个目标螺栓标注出属性和缺陷类别。
[0071]
本方法中，考虑到解决输电线路中螺栓缺陷检测存在的视觉不可分问题，需要将电力领域相关知识引入到深度学习模型中，同时需要对金具和螺栓的目标检测有更高的精度。本方法引入transformer模型detr来提高螺栓缺陷检测器的准确性。其中，在所述步骤s2 中，选取transformer模型detr为基础架构，采用resnet50模型作为主干网络，具体包
括：
[0072]
首先使用resnet50模型作为主干网络提取金具-螺栓图像的特征。然后将图像特征加入绝对位置编码传入detr的编码器，编码器通过多头自注意力机制学习特征间的关系后将优化后的特征传入detr解码器，解码器中初始化100个可学习的queries，首先queries 传入解码器的自注意力模块进行优化，然后将优化后的queries与编码器输出的图像特征相结合传入detr的交叉注意力模块得到带有图像特征的queries，之后通过二部匹配将queries用作目标检测的分类和回归，以得到金具和螺栓的类别信息及边界框位置信息。
[0073]
所述步骤s3中，加入可拓展的编码器模块，提高模型对不同尺度的金具和螺栓的适应能力，具体包括：
[0074]
首先引入可拓展的编码器模块，增强特征提取能力和鲁棒性。由于detr中若使用特征金字塔网络fpn会导致计算量过大，故detr对小目标的检测效果不佳。针对这一问题，通过叠加标准卷积和膨胀卷积来扩大c5层特征的感受野。膨胀卷积的感受野计算公式为：
[0075]
k＝(rate-1)
×
(k-1)+k
ꢀꢀꢀ
(1)
[0076]
式中，k为膨胀卷积感受野，rate为膨胀卷积率，k为卷积核大小。
[0077]
可拓展的编码器模块包含两个部分：投影层和残差块。投影层采用1
×
1的卷积来降低通道维数，然后添加一个3
×
3卷积层来细化上下文的语义信息。之后，残差块通过叠加4 个不同膨胀率的连续膨胀卷积残差块生成包含所有目标尺度的多个感受野的输出特征。
[0078]
最后，将原始尺度范围和放大的尺度范围通过添加相应的特征相结合，得到一个包含多个感受野的输出特征，仅使用c5层特征即可覆盖所有的物体尺度，获取语义信息更丰富的特征图，极大的降低了计算量。
[0079]
本发明中可拓展的编码器模块的网络结构示意图如图2所示。
[0080]
所述步骤s4中，加入二维图像相对位置编码irpe，通过考虑方向、距离以及queries 和相对位置嵌入之间的相互作用，使得模型获取图像中不同目标的相对位置关系，进一步提高目标检测和螺栓缺陷识别的准确率，具体包括：
[0081]
首先，保留detr中原有的绝对位置编码，在图像特征划分为元素块后，为了让模型利用序列的顺序，为每个元素块标记其的位置信息，并添加绝对位置编码p＝(p1,p2,
…
,pn)到嵌入为x的元素块。
[0082]
xi＝xi+piꢀꢀꢀ
(2)
[0083]
式中，xi为第i个元素块，pi使用不同频率的正弦函数的固定编码。
[0084]
其次，针对detr无法充分利用不同输入元素之间成对关系的特点，引入了一种二维图像相对位置编码irpe方法。通过分段索引函数g(x)将元素间的相对距离映射到有限集合中的一个整数，然后相对位置编码可以被该整数索引，并且在不同的位置关系中共享此条件。分段索引函数可以大大减少序列的计算成本和参数数量。分段索引函数的公式为：
[0085][0086]
式中，[
·
]表示整数运算，sign(x)决定x的符号，正输入返回1，负输入返回-1，否则返回0。α为分段点，β控制[-β,β]范围内的输出，γ调整对数部分的曲率。
[0087]
然后为了充分考虑元素之间方向的重要性，将水平和垂直方向的编码分别计算后再相结合，公式为：
[0088][0089]ix
(i,j)＝g(x
i-xj)
ꢀꢀꢀ
(5)
[0090]iy
(i,j)＝g(y
i-yj)
ꢀꢀꢀ
(6)
[0091]
式中，(xi,yi)和(xj,yj)分别为第i个和第j个元素块的位置。i
x
(i,j)和iy(i,j)分别为水平方向和垂直方向上经g(x)索引后的整数。和分别为水平方向和垂直方向的相对位置编码，是可学习的向量。r
ij
为结合后的相对位置编码。
[0092]
最后将r
ij
引入detr编码器的自注意力模块中以帮助模型获取图像中不同目标的相对位置关系，进一步提高目标检测和螺栓缺陷识别的准确率，公式为：
[0093][0094][0095][0096][0097]
式中，wq、wk和wv均为可学习的参数矩阵。r
ijt
为相对位置编码的转置矩阵。b
ij
为和编码器中的查询结合后的相对位置编码。dz是q和k的维度，此处相当于归一化的作用。 e
ij
为编码器中的查询对键值的注意力数值。为e
ij
经softmax操作后的输出。zi为第i个元素经自注意力模块后的输出。
[0098]
所述步骤s5中，设计了螺栓属性分类器和螺栓缺陷分类器，当模型检测到目标为螺栓时首先分类螺栓的属性，然后将螺栓的属性信息与带有位置信息的螺栓特征相结合进一步判别螺栓缺陷，具体包括：
[0099]
首先，由detr解码器输出优化后的带有图像特征的100个queries，其中每个queries 即包含每个目标的特征和位置信息。之后detr的目标检测头将queries用作分类和边界框回归，得到金具-螺栓图像的类别信息和边界框位置信息。
[0100]
然后，模型判别当前图像中是否包含螺栓这一类别，若包含螺栓则获取其对应的 queries并将此queries用作螺栓属性的分类。螺栓属性分类器和螺栓缺陷分类器均由mlp 组成，将带有螺栓特征的queries传入螺栓属性分类器，可得到螺栓各类属性的分数。此处螺栓属性分别为螺母、销子和垫片三类。
[0101]
最后将得到的螺栓属性的分数作为向量f
attribute
，乘以一个可学习的权重矩阵w
attribute
，得到螺栓的属性信息后与带有螺栓特征和螺栓位置信息的queries相结合，公式为：
[0102]fattribute
＝[s
nut
,s
pin
,s
shim
]
ꢀꢀꢀ
(11)
[0103]
f＝f
bolt
+f
attributewattribute
ꢀꢀꢀ
(12)
[0104]
式中，s
nut
、s
pin
和s
shim
分别为螺栓属性分类器分类出的螺母，销子和垫片的分数。f
attribute
为螺栓的分数向量。w
attribute
为可学习的权重矩阵。f
bolt
为queries中带有位置信息的螺栓特征。f为结合螺栓属性信息和带有位置信息的螺栓特征的输出特征。
[0105]
之后进一步将f传入螺栓缺陷分类器中，分类出当前螺栓是否存在缺陷及缺陷类别。其中缺陷类别分为四类情况，分别为螺栓缺失、销子缺失、垫片缺失和正常螺栓四类。
[0106]
本发明将上述步骤s3、s4和s5所提两种改进方法融入到步骤s2中所提基础网络中，最终形成完整的一种基于螺栓属性和位置的视觉不可分螺栓缺陷检测方法。网络结构如图 3所示。
[0107]
本发明方法的金具和螺栓的目标检测效果如图4所示。
[0108]
本发明方法的螺栓缺陷检测效果如图5所示。本发明在detr模型的基础上，采用 resnet50作为主干网络，同时加入可拓展的编码器模块，在只使用c5层特征的情况下获取目标的多尺度特征以提高目标检测的准确率，同时解决了detr中使用多尺度特征训练速度过慢的问题；本发明保留detr本身的绝对位置编码之外，在编码器的多头自注意力模块中加入了irpe相对位置编码以考虑方向、距离以及编码器中自注意力的查询和相对位置编码之间的相互作用，更准确的获取每个元素块的相对位置关系；本发明在检测头之后设计添加了螺栓属性分类器和螺栓缺陷分类器，将具有位置信息的螺栓特征和螺栓的属性信息相结合，进一步提高螺栓缺陷分类的准确率。可见，本发明所述的方法在保证小尺度螺栓目标检测的同时有效的解决了输电线路中螺栓缺陷检测存在的视觉不可分问题，满足了实际工业的需求。
[0109]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。