基于无人机巡检的电力设备螺栓检测方法及系统与流程

1.本发明涉及电力线路巡检技术领域，尤其涉及一种基于无人机巡检的电力设备螺栓检测方法及系统。


背景技术：

2.在输电线路中，螺栓起着连接和固定的重要作用。由于暴露在室外，长期受到强风、暴雨、雷电、灰尘等恶劣环境带来的危害和干扰，容易出现螺栓缺失，造成安全隐患，对输电线路造成严重危害。因此，需要定期对螺栓进行巡检。传统方法是人工巡检，即巡检人员沿着输电线路，逐塔检查。由于输电线路地形复杂、气候恶劣，大部分的线路地段森林覆盖率高，人工巡检劳动强度大，效率低，存在安全隐患。此外，受到空间位置和探测仪器的限制，短时间内很难实现线路巡检全覆盖，巡检质量和精度低。
3.随着无人机技术的发展，利用无人机灵活快捷、效率高的特点，实现近距离快速获取大量的、不同拍摄角度的螺栓清晰影像，大幅度提高了巡检效率，降低室外的劳动强度，避免人工巡检带来的安全隐患，安全性更好。然而，人工逐影像检查，仍存在劳动强度大、效率低等问题。
4.现有技术中，对影像数据进一步处理的过程主要分为两类方法，一类是利用传统的图像处理算法找到图像上的缺失螺栓；另一类则是使用深度学习的方法，通过训练网络，实现螺栓的自动定位。对于深度学习目标检测网络的方法，需要大量的训练样本。实际中，螺栓缺失样本缺乏，而且，缺失螺栓孔的背景复杂，直接进行深度学习网络训练无法收敛。同时，使用传统的图像处理算法定位螺栓缺失位置，存在人工特征设计复杂度高、通用性性差等问题。


技术实现要素：

5.本发明提供了一种基于无人机巡检的电力设备螺栓检测方法及系统，用以解决或者至少部分解决现有技术中对缺陷样本过于依赖、检测效果不佳的技术问题。
6.为了解决上述技术问题，本发明第一方面提供了基于无人机巡检的电力设备螺栓检测方法，包括：
7.将正常螺栓构建螺栓数据集，使用目标检测网络对螺栓数据库中的正常螺栓进行检测，得到螺栓检测结果，其中，螺栓检测结果包括检测框的位置信息、置信度和类别；
8.根据螺栓在电力设备中的分布情况，构建底板部件模版数据库，其中，底板部件模版数据库中包含不同类型的部件模版图；
9.判断螺栓检测结果图片与底板部件模版数据库中的部件模板图是否匹配，如果匹配成功，则将螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐；
10.计算部件模板图中螺栓部件真实框和检测框的交并比，如果交并比高于阈值，则表明为正常螺栓的位置，否则为缺失螺栓的位置。
11.在一种实施方式中，使用的目标检测网络为yolov5。
12.在一种实施方式中，判断螺栓检测结果图片与底板部件模版数据库中的部件模板图是否匹配，包括：
13.分别从螺栓检测结果图片和部件模版图中提取出外轮廓的归一化多阶矩形状特征，并构建具有形状描述的特征向量；
14.基于wasserstein距离求解两个特征向量之间的分布差异；
15.根据分布差异是否在阈值允许的范围内，判断是否匹配成功。
16.在一种实施方式中，螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐，包括：
17.查找螺栓检测结果图片中的底板边缘轮廓与对应的部件模板图对应的特征角点；
18.根据对应的特征角点，确定检测结果图片与部件模板图中底板边缘轮廓的位置关系，并根据位置关系将螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐。
19.基于同样的发明构思，本发明第二方面提供了基于无人机巡检的电力设备螺栓检测系统，包括：
20.正常螺栓检测模块，用于将正常螺栓构建螺栓数据集，使用目标检测网络对螺栓数据库中的正常螺栓进行检测，得到螺栓检测结果，其中，螺栓检测结果包括检测框的位置信息、置信度和类别；
21.底板部件模版数据库构建模块，用于根据螺栓在电力设备中的分布情况，构建底板部件模版数据库，其中，底板部件模版数据库中包含不同类型的部件模版图；
22.模板匹配模块，用于判断螺栓检测结果图片与底板部件模版数据库中的部件模板图是否匹配，如果匹配成功，则将螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐；
23.螺栓检测模块，用于计算部件模板图中螺栓部件真实框和检测框的交并比，如果交并比高于阈值，则表明为正常螺栓的位置，否则为缺失螺栓的位置。
24.基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
25.基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
26.相对于现有技术，本发明的优点和有益的技术效果如下：
27.本技术提供的一种基于无人机巡检的电力设备螺栓检测方法，将正常螺栓构建螺栓数据集，使用目标检测网络对螺栓数据库中的正常螺栓进行检测，得到螺栓检测结果，由于使用的是由正常螺栓构建的螺栓数据集，因此对缺陷样本依赖性很小。根据螺栓在电力设备中的分布情况，构建了底板部件模版数据库，其中，底板部件模版数据库中包含不同类型的部件模版图；充分利用了螺栓在电塔部件上分布的规律性，在不同的拍照角度、光照条件下，都能自适应得到整个部件的模版信息，从而利用正常螺栓实现了间接定位存在缺失的螺栓的效果。
28.进一步地，目标检测网络为yolov5，yolov5网络在模型的快速部署上具有极强优势，并且在检测螺栓这类小目标时具有更好的性能，准确率更高，运行速度更快，检测结果也更干净，几乎没有重叠的边框。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明实施例提供的基于无人机巡检的电力设备螺栓检测方法的流程图；
31.图2是本发明实施例提供的方法中目标检测模块涉及的yolov5网络的原理图；
32.图3是本发明实施例提供的方法中底板部件模板匹配及判断缺陷的流程。
33.图4为本发明实施例提供的计算机可读存储介质的结构示意图；
34.图5为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
35.本发明提出了一种基于无人机巡检的电力设备螺栓检测方法，用于对缺失螺栓的位置进行检测，从而实现对电力设备螺母的完整性检测，该方法采用yolov5目标检测和模版驱动相结合的方法进行的螺栓定位和缺失检测，使用yolov5目标检测网络定位正常螺栓的位置得到检测框，然后与底板部件模版数据库中部件模版图进行匹配，进而得到缺失螺栓信息。该方法仅使用正常的螺栓即可以完成检测，不需要依赖缺陷样本，并且利用正常螺栓的检测结果图片与模板数据库的匹配，实现了间接定位存在缺失的螺栓的效果。
36.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.实施例一
38.本发明实施例提供了基于无人机巡检的电力设备螺栓检测方法，包括：
39.将正常螺栓构建螺栓数据集，使用目标检测网络对螺栓数据库中的正常螺栓进行检测，得到螺栓检测结果，其中，螺栓检测结果包括检测框的位置信息、置信度和类别；
40.根据螺栓在电力设备中的分布情况，构建底板部件模版数据库，其中，底板部件模版数据库中包含不同类型的部件模版图；
41.判断螺栓检测结果图片与底板部件模版数据库中的部件模板图是否匹配，如果匹配成功，则将螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐；
42.计算部件模板图中螺栓部件真实框和检测框的交并比，如果交并比高于阈值，则表明为正常螺栓的位置，否则为缺失螺栓的位置。
43.请参见图1，是本发明实施例提供的基于无人机巡检的电力设备螺栓检测方法的流程图。
44.具体来说，使用目标检测网络对螺栓数据库中的正常螺栓进行检测，检测定位出正常螺栓的位置，可以得到包围住正常螺栓的紧致检测框(包含检测框的位置信息、置信度和类别)，此外，可以在检测结果图片上将检测框清晰直观地进行可视化，减少螺栓复杂背景的影响，提高了信噪比。
45.由于螺栓在电塔部件上的分布具有规律性，电塔螺栓底板部件的类型一般只有有
限的几种，同一种底板部件类型模板上螺栓的数量与位置是相同的，因此，通过分析螺栓在电力设备中的分布情况，整理出现有的有限种类的底板部件类型图片，建底板部件模版数据库。
46.接下来将检测结果图片与底板部件模版数据库中的部件模板图进行匹配，在数据中找出与检测结果图片相匹配的图片，再对检测结果图片进行调整。
47.最后根据部件模板图中螺栓部件真实框和检测框的交并比，来判断为正常的螺栓位置还是缺失的螺栓的位置，其中，正常的螺栓位置表示该位置的螺栓的安装是正常的，没有缺失，缺失的螺栓的位置，表示该位置的螺栓的安装是异常的，存在缺失。
48.在一种实施方式中，使用的目标检测网络为yolov5。
49.具体地，请参见图2，是yolov5网络模型结构，yolov5网络由四个主要部分组成：输入端、主干网络、特征融合模块以及输出端。首先输入端(input)对输入的图像随机裁剪、缩放、拼接操作，找到最合适的自适应锚框计算，提高螺栓小目标缺陷的定位准确性；然后主干网络(backbone)在不同图像细粒度上聚合，提取三种尺度的特征图；其次特征融合模块(neck)通过增加了空间金字塔池化结构(spatial pyramid pooling，spp)，使用3组多尺度最大池化层扩大特征图的感受野，采用上采样(upsample)得到的高、低特征层拼接实现特征融合得到新的特征图，以便改善低层特征地传播，而后通过路径融合网络(path aggregation network，pan)自下而上由弱到强传递特征，使得特征层实现更多的特征融合，两者结合操作，加强网络特征融合的能力；最后输出端(output)是网络的预测部分，通过非极大值抑制(non-maximum supression，nms)来筛选目标框，对图像特征进行预测，生成边界框并预测类别。使用yolov5网络进行检测运行速度快，准确率高。
50.在一种实施方式中，判断螺栓检测结果图片与底板部件模版数据库中的部件模板图是否匹配，包括：
51.分别从螺栓检测结果图片和部件模版图中提取出外轮廓的归一化多阶矩形状特征，并构建具有形状描述的特征向量；
52.基于wasserstein距离求解两个特征向量之间的分布差异；
53.根据分布差异是否在阈值允许的范围内，判断是否匹配成功。
54.具体来说，该步骤主要是进行螺栓底板部件的形状特征匹配。
55.具体提出了一种高维多阶矩特征归一化表达的形状特征匹配算法，通过提取两种图片中螺栓底板部件外轮廓的归一化多阶矩形状特征，建立其形状描述，分别描述检测结果图片和部件模版图的螺栓底板部件的特征向量，基于wasserstein距离求解两个特征向量之间的分布差异，若差异在阈值允许的范围内，则匹配完成。该影像匹配算法精度高，具有较强的鲁棒性。
56.具体地，对螺栓检测结果和部件模版分别进行区域形状描述，描述结果分别为f1和fm两个特征向量。实现区域特征匹配的关键在于求解特征向量之间的分布差异，本方法基于wasserstein距离实现向量分布差异的求解。
57.wasserstein距离用于衡量两个分布之间的距离，定义如下：
[0058][0059]
其中π(f1，fm)是f1和fm分布组合得到的所有可能的联合分布集合。对于每一个可能的联合分布γ，可以从中采样(x，y)～γ得到一个样本x和y，计算这对样本的距离||x-y|
|，所以可以计算该联合分布γ下，样本对距离的期望值。在所有可能的联合分布中能够对这个期望值取到的下界就是wasserstein距离，即在最优路径规划下的最小消耗，此时w(f1，fm)记为σ(f1，fm)，代表两个特征向量间的差异。若差异满足下述条件时，则表示分割结果的影像(检测结果图片)和底部模版图片匹配成功：
[0060]
σ(f1，fm)＜δ
ꢀꢀꢀ
(2)
[0061]
其中δ为设定的阈值参数，体现出对区域有一定的容错能力。
[0062]
在一种实施方式中，螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐，包括：
[0063]
查找螺栓检测结果图片中的底板边缘轮廓与对应的部件模板图对应的特征角点；
[0064]
根据对应的特征角点，确定检测结果图片与部件模板图中底板边缘轮廓的位置关系，并根据位置关系将螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐。
[0065]
具体来说，模板匹配成功后，找到检测结果图片中底板边缘轮廓与对应模板的特征角点(如转角点及其位置关系)，确定两副图片中底板边缘轮廓的位置关系。将检测图片中的底板部件旋转摆正，和模板对齐保证二者大致重合。
[0066]
请参见图3是本发明实施例提供的方法中底板部件模板匹配及判断缺陷的流程。
[0067]
在匹配成功后，通过计算模板中螺栓部件真实框和检测框的iou，若高于阈值，则代表为正常螺栓的位置，若计算值低于阈值，则代表缺失螺栓的位置。由此检测出缺失螺栓的位置。
[0068]
本发明提出的方法的有益效果包括：
[0069]
①
对缺陷样本依赖性很小，主要基于大量的正常螺栓样本数据进行推测。
[0070]
②
充分利用螺栓在电塔部件上分布的规律性，在不同的拍照角度、光照条件下，都能自适应得到整个部件的模版信息，从而利用正常螺栓实现了间接定位存在缺失的螺栓的效果。
[0071]
③
yolov5网络在模型的快速部署上具有极强优势，并且在检测螺栓这类小目标时具有更好的性能，准确率更高，运行速度更快，检测结果也更干净，几乎没有重叠的边框。
[0072]
实施例二
[0073]
基于同样的发明构思，本实施例提供了基于无人机巡检的电力设备螺栓检测系统，包括：
[0074]
正常螺栓检测模块，用于将正常螺栓构建螺栓数据集，使用目标检测网络对螺栓数据库中的正常螺栓进行检测，得到螺栓检测结果，其中，螺栓检测结果包括检测框的位置信息、置信度和类别；
[0075]
底板部件模版数据库构建模块，用于根据螺栓在电力设备中的分布情况，构建底板部件模版数据库，其中，底板部件模版数据库中包含不同类型的部件模版图；
[0076]
模板匹配模块，用于判断螺栓检测结果图片与底板部件模版数据库中的部件模板图是否匹配，如果匹配成功，则将螺栓检测结果图片中的螺栓底板旋转摆正并与部件模板图对齐；
[0077]
螺栓检测模块，用于计算部件模板图中螺栓部件真实框和检测框的交并比，如果交并比高于阈值，则表明为正常螺栓的位置，否则为缺失螺栓的位置。
[0078]
由于本发明实施例二所介绍的系统为实施本发明实施例一中基于无人机巡检的
电力设备螺栓检测方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的系统都属于本发明所欲保护的范围。
[0079]
实施例三
[0080]
基于同一发明构思，请参见图4，本发明还提供了一种计算机可读存储介质300，其上存储有计算机程序311，该程序被执行时实现如实施例一中所述的方法。
[0081]
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于无人机巡检的电力设备螺栓检测方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
[0082]
实施例四
[0083]
基于同一发明构思，本技术还提供了一种计算机设备，如图5所示，包括存储器401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403，处理器执行上述程序时实现实施例一中的方法。
[0084]
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于无人机巡检的电力设备螺栓检测方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
[0085]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0086]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0087]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0088]
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。