一种高精度输电线路缺陷识别方法

1.本发明属于输电线路巡检技术领域，具体涉及一种高精度输电线路缺陷识别方法。


背景技术：

2.随着数码摄像和计算机视觉技术的快速发展和广泛应用，采用无人机等搭载摄像机等手段实现高效、快速的输电线路巡检得到了迅速的推广。国家电网2015年出台了“人巡+机巡”运维模式工作指导意见，逐步推进多元化、多手段的输电线路精细化巡检方式。各地电网也在大力开展输电无人机巡检作业，进行作业的数量和频次也在逐年加大，每年开展的机巡作业中都会产生大量的机巡影像，这为智能化巡检提供了数据基础。能否在后台通过高精度的目标检测技术对前端无人机拍摄的机巡影像进行处理是智能巡检的关键所在。


技术实现要素：

3.本发明的目的是提供一种高精度输电线路缺陷识别方法，对目标采用改进的retinanet算法进行输电线路缺陷识别，能够提高识别精度。
4.本发明所采用的技术方案是，一种高精度输电线路缺陷识别方法，具体按照以下步骤实施：
5.步骤1、建立输电线路缺陷数据集，对数据集进行标记获得真实边界框，将数据集分为训练集和测试集；
6.步骤2、设计基于原始retinanet算法的锚点框；
7.步骤3、采用新的骨干神经网络densenet作为改进retinanet的特征提取网络；
8.步骤4、将锚点框和改进retinanet的特征提取网络嵌入原始retinanet 算法，获得改进的retinanet算法模型；
9.步骤5、将训练集输入基于改进的retinanet算法模型，对改进的 retinanet算法进行训练，获得优化retinanet算法模型；
10.步骤6、用优化retinanet算法模型对输电线路缺陷进行识别。
11.步骤1具体过程为：
12.步骤1.1、针对输电线路缺陷收集了5847张无人机拍摄的高分辨率的输电线路缺陷图像，针对不同的缺陷类型将缺陷分为杆塔缺陷、金具缺陷、绝缘子缺陷以及导地线缺陷；
13.步骤1.2、按照pascal voc的标记格式对存在缺陷的图像进行标注，生成xml文件，xml文件中包括了标记框的坐标、缺陷的种类；
14.步骤1.3、对数据集进行标记获得真实边界框，将数据集分为训练集和测试集。
15.步骤2具体过程为：
16.步骤2.1、将rpn网络嵌入fpn中，每个特征层级按照不同的尺寸和步长生成锚点，根据每一个锚点获得k个不同尺寸和大小的初始锚点框；
17.步骤2.2、对k在1～15之间进行测试，根据平均iou与k值的关系曲线，确定最佳k值，并进行k
‑
means++聚类得到每个锚点的锚点框尺寸；
18.步骤2.3、针对每个锚点的所有锚点框，设置一个锚点框预过滤阶段，对每个锚点的所有锚点框的质量进行综合评估获得综合得分，最后将得分小于0.2的高质量锚点框进行过滤，获得基于原始retinanet算法的锚点框。
19.步骤2.2具体过程为：
20.计算步骤1得到的多个真实边界框之间的交并比的平均值作为平均iou；
21.作k与平均iou的二维坐标曲线图k
‑
平均iou，确定斜率小于0.02的横坐标最近的整数作为最佳k值；
22.通过每个锚点的真实边界框之间的交并比iou计算距离函数的参数，即：
23.d
ij
＝1
‑
iou
ij
24.其中，iou
ij
为真实边界框i和真实边界框j之间的iou值；
25.根据距离函数进行k
‑
means++聚类得到每个锚点的锚点框尺寸。
26.步骤2.3综合评估方法为：计算每个锚点的所有锚点框与真实边界框的交并比iou，将所有锚点的交并比iou排列形成iou矩阵，设定iou阈值范围，判断锚点框与真实边界框的交并比iou是否在iou阈值范围内，若交并比iou在该阈值范围内，将该锚点的锚点框类别设置为相应的真实边界框的类别，并根据锚点框和相应真实边界框的中心坐标相对位置以及相对大小作为该锚点的锚点框标注偏移量；若交并比iou不在该阈值范围内，该锚点的锚点框类别设为背景，即该锚点的锚点框得分为0；将锚点的交并比iou和偏移量添加权重作为该锚点锚点框的综合得分。
27.步骤3具体过程为：
28.步骤3.1、在densenet结构上构建fpn，densenet中的输入输出关系表示为：
29.x
l
＝h
l
([x0,x1,...,x
l
‑1])
[0030]
其中，[x0,x1,...,x
l
‑1]表示之前层特征图的拼接，h
l
为三个连续操作的复合函数，包括bn、relu、3
×
3卷积；
[0031]
在自底向上的路径上，特征图取自每个dense块的输出特征图；
[0032]
在自顶向下的路径上，以因子2进行上采样操作，然后进行侧向连接构成特征金字塔网络；
[0033]
步骤3.2、将全连接层去掉，连接retinanet的两个子网络，作为分类器和回归器，获得新的骨干神经网络densenet。
[0034]
本发明的有益效果是：
[0035]
本发明一种高精度输电线路缺陷识别方法，针对输电线路缺陷识别需求，对目标检测算法retinanet进行实用性改进，得到一个适用于输电线路的高精度缺陷识别模型，改进后的retinanet相比于原算法在识别效果上得到了提升，在输电线路缺陷检测上表现出良好的优越性、有效性，在精度上满足智能化巡检要求。
附图说明
[0036]
图1是原始retinanet模型框架结构图；
[0037]
图2是本发明一种高精度输电线路缺陷识别方法流程图；
[0038]
图3是本发明中平均iou与k值的关系曲线示意图；
[0039]
图4为本发明中densenet结构图；
[0040]
图5为本发明方法对杆塔缺陷检测结果示意图；
[0041]
图6为本发明方法对金具缺陷检测结果示意图；
[0042]
图7为本发明方法对绝缘子缺陷检测结果示意图；
[0043]
图8为本发明方法对导地线缺陷检测结果示意图；
[0044]
图9是不同算法杆塔缺陷p
‑
r曲线图；
[0045]
图10是不同算法金具缺陷p
‑
r曲线图；
[0046]
图11是不同算法绝缘子缺陷p
‑
r曲线图。
具体实施方式
[0047]
下面结合附图及具体实施方式对本发明进行详细说明。
[0048]
首先搭建原始retinanet模型框架，如图1所示。针对原始retinanet 在锚点框生成机制的不足，结合yolov3算法和retinanet本身的锚点框生成机制并结合k
‑
means++算法对锚点框的尺寸进行设计以获得高质量的锚点框，以此来提高目标检测算法的精度。
[0049]
本发明一种高精度输电线路缺陷识别方法，如图2所示，具体按照以下步骤实施：
[0050]
步骤1、建立输电线路缺陷数据集，对数据集进行标记获得真实边界框，将数据集分为训练集和测试集；具体过程为：
[0051]
针对输电线路缺陷收集了5847张无人机拍摄的高分辨率的输电线路缺陷图像，针对不同的缺陷类型将缺陷分为杆塔缺陷、金具缺陷、绝缘子缺陷以及导地线缺陷；
[0052]
针对输电线路缺陷收集了5847张无人机拍摄的高分辨率的输电线路缺陷图像，针对不同的缺陷类型将缺陷分为杆塔缺陷、金具缺陷、绝缘子缺陷以及导地线缺陷；其中杆塔缺陷2299张，金具缺陷1777张，绝缘子缺陷1179 张，导地线缺陷572张。
[0053]
按照pascal voc的标记格式对存在缺陷的图像进行标注，生成xml 文件，xml文件中包括了标记框的坐标、缺陷的种类。对数据集进行标记获得真实边界框，将构建好的输电线路缺陷数据集划分为训练集和测试集，其中5242张图像划分为训练集，605张图像划分为测试集。
[0054]
步骤2、设计基于原始retinanet算法的锚点框；具体过程为：
[0055]
将rpn网络嵌入fpn中，每个特征层级按照不同的尺寸和步长生成锚点，根据每一个锚点获得k个不同尺寸和大小的初始锚点框；
[0056]
对k在1～15之间进行测试，根据平均iou与k值的关系曲线，如图3 所示，确定最佳k值，并进行k
‑
means++聚类得到每个锚点的锚点框尺寸；具体过程为：
[0057]
计算步骤1得到的多个真实边界框之间的交并比的平均值作为平均iou；作k与平均iou的二维坐标曲线图k
‑
平均iou，根据图3可知，当k大于 12时，平均iou的增加非常微弱，但是会增加大量的高质量锚点框从而影响算法的运行速度，因此选择k＝12作为每个锚点生成高质量锚点框的数量，确定效率小于0.02的横坐标最近的整数作为最佳k值；
[0058]
通过每个锚点的真实边界框之间的交并比iou计算距离函数的参数，即：
[0059]
d
ij
＝1
‑
iou
ij
[0060]
其中，iou
ij
为真实边界框i和真实边界框j之间的iou值；
[0061]
根据距离函数，将k＝12时通过k
‑
means++得到的结果作为每个锚点生成的锚点框尺寸，即：{15，12；55，35；62，327；96，70；142，119；171， 662；220，161；287，257；295，70；516，358；505，179；989，467}，此时算法会生成大约9500个锚点框。
[0062]
针对每个锚点的所有锚点框，设置一个锚点框预过滤阶段，对每个锚点的所有锚点框的质量进行综合评估获得综合得分，综合评估方法为：计算每个锚点的所有锚点框与真实边界框的交并比iou，将所有锚点的交并比iou 排列形成iou矩阵，设定iou阈值范围，判断锚点框与真实边界框的交并比 iou是否在iou阈值范围内，若交并比iou在该阈值范围内，将该锚点的锚点框类别设置为相应的真实边界框的类别，并根据锚点框和相应真实边界框的中心坐标相对位置以及相对大小作为该锚点的锚点框标注偏移量；若交并比iou不在该阈值范围内，该锚点的锚点框类别设为背景，即该锚点的锚点框得分为0；将锚点的交并比iou和偏移量添加权重作为该锚点锚点框的综合得分，最后将得分小于0.2的高质量锚点框进行过滤，获得基于原始 retinanet算法的锚点框。
[0063]
步骤3、采用新的骨干神经网络densenet取代默认的残差网络构建fpn 作为改进retinanet的特征提取网络，在网络结构上进行改变来提高算法的识别精度和速度，densenet结构如图4所示；步骤3具体过程为：
[0064]
步骤3.1、在densenet结构上构建fpn，densenet中的输入输出关系表示为：
[0065]
x
l
＝h
l
([x0,x1,...,x
l
‑1])
[0066]
其中，[x0,x1,...,x
l
‑1]表示之前层特征图的拼接，h
l
为三个连续操作的复合函数，包括bn、relu、3
×
3卷积；
[0067]
在自底向上的路径上，特征图取自每个dense块的输出特征图；
[0068]
在自顶向下的路径上，以因子2进行上采样操作，然后进行侧向连接构成特征金字塔网络；
[0069]
步骤3.2、将全连接层去掉，连接retinanet的两个子网络，作为分类器和回归器，获得新的骨干神经网络densenet。
[0070]
步骤4、将锚点框和改进retinanet的特征提取网络嵌入原始retinanet 算法，获得改进的retinanet算法模型；
[0071]
步骤5、将训练集输入基于改进的retinanet算法模型，对改进的 retinanet算法进行训练，获得优化retinanet算法模型；
[0072]
步骤6、用优化retinanet算法模型对输电线路缺陷进行识别，输出识别结果为：含有缺陷的目标预测框、缺陷类型和置信度；如图5、图6、图7、图8所示。
[0073]
实施例
[0074]
为了对改进的retinanet算法进行综合评价，此处对faster rcnn、yolov3进行训练及测试作为实验对比。
[0075]
分别对faster rcnn、yolov3、基于densenet121的改进retinanet在测试集上进行实验，结果如表1。
[0076]
表1
[0077][0078]
从上表中可以看出，在不同模型的map的比较上，改进retinanet>fasterrcnn>yolov3。基于densenet121的改进retinanet的map值略高于fasterrcnn，高了2.56个百分点；而基于densenet121的改进retinanet的map 值大幅度高于yolov3，高了15.95个百分点。在算法参数方面，基于 densenet121的改进retinanet只有17.3m个参数，相对于有39.1m和82.4m 个参数的yolov3以及faster rcnn体现出了更加轻量级的效果。在速度方面，由于yolov3算法的计算方式以及少量的锚点框提取数，yolov3的速度明显快于retinanet以及faster rcnn，能够达到30fps；相对而言faster rcnn只有4fps；而retinanet在保证高识别度的情况下达到了11fps，基本上满足了实时识别的要求。
[0079]
分别采用faster rcnn、yolov3、基于densenet121的改进retinanet 算法检测杆塔缺陷、金具缺陷、绝缘子缺陷并绘制p
‑
r曲线图，如图9、图 10、图11所示。
[0080]
从图中可以看出，对于杆塔缺陷，yolov3的准确率和召回率均低于 faster rcnn和基于densenet121的改进retinanet，而基于densenet121的改进retinanet在低置信度阈值时可以保证更高的召回率，即保证更低的漏检率，这对于缺陷检测至关重要；对于金具缺陷，可以发现在高置信度阈值时三种算法效果相仿，但yolov3和faster rcnn对于任何置信度阈值都无法保证高召回率，即会出现较多的漏检情况，而基于densenet121的改进 retinanet能保证更低的漏检率；对于绝缘子缺陷，faster rcnn能够在高置信度阈值时保证最高的准确率，但在低置信度阈值时基于densenet121的改进retinanet能达到更高的召回率；对于导地线缺陷，发现三种算法有一个交汇点，在交会点之前faster rcnn有很高的准确率，此时三种算法的召回率均很低，在交汇点之后faster rcnn无法提高召回率，即fatser rcnn对于困难样本识别能力不佳，而基于densenet121的改进retinanet可以通过调低置信度阈值识别大部分到底线缺陷。从上述分析，可以发现，faster rcnn可以保证高置信度阈值时的高准确率，但很容易出现漏检测的情况，而基于densenet121的改进retinanet的检测准确率稍差于faster rcnn，但是能够识别绝大部分故障，包括难以识别
的困难样本，从电力系统的关注点来看，更希望能检测出所有的缺陷，因此从这个角度来看基于densenet121 的改进retinanet更适用于输电线路检测。
[0081]
通过上述方式，本发明一种高精度输电线路缺陷识别方法，适用于输电线路检测的目标检测算法，在输电线路缺陷识别上具有良好的实用性与优越性在精度上满足智能化巡检要求。