一种基于深度学习的输电线路绝缘子缺陷检测方法与流程

本申请涉及人工智能图像目标检测与状态识别技术领域，尤其涉及一种基于深度学习的输电线路绝缘子缺陷检测方法。

背景技术：

输电线路作为电力网络中的重要组成部分，其安全稳定运行直接决定了整个电力系统的安全稳定性。实际输电线路距离跨度大、错综复杂，受自然的地理环境和气候条件的影响，长期暴露在外，极易出现输电线路设备老化、故障等问题。同时，输电线路高空架设易受到机械负荷产生的内部压力，增加了线路部件老化、损坏的几率，难以保证电力网络的安全稳定运行，给大电网造成隐患、甚至导致网络故障，造成较大的经济损失，因此需要定期对电力网络输电线路进行故障巡检。而绝缘子作为输电线路中的重要部件，数量庞大、起着机械支撑和绝缘的作用，受气候、温度等自然因素的影响易出现掉片等破损现象，很容易使输电线路的供电中断，严重时将会导致各个区域的电网故障，影响了居民用户的安全稳定用电，造成巨大的经济损失，威胁了电网的安全稳定运行，需要及时进行输电线路故障巡检。

目前采用无人机进行输电线路巡检已成为输电线路巡检中的重要手段，绝缘子自爆后缺失、绝缘子部分缺失存在缺陷是高压输电线路中常见的缺陷。目前绝缘子缺陷检测的常用方法是利用无人机航拍绝缘子，然后对影像做进一步分析处理。绝缘子影像处理方法可以分为两类，均是针对单绝缘子图进行单缺陷如自爆缺陷的检测：一类是传统图像处理方法，先通过空间转换、阈值分割和形态学滤波等方法提取绝缘子串，但应对绝缘子背景复杂、摄像机动态变化、自爆缺陷信噪比低等挑战时这些方法鲁棒性较差，不能适用于各种情况下的绝缘子提取，因此后续的自爆缺陷检测更难以为继。另一种方法是基于深度学习的方法，在利用深度学习目标识别算法检测绝缘子及其缺陷方面，通过卷积神经网络相关算法定位识别绝缘子，然后结合显著性检测、超像素分割等图像处理方法对绝缘子进行数学建模并识别缺陷。

技术实现要素：

为了解决上述问题，本申请提供一种基于深度学习的输电线路绝缘子缺陷检测方法，以解决现有技术只能针对单绝缘子图进行单缺陷检测的问题。能高效准确地从无人机的巡检视频中识别和追踪各帧图像中的多绝缘子，并检测出各绝缘子片的状态，具有良好的鲁棒性。

为了实现上述目的，本申请通过以下技术方案实现：

一种基于深度学习的输电线路绝缘子缺陷检测方法，所述方法包括：

采集巡检视频，将巡检视频拆分为单帧图像；利用预设的标注工具，标注单帧图像中的绝缘子信息并保存，得到样本数据；

对样本数据进行预处理及数据增强，得到预处理数据，将预处理数据划分为预处理数据训练集、预处理数据验证集和预处理数据测试集；

利用预处理数据训练集对预设的绝缘子目标检测及跟踪网络进行迭代训练，并利用预处理数据验证集，验证迭代训练的每代结果，得到绝缘子权重数据；

利用绝缘子目标检测及跟踪网络和绝缘子权重数据测试预处理数据测试集，得到绝缘子检测结果；

利用预设的标注工具，标注绝缘子检测结果中绝缘子片坐标及绝缘子片状态并保存，得到绝缘子片数据；将绝缘子片数据划分为绝缘子片训练集、绝缘子片验证集和绝缘子片测试集；

利用绝缘子片训练集对预设的绝缘子片目标检测及状态检测网络进行迭代训练，并利用绝缘子片验证集，验证迭代训练的每代结果，得到绝缘子片权重数据；

利用绝缘子片目标检测及状态检测网络和绝缘子片权重数据测试绝缘子片测试集，得到绝缘子片检测结果；

融合绝缘子检测结果和绝缘子片检测结果，得到最终结果，并将最终结果与巡检视频进行匹配，输出异常位置。

可选的，所述标注工具为ailabelimage标注工具。

可选的，所述对样本数据进行预处理及数据增强的方法包括：

改变样本数据的色域至预设的色域，对样本数据进行光照畸变，按任意比例缩放样本数据，将样本数据进行随机的左右或上下翻转，以及对样本数据进行马赛克数据增强。

可选的，搭建所述绝缘子目标检测及跟踪网络的方法包括：

基于目标检测算法，融入通道注意机制，并融合预设的深度排序算法，得到绝缘子目标检测及跟踪网络。

可选的，所述深度排序算法是基于交并比进行匈牙利匹配的跟踪算法，改进排序算法得到的。

可选的，搭建所述绝缘子片目标检测及状态检测网络的方法包括：

基于目标检测算法，引入通道注意机制，并融合残差神经网络，得到绝缘子片目标检测及状态检测网络。

可选的，所述绝缘子信息包括：绝缘子类别和绝缘子坐标。

可选的，所述绝缘子片状态包括：完美、存在破损和丢失。

由以上技术方案可知，本申请提供一种基于深度学习的输电线路绝缘子缺陷检测方法，采用最新目标检测算法，具有很强的性能；引入了通道注意机制，大大地提升了检测准确率；融合了深度排序算法实现了绝缘子的跟踪，融合了残差神经网络并作为分类头，在目标检测算法提取到的强大的特征的基础上进行分类，具有优秀的分类效果。实现了连续帧视频到最终结果的端到端检测，以及多绝缘子目标和多绝缘子片状态的同时检测，准确率高，鲁棒性好，适用于各种巡检场景。本申请实现了无人机巡检视频到最终多绝缘子多缺陷检测结果的端到端检测，部署后操作简单，结果明了。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种基于深度学习的输电线路绝缘子缺陷检测方法的流程示意图；

图2为整体深度学习网络框架示意图；

图3为通道注意机制的示意图；

图4为深度排序算法流程图；

图5为最终结果示意图。

具体实施方式

为使本申请实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本申请。

图1为本申请实施例中一种基于深度学习的输电线路绝缘子缺陷检测方法的流程示意图，参见图1，一种基于深度学习的输电线路绝缘子缺陷检测方法，所述方法包括：

s1、采集巡检视频，将巡检视频拆分为单帧图像；利用预设的标注工具，标注单帧图像中的绝缘子信息并保存，得到样本数据；

其中，巡检视频是通过无人机拍摄得到，无人机与绝缘子拍摄角度任意。所述标注工具为ailabelimage标注工具，aiimagelabel标注工具是使用pyqt5开发的智能图像目标及其状态标注工具，集成了绝缘子片目标检测及状态检测网络yrnet训练好的权重，能自动检测并标注出每帧图像中的绝缘子信息，还可以人工微调标注框。选定某一绝缘子后，将自动标注其各绝缘子片，各绝缘子片状态需人工标注，或从上一帧图像中继承(半自动标注)。标注单帧图像中的绝缘子信息并保存为txt格式，所述绝缘子信息包括：绝缘子类别和绝缘子坐标。

s2、对样本数据进行预处理及数据增强，得到预处理数据，将预处理数据划分为预处理数据训练集、预处理数据验证集和预处理数据测试集；

所述对样本数据进行预处理及数据增强的方法包括：改变样本数据的色域至预设的色域，对样本数据进行光照畸变，按任意比例缩放样本数据，将样本数据进行随机的左右或上下翻转，以及对样本数据进行马赛克mosaic数据增强。

s3、利用预处理数据训练集对预设的绝缘子目标检测及跟踪网络进行迭代训练，并利用预处理数据验证集，验证迭代训练的每代结果，得到绝缘子权重数据；

搭建所述绝缘子目标检测及跟踪网络的方法包括：基于目标检测算法yolov5，采用foucus、cspnet、sppnet和panet等科技包，融入通道注意机制(squeeze-and-excitationmodule，se模块)，并融合预设的深度排序算法deepsort，得到绝缘子目标检测及跟踪网络。

其中，yolov5算法融入se模块，形成yolov5-se网络。se模块是在原始剩余块的基础上增加另一条路由，使用全局池化来获得初始通道权重，然后使用两个完整的连接层和sigmoid激活函数来更新每个通道的权重，最后使用原始通道乘以每个通道的权重。这样，在网络训练过程中，通过梯度下降学习每个通道的权值，提高检测精度。se模块的数学思想如下：

对于任意一个卷积核为v＝{v1，v2，…，vc}的卷积操作，其中vc为共c个卷积核中的第c个，若输入集合为x＝{x1，x2，…，xc′}，其中xc′为第c′个通道的输入，那么输出集合u＝{u1，u2，…，uc}中的第c个元素可以表示为：

其中，是卷积操作，是代表广播二维vc而构建的一个三维卷积核，这样，当输入一个通道上的空间特征，卷积核学习特征的空间关系，而后进行加和，因此通常的卷积操作后，卷积核学习到的通道关系和空间关系混合在一起。

se模块关注通道之间的关系(通道依赖性)，设计了压缩操作(squeeze)、激励操作(excitation)和缩放操作(scale)从混杂的信息中提取并学习到通道的依赖性并应用到原输入中。

压缩操作(squeeze)将全局空间信息压缩到一个通道描述符z中，对于一个卷积操作的输出u，其包含于h×w×c维度的实数空间，即u∈r^h×w×c，通过全局平均池化将其h×w空间维度的信息压缩到一个c维度空间，输出表示为通道描述符z，那么z的第c个元素可以表示为：

式中，fsq表示squeeze函数。上式将输入通道的每个“像素点”进行求和，相当于压缩掉了空间关系，输出的通道描述符z包含于c维度的实数空间，即z∈r^c。

另外，激励操作(excitation)利用压缩操作中聚合的信息，获取通道依赖性，是一个自适应再校准过程。要实现这一过程，必须满足两点：一是学习通道之间的非线性相互作用，二是学习非互斥关系以确保能同时执行多个通道。因此，选用了简单的带有“门机制”的sigmoid激活函数实现：

s＝fex(z，w)＝σ(w2δ(w1z))

式中，这里的fex表示激励操作。激励操作包含全连接层fc1、线性整流单元(rectifiedlinearunit，relu)激活、全连接层fc2和sigmoid函数激活。对于输入的c维度空间描述符z，首先进行全连接fc1操作，fc1的权重为w1，一般的全连接层权重的空间维度是输入通道数和输出通道数的乘积，即c×c维，为减少计算量，设置一个取值为16的超参数r，用于尺寸折减，因此全连接层fc1的权重空间为维，即第二步进行线性整流单元relu激活，式中用δ表示。第三步进行全连接fc2操作，此时将输出恢复为c通道，类似地权重第四步进行sigmoid函数激活，式中用σ表示。输出的包含于实数空间c，s∈r^c，s内的每一个元素sc可直观地理解为该通道的重要性。

缩放操作(scale)是将s视为一个激活并应用到原输入中的过程，应用比例层即：

式中，fscale表示比例函数，uc是se模块的原输入，即卷积操作的输出u中的第c通道的元素，sc是激活s的第c个元素，即第c个通道的权重，是应用比例后的输出，与uc空间维度相同。整个se模块实际学习每个通道的权重系数，以便模型能够更有效地区分特征。

所述深度排序算法deepsort是基于交并比(intersectionofunion，iou)进行匈牙利匹配的跟踪算法，改进排序算法sort得到的。使用了级联匹配算法，为每个跟踪器设定一个优先级，根据优先级来分配先后顺序；添加了马氏距离和余弦距离，马氏距离是加强版的欧氏距离，是差异度衡量中的距离度量方式，而余弦距离是一种相似度度量方式；添加了深度学习特征，将所有已确认的追踪器(其中一个状态)每次完成匹配对应的检测目标的特征图存储进一个列表，这个特征集在进行余弦距离计算的时候将会发挥作用。

s4、利用绝缘子目标检测及跟踪网络和绝缘子权重数据测试预处理数据测试集，得到绝缘子检测结果；

绝缘子检测结果包括跟踪身份标识号(identitydocument，id)。

s5、利用预设的标注工具，标注绝缘子检测结果中绝缘子片坐标及绝缘子片状态并保存，得到绝缘子片数据；将绝缘子片数据划分为绝缘子片训练集、绝缘子片验证集和绝缘子片测试集；

所述绝缘子片状态包括：完美、存在破损和丢失。标注绝缘子检测结果中绝缘子片坐标及绝缘子片状态并保存为txt格式。

s6、利用绝缘子片训练集对预设的绝缘子片目标检测及状态检测网络进行迭代训练，并利用绝缘子片验证集，验证迭代训练的每代结果，得到绝缘子片权重数据；

搭建所述绝缘子片目标检测及状态检测网络的方法包括：基于目标检测算法yolov5，引入通道注意机制(se模块)，并融合残差神经网络(residualnetwork)，得到绝缘子片目标检测及状态检测网络。

其中，残差神经网络是由一系列残差模块组成的，一个残差模块可以表示为：

式中，xl是第l个残差模块的输入，xl+1是第l个残差模块的输出，第l个残差模块的输出是第1+1个残差模块的输入。由上式可以看出，残差模块的输出xl+1由直接映射部分h(xl)和残差部分组成。h(xl)是直接映射部分，对输入进行1×1卷积操作，用于对输入进行升维或降维。是残差部分，通常包含多个二维卷积和relu激活，wl表示这些卷积和激活的权重。残差模块会明显减小模块中参数的值从而让网络中的参数对反向传导的损失值有更敏感的响应能力，虽然根本上没有解决回传的损失小得问题，但是却让参数减小，相对而言增加了回传损失的效果，也产生了一定的正则化作用。由于残差的引入，残差神经网络可以建得很深且避免了梯度消失问题。通过不同数目的残差模块的叠加来改变残差神经网络的深度，典型的残差神经网络有五种：18层、34层、50层、101层和152层。越深的网络检测特征提取效果越好，分类效果也越好，但参数更多，训练和推断过程都更耗时。本申请采取50层网络即resnet50作为分类网络，用于接收yolov5输出的的绝缘子片目标检测结果的特征，并检测出每个绝缘子片的状态：完美perfect、存在缺失withdefects和丢失lost。

s7、利用绝缘子片目标检测及状态检测网络和绝缘子片权重数据测试绝缘子片测试集，得到绝缘子片检测结果。

s8、融合绝缘子检测结果和绝缘子片检测结果，得到最终结果，并将最终结果与巡检视频进行匹配，输出异常位置。

实现巡检视频到最终结果的多绝缘子目标检测及跟踪和绝缘子片目标检测及状态检测。

首先，网络设计和模型训练阶段，图2为整体深度学习网络框架示意图，参见图2，采集无人机巡检视频，拆分为单帧图像，使用ailabelimage标注图像中的绝缘子信息，包括：绝缘子类别可绝缘子坐标，其中绝缘子坐标是绝缘子在像素坐标系下的归一化坐标(boundingbox，bbox)，保存为目标检测算法(youlookonlyonce，yolo)专用的txt格式，标注文件路径与原始图像文件路径一一对应，得到样本数据。编写数据加载器程序和数据增强算法，改变样本数据的色域至预设的色域，对样本数据进行光照畸变，按任意比例缩放样本数据，将样本数据进行随机的左右或上下翻转，以及对样本数据进行马赛克mosaic数据增强。

采用pytorch框架，融合se模块和yolov5，形成深度学习网络yolov5-se。图3为通道注意机制的示意图，参见图3，其中c_in为输入通道数，c为内部通道数，c_out为输出通道数，h为特征宽度，w为特征高度，n表示模块重复n次，卷积层包括二维卷积、批规范化和线性整流激活。yolov5强大的特征提取能力主要来源于主干网络backbone，是使用卷积方法提取图像不同的特征。yolov5使用瓶颈跨阶段局部网络(bottleneckcrossstagepartialnetworks，bottleneckcsp)作为骨干网络，从输入图像中提取丰富的信息特征。瓶颈跨阶段局部网络是在标准的瓶颈层bottleneck与跨阶段局部网络(crossstagepartialnetworks，cspnet)结合而成。其中，跨阶段局部网络cspnet解决了其他大型卷积神经网络框架的backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和所需每秒浮点运算次数(float-pointoperationspersecond，flops)，既保证了推理速度和准确率，又减小了模型尺寸。跨阶段局部网络cspnet实际上是基于密集连接网络densenet的思想，复制基础层的特征映射图，通过密集连接块denseblock发送副本到下一个阶段，从而将基础层的特征映射图分离出来。这样可以有效缓解梯度消失问题，通过非常深的网络很难去反推丢失信号，支持特征传播，鼓励网络重用特征，从而减少网络参数数量。在瓶颈跨阶段局部网络bottleneckcsp中的瓶颈层bottleneck的使用了残差神经网络结构，用于增加网络的深度，使得网络有更强大的特征提取能力。在bottleneck内部，引入通道注意力机制(se模块)，形成如图3所示的网络结构通道注意瓶颈层sebottleneck，网络结构通道注意瓶颈层是在原始剩余块的基础上增加另一条路线，使用全局池化来获得初始信道权重，然后使用两个完整的连接层和sigmoid激活函数来更新每个通道的权重，最后使用原始通道乘以每个通道的权重。这样，在网络训练过程中，通过梯度下降学习每个通道的权值，提高检测精度。

数据和网络准确完毕后，将增强后的数据输入到网络中训练模型，获取绝缘子权重数据，查看绝缘子检测效果，即精度(percision，p)，正确判断的正例占所有判断为正例的比重；召回率(reacall，r)，正确判断的正例占所有真值为正例的比重；平均精度(averageprecision，ap)，pr曲线(精度-召回率曲线)下的面积；精度-召回率综合分数f1_score：2pr/(p+r)。若效果不理想，使用网络和绝缘子权重数据自动标注更多数据集，而后进行人工微调，调整网络参数，重新训练直到f1分数达到90％。

绝缘子目标检测完成后，将连续帧的检测结果输入到深度排序算法deepsort中，采用预训练好的深度排序算法deepsort对绝缘子权重数据进行目标跟踪，获取视频中检测到的每个绝缘子的跟踪id、运动轨迹、当前boundingbox(bbox)位置。图4为深度排序算法流程图，如图4所示，检测结果和特征一起输入到级联匹配算法中进行匹配。级联匹配算法针对每一个检测器都会分配一个跟踪器，每个跟踪器会设定一个time_since_update参数。如果跟踪器完成匹配并进行更新，那么参数会重置为0，否则就会+1。实际上，级联匹配是不同优先级的匹配。如果匹配成功就输出跟踪目标tracks，结束；如果未匹配成功，就继续输入到交并比(intersectionofunion，iou)及匈牙利匹配算法中进行匹配。交并比iou及匈牙利匹配算法是计算两帧图像中的目标的交并比iou，是一种尽量多的匹配算法，即a检测器可以和a跟踪器、c跟踪器完成匹配，其中与a匹配置信度更高，但b检测器只能和a跟踪器完成匹配。这样在算法中，就会让a与c完成匹配，b与a完成匹配，而降低对于置信度的考虑。所以算法的根本目的并不是在于匹配的准不准，而是在于尽量多的匹配上，匹配成功输出跟踪目标，结束。匹配未成功继续进行马氏距离和余弦距离匹配，成功则输出跟踪目标。将未匹配的检测器初始化，进入下次循环，循环多次将绝缘子区域进行裁剪，将未匹配的追踪器删除。

进而，在获取到视频帧中的所有绝缘子及其跟踪id后，使用ailabelimage标注工具对绝缘子的各个绝缘子片进行目标标注，标注绝缘子片的bbox和绝缘子片状态，保存为自定义的txt格式。将标注好的绝缘子片数据输入到yolov5-se网络和resnet50网络的融合网络，即绝缘子片目标检测及状态检测网络yrnet中进行绝缘子片目标检测和绝缘子片状态分类。具体来说yolov5-se作为区域提议网络(regionproposalnetwork，rpn)，检测出每块绝缘子片的位置框bbox，而后把该区域的经过骨干网络backbone提取到的特征传入到resnet50中，resnet50用于状态分类，分类结果为完美perfect、存在破损withdefects和丢失lost中的一类。

最后，在模型部署和推断阶段，将图2所示的网络及训练好的权重数据及源码部署到计算机中，传入无人机视频，自动实现端到端的多绝缘子片缺陷检测，输出异常位置。图5为最终结果示意图，检测结果如图5所示，能实时跟踪无人机视角下的每个绝缘子，检测绝缘子区域，而后针对绝缘子区域检测出各个绝缘子片及其状态，对每一个绝缘子能统计出其绝缘子片数目、存在破损的数目和整体缺失的数目。

由以上技术方案可知，本申请提供一种基于深度学习的输电线路绝缘子缺陷检测方法，采用最新目标检测算法，具有很强的性能；引入了通道注意机制，大大地提升了检测准确率；融合了深度排序算法实现了绝缘子的跟踪，融合了残差神经网络并作为分类头，在目标检测算法提取到的强大的特征的基础上进行分类，具有优秀的分类效果。实现了连续帧视频到最终结果的端到端检测，以及多绝缘子目标和多绝缘子片状态的同时检测，准确率高，鲁棒性好，适用于各种巡检场景。本申请实现了无人机巡检视频到最终多绝缘子多缺陷检测结果的端到端检测，部署后操作简单，结果明了。

以上显示和描述了本申请的基本原理和主要特征以及本申请的优点，对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。