一种基于轻量化的YOLOv5的绝缘子缺陷检测方法

本发明涉及一种基于轻量化的yolov5的绝缘子缺陷检测方法。

背景技术：

1、随着社会的发展，各行业特别是工商业对于电力的需求大幅提升，国家对电力系统的投资与建设也日益加速，在电力系统中，输电线路作为电能传输的载体，是最为关键的一环。

2、输电线路主要由绝缘子、导地线等设备构成，其中绝缘子是输电网中最为重要也是不可或缺的部件之一。由于绝缘子分布多，受自然环境的影响和使用年限的因素，常出现掉串、自爆、脏污等问题，使其非正常工作并引发故障，造成不必要损失。据统计绝缘子故障引发的事故超过一半。近几年，在电网中出现过多起因绝缘子污秽与闪络，造成线路大规模停断电的情况，给企业带来了重大损失和影响。因此，对绝缘子进行定期巡检是首要工作。

3、为了保障电网正常工作，每年都要消耗大量的资源对电力线路进行维护，以便及时消除隐患，防止进一步恶化，保障线路正常、稳定、安全的运转。输电线巡检方式包括人工巡检、直升机巡检和无人机巡检。传统人工巡检效率低且安全难以保证。直升机巡检虽然可以提高巡检效率，但其高成本和低灵活性的缺点使其不能大规模应用。随着人工智能的快速发展和无人机技术的成熟应用，无人机巡检得以广泛使用。无人机巡检具有安全、高效的优点，利用机载摄像设备拍摄输电线路中的电力设备，再通过人工对巡检图像鉴别判断是否存在故障。但巡检图像具有体量大和价值密度低的大数据特征，人工判读容易存在因视觉疲劳而产生的误判和漏判。随着硬件设备处理能力的提升，以及深度学习技术和目标识别技术的逐渐兴起，航拍图像的获取和传输变得十分便捷，对图像进行精准定位与识别的要求逐渐提高，相关技术进入一个高速的发展通道。

4、无人机在巡检过程中采集的图像分辨率高、背景复杂，颜色众多，且获取的绝缘子类型多样，紧靠肉眼去判断绝缘子位置，区分是否正常，是难以满足自动化、智能化要求的。目前基于巡检图像数据的电力线路设备智能识别技术正飞速更新迭代。传统的目标识别方法主要是先进行特征提取，再采取分类器进行特征识别，如边缘检测算法、burns算法、lsd算法、hog算法、sift算法、sht算法等，有着识别精度低、对多样性的环境鲁棒性差、没有针对性、耗费时间等问题。而利用深度卷积模型，可用于目标检测的精准识别与判定，并应用在实时检测上。例如，通过cnn(convolutionalneuralnetworks)提取目标特征的目标检测算法可进行精准识别。目前目标检测算法主要可分为两类：一种是基于检测框和分类器的两阶算法，如fasterr-cnn、maskr-cnn等，其检测精度高，但是由于网络结构比较深导致速度较慢；另一种是基于回归的一阶算法，如yolo(youonlylookonce)、ssd(singleshotmultiboxdetector)等，它们的特点是采用端到端的检测，检测速度快，满足实时检测的要求。

5、这些新技术的应用使得无人机图像通过计算机检测的速度大大提升，可以大量减轻现场人员的工作量，提升巡检效果。因此，本发明基于yolov5算法设计适用于复杂背景下的高效、智能、实时的绝缘子缺陷检测方法，对于电网系统在线监测和开展智能巡检具有广泛的实际应用价值和现实意义。

6、综上所述，传统的绝缘子图像检测方法，如采用霍夫变换直线检测、边缘检测、分水岭算法、局部梯度检测以及通过空间和颜色信息等，在提取特征时通常需要人工干预才能获取更好地检测效果，其适应性弱，泛化能力不够强，仅适用于简单背景或大目标图像。此外，传统方法初次检测的准确率，在图像的后期处理中很难得到进一步提升，远不能满足复杂图像背景下目标高精度且有效检测的要求。

7、无人机采集到的图像常常存在背景复杂，检测目标受到较大干扰，且还存在光照不均匀、图像特征分布复杂、目标大小不一、目标重叠等问题，使得绝缘子的高精检测难以达到预期效果。这些都使得采用航拍图像通过传统的图像处理进行绝缘子受损的高精、有效检测成为难点。

8、因此，有必要寻找一种能够针对航拍图像特点的深度学习目标检测算法，并兼顾快速性和有效性。通过实际测试与调研发现，yolo系列算法具有更高的检测速度，基于此，本发明提出了一种针对yolov5s的改进算法用于绝缘子缺陷检测，使其具有较高检测精准度和检测速度。

技术实现思路

1、本发明的目的是为了解决无人机采集到的图像常常存在背景复杂，检测目标受到较大干扰，且还存在光照不均匀、图像特征分布复杂、目标大小不一、目标重叠等问题，使得绝缘子的高精检测难以达到预期效果，这些都使得采用航拍图像通过传统的图像处理进行绝缘子受损的检测存在检测精度低的问题，而提出一种基于轻量化的yolov5的绝缘子缺陷检测方法。

2、上述目的通过以下的技术方案实现：

3、一种基于轻量化的yolov5的绝缘子缺陷检测方法，首先，利用注意力机制模块eca-net网络改进yolov5s算法，优化模型结构；之后，利用mobilenetv2模型对改进后的yolov5算法进行轻量化处理。

4、进一步地，所述的利用注意力机制模块eca-net网络改进yolov5s算法的操作包括添加注意力机制、设计多尺度特征融合结构、设计候选框优化算法。

5、进一步地，所述的添加注意力机制的过程，具体为：

6、所述的eca-net网络是基于se-net改进的通道注意力模型，使用卷积核大小为k的一维卷积代替全连接层进行k个临近范围的通道加权，实现局部交叉、通道交互，从而加强网络对局部特征信息的关注，增强背景和目标的区分能力；se-net全称squeeze-and-excitationnetworks，中文含义压缩和激励网络；

7、k值计算见下式，其中channels是输入特征的通道数：

8、

9、进一步地，所述的设计多尺度特征融合结构的操作，是在模型经过骨干特征提取层输出三个特征后，将三个尺度的特征图用于检测不同大小的目标；利用浅层的特征区分简单目标，利用深层的特征区分复杂的目标，同时将多尺度特征图进行特征融合，包括：

10、(1)在yolov5的加强特征提取层部分结合双向特征金字塔网络bi-fpn，双向跨尺度连接和加权特征图融合，既融合不同尺度的特征，又结合同一尺度下更加浅层的特征，并以一个bi-fpn为循环单元进行重复堆叠得到更多高层特征融合；

11、(2)设计基于bi-fpn的特征融合层结构；

12、在bi-fpn结构中增加一个循环单元，即包括两个bi-fpn子块，子块有利于进一步加强特征的融合，弥补不同特征层的信息丢失；同时在中间层大小的特征中添加一条新的残差路径，防止信息的丢失。

13、进一步地，所述的候选框优化算法的操作，具体为：

14、通过权重的形式，将获得的iou取高斯指数后乘上原得分，之后重新排序；计算过程为：输入b＝{b_1,…,b_n}n个候选框，其得分为s＝{s_1,…,s_n}，n为nms算法抑制的阈值，选取最大概率m；见下式，其中iou为两块区域的交集与并集之比；

15、

16、soft-nms算法的计算公式见下式：

17、

18、n表示剩下的目标与概率最大的目标的重合度的阈值，如果重合度大于阈值，则表明两者的重合度越高，而在重合度信息一样的情况，则选择概率最大的候选区域作为该类别的候选区域，从而剔除另一区域；如果重合度小表示新的候选区域与原概率最大区域包含的信息不一样，以此来获得更多的不一样的候选区域。

19、进一步地，所述的利用mobilenetv2模型对改进后的yolov5算法进行轻量化处理的操作，具体包括：

20、(1)设计基于mobilenetv2轻量化模型：

21、mobilenetv2网络结构由一系列bottleneck堆叠组成，用mobilenetv2中的bottleneck将yolov5网络的主干网络替换掉，bottleneck根据步幅不同分为两种结构，bottleneck步幅为1时，输入特征图首先通过1×1的卷积进行扩大通道数，扩展系数为6；中间一层是3×3大小的深度卷积，最后一层是1×1的点卷积和线性激活函数，得到输出特征图，输出特征图与输入特征图进行逐元素的相加操作，得到的特征图输入下一层中；bottleneck步幅为2时，中间一层是3×3大小的深度卷积，此时这种结构中没有跳转连接和逐元素相加操作，其余结构与步幅为1的bottleneck模块一样；

22、(2)在yolov5特征融合部分使用深度可分离卷积替换普通卷积；深度可分离卷积包含两个过程，分别是逐通道卷积和逐点卷积，逐通道卷积只被一个卷积核卷积，这个过程产生的特征图通道数和输入的通道数相同；逐点卷积的卷积核的尺寸为1×1×m，m为上一层的通道数，卷积运算将上一步的特征图在深度方向上进行加权组合，生成新的特征图，输出特征图的数量与卷积核的个数相同；

23、网络的输入为df×df×m，输出为df×df×n，卷积核大小为dk×dk，标准卷积参数量为dk×dk×m×n，计算量为df×df×dk×dk×m×n；应用深度可分离卷积同样大小的输入和输出，得到的参数量为dk×dk×m×df×df+m×n×df×df；将卷积表示为深度可分离卷积，通过下式减少计算量：

24、

25、本发明的有益效果为：

26、本发明为了能够将高分辨率航拍图像中复杂背景下的绝缘子缺陷检测出来，提出基于yolov5的高精度绝缘子缺陷检测算法，提高绝缘子缺陷检测的精度；针对改进后的yolov5算法模型精度较高，但存在模型复杂度高，计算资源大的问题，提出了一种基于轻量化的yolov5绝缘子缺陷检测算法，降低复杂度，提高检测速度，满足实时性检测的需求。

27、本发明以航拍绝缘子为研究对象，对于输电线路中绝缘子缺陷检测问题，通过设计基于yolov5模型的改进算法来适用于绝缘子缺陷检测。针对实际的输电线路上绝缘子检测的应用场景，改进了原有的目标检测模型，使得整个网络更加贴合绝缘子检测，从而提升检测精度。改进后的yolov5算法模型具有较高的精度，但存在计算资源和模型复杂度超出了移动端和嵌入式设备能力的问题。从轻量化角度提出了一种基于轻量化的yolov5绝缘子缺陷检测算法，降低模型复杂度，提高检测速度。具体为：

28、(1)针对航拍图像中复杂背景下绝缘子缺陷检测准确率较低的问题，在yolov5的骨干特征提取层融合eca-net通道注意力机制，通过增加重要通道的权重来实现背景和目标绝缘子的有效区分；在特征融合层加入bi-fpn双向特征金字塔网络，来有效保留目标绝缘子的缺陷特征；在预测层融入检测框算法soft-nms重新筛选目标框，从而降低重叠绝缘子的误删概率，提升绝缘子缺陷检测的精度。

29、(2)针对改进后的yolov5模型过大，计算复杂的问题。利用轻量化模型mobilenetv2对yolov5特征提取网络进行优化，用mobilenetv2中的bottleneck将yolov5网络的主干网络替换掉，并且将特征融合部分的普通卷积使用深度可分离卷积替换，降低了模型复杂度，提高检测速度，满足实时性检测的需求。