一种基于深度学习的绝缘子检测方法

1.本发明属于电力巡检无人机图像的绝缘子识别技术领域具体的说是一种基于深度学习的电力巡检绝缘子检测分类方法。


背景技术：

2.绝缘子是输电线路中重要的装置，对维护输电线路稳定，保障输电网络正常运行有重要意义。由于绝大部分绝缘子长时间暴露在室外，经受高压和复杂气候环境，绝缘子会出现破碎、裂缝等损伤，使绝缘子不能正常的发挥作用，进而导致输电线路的发生危险。因此，需要对绝缘子进行定期的检修和维护。按照传统的依赖人工进行检测，不仅耗时，也耗人力和财力。随着自动化、智能化、高速化技术的发展，如何快速准确地检测和识别输电线路的绝缘子已成为数字图像处理领域中的一个热门问题。
3.目前，对绝缘子识别的方法主要分为两大类：1.传统图像处理和特征提取方法。使用hog，surf等特征提取方法，提取图像的纹理，颜色，梯度等特征，然后利用这些图像特征，根据不同大小的滑动窗口，在图像中进行滑动，训练图像特征分类器。使用基于神经网络的深度学习方法。基于深度学习的绝缘子定位算法使得绝缘子定位的准确度以及鲁棒性往前了很大的一步。但是以上基于深度学习的绝缘子定位算法大多是直接将深度学习目标检测算法应用在绝缘子定位场景，没有融合绝缘子先验信息对模型进行优化从而提高检测的准确度。使用深度学习技术进行绝缘子检测的研究相对较少，目前的研究思路主要是在绝缘子数据集上套用经典目标检测模型，注重模型使用和训练技巧，缺乏从绝缘子数据集自身的特性入手再结合深度学习方法的研究。


技术实现要素：

4.本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度学习的电力巡检绝缘子检测分类方法，以期能在无人机航拍的复杂室外场景的图像(图像成像差，对比度差)中能够精确的识别出各种绝缘子，以解决现有技术中存在的精度低，小目标检测效果差等问题。
5.本发明为了达到上述发明目的，采用如下技术方案
6.本发明一种基于深度学习的电力巡检绝缘子检测分类方法的特点在于，是按如下步骤进行：
7.步骤1、采集航拍无人机巡检图像并进行预处理，得到预处理后的绝缘子图像集；
8.步骤2、对所述预处理后的绝缘子图像集进行扩充样本，得到扩充后的航拍绝缘子图像集；
9.步骤3、对所述扩充后的航拍绝缘子图像集中的所有绝缘子图像的绝缘子位置坐标进行标记，得到标记后的绝缘子图像；
10.根据绝缘子材质分别对所述标记后的绝缘子图像中的图像添加类别标签，从而得到包含有m种类别的绝缘子图像所构成的训练集；
11.步骤4、建立基于深度学习的绝缘子检测模型，包括：依次连接的特征提取网络层、区域建议网络层、特征融合层、目标检测层；
12.步骤4.1、构建特征提取网络层，包括：第一特征层、融合特征图层、第二特征层、第三特征层；
13.步骤4.1.1构建所述第一特征层，包括：第一same卷积层、一个维度为c1×
c1×
n1的卷积层、第一bn层、第一relu层、第二bn层、第二relu层；
14.所述第一same卷积层与第一bn层连接后再与第一relu层连接，所述第一relu层与维度为c1×
c1×
n1的卷积层连接后再依次与第二bn层和第二relu层连接；
15.所述训练集中的一张维度为k1×
k1×
m1的绝缘子图像经过所述第一特征层的处理后输出维度为k2×
k2×
m2的特征图像f1；
16.步骤4.1.2、构建所述融合特征图层，包括：两个cbam模块，每个cbam模块均由通道注意力网络模块和空间注意力网络模块构成；
17.所述特征图像f1输入第一个cbam模块中的通道注意力网络模块，并分别经过基于宽度的全局最大池化和基于高度的全局平均池化的处理后，相应得到宽度特征图像f1和高度特征图像f2；
18.所述宽度特征图像f1和高度特征图像f2分别经过第一个cbam模块中两层的神经网络mlp的处理后相应输出特征图像f3和f4，并对特征图像f3和f4进行加和操作后再经过sigmoid激活操作，从而生成通道注意力特征f；
19.对所述通道注意力特征f和所述特征图像f1进行乘法操作后得到特征图y；
20.所述第一个cbam模块中的空间注意力模块对所述特征图y分别进行全局最大池化和全局平均池化的处理后得到两个特征图，并将两个特征图进行通道拼接后再进行卷积降维操作，得到降维后的特征图再经过sigmoid激活操作后生成空间通道特征feature；最后，将空间通道特征feature和特征图像f1进行乘法操作后，生成维度为k2×
k2×
m2的第一融合特征图像p1；
21.步骤4.1.3、所述第一融合特征图像p1经过最大池化层的处理后得到维度为k3×
k3×
m3的特征图像p2；
22.步骤4.1.4、构建所述第二特征层，包括：第二same卷积层、一个c2×
c2×
n2的卷积层、第三bn层、第三relu层、第四bn层、第四relu层；
23.所述第二same卷积层与第三bn层连接后再与第三relu层连接，所述第三relu层与维度为c2×
c2×
n2的卷积层连接后再依次与第四bn层和第四relu层连接；
24.所述特征图像p2经过第二特征层的处理后输出维度为k4×
k4×
m4的特征图像f2；
25.步骤4.1.5、所述特征图像f2通过最大池化层的处理后得到特征图像p3；
26.步骤4.1.6、构建所述第三特征层，包括：第三same卷积层、一个c3×
c3×
n3的卷积层、第五bn层、第五relu层、第六bn层、第六relu层；
27.所述第三same卷积层与第五bn层连接后再与第五relu层连接，所述第五relu层与维度为c3×
c3×
n3的卷积层连接后再依次与第六bn层和第六relu层连接；
28.所述特征图像p2经过所述特征图像p3经过第三特征层的处理后输出维度为k5×
k5×
m5的特征图像f3；
29.步骤4.1.7、所述特征图像f3通过最大池化层的处理后得到特征图像p4；
30.步骤4.1.8、所述特征图像p4经过第二个cbam模块的处理后得到第二融合特征图像p5；
31.步骤4.2、所述第二融合特征图像p5输入所述区域建议网络层中，并在所述特征图像p5上生成不同尺度和宽高比例的密集锚盒，所述密集锚盒分别经过两条支路处理，其中一条支路通过卷积层和softmax函数对密集锚盒中的区域特征进行分类，得到前景特征图p6；另一条支路对密集锚盒中属于前景特征图p6的锚盒进行边界修正，得到包含目标特征的候选框图p7；
32.步骤4.3、所述特征融合层将特征图像f1、f2和f3分别与所述候选框图p7进行融合，得到三个融合框图，对三个融合框图分别依次进行roialign池化操作和l2正则化操作，相应得到三个融合特征图f4、f5和f6；再对三个融合特征图f4、f5和f6进行级联和重新缩放处理，得到维度为k6×
k6×
m6的合并特征图；所述合并特征图通过维度为1
×
1的卷积操作后，得到维度为k6×
k6×
m6的特征图；
33.步骤4.4、所述目标检测层对维度为k6×
k6×
m6的特征图进行全连接操作后再通过softmax函数进行分类，得到所述训练集中的一张维度为k1×
k1×
m1的绝缘子图像的分类结果；
34.步骤5、基于所述训练集，利用梯度下降法对所述基于深度学习的绝缘子检测模型进行训练，并计算交叉熵损失函数，用于更新模型参数，当损失函数值不再下降并趋于稳定时停止训练，并得到最优绝缘子检测模型，用于对绝缘子图像进行分类识别。
35.本发明的有益效果：与现有技术相比，本发明的效果如下：
36.1)本发明对原始图像进行暗通道去雾处理，有效解决了大雾天气或是天气污染严重的情况下成像时，由于容易受空中颗粒物(例如水滴、粉尘、气溶胶等)与反射光的强烈交互作用，使得光路传播过程中的散射程度明显大于正常天气下表现，从而使得图像出现色彩偏移、对比度差以及目标辨识度低等问题。相较于传统的基于引导滤波的暗通道去雾和基于透射系数和大气环境光快速估计的暗通道去雾算法的效果和处理速度更快更好；
37.2)本发明通过对原始图像进行自适应伽马校正，解决了由于输电线路跨越度大，巡检的日照情况、气候环境不稳定等因素，或是由于摄像设备问题等原因容易导致成像出现整体亮度偏亮或偏暗的现象而导致的图像对比度差，并产生部分中、小尺度目标或是深颜色目标的特征表现较差的图像的问题，并取得了较好的校正效果，克服了传统的对图像采用固定伽马系数难以保证对不同程度亮度的图片的准确校准难题。
38.3)本发明采用位置变换、色调变换、噪声扰动等方法进行数据增强；扩充待采集样本的多样性，生成多幅类似图像，以利于接下来的样本采集，扩大了样本的丰富程度，以满足在不同拍摄角度，拍摄天气，拍摄尺度等背景条件下，仍然能精确的识别绝缘子；增强了检测识别方法的鲁棒性
39.4)本发明采用卷积神经网络，该网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性，网络的最大的优势在于稀疏连接和权值共享两个特点，很大程度的减少了参数的数目，降低了计算的复杂度。不同特征平面对应不同的卷积核，多卷积核保证了特征的多样性，特征提取更加完整，且能够通过下采样的方式来降低特征映射的分辨率。
40.5)本发明在卷积神经网络中采用注意力机制模块，该模块可以在通道和空间维度上进行attention，可以和任何cnn结构一起使用，不会增加额外的开销，并且实现的是端对
端的训练。该模块利用全局信息关注局部信息，能够基于目标关注细节部分，让网络学会关注重点信息特征，提高绝缘子的分类和检测的正确率。
41.6)本发明在模型训练中roialign结构在于将区域建议网路中生成的不同大小的建议区域池化成固定尺寸的特征图。相比于在faster r-cnn的网络结构中采用roipooling结构，该结构进行两次量化会产生较大的偏差，而roialign结构采用双线性内插方法获取坐标为浮点数的像素点上的数值，从而避免了量化操作，对小目标检测效果较好。
附图说明
42.图1为本发明实施例的流程图；
43.图2为本发明采集样本图；
44.图3为本发明实施例模型的整体模块图；
45.图4为本发明实施例中网络卷积中的cbam模块图；
46.图5为本发明实施例的绝缘子检测识别效果图。
具体实施方式
47.下面结合附图及具体的实施例对本发明进行进一步介绍。
48.本实施例中，如图1所示，一种基于深度学习的绝缘子识别方法，该方法包括以下步骤：
49.步骤1、采集航拍无人机巡检图像并进行预处理，得到预处理后的绝缘子图像集；
50.步骤1.1、采用暗通道去雾算法进行去雾处理。根据暗通道理论，无雾图像的非天空局部区域中的rgb三个颜色通道中至少存在单个通道的灰度值具有低值，该低值几乎趋近于0，而在图像含雾区域三通道的最小灰度值通常较大，该统计规律具备一般普遍性；
51.步骤1.2、采用自适应伽马校正算法改变图片整体灰度范围，有效提升图像的对比度，增强图像的细节表现。通过指数变换操作将输入图像的灰度值域进行拉伸，从而提高图像的对比度。关系式如式(1)所示：
[0052][0053]
式(1)中，γ为伽马指数，i(x)为无人机图像转成的灰度图像像素值，h、w分别为图像的宽高值，c为用于调节伽马校正程度的常量。采用自适应方法计算伽马系数，可有效有效提升图像的对比度，增强图像的细节表现，有利于后续的实例分割；
[0054]
步骤2、对预处理后的绝缘子图像集进行扩充样本，得到扩充后的航拍绝缘子图像集；
[0055]
步骤2.1、采用水平镜像、随机裁剪、平移、缩放等位置变换方法进行数据增强丰富目标的尺度、角度和空间位置多样性；
[0056]
步骤2.2、采用色彩抖动、对比度调整、亮度调整、饱和度调整等色调变换方法进行数据增强以丰富场景的多样性；
[0057]
步骤2.3、添加干扰噪声，模糊或缺失部分特征等噪声扰动方法进行数据增强；以提高算法在遮挡、掩盖、图像包含大量噪声等情境下的鲁棒性能；
[0058]
步骤3、对扩充后的航拍绝缘子图像集中的所有绝缘子图像的绝缘子位置坐标进行标记，得到标记后的绝缘子图像；如图2所示，图中1为钢丝绳，2是绝缘子串，3是人工标记框；
[0059]
根据绝缘子材质分别对标记后的绝缘子图像中的图像添加类别标签，从而得到包含有m种类别的绝缘子图像所构成的训练集；
[0060]
步骤4、建立基于深度学习的绝缘子检测模型，包括：依次连接的特征提取网络层、区域建议网络层、特征融合层、目标检测层，如图3所示；
[0061]
步骤4.1、构建特征提取网络层，包括：第一特征层、融合特征图层、第二特征层、第三特征层；
[0062]
步骤4.1.1构建第一特征层，包括：第一same卷积层、一个维度为c1×
c1×
n1的卷积层、第一bn层、第一relu层、第二bn层、第二relu层；
[0063]
第一same卷积层与第一bn层连接后再与第一relu层连接，第一relu层与维度为c1×
c1×
n1的卷积层连接后再依次与第二bn层和第二relu层连接；
[0064]
将输入图片的大小设置为k1×
k1×
m1＝227
×
227
×
3经过第一特征层得到维度为k2×
k2×
m2＝56
×
56
×
96的特征图像f1；
[0065]
步骤4.1.2、构建融合特征图层，包括：两个cbam模块，每个cbam模块均由通道注意力网络模块和空间注意力网络模块构成，如图4所示；
[0066]
特征图像f1输入第一个cbam模块中的通道注意力网络模块，并分别经过基于宽度的全局最大池化和基于高度的全局平均池化的处理后，相应得到宽度特征图像f1和高度特征图像f2；
[0067]
宽度特征图像f1和高度特征图像f2分别经过第一个cbam模块中两层的神经网络mlp的处理后相应输出特征图像f3和f4，并对特征图像f3、f4进行加和操作后再经过sigmoid激活操作，从而生成通道注意力特征f；
[0068]
对通道注意力特征f和特征图像f1进行乘法操作后得到特征图y；
[0069]
第一个cbam模块中的空间注意力模块对特征图y分别进行全局最大池化和全局平均池化的处理后得到两个特征图，并将两个特征图进行通道拼接后再进行卷积降维操作，得到降维后的特征图再经过sigmoid激活操作后生成空间通道特征feature；最后，将空间通道特征feature和特征图像f1进行乘法操作后，生成维度为k2×
k2×
m2＝56
×
56
×
96的第一融合特征图像p1；
[0070]
步骤4.1.3、第一融合特征图像p1经过最大池化层的处理后得到维度为28
×
28
×
96的特征图像p2；本实施例中，最大池化层采用2
×
2卷积，步长为2。最大池化层可以用来缩减模型大小，提高计算速度，提高所取特征的鲁棒性；
[0071]
步骤4.1.4、构建第二特征层，包括：第二same卷积层、一个c2×
c2×
n2的卷积层、第三bn层、第三relu层、第四bn层、第四relu层；
[0072]
第二same卷积层与第三bn层连接后再与第三relu层连接，第三relu层与维度为c2×
c2×
n2的卷积层连接后再依次与第四bn层和第四relu层连接；
[0073]
第一融合特征图像p1经过第二特征层得到维度为k4×
k4×
m4＝24
×
24
×
256的特征图像f2；
[0074]
步骤4.1.5、特征图像f2通过最大池化层的处理后得到维度为12
×
12
×
256的特征
图像p3；
[0075]
步骤4.1.6、构建第三特征层，包括：第三same卷积层、一个c3×
c3×
n3的卷积层、第五bn层、第五relu层、第六bn层、第六relu层；
[0076]
第三same卷积层与第五bn层连接后再与第五relu层连接，第五relu层与维度为c3×
c3×
n3的卷积层连接后再依次与第六bn层和第六relu层连接；特征图像p2经过特征图像p3经过第三特征层的处理后输出维度为k5×
k5×
m5＝10
×
10
×
96的特征图像f3；
[0077]
步骤4.1.7、特征图像f3通过最大池化层的处理后得到维度5
×5×
96特征图像p4；
[0078]
步骤4.1.8、特征图像p4经过第二个cbam模块的处理后得到维度5
×5×
96第二融合特征图像p5；
[0079]
步骤4.2、第二融合特征图像p5输入区域建议网络层中，并在特征图像p5上生成不同尺度和宽高比例的密集锚盒，密集锚盒分别经过两条支路处理，其中一条支路通过卷积层和softmax函数对密集锚盒中的区域特征进行分类，得到前景特征图p6；另一条支路对密集锚盒中属于前景特征图p6的锚盒进行边界修正，得到包含目标特征的候选框图p7；
[0080]
具体实施中，步骤4.2中为了找到适合绝缘子数据集的锚盒大小，通过使用k-means算法，对标签中绝缘子的长和宽进行聚类，使用交并比距离算法作为中心点的评价指标，找到最适合的聚类中心点。通过设置对应的k值，即可得到先验框的数量；
[0081]
步骤4.3、特征融合层将特征图像f1、f2和f3分别与候选框图p7进行融合，得到三个融合框图，对三个融合框图分别依次进行roialign池化操作和l2正则化操作，相应得到三个融合特征图f4、f5和f6；再对三个融合特征图f4、f5和f6进行级联和重新缩放处理，得到维度为k6×
k6×
m6＝5
×5×
60的合并特征图；合并特征图通过维度为1
×
1的卷积操作后，得到维度为5
×5×
60的特征图；
[0082]
具体实施中，步骤4.3中的roialign池化操作是采用双线性内插方法获取坐标为浮点数的像素点上的数值，从而避免量化操作，提高精度；并包括如下步骤：
[0083]
步骤4.3.1对融合框图的原始坐标不取整，保留浮点数；
[0084]
步骤4.3.2将每融合框图区域平均分成m
×
n个单元，其中m、n分别为固定特征图的宽高值，每个单元边界位置即使是浮点型数据也不进行取整量化；
[0085]
步骤4.3.3.在每个单元中取均匀的四个坐标位置，根据周围点数值采用双线性插值方法计算四个点位置的值，然后在每个单元中根据四个坐标位置的值进行最大池化操作从而获取该单元的值。
[0086]
步骤4.4、目标检测层对维度为5
×5×
60的特征图进行全连接操作后再通过softmax函数进行分类，得到训练集中的一张维度为k1×
k1×
m1＝227
×
227
×
3的绝缘子图像的分类结果；
[0087]
步骤5、基于训练集，利用梯度下降法对基于深度学习的绝缘子检测模型进行训练，并计算交叉熵损失函数，用于更新模型参数，当损失函数值不再下降并趋于稳定时停止训练，并得到最优绝缘子检测模型，用于对绝缘子图像进行分类识别，如图5所示；
[0088]
为了验证本发明方法的有效性，本实验对比了传统算法yolo,以及自身去除cbam的网络结构，本实验采集的绝缘子主要采集陶瓷绝缘子，玻璃钢化绝缘子，合成绝缘子，半导体绝缘子4种绝缘子样本，经过数据增强，陶瓷绝缘子样本量15000、玻璃钢化绝缘子样本量1450、合成绝缘子1760、半导体绝缘子1650。随机选取图片作为训练集，另一部分作为测
试集。训练集与测试集比例为9：1.其实验结果如表1：
[0089]
表1
[0090]
检测模型平均精确率准确率召回率yolo85.5％88.0％90.0％本实验网络(不加cbam)80.0％83.0％85.5％本实验网络(加cbam)90.05％92.0％92.0％
[0091]
从表1的实验结果来看，本发明方法无论在平均精确率，准确率，召回率方面都比yolo模型要表现的好一点。而且cbam模块发挥了极其重要的作用。从表中看加cbam模块效果比不加要好10给百分比左右。显示了本方法的优越性。
[0092]
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以权利要求的保护范围为准。