一种专用于输电线路运维的巡检图像缺陷检测方法与流程

本发明涉及数字图像，尤其涉及一种专用于输电线路运维的巡检图像缺陷检测方法。

背景技术：

1、电网的安全、稳定、可靠运行，对于国民经济的平稳发展具有重要作用，对输电线路的巡检和维护是保障输电网正常运行的主要手段。传统的电力巡检主要是人工完成，检修人员定期对输电线及沿线周边环境进行巡视和排查，但该巡检方式存在如下问题：(1)巡检安全难以保证。(2)巡检效率低下。(3)巡检故障发现率低。2013年，国家电网公司和南方电网公司相继开展“输电线路机巡作业”计划，采用直升机、无人机搭载照相(摄像)机及在线监测手段，对架空输电线路进行巡视检查或状态监测，并于2020年底，基本实现“机巡为主、人巡为辅”的协同巡检目标。

2、输电线机巡影像具有体量大、增长快和价值密度低的典型大数据特征，而对其进行故障识别多以人工判读为主。虽然这种方式也可能发现故障隐患，但仍存在明显弊端：一方面，输电通道运行状况复杂，运维人员在现场评判设备运行状况及通道状况所能获取信息有限，给出的结果存在主观性、模糊性、不完全，易出现漏检和误检的问题；另一方面，远距离的高电压输电线路周围通信条件不佳，传输速度慢且传输的数据量有限，因此多以离线检测为主。

3、近年来，随着计算硬件工艺、无人机技术的显著提高，以及计算机视觉和人工智能等领域的快速发展，通过对海量图像的深度挖掘，可提取图像中显著目标及特征，实际应用表明，当前的技术具有高速、高精度和高度扩展性等优势，各方面的评判指标均超过人工判别。基于此，本发明拟应用相关计算机视觉和人工智能技术，并针对输电线路机巡影像的实际应用需求进行相应的改进，提出一种针对输电线路运维的高可靠性目标检测模型，用于检测输电线路外观、运行环境、元件异常等输电线路主要缺陷，及时提出告警，为设备管理和运行维护提供参考，提高输电线路巡检的效率和可靠性。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题，提出了本发明。

3、因此，本发明提供了一种专用于输电线路运维的巡检图像缺陷检测方法，能够解决传统技术中输电线路巡检图像识别中精度低和速度慢的问题并在保证精度的情况下，降低模型的计算量。

4、为解决上述技术问题，本发明提供如下技术方案，一种专用于输电线路运维的巡检图像缺陷检测方法，包括：

5、基于resnet卷积神经网络架构提出一种专用于输电线路运维的巡检图像缺陷检测模型；

6、采用多尺度预测方案和金字塔关联模型；

7、通过采用深度可分解模型替代卷积神经模块；

8、构建输电线路电力目标缺陷数据集，设置模型参数，训练巡检图像缺陷检测模型；

9、使用训练后的巡检图像缺陷检测模型，对输电线路巡检图片中的电力设备缺陷进行识别。

10、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述专用于输电线路运维的巡检图像缺陷检测模型包括，采用残差网络模型作为巡检图像缺陷检测模型的特征提取网络，通过区域建议策略网络得到不同尺寸的目标候选区域信息，利用回归支路获取精确的目标位置信息。

11、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述采用多尺度预测方案和金字塔上下文关联模型包括，采用特征金字塔结构提取多尺度特征，通过残差网络添加记忆通道，形成金字塔上下文关联模型，将低层的细节信息与高层的语义信息进行融合。

12、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述通过采用深度可分解模型替代卷积神经模块包括，提高巡检图片缺陷检测速度，将标准卷积核分离形成深度卷积核和逐点卷积，当在深度卷积和逐点卷积后，分别添加批量正则化和relu激活函数。

13、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述构建输电线路电力目标缺陷数据包括，通过无人机搭载图像采集设备采集输电线路杆塔、绝缘子、导地线、金具的可见光图片，挑选电力设备存在缺陷的图片，人工对巡检图片中缺陷左上顶位置和宽高进行标记，并对缺陷类型进行分类，随后依次按照图片名称、缺陷类型、缺陷坐上顶的横坐标、缺陷左上顶的纵坐标、缺陷的宽、缺陷的高的格式将标记信息写入文本文件，文本文件名称与图片名称保持一致，随机选择80％的图片组成训练样本库，供模型学习和挖掘输电线路典型缺陷的特征，经过选择后的20％图片构成验证集，验证训练过程中模型的准确性。

14、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述巡检图像缺陷模型包括，多尺度特征提取模块、上下文关联模块和中继模块；

15、所述多尺度特征提取模块，利用深度可分解网络提取图像特征，在保证特征提取效果的情况下，降低模型的计算量，同时基于softmax激活函数，初步识别缺陷类型及位置；

16、所述上下文关联模块将浅层特征和深层特征相融合，提高模型对于小尺寸缺陷的精测精度；

17、所述中继模块负责将深度特征反卷积成更大维度的特征图与浅层特征保持相同的维度，可进行矩阵相加操作。

18、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述采用特征金字塔结构提取多尺度特征包括，图像中对尺寸不同的图像，为了准确区分对象和背景，金字塔模型结构错层的特征处理机制，底层的模块检测图像的小尺寸目标，小尺寸对象的像素信息主要分布在底层，而一旦到高层信息容易丢失或被合并，高层的模块提取大尺寸目标；

19、所述金字塔上下文关联模型包括，模型结合单特征图检测和特征金字塔层次结构，提出了将低层信息和高层语义信息向融合的模型，与金字塔特征层次结构相比，特征金字塔上下文关联模型使用更深层的卷积神经网络用来构建特征金字塔，所述模型通过将处理过的低层特征和处理过得高层特征进行累加提供优化后的位置信息，多次的降采样和上采样操作使深层网络的定位信息存在误差，通过所述模型将降采样信息和上采样信息结合起来，构建一个深层的特征金字塔，融合了多层特征信息，并在不同特征进行输出；

20、当把高维特征做采样时，将对应的前一层特征结合，在进行上下文特征融合之前，需要用1×1卷积改变低层的输出单元数，以便和上采样得到的特征图保持一样的尺寸，重复迭代过程，生成精细的特征图；

21、当用3×3的卷积核去处理融合的特征图时，以便消除上采样的混叠效应，生成最终的特征图{c2,c3,c4,c5}层对应融合特征层为{p2,p3,p4,p5}，对应的层空间尺寸是相通的，金字塔特征提取模型中，所有层级共享分类层和回归层。

22、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述将标准卷积核分离形成深度卷积核和逐点卷积两个操作包括，标准卷积核用在所有的输入通道上，而深度卷积针对每个输入通道采用不同的卷积核，一个卷积核对应一个输入通道；

23、当逐点卷积是普通的卷积时，采用1×1的卷积核；

24、当深度可分解卷积神经网络时，采用深度卷积核对不同输入通道分别进行卷积，然后采用逐点卷积将上面的输出再进行结合，会减少计算量和模型参数；

25、特征映射f尺寸为(df,df,m)，采用标准的卷积k为(dk,dk,m,n)输出的特征映射g尺寸为(dg,dg,n)；

26、标准卷积的卷积计算公式为：

27、

28、式中，m为输入的通道数，n为输出的通道数；

29、对应的计算量为，

30、dk·dk·m·n·df·df

31、将标准卷积(dk,dk,m,n)拆分为深度卷积和逐点卷积，

32、深度卷积负责滤波作用，尺寸为(dk,dk,1,m)，输出特征为(dg,dg,m)；

33、逐点卷积负责转换通道，尺寸为(1,1,m,n)，最终输出为(dg,dg,n)；

34、深度卷积的卷积公式为，

35、

36、式中，是深度卷积，卷积核为(dk,dk,1,m)，其中，mth个卷积核应用在f中第mth个通道上，产生上第mth个通道输出，对应的计算量为：

37、dk·dk·m·df·df+m·n·df·df

38、深度可分解卷积神经网络的计算量为：

39、

40、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述设置模型参数包括，以resnet101为巡检图像缺陷检测模型主干网络，采用在voc数据集上预训练好的参数对主干网络进行初始化。

41、作为本发明所述的一种专用于输电线路运维的巡检图像缺陷检测方法的一种优选方案，其中：所述使用训练后的巡检图像缺陷检测模型，对输电线路巡检图片中的电力设备缺陷进行识别包括，巡检图像缺陷检测模型在无人机采集的包含杆塔、绝缘子、导地线、金具的数据集上进行测试，采用平均精度ap对模型进行评价。

42、本发明的有益效果：本发明提出专用于输电线路缺陷目标检测的巡检图像缺陷检测模型，该模型同时从检测精度和检测速度两方面进行优化。在精度层面，该模型使用上下文信息融合架构，将浅层特征图和深度特征图进行融合，减少信息损失。在速度层面，该模型使用卷积分解技术，将标准卷积计算分解为深度卷积和逐点卷积，在保证精度的情况下，降低模型的计算量。该模型可以有效改善输电线路巡检图像识别中精度低和速度慢的问题。