无人机巡检影像缺陷图像识别方法、装置、设备及介质与流程

[0001]
本发明涉及图像识别领域，特别是涉及一种无人机巡检影像缺陷图像识别方法、装置、设备及介质。


背景技术：

[0002]
目前，用于输电线路的无人机巡检影像缺陷图像识别的一般做法是，针对于输电线路的九大类，数百小类缺陷，分别构建缺陷样本库进行训练，获得卷积神经网络模型，然后运用这个模型进行推理，实现缺陷自动识别。
[0003]
但是，该方法存在两个技术问题：一、输电线路缺陷类别众多，很多缺陷类别正样本非常少，很难构建有效的样本库；二、对这些类别的缺陷，很多情况下图像识别的漏报率较高，图像识别后工作人员仍然需要对所有的图像进行人工核查，没有实质性降低人工工作量，且通过人工方式核查耗时耗力，可靠性低。通过通信技术和传感技术将实时监控图像或者视频传输到后台可以降低巡检工作量，但是仍需要后台工作人员肉眼判断是否存在隐患，工作量大且容易遗漏，没有实现巡检的智能化。
[0004]
因此，如何解决漏报率高，人工工作量大，工作效率低的问题，是本领域技术人员亟待解决的技术问题。


技术实现要素：

[0005]
有鉴于此，本发明的目的在于提供一种无人机巡检影像缺陷图像识别方法、装置、设备及介质，可以保障缺陷分析效果，极大降低人工核查劳动成本，提高工作效率。其具体方案如下：
[0006]
一种无人机巡检影像缺陷图像识别方法，包括：
[0007]
采集输电线路无人机巡检规范化影像；
[0008]
从采集的所述影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
[0009]
利用构建的所述缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
[0010]
将待测输电线路无人机巡检影像输入至所述无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
[0011]
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，在采集输电线路无人机巡检规范化影像之后，还包括：
[0012]
根据输电线路的电压等级、杆塔类型和无人机巡检规范的拍摄画面场景，对采集的所述影像进行分类规范化命名和存储管理。
[0013]
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，对选取的无缺陷图像进行相应处理，具体包括：
[0014]
对选取的无缺陷图像中的最小颗粒度待识别目标进行标注；
[0015]
将标注的所述无缺陷图像分别顺时针和逆时针旋转多个不同的角度；
[0016]
将旋转后的所述无缺陷图像随机进行高斯模糊处理。
[0017]
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，所述无缺陷目标识别模型由dblock模块、rblock模块和senet模块组成；
[0018]
所述dblock模块的纵向卷积操作为输入图像有n个通道，则采用n个卷积核进行卷积；其中n≥1；
[0019]
所述rblock模块的权重层为3*3卷积层；
[0020]
所述senet模块包括squeeze操作和excitation操作；所述squeeze操作，用于将原始特征图的高度和宽度进行压缩；所述excitation操作，用于添加fc全连接层，对每个通道的重要性进行预测，并使用sigmoid函数激活特征图的对应通道。
[0021]
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，所述无缺陷目标识别模型对应的损失函数如下：
[0022][0023]
其中，m为类别的数量；y
ic
为变量0或1；若该类别和样本i的类别相同时，y
ic
为1，否则y
ic
为0；p
ic
为样本i属于类别c的预测概率；n为训练样本数量。
[0024]
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，对过滤后剩下的图像进行自动识别，具体包括：
[0025]
建立缺陷目标识别模型；
[0026]
将过滤后剩下的图像输入至所述缺陷目标识别模型进行自动识别。
[0027]
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，还包括：
[0028]
将缺陷识别概率小于设定阈值的图像放进所述缺陷负样本库中，对所述无缺陷目标识别模型进行更新迭代。
[0029]
本发明实施例还提供了一种无人机巡检影像缺陷图像识别装置，包括：
[0030]
影像采集模块，用于采集输电线路无人机巡检规范化影像；
[0031]
样本库构建模块，用于从采集的所述影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
[0032]
模型训练模块，用于利用构建的所述缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
[0033]
图像识别模块，用于将待测输电线路无人机巡检影像输入至所述无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
[0034]
本发明实施例还提供了一种无人机巡检影像缺陷图像识别设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述无人机巡检影像缺陷图像识别方法。
[0035]
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述无人机巡检影像缺陷图像
识别方法。
[0036]
从上述技术方案可以看出，本发明所提供的一种无人机巡检影像缺陷图像识别方法，包括：采集输电线路无人机巡检规范化影像；从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
[0037]
本发明构建了不同场景的缺陷负样本库进行训练并获得对应场景的卷积神经网络模型，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。此外，本发明还针对无人机巡检影像缺陷图像识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
[0038]
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]
图1为本发明实施例提供的无人机巡检影像缺陷图像识别方法的流程图；
[0040]
图2为本发明实施例提供的无缺陷目标识别模型的结构示意图；
[0041]
图3为本发明实施例提供的无人机巡检影像缺陷图像识别装置的结构示意图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
本发明提供一种无人机巡检影像缺陷图像识别方法，如图1所示，包括以下步骤：
[0044]
s101、采集输电线路无人机巡检规范化影像；
[0045]
在实际应用中，人工设置采集点和采集区域，根据国网无人机巡检规范人工或者自动控制无人机飞行到采集区域，确保待识别区域在图像中至少占50％以上的比例时，开始采集影像；在采集完后，将无人机采集的影像分场景整理到服务器；
[0046]
s102、从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库(即正确图像样本库)；
[0047]
s103、利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
[0048]
需要说明的是，基于大量的正确图像样本库，利用深度学习卷积神经网络，针对不同的电压等级、不同塔形、不同的场景，建立针对性的细化算法模型，通过大数据分析，对图像中特定目标进行信息特征模糊提取、精细建库，从而实现训练后自动批量对上述影像数
据进行正确样本的识别，可识别正常无缺陷场景的杆塔和线路；
[0049]
s104、将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值th的图像，以及对过滤后剩下的图像进行人工或自动识别。
[0050]
在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，构建了不同场景的缺陷负样本库进行训练并获得对应场景的卷积神经网络模型，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。
[0051]
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，在执行步骤s101采集输电线路无人机巡检规范化影像之后，还可以包括：根据输电线路的电压等级(如35kv，110kv，220kv，500kv，1000kv，
±
800kv)、杆塔类型(如直线塔，耐张塔等)和国内无人机巡检规范的拍摄画面场景，对采集的影像进行分类规范化命名和存储管理。
[0052]
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，步骤s102对选取的无缺陷图像进行相应处理，具体可以采用下述方式实现：
[0053]
第一、对选取的无缺陷图像中的最小颗粒度待识别目标进行标注；具体地，人工标注场景图像，可以采用矩形框将图像中的最小颗粒度待识别目标框出，当然也可以采用其他形状框出，只要描出相应的轮廓即可，在此不做限定；
[0054]
第二、将标注的无缺陷图像分别顺时针和逆时针旋转多个不同的角度；具体地，可以将标注的图像分别顺时针和逆时针旋转5
°
、10
°
和15
°
等角度，以增强样本数量；
[0055]
第三、将旋转后的无缺陷图像随机进行高斯模糊处理，以增强样本数量。
[0056]
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，如图2所示，无缺陷目标识别模型由dblock模块、rblock模块和senet模块组成；
[0057]
dblock模块的纵向卷积操作为输入图像有n个通道，则采用n个卷积核进行卷积；其中n≥1；该模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成；
[0058]
rblock模块的权重层(weight layer)为3*3卷积层；该模块的输入为x，则输出为f(f(x))+x；f(x)表示经过weight layer卷积后的输出特征；
[0059]
senet模块包括squeeze操作和excitation操作；squeeze操作，用于将原始特征图的高度和宽度进行压缩；excitation操作，用于添加fc全连接层，对每个通道的重要性进行预测，并使用sigmoid函数激活特征图的对应通道。
[0060]
具体地，senet模块由squeeze操作和excitation操作组成；假设原始特征图的维度为h
×
w
×
c，其中h是高度，w是宽度，c是通道数。squeeze操作为把h
×
w
×
c压缩为1
×1×
c，相当于把h
×
w压缩成一维了，实际中一般是用全局平均池化实现的。h
×
w压缩成一维后，相当于这一维参数获得了之前h
×
w全局的视野，感受区域更广。形式上，统计z∈r
c
是通过在空间维度w
×
h上收缩生成的，z表示压缩后的特征，r表示实数域，其转换输出u则是局部描述符的集合，这些局部描述符的统计信息表示整个图像，其中z的第c个元素通过下式计算：
[0061][0062]
其中，(i,j)表示特征空间中该点的特征值，u
c
表示压缩前的第c个元素，z
c
表示压缩后的第c个元素。
[0063]
excitation操作的目的是设计一个简单的门机制来捕获通道间的间的依赖关系，得到squeeze的1
×1×
c的表示后，加入一个fc全连接层，对每个通道的重要性进行预测，得到不同通道的重要性大小后再作用到之前的特征图的对应通道上，再进行后续操作，使用sigmoid函数进行激活，其公式如下所示：
[0064]
s＝f
ex
(z，w)＝σ(g(z，w))＝σ(w2δ(w1z))
[0065]
其中，z表示上一个操作的输出，δ表示relu函数，w1表示全连接层的降维权重，w2表示全连接层的升维权重，这样做能够减小模型的复杂程度，使模型更具有泛化能力。
[0066]
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，无缺陷目标识别模型对应的损失函数如下：
[0067][0068]
其中，m为类别的数量；y
ic
为变量0或1；若该类别和样本i的类别相同时，y
ic
为1，否则y
ic
为0；p
ic
为样本i属于类别c的预测概率；n为训练样本数量。
[0069]
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，步骤s104对过滤后剩下的图像进行自动识别，具体可以包括：建立缺陷目标识别模型；将过滤后剩下的图像输入至缺陷目标识别模型进行自动识别。
[0070]
在实际应用中，剩下可能存在故障的图像可以交由人工审核或者采用传统九大类模型进行辅助自动识别，以全面高质量提升工作效率。在进行自动识别时，构建缺陷目标识别模型，完善无人机巡检所采集的图像的典型缺陷机器自动识别，与上述正确样本识别互为表里，相互验证，不断完善图像识别系统的算法模型，最终实现可真正解决实际问题的无人机精细化巡检智能图像识别。
[0071]
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，在执行完步骤s104后，还可以包括：将缺陷识别概率小于设定阈值的图像放进缺陷负样本库中，对无缺陷目标识别模型进行更新迭代。
[0072]
需要注意的是，本发明实施例提供的上述无人机巡检影像缺陷图像识别方法的具体过程可以为：首先，按照输电线路的杆塔类型和场景，如导线端挂点，横担端挂点，导地线，绝缘子，通道等，构建海量的缺陷负样本库即正确图像样本库，进行训练获得对应场景的卷积神经网络模型(即无缺陷目标识别模型)，实现对正常无缺陷场景的杆塔和线路进行识别。然后，输入新的输电线路无人机巡检影像，用上述对应场景的卷积神经网络模型进行筛选，把图像识别认为是无缺陷的照片过滤掉；其余图像交由人工审核或自动识别。这样可保障缺陷分析效果，极大降低人工核查劳动成本，提高工作效率。
[0073]
基于同一发明构思，本发明实施例还提供了一种无人机巡检影像缺陷图像识别装置，由于该装置解决问题的原理与前述一种无人机巡检影像缺陷图像识别方法相似，因此
该装置的实施可以参见无人机巡检影像缺陷图像识别方法的实施，重复之处不再赘述。
[0074]
在具体实施时，本发明实施例提供的无人机巡检影像缺陷图像识别装置，如图3所示，具体包括：
[0075]
影像采集模块11，用于采集输电线路无人机巡检规范化影像；
[0076]
样本库构建模块12，用于从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
[0077]
模型训练模块13，用于利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
[0078]
图像识别模块14，用于将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
[0079]
在本发明实施例提供的上述无人机巡检影像缺陷图像识别装置中，可以通过上述四个模块的相互作用，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。
[0080]
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
[0081]
相应的，本发明实施例还公开了一种无人机巡检影像缺陷图像识别设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的无人机巡检影像缺陷图像识别方法。
[0082]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0083]
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的无人机巡检影像缺陷图像识别方法。
[0084]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0085]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0086]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0087]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0088]
本发明实施例提供的一种无人机巡检影像缺陷图像识别方法，包括：采集输电线路无人机巡检规范化影像；从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。这样构建不同场景的缺陷负样本库进行训练并获得对应场景的卷积神经网络模型，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。此外，本发明还针对无人机巡检影像缺陷图像识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
[0089]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0090]
以上对本发明所提供的无人机巡检影像缺陷图像识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。