基于深度学习图像识别的无人机输电线巡检方法与流程

本发明属于输电线路自动巡检技术领域，尤其涉及一种用于连接电力杆塔的输电线自主巡检的基于深度学习图像识别的无人机输电线巡检方法。

背景技术：

随着无人机技术的发展，使用无人机代替人工进行巡检作业的行业领域越来越多，电力巡检便是其中之一。无人机的高机动性、多功能性、便携性等特点都在电力巡检中发挥出不可小觑的作用。然而传统无人机巡检作业效率偏低，往往需要两人以上的专业队伍进行操作，虽然无人机机动性强，但是受限于遥感距离的限制，并不能完全发挥，尤其是在山区荒漠等操作者行动困难地区，影响更为显著。

为摆脱人工操作束缚，在无人机自主巡航领域，虽然可以利用激光点云数据对输电走廊进行建模，以此来实现无人机自动巡航的功能，但是激光设备价格高，质量大且功耗严重，并不适合无人机长时间作业。

综上所述，本发明设计出一种基于图像识别的无人机输电线巡检系统，该系统可以通过分析无人机采集的图像，控制无人机沿电力杆塔之间输电线移动，以此来达到无人机巡航以及输电线异常检测的目的。

技术实现要素：

为解决现有技术存在的问题，本发明提供一种基于深度学习图像识别的无人机输电线巡检方法，用以实现无人机对输电线的自动巡检作业，以此来达到提高巡检效率并降低成本的目的。

为实现上述目的，本发明提供如下技术方案：

一种基于深度学习图像识别的无人机输电线巡检方法，包括以下步骤，

s01：对无人机搭载的云台设备所拍摄的第一图像通过预训练的神经网络进行图像识别，提取出所述第一图像中的目标点，所述目标点包括但不限于防震锤、接线销钉、绝缘子；

s02：所述神经网络对所述目标点进行框选，并将所述目标点的框选位置在所述第一图像中标记；

s03：将所述目标点的框选位置与标准位置进行比对，判断连接所述目标点的输电线相对于无人机的位置与角度，无人机移动至与输电线相平行的上方后，使无人机以高于输电线的状态对处于下方的输电线拍摄以获得关键帧输电线图像，并通过所述神经网络对所述关键帧输电线图像中的输电线进行识别并输出输电线的加权像素坐标，对所述关键帧输电线图像中每个像素在x轴、y轴方向上归一化后的坐标与所述加权像素坐标组成的三维坐标列表进行最小二乘拟合运算，输出最拟合曲线的参数，以判断出输电线的走向；

s04：无人机根据判断出的输电线的走向，自主调整角度与方向，使其与输电线平行，并沿输电线进行巡检；

s05：当所述神经网络识别出下一电力杆塔上的所述目标点后，确认完成两个电力塔杆之间的输电线的巡检。

优选的，对输电线识别的过程包括以下步骤，

s301：通过坐标归一化模块对所述关键帧输电线图像的像素坐标进行归一化，得到输入的所述关键帧输电线图像中的每个像素i在x轴方向坐标归一化后xi坐标以及在y轴方向坐标归一化后的与yi坐标；

s302：对所述xi坐标与yi坐标配置权重wi，所述权重wi为由所述神经网络预测并输出的所述加权像素坐标的平方值，将生成的所述权重wi、xi坐标与yi坐标进行平铺，得到所述关键帧输电线图像中每个像素i的三维坐标(xi，yi，wi)组成的列表；

s303：将步骤s302中获得的由三维坐标(xi，yi，wi)组成的列表输入至最小二乘拟合模块，通过加权最小二乘法进行曲线的拟合，输出最拟合曲线的参数；

s304：将输出的最拟合曲线的参数与损失函数中的输电线真实曲线进行比较，并将损失函数的结果通过反向传播方法传递至所述神经网络以进行权重wi的更新并通过梯度下降以进行迭代，实现对输电线的识别过程的优化。

优选的，所述神经网络采用多任务框架，所述神经网络的输电线识别算法框架如下：所述神经网络包括权重图模块、输电线预测模块及输电线分类模块且其三者之间对编码共享，所述权重图模块用于输出所述关键帧输电线图像中的各像素的权重wi，所述输电线预测模块用于完成回归操作，以估计输电线的走向，所述输电线分类模块用于确定所述关键帧输电线图像中对应的像素区域是否存在输电线。

优选的，所述神经网络为erfnet网络的模型结构，erfnet网络的模型结构基于segnet与enet，采用encoder-decoder架构，其整个模型包含23层，其中1-16层为encoder,17-23层为decoder；其中encoder中的non-bottleneck-1d与downsampler结构实现特征提取，non-bottleneck-1d结构将两个3×3的二维卷积拆分成两组3×1、1×3一维卷积；downsampler结构实现图像的下采样，输入特征图分别经过卷积核尺寸为3×3，步长为2的卷积层和尺寸为2x2，步长为2的最大池化层，并将两个输出特征图相结合作为图像降采样的结果输出。

与现有技术相比，本发明的有益效果是：

本发明通过对输电线路进行拍照，通过基于深度学习的图像识别方法，识别出电力杆塔上的目标点，判断连接目标点的输电线相对于无人机的位置与角度，通过神经网络对关键帧输电线图像中的输电线进行识别并输出输电线的加权像素坐标，对关键帧输电线图像中每个像素在x轴、y轴方向上归一化后的坐标与加权像素坐标组成的三维坐标列表进行最小二乘拟合运算，输出最拟合曲线的参数，以判断出输电线的走向。本申请通过将输电线端点识别出来，进而确定输电线的起始及结束位置，降低了输电线识别的复杂程度；通过神经网络及最小二乘拟合运算，可以实现无人机对电力杆塔的自动巡检，而无需飞手或数据处理人员参与其中，从而提高电路巡检效率并降低巡检成本。

利用最小二乘法拟合运算能够拟合曲线以及可微的性质，实现端到端的方式训练输电线识别的方法，用以直接回归出输电线的拟合参数。神经网络通过采用多任务框架，神经网络的各模块对编码器可以共享，因此不需要减少框架的结构来地提高框架的检测速度。通过采用erfnet网络的模型结构，来更高效地完成图像分类和分割任务，以在精度和效率之间取得最佳平衡。

附图说明

图1为本发明实施例提供的一种输电线识别及无人机巡检流程图。

图2为本发明实施例提供的一种输电线识别模型图。

图3为本申请实施例提供的一种输电线识别算法框架。

图4为本申请实施例提供的一种erfnet神经网络结构图。

图5为本申请实施例提供的一种erfnet神经网络结构中的特征提取层non-bottleneck-1d。

图6为本申请实施例提供的基于最小二乘法的输电线识别效果图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见附图1所示，其为所提供的输电线识别及无人机巡检流程图。

一种基于深度学习图像识别的无人机输电线巡检方法，其特征在于：包括以下步骤，

s01：对无人机搭载的云台设备所拍摄的第一图像通过预训练的神经网络进行图像识别，提取出第一图像中的目标点，目标点包括但不限于防震锤、接线销钉、绝缘子；

s02：神经网络对目标点进行框选，并将目标点的框选位置在第一图像中标记；

s03：将目标点的框选位置与标准位置进行比对，判断连接目标点的输电线相对于无人机的位置与角度，无人机移动至与输电线相平行的上方后，使无人机以高于输电线的状态对处于下方的输电线拍摄以获得关键帧输电线图像，并通过神经网络对关键帧输电线图像中的输电线进行识别并输出输电线的加权像素坐标，对关键帧输电线图像中每个像素在x轴、y轴方向上归一化后的坐标与加权像素坐标组成的三维坐标列表进行最小二乘拟合运算，输出最拟合曲线的参数，以判断出输电线的走向；

s04：无人机根据判断出的输电线的走向，自主调整角度与方向，使其与输电线平行，并沿输电线进行巡检；

s05：当神经网络识别出下一电力杆塔上的目标点后，确认完成两个电力塔杆之间的输电线的巡检。

在上述过程中，传统的输电线识别通常采用两个步骤进行目标提取，首先是对输电线标记所在区域进行预测，然后使用拟合模型(抛物线或样条曲线)对输电线分割区域进行拟合，以此来提取出输电线以及预测出输电线的走向。这种多步骤目标提取方法的问题在于，网络并不是针对估计输电线曲率参数进行优化，而是对输电线的分割进行优化，这就导致模型的训练结果过并不令人满意。

由此，本发明利用端到端的方式训练输电线识别的方法，用以直接回归出输电线的拟合参数。该方法所用模型结构包括深度神经网络、可微分最小二乘拟合模块、可选择的几何损失函数。其中深度神经网络用于预测每条输电线的加权像素坐标。最小二乘拟合模块用于返回经过最小二乘拟合的每一帧图像的最优拟合曲线参数，并通过几何损失函数进行迭代更新。直接回归输电线参数。

如附图2，对输电线识别训练的过程包括以下步骤，

s301：通过坐标归一化模块对关键帧输电线图像的像素坐标进行归一化，得到输入的关键帧输电线图像中的每个像素i在x轴方向坐标归一化后xi坐标以及在y轴方向坐标归一化后的与yi坐标；

具体来说，每一关键帧的关键帧输电线图像中每一个像素的固定坐标由(x，y)表示，取值范围均为0到1之间，其中整个图像左上角像素的坐标是(0，0)，右下像素的坐标为(1，1)。这些坐标可以表示为与图像大小相同的两个固定特征图：一个包含每个像素的归一化x坐标，一个包含归一化y坐标。该固定特征图为定位作用。

s302：对xi坐标与yi坐标配置权重wi，权重wi为由神经网络预测并输出的加权像素坐标的平方值，将生成的权重wi、xi坐标与yi坐标进行平铺，得到关键帧输电线图像中每个像素i的三维坐标(xi，yi，wi)组成的列表；

具体来说，通过将神经网络设计为生成具有与输入的关键帧输电线图像相同的空间尺寸的特征图来实现，该特征图表示每个像素坐标的权重。为了将权重图限制为非负值，对神经网络的输出取平方值。本发明将输入的关键帧输电线图像中每个像素转化为由三维坐标(xi，yi，wi)组成的的列表。对于高度为h，宽度为w的图像，该列表包含m＝h·w个组合。该列表将作为最小二乘拟合模块的输入。

s303：将步骤s302中获得的由三维坐标(xi，yi，wi)组成的列表输入至最小二乘拟合模块，通过加权最小二乘法进行曲线的拟合，输出最拟合曲线的参数；

具体来说，最小二乘拟合模块获取m个组合的(xi，yi，wi)的列表，该列表可以理解为二维空间中的加权点，以此来通过加权最小二乘法来进行曲线的拟合(例如抛物线，样条曲线或其他多项式曲线)，之后输出该最拟合曲线的参数β。最小二乘法的曲线拟合过程及拟合曲线的计算为现有技术，本文不再赘述。

s304：将输出的最拟合曲线的参数与损失函数中的输电线真实曲线进行比较，并将损失函数的结果通过反向传播方法传递至神经网络以进行权重wi的更新并通过梯度下降以进行迭代，实现对输电线的识别过程的优化。

考虑到最拟合曲线的参数β的各个分量的敏感性不同，对于输电线识别，采用以下几何损失函数，以利用几何损失将图像平面中预测弯曲度和输电线真实弯曲度之间的平方面积最小化。

其中，t是一个设置好的固定值，(yβ(x)为预测的最拟合曲线的参数构成的函数曲线，为输电线真实的弯曲度构成的函数曲线。

按照上述几何损失函数设计损耗并通过最小二乘拟合模块进行反向传播，则可以通过梯度下降进行迭代进而使损失最小，从而使预测输电线位置向实际输电线位置收敛。

所述神经网络采用多任务框架，如附图3，本发明的输电线识别算法框架如下：神经网络包括权重图模块、输电线预测模块及输电线分类模块且其三者之间对编码共享，权重图模块用于输出关键帧输电线图像中的各像素的权重wi，输电线预测模块用于完成回归操作，以估计输电线的走向，输电线分类模块用于确定关键帧输电线图像中对应的像素区域是否存在输电线。

在反向传播之前，所有任务的损失都被表示为线性方程，并且本发明完整地训练了整个框架。此外，在训练期间不使用任何分割蒙版。

如附图4、5所示，神经网络为erfnet网络的模型结构，erfnet网络可以实现实时精准的逐像素语义分割，该架构可以获得非常高的分割精度，同时保持最高的效率，所以在准确性与高效性之间有着极好的平衡。erfnet网络的核心在于构建了一个以残差连接与分离卷积为组件的特征提取层(如附图5)，目的是最大程度的在提升网络获取特征的能力的同时减小计算量，可以对不同类型的任务进行端到端的训练，在像素层面对图像中的多个类别对象实现准确的分类。

erfnet网络的模型结构基于segnet与enet，采用encoder-decoder架构，其整个模型包含23层，其中1-16层为encoder,17-23层为decoder；其中encoder中的non-bottleneck-1d与downsampler结构实现特征提取，non-bottleneck-1d结构将两个3×3的二维卷积拆分成两组3×1、1×3一维卷积；downsampler结构实现图像的下采样，输入特征图分别经过卷积核尺寸为3×3，步长为2的卷积层和尺寸为2x2，步长为2的最大池化层，并将两个输出特征图相结合作为图像降采样的结果输出。

erfnet网络的模型结构是将来自不同层的特征图进行融合，以此来获得细粒度输出。具体而言，该模型结构使用编码器段进行下采样，并产生下采样的特征图。之后使用解码器段进行上采样，以此得到与原图像分辨率相匹配的特征图。使用特征提取层non-bottleneck-1d结构来完成编码器段与解码器段之间的跳跃式参数传递连接，以达到保护信息完整性，提高准确率的目的。在表中，对于标记为“dilated”的模块，使用图像膨胀操作，所使用的卷积改为两对3x1和1x3的卷积，如图4、5。另外，在特征提取层中增加dropout操作以此降低数据量并防止过拟合的发生。通过上述步骤，可以使输电线预测像素面积进行扩充，并率除掉不属于输电线的连通区域。

具体而言，如初始图像输入格式为1024*512*3，经过编码模块，编码器模块主要结构为3×3卷积，步长strides为2，通道数为16，以及尺寸为2x2，步长为2的maxpooling层。

maxpooling层的功能主要是将整个图片不重叠的分割成若干个同样大小的小块(poolingsize)。每个小块内只取最大特征点，再舍弃其他节点后，保持原有的平面结构得出输出。在经过maxpooling层后，可以将不同位置的相似特征映射到低维空间的相同区域，这就减小下一层输入大小，减小计算量和参数个数，降维并增加感受野。

使用iou指标对erfnet网络进行评估：

其中tp，fp和fn代表以像素为级别，被模型预测为正类的正样本、被模型预测为正类的负样本、被模型预测为负类的正样本。其中样本正类是图像中包含输电线的像素，负类是像素中不好含输电线的像素，即背景像素。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。