一种巡检机器人的基于双目视觉的输电线路在线检测方法与流程

本发明涉及图像处理与机器学习领域，尤其涉及一种巡检机器人的基于双目视觉的输电线路在线检测方法。

背景技术

输电线路担负着电力传输的重要职责，对输电线路的定期巡检是有效保证输电线路及其设备安全运行的一项基础性工作，随着我国经济的高速发展，超高压、大容量、长距离输电线路越建越多，现有的输电线路通道资源变得日趋紧张，输电线路越来越远离城市和主要干道，线路走廊穿越的地理环境更加复杂。传统的人工巡检的作业方式，越来越受到自然条件的限制，无法满足实际的需求，采用直升机的输电线路巡检方式成本较高，调动不便。所以目前高压巡线正渐向智能巡检机器人巡检发展，智能巡检机器人的任务是通过自主信息采集与处理来获知输电线路及其周围环境的状态，为运维检修提供信息支持。准确的输电线路在线异常检测是巡检过程中最重要的一环，对智能巡检机器人的商业应用具有重要意义。

专利申请号为201711261480.7，名为《基于多层卷积神经网络的输电线路自动识别系统及方法》的中国专利申请，包括：设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物体位置信息；目标跟踪模块：根据检测到的物体位置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。该方法利用yolo方法进行输电线路的识别，是一种以精度换速度的方法，采用较浅层的神经网络架构，在速度上较主流神经网络方法有一定提升，但是精度却相差许多，无法同时保证速度和精度。

专利申请号为201710605607.6，名为《一种用于输电线路部件智能自动识别的方法》，包括以下步骤：s1、无人机巡检输电线路原图像作为图像源，手动标记杆塔、绝缘子、均压环、间隔棒等部件在原图像中的位置，并给每个部件添加属性标签，构建输电线路部件识别训练数据集合。s2、利用卷积神经网络与特征金字塔网络，提取输电线路图像多层次特征。s3、以提取到的图像特征和标定的标签数据为训练输入数据，计算位置敏感得分图，并计算分类与回归网络的损失值，利用随机梯度下降法优化分类网络与回归网络的参数，从而实现训练数据中部件的最优分类与定位。s4、根据输电线路识别训练得到的训练参数，初始化检测网络，批量导入输电线路巡检数据，实现部件的自动定位与分类。该方法利用r-fcn的方法对输电线路部件进行自动识别，无法达到在线检测，异常预警的效果。

现有的基于神经网络输电线路检测方法往往是基于单目相机，只能进行输电线路部件检测，或者输电线路异物检测等，无法同步计算与目标之间的距离，并且无法兼顾精度与速度。

技术实现要素：

本发明的目的在于提供一种巡检机器人的基于双目视觉的输电线路在线检测方法，可解决智能巡检机器人在进行高压巡线任务时，通过双目相机同时解决输电线路部件和异物检测和目标距离计算的问题。

为实现上述目的，本发明的技术方案如下：

一种巡检机器人的基于双目视觉的输电线路在线检测方法，包括如下步骤；

步骤一：收集巡检机器人拍摄的原图像，在图像中标注输电线路部件的位置并添加标签信息，制作输电线路部件数据样本集；

步骤二：对输电线路部件数据样本集进行样本训练，利用卷积神经网络和特征金字塔网络，提取样本图像多层次特征，得到特征图；

步骤三：以特征图为输入，利用区域建议网络，生成区域候选框；

步骤四：以区域候选框对应的特征区域图像和标注好的标签信息为输入进行分类、回归和掩模网络的训练，得出输电线路检测模型；

步骤五：将输电线路检测模型布入神经元计算棒中，神经元计算棒连接巡检机器人，巡检机器人通过双目相机获取待检测图像并传入神经元计算棒进行分析处理，得出待检测图像中输电线路部件的分类、定位和分割结果；

步骤六：根据分割结果，进行连通域分析，辨别输电线路有无异物，同时根据分割结果计算巡检机器人到输电线路部件以及异物的距离。

上述方案中，步骤一中制作输电线路部件数据样本集具体包括：在收集的原图像中，以矩形框标定输电线路部件的上下左右边界，输电线路部件的标签记为对应部件的名称，矩形的左上角和右下角坐标分别记为xmin，ymin，xmax，ymax，并将信息写入文件。

上述方案中，步骤二中利用卷积神经网络和特征金字塔网络，提取样本图像多层次特征的具体步骤为：

卷积神经网络：将输电线路数据样本集输入卷积神经网络，采用resnext-101卷积网络前100层的网络，通过优化各层参数，实现图像高层语意特征提取；

特征金字塔网络：在卷积网络的同时，特征金字塔网络通过低分辨率、高语义信息的高层特征和高分辨率、低语义信息的底层特征两种特征进行自上而下的侧边连接，实现所有(尺度下)层的特征具有语义信息。

上述方案中，步骤四中进行分类、回归和掩模网络的训练，具体步骤为：

分类网络：将区域候选框对应的特征区域图像作为输入，对特征区域图像双线性插值后送入分类网络分支产生c+1维的向量，c+1维的向量归一化：其中，c表示类别个数，pi为感兴趣区域预测为第i个类别的概率；

定义分类的损失函数为：

lcls(pi,pi^*)＝-log[pi^*pi+(1-pi^*)(1-pi)]

pi^*为当感兴趣区域为正样本时为1，负样本是为0；

回归网络：将区域候选框对应的特征区域图像作为输入，对特征区域图像双线性插值后送入回归网络分支产生4*(c+1)维的向量，c表示类别个数；

定义回归的损失函数为：

lreg(ti,ti^*)＝r(ti-ti^*)

其中，ti＝{tx,ty,tw,th}为向量，表示预测位置的4个参数化坐标，ti^*表示真实的位置坐标，r(ti-ti^*)表示smoothl1损失函数；

掩模网络：将区域候选框对应的特征区域图像作为输入，对特征区域图像双线性插值后送入掩模网络分支产生c*m²维度的输出，c表示类别个数，m表示特征图大小；

定义掩模网络的损失函数为：

lmask(cls_k)＝sigmoid(cls_k)

cls_k表示掩图的特征图，lmask(cls_k)是用过逐像素的sigmoid计算得到；

网络的整体训练的损失函数为：l＝lcls+lreg+lmask。

上述方案中，步骤五中，巡检机器人通过双目相机获取待检测图像并传入神经元计算棒进行分析处理，得出待检测图像中输电线路部件的分类、定位和分割结果的具体步骤为：

1)将待检测图像传入神经元计算棒，然后对输入图像进行深层卷积提取图像的高层特征，对提取到的高层特征进行多尺度分割和上采样，最后将卷积得到的特征与金字塔特征进行融合，得到最终特征图；

2)将最终特征图输入区域建议网络，生成特征图候选框，并进行极大值抑制，选择得分较高的前300个特征图候选框作为最终特征图候选框；

3)对每个特征图候选框内的特征区域图像依次送入分类、定位、掩模三个分支，进行softmax分类确定最终类别；对特征图候选框进行拟合确定最终目标位置；对生成的掩图进行逐像素计算，分割出最终目标。

本发明的巡检机器人的基于双目视觉的输电线路在线检测方法，具有以下有益效果：(1)能够降低巡检人员劳动强度、提高作业效率和智能化水平，同时又避免了直升机巡检高昂的费用问题；(2)基于神经元计算棒，实现在线检测、异常报警，避免后台处理的不及时性；(3)深层网络加特征金字塔的模式，大大提高了对输电线路部件的识别准确性，同时逐像素分割的性能又为输电线路上的异物检测提供了保障；(4)基于巡检机器人的双目相机，实现准确的距离计算，解决了目前只能检测物体的单一性。

附图说明

图1是本发明巡检机器人的基于双目视觉的输电线路在线检测方法的整体流程图；

图2是本发明特征金字塔特征网络原理图；

图3是本发明特征区域图像的分类、回归和掩模网络训练示意图；

图4是本发明输电线路检测流程图；

图5是本发明巡检机器人双目相机测距原理图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。

一种巡检机器人的基于双目视觉的输电线路在线检测方法，如图1所示，包括如下步骤；

步骤一：制作输电线路部件数据样本集：收集巡检机器人拍摄的原图像，在收集的原图像中，在图像中标注输电线路部件的位置并添加标签信息，以矩形框标定输电线路部件的上下左右边界，输电线路部件的标签记为对应部件的名称，矩形的左上角和右下角坐标分别记为xmin，ymin，xmax，ymax，并将信息写入文件。

步骤二：对输电线路部件数据样本集进行样本训练，利用卷积神经网络和特征金字塔网络，提取样本图像多层次特征，得到具有多尺度特征图；

卷积神经网络：将输电线路数据样本集输入卷积神经网络，采用resnext-101卷积网络前100层的网络，通过优化各层参数，实现图像高层语意特征提取；

特征金字塔网络：如图2所示，在卷积网络的同时，特征金字塔网络通过低分辨率、高语义信息的高层特征和高分辨率、低语义信息的底层特征两种特征进行自上而下的侧边连接，实现所有尺度下的特征具有语义信息。

步骤三：通过卷积神经网络和特征金字塔网络的相结合，可以提取到具有多尺度信息的特征图，然后以多尺度特征图为输入，输入区域生成网络，生成区域候选框。采用{1:1,1:2,2:1}，3种比例，以及3种特征金字塔，总共9种区域提取框，生成一系列区域候选框，采用极大值抑制，选择得分较高的300个区域候选框作为最后的区域候选框。

步骤四：以区域候选框对应的特征区域图像和标注好的标签信息为输入，进行分类、回归和掩模网络的训练，计算分类网络、回归网络、掩模网络的损失值，利用随机梯度下降法优化分类网络、回归网络与掩模网络的参数，得出输电线路检测模型；

如图3所示：

分类网络：将区域候选框对应的特征区域图像作为输入，对区域候选框对应的特征区域图像双线性插值到7*7大小，然后经过两个1024维的全连接层，以全连接层的结果为输入，送入分类网络分支产生c+1维的向量，c+1维的向量归一化：其中，c表示类别个数，pi为感兴趣区域预测为第i个类别的概率；

定义分类的损失函数为：

lcls(pi,pi^*)＝-log[pi^*pi+(1-pi^*)(1-pi)]

-log[pi^*pi+(1-pi*⁾(1-pi)]为交叉熵损失函数。

正负样本的判断为：正负样本采用候选区域与真实标注的边框的重叠率(iou)进行判断，定义候选区域为ra，真实区域为rb，则本发明中设定iou≥0.7为正样本，反之为负样本。

回归网络：将区域候选框对应的特征区域图像作为输入，对区域候选框对应的特征区域图像双线性插值到7*7大小，然后经过两个1024维的全连接层，以全连接层的结果为输入，送入回归网络分支产生4*(c+1)维的向量，c表示类别个数；

定义回归的损失函数为：

lreg(ti,ti^*)＝r(ti-ti^*)

其中，ti＝{tx,ty,tw,th}为向量，表示预测位置的4个参数化坐标，ti^*表示真实的位置坐标，r(.)表示smoothl1损失函数，r(ti-ti^*)＝smoothl1(ti-ti^*)；

掩模网络：将区域候选框对应的特征区域图像作为输入，对区域候选框对应的特征区域图像双线性插值到14*14大小，然后以3*3的卷积核卷积4次得到14*14*256的特征图，再以2*2且步长为2进行反卷积得到28*28*256的特征图，以此为输入产生c*m²维度的输出，c表示类别个数，m表示特征图大小；

定义掩模网络的损失函数为：

lmask(cls_k)＝sigmoid(cls_k)

cls_k表示掩图的特征图，lmask(cls_k)是用过逐像素的sigmoid计算得到；

网络的整体训练的损失函数为：l＝lcls+lreg+lmask。

如图4所示，输电线路的检测流程包括步骤五和步骤六部分：

步骤五：将输电线路检测模型布入神经元计算棒中，神经元计算棒连接巡检机器人，巡检机器人通过双目相机获取待检测图像并传入神经元计算棒进行分析处理，得出待检测图像中输电线路部件的分类、定位和分割结果；

首先，将待检测图像传入神经元计算棒，然后对输入图像进行深层卷积提取图像的高层特征，对提取到的高层特征进行多尺度分割和上采样，最后将卷积得到的特征与金字塔特征进行融合，得到最终特征图；

其次，将最终特征图输入区域建议网络，生成特征图区域候选框，并进行极大值抑制，选择得分较高的前300个特征图区域候选框作为最终特征图区域候选框；

最后，对每个特征图候选框所对应的特征区域图像依次送入分类、定位、掩模三个分支，进行softmax分类确定最终类别；对特征图区域候选框所对应的特征区域图像进行拟合确定最终目标位置；对生成的掩图进行逐像素计算，分割出最终目标。

步骤六：根据逐像素的分割结果，进行连通域分析，辨别输电线路是否存在异物，当检测到异物时，通过报警系统及时在线报警，同时结合异物位置在左右相机中的成像即可计算出巡检机器人距离异物和输电线路部件的距离。

如图5所示，双目相机测距原理图，双目测距主要是利用目标点在左右两幅视图上成像的横向左边之间存在视差d与目标点到成像屏幕的距离z之间的相互比例关系，即：z/b＝f/d，f为焦距，b为两个相机中心间的距离，均为已知参数，d＝xleft-xright利用获取的左右相机图像的坐标差即可计算出距离z。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是，以上所述仅为本发明的具体实施方式，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应含在本发明的保护范围之内。