一种架空输电线路巡检机器人障碍物检测方法与流程

1.本发明涉及机器视觉技术领域，尤其涉及一种架空输电线路巡检机器人障碍物检测方法。


背景技术：

2.随着电网智能化水平的提高，输电线路智能化巡检成为电网运行不可缺少的一部分。架空输电线路巡检机器人的发展对智能化巡检有着重要的作用，其不仅可以代替人工巡检，还不受天气和环境的影响，可以全天候长续航运行。为了实现连续的自主巡检，机器人需要提前识别前方存在于行走线路上的障碍物，并根据障碍物类型和位置信息执行相应的越障动作。地线上的常规障碍物包括防震锤，线夹等线路金具，障碍物检测的可靠性对机器人的安全运行至关重要，错误的判断会造成巨大的安全隐患。另外，任何异常的障碍物如塑料薄膜，风筝，气球等都必须被准确识别，实时预警机器人减速并停止。
3.目前常用的线路障碍物检测方法主要包括：基于特征提取再分类的传统图像处理方法和基于卷积神经网络的深度学习方法。基于特征的方法包括：基于障碍物几何特征的结构约束方法，基于haar
‑
like特征的adaboost级联分类器和基于hog特征的svm分类器的两级检测模型；基于深度学习的方法大多使用人工标注的线路障碍物数据集训练经典的目标检测模型，包括yolo，ssd，faster
‑
rcnn等。由于目标障碍物的颜色和纹理特征不明显且同类障碍物形状差异较大，单纯基于特征提取的方法识别准确率较低，而且很难识别形状多变的异常障碍物；而单纯基于深度学习的模型需要使用包含所有障碍物类型的数据集合进行训练，对未知类型异常障碍物的鲁棒性较低，且计算量很大，实时性很难保证。
4.文献一《一种高压线路障碍物识别方法、装置、巡检机器人》(中国专利申请号201811133352.9)披露了一种高压线路障碍物识别方法。该方法是基于障碍物的几何基元特征和线路结构信息，识别障碍物的类型和位置。该方法只能适应于简单背景的巡检图像，且只能识别线路金具，无法识别地线上可能存在的异常障碍物。
5.文献二《一种巡检机器人越障方法、系统、存储介质及计算设备》(中国专利申请号201911234036.5)披露了一种基于yolov3轻量版模型的障碍物识别检测方法。该方法使用生成对抗网络扩充数据集，用于训练基于卷积神经网络检测模型，检测线路上的障碍物。该方法虽然使用了轻量版模型，但是参数量依然较大，依赖高性能计算平台，长时间运行功耗较大；且受训练集数据丰富度影响大，鲁棒性很难保证。


技术实现要素：

6.发明目的：提供一种架空输电线路巡检机器人障碍物检测方法，本发明综合结合视觉特征分析算法与深度神经网络模型的工作原理以解决现有技术中存在的障碍物识别类型单一，无法识别异常障碍物，以及采用网络模型运算体系复杂，计算时间长，鲁棒性低的技术问题。
7.技术方案：一种架空输电线路巡检机器人障碍物检测方法，包括如下工作步骤：
8.采集机器人行走地线上的视频信息；
9.根据视频信息，基于机器人行走地线的轮廓特征对机器人行走地线上有无障碍物进行预判；
10.若机器人行走地线上有障碍物，则将预判存在有障碍物的图像输入至训练好的卷积神经网络模型中，以获取障碍物类别、障碍物目标框位置、以及障碍物目标框置信度；
11.根据障碍物位置测算障碍物与机器人的距离，将障碍物类别及障碍物与机器人的距离作为检测结果输出。
12.在进一步的实施例中，对机器人行走地线上有无障碍物进行预判的方法包括：
13.定位图像中机器人行走地线所在区域；对机器人行走地线所在区域进行区域分割，提取机器人行走地线轮廓；
14.若机器人行走地线轮廓发生突变，则判断机器人行走地线上有障碍物；否则，进一步对机器人行走地线轮廓进行形态分析，若机器人行走地线轮廓形态不完整，则判断机器人行走地线上有障碍物。
15.在进一步的实施例中，定位图像中机器人行走地线所在区域的方法包括：从视频信息中提取包含机器人行走地线的单帧原始图像；对所提取的单帧原始图像进行高斯滤波及灰度转换，获取相应的灰度图；对所述灰度图进行边缘检测，获取边缘图像；通过概率霍夫变换直线检测算法提取边缘图像中的直线；对检测到的所有直线进行基于斜率的聚类，获得聚集的平行线群，用于定位机器人行走地线所在区域。
16.其中，根据视频采集传感器采集的原始视频提取单帧原始图像中心包含一段地线的核心区域；由于视频采集传感器与机器人本体采用的是固定连接的方式，因此视频采集传感器中光轴与竖直方向的角度α是固定夹角范围，且机器人本体与其所行走的地线的相对位置也是固定的，因此在视频采集传感器采集到的单帧图像中，地线所在的相对位置总是处于整幅图像的中轴线附近；即使机器人在一定角度范围内摆动，地线的相对位置依然处于图像中轴线左右可控小范围之内；因此从1920*1080像素的原始图像中裁剪出416*416的核心区域作为判断障碍物有无模块的输入；核心区域的提取有效地缩小了需要处理图像的尺寸，并且比直接缩放保留了更多图像细节；同时限定了识别区域的距离范围，减少远处线路图像对当前状态判断的影响的同时减少模型计算时间。
17.在进一步的实施例中，机器人行走地线所在区域进行区域分割的方法包括：
18.使用otsu最大类间方差法对灰度图进行前背景分割，视频采集传感器光轴与竖直方向的夹角α等于45
°
时，视频采集传感器呈45度角朝上方天空拍摄，为了防止视频采集传感器采集的画面中出现飞鸟、飞机以及其它空中飞行干扰物体被分类为前景，在图像二值化后再基于深度图中像素深度阈值进一步过滤背景像素点，生成只保留前景的二值图；对二值图像进行形态学开操作，分离可能粘连的区域并进一步去除噪声。
19.在进一步的实施例中判断机器人行走地线轮廓发生突变的方法包括：
20.根据机器人行走地线轮廓生成地线区域轮廓的凸包，对根据机器人行走地线轮廓凸包进行凸缺陷检测，若存在超过设定阈值的凸缺陷，则判断机器人行走地线轮廓发生突变；由于本发明中机器人行走地线上的障碍物附属在地线上，若地线上存在障碍物，凸包检测结果会包含显著的凸缺陷。
21.此外，当出现地线被白色塑料薄膜、透明物体遮盖时，会出现地线形态不完整，地
线的形状将呈现被隔开的两段；导致无法对地线区域进行分割，进而对提取的地线区域轮廓进行形态分析，若地线形态不完整则同样判断为有障碍物。
22.在进一步的实施例中，所述卷积神经网络模型包括：分组卷积层、融合卷积模块以及批量归一化层，且所述分组卷积层、所述融合卷积模块以及所述批量归一化层交替组合；所述分组卷积层数量为8个、融合卷积模块数量为3个；每个融合卷积模块包含4个分组卷积层。
23.在进一步的实施例中，所述卷积神经网络模型的训练方法包括：
24.将所述卷积神经网络模型最后两层分组卷积层替换为全局均值池化层接上全连接层和softmax层构成一个分类模型，使用公共数据集训练该分类模型，训练完成后冻结特征提取层的参数作为本发明中所述卷积神经网络模型的主干网络初始参数；
25.使用标注好的线路障碍物数据集对所述卷积神经网络模型进行微调。
26.在进一步的实施例中，在判断运动方向有障碍物后，将采集的网络图像输入卷积神经网络模型，所述融合卷积模块通过1
×
1的卷积核，基于n个通道的特征图输入，输出两个拥有n/2个通道的特征图分支；其中一个分支使用一层3
×
3分组卷积，另一分支使用两层3
×
3分组卷积；两个分支的输出结果通过合并操作，生成n个通道的特征图，在本实施中图像尺寸缩放为384
×
256像素，其被分为6
×
4个网格，每个网格被设置为负责检测两个障碍物，基于该神经网络的障碍物检测模型输出结构为6
×4×
22尺寸的矩阵，每个网格检测2个目标；每个目标输出用11个参数表示，包括目标框置信度、中心点坐标、长宽以及属于6个类别的概率。
27.在进一步的实施例中，所述障碍物的类型包括：3种线路常规金具、以及3种已知类型异常障碍物；所述线路常规金具包括：防震锤、线夹和过桥金具；所述异常障碍物包括：气球、塑料袋和风筝。
28.该障碍物检测模型的损失函数为:
[0029][0030]
其中，其中表示在第i网格的第j个候选框中是否存在目标，σ
x
和σ
y
表示预测目标框中心点坐标误差，w
i
表示预测的目标框宽度，表示实际存在的目标框宽度，h
i
表示预测的目标框高度，表示实际存在的目标框高度，cf表示预测的目标框置信度，表示预测的目标属于第c类的概率，表示实际目标属于第c类的概率，classes表示所有的目标类别，δ
obj
表示存在目标时的惩罚系数，δ
noobj
表示不存在目标时的惩罚系数，表示实际目标框的置信度。
[0031]
在进一步的实施例中，测算障碍物与机器人的距离的方法包括：
[0032]
将图中包含障碍物的边框作为目标框，对目标框内像素进行基于像素深度的聚类，实现障碍物区域像素级分割；
[0033]
去除机器人行走地线所在区域的像素点；求剩余像素的最小值，获得障碍物到视频采集传感器的距离；
[0034]
将障碍物到视频采集传感器的距离转换为障碍物距离机器人前行走轮的距离。
[0035]
有益效果：本发明与现有技术相比具有以下优点：
[0036]
(1)采用有无障碍物预判断模块，高效地排除了不存在障碍物的场景，避免了深度神经网络长时间运行推理，显著地减少了计算资源的消耗和提高障碍物的识别效率；
[0037]
(2)采用基于地线轮廓特征的有无障碍物判断算法，可以高精确地检测到地线边缘的突变，对未知类型异常障碍物的检测有很好的鲁棒性；
[0038]
(3)障碍物检测模型由少量分组卷积层和融合卷积模块构成，在保证检测精度的同时，有效地减少了网络的参数量，提高了实时性。
附图说明
[0039]
图1是本发明的障碍物检测方法完整流程图。
[0040]
图2是本发明的判断有无障碍物算法流程图。
[0041]
图3是本发明的障碍物检测神经网络模型图。
具体实施方式
[0042]
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
[0043]
为了实现连续的自主巡检，机器人需要提前识别前方存在于行走线路上的障碍物，并根据障碍物类型和位置信息执行相应的越障动作。地线上的常规障碍物包括防震锤，线夹等线路金具，障碍物检测的可靠性对机器人的安全运行至关重要，错误的判断会造成巨大的安全隐患，申请人发现现有的采用视觉识别原理的巡检机器人在障碍物判断上识别障碍物的种类和能力有限，以及判断计算过程过于缓慢，进而造成对未知类型异常障碍物的鲁棒性较低，实时性难以把控。
[0044]
如图1所示的一种架空输电线路巡检机器人障碍物检测方法的工作流程如下：
[0045]
步骤1：在机器人本体的左右两侧固定安装视频采集传感器，且视频采集传感器光轴与竖直方向的夹角为α，所述视频采集传感器拍摄和采集与机器人运动方向一致的视频，发送至有无障碍物预判断模块用于障碍物检测。
[0046]
步骤2：根据步骤1中采集的视频信息预判断有无障碍物，定位地线所在区域，提取地线区域轮廓，通过检测地线轮廓异常以及完整性判断地线上有无障碍物。
[0047]
步骤3：判断运动方向有障碍物后，将采集数据输入卷积神经网络模型，将预判为存在障碍物的图像缩放为指定尺寸，输入训练好的模型中，预测出图中障碍物的类别，位置以及目标框置信度。
[0048]
步骤4：根据障碍物检测模型预测出的障碍物的类别，位置以及目标框置信度，对
障碍物进行测距与预警；计算障碍物与传感器之间的距离，并将类别与距离信息返回到机器人控制节点；若出现未知类型的障碍物，则返回预警信号，提示机器人紧急制动。
[0049]
其中，本发明在实际使用中正常情况下地线上的线路金具如防震锤，线夹等，仅存在于塔头附近，因此机器人大多数时间在无障碍物的地线上行走；若障碍物有无预判断模块未识别到前方障碍物的存在，则结束当前帧的检测流程，继续下一帧的检测；大多数帧由于不包含障碍物，将在预判断模块被快速排除，显著地减少了计算资源的消耗。
[0050]
线路上的障碍物包括：已知的线路金具如防震锤，线夹和过桥金具；已知的异常障碍物如风筝，气球和塑料薄膜；未知类型的异常障碍物如异常的突起，凹陷。若障碍物有无预判断模块识别到前方地线上存在障碍物，则将当前帧图像输入障碍物检测模块，通过障碍物检测神经网络预测出图中障碍物的类别，边框的位置和目标框置信度；若障碍物检测模块检测到常规线路金具，则将障碍物边框位置输入障碍物测距模块，然后输出障碍物类型和障碍物到机器人的距离，机器人按照金具类型采取不同的越障动作，自主通过障碍物；若障碍物为已知类型的异常障碍物，则在执行障碍物测距模块后输出障碍物类型，距离和报警信息，机器人减速行走到与障碍物指定距离后停止，并拍摄高清障碍物图像返回到现场工作人员的终端设备，进行手动控制；若障碍物检测模块未检测到已知类型的障碍物，则直接输出报警信息，指示机器人紧急制动，并返回图像到现场工作人员，进行手动控制。
[0051]
如图2所示本发明中的障碍物有无预判断模块是基于地线轮廓提取，对边缘特征形态分析而实现的，结合图2对步骤2中预判断有无障碍物的方法进一步地说明：
[0052]
步骤2.1：根据视频采集传感器采集的原始视频，提取单帧原始图像；提取的单帧原始图像中心包含一段地线的核心区域；由于视频采集传感器与机器人本体采用的是固定连接的方式，因此视频采集传感器中光轴与竖直方向的角度α是固定夹角范围，且机器人本体与其所行走的地线的相对位置也是固定的，因此在视频采集传感器采集到的单帧图像中，地线所在的相对位置总是处于整幅图像的中轴线附近；即使机器人在一定角度范围内摆动，地线的相对位置依然处于图像中轴线左右可控小范围之内；因此从1920*1080像素的原始图像中裁剪出416*416的核心区域作为判断障碍物有无模块的输入；核心区域的提取有效地缩小了需要处理图像的尺寸，并且比直接缩放保留了更多图像细节；同时限定了识别区域的距离范围，减少远处线路图像对当前状态判断的影响的同时减少模型计算时间。
[0053]
步骤2.2：对提取图像进行高斯滤波，实现平滑处理；再对平滑处理后的图像进行灰度转换。
[0054]
步骤2.3：使用边缘检测算法提取图像边缘；本发明中采用使用canny边缘检测算法提取图像边缘。
[0055]
步骤2.4：定位地线所在的位置和区域；基于平行线群检测的地线位置定位由于地线的边缘是两条相互靠近的几乎平行的长直线，与其它杆塔部件及背景有显著的差异，可作为地线位置判断主要依据；通过累计概率霍夫变换检测边缘提取图中的直线，对检测到的所有直线进行基于斜率的聚类，获得聚集的平行线群，即可用于定位地线所在的位置。
[0056]
步骤2.5：对定位的地线所在区域进行分割；优选地，步骤2.5中对定位的地线所在区域进行分割进一步地为：
[0057]
使用otsu最大类间方差法对灰度图进行前背景分割，视频采集传感器光轴与竖直方向的夹角α等于45
°
时，视频采集传感器呈45度角朝上方天空拍摄，为了防止视频采集传
感器采集的画面中出现飞鸟、飞机以及其它空中飞行干扰物体被分类为前景，在图像二值化后再基于深度图中像素深度阈值进一步过滤背景像素点，生成只保留前景的二值图；对二值图像进行形态学开操作，分离可能粘连的区域并进一步去除噪声；提取图中各个区域的轮廓，基于步骤2.4中的方法确认的地线所在位置，确定地线区域。
[0058]
步骤2.6：提取分割后地线区域的轮廓；检测地线轮廓是否存在显著突变进一步地为：
[0059]
首先生成地线区域轮廓的凸包，然后进行凸缺陷检测，超过阈值的凸缺陷为轮廓显著突变；由于障碍物附属在地线上，整体轮廓呈凸起状，若地线上存在障碍物，凸包检测结果会包含显著的凸缺陷。
[0060]
步骤2.7：根据提取的地线轮廓检测地线轮廓是否存在显著突变，以此判断为障碍物；此外，当出现地线被白色塑料薄膜、透明物体遮盖时，会出现地线形态不完整，地线的形状将呈现被隔开的两段；导致无法对地线区域进行分割，进而对提取的地线区域轮廓进行形态分析，若地线形态不完整则同样判断为有障碍物。
[0061]
步骤2.8：若未检测到显著的轮廓突变，对提取的地线区域轮廓进行形态分析，若地线形态不完整，则同样判断为有障碍物。
[0062]
本发明中卷积神经网络模型包括：分组卷积层、融合卷积模块以及批量归一化层，且所述分组卷积层、所述融合卷积模块以及所述批量归一化层交替组合；所述分组卷积层数量为8个、融合卷积模块数量为3个；每个融合卷积模块包含4个分组卷积层。该网络中的所有卷积层都使用分组卷积代替传统卷积，分组卷积可以有效地减少参数量，也可以减少冗余卷积核并防止模型过拟合。融合卷积模块的具体结构如图3中融合卷积模块部分所示，其融合卷积模块通过1
×
1的卷积核，基于n个通道的特征图输入，输出两个拥有n/2个通道的特征图分支；其中一个分支使用一层3
×
3分组卷积，另一分支使用两层3
×
3分组卷积；两个分支的输出结果通过合并操作，生成n个通道的特征图。融合卷积模块通过融合不同深度的特征层，提升了模型的特征提取能力，同时分支结构也减少了模型的参数量。
[0063]
优选地，在判断运动方向有障碍物后，将采集的网络图像输入卷积神经网络模型，图像尺寸缩放为384
×
256像素，其被分为6
×
4个网格，每个网格被设置为负责检测两个障碍物，数据集中障碍物类型包括3种线路常规金具包括和3种已知类型异常障碍物，线路金具包括防震锤，线夹和过桥金具；异常障碍物包括气球，塑料袋和风筝。该障碍物检测模型网络输出结构为6
×4×
22尺寸的矩阵，每个网格检测2个目标；每个目标输出用11个参数表示，包括目标框置信度、中心点坐标、长宽以及属于6个类别的概率；
[0064]
该障碍物检测模型的损失函数为：
[0065][0066]
其中，其中表示在第i网格的第j个候选框中是否存在目标，σ
x
和σ
y
表示预测目标
框中心点坐标误差，w
i
表示预测的目标框宽度，表示实际存在的目标框宽度，h
i
表示预测的目标框高度，表示实际存在的目标框高度，cf表示预测的目标框置信度，表示预测的目标属于第c类的概率，表示实际目标属于第c类的概率，classes表示所有的目标类别，δ
obj
表示存在目标时的惩罚系数，δ
noobj
表示不存在目标时的惩罚系数，表示实际目标框的置信度。
[0067]
在进一步的实施例中，障碍物检测模型方法如下：
[0068]
步骤3.1：将卷积神经网络模型最后两层分组卷积层替换为全局均值池化层接上全连接层和softmax层构成一个分类模型，使用公共数据集训练该分类模型，训练完成后冻结特征提取层的参数作为本发明中所述网络的主干网络初始参数。
[0069]
步骤3.2：使用标注好的线路障碍物数据集对网络进行微调。
[0070]
所述步骤4进一步地为：
[0071]
将图中包含障碍物的边框作为目标框，对目标框内像素进行基于像素深度的聚类，实现障碍物区域像素级分割；去除机器人行走地线所在区域的像素点；求剩余像素的最小值，即可获得障碍物到视频采集传感器的距离；将障碍物到视频采集传感器的距离转换为障碍物到机器人前行走轮的距离。
[0072]
本发明采用有无障碍物预判断模块，高效地排除了不存在障碍物的场景，避免了深度神经网络长时间运行推理，显著地减少了计算资源的消耗和提高障碍物的识别效率；采用基于地线轮廓特征的有无障碍物判断算法，可以高精确地检测到地线边缘的突变，对未知类型异常障碍物的检测有很好的鲁棒性；障碍物检测模型由少量分组卷积层和融合卷积模块构成，在保证检测精度的同时，有效地减少了网络的参数量，提高了实时性。
[0073]
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。