一种基于双目视觉的线路覆冰厚度自动测量方法与流程

1.本发明属于输电线路潜在隐患识别技术领域，涉及线路覆冰厚度自动测量方法，尤其是一种基于双目视觉的线路覆冰厚度自动测量方法。


背景技术：

2.近年来，极端天气频繁出现，输电线路冰灾事故频繁发生，裸露在外的输电线路极其容易出现覆冰现象，这会引发导线舞动加剧、输电塔杆倒塌、输电线路短线等现象，引发输电线路断电，对电网的安全稳定运行将产生极大威胁。目前，线路覆冰测量主要采用杆塔安装的固监测设备摄影测量的方法，将覆冰前后的图像进行对比分析，计算覆冰厚度，监测范围和监测角度收到极大限制，同时，由于输电线路现场环境复杂多样，电路覆冰形状各种各样，现有的图像检测方法无法精准地识别出现覆冰现象的输电线路并将覆冰与背景相分离，这也对覆冰测量带来的巨大困难。
3.因此，如何研发一种能够自动监测输电线路覆冰厚度的测量方法，是本领域技术人员亟待解决的技术难题。
4.经检索，未发现与本发明相同或相近似的现有技术的文献。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提出一种设计合理、精度高且检测范围广的基于双目视觉的线路覆冰厚度自动测量方法。
6.本发明解决其现实问题是采取以下技术方案实现的：
7.一种基于双目视觉的线路覆冰厚度自动测量方法，包括以下步骤：
8.步骤1、利用巡检无人机靠近携带冰凌的输电线路，通过双目相机采集输电线路覆冰电缆双目图像；
9.步骤2、对步骤1所采集的输电线路覆冰电缆双目图像进行矫正，得到校正后的输电线路覆冰电缆双目图像；
10.步骤3、对步骤2校正后的输电线路覆冰电缆双目图像进行立体匹配，构建双目成像模型，得到深度图和三维点云，与此同时，利用步骤2校正后的输电线路覆冰电缆双目图像的左图进行覆冰输电线路检测，获取覆冰输电线路的边界框；
11.步骤4、在步骤3获取覆冰输电线路的边界框里结合深度图、校正后的输电线路覆冰电缆双目图像的左图进行图像分割，将边界框内的覆冰电缆与背景进行分离；
12.步骤5、基于步骤4获得的边界框内的覆冰电缆与背景的分割结果，检测覆冰边缘并将覆冰边缘分为上下边缘两部分，计算下边缘相邻点斜率寻找普通覆冰和冰凌处测量点，依据步骤3得到的三维点云结果，每一个图像上的二维点对应三维点云中的一个三维点，将二维测量点映射到三维空间通过欧氏距离完成覆冰厚度测量。
13.而且，所述步骤2的对步骤1所采集的输电线路覆冰电缆双目图像进行矫正，得到校正后的输电线路覆冰电缆双目图像的具体步骤包括：
14.(1)采用与距中心的距离有关的二次及高次多项式函数进行矫正，公式如下：
[0015][0016]
式中(x,y)是畸变点在成像仪上的原始位置，表示该点与图像中心像素点的距离，(x
distorted
,y
distorted
)是校正后的新位置，k1，k2，k3为三阶径向畸变系数；
[0017]
(2)切向畸变由成像平面与透镜平面的夹角导致，本发明使用如下公式进行矫正：
[0018][0019]
式中p1，p2为切向畸变系数，表示该点距离成像中心的距离。
[0020]
(3)得到校正后的输电线路覆冰电缆双目图像。
[0021]
而且，所述步骤3的对步骤2校正后的输电线路覆冰电缆双目图像进行立体匹配，构建双目成像模型，得到深度图和三维点云的具体步骤包括：
[0022]
(1)对步骤2校正后的输电线路覆冰电缆双目图像，取左图建立单目成像模型分析：
[0023]
假设在图像像素坐标系中的点的坐标为pu(u,v)，那么空间中的点p从图像像素坐标系到世界坐标系的转换关系的单目成像模型如公式(3)所示：
[0024][0025]
式中，(u,v)是点pu在图像坐标系中的像素坐标，dx和dy分别为每个像素在x轴和y轴方向上的尺寸，z为空间点p的深度，p(xw,yw,zw)为pu点在世界坐标系中的坐标，图像左上角为图像像素坐标系原点，(u0，v0)为图像坐标系的原点像素，f为相机的焦距，r为旋转矩阵，t为平移向量。
[0026]
(2)根据单目成像模型，生成双目成像模型，并根据双目成像模型得到三维点云：
[0027]
采用双目视觉系统获取z的值，双目视觉系统指有两个水平放置相机构成的视觉系统，理想的状态下，p为空间点，o
l
、or为左右相机，f为相机焦距，b为基线，z为p相对与相机的深度x
l
、xr为成像点与相机中心的距离，点p在左右相机成像平面各有一个成像点，a
l
(u
l
，v
l
)，ar(ur，vr)，根据三角形的相似关系有：
[0028][0029]
整理得，d＝(u
l-ur)dx
[0030]
同理可以得到空间点p在世界坐标系下的坐标为：
[0031][0032]
式中dx和dy为相机的像元尺寸，d就是左右相机的同一像素成像的横坐标之差，并且基线b已知，由此可以得到p点三维坐标(x，y，z)；
[0033]
(3)根据双目成像模型生成深度图：
[0034]
依据双目成像模型可以得到每个像素点的对应的现实世界的点的深度z，有所有点的z值构成了所述的深度图。
[0035]
而且，所述步骤3的利用步骤2校正后的输电线路覆冰电缆双目图像的左图进行覆冰输电线路检测，获取覆冰输电线路的边界框的具体步骤包括；
[0036]
(1)建立yolov3目标检测模型，该yolov3目标检测模型采取端到端的方式，将校正后的输电线路覆冰电缆双目图像的左图的整张图片输入到网络中进行识别，采用回归方法得到初始边界框；
[0037]
(2)基于步骤(1)得到的初始边界框，yolov3借鉴了faster rcnn的rpn中的锚框机制，卷积神经网络直接预测每个边界框的坐标信息(t
x
,ty,tw,th)，x和y为目标中心所在单元格相对于图像左上角的偏移，pw，ph为锚点框的高度和宽度，根据表达式(6)将得到最后修正后的覆冰输电线路的边界框：
[0038][0039]
其中b
x
、by、bw、bh就是最终得到的预测边界框的坐标、宽度和高度。整个训练过程使用误差平方和作为损失函数。
[0040]
而且，所述步骤4的具体步骤包括：
[0041]
(1)将深度信息映射到[0-255],作为第四个通道，得到rgbd图像；
[0042]
(2)用超像素图构建grabcut的网络流图，对网络流图进行初始化，其中，将框外定为背景，框内定为未知区域，而此时前景为空,依此来此估计gmm参数；
[0043]
(3)利用改进的公式(7)来计算网络流图的边的权值，进行最大流/最小割；
[0044]
e(α,k,θ,i)＝u(α,k,θ,i)+v(α,i)
ꢀꢀꢀ
(7)
[0045]
(4)计算能量函数，判断能量函数是否收敛，若不收敛，则重新计算gmm参数，并返回(3)，若收敛，则下一步.
[0046]
(5)以像素点为单位，用上一步的gmm参数为基础，进行最大流/最小割，得到最终分割图像。
[0047]
而且，所述步骤5的具体步骤包括：
[0048]
(1)将覆冰边缘分为上边缘和下边缘两部分，根据上边缘通过直线拟合寻找电缆径向拟合直线，通过拟合直线的垂线寻找上边缘和下边缘对应的点对；
[0049]
(2)针对下边缘所有点的二维数组，计算所有相邻点的斜率，若斜率大于tan 45
°
记为1，小于-tan 45
°
几位-1，如果在两者之间记为0，所以斜率构成的数组只能有两种情况(-1，0，...，1)和(1，0，...，-1)两种情况，其中前者表示普通覆冰位置，后者表示冰凌位置，对于两种情况中0处的点对作为测量点；
[0050]
(3)将二维点对映射到三维空间，通过欧式距离计算距离分别求出每个普通覆冰位置和冰凌位置的总厚度，然后再分别计算所有普通覆冰位置和冰凌位置总厚度的平均值得到普通覆冰处平均厚度m和冰凌处平均厚度n。
[0051]
(4)由于电缆本身存在直径，假设直径为q，因此可以得到电缆普通覆冰厚度为m-q/2，冰凌的平均长度为n-q，进而完成覆冰厚度测量。
[0052]
本发明的优点和有益效果：
[0053]
本发明提出了一种基于双目视觉的线路覆冰厚度自动测量方法，该方法可以对输电线路上的覆冰进行自动发现，准确计算覆冰的厚度，为输电线路巡检、覆冰监测工作提供有力的技术支撑。该方法以无人机巡检时拍摄的双目图像为研究对象，以yolov3目标检测算法为基础，采用大量输电线路覆冰图片训练覆冰检测模型，用于对双目图像进行检测，在双目图像上定位覆冰输电线路。本发明的具体流程如下：首先利用无人机携带的双目相机采集图像，借助相机内外参数与双目几何关系获取矫正图像与场景深度信息；利用yolov3检测模型检测左图像，对覆冰输电线路进行区域定位；对grabcut算法进行了改进，加入深度信息高斯模型利用共分割方法来对于检测所得边界框内的图像进行分割，将覆冰线路与背景进行分离并寻找覆冰边缘；利用边缘斜率关系寻找冰凌位置和普通覆冰厚度，利用双目几何关系获取覆冰厚度测量点的空间三维坐标，计算冰凌区域和普通覆冰区域欧氏距离均值，得到线路覆冰厚度测量结果。本发明以双目视觉技术为基础，结合人工智能识别技术与各种图像处理方法，可以实现对于输电线路覆冰的精准、自动测量，该方法精度较高、检测范围广，可以实现线路覆冰远程智能监测、测量，对线路覆冰处理决策具有重要意义。
附图说明
[0054]
图1为本发明的处理流程图；
[0055]
图2为本发明的双目成像模型图；
[0056]
图3为本发明的yolov3网络结构示意图。
具体实施方式
[0057]
以下结合附图对本发明实施例作进一步详述：
[0058]
一种基于双目视觉的线路覆冰厚度自动测量方法，如图1所示，包括以下步骤：
[0059]
步骤1、利用巡检无人机靠近携带冰凌的输电线路，通过双目相机采集输电线路覆冰电缆双目图像；
[0060]
步骤2、对步骤1所采集的输电线路覆冰电缆双目图像进行矫正，得到校正后的输电线路覆冰电缆双目图像；
[0061]
在本实施例中，所述步骤2的对步骤1所采集的输电线路覆冰电缆双目图像进行矫正，得到校正后的输电线路覆冰电缆双目图像的具体步骤包括：
[0062]
相机成像过程中本身会存在切向和径向畸变，因此需要引入高阶畸变来补偿成像
过程因透镜形状安装位置导致的畸变。
[0063]
(1)由于径向畸变随着成像点与中心的距离的增加而增加，并且畸变的变化呈中心对称，因此本发明采用与距中心的距离有关的二次及高次多项式函数进行矫正，公式如下：
[0064][0065]
式中(x,y)是畸变点在成像仪上的原始位置，表示该点与图像中心像素点的距离，(x
distorted
,y
distorted
)是校正后的新位置，k1，k2，k3为三阶径向畸变系数；
[0066]
(2)切向畸变由成像平面与透镜平面的夹角导致，本发明使用如下公式进行矫正：
[0067][0068]
式中p1，p2为切向畸变系数，表示该点距离成像中心的距离。
[0069]
(3)得到校正后的输电线路覆冰电缆双目图像。
[0070]
步骤3、对步骤2校正后的输电线路覆冰电缆双目图像进行立体匹配，构建双目成像模型，得到深度图和三维点云，与此同时，利用步骤2校正后的输电线路覆冰电缆双目图像的左图进行覆冰输电线路检测，获取覆冰输电线路的边界框；
[0071]
在本实施例中，所述步骤3的对步骤2校正后的输电线路覆冰电缆双目图像进行立体匹配，构建双目成像模型，得到深度图和三维点云的具体步骤包括：
[0072]
(1)对步骤2校正后的输电线路覆冰电缆双目图像，取左图建立单目成像模型分析：
[0073]
假设在图像像素坐标系中的点的坐标为pu(u，v)，那么空间中的点p从图像像素坐标系到世界坐标系的转换关系的单目成像模型如公式(3)所示：
[0074][0075]
式中，(u，v)是点pu在图像坐标系中的像素坐标，dx和dy分别为每个像素在x轴和y轴方向上的尺寸，z为空间点p的深度，p(xw，yw，zw)为pu点在世界坐标系中的坐标，图像左上角为图像像素坐标系原点，(u0，v0)为图像坐标系的原点像素，f为相机的焦距，r为旋转矩阵，t为平移向量。
[0076]
(2)根据单目成像模型，生成双目成像模型，并根据双目成像模型得到三维点云：
[0077]
只要获取到z的值，就可以获得空间点p的三维坐标(xw，yw，zw)，本发明采用双目视觉系统获取z的值，双目视觉系统指有两个水平放置相机构成的视觉系统，一般相机为左右放置，通过一系列的几何分析，实现距离测量。理想的状态下，双目成像模型在o-xz平面上的投影如图2所示，图中p为空间点，o
l
、or为左右相机，f为相机焦距，b为基线，z为p相对与相机的深度x
l
、xr为成像点与相机中心的距离，点p在左右相机成像平面各有一个成像点，a
l
(u
l
，v
l
)，ar(ur，vr)，根据三角形的相似关系有：
[0078][0079]
整理得，d＝(u
l-ur)dx
[0080]
同理可以得到空间点p在世界坐标系下的坐标为：
[0081][0082]
式中dx和dy为相机的像元尺寸，d就是左右相机的同一像素成像的横坐标之差，并且基线b已知，由此可以得到p点三维坐标(x，y，z)。
[0083]
(3)根据双目成像模型生成深度图：
[0084]
依据双目成像模型可以得到每个像素点的对应的现实世界的点的深度z，有所有点的z值构成了所述的深度图。
[0085]
在本实施例中，所述步骤3的利用步骤2校正后的输电线路覆冰电缆双目图像的左图进行覆冰输电线路检测，获取覆冰输电线路的边界框的具体步骤包括；
[0086]
(1)建立yolov3目标检测模型，该yolov3目标检测模型采取端到端的方式，将校正后的输电线路覆冰电缆双目图像的左图的整张图片输入到网络中进行识别，采用回归方法得到初始边界框。
[0087]
该方法省去了生成候选区域的步骤，从而加快了目标检测的速度。该算法将输入图片划分成了sxs个网格，如果覆冰电缆的中心落在了某个网格内，这个网格就负责对这个目标进行检测，每一个网格将输出b个预测的边界框的位置信息(x，y，w，h)以及置信度。
[0088]
(2)基于步骤(1)得到的初始边界框，yolov3借鉴了faster rcnn的rpn中的锚框机制，卷积神经网络直接预测每个边界框的坐标信息(t
x
,ty,tw,th)，x和y为目标中心所在单元格相对于图像左上角的偏移，pw，ph为锚点框的高度和宽度，根据表达式(6)将得到最后修正后的覆冰输电线路的边界框：
[0089][0090]
其中b
x
、by、bw、bh就是最终得到的预测边界框的坐标、宽度和高度。整个训练过程使用误差平方和作为损失函数。
[0091]
yolov3采用了darknet53作为主干网络，整个网络没有池化层和全连接层，在前向传播过程中，通过改变卷积核的步长来实现池化层的功能，使用三种尺度的特征图进行检测，这使得yolov3在检测小目标时具有较好的效果。
[0092]
图3是yolov3的网图络结构示意图，通过整个检测算法后将得到覆冰的边界框和
置信度。
[0093]
对于矫正之后的图像，需要迅速找出覆冰电缆在图像中的位置。这也就需要一个快速、精确的目标检测模型来实现对覆冰电缆的检测，获取覆冰边界框。因此，本发明选用了速度较快并且精度较高的yolov3目标检测模型来获取覆冰电缆的位置信息。本发明利用覆冰电缆数据集训练yolov3的模型，反复的迭代，获取稳定的检测模型，用来完成本发明中的覆冰电缆检测任务。
[0094]
步骤4、在步骤3获取覆冰输电线路的边界框里结合深度图、校正后的输电线路覆冰电缆双目图像的左图进行图像分割，将边界框内的覆冰电缆与背景进行分离；
[0095]
所述步骤4的具体步骤包括：
[0096]
(1)将深度信息映射到[0-255],作为第四个通道，得到rgbd图像；
[0097]
(2)用超像素图构建grabcut的网络流图，对网络流图进行初始化，其中，将框外定为背景，框内定为未知区域，而此时前景为空,依此来此估计gmm参数；
[0098]
(3)利用改进的公式(7)来计算网络流图的边的权值，进行最大流/最小割；
[0099]
e(α,k,θ,i)＝u(α,k,θ,i)+v(α,i)
ꢀꢀꢀ
(7)
[0100]
(4)计算能量函数，判断能量函数是否收敛，若不收敛，则重新计算gmm参数，并返回(3)，若收敛，则下一步.
[0101]
(5)以像素点为单位，用上一步的gmm参数为基础，进行最大流/最小割，得到最终分割图像.
[0102]
在本实施例中，对于覆冰检测结果，要想对覆冰厚度进行测量，需要进行图像分割去除边界框中的背景，找出覆冰电缆在二维图片坐标系中的实际位置。
[0103]
原始的grabcut算法只能分割rgb图像。在本发明中，将深度信息映射到[0-255],作为第四个通道，得到rgbd图像。其中，数字越小表示距离相机越近。
[0104]
本发明将具有r、g、b、d四个通道的图像表示为i＝(i1,i2,
…
,in)，图像中的每一个像素都有一个标记α＝(α1,α2,
…
,αn)，α＝0代表属于背景，α＝1代表属于前景。θ为图像前景与背景的直方图分布的参数，θ＝{h(i,α),α＝0,1}对于目标和背景分别用一个拥有k个高斯分量的全协方差混合高斯模型进行建模，k＝{k1,
…
,kn,
…
,kn}，kn代表第n个像素对应的高斯分量。于是，用于整个图像的吉布斯能量函数为：
[0105]
e(α,k,θ,i)＝u(α,k,θ,i)+v(α,i)
ꢀꢀꢀ
(7)
[0106]
考虑到颜色和深度的高斯模型，数据项u定义如下：
[0107][0108]
其中
[0109]
d(αn,kn,θ,in)＝-logp(in|αn,kn,θ)-logπ(αn,kn)
ꢀꢀꢀ
(9)
[0110]
其中p(
·
)是高斯概率分布，π(
·
)是混合权重系数。
[0111]
平滑项表示如下：
[0112][0113]
其中c是相邻像素对的集合，b
rgb
为彩色rgb空间两个像素的欧式距离值，系数β由图像的对比度决定，bd为深度d空间两个像素的差异，参数μ由深度的差异性决定。
[0114]
步骤5、基于步骤4获得的边界框内的覆冰电缆与背景的分割结果，检测覆冰边缘并将覆冰边缘分为上下边缘两部分，计算下边缘相邻点斜率寻找普通覆冰和冰凌处测量点，依据步骤3得到的三维点云结果，每一个图像上的二维点对应三维点云中的一个三维点，将二维测量点映射到三维空间通过欧氏距离完成覆冰厚度测量。
[0115]
所述步骤5的具体步骤包括：
[0116]
对于分割结果，本发明采用在边缘处寻找覆冰冰凌处和普通覆冰处作为测量点，按照以下三步操作，实现覆冰厚度的测量：
[0117]
(1)将覆冰边缘分为上边缘和下边缘两部分，根据上边缘通过直线拟合寻找电缆径向拟合直线，通过拟合直线的垂线寻找上边缘和下边缘对应的点对；
[0118]
(2)针对下边缘所有点的二维数组，计算所有相邻点的斜率，若斜率大于tan 45
°
记为1，小于-tan 45
°
几位-1，如果在两者之间记为0，所以斜率构成的数组只能有两种情况(-1，0，...，1)和(1，0，...，-1)两种情况，其中前者表示普通覆冰位置，后者表示冰凌位置，对于两种情况中0处的点对作为测量点；
[0119]
(3)将二维点对映射到三维空间，通过欧式距离计算距离分别求出每个普通覆冰位置和冰凌位置的总厚度，然后再分别计算所有普通覆冰位置和冰凌位置总厚度的平均值得到普通覆冰处平均厚度m和冰凌处平均厚度n。
[0120]
(4)由于电缆本身存在直径，假设直径为q，因此可以得到电缆普通覆冰厚度为m-q/2，冰凌的平均长度为n-q，进而完成覆冰厚度测量。
[0121]
需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。