输电线路提取方法、装置以及双目测距方法

1.本发明涉及图像识别技术领域，特别是涉及输电线路提取方法、装置以及双目测距方法。


背景技术：

2.通过无人机对输电线路进行提取与识别，能够及时发现输电线路的异常，从而采取措施保障输电线路的稳定运行。有些专家学者基于人工智能算法进行目标物体的识别，该方法需要大量的目标物体图像进行训练，同时对计算系统的硬件要求较高。为了更好地的满足工程应用的需求，需要采用一些手段对某一类目标物体进行快速识别，降低计算量。
3.有些学者设计了一种改进的链码算法，实现线路的自动检测，并基于双目测距实现了线路自动检测。有些学者利用双目测距和hough直线检测，实现了无人机电力线路巡检的安全距离测量。有些学者通过融合lsd(line segment detector)直线检测算法和hough变换，实现了航拍输电线路中杆塔的自动识别。
4.以上方法虽然能够实现线性物体的识别，但是对计算资源的消耗较大。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种输电线路提取方法，消耗的计算资源较少。
6.为实现上述目的及其他相关目的，本发明提供一种输电线路提取方法，所述输电线路提取方法包括以下步骤：
7.获取原始图像；
8.对所述原始图像做平滑处理，得到降噪图像；
9.对所述降噪图像做锐化处理，得到增强图像；
10.对所述增强图像做边缘检测，得到轮廓图像；
11.利用直线检测算法，从所述轮廓图像中提取出输电线路图。
12.于本发明的一实施例中，所述对所述原始图像做平滑处理，具体为采用双边滤波算法对所述原始图像做平滑处理。
13.于本发明的一实施例中，所述对所述降噪图像做锐化处理，具体为采用拉普拉斯算子对所述降噪图像做锐化处理。
14.于本发明的一实施例中，所述对所述增强图像做边缘检测采用改进的canny边缘检测算法，所述改进的canny边缘检测算法包括：
15.利用微分算子计算所述增强图像的梯度幅值，得到梯度图像；
16.对所述梯度幅值进行非极大值抑制，得到边缘图像；
17.采用双阈值算法对所述边缘图像进行筛选和连接，得到所述轮廓图像；
18.其中，所述双阈值算法中使用的双阈值采用以下方法得到：
19.采用阈值分割算法计算所述边缘图像的分割阈值；
20.计算所述双阈值中的低阈值和高阈值，满足所述低阈值小于所述分割阈值，且所述高阈值大于所述分割阈值。
21.于本发明的一实施例中，所述阈值分割算法为大津算法。
22.于本发明的一实施例中，所述低阈值为所述高阈值的0.3倍～0.5倍。
23.于本发明的一实施例中，所述分割阈值为所述低阈值和所述高阈值的平均值。
24.于本发明的一实施例中，所述低阈值和所述高阈值的获得方法包括：
25.根据所述边缘图像和所述分割阈值计算阈值浮动量；
26.根据所述分割阈值和所述阈值浮动量计算所述高阈值和所述低阈值；
27.所述阈值浮动量的计算公式如下：
[0028][0029]
其中，所述分割阈值将所述边缘图像划分为前景区域和背景区域，所述前景区域中的像素灰度值小于所述分割阈值，所述背景区域中的像素灰度值大于所述分割阈值；
[0030]
δt为阈值浮动量；
[0031]
max(img)为所述边缘图像的最大灰度值；
[0032]
min(img)为所述边缘图像的最小灰度值；
[0033]
q1为所述前景区域中所有像素的概率和；
[0034]
q2为所述背景区域中所有像素的概率和；
[0035]
m1为所述前景区域中所有像素的灰度均值；
[0036]
m2为所述背景区域中所有像素的灰度均值；
[0037]
所述高阈值和所述低阈值的计算公式如下：
[0038][0039]
其中，t
t
为所述分割阈值；
[0040]
其中，th为所述高阈值；
[0041]
其中，t
l
为所述低阈值。
[0042]
为实现上述目的及其他相关目的，本发明还提供一种输电线路提取装置，包括
[0043]
图像输入模块，用于获取原始图像；
[0044]
图像降噪模块，用于对所述原始图像做平滑处理，得到降噪图像；
[0045]
图像增强模块，用于对所述降噪图像做锐化处理，得到增强图像；
[0046]
轮廓提取模块，用于对所述增强图像做边缘检测，得到轮廓图像；
[0047]
线路提取模块，用于利用直线检测算法，从所述轮廓图像中提取出输电线路图。
[0048]
为实现上述目的及其他相关目的，本发明还提供一种输电线路的双目测距方法，所述输电线路的双目测距方法包括以下步骤：
[0049]
利用无人机搭载的双目摄像机拍摄得到包含输电线路的光学图像和深度图像；
[0050]
采用所述的输电线路提取方法得到包含输电线路的输电线路图；
[0051]
将所述深度图像和所述输电线路图叠加，得到输电线路上各点到所述无人机的距离，即像素距离；
[0052]
计算所述像素距离的平均值，得到输电线路与无人机的距离。
[0053]
如上所述，本发明的输电线路提取方法、装置以及电子设备，具有以下有益效果：消耗的计算资源较少。
附图说明
[0054]
图1显示为本发明的输电线路提取方法的流程示意图。
[0055]
图2显示为现有技术得到的降噪图像的效果图。
[0056]
图3显示为本发明一实施例得到的降噪图像的效果图。
[0057]
图4显示为本发明一实施例得到的增强图像的效果图。
[0058]
图5a显示为现有技术得到的的轮廓图像的效果图。
[0059]
图5b显示为本发明一实施例得到的轮廓图像的效果图。
[0060]
图6a显示为采用现有直线检测算法处理图5a的轮廓图像得到的直线图像。
[0061]
图6b显示为采用现有本发明的直线检测算法处理图5b的轮廓图像得到的输电线路图。
[0062]
图7显示为本发明一实施例的电子设备的结构框图。
具体实施方式
[0063]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0064]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0065]
通过无人机代替人工对输电线路进行巡检是技术发展的趋势，现有的人工智能算法对数据量和计算资源的要求较高，难以满足无人机对低成本、实时性的要求。
[0066]
下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
[0067]
如图1所示，本发明提供一种输电线路提取方法，包括以下步骤：
[0068]
步骤s100，获取原始图像；
[0069]
步骤s200，对所述原始图像做平滑处理，得到降噪图像；
[0070]
步骤s300，对所述降噪图像做锐化处理，得到增强图像；
[0071]
步骤s400，对所述增强图像做边缘检测，得到轮廓图像；
[0072]
步骤s500，利用直线检测算法，从所述轮廓图像中提取出输电线路图。
[0073]
步骤s100中，无人机拍摄的原始图像可以是彩色图像，也可以是灰度图像。当原始图像是彩色图像时，可以采用现有技术直接对彩色图像做后续的平滑、锐化等处理；也可以
采用现有的灰度化方法将彩色图像转换为灰度图像后，再对灰度图像做后续处理。
[0074]
由于无人机振动、天气、光照等因素，可能造成原始图像出现模糊、缺损、歪斜等现象，对后续提取输电线路造成干扰。因此，本发明通过步骤s200和步骤s300对原始图像做预处理，以提高输电线路提取的准确度。
[0075]
输电线路包括架空管道(如输送燃气、压缩气、油、液体等管道线路)、输电线路、架空光缆、信号传输线等线路。
[0076]
本实施例的步骤s200自身可采用现有技术，主要目的是抑制原始图像中某些不需要的变形，去除原始图像中的由于图像传感器、大气脉冲干扰造成高斯噪声、椒盐噪声等，提高了图像的信噪比。
[0077]
经过步骤s200操作后，虽然滤除了一些干扰信息，但也使图像更模糊。本实施例的步骤s300自身可采用现有技术，主要目的是图像变得更加清晰，同时增加输电线路的边缘清晰度，方便后续边缘检测。
[0078]
步骤s500可采用现有技术，不作为本实施例的改进重点。直线检测算法得到的输电线路图中可以包含对应于输电线路的直线，也可以包含其它干扰线段。本实施例可以不对干扰线段进行处理，也可以参考现有技术处理干扰线段。
[0079]
本实施例结合各种常用的算法实现了输电线路的提取，计算资源的消耗较少，能较好地满足无人机的要求。
[0080]
可选的，所述对所述原始图像做平滑处理，具体为采用双边滤波算法对所述原始图像做平滑处理。常用的图像平滑算法包括均值滤波、高斯滤波、双边滤波、中值滤波和邻域平均等。高斯滤波对高斯噪声的滤除效果较好，但容易导致输电线路的边缘发生模糊。为了在提高原始图像信噪比的同时，不影响后续的边缘提取，本实施例选用双边滤波算法对所述原始图像做平滑处理，在对原始图像平滑去噪的同时，较好地保留了原始图像的边缘信息，有利于降低后续边缘检测的漏检率。
[0081]
实际的原始图像中包含了绿植、路面、建筑物等背景，当背景区域为深色时影响不大，当背景区域为浅色时，高斯滤波可能造成输电线路的边缘淡化，影响后续边缘提取。图2为现有技术中采用高斯滤波得到的效果图，图3为本发明采用双边滤波得到的效果图，其中的白色背景区域为建筑物，深色斜线为输电线路。对比图2、图3可知，高斯滤波造成了输电线路区域的梯度下降、边缘模糊，不利于后续边缘提取。而采用双边滤波则较好地保留了输电线路的原始灰度信息和边缘信息，为后续边缘提取提供了较好的基础。
[0082]
现有的canny边缘检测算法在做完图像平滑之后，会立即计算梯度幅值和方向，但由于输电线路的宽度较细，平滑处理可能造成输电线路的整体灰度偏移。为了更好地恢复输电线路的边缘信息，本发明还对所述降噪图像做锐化处理。例如，基于直方图均衡的图像增强、基于laplance算子的图像增强、基于对象log变换的图像增强以及基于伽马变换的图像增强。
[0083]
可选的，本实施例采用拉普拉斯算子对所述降噪图像做锐化处理。由于无人机拍摄角度的随意性，不同原始图像中输电线路的走向不确定，本实施例采用的拉普拉斯算子能够适应不同的输电线路走向，并且运算量不大。具体的，采用拉普拉斯算子对所述降噪图像做锐化处理，得到的增强图像如图4所示，增加了图像的锐化程度和对比度。具体的，拉普拉斯算子的卷积核如下：
[0084][0085]
可选的，所述对所述增强图像做边缘检测采用改进的canny边缘检测算法，所述改进的canny边缘检测算法包括：
[0086]
利用微分算子计算所述增强图像的梯度幅值，得到梯度图像；
[0087]
对所述梯度幅值进行非极大值抑制，得到边缘图像；
[0088]
采用双阈值算法对所述边缘图像进行筛选和连接，得到所述轮廓图像；
[0089]
其中，所述双阈值算法中使用的双阈值采用以下方法得到：
[0090]
采用阈值分割算法计算所述边缘图像的分割阈值；
[0091]
计算所述双阈值中的高阈值和低阈值，满足所述高阈值大于所述分割阈值，且所述低阈值小于所述分割阈值。
[0092]
本实施例的改进重点在于双阈值的选择，现有的canny边缘检测算法中，双阈值通常通过人为经验进行设定，往往造成对某些特定的图像边缘检测效果好，对于其他的图像边缘检测效果不佳。本发明根据不同的背景自动选择相应的高阈值和低阈值，对不同光照条件的适应性较强。具体的，梯度幅值的计算方法为采用sobel算子计算。阈值分割算法采用大津算法。进一步地，所述低阈值为所述高阈值的0.3倍～0.5倍，例如0.4倍。进一步的，所述分割阈值为所述低阈值和所述高阈值的平均值。
[0093]
大津算法将图像按照灰度分为前景区域和背景区域两部分，用自变量t表示分割阈值。针对前景部分，用v0表示像素所占全幅的比值，u0表示平均灰度。针对背景部分，用v1表示像素所占全幅的比值，u1表示平均灰度。u表示图像总平均灰度，σ为最大类间方差。统计图像中灰度值小于阈值t的像素个数n0，灰度值大于阈值t的像素个数n1。其数学关系如下式所示：
[0094]
u＝v0*u0+v1*u1ꢀꢀꢀ
(1)
[0095]
σ(t)＝v0(t)(u
0-u)2+v1(t)(u
1-u)2ꢀꢀꢀ
(2)
[0096]
将是(2)代入式(1)可得：
[0097]
σ(t)＝v0(t)v1(t)(u
0-u1)2ꢀꢀꢀ
(3)
[0098]
对图像进行遍历，当σ(t)取得全局最大值时，t为最佳分割阈值t
t
。
[0099]
可选的，所述低阈值和所述高阈值的获得方法包括：
[0100]
根据所述边缘图像和所述分割阈值计算阈值浮动量；
[0101]
根据所述分割阈值和所述阈值浮动量计算所述高阈值和所述低阈值；
[0102]
所述阈值浮动量的计算公式如下：
[0103][0104]
其中，所述分割阈值将所述边缘图像划分为前景区域和背景区域，所述前景区域中的像素灰度值小于所述分割阈值，所述背景区域中的像素灰度值大于所述分割阈值；
[0105]
δt为阈值浮动量；
[0106]
max(img)为所述边缘图像的最大灰度值；
[0107]
min(img)为所述边缘图像的最小灰度值；
[0108]
q1为所述前景区域中所有像素的概率和；
[0109]
q2为所述背景区域中所有像素的概率和；
[0110]
m1为所述前景区域中所有像素的灰度均值；
[0111]
m2为所述背景区域中所有像素的灰度均值；
[0112]
所述高阈值和所述低阈值的计算公式如下：
[0113][0114]
其中，t
t
为所述分割阈值；
[0115]
其中，th为所述高阈值；
[0116]
其中，t
l
为所述低阈值。
[0117]
现有技术得到的轮廓图像如图5a所示，经过改进的canny边缘检测算法处理得到的轮廓图像如图5b所示。图5a是通过高斯滤波配合matlab自带的canny边缘检测算法处理原始图像得到的。图5b是通过双边滤波算法配合本发明改进的canny边缘检测算法处理原始图像得到的。通过对比图5a和图5b可知，本发明双边滤波算法对输电线路的边缘详细的保护较好，在此基础上，本发明自动选取的高阈值和低阈值能够滤除大部分与输电线路无关的边缘信息，例如绿植、建筑的边缘干扰信息，降低了后续直线检测的数据处理量，更加适用于无人机作业。
[0118]
如图5b所示，经过本发明改进的canny边缘检测算法处理后，轮廓图像中仍然可能存在少量的干扰信息。为了进一步减少轮廓图像中的干扰信息，本实施例的直线检测算法包括：
[0119]
步骤s510，对轮廓图像进行hough变换，滤除轮廓图像中的非直线干扰信息，得到直线段图像。
[0120]
步骤s520，计算直线段图像中的各直线段的斜率，并将斜率相同的线段归为大组。
[0121]
步骤s530，对属于同一大组的各直线段进行共线判断，将共线的线段归为小组，将属于同一小组的各线段首尾相连，得到多根长直线。
[0122]
步骤s540，计算各长直线的两个端点到轮廓图像边缘的距离d1，将距离d1大于第一预设距离阈值的长直线滤除，得到多根贯穿直线。具体的，第一预设距离阈值为20个像素。输电线路的一个特点是贯穿整个图像，本步骤利用输电线路的该特点滤除了其它直线物体的轮廓线，例如未贯穿图像的电线杆的轮廓。
[0123]
步骤s550，计算相邻的两根贯穿直线的距离d2，将距离d2小于第二预设距离阈值的两根贯穿直线判定为一条输电线路的两个边。
[0124]
步骤s560，将属于同一条输电线路的两个边之间填充与贯穿直线相同的像素，得到输电线路图。
[0125]
图6a为现有技术在图5a的基础上采用opencv自带的直线检测算法处理得到的直线图像。对比图6a和图5a可知，现有的直线检测算法可能将部分属于干扰信息的直线段加长，对输电线路的选择性不强。图6b为本发明在图5b的基础上采用上述实施例的直线检测算法处理得到的输电线路图。对比图6b和图5b可知，本发明的直线检测算法将属于干扰信息的直线段滤除了，并将属于输电线路的直线段加长了，对输电线路的选择性较强，图6b中
几乎不再包含干扰线段。因此，将本发明应用到双目视觉测距中时，从双目视觉测距的图像中能够更加准确的提取到输电线路，从而能够更加准确的测量出与输电线路的距离。避免因干扰线段的干扰而造成测量误差过大。
[0126]
本发明还提供一种输电线路提取装置，该输电线路提取装置包括图像输入模块、图像降噪模块、图像增强模块、轮廓提取模块以及线路提取模块。图像输入模块用于获取原始图像。图像降噪模块用于对所述原始图像做平滑处理，得到降噪图像。图像增强模块用于对所述降噪图像做锐化处理，得到增强图像。轮廓提取模块用于对所述增强图像做边缘检测，得到轮廓图像。线路提取模块用于利用直线检测算法，从所述轮廓图像中提取出输电线路图。
[0127]
请参阅图7，显示为本发明的电子设备于一实施例中的结构连接示意图。如图7所示，本实施例提供一种电子设备，具体包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述输电线路提取方法的各个步骤。
[0128]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0129]
上述的存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0130]
于实际应用中，所述电子设备可以是包括存储器、存储控制器、一个或多个处理单元(cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、显示屏、其他输出或控制设备，以及外部端口等所有或部分组件的计算机。
[0131]
经过本发明得到的输电线路图可用于进一步的双目测距。双目视觉测距的原理是基于双目成像过程中双目所拍摄的物体在摄像头视野中的位置不一致，从而可以通过位置偏差引起的投影偏差对视野范围内的物体进行距离计算。
[0132]
由于拍摄的线路附近地理环境复杂多变，造成图像中目标物体的背景复杂。因此，基于双目视觉测距需要在复杂背景下提取到线路，采用本发明的输电线路提取方法，能够提高双目视觉测距与线路识别的实时性和准确性。
[0133]
本发明提供的输电线路的双目测距方法包括以下步骤：
[0134]
利用无人机搭载的双目摄像机拍摄得到包含输电线路的光学图像和深度图像。光学图像为彩色图像或灰度图像。深度图像也被称为距离影像，是指将图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像。
[0135]
采用以上实施例的输电线路提取方法得到包含输电线路的输电线路图。
[0136]
将深度图像和输电线路图叠加，得到输电线路上各点到无人机的距离，即像素距离。
[0137]
计算像素距离的平均值，得到输电线路与无人机的距离。
[0138]
本发明提供的输电线路的双目测距方法可应用于激光雷达测距，在激光雷达所拍摄的三维点云图中提取输电线路，实现激光雷达自动测量与输电线路的距离。基于本发明
所提出的算法能够快速实时的处理无人机、巡检机器人等拍摄的图像，从而快速从图像中标记出输电线路。同时本发明应用到双目测距、激光雷达测距中可以快速便捷的获取输电线路在深度图像、点云图像中的坐标，从而实现与输电线路距离的快速测量。本发明提出的改进canny边缘检测能够在保证计算效率的情况下过滤掉图像中的一些背景，得到的轮廓图像更加便于进行目标检测和识别。本发明在双目测距的深度图像中获取到线路的距离数据，能够实现对线性物体的自动识别和测距的功能，在无人机巡检工作中具有推广价值。
[0139]
综上，本发明先进行原始图像的预处理，再进行边缘检测和线路提取。在进行laplance图像增强后，通过计算图像中的颜色占比较大的色彩区间，构建自适应算子进行图像的卷积，将图像中的背景色彩过滤掉，从而减少对输电线路识别的干扰，具有较高的产业利用价值。
[0140]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。
[0141]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。