一种基于视觉识别的无人机自动放线系统及放线方法与流程

本发明涉及供电输电线路架设技术领域，尤其涉及一种基于视觉识别的无人机自动放线系统及放线方法。

背景技术：

在传统的利用无人机进行输电线路架线作业时，无人机负责牵引初级引导绳，由地面操作人员控制无人机靠近输电线路杆塔，飞至杆塔固定横杆，并牵引初级引导绳由固定横杆正上方飞过，当牵引绳搭至固定横杆正确位置时，由杆塔上的操作人员对牵引线进行固定，接着无人机继续牵引引导线飞向下一级杆塔，完成同样操作。上述无人机架线存在如下问题：

(1)无人机牵引初级引导绳飞向杆塔时，需要有地面操作人员实时控制，为了保证安全性和准确性，地面操作人员需要在地面上处于理想的观察位置对无人机进行操控，而当输电线路走廊处于山川、河流、森林等复杂地形地貌时，操控作业会受很大干扰，从而难以保证架线作业的安全性和准确性。

(2)无人机架线作业一个飞行架次需要飞越多个杆塔，因此地面操控人员需要全程跟随无人机并进行实时控制，通常地面操控人员的移动速度要远远小于无人机在空中的移动速度，因此为了与地面人员协同一致，无人机需等候地面操作人员进入理想观测点时才能继续执行任务，这种机制会造成极大的时间浪费，因此会使整个架线作业时间增多，并使无人机每个飞行架次能完成的架线任务个数大大减少，效率十分低下。

(3)地面人员操作无人机飞越杆塔时，会由于长时间作业疲惫等因素而发生操作失误，发生架线失败的情况，严重者甚至会产生安全隐患。

技术实现要素：

本发明的目的在于提供一种基于视觉识别的无人机自动放线系统，该系统可对杆塔、固定横杆标识装置等典型目标进行识别，并根据识别结果自动实现无人机的飞行控制，使无人机自行完成整个架线任务，无需地面操作人员干预，不仅提高了效率、安全性，同时降低了人力成本。

本发明解决其技术问题所采取的技术方案是：一种基于视觉识别的无人机自动放线系统，包括无人机、视觉采集系统和固定横杆标识装置，所述无人机包括一控制模块，所述视觉采集系统包括前置摄像头、后置摄像头和视觉处理模块，所述前置摄像头和后置摄像头分别设置在所述无人机的前后两端，且前置摄像头和后置摄像头与所述视觉处理模块相对应连接，所述视觉处理模块设置在无人机本体内，且与所述控制模块相连接；

所述固定横杆标识装置包括左侧标识板、右侧标识板、固定横杆和中心标识带，所述左侧标识板和右侧标识板对称设置在所述固定横杆的两端，所述中心标识带设置在所述固定横杆的中心位置处，在所述左侧标识板和右侧标识板的正反两面均设置标识标记。

优选地，所述左侧标识板和右侧标识板均为正方形，且所述标识标记位于所述左侧标识板和右侧标识板的中心位置。

进一步地，所述左侧标识板和右侧标识板的边长为50cm,且左侧标识板与右侧标识板的相邻的侧面距离为200cm，所述标识标记为红色圆环，所述红色圆环的外径为50cm，内径为40cm。

进一步地，所述中心标识带由三条红色彩色带构成，每一条所述红色彩色带的宽度为10cm，且相邻两条红色彩色带之间间隔距离为10cm。

本发明还提供了一种利用该自动放线系统的放线方法，包括以下步骤：

1)将若干个固定横杆标识装置依次固定在相邻的输电线路支撑杆塔上；

2)将无人机及牵引线带到相应的起飞牵引初始位置，然后将牵引线的首端固定在无人机上，固定完牵引线后启动无人机；

3)无人机在控制模块的控制下飞向杆塔方向，当无人机飞到杆塔附近时，无人机由控制模块进行小范围移动；

4)在无人机小范围移动过程中，视觉处理模块开启前置摄像头，然后进行杆塔区域识别；

5)杆塔区域识别成功后，视频处理模块进行彩色标识识别模式；

6)彩色标识识别模式完成后，无人机从支撑杆塔上方飞过，并开启后置摄像头，伴随着无人机的飞行，无人机上的牵引线会自动搭接在支撑杆塔上，从而完成了一个支撑杆塔上的牵引线自动放线过程。

7)无人机飞向下一个相邻的支撑杆塔后，重复上述步骤3)-6)，从而可完成多个相邻支撑杆塔上的牵引线的自动放线工作。

优选地，所述步骤5)中，杆塔区域的识别流程为：第一步，视频处理模块读取前置摄像头的视频信息，并进行杆塔区域识别及杆塔区域面积计算；第二步，将杆塔识别区域的计算面积与设定阀值进行对比，当杆塔识别区域的计算面积未超过设定阀值时，重新读取前置摄像头的视频信息，直到杆塔识别区域的计算面积超过设定阀值；第三步，将杆塔区域上沿距离图像边界值与相对应的设定阀值相对比，当杆塔区域上沿距离图像边界值未超过相对应的设定阀值时，视频处理模块发送指令给控制模块，使得无人机上飞，使得无人机飞到使得杆塔区域上沿距离图像边界值超过相对应的设定阀值的位置，当杆塔区域上沿距离图像边界值超过相对应的设定阀值时，视频处理模块开启彩色标识识别模式。

优选地，所述步骤6)中，彩色标识识别流程为；第一步，视频处理模块读取前置摄像头视频，并依据视频信息确定是否已进入中心标识带识别模式，当未进入中心标识带识别模式时，视频处理模块进行左侧标识板和右侧标识板上的红色圆环的识别，视频处理模块反复读取前置摄像头视频信息，直到左侧标识板和右侧标识板上的红色圆环识别成功，左侧标识板和右侧标识板上的红色圆环识别成功后，视频处理模块依据视左侧标识板和右侧标识板上的红色圆环的位置，发送无人机控制指令，使得无人机飞到让视频处理模块进入中心标识带识别模式的位置；第二步，当进入中心标识带识别模式后，计算中心标识带是否超出视野，当中心标识带未超出视野式，进行中心标识带位置识别，中心标识带位置识别成功后，依据视中心标识带位置，视频处理模块发送无人机控制指令，使得无人机飞到中心标识带超过视野的位置；第三步，当中心标识带超过视野之后，无人机从支撑杆塔上方飞过，并开启后置摄像头，伴随着无人机的飞行，无人机上的牵引线会自动搭接在支撑杆塔上，从而完成了一个支撑杆塔上的牵引线自动放线过程。

本发明的有益效果是：

1、本发明中的自动放线系统，可使得架线作业在山川、河流、森林等操作人员难以到达的复杂地形环境下进行，克服了地形因素的限制，提高了架线能力。

2、本发明在架线时，从起飞、飞向杆塔、飞向固定横杆、确定任务完成、飞向下一级杆塔继续执行任务的整个流程实现全自动化，无需操作人员的中间干预，且自动化架线可以保证架线精度，缩短作业时间，提高架线效率。

3、固定横杆标识装置中的红色圆环和中心标识带标识明显，能够很容易被视觉采集系统识别，从而为无人机的迅速定位提供了便利；当固定横杆完成架线后，可以容易的将视觉标识装置拆卸并安装至相邻固定横杆上，无需对无人机系统做任何改变，无人机即可根据视觉标识完成对相邻固定横杆的架线。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的部分优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的架线状态示意图；

图2为固定横杆标志装置示意图；

图3为杆塔区域识别流程图；

图4为中心标识带识别流程图；

图5为杆塔区域图像分块示意图；

图中：1无人机、2固定横杆标识装置、21左侧标识板、22右侧标识板、23红色圆环、24固定横杆、25中心标识带、3牵引线。

具体实施方式

下面将结合具体实施例及附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分优选实施例，而不是全部的实施例。本领域技术人员可以在不违背本发明内涵的情况下做类似变形，因此本发明不受下面公开的具体实施例的限制。

本发明提供了一种基于视觉识别的无人机自动放线系统(如图1所示)，包括无人机1、视觉采集系统和固定横杆标识装置2，所述无人机1包括一控制模块，所述视觉采集系统包括前置摄像头、后置摄像头和视觉处理模块，所述前置摄像头和后置摄像头分别设置在所述无人机1的前后两端，且前置摄像头和后置摄像头与所述视觉处理模块相对应连接，所述视觉处理模块设置在无人机1本体内，且与所述控制模块相连接。视频处理模块能够接收并处理前置摄像头和后置摄像头所获得的视频信息，并通过视频信息获得相应的处理结果，并依据处理结构发送指令给控制模块，以便控制模块控制无人机1的定点飞行。

所述固定横杆标识装置2包括左侧标识板21、右侧标识板22、固定横杆24和中心标识带25，所述左侧标识板21和右侧标识板22对称设置在所述固定横杆22的两端，固定横杆24设置在杆塔的相应位置上，所述中心标识带25设置在所述固定横杆24的中心位置处，在所述左侧标识板21和右侧标识板22的正反两面均设置标识标记，在本具体实施例中，将所述左侧标识板21和右侧标识板22设置为正方形，且边长设定为50cm，左侧标识板21与右侧标识板22的相邻的侧面距离为200cm，所述标识标记为红色圆环23，红色圆环23的中心位于左标识板21、右标识板22的中心重合，进一步地，将红色圆环23的外径设为50cm，内径设为40cm；中心标识带25由三条红色彩色带构成，每一条所述红色彩色带的宽度为10cm，且相邻两条红色彩色带之间间隔距离为10cm。

本发明还提供了一种利用上述系统来实现自动放线的方法，包括以下步骤：

1)将若干个固定横杆标识装置2依次固定在相邻的输电线路支撑杆塔上；

2)将无人机1及牵引线3带到相应的起飞牵引初始位置，然后将牵引线3

的首端固定在无人机1上，固定完牵引线3后启动无人机1；

3)无人机1在控制模块的控制下飞向杆塔方向，当无人机1飞到杆塔附

近时，无人机1由控制模块控制进行小范围移动；

4)在无人机1小范围移动过程中，视觉处理模块开启前置摄像头，然后

进行杆塔区域识别；

5)杆塔区域识别成功后，视频处理模块进行彩色标识识别模式；在本具体实施例中，杆塔区域识别的具体流程为(如图3所示)：第一步，视频处理模块读取前置摄像头的视频信息，并进行杆塔区域识别及杆塔区域面积计算；第二步，将杆塔识别区域的计算面积与设定阀值进行对比，当杆塔识别区域的计算面积未超过设定阀值时，重新读取前置摄像头的视频信息，直到杆塔识别区域的计算面积超过设定阀值；第三步，将杆塔区域上沿距离图像边界值与相对应的设定阀值相对比，当杆塔区域上沿距离图像边界值未超过相对应的设定阀值时，视频处理模块发送指令给控制模块，使得无人机1上飞，使得无人机1飞到使得杆塔区域上沿距离图像边界值超过相对应的设定阀值的位置，当杆塔区域上沿距离图像边界值超过相对应的设定阀值时，视频处理模块开启彩色标识识别模式。在上述流程中，杆塔区域的计算实现算法为：前置摄像头获取到图像i，其像素高度为h，宽度为w，将其分为m行和n列的子块。将图像起始点分别平移w/2n和h/2m像素后，继续分为m行和n列的子块，这样每个图像i共得到2*m*n个子块，如图5所示，其中，原始图像的第m行和n列子块标记为远点平移后图像的第m行和n列子块标记为所有子块通过函数c＝f(s|p)计算每一个子块的类别标签，其中c为类别标签，f为函数名，p为函数参数，类别标签c共有两种：杆塔区域和非杆塔区域。f函数的运算如下：首先将输入图像二值化，然后使用prewitt算子进行边缘检测，并统计四个不同方向线段数量。水平方向线段：-10°～10°；垂直方向线段：大于80°或小于-80°；斜上方向线段：10°～80°；斜下方向线段：-80°～-10°。当大于等于2个方向的线段均超过4个线段时，则将此图像块判断为杆塔区域，否则判断为非杆塔区域。

6)彩色标识识别模式完成后，无人机1从支撑杆塔上方飞过，并开启后置摄像头，伴随着无人机1的飞行，无人机1上的牵引线3会自动搭接在支撑杆塔上，从而完成了一个支撑杆塔上的牵引线自动放线过程，在本具体实施例中，彩色标识识别的具体流程为(如图4所示)：第一步，视频处理模块读取前置摄像头视频，并依据视频信息确定是否已进入中心标识带识别模式，当未进入中心标识带识别模式时，视频处理模块进行左侧标识板21和右侧标识板22上的红色圆环23的识别，视频处理模块反复读取前置摄像头视频信息，直到左侧标识板21和右侧标识板22上的红色圆环23识别成功，左侧标识板21和右侧标识板22上的红色圆环23识别成功后，视频处理模块依据视左侧标识板21和右侧标识板22上的红色圆环23的位置，发送无人机控制指令，使得无人机1飞到让视频处理模块进入中心标识带识别模式的位置；第二步，当进入中心标识带识别模式后，计算中心标识带25是否超出视野，当中心标识带25未超出视野式，进行中心标识带位置识别，中心标识带25位置识别成功后，依据视中心标识带25位置，视频处理模块发送无人机控制指令，使得无人机1飞到中心标识带25超过视野的位置；第三步，当中心标识带25超过视野之后，无人机1从支撑杆塔上方飞过，并开启后置摄像头，伴随着无人机的飞行，无人机1上的牵引线3会自动搭接在支撑杆塔上，从而完成了一个支撑杆塔上的牵引线3自动放线过程。彩色标识识别计算方法为：由于左右侧视觉表示红色圆环为圆形，在此采用hough变换圆检测及颜色确认的方式进行检测。首先对图像进行高斯平滑，然后利用sobel算子进行边缘检测，垂直方向和水平方向的sobel算子分别为和然后在求解边缘的二阶导数后，计算每一个边缘点(i,j)的角度θ：

然后利用hough变换投影(a,b)-到空间。

其中r∈(minr,maxr)

a(i±a,j±b)←a(i±a,j±b)+e(i,j)

其中minr和maxr为要考虑的圆的半径范围，a为(a,b)-空间的组数，e(i,j)为sobel边缘检测后边缘的强度。这样经过上述的变换后,就可以形成累加的亮点，其中最亮的部分就是圆的中心位置，找到圆心后，再继续确定半径。在minr和maxr范围内，在点p的边缘图像强度e(p)累加为r(r)：得到半径空间的累加值后进行阈值化，选择一个最大的阈值则会确定圆的最理想半径，如果选择一组阈值范围则可以确定一组同心的圆环。

完成圆检测后，在所有搜索到的圆附近，以当前圆为圆心，在1/2到3/2半径范围内统计颜色信息，若红色区域超过设定阈值，则判定为有效标识环。这样，就完成了左侧和右侧红色圆环23的识别。

对于固定横杆中心标识带25的识别，则采用纯粹颜色空间比对的方式，由于这一过程是在定位到左右两侧标识环的基础上完成的，因此可以计算出中心标识带25的范围，并在图像指定范围内搜索红色区域。当搜索到3块距离相近、面积相近的红色区块时，则将其锁定为横杆中心标识带。

7)无人机1飞向下一个相邻的支撑杆塔后，重复上述步骤3)-6)，从而可完成多个相邻支撑杆塔上的牵引线3的自动放线工作。

本发明中，“左”、“右”均是为了方便描述位置关系而采用的相对位置，因此不能作为绝对位置理解为对保护范围的限制。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

以上所述结合附图对本发明的优选实施方式和实施例作了详述，但是本发明并不局限于上述实施方式和实施例，对于本技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。