一种固定翼无人机自主起降方法与流程

本发明涉及无人机技术领域，特别涉及一种固定翼无人机自主起降方法。

背景技术：

固定翼无人机在当代社会发挥着越来越重要的作用，不同于在军用领域固定翼无人机的大行其道。目前国家政策对固定翼无人机管制比较严格，飞手需考取固定翼无人机驾驶证才有资格操控固定翼无人机。国家对于固定翼无人机严格管制的根源还是因为固定翼无人机的操控比较复杂。但是发展固定翼无人机是必需的，因为固定翼无人机有着诸多多旋翼无人机无法比拟的优势。

现存无人机自主降落技术主要采用视觉识别技术，用于采集图像的摄像头往往直接固定在无人机身上，无增稳减震机构，导致其在风力较大环境下摄像头随机身一起抖动无法采集有效图像，进而导致图像识别不准确。对于纯视觉识别而言，无论是单摄像头还是多摄像头都无法精确的获得目标物的准确数据，对于飞行速度较慢的无人机而言(例如多旋翼无人机)纯图像识别可以满足自主起降要求，但是对于固定翼无人机而言是远远不够的。

技术实现要素：

本发明的目的是克服上述现有技术中存在的问题，提供一种固定翼无人机自主起降方法，采用图像识别和激光测距的方法获取目标物体的位置信息。通过图像识别识别出物体，再通过激光测距获取目标的大小和距离。从而判断场地是否符合无人机起降标准，并规划起降路径。

为此，本发明提供一种固定翼无人机自主起降方法，包括如下步骤：

s1：在起飞的情况下，通过摄像头获取当前起飞跑道的图像；在降落的情况下，通过摄像头获取当前降落跑道的图像；

s2：在起飞的情况下，对起飞跑道的图像进行处理，得到起飞跑道上的障碍物并绘制障碍物的平面分布图像；在降落的情况下，对降落跑道的图像进行处理，得到降落跑道上的障碍物并绘制障碍物的平面分布图像；

s3：通过激光测距模块测出障碍物大小和距离；

s4：在起飞的情况下，根据障碍物的平面分布图像和障碍物大小和距离对起飞路径或者降落路径进行空间建模，得到起飞路径的空间模型或者降落路径的空间模型；在降落的情况下，根据障碍物的平面分布图像和障碍物大小和距离对降落路径或者降落路径进行空间建模，得到降落路径的空间模型或者降落路径的空间模型；

s5：在起飞的情况下，根据起飞路径的空间模型规划起飞路径；在降落的情况下，根据降落路径的空间模型规划降落路径，并切入到降落路径进行降落。

进一步，在步骤s2中，包括如下步骤：

s2-1：在起飞的情况下，将当前起飞跑道的图像的三维彩图转化为二维黑白图像；在降落的情况下，将当前降落跑道的图像的三维彩图转化为二维黑白图像；

s2-2：通过边缘检测器检测出障碍物二维黑白图像中的障碍物；

s2-3：根据步骤s2-2中检测出的障碍物绘制障碍物平面分布图。

进一步，所述摄像头与所述激光测距模块统一封装在三轴增稳云台中。

进一步，在步骤s1中，在降落的情况下，步骤s1包括如下步骤：

s1-1：根据降落跑道的坐标和激光测距模块的最大测量距离，得到环绕跑道飞行的飞行路径；

s1-2：当距离跑道设定距离的时候，在步骤s2-1中的飞行路径上飞行；

s1-3：通过摄像头获取当前将降落跑道的图像。

更进一步，在步骤s5中，固定翼无人机从环绕跑道飞行的飞行路径切入到降落路径进行降落。

本发明提供的一种固定翼无人机自主起降方法，具有如下有益效果：

采用图像识别和激光测距的方法获取目标物体的位置信息。通过图像识别识别出物体，再通过激光测距获取目标的大小和距离。从而判断场地是否符合无人机起降标准，并规划起降路径。

附图说明

图1为本发明实施例中的固定翼无人机的无人机的飞控系统的连接结构示意图；

图2为本发明实施例中的三轴增稳云台的结构示意图；

图3为本发明实施例中的平面障碍物示意图；

图4为本发明实施例中的起飞路径的空间障碍物示意图一；

图5为本发明实施例中的起飞路径的空间障碍物示意图二；

图6为本发明实施例中的降落路径的跑道示意图；

图7为本发明实施例中的降落路径的空间障碍物示意图。

具体实施方式

下面结合附图，对本发明的以一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

在本申请文件中，未经明确的部件型号以及结构，均为本领域技术人员所公知的现有技术，本领域技术人员均可根据实际情况的需要进行设定，在本申请文件的实施例中不做具体的限定。

本发明采用图像识别加激光测距作为自主起降解决方案的无人机的飞控系统，如图1所示，本发明提供的无人机的飞控系统由两大核心部件组成。一是直接控制无人机飞行的pix飞机自驾仪，相当于无人机的飞行控制器，控制飞机油门、升降舵机、偏航舵机、滚转脱机、襟翼舵机、前轮舵机、载荷仓舵机以及起落架的收放；二是以主控器(jetsonnano开发板)为核心的处理器，即本发明的飞控系统的中央处理器，与三轴增稳云台进行信号的连接。

对于三轴增稳云台，如图2所示，上到下分别为：激光测距模块，图像传感器，激光测距模块。图像传感器的视场中心与激光测距模块的测距点耦合在一起。实现了“看哪测哪”的功能。为了实现对空间中物体的识别与测距就要综合运用多传感器本技术方案选用图像传感器和激光测距模块。

图像传感器首先进行图像识别，具体的，彩图→灰度图→边缘检测→绘出平面障碍物，其中，彩图是由一个三维矩阵构成，其第三维度为r(红色矩阵)，g(绿色矩阵)，b(蓝色矩阵)。而黑白图像仅仅是一个二维矩阵。视觉实时识别每秒钟要处理30帧的图像，如果是处理彩图其硬件成本就会非常高。在进行图像识别时一般先将彩图转化为灰度图像。在得到灰度图后运用边缘检测器即可检测出障碍物，最后绘制出障碍物平面分布图供后续测距使用。

依据图像传感器形成的平面障碍物图通过激光测距模块进行视场耦合测距后得到如图3所示三维图形，图3中的基准面为无人机的跑道。

搭建完图像识别系统后，我们将激光测距焦点与图像传感器视场中心耦合在一起，对于障碍物的测距只需将图像传感器中心对准障碍物即可。

基于上述的无人机的飞控系统，具体的，本发明实施例提供了一种固定翼无人机自主起飞方法，包括如下步骤：

(1)：通过摄像头获取当前起飞跑道的图像；

摄像头固定在无人机的机身底部，在本发明的实施例中，摄像头内置在图像传感器中。

(2)：对步骤(1)中起飞跑道的图像进行处理，得到起飞跑道上的障碍物并绘制障碍物的平面分布图像；

图像传感器得到的是彩图，彩图是由一个三维矩阵构成，其第三维度为r(红色矩阵)，g(绿色矩阵)，b(蓝色矩阵)。而黑白图像仅仅是一个二维矩阵。视觉实时识别每秒钟要处理30帧的图像，如果是处理彩图其硬件成本就会非常高。在进行图像识别时一般先将彩图转化为灰度图像。在得到灰度图后运用边缘检测器即可检测出障碍物，最后绘制出障碍物平面分布图供后续测距使用。

(3)：通过激光测距模块测出障碍物大小和距离；

依据图像传感器形成的平面障碍物图通过激光测距模块进行视场耦合测距后得到三维图形。

(4)：根据障碍物的平面分布图像和障碍物大小和距离对起飞路径进行空间建模，得到起飞路径的空间模型；

(5)：根据起飞路径的空间模型规划起飞路径。

对于起飞路径的空间建模。首先，需要考虑固定翼无人机起飞的几个简单规则：

(1)、起飞路径宽度需大于无人机翼展；

(2)、无人机沿直线起飞；

(3)、无人机存在最长安全起飞距离。

考虑上述三个条件后无人机起飞路径建模要求就可以提炼为一下几个要点：

(1)、障碍物后的路径均不可用；

(2)、障碍物之间的路径宽度需大于无人机翼展；

(3)、障碍无距离无人机距离大于无人机最长安全起飞距离则该路径可用。

依据上述要求和要点我们可以得出无人机的起飞路径建模的基本流程：

(1)、对起飞路径进行图像识别绘制平面障碍物图如图3；

(2)、依据平面障碍物图对水平方向扫面测距得到障碍物相对于无人机的精确数据；

(3)、依据上述平面障碍图、激光测距数据、起飞路径空间建模规则和要点建立空间障碍物图如图4、图5。

依据起飞路径建模要求所建立空间模型，无人机可以很快找出可行的起飞路径。图4、图5中我们可以看出有俩条起飞路径，左端的起飞路径宽度大于右端起飞路径，此时只需考虑无人机翼展就可判断出哪条起飞路径可供无人机起飞。

具体的，在上述的步骤s1-2中，包括如下步骤：

(1)：将当前起飞跑道的图像的三维彩图转化为二维黑白图像(通过什么方法将三维转化为二维的)；

(2)：通过边缘检测器检测出障碍物二维黑白图像中的障碍物；

(3)：根据步骤(2)中检测出的障碍物绘制障碍物平面分布图。

彩图是由一个三维矩阵构成，其第三维度为r(红色矩阵)，g(绿色矩阵)，b(蓝色矩阵)。而黑白图像仅仅是一个二维矩阵。视觉实时识别每秒钟要处理30帧的图像，如果是处理彩图其硬件成本就会非常高。在进行图像识别时一般先将彩图转化为灰度图像。

彩图每一个像素点由(红色、绿色、蓝色)三种颜色构成，所以用矩阵来表示一幅彩图就需要三个矩阵来分别表示三种颜色的取值，所以彩图是一个三维矩阵。而黑白图像显示的只是不同的灰度，只需要一个矩阵即可描述。

进一步，所述摄像头与所述激光测距模块统一封装在三轴增稳云台中。

相对应的，本发明还提供一种固定翼无人机自主降落方法，包括如下步骤：

(1)：根据降落跑道的坐标和激光测距模块的最大测量距离，得到环绕跑道飞行的飞行路径；

在降落之前，已知条件是跑道的坐标，无人机环绕跑道飞行是为了对跑道表面进行图像识别和测距，此时要考虑的是激光测距的作用距离。假设激光测距的作用距离为l，此时需要无人机以小于l的距离绕跑道飞行，即是环绕跑道飞行的飞行路径。

(2)：当距离跑道设定距离的时候，在步骤(1)中的飞行路径上飞行；

(3)：通过摄像头获取当前将降落跑道的图像，再通过图像识别器判断降落跑道上是否存在障碍物，并绘制出降落跑道上的障碍物的平面分布图像；

(4)：通过激光测距模块测出障碍物大小和距离；

(5)：根据降落跑道上的障碍物的平面分布图像和障碍物大小和距离对降落路径进行空间建模，得到降落路径的空间模型；

(6)：从环绕跑道飞行的飞行路径切入到降落路径进行降落。

对于降落路径的空间建模，需要考虑固定翼无人机降落的几个简单规则：

(1)、无人机沿直线降落；

(2)、降落路径宽度需大于无人机翼展；

(3)、无人机存在最长安全降落距离。

考虑上述三个条件后无人机降落路径建模要求就可以提炼为一下几个要点：

(1)、障碍物后的路径均不可用；

(2)、障碍物之间的路径宽度需大于无人机翼展；

(3)、障碍物距离无人机距离大于无人机最长安全降落距离则该路径可用。

依据上述要求和要点我们可以得出无人机在降落路径建模的基本流程：

(1)、测定跑道长度与宽度是否符合规则(2)和规则(3)；

(2)、检测跑道上是否存在障碍物；

(3)、对跑道障碍物进行精确测定判断跑道是否符合降落条件。

如图6所示，无人机在空中发现跑道后首先对跑道的长度与宽度进行测定判断是否符合规则(2)和规则(3)。

完成对跑道的长宽测定后开始对跑道上的障碍物进行识别，如图7方块物体即为跑道上的障碍物。对障碍物的位置进行测定(无人机降落路径对障碍物的距离测定属于“动对静”的测定此时需要“视场耦合测距”，由于图像传感器和激光测距仪被统一封装在三轴云台中，可有效消除外部抖动因素)，绘制出障碍物在跑道上的分布图。进而根据三大规则和要点去判断跑道是否符合降落需求。

无人机的起飞路径建模是在静止状态下，图像传感器和激光测距模块均无需考虑抖动因素；而降落路径建模是在高速飞行中进行建模，需要消除外部抖动因素。

在本发明的无人机的飞控系统中，需要注意的是：

1、将图像传感器及激光测距模块整合到三轴增稳云台中(光电吊舱)。

此部分需要将图像传感器和激光测距模块先封装起来并校准激光测距点与图像传感器感光中点重合，再将封装好的模块植入三轴增稳云台中。

2、将光电吊舱整合至固定翼无人机中，解决光电吊舱对固定翼无人机飞行的气动干扰。

考虑到固定翼无人机在起飞和降落时的不同姿态，三轴增稳云台的第三轴应以固定翼飞机为轴线，在起飞状态下光电吊舱位于飞机顶部，巡航状态和降落状态时将光电吊舱旋转至飞机底部。在飞行过程中吊舱所带来的气动干扰是不可忽略的。使用solidworksflowsimulation(流体力学分析软件)来实现光电吊舱对固定翼无人机在起飞、巡航和降落时的气动干扰的仿真，优化气动外形。

3、图像传感器与激光测距的联动。

当硬件设备准备完毕时，完成光电吊舱的机上校准。

4、图像传感器对目标的识别与跟踪(算法)。

运用卷积神经网络算法对图像传感器获取的图像进行目标识别与跟踪，同时通过激光测距模块获取位置信息。图像传感器对目标的识别与跟踪，采用的是opencv中的medianflow跟踪算法。

5、空中飞行三轴增稳云台与图像传感器、激光测距的联动。

固定翼无人机在起飞和降落过程几乎没有相似之处，在降落路径更是危险重重。降落路径由于大气扰流的存在在没有三轴增稳云台的帮助下图像传感器几乎无法持续对一个目标进行稳定的跟踪，也更谈不上用激光测距去获取距离。所以在降落路径实现目标识别与跟踪必须建立在三轴增稳云台在无人机飞行过程中的稳定工作。

6、空中飞行图像传感器对目标的识别、跟踪与测距。

在空中实现对地面目标的识别、跟踪和测距是实现安全降落的前提，此时要求三轴增稳云台、图像传感器和激光测距模块均经过严格校准。

7、主控器与pix飞机自驾仪通信。

主控器控制光电吊舱对于地面目标的识别、跟踪与测距并形成飞控指令传入pix飞机自驾仪，由pix飞机自驾仪去操控具体的无人机动作。

对于上述的神经网络算法，在本发明中，分为数据输入层、卷积计算层、激励层、池化层以及全连接层。

具体的，对于神经网络算法的数据输入层要做的处理，主要是对原始图像数据进行预处理，其中包括：

1、去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。

2、归一化：幅度归一化到同样的范围，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征a和b，a范围是0到10，而b范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即a和b的数据都变为0到1的范围。

3、pca/白化：用pca降维，或者使用白化对数据各个特征轴上的幅度归一化。

对于神经网络算法的卷积计算层，这一层就是卷积神经网络最重要的一个层次，在这个卷积层，有两个关键操作：

1、局部关联，即每个神经元看做一个滤波器(filter)；

2、窗口(receptivefield)滑动，filter对局部数据计算，同时在卷积层中使用参数共享机制。

在卷积层中每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。神经元就是图像处理中的滤波器，比如边缘检测专用的sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合。

对于神经网络算法的激励层，是把卷积层输出结果做非线性映射。所采用的激励函数一般为relu(therectifiedlinearunit/修正线性单元)，它的特点是收敛快，求梯度简单，但较脆弱。

对于神经网络算法的池化层，池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。如果输入是图像的话，那么池化层的最主要作用就是压缩图像。池化层具有以下的特性：

1.特征不变性，也就是我们在图像处理中经常提到的特征的尺度不变性，池化操作就是图像的resize，平时一张狗的图像被缩小了一倍我们还能认出这是一张狗的照片，这说明这张图像中仍保留着狗最重要的特征，我们一看就能判断图像中画的是一只狗，图像压缩时去掉的信息只是一些无关紧要的信息，而留下的信息则是具有尺度不变性的特征，是最能表达图像的特征。

2.特征降维，我们知道一幅图像含有的信息是很大的，特征也很多，但是有些信息对于神经网络算法的我们做图像任务时没有太多用途或者有重复，我们可以把这类冗余信息去除，把最重要的特征抽取出来，这也是池化操作的一大作用。

3.在一定程度上防止过拟合，更方便优化。

对于池化层，所使用的方法有maxpooling算法和averagepooling算法。

对于神经网络算法的全连接层，全连接层和池化层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部，也就是跟传统的神经网络神经元的连接方式是一样的。

在本发明的实施例中，对图像的处理，在程序的撰写上，具体的有如下的步骤，可供技术人员参考：

步骤1：读取图像；

步骤2：灰度图的生成(三维rgb矩阵转二维灰度矩阵)；

步骤3：高斯模糊；

步骤4：canny边缘检测；

cannyedgedetection提供了一种检测图像边界的方法，通过图像的渐变完成，其中每个像素的亮度与渐变的强度相对应，通过追踪遵循最强渐变的像素来找到边缘，通常，像素之间的强烈密度变化将指示边缘。

步骤5：霍夫线检测器；

将通过将图像传输到称为houghspace的参数空间来实现这一点，即处理极坐标(rho和theta)，在其中搜索相交的线。

步骤6：找到路线；

首先，相对于x轴将图像分成两半；其次，将线性回归模型拟合到这些点，以找到一条平滑的线；最后，由于存在离群值，需要一种可以有效处理它们的回归模型，使用huberregressor将图像限制在y轴的某个范围内，并借助它绘制线。

步骤7：将线条与原始图片连接。

通过对两个图像进行加权，也可以将它们相加。

综上所述，本发明公开了一种固定翼无人机自主起降方法，本通过将采集图像的摄像头与激光测距模块统一封装在三轴增稳云台中，实现在较为复杂的飞行环境中也可做到精准识别和测距。本发明专利申请项目的创造性，采用图像识别和激光测距的方法获取目标物体的位置信息。通过图像识别识别出物体，再通过激光测距获取目标的大小和距离。从而判断场地是否符合无人机起降标准，并规划起降路径。新颖性，商用市场上的无人机自主起降解决方案主要针对于多旋翼垂直起降无人机，目前无针对固定翼无人机的自主起降解决方案。实用性，本发明的产品形态为无人机光电吊舱，图像识别、激光测距及控制设备均封装在吊舱内。吊舱提供与无人机飞控的接口用于传递飞行指令。本发明成品外挂在无人机上，与飞控连接后即可实现自主起降。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。