基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统

1.本发明涉及旋翼无人机的技术领域，特别是基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统。


背景技术：

2.随着无人机技术的快速发展，无人机的运用领域也愈来愈广泛，比如快递配送，地理勘探，灾后救援等，这类任务的显著特征是着陆的地表地形未知，无人机着陆时存在安全隐患。
3.现有技术中，无人机着陆方案有两种技术路径，第一种技术方案是改变无人机的着陆机械结构，使之能适应地表的地形，这种方式无需预先获取地形信息，而是在降落时根据传感器的反馈调整起落架与地表的接触角度，以此达到平稳降落的目的，此类方法能适用于大部分的地形地表，并且不需要设计降落决策算法，有很广泛的运用场景。但是此类方式需要对无人机起落架的机械结构进行重新定制，不适用于现有的无人机，并且大大增加了成本，难以得到大规模的运用。第二种技术方案是在适合降落的地表处放置醒目的标签，无人机通过摄像头感知标签，改变自身的位姿，对齐标签，从而实现平稳降落。此类方案可以满足高精度的着陆要求，但对于一些无法放置标签的着陆区域，比如灾后的废墟，则不适用。


技术实现要素：

4.针对上述缺陷，本发明的目的在于提出基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统，能够自动采集地形图像得到深度图，通过图像处理选取得到平坦的区域作为降落的目标区域，能够应用于绝大部分的无人机机型和不同的地形区域，具有普适性。
5.为达此目的，本发明采用以下技术方案：
6.基于视觉的旋翼无人机在崎岖地表的安全降落方法，包括以下步骤：
7.步骤a1：在无人机上加装机载电脑、高清摄像头和轨迹追踪摄像头，所述高清摄像头、轨迹追踪摄像头均与机载电脑信号连接；
8.步骤a2：无人机起飞后，根据机载的gps信号进行定位，到达待降落点的领域上空，进行航行扫描；
9.步骤a3：在航行扫描时，飞控采集无人机的姿态信息并发送至机载电脑；高清摄像头对该领域的地形图像进行采集，并将获取到的地形图像发送至机载电脑；轨迹追踪摄像头采集无人机的飞行轨迹信息，发送至机载电脑；
10.步骤a4：所述机载电脑根据地形图像生成地形深度图；
11.步骤a5：所述机载电脑从地形深度图中选取平坦的区域作为降落候选区域；
12.步骤a6：所述机载电脑根据无人机的姿态信息和轨迹信息，以降落候选区域为目标，进行着陆轨迹规划；
13.步骤a7：所述机载电脑根据规划出的着陆轨迹，向飞控发送控制指令，实施无人机
降落。
14.优选的，在步骤a4中，运用三维重建算法生成地形深度图，包括：
15.步骤a41：基于尺度不变特征变换的特征点提取和匹配；
16.步骤a42：计算高清摄像头的外参矩阵；
17.步骤a43：关键帧的选取；
18.步骤a44：特征点三角化求三维点云；
19.步骤a45：运用光束平差法进行优化，生成深度图。
20.优选的，在步骤a5中，从地形深度图中选取降落候选区域，包括：
21.步骤a51：将无人机的轮廓投影到深度图上，以使无人机的轮廓转化成模板，并用所述模板在深度图上进行降落区域的搜索，计算降落模板的尺寸；
22.步骤a52：运用sobel算子获取深度图的梯度，以在深度图中寻找梯度较小的区域；
23.步骤a53：以模板边长s组成一个s*s尺寸的窗口，所述窗口滑动遍历整个深度图，获取每一次滑动窗口的梯度值，将梯度值最小的窗口匹配为降落候选区域。
24.优选的，步骤a6中进行着陆轨迹规划，包括着陆点坐标转化，获取无人机机身位置和降落区域中心的位置关系。
25.基于视觉的旋翼无人机在崎岖地表的安全降落系统，包括：无人机平台、机载电脑、高清摄像头、轨迹追踪摄像头和通信系统；所述机载电脑、高清摄像头、轨迹追踪摄像头分别设于无人机平台上的对应位置；
26.所述机载电脑用于接收传感数据、分析数据、生成深度图、规划着陆轨迹和发送指令；
27.所述高清摄像头用于采集地形图像，发送至机载电脑；
28.所述轨迹追踪摄像头用于采集无人机的飞行轨迹信息，发送至机载电脑；
29.所述通信系统用于高清摄像头、轨迹追踪摄像头和机载电脑之间的通信连接。
30.优选的，所述机载电脑内部设有深度图生成模块、降落点搜索决策模块、着陆轨迹规划模块和指令发送模块，所述深度图生成模块、降落点搜索决策模块和着陆轨迹规划模块信号连接；
31.所述深度图生成模块用于根据输入的地形图像，运用三维重建算法生成地形深度图；
32.所述降落点搜索决策模块用于获取地形深度图，从地形深度图中选取降落候选区域；
33.所述着陆轨迹规划模块用于接收无人机的姿态信息、轨迹信息和降落候选区域信息，进行针对降落点的着陆轨迹规划，并将规划后着陆轨迹发送至指令发送模块；
34.所述指令发送模块用于控制无人机的飞控，以实施无人机降落。
35.基于视觉的旋翼无人机在崎岖地表的安全降落系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上文所述方法的步骤。
36.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上文所述方法的步骤。
37.上述技术方案包括以下有益效果：
38.本发明无需对无人机起落架的机械结构进行重新定制，节省了成本，且机载电脑、摄像头等设备方便安装，方便对无人机进行改造；且无需在地表处放置标签，而是无人机自动采集地形图像得到深度图，通过图像处理选取得到平坦的区域作为降落的目标区域，能够应用于绝大部分的无人机机型和不同的地形区域，具有普适性。
附图说明
39.图1是本发明的硬件平台俯视图；
40.图2是本发明的软件结构示意图；
41.图3是地形深度图生成步骤的流程图；
42.图4是本发明中特征匹配的示意图；
43.图5是原始图片与深度图的对照示意图；
44.图6是框选降落区域的示意图。
具体实施方式
45.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
46.在本发明的描述中，需要理解的是，术语“纵向”、“横向”“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，用于区别描述特征，无顺序之分，无轻重之分。
47.在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
48.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
49.下面结合图1至图6描述本发明实施例的基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统：
50.基于视觉的旋翼无人机在崎岖地表的安全降落方法，包括以下步骤：
51.步骤a1：在无人机上加装机载电脑、高清摄像头和轨迹追踪摄像头，所述高清摄像头、轨迹追踪摄像头均与机载电脑信号连接；
52.步骤a2：无人机起飞后，根据机载的gps信号进行定位，到达待降落点的领域上空，进行航行扫描；
53.步骤a3：在航行扫描时，飞控采集无人机的姿态信息并发送至机载电脑；高清摄像头对该领域的地形图像进行采集，并将获取到的地形图像发送至机载电脑；轨迹追踪摄像头采集无人机的飞行轨迹信息，发送至机载电脑；
54.步骤a4：所述机载电脑根据地形图像生成地形深度图，
55.步骤a5：所述机载电脑从地形深度图中选取平坦的区域作为降落候选区域；
56.步骤a6：所述机载电脑根据无人机的姿态信息和轨迹信息，以降落候选区域为目标，进行着陆轨迹规划；
57.步骤a7：所述机载电脑根据规划出的着陆轨迹，向飞控发送控制指令，实施无人机降落。
58.具体的，现有技术中，无人机着陆方案有两种技术路径，第一种技术方案是改变无人机的着陆机械结构，使之能适应地表的地形，这种方式无需预先获取地形信息，而是在降落时根据传感器的反馈调整起落架与地表的接触角度，以此达到平稳降落的目的，此类方法能适用于大部分的地形地表，并且不需要设计降落决策算法，有很广泛的运用场景。但是此类方式需要对无人机起落架的机械结构进行重新定制，不适用于现有的无人机，并且大大增加了成本，难以得到大规模的运用。第二种技术方案是在适合降落的地表处放置醒目的标签，无人机通过摄像头感知标签，改变自身的位姿，对齐标签，从而实现平稳降落。此类方案可以满足高精度的着陆要求，但对于一些无法放置标签的着陆区域，比如灾后的废墟，则不适用。综上，现有的两种主流方案均存在诸如成本高、应用场景局限的缺点。
59.在本实施例中，通过在现有的无人机平台上加装机载电脑、高清摄像头和轨迹追踪摄像头，在无人机的飞行过程中，运用高清摄像头拍摄地形图，机载电脑计算出地形深度图，并根据地形深度图找出合适的降落点，自动规划着陆轨迹，根据着陆轨迹调整无人机的姿态，使无人机顺利到达待降落点完成降落。具体过程为：无人机起飞后，根据机载的gps信号进行定位，到达待降落点的领域上空，为了获取高质量的地形图，无人机通过高度计与地面保持10-13米的距离，并且保持航速为1-5m/s，以“z”字形进行航行扫描，高清摄像头d455以30hz的频率采集1280*720rgb图像并且传回机载电脑，机载电脑采用三维重建算法生成地形深度图，从深度图中选取平坦的区域作为降落候选点，最后机载电脑发送指令给飞控，驱使无人机以一定轨迹降落候选区域。
60.本发明无需对无人机起落架的机械结构进行重新定制，节省了成本，且机载电脑、摄像头等设备方便安装，方便对无人机进行改造；且无需在地表处放置标签，而是无人机自动采集地形图像得到深度图，通过图像处理选取得到平坦的区域作为降落的目标区域，能够应用于绝大部分的无人机机型和不同的地形区域，具有普适性。
61.优选的，在步骤a4中，运用三维重建算法生成地形深度图，包括：
62.步骤a41：基于尺度不变特征变换的特征点提取和匹配；
63.步骤a42：计算高清摄像头的外参矩阵；
64.步骤a43：关键帧的选取；
65.步骤a44：特征点三角化求三维点云；
66.步骤a45：运用光束平差法进行优化，生成深度图。
67.具体的，考虑到无人机飞行时是一个动态过程，高清摄像头获取的图片质量会受到光照变化、无人机的姿态变化以及无人机阴影遮挡的影响，为避免这些因素产生负面的作用，在对图片进行特征点匹配时采用基于尺度不变特征变换(sift)的特征点提取方法，尺度不变特征变换是一种对物体的尺度变化、刚体变换、光照强度和遮挡都具有较好的稳定性的图像描述算子。sift特征提取算法主要分为以下几个步骤：
68.1)建立图像金字塔，进行极值点检测；
69.2)去掉边界和对比度小的极值，得到稳定的极值点；
70.3)计算每个极值点的16*16领域范围内的梯度直方图，将16*16范围划分为16个4*4的像素块，每个像素块计算8个方向的梯度直方图，得到128维的特征描述向量；
71.4)通过比较两张图中的128维描述向量的欧氏距离找到匹配点。
72.经过上述操作后，就得到了两张图片的匹配点，后续运用这些匹配点进行高清摄像头的外参矩阵的计算和关键帧的选择。
73.高清摄像头的外参矩阵描述了世界坐标与高清摄像头坐标的旋转和平移关系，世界坐标系与高清摄像头坐标系之间的相对旋转为矩阵r(r是一个3行3列的旋转矩阵)，相对位移为向量t(3行1列的矩阵)，外参矩阵[r t]是后续计算三维空间中的点坐标的转化工具。外参矩阵有7个独立的参数，可以选取两张图片的8个特征匹配点，使用8点法建立约束方程求解。
[0074]
关键帧是指从数量众多的原始rgb图片中选取质量好的图片作为关键参考帧，然后再从其他图片中选取与参考帧有较多相似度的图片作为参考帧的邻域帧，邻域帧选取的原则是其成像内容与参考帧具有较多相同的成分，即两张图片的成像角度尽可能相同。公式1用来表征两张图片的匹配度得分，得分越低，匹配度越高。
[0075][0076]
图4为参考帧与邻域帧的特征匹配图，其中ai是第i个匹配特征点的投影夹角，t是阈值，这里取5。ai的计算可以通过外参矩阵将特征点投影到三维空间中p点，再通过解三角形的方式求解。从n个匹配图片中选取5个匹配度得分较高者作为关键帧的邻域帧来进行三维点云的计算。已经知道了两个高清摄像头之间的变换矩阵[r t]，还有每一对匹配点的像素坐标，根据公式2、公式3可以还原特征匹配点在空间当中的坐标。
[0077]
xs＝k(rx+t)
ꢀꢀ
公式2
[0078]
其中x表示空间点对应的像素坐标，s表示空间点到高清摄像头光心的距离，x表示空间点的坐标。用s对公式2两边做叉积，可以消去s，得到公式3。
[0079][0080]
其中为x的叉积形式,公式3只有一个未知数，通过svd分解的方法解方程即可求得x，即得到空间中一点的三维坐标。将每个邻域帧进行上述操作，将更多的特征点按照公式2、公式3进行三角化，得到三维点的集合，称为点云图。随着计算图片的增加，误差会不断积累，这就造成图4中，像素点从每个视图的高清摄像头光心发射，最后并没有相交于p点，形成误差。
[0081]
采用光束平差法(bundle adjustment)进行优化，光束平差法的目标函数为公式4：
[0082][0083]
其中k为三维空间点个数，n为成像平面个数，m
ij
为第i个三维点在第j个成像平面的特征点坐标，v
ij
表示点i在成像平面j上是否有投影，有则v
ij
＝1，没有则v
ij
＝0，pj表示每个成像平面对应的外参数向量，mi表示每个三维点的坐标向量，q(pj，mi)是重投影函数，将
三维点mi映射到成像平面，d(x,y)为距离度量函数，一般为欧式距离函数。采用梯度下降法对目标函数(公式4)进行迭代优化，即可得到更加准确的三维稀疏点云。最后将得到的三维点云通过pcl(point cloud library)点云库投影转化为深度图。
[0084]
优选的，在步骤a5中，从地形深度图中选取降落候选区域，包括：
[0085]
步骤a51：将无人机的轮廓投影到深度图上，以使无人机的轮廓转化成模板，并用所述模板在深度图上进行降落区域的搜索，计算降落模板的尺寸；
[0086]
步骤a52：运用sobel算子获取深度图的梯度，以在深度图中寻找梯度较小的区域；
[0087]
步骤a53：以模板边长s组成一个s*s尺寸的窗口，所述窗口滑动遍历整个深度图，获取每一次滑动窗口的梯度值，将梯度值最小的窗口匹配为降落候选区域。
[0088]
具体的，在得到深度图后，即可从深度图中搜索出适合无人机降落的区域。图5为原始图片和相应的深度图，深度图的每个像素的灰度值代表该像素点到高清摄像头的距离。
[0089]
在本实施例中，无人机处于降落区域上方5-10米处进行拍照，由于无人机在不同高度所看到的的地面物体的尺度不一，因此需要将无人机的轮廓投影到深度图上，即对无人机的轮廓做一个尺寸变化形成一个正方形模板，用这个模板在深度图上进行降落区域的搜索。设无人机的最长物理边长为l
max
，d
ave
为深度图平均每个像素点的深度，k为高清摄像头的内参矩阵，s为模板的边长像素个数，则匹配的模板边长由公式5所示。
[0090][0091]
无人机降落的区域要求地形平坦，需要在深度图中找出深度值相近的一片区域，由于深度图的灰度值代表深度值，因此只需寻找深度图像素梯度跃迁不明显的区域，即为非边缘区域。这里运用sobel边缘检测算子，sobel检测算子用来计算图像灰度的近似梯度，梯度越大就越代表是边缘，因此需要在深度图中寻找梯度较小的区域。
[0092]
sobel算子的原理是基于图像的卷积来实现在水平方向与垂直方向上的边缘检测，水平方向的卷积核g(x)和垂直方向的卷积核g(y)为3*3的矩阵，如下公式6所示：
[0093][0094]
边缘检测灰度值的如公式7，其中i为原始图像，
[0095][0096]
将两个方向上的梯度进行结合得到该点(x,y)的灰度值：
[0097][0098]
运用sobel算子求得深度图每个深度值的梯度后，以公式5中求得的模板边长s组成一个s*s尺寸的窗口，如图6所示，将该窗口框选深度图的左上部分，选取s*s区域，计算该区域的每个像素的梯度值，之后以步长为1，遵循从左到右，从上到下的方式滑动窗口，遍历整个深度图。每个窗口的总梯度计算公式9如下：
[0099][0100]
其中g
u，v
表示中心坐标为(u，v)的窗口的总梯度，g(x,y)表示坐标为(x,y)的梯度值，[x]表示向下取不大于x的整数。得到每个窗口的梯度之后，只需从中挑选梯度值最小的窗口min
u，vgu，v
即为待降落区域。
[0101]
优选的，步骤a6中进行着陆轨迹规划，包括着陆点坐标转化，获取无人机机身位置和降落区域中心的位置关系。
[0102]
具体的，无人机的着陆过程分为三个阶段，阶段一是着陆点坐标转化，阶段二是控制无人机飞到着陆点上方，阶段三是确定着陆点无误后，机载电脑发送控制指令给飞控，实施降落。本发明设有多个坐标系统，分别是深度图成像坐标即高清摄像头d455坐标，无人机运动轨迹坐标即轨迹追踪摄像头t265坐标，以及无人机机身坐标。为方便计算，将无人机机身坐标和t265坐标重合，由于摄像头d455和t265安装在同一个平面，两个坐标的转化不用考虑旋转关系，只需考虑平移关系，两者的转化坐标为公式10：
[0103][0104]
其中od为d455坐标，o
t
为t265坐标，t为齐次坐标转化矩阵，d为两个摄像头的安装距离。将公式9中的g
u，v
取最小，即min
u，vgu，v
为最小梯度窗口，(u，v)为降落区域的中心像素坐标，将其对应点云的三维空间坐标取出来，为pd(x，y，z),该坐标为d455坐标系下的坐标，将其转化为无人机机身坐标，转化公式11如下：
[0105]
p
t
(x，y，z)＝t-1
pd(x，y，z)
ꢀꢀ
公式11
[0106]
经过坐标变化，无人机就可以确定其自身的位置和降落区域的中心的位置关系，机载电脑向飞控下达指令，调整无人机的位姿，无人机飞到降落点上空，实施降落。
[0107]
基于视觉的旋翼无人机在崎岖地表的安全降落系统，包括：无人机平台、机载电脑、高清摄像头、轨迹追踪摄像头和通信系统；所述机载电脑、高清摄像头、轨迹追踪摄像头分别设于无人机平台上的对应位置；
[0108]
所述机载电脑用于接收传感数据、分析数据、生成深度图、规划着陆轨迹和发送指令；
[0109]
所述高清摄像头用于采集地形图像，发送至机载电脑；
[0110]
所述轨迹追踪摄像头用于采集无人机的飞行轨迹信息，发送至机载电脑；
[0111]
所述通信系统用于高清摄像头、轨迹追踪摄像头和机载电脑之间的通信连接。
[0112]
具体的，无人机平台是当前市面上能带一定负载，且能执行一定任务的旋翼无人机类，本实施例采用的无人机机型为大疆的m210v2，在实际应用中也可采用其他机型的无人机。本实施例采用的高清摄像头为intel realsense d455，用于获取地形的高清rgb图片，以此作为深度图的原始图像；轨迹追踪摄像头采用intel realsense t265，用于生成无人机的飞行轨迹，作为无人机的姿态估计传感器；机载电脑采用dji manifold g2，主要用于接收来自无人机m210v2飞控的传感器数据，并且向飞控发送控制指令；接收摄像头d455采集的地形高清rgb图片，用于后续生成深度图的原始图片；接收摄像头t265采集的无人机
轨迹信息，并结合飞控采集的姿态信息进行轨迹规划。本实施例通过机器人操作系统ros(robot operating system)进行通信。
[0113]
优选的，所述机载电脑内部设有深度图生成模块、降落点搜索决策模块、着陆轨迹规划模块和指令发送模块，所述深度图生成模块、降落点搜索决策模块和着陆轨迹规划模块信号连接；
[0114]
所述深度图生成模块用于根据输入的地形图像，运用三维重建算法生成地形深度图；
[0115]
所述降落点搜索决策模块用于获取地形深度图，从地形深度图中选取降落候选区域；
[0116]
所述着陆轨迹规划模块用于接收无人机的姿态信息、轨迹信息和降落候选区域信息，进行针对降落点的着陆轨迹规划，并将规划后着陆轨迹发送至指令发送模块；
[0117]
所述指令发送模块用于控制无人机的飞控，以实施无人机降落。
[0118]
优选的，基于视觉的旋翼无人机在崎岖地表的安全降落系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上文所述方法的步骤。
[0119]
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上文所述方法的步骤。
[0120]
根据本发明实施例的基于视觉的旋翼无人机在崎岖地表的安全降落系统的其他构成等以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。
[0121]
上述基于视觉的旋翼无人机在崎岖地表的安全降落系统中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备的存储器中，以便于处理器调用执行以上各模块对应的操作。
[0122]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0123]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0124]
以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于
上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。