一种基于视觉的雾天飞机自主着陆方法及系统与流程

1.本申请属于飞机控制技术领域，特别涉及一种基于视觉的雾天飞机自主着陆方法。


背景技术：

2.在现有技术中，飞机着陆普遍是采用gps和仪器仪表进行着陆的方式，此种方式需要借助数据链，其信号易受无线电信号的干扰并易丢失。借助视觉导航为飞机自主着陆问题提供了新的途径，视觉导航通过传感器获取图像信息，通过图像处理技术获取飞机的相对位姿信息，可以在不依赖数据链支持的条件下，实现飞机自主着陆引导，且其不需要向外发射信号，抗电磁干扰能力强，工作波段远离当前电磁对抗的频率范围，在具有电磁干扰的情况下更加安全。但视觉导航易到受天气的影响，当天气为大雾时，飞机自主着陆安全收到威胁。


技术实现要素：

3.本申请的目的是提供了一种基于视觉的雾天飞机自主着陆方法，以解决或减轻背景技术中的至少一个问题。
4.本申请的技术方案是：一种基于视觉的雾天飞机自主着陆方法，所述方法包括：
5.获取不同视线方向与不同距离的机场跑道图像，并对机场跑道图像进行数据标注及特征提取，以获得飞机在不同空间位置及不同视角下的飞机观测模型；
6.实时采集飞机着陆过程中的跑道图像，并对所述跑道图形进行预处理后进行实时图像去雾，通过计算得到图像的暗通道图像，并进一步估算得到大气光值，计算出图像的透过率图，借助于雾天图像成像模型，代入计算结果反算得到去雾后的清晰图像；
7.将去雾后的清晰图像输入分类训练器中识别得到跑道线区域，并基于图像样本中的标记数值得到粗相对位姿；
8.在识别得到的跑道线区域上进行变换得到跑道的直线段，根据跑道线区域中各小线段长度和线宽计算出线段的权重，并按照权重大小随机选取点，按一定算法拟合出跑道线；
9.在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征，并结合事先标定的相机内部参数，通过一定算法，利用相机投影模型和2d特征点，建立相机坐标系和世界坐标系的转换关系，通过求解三维到二维的刚体运动问题进行位姿解算，得到飞机相对于机场跑道的细相对位姿；
10.基于所述粗相对位姿和细相对位姿解算得到飞机相对于着陆下滑道的偏差信息，基于所述偏差信息引导飞机进行着陆。
11.进一步的，实时图像去雾中采样了暗通道去雾算法。
12.进一步的，出跑道线拟合利用的是ransac方法。
13.进一步的，在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征时利
用brisk描述符方法。
14.进一步的，相机坐标系和世界坐标系的二维到三维采样的是epnp算法。
15.在另一方面，本申请提供的技术方案是：一种基于视觉的雾天飞机自主着陆系统，所述系统包括：
16.分类训练器，用于获取不同视线方向与不同距离的机场跑道图像，并对机场跑道图像进行数据标注及特征提取，以获得飞机在不同空间位置及不同视角下的飞机观测模型；
17.图像采集与去雾处理模块，用于实时采集飞机着陆过程中的跑道图像，并对所述跑道图形进行预处理后进行实时图像去雾，通过计算得到图像的暗通道图像，并进一步估算得到大气光值，计算出图像的透过率图，借助于雾天图像成像模型，代入计算结果反算得到去雾后的清晰图像；
18.跑道区域识别模块，用于将去雾后的清晰图像输入分类训练器中识别得到跑道线区域，并基于图像样本中的标记数值得到粗相对位姿；
19.跑道线提取模块，用于在识别得到的跑道线区域上进行变换得到跑道的直线段，根据跑道线区域中各小线段长度和线宽计算出线段的权重，并按照权重大小随机选取点，按一定算法拟合出跑道线；
20.位姿解算模块，在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征，并结合事先标定的相机内部参数，通过一定算法，利用相机投影模型和2d特征点，建立相机坐标系和世界坐标系的转换关系，通过求解三维到二维的刚体运动问题进行位姿解算，得到飞机相对于机场跑道的细相对位姿；
21.着陆引导模块，基于所述粗相对位姿和细相对位姿解算得到飞机相对于着陆下滑道的偏差信息，基于所述偏差信息引导飞机进行着陆。
22.进一步的，图像采集与去雾处理模块中，实时图像去雾中采样了暗通道去雾算法。
23.进一步的，跑道线提取模块中拟合出跑道线利用的是ransac方法。
24.进一步的，在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征时利用brisk描述符方法。
25.进一步的，位姿解算模块中，相机坐标系和世界坐标系的二维到三维采样的是epnp算法。
26.本申请所提供的基于视觉的雾天飞机自主着陆方法通过图像特征库建立及分类器训练、机场图像实时采集、图像去雾处理、视觉特征提取、跑道区域解算及跑道线提取、位姿解算等过程，从而实现大雾天气下的自主着陆。
附图说明
27.为了更清楚地说明本申请提供的技术方案，下面将对附图作简单地介绍。显而易见地，下面描述的附图仅仅是本申请的一些实施例。
28.图1为本申请的基于视觉的雾天飞机自主着陆方法示意图。
29.图2为本申请中的飞机跑道特征提取示意图。
30.图3为本申请中的基于视觉的雾天飞机自主着陆系统组成图。
具体实施方式
31.为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。
32.如图1所示，本申请提供的基于视觉的雾天飞机自主着陆方法包括如下过程：
33.1)分类器训练：事先获取不同视线方向、不同距离的跑道图像样本以构建样本数据库，并对样本进行结构化信息数据标注；对样本中的跑道图像进行hog(histogram of oriented gradient,即方向梯度直方图)特征提取，利用svm算法训练得到分类器，获得飞机在空间不同位置、不同视角下对跑道区域的观测描述模型；
34.2)实时图像采集及图像去雾：在飞机着陆过程中，基于机载摄像机实时采集跑道图像，进行预处理后使用基于暗通道的图像去雾算法进行实时图像去雾，通过计算得到图像的暗通道图像，并进一步估算得到大气光值，得出图像的透过率图，借助于雾天图像成像模型，代入计算结果反算得到去雾后的清晰图像；
35.3)跑道区域识别：将去雾后的清晰图像输入svm分类器中识别匹配得到机场的跑道线区域，并基于图像样本库的标记数值得到粗相对位姿；
36.4)跑道线提取：在识别得到的跑道区域基础上进行hough变换得到跑道线的直线段，根据各小线段长度和线宽计算出线段的权重，并按照权重大小随机选取点，利用ransac方法拟合出跑道线，如图2所示；
37.5)位姿解算：在拟合的跑道线基础上利用brisk描述符在基准帧图像中提取已知地理坐标的跑道线的角点特征，并结合事先标定的相机内部参数，通过epnp算法，利用相机投影模型和2d特征点，建立相机坐标系和世界坐标系的转换关系，通过求解三维到二维的刚体运动问题进行位姿解算，得到飞机相对于机场跑道精确的相对位姿；
38.6)着陆引导：将粗相对位姿和精确相对位姿通过坐标转换及计算，得到飞机相对于着陆下滑道的偏差信息，输出给飞控系统进行引导着陆。
39.如图3所示，本申请在还提供了一种基于视觉的雾天飞机自主着陆系统10，所述系统10包括：
40.分类训练器11，用于获取不同视线方向与不同距离的机场跑道图像，并对机场跑道图像进行数据标注及特征提取，以获得飞机在不同空间位置及不同视角下的飞机观测模型；
41.图像采集与去雾处理模块12，用于实时采集飞机着陆过程中的跑道图像，并对所述跑道图形进行预处理后进行实时图像去雾，通过计算得到图像的暗通道图像，并进一步估算得到大气光值，计算出图像的透过率图，借助于雾天图像成像模型，代入计算结果反算得到去雾后的清晰图像；
42.跑道区域识别模块13，用于将去雾后的清晰图像输入分类训练器中识别得到跑道线区域，并基于图像样本中的标记数值得到粗相对位姿；
43.跑道线提取模块14，用于在识别得到的跑道线区域上进行变换得到跑道的直线段，根据跑道线区域中各小线段长度和线宽计算出线段的权重，并按照权重大小随机选取点，按一定算法拟合出跑道线；
44.位姿解算模块15，在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征，并结合事先标定的相机内部参数，通过一定算法，利用相机投影模型和2d特征点，建立
相机坐标系和世界坐标系的转换关系，通过求解三维到二维的刚体运动问题进行位姿解算，得到飞机相对于机场跑道的精确相对位姿；
45.着陆引导模块16，基于所述粗相对位姿和精确相对位姿解算得到飞机相对于着陆下滑道的偏差信息，基于所述偏差信息引导飞机进行着陆。
46.本申请所提供的基于视觉的雾天飞机自主着陆方法及系统通过图像特征库建立及分类器训练、机场图像实时采集、图像去雾处理、视觉特征提取、跑道区域解算及跑道线提取、位姿解算等过程，从而实现大雾天气下的自主着陆。
47.以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。