一种基于图像透视的微型无人机室内自主导航方法
【专利摘要】本发明提出的一种基于图像透视的微型无人机室内自主导航方法，将室内环境分为走廊、台阶与房间三种，通过分析视觉图像的透视特征确定环境类型，进而采用消失点、中心线或光流等方法进行障碍物检测，得到相应导航与控制信息，实现微型无人机室内自主避障与飞行。本发明无需构建环境的三维模型，可大大降低算法运算时间，提高控制指令的实时性，并具有高自主性与高可靠性。该方法计算量较小，实时性强，对硬件的要求低，且定位精度较高。为微型无人机室内导航的工程应用提供一种可行的技术方案。
【专利说明】一种基于图像透视的微型无人机室内自主导航方法
【技术领域】
[0001]本发明属于无人机导航【技术领域】，具体涉及一种基于图像透视的微型无人机室内自主导航方法。
【背景技术】
[0002]微型无人机是指尺寸只有手掌大小的飞行器，可作为士兵携带的一种战场侦察设备，其潜在作用包括空中监视、生物战剂探测、目标识别、通信中继等，并且在大型建筑物内部探测方面具有得天独厚的优势。
[0003]高精度、高可靠的自主导航技术是保证微型无人机顺利完成各种任务的关键技术之一，对于增强微型无人机自主行为能力，提高作战效能具有十分重要的意义。目前，实现无人机自主导航技术的基本思路是通过机载传感器，实时感知无人机自身状态及飞行空间环境信息，通过多源信息融合技术确定无人机运动状态与相关导航参数，并实现对周围环境的感知、避障、路径规划等功能。
[0004]视觉导航是随着计算机硬件与图像处理技术的高速发展而兴起的一门新的导航技术，该技术涉及光学、模式识别、图像处理和导航等多门学科。在视觉导航系统中，载体通过成像传感器感知环境，然后由计算机对图像进行分析，获取载体的位置和姿态等导航信息。视觉导航的自主性、灵活性和适应性等特点使其迅速成为导航领域的研究热点。
[0005]针对微型无人机室内飞行环境，其重点在于高精度定位与空间障碍感知与规避，相比惯性导航与GPS导航，视觉导航在障碍感知方面具有独特的优势，因此研究基于视觉的室内自主导航极其重要，一般方法是采用高分辨率摄像机拍摄周围环境并进行三维重构，根据重构结果确定合理的飞行路径，然而这种方法所需计算量很大，实时性差，对硬件的要求高，且定位精度较低。
【发明内容】
[0006]要解决的技术问题
[0007]为了避免现有技术的不足之处，本发明提出一种基于图像透视的微型无人机室内自主导航方法，实现微型无人机室内环境下自主导航。
[0008]技术方案
[0009]一种基于图像透视的微型无人机室内自主导航方法，其特征在于步骤如下:
[0010]步骤1:在微型无人机室内飞行过程中,机载前视摄像机Cameral实时获取图像a,机载下视摄像机Camera2实时获取图像b ；
[0011]步骤2:分析图像a与图像b的透视特征，判断微型无人机所处的环境类型，环境类型走廊、台阶或房间；过程如下:
[0012]A、使用Hough变换对图像a进行直线检测得到图像C，判断图像c中是否有消失点；所述消失点为具有透视特征的点；
[0013]B、若有消失点，判定室内环境类型为走廊，若无消失点，则去除图像c中的水平线和垂直线得到图像d，再判断图像d中是否有消失点；
[0014]C、若有消失点，同样判定室内环境类型为走廊，若无消失点，则使用Hough变换对图像b进行直线检测得到图像e，判断图像e中是否有成簇的等间距平行线；
[0015]D、若有成簇的等间距平行线，判定室内环境类型为台阶，若无成簇的等间距平行线，判定室内环境类型为房间；
[0016]步骤3:针对不同环境类型，利用障碍检测算法对飞行路径障碍物进行检测，过程如下:
[0017]A、对于走廊环境，定义以消失点为中心的50X50图像亮度均值为判断基准，若当前帧图像与前一帧图像亮度均值差小于阈值Threshold〗=30，认为无障碍，否则认为有障碍；
[0018]B、对于台阶环境，定义图像中最长线的长度为判断基准，若当前帧图像与前一帧图像最长线的长度差小于阈值Threshold3 = 15，认为无障碍，否则认为有障碍；[0019]步骤4:当检测结果为无障碍时，则通过不同环境类型下的飞行控制方法实现微型无人机室内自主飞行；
[0020]步骤5:若障碍物检测结果为有障碍，则通过障碍规避方法实现微型无人机自主避障。
[0021]步骤4所述的不同环境类型下的飞行控制方法为:
[0022]情况1、对于走廊环境，定义消失点在图像中的坐标为(元歹)，若列、于图像高度的
一半，则控制器对微型无人机发出上升指令，若P大于图像高度的一半，则控制器对微型无人机发出下降指令，否则保持高度不变，若I小于图像宽度的一半，则控制器对微型无人机发出向左飞行指令，若i大于图像宽度的一半，则控制器对微型无人机发出向右飞行指令，否则保持方向不变；
[0023]情况2、对于台阶环境，定义相邻两条平行线之间的距离为dis，若当前帧图像的dis与前一帧图像的dis差值大于阈值Threshold4 (该阈值需根据精度需求设定,原则为小于图像高度的十分之一)，则控制器对微型无人机发出上升指令，若前一帧图像的dis与当前帧图像的dis差值大于阈值ThresholcM，则控制器对微型无人机发出下降指令，否则保持高度不变，定义最长直线中*的横坐标为J，若?小于图像宽度的一半，则控制器对微型无人机发出向左飞行指令，若?大于图像宽度的一半，则控制器对微型无人机发出向右飞行指令，否则保持方向不变。
[0024]步骤5所述障碍规避方法是:
[0025]步骤1:使用Lucas-Kanade算法计算连续两帧图像的光流；
[0026]步骤2:利用扩展卡尔曼滤波算法处理光流以及惯性导航提供的角速度，消除光流的旋转分量，准确估计出平移分量；
[0027]步骤3:利用光流的平移分量恢复微型无人机的平移运动信息与障碍物的距离信息；
[0028]步骤4:根据障碍物的距离信息，控制器对微型无人机发出相应的避障指令。
[0029]有益效果
[0030]本发明提出的一种基于图像透视的微型无人机室内自主导航方法，根据图像透视源于人类的视觉经验:大小相同的物体，近的看起来比远的大，如沿着铁路线看两条铁轨会交汇于一点，称为消失点。在室内环境如走廊中，一般存在消失点，根据消失点的特性可以指导微型无人机感知周围环境进而实现自主飞行。
[0031]本发明参考视觉导航的原理，将室内环境分为走廊、台阶与房间三种，通过分析视觉图像的透视特征确定环境类型，进而采用消失点、中心线或光流等方法进行障碍物检测，得到相应导航与控制信息，实现微型无人机室内自主避障与飞行。本发明无需构建环境的三维模型，可大大降低算法运算时间，提高控制指令的实时性，并具有高自主性与高可靠性。该方法计算量较小，实时性强，对硬件的要求低，且定位精度较高。为微型无人机室内导航的工程应用提供一种可行的技术方案。
【专利附图】
【附图说明】
[0032]图1是本发明的框架结构图。
[0033]图2是室内环境分类器工作流程。
[0034]图3是台阶环境下航向角校正。
【具体实施方式】
[0035]现结合实施例、附图对本发明作进一步描述:
[0036]本发明实施例中 基于图像透视的微型无人机室内自主导航方法包括以下步骤:
[0037]第一步，在微型无人机室内飞行过程中，机载前视摄像机Cameral实时获取图像a,机载下视摄像机Camera2实时获取图像b。
[0038]第二步，设计室内环境分类器，通过分析图像a与图像b的透视特征，判断微型无人机所处的环境类型。
[0039]具体流程如图2所示，首先使用Canny边缘检测算子处理图像a,进而利用Hough变换提取直线，去除检测到的水平线与垂直线，通过滑窗法确定图像中斜线交点密度最大的区域Z，并认为该区域为消失点。
[0040]定义滑窗中点的密度为:
[0041 ]
【权利要求】
1.一种基于图像透视的微型无人机室内自主导航方法，其特征在于步骤如下: 步骤1:在微型无人机室内飞行过程中，机载前视摄像机Cameral实时获取图像a，机载下视摄像机Camera2实时获取图像b ； 步骤2:分析图像a与图像b的透视特征，判断微型无人机所处的环境类型，环境类型走廊、台阶或房间；过程如下: A、使用Hough变换对图像a进行直线检测得到图像C，判断图像c中是否有消失点；所述消失点为具有透视特征的点； B、若有消失点，判定室内环境类型为走廊，若无消失点，则去除图像c中的水平线和垂直线得到图像d，再判断图像d中是否有消失点； C、若有消失点，同样判定室内环境类型为走廊，若无消失点，则使用Hough变换对图像b进行直线检测得到图像e，判断图像e中是否有成簇的等间距平行线； D、若有成簇的等间距平行线，判定室内环境类型为台阶，若无成簇的等间距平行线，判定室内环境类型为房间； 步骤3:针对不同环境类型，利用障碍检测算法对飞行路径障碍物进行检测，过程如下: A、对于走廊环境，定义以消失点为中心的50X50图像亮度均值为判断基准，若当前帧图像与前一帧图像亮度均值差小于阈值Threshold〗=30，认为无障碍，否则认为有障碍； B、对于台阶环境，定义图像中最长线的长度为判断基准，若当前帧图像与前一帧图像最长线的长度差小于阈值Threshold3 = 15，认为无障碍，否则认为有障碍； 步骤4:当检测结果为无障碍时，则通过不同环境类型下的飞行控制方法实现微型无人机室内自主飞行； 步骤5:若障碍物检测结果为有障碍，则通过障碍规避方法实现微型无人机自主避障。
2.根据权利要求1所述基于图像透视的微型无人机室内自主导航方法，其特征在于: 步骤4所述的不同环境类型下的飞行控制方法为: 情况1、对于走廊环境，定义消失点在图像中的坐标为(.〒汗)，若^小于图像高度的一半，则控制器对微型无人机发出上升指令，若7大于图像高度的一半，则控制器对微型无人机发出下降指令，否则保持高度不变，若I小于图像宽度的一半，则控制器对微型无人机发出向左飞行指令，若f大于图像宽度的一半，则控制器对微型无人机发出向右飞行指令，否则保持方向不变； 情况2、对于台阶环境，定义相邻两条平行线之间的距离为dis，若当前帧图像的dis与前一帧图像的dis差值大于阈值ThresholcM (该阈值需根据精度需求设定，原则为小于图像高度的十分之一)，则控制器对微型无人机发出上升指令，若前一帧图像的dis与当前帧图像的dis差值大于阈值ThresholcM，则控制器对微型无人机发出下降指令，否则保持高度不变，定义最长直线中点的横坐标为无，若?小于图像宽度的一半，则控制器对微型无人机发出向左飞行指令，若J大于图像宽度的一半，则控制器对微型无人机发出向右飞行指令，否则保持方向不变。
3.根据权利要求1所述基于图像透视的微型无人机室内自主导航方法，其特征在于: 步骤5所述障碍规避方法是:步骤1:使用Lucas-Kanade算法计算连续两帧图像的光流； 步骤2:利用扩展卡尔曼滤波算法处理光流以及惯性导航提供的角速度，消除光流的旋转分量，准确估计出平移分量； 步骤3:利用光流的平移分量恢复微型无人机的平移运动信息与障碍物的距离信息； 步骤4:根据障碍物的 距离信息，控制器对微型无人机发出相应的避障指令。
【文档编号】G05D1/10GK103925920SQ201410143275
【公开日】2014年7月16日 申请日期:2014年4月10日 优先权日:2014年4月10日
【发明者】赵春晖, 王荣志, 张天武, 潘泉, 马鑫 申请人:西北工业大学