专利名称：估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
技术领域：
本发明涉及驾驶无人机，尤其是诸如直升机、四旋翼直升机之类的旋翼无人机。
背景技术：
此类无人机的典型示例是法国巴黎的鹦鹉股份有限公司(Parrot SA)生产的 AR. Drone，其是装配有一系列传感器(三轴加速计和陀螺仪，高度计)的四旋翼直升机。无人机还设置有前置摄像机，其朝无人机前进的方向拍摄场景图片，并且还设置有垂直定向的摄像机，拍摄无人机所飞过地形的图片。无人机可由用户通过由无线电连接到无人机的远程遥控设备进行驾驶。无人机还设置有用于稳定悬停飞行的自动系统，该自动系统尤其用于使无人机能以自动方式达到平衡点，并且一旦达到所述平衡点，其用于提供保持该固定点所需的修整校正，即通过校正由于例如空气流动的外部影响和传感器的漂移引起的小的平移运动而提供修整校正。高度计是位于无人机下的超声测距仪，其提供垂直速度的测量，从而可伺服控制推力以稳定无人机的高度。此外，惯性传感器(加速计和陀螺仪)用于以一定的准确性测量无人机的角速度和姿态角，从而可用于沿与地心引力相反的方向动态伺服控制无人机的推力方向。为了进行悬停飞行，仍然存在消除无人机线性速度的问题。可惜的是，所采用低成本的加速计通常噪声过大，以致当来它们的信号被二次整合时无法给出令人满意的无人机速度估算。W02009/109711A2 (鹦鹉股份有限公司，Parrot)提出了通过分析前视相机拍摄的连续图片并识别图片中各个特征点的运动来从前视相机的图片中估算无人机的水平速度。然而，该技术的不足在于缺乏准确性，尤其是在最低速度情况下(当无人机以低速朝前移动时，所拍摄图片的连续图片之间的变化非常小)。它还非常依赖于相机拍摄的场景中感兴趣特征点的存在或不存在当图片均一时，例如，当在户外时，示出墙壁或天空， 特征点的准缺失(quasi-absence)使该技术失效。本发明依赖于垂直定向的相机而非前视相机所传送的图片以估算无人机的水平速度。然而，识别由该相机拍摄的图片中的各个点的移动仍然是一项困难的任务，该任务强烈地同时依赖于i)场景的特性(或多或少的对比度，朝或大或小范围的改变)；ii)速度；和iii)限制计算复杂度的约束。特别地，如果要求在悬停时执行自动稳定伺服控制，适合的做法是进行同步准确的，灵敏的(由于平衡点附近的线性速度可能非常低)，并实时可用的速度测量，从而可有效地，反应地执行伺服控制。然而，应注意到本发明并不限于为了稳定无人机的悬停飞行而估算速度，它可更普遍地应用于无人机的所有飞行配置中，即使移动值接近无人机的最大速度(大约5米每秒(m/s))。
存在各种能从摄像机拍摄的场景中估算移动速度的算法。算法的第一种类型是所谓的“光流算法”，以下文献特别对其进行了详细描述[1]LUCAS B. D.和KANADE T.，“迭代图像配准技术在立体视觉中的应用”(An Iterative Image Registration Technique with an Application to Stereo Vision), PR0C. DARPA Image Understanding Workshop，第 121-130 页，1981 ；和[2]HORN B. K. P.禾Π SCHUNK Β·，“确定光流”(Determining Optical Flow), Artificial Intelligence, (17)第 185-204 页，1981。还可以参考以下文献[3]M0NDRAG0N I.et al.，“基于对无人机控制的平面物体追踪的三维姿态估计，，(3D Pose Estimation Based on Planar Object Tracking for UAVs Control), proc. IEEE conf.On Robotics and Automation，第 35-41 页，2010，5 月 3-8，其中描述了用于无人机着陆时的驾驶的，采用不同分辨率估算光流的多分辨率技术。光流方法具有对场景约束少的优势(对比少，内容少)。此外，通过采用“多分辨率”方法，能够估算高速度和低速度两者。相反，该方法对旋转和姿态的变化很敏感，它不可能内在地验证给出结果的质量，即，此算法始终假设有足够点提供了大的梯度并藉此给出一结果，但即使该结果是无意义，其仍被给出。总而言之，光流法是一种“全地形”法，能够在非常宽范的速度范围内操作，但它给出的结果并不总是可靠的，也不非常准确，特别是在低速时。另一种类型的算法包括所谓“角点探测器”或“感兴趣点探测器”算法，此算法的基础在以下文献中示例给出[4]ROSTEN E.和DRUMM0ND T. “用于高性能跟踪的融合点和线”(Fusing Points and Lines for High Performance Tracking)， IEEE International Conference on Computer Vision，第 1508-1511 页，2005 年，和 [5] ROSTEN Ε.和DRUMM0ND Τ. “用于高速角点探测的机器学习” (Machine Learning for High-Speed Corner Detection)， European Conference on Computer Vision，第 430-443 页，2006 年。角点探测器算法准确，鲁棒性强，它考虑了旋转，并能够探测异常的估算结果并排除它们。此外，无论速度如何，其绝对精度不变(与光流法不同)，这使它可得到很好的结果，尤其是在低速时，当希望使用它的结果用于悬停飞行的稳定和伺服控制时，其优点尤其明显。作为对比，该方法在对比和纹理方面对场景施加了更大的约束，这意味它并不适用于所有可能遇到的情况。最后，在所有环境下，采用计算结果用于伺服控制无人机的特定自动驾驶控制要求数据实际上实时可用，且在任何情况下足够快以保证无人机可以以所有预期的反应度进行自动驾驶。该约束限制了执行传统算法的可能性，传统算法通常设计成在具有快速处理器和大内存容量的计算机上执行
发明内容
本发明的一个目标是提供综合上述两种技术，即光流法和角点探测法的优点的新方法，该方法尤其在检测速度以用于伺服控制悬停飞行的无人机的情况下使用，但并不限于此。本发明的另一个目标是能够从这些优点中受益，即使在对比度很低而噪音高的场景，或者在图像中所识别的形状能够以不可预知的方式发生外观改变的场景，例如当无人机飞过非常易变和不可预知的地形时发生的情况。本发明的另一个目标是提出一种测量水平速度的方法，其适于实现，从而可通过组装在无人机中的，因此计算能力方面的性能有限的机载计算机来给出实时速度测量结^ ο为此，本发明提供估算无人机的水平平移速度的方法，所述无人机尤其是具有适合测量无人机相对无人机飞过地形高度的高度计，和适合拍摄地形场景的连续数字图像的垂直定向俯视摄像头的无人机。该方法通过估算摄像机拍摄的连续图像间的场景的移动，并通过将比例因子应用到所估算的移动来操作，其中比例因子是测量高度的函数。以一种本身已知的方式，移动的估算包括定期和连续地更新图像类型金字塔的多分辨率表示，该多分辨率表示以不同的连续降低的分辨率建模场景的给定被拍摄图像； 对每个新拍摄图像，应用光流型迭代算法到所述多分辨率表示来估算连续图像间的场景的差异移动。以本发明的特征方式，该方法进一步包括从光流算法生成的数据中获取表示拍摄场景中微对比等级的至少一个纹理参数；得到无人机水平平移速度的近似值；将第一组预定标准应用于所述纹理参数和所述速度近似值；如果满足所述第一组预定标准，从光流算法转到角点探测器型算法以估算连续图像间的场景的差异移动。纹理参数是从图像梯度分量的矩阵中导出的参数
权利要求
1.一种估算无人机，尤其是能够在自动驾驶下悬停飞行的旋翼无人机的水平平移速度的方法，所述无人机包括 高度计，适于测量无人机相对于其飞过地形的高度； 垂直定向的俯视摄像头，适合拍摄所述地形的场景的连续数字图像； 该方法包括估算摄像机拍摄的连续图像间的场景的移动，并将作为测得高度函数的比例因子应用到所估算的移动， 移动的估算包括 定期和连续更新图像类型金字塔的多分辨率表示，该多分辨率表示以不同的连续降低的分辨率建模场景的给定被拍摄图像；和 对每个新拍摄图像，应用光流型迭代算法到所述多分辨率表示以估算连续图像间的场景的差异移动。该方法进一步包括 从光流算法生成的数据中获取拍摄场景中微对比等级的至少一个纹理参数表示，该纹理参数表示并从图像的梯度分量的矩阵中导出H1Jy 1Eετ^ιχ ] ΕE 」其中Ix和Iy是图像的梯度分量，E是一点集，其中梯度对该点集的范数大于预定第一有用阈值； 获取无人机水平平移速度的近似值； 将第一组预定标准应用于所述纹理参数和所述速度近似值；和 如果满足所述第一组预定标准，从光流算法转到角点探测器型算法以估算连续图像间的场景的差异移动。
2.根据权利要求1的方法，其中所述至少一个纹理参数是所述图像梯度分量的矩阵的轨迹的值。
3.根据权利要求1的方法，其中所述至少一个纹理参数是梯度对其的范数大于第一预定有用阈值的所述点集E的基数。
4.根据权利要求1的方法，其中所述至少一个纹理参数是所述图像梯度分量的矩阵的轨迹的值，并且至少一个所述纹理参数是梯度对其的范数大于第一预定有用阈值的所述点集E的基数，并且其中用于决定是否从光流算法转到角点探测器算法的第一组预定标准可累计地包括以下条件 所述轨迹的值大于第二给定阈值； 所述基数大于第三给定阈值；和 速度估算小于第四给定阈值。
5.根据权利要求1的方法，其中，当所选算法是角点探测器算法并且速度近似值小于第五阈值时，该方法进一步包括通过为至少一些所选跟踪器修改跟踪器的搜索参数和图像中搜索区在限定方向上的尺度来调整角点探测器算法。
6.根据权利要求1的方法，进一步包括，当所选算法是角点探测器算法并且速度近似值小于第五阈值时，激活伺服控制无人机在原位的自动驾驶模式。
7.根据权利要求1的方法，还包括，在转到角点探测器算法后 从角点探测器算法生成的数据中得到，表示通过角点探测器算法估算连续图像间的场景的差异移动的失败风险的至少一个参数； 获取无人机的水平平移速度的近似值； 应用第二组预定标准到所述失败风险参数和所述速度近似值； 若满足所述第二组预定标准，转回到光流算法以估算连续图像间的场景的差异移动。
8.根据权利要求7的方法，其中所述失败风险参数可包括由角点探测器算法采用的锁定跟踪器的数目。
9.根据权利要求8的方法，其中用于决定是否转回到光流算法的所述第二组预定标准可包括以下任一条件 锁定跟踪器的数目小于第六给定阈值；或 速度估算大于第七给定阈值。
10.根据权利要求1的方法，进一步包括计算从光流算法或角点探测器算法的第一算法转到另一个算法开始已被拍摄的连续图像的数目，并且以自转到其他算法开始计数了某最小数目的图像为条件而转回到第一算法。
全文摘要
本发明涉及估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法。本发明的方法通过估算垂直定向的相机拍摄的场景的差异移动来操作。估算包括定期和连续地更新图像类型金字塔的多分辨率表示，该多分辨率表示以不同的连续降低的分辨率建模场景的给定被拍摄图像。对每个新拍摄图像，应用光流型迭代算法到所述表示。该方法进一步提供响应由光流算法生产的数据以获取拍摄场景中微对比等级的至少一个纹理参数表示，并获取速度的近似值，随后对此参数应用一组预定标准参数。如果满足所述一组预定标准，则该系统从光流算法转到角点探测器型算法。
文档编号A63H27/133GK102298070SQ20111022926
公开日2011年12月28日 申请日期2011年6月17日 优先权日2010年6月22日
发明者T·德尔巴纳 申请人:鹦鹉股份有限公司