具有摄像机以及用于补偿在最高滚转角所产生伪像的装置的无人机的制作方法

具有摄像机以及用于补偿在最高滚转角所产生伪像的装置的无人机的制作方法
【专利摘要】本发明涉及具有摄像机以及用于补偿在最高滚转角所产生伪像的装置的无人机。无人机包括相机，测量无人机角度的惯性单元，以及递送在传感器的捕捉区域(ZC)内限定的降低大小的图像区域(ZI)的数据的提取模块。反馈控制模块在与由惯性单元测量的角度值变化的方向相对的方向上动态地修改在捕捉区域内的图像区域的位置和定向。传感器可以根据能够被动态选择的多种不同的操作配置进行操作，具有针对低滚转角(θ)值的使用基本捕捉区域(ZCB)的基本配置，以及针对高滚转角(θ)值的使用比基本捕捉区域(ZCB)大小更大的扩展捕捉区域(ZCE)的至少一种降级模式配置。
【专利说明】
具有摄像机以及用于补偿在最高滚转角所产生伪像的装置的 无人机
技术领域
[0001] 本发明涉及由装在移动设备上(尤其是在诸如无人机等机动飞行机器中）的摄像 机捕捉的数字图像的处理。
[0002] 本发明有利地适用于由诸如四旋翼直升机等旋翼无人机的前置相机获取的图像。
【背景技术】
[0003] 法国巴黎Parrot SA的AR.Drone 2.0或Bebop Drone是这种四旋翼直升机的典型 示例。它们都配备有一系列传感器(加速度计、3轴陀螺仪、高度计）、捕捉无人机所朝向的场 景的图像的前置相机，以及捕捉飞过的地面的图像的俯视相机。它们具有由相应发动机驱 动的多个转子，发动机可以通过差别化的方式被控制以便操纵无人机的姿态和速度。特别 地，这些无人机的各个方面在W02010/061099A2，EP 2 364 757A1，EP 2 613 213A1 或EP 2 613 214A1 (Parrot SA)中进行描述。
[0004] 从2014年6月10日在因特网上发布的Timothy McDougal的题为"The New Parrot Bebop Dronefor Stabilized Aerial Video(新型Parrot Bebop Drone:专为稳定 的航空拍摄视频而造)"的文章(XP055233862)中特别描述了上述Bebop Drone设备，其是具 有与图像稳定和控制系统相关联的鱼眼镜头的无人机。
[0005] 前置摄像机可以特别用于"沉浸模式"驾驶，即，其中用户如同他自己就在无人机 上一样的方式使用相机的图像。其还可以用于捕捉无人机所朝向的场景的图像序列。因此， 用户可以如相机或摄录像机将由无人机携带的方式而不是手持的方式那样使用无人机。获 取的图像可以被记录然后广播、在线放在视频序列托管网站上、发送给其他因特网用户、共 享在社交网络上，等等。
[0006] 这些图像旨在被记录和传递，因此它们具有较少的可能缺陷是合乎需要的，特别 是由无人机的行为造成的缺陷，容易产生由相机捕捉的图像中的振荡、变形或其他不适时 的伪像。然而，这些伪像的出现是无人机的演进模式所固有的，因为无人机向前、向后或侧 向的任何线性位移涉及无人机倾斜，并且因此涉及由相机所获取的图像的移位、旋转、振 荡……的不合乎需要的对应效果。
[0007] 这些缺陷在"沉浸驾驶"配置中是可以容忍的。在另一方面，如果问题是使用无人 机作为移动摄像机来捕捉将被记录和稍后再现的序列，则这些缺陷是非常麻烦的，因此将 这些缺陷减少到最小是合乎需要的。
[0008] 在上述Bebop Drone的情况下，后者实现具有覆盖大约180°的视野的鱼眼类型的 半球形视野镜头的相机，但是仅使用了它所捕捉的视野的一部分，该部分大致对应于由常 规相机所捕捉的角域。
[0009]为此，从作为传感器的输出而递送的原始图像(下文中称为"捕捉区域"，其本身是 在传感器表面上形成的半球形图像的一部分）中选择特定窗口（下文中称为"图像区域"）。 典型地，这一窗口是旋转和平移地(根据由惯性中心确定的无人机的移动而永久地位移)并 且在相对于所检测到的位移的相反方向上移动的窗口。当然，由鱼眼镜头获取的图像经受 与常规相机相同的振荡和旋转移动，但是图像区域的位移被进行反馈控制，以便补偿这些 移动并且因此产生相对于无人机移动而言被稳定的图像。
[0010] 因此，"虚拟相机"通过从捕捉的场景(捕捉区域)提取特定区域(图像区域)来被限 定，该特定区域在捕捉区域中在相对于无人机的移动的相反方向上旋转地和平移地动态位 移，以便消除否则将在图像中观察到的振荡。
[0011] 在EP 2933775A(Parrot)中描述了这种技术。
[0012] 本发明目的在于消除在无人机的某些演进时（当后者强烈侧倾时）出现的特定缺 陷。
[0013] 这种情况尤其在无人机向左或向右突然平移的时候发生，或者在非常急的转弯时 发生:这些移动尤其是通过绕无人机的滚转轴的转向（即，在图像中转换成由相机捕捉的场 景在一个方向或另一个方向上捕捉的旋转的转向）而引起的。
[0014] 这些旋转可以通过在捕捉区域中的图像区域的相反方向上的旋转来被补偿。但是 看起来，当无人机的倾角很大时，不存在使得可能完全生成经矫正视图的图像区域的位置。 的确，如果图像区域的旋转过大，则这一图像区域的对角或边缘将"延伸"超出在半球形图 像中限定的捕捉区域，这将转换成在校正模块的输出端递送的经矫正图像中的短暂出现的 灰色角落或边缘。当然，当无人机回到不太倾斜的姿态时，这些灰色区域将消失，但是麻烦 的伪像已经被引入，并且将在旨在用于配准和稍后再现的一系列图像上保持可见。
[0015] 当用户在发动机停止的情况下将无人机拿在手中时，以及得益于系统的动态稳定 化而使用后者作为常规相机来捕捉场景时，这种情况也会出现:如果他将无人机倾斜得超 过一定阈值，在图像边界处出现缺失像素的区域，而稳定化系统给出相机未被倾斜的错觉。

【发明内容】

[0016] 本发明的出发点本质上在于提供传感器的若干操作配置，以及根据无人机的倾角 来动态地选择最佳地适配的配置，以便在倾斜校正处理中避免任何图像区域延伸超出最初 选择用来产生图像的传感器的区域。
[0017]对于"操作配置"，其是指相机的一组捕捉参数：
[0018] -输出分辨率，即作为相机的输出（图像区域)而传送的图像的大小（以像素表示）；
[0019] -捕捉分辨率，即在传感器表面(捕捉区域)所获取的区域的大小（以像素表示）；以 及
[0020] -捕捉模式，即准许从捕捉分辨率切换到输出分辨率的处理。
[0021] 具体而言，捕捉模式包括称为"正常"的模式(其中所获取的所有像素在输出端处 被原样传送，输出分辨率和捕捉分辨率是相同的），被称为"像素组合(Binning)"的模式(其 中所获取的像素被编组在一起成作为输出进行传送的宏像素），以及被称为"缩放"的模式 (其中通过应用将图像中与其相邻的每个像素纳入考虑的滤波来将像素归并在一起）。与正 常模式相比，像素组合和缩放技术尤其准许从更宽的捕捉表面产生图像，但是以损失分辨 率为代价。
[0022]通常，这些捕捉参数在相机初始化的时候被固定。具体而言，利用与上述Bebop Drone配置相对应的配置，在正常模式下，补偿±15°的滚转角而不引入不含像素的区域是 可能的。
[0023]本发明的问题是增加超出这一范围的稳定化域，而不损失像素（即，不出现灰色角 落或边缘)以及没有视频流流动性(即，恒定帧率)的降级。
[0024]为此，本发明主要是提出使用传感器操作的若干配置，以及在图像拍摄的过程中 根据无人机的滚转角动态地选择最佳地适配的配置以生成具有最优图像质量的完全矫正 的视图。
[0025]原理在于，例如，当无人机强烈倾斜时，以传感器的不同模式(正常-像素组合-缩 放)操作以便暂时增加（例如，通过从正常模式切换到像素组合或缩放模式)捕捉表面。当 然，这一修改将以质量的暂时降级为代价（由于实现像素组合或缩放模式），但不会引入伪 像(灰色边缘或角落），并且不会修改帧率，因此不会使视频流流动性降级。
[0026] 更确切地说，本发明提出了一种具有用于以本质上已知且在McDougal的上述文章 中描述的方式稳定所捕捉图像的系统的机动飞行机器，包括：
[0027] -相机，其链接到无人机主体，所述相机包括：
[0028] ?鱼眼类型的半球形视野镜头，以及
[0029] ?数字传感器，其获取由镜头形成的图像，
[0030] 其中传感器上所形成图像的像素中的仅仅一部分被捕捉以递送原始像素数据，该 部分位于捕捉区域内；
[0031] -惯性单元，其被适配成测量欧拉角，欧拉角描述无人机相对于绝对陆地参考系的 即时姿态；
[0032] -提取模块，其接收所述捕捉区域的所述原始像素数据作为输入，并递送捕捉区域 内的并且与由常规相机所捕捉的角域相对应的降低大小的图像区域的像素数据作为输出； 以及
[0033] -反馈控制模块，其接收由惯性单元递送的角度值作为输入，并且被适配成在与由 惯性单元测量的角度值的变化的方向相对的方向上，动态地修改捕捉区域内的图像区域的 位置和定向。
[0034]本发明的特征在于：
[0035] -所述传感器是能够根据多个不同操作配置进行操作、能够在相机捕捉同一图像 序列期间被动态地选择的传感器，所述操作配置包括：
[0036] .基本配置，其使用基本捕捉区域作为捕捉区域，以及
[0037] .至少一个降级模式配置，其使用比基本捕捉区域更大大小的扩展捕捉区域来作 为捕捉区域，该降级模式配置将转换处理应用于扩展捕捉区域的像素，所述转换处理被适 配成将扩展捕捉区域的大小降低到基本捕捉区域的大小，以及
[0038] -它进一步包括补偿模块，其接收由惯性单元递送的无人机的滚转角的连续值作 为输入，并且被适配成动态地修改传感器的当前操作配置，使得传感器如下地操作：
[0039] .对于滚转角值低于第一限值而言根据基本配置来操作，以及
[0040] .对于滚转角值高于第二限值而言根据降级模式配置来操作。
[0041] 优选地，滚转效果补偿装置被适配成动态地修改传感器的当前操作配置：当滚转 角值增加超过第一预定阈值时，从基本配置到降级模式配置，以及当无人机的滚转角减少 到第二预定阈值以下时，从降级模式配置到基本配置，第二阈值不同于第一阈值并且低于 第一阈值。
[0042] 具体而言，操作配置可以包括：
[0043] .基本配置，使用基本捕捉区域作为捕捉区域，
[0044].适度降级模式配置，使用比基本捕捉区域更大大小的第一扩展捕捉区域作为捕 捉区域，该适度降级模式将第一转换处理应用于第一扩展捕捉区域的像素，第一转换处理 被适配成将第一扩展捕捉区域的大小降低到基本捕捉区域的大小，以及 [0045].强降级模式配置，使用比第一扩展捕捉区域更大大小的第二扩展捕捉区域作为 捕捉区域，该强降级模式将不同于第一处理的第二转换处理应用于第二扩展捕捉区域的像 素，第二转换处理被适配成将第二扩展捕捉区域的大小降低到基本捕捉区域的大小。
[0046] 然后，补偿模块动态地修改传感器的当前操作配置，使得传感器如下操作:对于滚 转角值低于第一限值而言根据基本配置来操作，对于滚转角值高于第二限值且低于第三限 值而言根据适度降级模式配置来操作，以及对于滚转角值高于第三限值而言根据强降级模 式配置来操作。
【附图说明】
[0047] 现在将参照附图来描述本发明的示例性实施例，其中在全部附图中相同的附图标 记表示相同或功能类似的元件。
[0048] 图1是示出了无人机和允许其远程控制的相关联的远程控制设备的总体视图。
[0049] 图2a和2b示出了由例如在加速阶段无人机前倾引起的相机的取景方向的修改。
[0050] 图3是在无人机相机的传感器上形成的图像的示例，示出了应用于这个图像以产 生经矫正图像的开窗和失真校正的连续步骤(a)到(d)。
[0051]图4a和4b示出了无人机的滚转角很大以及在不存在使得可能生成完全地经矫正 的视图的捕捉窗口的位置时发生的现象。
[0052] 图5示出了根据本发明的准许执行传感器的操作配置的动态选择的不同元件的框 图。
[0053] 图6是示出了根据无人机的滚转角在两种不同的可能配置之间进行选择的示意表 不。
[0054] 图7是示出了根据无人机的滚转角在三种不同的可能配置之间进行选择的示意表 不。
[0055]图8a至图Se是解释修改传感器的操作配置的以下步骤的视图，例如无人机从水平 到滚转振荡移动并且返回到原始姿态。
【具体实施方式】
[0056]现在将描述本发明的示例性实施例。
[0057]在图1中，附图标记10概括地表示无人机，例如其是诸如法国巴黎Parrot SA的 Bebop Drone型四旋翼直升机。这一无人机包括共面转子12,其发动机通过集成导航和姿态 控制系统被彼此独立地操纵。其具有准许获得无人机所朝向的场景的图像的前置相机14。
[0058]该无人机还包括向下的俯视相机(未示出），其被适配成捕捉飞过的地面的连续图 像，并且尤其用于评估无人机相对于地面的速度。惯性传感器(加速度计和陀螺仪)准许以 某一精度来测量无人机的角速度和姿态角，即描述无人机相对于固定陆地参考系中的水平 面的倾斜度的欧拉角(俯仰角Φ，滚转角Θ和偏航角Φ)。此外，设置在无人机下方的超声测距 仪提供相对于地面的高度测量。
[0059] 无人机10由远程控制设备16来操纵，远程控制设备16具有触摸屏18,其显示前置 相机14上的图像，叠加了允许通过用户手指20在触摸屏18上的简单接触来激活操纵命令的 某一数量的符号。设备16具有用于与无人机进行无线电链接的装置，例如Wi-Fi (IEEE 802.11)局域网络类型，用于从无人机10到设备16的尤其是用于由相机14捕捉的图像的传 输以及从设备16到无人机10的操纵指令的发送的双向数据交换。
[0060] 远程控制设备16还具有倾斜传感器，其允许通过向设备通知绕滚转和俯仰轴的对 应倾斜来控制无人机姿态，可以理解的是，无人机10的水平速度的两个纵向和横向分量将 与绕两个相应俯仰和滚转轴的倾斜有紧密的关联。无人机的操作在于通过以下方式使其演 进：
[0061] a)绕俯仰轴22旋转，使其向前或向后移动；
[0062] b)绕滚转轴24旋转，使其向右或向左移位；
[0063] c)绕偏航轴26旋转，使无人机的主轴向右或向左枢转；以及
[0064] d)通过改变气体控制来向下或向上平移，以便分别降低或增加无人机的高度。 [0065]当用户通过远程控制设备16施加这些操纵命令时，通过设备16分别绕其纵向轴28 和横向轴30的倾斜来获得绕俯仰轴22和滚转轴24枢转的命令a)和b):例如，为了使无人机 前进，只需要通过将远程控制设备16绕轴28倾斜来使其向前倾斜;为了使无人机向右移动， 只需要通过将远程控制设备16绕轴30向右倾斜来使其倾斜，等等。指令c)和d)因用户的手 指20接触触摸屏18的对应特定区域所施加的动作而得到。
[0066]无人机还具有悬停飞行稳定化的自动和自主系统，尤其在用户从设备的触摸屏移 开他的手指后立刻被激活，或者在起飞阶段结束时或者在设备和无人机之间的无线电链路 中断的情况下自动地激活。
[0067]图2A以轮廓示意性地示出了在无人机处于升起状态下静止时的姿态。
[0068] 由常规类型的前置相机14(例如覆盖54°视野并且其视准轴δ以地平线为中心的相 机)所覆盖的视野在36处示出。
[0069] 如图2b中所示，如果无人机以非零水平速度向前移动，则通过设计，无人机的轴26 将相对于垂直线V前倾角度9(俯仰角）。这个前倾由箭头38示出，涉及相机的轴δ相对于地 平线HZ的平面的相同倾斜值，由箭头40示出。因此，可以理解的是，在无人机的演进期间，例 如后者加速或减速时，等等，轴S绕地平线HZ的方向永久性地振荡，这将在图像中转换成永 久向上和向下振荡移动。
[0070] 同等地，如果无人机向右侧或左侧移动，这一移动将伴随有绕滚转轴24的枢转，这 将在图像中转换成在由相机捕捉的场景的一个方向或另一个方向中的旋转。
[0071] 为了补偿这一缺陷，已经提出了，如上述ΕΡ2933775Α1中所解释的，向相机提供覆 盖大约180°视野的鱼眼类型的半球形视野镜头，如图2a中的42所示。由具有这种鱼眼镜头 的相机捕捉的图像当然也经受与常规相机相同的振荡和旋转移动，但是由这种相机捕捉的 视野的仅一部分将通过选择特定窗口来被使用，该特定窗口称为"捕捉区域"，对应于由常 规相机所捕捉的角域36,并且其在半球形图像中将相对于由惯性中心确定的无人机移动相 反的方向上动态地位移，以便消除否则将在图像中观察到的振荡。
[0072] 因此，在图2b中所示的情况下，其中无人机以相对于垂直线V的俯仰角φ (箭头38) 向下俯冲，捕捉窗口将以相同的角度值向上位移(箭头44)，因此朝地平线ΗΖ(覆盖与图像区 域的视野相对应的"虚拟相机"的域36的中心轴)返回。
[0073] 如图所示，在无人机的向前移动比向后移动更频繁的程度上以及在另一方面，感 兴趣的区域（飞过的地面)位于无人机的水平面下方而不是水平面上方，可能有利的是，将 鱼眼镜头的主轴A下倾(例如-20°的俯仰角），以便覆盖更大数量的无人机演进配置，并且 使得与"虚拟相机"的捕捉区域相对应的域36始终保持在鱼眼镜头的视野42中。
[0074] 图3在(a)中示出了场景的示例，如在具有鱼眼镜头的摄像机的传感器上检测的。
[0075] 可以看到，这个场景的图像I包括鱼眼镜头的半球形或准半球形覆盖所固有的非 常高的几何失真，这在传感器的平面表面上被矫正。由鱼眼镜头产生的图像I的仅一部分被 使用。这一部分根据i) "虚拟相机"指向的方向、ii) "虚拟相机"的视野(在图2a和2b中在36 处示出）以及iii)其宽度/高度比来确定。因此，限定出包含原始像素数据的"捕捉区域"ZC， 其包括"有用区域"ZU，"有用区域"ZU与在对鱼眼镜头所引入的几何失真进行补偿后的虚拟 相机的视野相对应。
[0076] 将注意，捕捉在传感器上形成的图像I的全体像素不是有用的，而仅需要这些像素 的对应于捕捉区域ZC的那一部分。因此，如果期望获得例如HD质量的图像（1920 X 1080像 素，即2百万像素的有用区域ZU)，有必要在开始就具有非常高分辨率的鱼眼图像，以便无论 虚拟相机指向的方向如何都能够提取良好质量的HD视图，这意味着具有分辨率将通常是 1400万像素(4608X3288像素）的传感器。在这种条件下，如果整体图像I被传送以供处理， 这将对应于每个图像1400万像素的像素数据流，从而导致在这种分辨率每秒6幅图像(ips) 量级的帧率，这对于流畅的视频序列（施加接近30 ips的帧率)是不够的。因此，仅传送真正 必需的捕捉区域ZC的像素数据，例如大约2百万像素的捕捉窗口 ZC，这可以没有特别困难地 以30ips的速率进行刷新。因此，可以选择高分辨率传感器，同时保持高图像流速率。
[0077] 图3的视图（a)-(d)示出了在捕捉区域ZC的像素数据上进行操作以获得对几何失 真进行了补偿的最终图像的不同过程。
[0078]基于从捕捉区域ZC传送的像素数据(视图（b))，该过程从原始有用区域ZUb(视图 (C))提取像素数据并且对其应用三角网格化(本身为公知技术），这将准许通过拉伸每个三 角来矫正图像以给出具有经矫正像素数据的经矫正的有用图像ZUr(视图（d))。具体而言， 鱼眼图像的强弯曲水平线将被校正以使其形成直线并且产生对应于自然视觉的图像，而没 有几何失真。
[0079] 本发明的目的在于补救当无人机的滚转角(绕纵轴24旋转)很大时(通常当其超过 15°量级的值时)从捕捉区域ZC提取图像区域ZI时的特定缺陷。具体而言，这可以在无人机 向右或向左突然横向平移的时候发生，或者在一个方向或另一个方向非常急的转弯的时候 发生(根据滚转角的倾斜然后与根据俯仰角的倾斜相组合，在无人机的水平速度很高时后 者愈大）。
[0080] 在图4a和4b中示出了这种现象：当无人机的俯仰是水平(对应于悬停飞行的姿态） 时，在传感器表面获取的图像如图4a所示，矩形捕捉区域ZC位于由鱼眼镜头产生的半球形 图像的中心，并且较小大小的矩形图像区域ZI位于捕捉区域ZC内并且以同样的方式处于中 心。
[0081] 在通过无人机绕其滚转轴向右或向左旋转来改变无人机的姿态的情况下，例如如 图4b所示的向右旋转角度Θ，在传感器上形成的图像经受对应的旋转。
[0082] 但是，对于超过一定阈值的滚转角值，图像区域ZI将不再能够完全内接在捕捉区 域ZC内，并且这个图像区域ZI的两个对角ZX将延伸超出捕捉区域ZC。在这些区域ZX中，将不 递送像素区域(因为将在相机的输出端被提取和递送的传感器像素被限于捕捉区域ZC)，这 在最终图像中将转换成在两个相应对角中的两个灰色区域。即使这些灰色区域在无人机的 演进期间仅以非常短暂的方式出现，但是它们也构成麻烦的伪像，这将在用于被配准和稍 后再现的图像序列中保持可见。
[0083]如果无人机简单地在停止状态中使用且被手持以用作简单的相机，则会发生相同 的现象:如果无人机(相机)绕其纵轴过于倾斜，则只要这个过度的倾斜将持续，灰色区域ZX 的伪像就将存在。
[0084] 为了弥补这个缺陷，本发明提出了在传感器的不同操作配置之间的动态地切换。
[0085] 对于"操作配置"，如引言所示，其是指相机的一组捕捉参数，包括：
[0086] -输出分辨率，即作为相机的输出（图像区域ZI)而传送的图像的大小（以像素表 示）；
[0087] -捕捉分辨率，即在传感器表面(捕捉区域ZC)所获取区域的大小（以像素表示）；以 及
[0088]-捕捉模式，即准许从捕捉分辨率切换到输出分辨率的处理。
[0089] 对于后一参数，数字相机一般提出视频数据的若干采集模式，其中最常见的是：
[0090] 正常"模式，其中在传感器的输出端原样地传送在给定窗口内获取的所有像素。 因此，捕捉分辨率等于输出分辨率，且图像质量是最大的；
[0091] -所谓的"像素组合"模式，其中相邻像素被电编组在一起以形成宏像素，并且这些 宏像素在输出端作为像素数据被递送。因此，有可能在相当的采集时间内（因此，对视频序 列的流动性没有任何影响)捕捉更宽的表面，但是以重要清晰度损失(至少50%)为代价。的 确，这些像素至少两两水平地和/或垂直地编组在一起以通过将各单独像素取平均来形成 宏像素；
[0092] -所谓的"缩放"模式，其准许比像素组合模式更精细地调整缩减水平。的确，尽管 像素组合被限于2"型的比率，因为其通过像素编组起作用，但缩放根据相邻像素的值通过 过滤每个单独的像素来操作软件缩减。因此可以按因子3/4、2/3等执行缩减，并且产生具有 比像素组合模式中质量更好的图像。在另一方面，这种模式是较慢的，因为为了缩减图像， 需要大量的计算，并且必须获取所捕捉表面的所有像素以进行过滤。
[0093] 图5示出了根据本发明的准许控制操作配置的动态切换的图像处理电路的不同元 件的框图。
[0094] 无人机的相机14经受角位移。这些位移由惯性单元MU 50测量，所述惯性单元頂U 50递送表示无人机以及因此相机的即时旋转的信号，惯性单元50和相机14机械地紧固在一 起。这些旋转由相对于固定的陆地参考系(欧拉角)在三个维度上描述无人机的倾斜的俯仰 角Φ、滚转角Θ和偏航角Φ来给出。
[0095]这些旋转测量应用于视频处理模块52,所述视频处理模块52确保开窗、图像稳定 化以及对相机14递送的原始图像信号的伪像进行校正。模块52递送经校正和稳定化的图像 信号作为输出，其然后可以被传送给用户以在远程屏幕上可视化、记录到数字存储器中，等 等。由模块52执行的开窗由模块54进行控制，所述模块54确保根据预测模块56递送的旋转 角φ、θ和φ的预测值来计算在数字传感器上形成的半球形图像中的捕捉窗口 ZC的位置，预 测模块56接收由惯性单元50递送的无人机的旋转的即时值作为输入。这个数据按陀螺仪的 采集频率(通常是990Hz的频率)被递送，比摄像机的图像采集频率(通常是30Hz的频率)高 得多。
[0096]本发明的特征在于，模块54还包括模块58,其用于根据由模块56预测的滚转角来 选择最佳的传感器配置。
[0097] 图6示意性地示出了如何根据无人机的滚转角在两种不同的可能配置之间操作这 种选择，例如：
[0098] 正常"模式配置，当滚转角Θ小于15°时。所选择的配置确保最大质量，例如输出 和捕捉分辨率等于1408 X 2112像素；以及
[0099] -降级模式配置，例如"水平像素组合"模式配置，如果滚转角Θ超过阈值(例如，Θ = 15°的阈值），使得不可能生成完整的图像区域(如上文参照图4a和4b所述的）。降级模式配 置提供例如2816 X 2112像素的捕捉分辨率以获得1408 X 2112像素的输出分辨率。
[0100] 如果超过阈值，则模块58发送传感器重新配置信号到相机14,使得相机以较低质 量但是更扩展的捕捉区域进行操作。只要滚转角Θ超过上述阈值，在像素组合模式中的这种 降级质量配置就被保持。优选地，为了避免阈值附近的多次切换现象，引入滞后，即只有滚 转角下降到例如12°以下才触发返回到正常模式配置（同时当这个角度为15°以上时，反向 倾斜已经被控制）。
[0101] 图7类似于图6,用于三种不同的可能配置，包括例如在缩放模式中的具有适度降 级质量的中等配置，在正常模式的最大质量和像素组合模式的更强降级质量之间的中间状 ??τ O
[0102] 三种模式之间的切换以与上述相同的方式进行操作，例如基于0-15°的滚转角范 围为正常模式，15-25°的滚转角范围为缩放模式，以及25-45°的滚转角范围为像素组合模 式，在每种情况下，在从一种配置到另一个配置的切换时引入滞后。
[0103] 图8a至图Se示出了，在其中无人机首先处于水平状态，然后在返回到水平状态之 前以更明显的方式稍微倾斜的场景中，两种不同配置(最大和降级)之间切换的示例。
[0104] 在这些附图中，图像区域ZI由虚线来表示，且捕捉区域由点划线来表示。当相机在 正常模式下操作时，这个捕捉区域可以是基本捕捉区域ZCB，或者当相机在降级模式下操作 时，这个捕捉区域可以是扩展捕捉区域ZCE，例如在2 X 2像素组合模式下，具有比基本捕捉 区域ZCB扩展四倍的扩展捕捉区域ZCE。
[0105]最初（图8a)，无人机是水平的，其通常对应于悬停飞行状态。滚转角Θ是〇°且基本 捕捉区域的轴D以及图像区域ZI的轴V合并在一起。
[0106] 当无人机稍微倾斜，具有小于15°的滚转角Θ，例如滚转角θ = 12° (图8b)，图像区域 ZI保持整体内接在基本捕捉区域ZCB中。
[0107] 当无人机以更明显的方式倾斜（图8c)，例如具有滚转角0 = 30°，基本捕捉区域ZCB 可能不再包含图像区域ZI，其延伸超出到非捕捉区域ZX中。然后传感器切换到具有即使在 最极端的配置中（直到θ = 45°)也将能够始终包含图像区域ZI的扩展捕捉区域ZCE的低清晰 度配置(像素组合或缩放）。
[0108] 当要无人机执行反向操作时，配置被保持直到达到滚转角θ = 12° (图8d)。将注意， 在图8d中，倾斜与图8b中相同，但是捕捉区域保持为扩展捕捉区域ZCE(滞后效应）。的确，如 果过早返回正常模式，则误差裕限将过低以致难以确保捕捉区域的表面将始终足以包含图 像区域。
[0109] 仅当这个误差裕限将足够高（图Se)从而将可能操作传感器的反向切换到具有最 大质量的正常模式。
[0110] 因此，可以看出，在任何情况下，即使当滚转变得显著，也将始终生成经稳定化的 视图，而在图像中没有缺失像素。当像素组合模式被使用时（图8c和8d的情况），图像当然变 得稍微更模糊，但是这种修改(其非常短暂)几乎难以察觉，在任何情况下它远小于像素损 失，所述像素损失将转换成在递送给用户的最终图像中的灰色带或角落。
【主权项】
1. 一种具有用于稳定化所捕捉图像的系统的机动飞行机器，诸如无人机(10)，其包括： -相机(14 )，其链接到无人机主体，所述相机包括： ?鱼眼类型的半球形视野镜头，W及 ?数字传感器，其获取由所述镜头形成的图像， 其中所述传感器上形成图像的像素的仅仅一部分被捕捉W递送原始像素数据，所述部 分位于捕捉区域(ZC)内； -惯性单元(50)，其被适配成测量描述所述无人机相对于绝对陆地参考系的即时姿态 的欧拉角（9，0，V); -提取模块(52)，其接收所述捕捉区域(ZC)的所述原始像素数据作为输入并递送所述 捕捉区域内的且与由常规相机所捕捉的角域(36)相对应的降低大小的图像区域(ZI)的像 素数据作为输出；W及 -反馈控制模块(54,56)，其接收由所述惯性单元递送的角度值作为输入并且被适配成 在与由所述惯性单元测量的角度值变化的方向相对的方向上动态地修改所述捕捉区域内 的图像区域的位置和定向， 其特征在于： -所述传感器是能够根据多种不同的操作配置进行操作的传感器，所述多种不同的操 作配置能够在所述相机拍摄同一图像序列期间被动态地选择，所述操作配置包括： ?基本配置，其使用基本捕捉区域(ZCB)作为捕捉区域(ZC)，W及 ?至少一种降级模式配置，其使用比所述基本捕捉区域(ZCB)更大大小的扩展捕捉区 域(ZCE)作为捕捉区域(ZC)，该降级模式配置将转换处理应用于所述扩展捕捉区域的像素， 所述转换处理被适配成将所述扩展捕捉区域的大小降低到所述基本捕捉区域的大小，W及 -所述无人机进一步包括补偿模块(58)，其接收由所述惯性单元递送的所述无人机的 滚转角（e)的连续值作为输入，并且被适配成动态地修改所述传感器的当前操作配置，使得 所述传感器如下操作： ?对于滚转角值(e)低于第一限值而言根据所述基本配置来操作，W及 ?对于滚转角值(0)高于第二限值而言根据所述降级模式配置来操作。2. 权利要求1所述的无人机，其特征在于，所述滚转效果补偿装置被适配成动态地修改 所述传感器的当前操作配置： ?当所述滚转角值增加超过第一预定阔值时，从所述基本配置到所述降级模式配置， ? W及当所述无人机的滚转角降低到第二预定阔值W下时，从所述降级模式配置到所 述基本配置，所述第二阔值不同于所述第一阔值并且低于所述第一阔值。3. 权利要求1所述的无人机，其特征在于，所述操作配置包括： .所述基本配置(配置#1)，使用所述基本捕捉区域(ZCB)作为捕捉区域(ZC)， ?适度降级模式配置(配置#2)，使用比所述基本捕捉区域更大大小的第一扩展捕捉区 域作为捕捉区域(ZC)，该适度降级模式配置将第一转换处理应用于所述第一扩展捕捉区域 的像素，所述第一转换处理被适配成将所述第一扩展捕捉区域的大小降低到所述基本捕捉 区域的大小，W及 ?强降级模式配置(配置#3)，使用比所述第一扩展捕捉区域更大大小的第二扩展捕捉 区域作为捕捉区域(ZC)，该强降级模式配置将不同于所述第一处理的第二转换处理应用于 所述第二扩展捕捉区域的像素，所述第二转换处理被适配成将所述第二扩展捕捉区域的大 小降低到所述基本捕捉区域的大小， 并且其中所述补偿模块进一步被适配成动态地修改所述传感器的当前操作配置，使得 所述传感器如下操作： ?对于滚转角值低于所述第一限值而言根据所述基本配置来操作， ?对于滚转角值高于所述第二限值且低于第=限值而言根据所述适度降级模式配置 来操作，W及 ?对于滚转角值高于所述第=限值而言根据所述强降级模式配置来操作。
【文档编号】H04N5/232GK105915786SQ201610255068
【公开日】2016年8月31日
【申请日】2016年1月26日
【发明人】P·埃林
【申请人】鹦鹉股份有限公司