专利名称：用于去除座舱屏蔽的方法和相关的头盔显示系统的制作方法
技术领域：
本发明涉及用于飞机座舱中的包括低亮度显示设备的头盔显示器的领域。本发明特别应用于用于夜间任务中的直升机。
背景技术：
图1中显示了处于功能性条件中的这种类型的系统，其佩戴在直升机座舱中的飞行员的头上。图1是平面图。该系统大致包括座舱的边界L、环状的座舱立柱M、飞行员的头部P及其显示头盔C。头部P具有表示眼睛位置的两个圆Y。头盔的外壳包括两个传感器CbnL (BNL表示“低亮度”)，从而能够产生外部景观的增强图像(intensified image) 0从图1可以看出，这些传感器位于头盔的每一侧上。每个传感器具有相连的头盔显示器HMD。 两个头盔显示器将两个图像赋予增强图像的无限远处。通常通过头盔的护目镜(visor)来处理准直。这两个准直的图像被飞行员的眼睛感知。这两个图像具有统一的放大，从而最佳地覆盖在外部景观上。从图1可以看出，座舱的立柱M是环形的，并且不可避免地位于两个传感！Cm的场Qem内。在图1中通过虚线显示这些场。考虑到BNL传感器的敏感度规格，立柱M在每个图像中引入黑的或很暗的视觉屏蔽，显然，该视觉屏蔽在头盔显示器中被重建。因此，从显示通过头盔显示器被飞行员的右眼和左眼分别感知的外部景观的视图的图2可以看出， 飞行员的视场中有被立柱的屏蔽破坏的部分。在飞行员的引航过程中，特别是在特别的飞行阶段，这种屏蔽效果妨碍飞行员。由于经常出现很暗的立柱外观，因此这种效果总是较强。根据座舱，通过从设计上修改用于捕捉夜间图像的BNL传感器的放置，可以最小化甚至解决这个问题。该方案涉及明显的设计约束，还包含设计适于特定佩戴者的专用头盔。还可以将传感器移到座舱外部。这导致改变了对环境的感知的不一致的视点。此外，这些传感器必须受控于飞行员的头部的位置。目前这个问题优选地留给飞行员来负责，飞行员进行规律的头部运动以获得被机舱屏蔽的信息，从而大大增加了飞行员的工作负担，损害了飞行员的可用性，这通常用术语 “状况认知”来描述。
发明内容
根据本发明的方法能够解决这个问题。该方法基于由头盔的左右BNL传感器的双目视像(binocularity)提供的信息冗余的使用。在BNL图像中，立柱的视觉屏蔽被采用 “座舱透明”型适当符号的虚拟表示所代替，对引航有用的外部景象信息被附加在该虚拟表不上。更具体而言，本发明的主题是一种用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法，所述飞行员位于飞机座舱内，所述飞机座舱包括位于飞行员的视场内的至少一个立柱，所述显示设备包括能够在低亮度下操作并提供第一增强图像和第二增强图像的图像传感器的第一双目组件，所述增强图像的每一个包括覆盖在外部景观的图像上的所述立柱的图像；第二双目头盔显示器组件，所述第二双目头盔显示器组件被设置为向飞行员呈现所述第一增强图像和所述第二增强图像；图像处理图形计算机；其特征在于，所述用于去除座舱屏蔽的方法由所述图形计算机执行，所述方法包括以下步骤步骤1 生成所述第一增强图像和所述第二增强图像之间存在的差异 (disparity)的绘图，通过其来识别构成屏蔽的立柱的元件；步骤2 通过提取两个增强图像的每一个中的轮廓精细修剪构成屏蔽的立柱的元件；步骤3 去除第一图像中的所述元件以及用在第二图像中发现的外部景观的相应部分进行替换，去除第二图像中的所述元件以及用在第一图像中发现的外部景观的相应部分进行替换；步骤4:在所述第二双目头盔显示器组件中呈现处理过的没有屏蔽的第一增强图像和处理过的没有屏蔽的第二图像。有利地，由于在所述第一增强图像和所述第二增强图像中都没有被屏蔽的外部景观部分是冗余的，因此在步骤4中所述部分用考虑该冗余的增强分辨率(enhanced resolution)来呈现。有利地，当头盔包括用于检测飞行员的头部姿态的设备时，步骤1之前包括步骤 0，在步骤0中，预先确定立柱的元件在所述第一增强图像和所述第二增强图像中的大致位置。有利地，立柱的元件配备有无源或有源光学标记，在步骤1中能够通过所述图形计算机来识别该光学标记。有利地，每个图像由像素构成，在步骤3中，通过每个图像的相应像素的双线性插值来执行通过增强图像中的外部景观的相应部分对屏蔽的元件进行的替换。有利地，在步骤3之前还包括步骤加，在步骤加中，所述图形计算机在邻近所述立柱的元件的区域中搜索兴趣点或兴趣区域。 有利地，在步骤3之后还包括步骤3a，在步骤3a中，在处理过的第一增强图像和处理过的第二增强图像上覆盖共同的合成图像。有利地，所述合成图像包括所述立柱的元件的类型化表示(stylized r印resentation)，所述表示大致位于真实立柱的元件的位置。有利地，所述合成图像包括常规引航符号表示。本发明还涉及一种与上述方法相关的头盔显示设备，包括能够在低亮度下操作并提供第一增强图像和第二增强图像的图像传感器的第一双目组件，第二双目头盔显示器组件，所述第二双目头盔显示器组件被设置为向飞行员呈现所述第一增强图像和所述第二增强图像；图像处理图形计算机，所述图像处理图形计算机包括电子和计算装置，所述电子和计算装置被设置为执行所述的用于去除座舱屏蔽的方法。
通过阅读以非限制示例给出的以下描述以及借助于附图，将更好地理解本发明， 本发明的其他优点也变得明显，其中已经描述过的图1表示其环境中的头盔显示设备；图2表示处理之前通过两个传感器看见的增强图像；图3表示处理之后的相同图像以及对来自于立柱的屏蔽的去除；图4、图5、和图6表示处理之后的图像，包括立柱元件的不同类型化表示；图7表示处理之后的图像，包括常规的引航符号表示。
具体实施例方式图2示意性地表示了通过图1中表示的显示设备的左右BNL传感器感知的图像。 在图2中，这些图像被称为处理前左传感器图像和处理前右传感器图像。这些图像包括被月亮照亮的山体景观Pext以及表示座舱的立柱的黑色的环M。由于景观位于远处，因此其在左图像和右图像中占据相同的位置，较近的物体在左图像和右图像之间可具有一定的视差。另一方面，从图2可以看出，立柱M必然接近飞行员，考虑到左右BNL传感器之间存在的视差，立柱M在左右图像中不占据相同的位置。因此，被立柱屏蔽从而不出现在来自于左传感器的图像上的景观部分出现在来自于右传感器的图像上，反之亦然。如果将来自于两个图像的信息集合，则能够去除由立柱引入的屏蔽，以及重建显示全部景观的处理过的图像。 图3显示了该方法。处理过的图像被称为处理后左传感器图像和处理后右传感器图像，其不再包含立柱。在左图像和右图像中，立柱M的初始位置简单地由虚线表示。根据本发明的方法依赖这一原理。更具体而言，通过图形计算机执行用于去除座舱屏蔽的方法，所述方法包括以下四个主要步骤步骤1 生成来自于左BNL传感器和右BNL传感器的第一增强图像和第二增强图像之间存在的差异的绘图，以识别构成屏蔽的立柱的元件；步骤2 通过提取两个增强图像的每一个的轮廓精细地修剪构成屏蔽的立柱的元件；步骤3 去除第一图像中的所述元件以及用在第二图像中发现的外部景观的相应部分进行替换，去除第二图像中的所述元件以及用在第一图像中发现的外部景观的相应部分进行替换；步骤4 在第二双目头盔显示器组件中呈现处理过的没有屏蔽的第一增强图像和处理过的没有屏蔽的第二图像。当头盔包括用于检测飞行员头部姿态的设备(或“DDP”)时，步骤1之前可以包括预步骤，在预步骤中，预先确定立柱的元件在第一增强图像和第二增强图像中的大致位置。 这样缩短了搜索时间，因此也缩短了等待时间。还可以使用该预先确定来检测在该方法的后续步骤中获得的结果的完整性。立柱的元件可以配备有无源或有源光学标记，在步骤1中可以通过图形计算机来识别该光学标记。有源传感器例如可以是在飞行员不可见的红外光谱范围内发光并且位于传感器的检测频带内的二极管。
可以通过生成两个图像之间存在的差异的绘图大致识别机舱屏蔽的元件。还可以通过两个传感器之间的运动的密集插值的更复杂的方法识别座舱的屏蔽元件。这些方法对于本领域技术人员是已知的。在步骤2中，用于实现立柱元件的精细修剪的图形学方法可以是图形图像处理领域中公知的过滤或“二值化(binarization) ”方法。在步骤3中，图形计算机可以在第一图像和邻近立柱元件的区域中搜索与第二图像的“预期”区域相对应的兴趣点或者兴趣区域。可以使用不同的技术。这些技术包括-“块匹配”型区域匹配方法；-基于兴趣点的搜索和“匹配”的方法，其中描述符(descriptor)与寻找的立柱的形状相适应。为了平滑图像之间的嵌入引起的伪像，可以使用从步骤2的立柱元件的精细修剪生成的以及赋予每个图像适当的各自权重的合并屏蔽(merging mask) 0在步骤3中，精确了解两个传感器的定位和光学参数，例如其光轴的位置、光学器件的变形、以及光轴的分离，就可以通过使用专用图形计算机执行被立柱屏蔽的通道的图像部分的填充。在该步骤中，如果需要较大的处理速度，那么可以仅使用先前校准过的传感器系统的模型，以便通过其他通道的图像的相关像素的双线性插值简单地逐点重算两个图像中遗漏的像素。在步骤3中，由于在第一增强图像和第二增强图像中都没有被屏蔽的外部景观部分是冗余的，因此该部分可以用考虑该冗余的增强分辨率来表示。例如，可以通过考虑另一图像中的相应像素的水平来平均每个图像的像素的水平，从而降低噪音水平。更复杂的处理操作也是可行的。步骤3之后可以跟随步骤3a，在步骤3a中，在处理过的第一增强图像和处理过的第二增强图像上覆盖共同的合成图像。该合成图像具有几个益处。已知机舱立柱表示外部景观的屏蔽，但是其还作为飞行员确定飞机姿态的标记。因此，以虚拟标记的形式大致在真实立柱的元件的位置重新引入这些标记是有利的。图4、图5和图6表示这种重新引入的三个可能示例。在图4中，虚拟立柱Mv是类似于真实立柱的环形，但是为了最小化视觉屏蔽，该环包括具有最小厚度的单环。在图5 中，该环被加倍以模拟立柱的厚度。在图6中，立柱Mv由两条竖直线表示。显然，希望合成图像包括引航必需的全部或部分信息。因此，例如在图7中，合成图像包括飞机速度的指示AS、飞机姿态的指示ATT、飞机高度的指示ALT以及飞机航向的指示 CAP。因此，根据本发明的方法能够减小飞行员的工作负担，同时允许多佩戴者头盔的设计，因为最小化甚至去除的工作依赖于座舱，通过不需要修改头盔显示设备的任何光学、 机械或电子部件的专用图形计算机来执行座舱屏蔽，因为只有数字图像处理软件是专用的。如上所述，本发明的优选领域是用于呈现在头盔显示设备上的飞机座舱的立柱 “去屏蔽”，但是其他应用也是可能的。这些应用例如包括照片或视频应用环境下的用于三维相机的图像校正。
权利要求
1.一种用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法，所述头盔包括用于检测飞行员的头部姿态的设备，所述飞行员位于飞机座舱内，所述飞机座舱包括位于飞行员的视场内的至少一个立柱(M)，所述显示设备包括能够在低亮度下操作并提供第一增强图像和第二增强图像的图像传感器(CBNL)的第一双目组件，所述增强图像的每一个包括覆盖在外部景观的图像上的所述立柱的图像；第二双目头盔显示器(HMD)组件，所述第二双目头盔显示器组件被设置为向飞行员呈现所述第一增强图像和所述第二增强图像；图像处理图形计算机；其特征在于，所述用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法由所述图形计算机执行，所述方法包括以下步骤步骤0:预先确定立柱的元件在所述第一增强图像和所述第二增强图像中的大致位置；步骤1 生成所述第一增强图像和所述第二增强图像之间存在的差异的绘图，以识别构成屏蔽的立柱的元件；步骤2 通过提取两个增强图像的每一个中的轮廓精细修剪构成屏蔽的立柱的元件；步骤3 去除第一图像中的所述元件以及用在第二图像中发现的外部景观的相应部分进行替换，去除第二图像中的所述元件以及用在第一图像中发现的外部景观的相应部分进行替换；步骤4:在所述第二双目头盔显示器组件中呈现处理过的没有屏蔽的第一增强图像和处理过的没有屏蔽的第二图像。
2.根据权利要求1所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法， 其特征在于，由于在所述第一增强图像和所述第二增强图像中都没有被屏蔽的外部景观部分是冗余的，因此在步骤4中所述部分用考虑该冗余的增强分辨率来呈现。
3.根据权利要求1所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法， 其特征在于，立柱的元件配备有无源或有源光学标记，在步骤1中能够通过所述图形计算机来识别该光学标记。
4.根据权利要求1所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法， 其特征在于，每个图像由像素构成，在步骤3中，通过每个图像的相应像素的双线性插值来执行通过增强图像中的外部景观的相应部分对屏蔽的元件进行的替换。
5.根据权利要求1所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法， 其特征在于，在步骤3之前还包括步骤加，在步骤加中，所述图形计算机在邻近所述立柱的元件的区域中搜索兴趣点或兴趣区域。
6.根据权利要求1所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法， 其特征在于，在步骤3之后还包括步骤3a，在步骤3a中，在处理过的第一增强图像和处理过的第二增强图像上覆盖共同的合成图像。
7.根据权利要求6所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法， 其特征在于，所述合成图像包括所述立柱的元件的类型化表示(Mv)，所述表示大致位于真实立柱的元件的位置。
8.根据权利要求6所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法，其特征在于，所述合成图像包括常规引航符号表示(AS、ALT、ATT和CAP)。
9. 一种头盔显示设备，包括能够在低亮度下操作并提供第一增强图像和第二增强图像的图像传感器(Cm)的第一双目组件，第二双目头盔显示器(HMD)组件，所述第二双目头盔显示器组件被设置为向飞行员呈现所述第一增强图像和所述第二增强图像； 图像处理图形计算机；其特征在于，所述计算机包括电子和计算装置，所述电子和计算装置被设置为执行根据前述权利要求中任一项所述的用于去除飞行员佩戴的头盔显示设备中的座舱屏蔽的方法。
全文摘要
本发明涉及用于去除座舱屏蔽的方法和相关的头盔显示系统。本发明总体上涉及飞机飞行员佩戴的双目头盔显示设备的领域。在夜间使用中，这种类型的设备的一个缺点是座舱的立柱在光学传感器的场中引入明显的视觉屏蔽。根据本发明的方法通过双目图像的图形处理来去除呈现给飞行员的图像中的这些屏蔽。所述方法依赖于这样的事实，即考虑到视差，立柱(M)在来自于左右传感器(CBNL)的两个图像中占据不同的位置。比较两个图像能够识别然后去除这些屏蔽，最后用外部景观的图像的一部分代替这些屏蔽。
文档编号G06K9/00GK102566050SQ20111043342
公开日2012年7月11日 申请日期2011年12月21日 优先权日2010年12月23日
发明者J-M·弗朗索瓦, L·拉吕克, M·格罗瑟泰特 申请人:泰勒斯公司