专利名称：校准真实和虚拟视图的制作方法
技术领域：
本发明涉及增强现实，更具体地说，本发明涉及透明头盔显示器的增强现实校准的系统和方法。
相关技术讨论增强视觉(也称为增强现实或增强现实视觉)使用叠加计算机生成图形信息来增强现实世界的用户视图。该信息可包括例如加在场景中一些对象上的文字标签、或者从MRI扫描得到的患者脑部的三维(3D)模型被对准该人头部的现实视图。
用户可通过他或她的眼睛来观察现实世界，并且经由位于观察者和现实世界之间的半透明显示器来混合附加图像信息。这种显示设备可以是例如光学透明头盔显示器。
该显示器也可以是不透明的，诸如计算机屏幕或非透明头盔显示器。该显示器然后为用户呈现完整的增强视图---现实世界视图和图形覆盖的组合。摄像机代替现实世界观察者来捕捉现实世界视图。两台照相机可实现用于立体视觉。计算机可用于组合现场视频和图形增强。这种显示设备是例如视频透明头盔显示器(HMD)。
以透视方式定位、定向、调整乃至渲染图形，用于正确对准现实世界视图。为了获得现实视图和虚拟视图的精确对准，图形可被固定为现实世界对象。由于这个原因，因此需要用户的观察点相对于该对象和对象方位的位置和方位的知识。因此，需要定义两个坐标系统之间的关系，一个加在用户的头部上，一个加在对象上。
跟踪表示保持跟踪该关系的过程。可使用基于光学、磁、超声波和机械装置的商业跟踪系统。
需要校准以获得场景中虚拟图形对象和现实对象之间的对准。由于现实和虚拟图像被组合在计算机中，因此可以以独立于用户的客观方式实现视频透明HMD。相比之下，使用光学透明HMD，现实和虚拟图像最终出现在用户的眼睛里，并且半透明屏幕后的用户眼睛的位置对对准具有重要影响。
不同的用于校准光学透明HMD的方法被认为是现有技术。所有已知的校准方法要求用户使虚拟结构对准现实参考结构。例如，在SPAAM方法中，在屏幕上为用户显示一系列固定图形标记，用户移动头，以使这些固定图形标记对准现实场景中的参考标记。用户头部的抖动妨碍了该对准。由于头部抖动，显示标记的位置抖动，并且不可能精确地对准虚拟和现实标记。
对于诸如手术室中需要精确测量和舒适使用的增强现实应用而言，当前不存在已知的系统。因此，存在对于透明头盔显示器的增强现实校准的系统和方法的需要。
发明内容
增强显示系统包括现实参考发生器，其用于在校准屏幕上显示现实参考；光学透明显示器，其具有相对于现实参考发生器的固定位置；以及虚拟参考发生器，其用于在光学透明显示器上现实虚拟参考。增强现实系统还包括输入设备，其用于通过光学透明显示器使虚拟参考的视图对准现实参考的视图，其中在光学透明显示器上移动虚拟参考；以及处理器，其用于确定渲染虚拟对象作为通过光学透明显示器看到的一部分现实场景的一个或多个参数。
增强现实系统包括用于跟踪校准屏幕相对于现实参考的姿势的跟踪照相机。
增强现实系统包括具有相对于现实参考发生器的固定位置的跟踪照相机，用于捕捉校准屏幕的视图。增强现实系统还包括处理器，其中光学标记配置被固定于校准屏幕，并由跟踪照相机成像，其中处理器根据跟踪照相机捕捉的图像中光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系，头盔显示器包括现实参考发生器和光学透明显示器。
增强现实系统包括至少一台跟踪照相机，其用于捕捉校准屏幕的视图；以及头盔显示器，其包括现实参考发生器和光学透明显示器。增强现实系统还包括处理器，其中光学标记配置被固定于校准屏幕和头盔显示器中的每一个上，并被至少一台跟踪照相机跟踪，其中处理器根据至少一台跟踪照相机捕捉的视图中各个光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系。
用于校准现实和虚拟视图的系统包括现实参考发生器，其用于在校准屏幕上显示现实参考；光学显示器，其具有相对于现实参考点发生器的固定位置；以及虚拟参考发生器，其用于在光学显示器中产生虚拟参考。该系统还包括输入设备，用于使虚拟参考的视图对准现实参考的视图，其中在光学显示器上相对于现实参考的视图移动该虚拟参考；以及处理器，用于确定在光学显示器中看到的现实场景中渲染虚拟对象的一个或多个参数。
系统还包括捕捉现实参考的视图的照相机，其中在光学显示器中显示现实参考，虚拟参考被叠加在该现实参考上。系统还包括跟踪照相机，其具有相对于现实参考发生器的固定位置，用于捕捉校准屏幕的视图；以及处理器，其中光学标记配置被固定于校准屏幕上，并被跟踪照相机跟踪，其中处理器根据跟踪照相机捕捉的视图中光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系，头盔显示器包括现实参考发生器和光学显示器。
系统包括连接到现实参考发生器、用于捕捉校准屏幕的视图的跟踪照相机。该系统还包括处理器，其中光学标记配置被固定于校准屏幕上，并被跟踪照相机跟踪，其中处理器根据跟踪照相机捕捉的视图中光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系，并且头盔显示器包括现实参考发生器和光学显示器。
系统包括至少一台跟踪照相机，用于捕捉校准屏幕的视图；以及头盔显示器，其包括现实参考发生器和光学显示器。系统还包括处理器，其中光学标记配置被固定于校准屏幕和头盔显示器中的每一个上，并且被跟踪照相机跟踪，其中处理器根据至少一台跟踪照相机捕捉的视图中各个光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系。
用于校准现实和虚拟视图的方法包括跟踪校准屏幕，其中现实参考发生器产生的现实参考被投影在校准屏幕上；使虚拟参考对准显示器中的现实参考，其中现实参考发生器和显示器具有固定的相对位置；确定虚拟参考和现实参考之间的点对应；以及确定用于在现实场景中渲染虚拟对象的一个或多个参数。
该方法包括在光学透明显示器上显示虚拟参考，通过该光学透明显示器，现实参考是可见的。
该方法包括捕捉包括现实参考的现实场景的视图，并且显示用虚拟参考增强的现实场景的该视图。
附图简要描述以下将参考附图更详细地描述本发明的优选实施例
图1是根据本发明公开的实施例的校准系统的图示；图2A是根据本发明公开的实施例的增强现实校准系统的图示；图2B是根据本发明公开的实施例的增强现实校准系统的图示；图2C是根据本发明公开的实施例的视频透明增强现实校准系统的图示；图3是根据本发明公开的实施例的方法的流程图；图4是根据本发明公开的实施例的方法的流程图。
优选实施例详细描述用于校准光学透明头盔显示器(HMD)的系统和方法将现实参考实现为源自连在HMD上的照明器的光点。这些光点随同HMD“一起抖动”，并且用户没有察觉到显示在HMD的半透明屏幕上固定位置处的这些参考标记和虚拟标记之间的任何抖动。
参考图1，为了校准光学透明系统，用户100使HMD的半透明屏幕103上显示为图形的虚拟参考101对准通过屏幕103观察的现实参考结构102。现实参考结构102被实现为校准屏幕104或其它感光底层上的投影光点和/或图像。现实参考102和虚拟参考101可以是例如一个或多个点或形状。
应该理解可以用各种形式的硬件、软件、固件、专用处理器或上述组合来实现本发明。在一个实施例中，可以用作为程序存储设备上实际实施的应用程序的软件实现本发明。该应用程序可被上载到包括任何适当结构的机器，并可由该机器执行。
还应该理解由于可以用软件实现附图中所示的一些组成系统构件和方法步骤，因此系统构件(或过程步骤)之间的实际连接可根据本发明编程的方式变化。这里提供的本发明的教导，本领域的专业技术人员将能够考虑到本发明的这些和类似的实现或配置。
参考图2A和2B，现实参考102源自牢固地连在HMD 201上、并通过屏幕103观察的照明系统200。当用户移动HMD 201时，现实参考102在校准屏幕104上移动，并且对于小的头部运动而言，当通过HMD的半透明屏幕103观看时，现实参考102看上去相对于虚拟参考101固定。由于现实参考102和虚拟参考101之间的抖动充分降低，因此从用户100的有利位置来看，现在对准过程是容易的。
在平面屏幕104上观察现实参考102，用户可以将手臂长度的屏幕104握在一只手上、将该屏幕放在桌上等。
屏幕104跟踪用户的头部或HMD 201。跟踪布置包括外部或(见图2A)或头盔(见图2B)跟踪照相机202。屏幕104(在光学跟踪的情况下)和HMD 201(在图2A的外部跟踪照相机的情况下)包括光学标记203。光学标记203可以是例如回射平盘或者回射球。
照明器200投影包括一个(或者最好是几个)点的光图像102。可使用单个光源和产生光图像102的光学系统来构造照明器200。例如，激光可以与透镜系统及掩模、或者绕射光学组件一起使用，以产生一群光点。
备选地，可使用一群光源(诸如LED阵列)，其优点是可以使光图像是可切换的。可单独接通和切断LED。这些LED可以与透镜系统或微光学组件(例如透镜阵列)组合。
照明器200还可包括在不同光束方向之间切换的扫描装置或光束偏转装置。
屏幕103可以是例如单目布置或双目布置。在双目布置中，最好一个接一个地单独校准两个屏幕，结合半透明显示器103的适当光学组件204产生虚拟参考101的图像。由于用户透视半透明显示器103，因此虚拟参考101是用户可见的。备选地，可使用图像投影仪和包括光束分离器的光学系统实施透明显示器。
为了执行校准，从用户的角度来看(例如205)，用户100将显示在半透明屏幕103上的虚拟参考101移动到对准参考光图像102。用户101控制接口206(例如处理器207和输入设备208)，以便移动屏幕103上的虚拟参考101。输入设备208可以是例如轨迹球或鼠标。处理器207可以是虚拟参考发生器，其包括在半透明屏幕上渲染显示的虚拟参考的处理器和图形卡。
为了完成校准过程，用户使虚拟参考101对准几个现实参考光点(例如102)。为了更好的校准精度，用户可假设相对于校准屏幕104的不同姿势(例如距离和/或方位)。
处理器(例如207)根据标记203的位置以及用户确定的虚拟参考101和现实参考102的对准来确定校准屏幕104和HMD 201之间的空间关系。图2B是包括跟踪照相机202的HMD的示例。如图所示，在跟踪照相机被固定于HMD上的地方，仅可使用固定于校准屏幕104的光学标记203来确定校准屏幕104和HMD 201之间的空间关系。此外，可根据固定于屏幕104的不同光学标记203的关系来确定校准屏幕104的姿势。
图2C是根据本发明公开的实施例的视频透明增强现实系统，其中照相机(例如202)捕捉包括现实参考102的现实场景的图像。可通过单独的照相机执行照相机202的跟踪和视频功能。为用户101显示现实场景的图像。虚拟视图被叠加在现实视图(例如209)上，并且用户101察觉到现实和虚拟视图(例如204)。用户可以使虚拟参考对准现实场景中现实参考的视图。
参考图3，考虑头盔跟踪照相机的情况。跟踪照相机和照明器彼此机械固定，并且确定产生参考点的光束相对于跟踪照相机的坐标系统的位置和方位。通过跟踪校准屏幕301，可确定作为对应光束与屏幕平面交叉点的、跟踪照相机坐标系统中参考点的3D坐标。
在校准过程期间，用户对准现实和虚拟参考302，并且系统记录一组3D-2D点对应303。每个点对应是由用户已经对准参考的、参考光点的3D坐标和虚拟标记的2D坐标组成。该组点对应使得可以确定用于渲染正确对准现实场景304的虚拟物体的一个或多个参数。例如，确定显示在半透明屏幕上的虚拟世界的用户视图的照相机参数与确定通过屏幕看到的现实世界的用户视图的照相机参数匹配。这些确定是本技术中已知的，例如，如2001年9月25日提交的、名称为“用于校准增强现实的单目光学透明头盔显示器系统的系统和方法”的美国专利申请号20020105484中所述，其中校准可包括使物理环境与内部表示匹配、以使计算机的内部模型与物理环境匹配的数学模型的初始参数值。这些参数包括例如物理照相机的光学特性，以及诸如照相机、用于跟踪的标记和各种对象的各种实体的位置和方位(姿势)信息。
在成功校准了单个用户的光学透明增强现实系统之后，该系统可以以3D图形对象看上去牢固地固定在显示场景中的方式渲染这些对象。使用跟踪系统来跟踪、并使用图形对象的虚拟视图的对应变化来解释用户的观点变化。
头盔跟踪照相机的情况的备选情况是，外部跟踪装置可以与相对于照明器牢固固定的头盔标记或传感器共同使用。跟踪系统跟踪HMD和校准屏幕(401)。同样，校准光点的3D坐标可被对准(402)，并可被确定为光束和屏幕平面的交叉点(403)。虚拟参考点对准屏幕上显示为光的现实参考点，并且记录对应(404)。
系统包括头盔显示器、跟踪装置、计算和图形渲染装置、光投影装置、以及可跟踪屏幕。
可以在每个点对应的若干个测量上平均现实和虚拟参考结构之间的校准对准。注意到虚拟标记和现实标记相对于彼此显示出无抖动。平均可降低校准中的误差。与使用外部特征的校准程序比较，平均是易用的。这里，由于现实和虚拟标记之间降低的抖动，因此用户可以保持对准达一秒或几秒。
已经描述了用于校准现实和虚拟视图的系统和方法的实施例，注意到本领域的技术人员可根据以上教学来实现修改和改变。因此，应该理解可以在所附权利要求定义的本发明的保护范围和精神内的、公开的本发明的具体实施例中实现这些改变。由此已经描述了本发明的细节、具体是专利法所要求的细节，在所附权利要求中阐述了专利许可宣告和期望保护的。
权利要求
1.一种增强现实系统，包括现实参考发生器，其用于在校准屏幕上显示现实参考；光学透明显示器，其具有相对于所述现实参考发生器的固定位置；虚拟参考发生器，其用于在所述光学透明显示器上显示虚拟参考；输入设备，其用于通过所述光学透明显示器使所述虚拟参考的视图对准所述现实参考的视图，其中在所述光学透明显示器上移动所述虚拟参考；以及处理器，其用于确定渲染虚拟对象作为通过所述光学透明显示器看到的一部分现实场景的一个或多个参数。
2.如权利要求1所述的增强现实系统，还包括用于跟踪所述校准屏幕相对于所述现实参考的姿势的跟踪照相机。
3.如权利要求1所述的增强现实系统，还包括具有相对于所述现实参考发生器的固定位置的、用于捕捉所述校准屏幕的视图的跟踪照相机。
4.如权利要求3所述的增强现实系统，还包括处理器，其中光学标记配置被固定于所述校准屏幕，并由所述跟踪照相机成像，其中所述处理器根据所述跟踪照相机捕捉的图像中所述光学标记配置的位置来确定所述校准屏幕和头盔显示器之间的位置关系，所述头盔显示器包括所述现实参考发生器和光学透明显示器。
5.如权利要求1所述的增强现实系统，还包括至少一台跟踪照相机，其用于捕捉所述校准屏幕的视图；以及头盔显示器，其包括所述现实参考发生器和光学透明显示器。
6.如权利要求5所述的增强现实系统，还包括处理器，其中光学标记配置被固定于所述校准屏幕和所述头盔显示器中的每一个上，并被所述至少一台跟踪照相机跟踪，其中所述处理器根据所述至少一台跟踪照相机捕捉的所述视图中各个光学标记配置的所述位置来确定所述校准屏幕和所述头盔显示器之间的位置关系。
7.一种用于校准现实和虚拟视图的系统，包括现实参考发生器，其用于在校准屏幕上显示现实参考；光学显示器，其具有相对于所述现实参考发生器的固定位置；虚拟参考发生器，其用于在所述光学显示器上产生虚拟参考；输入设备，其用于使所述虚拟参考的视图对准所述现实参考的视图，其中在所述光学显示器上相对于所述现实参考的所述视图移动所述虚拟参考；以及处理器，其用于确定在所述光学显示器中看到的现实场景中渲染虚拟对象的一个或多个参数。
8.如权利要求7所述的用于校准现实和虚拟视图的系统，还包括捕捉所述现实参考的所述视图的照相机，其中在所述光学显示器中显示所述现实参考，所述虚拟参考被叠加在所述现实参考上。
9.如权利要求8所述的用于校准现实和虚拟视图的系统，还包括跟踪照相机，其具有相对于所述现实参考发生器的固定位置，用于捕捉所述校准屏幕的视图；以及处理器，其中光学标记配置被固定于所述校准屏幕，并被所述跟踪照相机跟踪，其中所述处理器根据所述跟踪照相机捕捉的所述视图中所述光学标记配置的位置来确定所述校准屏幕和头盔显示器之间的位置关系，所述头盔显示器包括所述现实参考发生器和光学显示器。
10.如权利要求7所述的用于校准现实和虚拟视图的系统，还包括连接到所述现实参考发生器、用于捕捉所述校准屏幕的视图的跟踪照相机。
11.如权利要求10所述的用于校准现实和虚拟视图的系统，还包括处理器，其中光学标记配置被固定于所述校准屏幕，并被所述跟踪照相机跟踪，其中所述处理器根据所述跟踪照相机捕捉的所述视图中所述光学标记配置的位置来确定所述校准屏幕和头盔显示器之间的位置关系，所述头盔显示器包括所述现实参考发生器和光学显示器。
12.如权利要求7所述的用于校准现实和虚拟视图的系统，还包括至少一台跟踪照相机，用于捕捉所述校准屏幕的视图；以及头盔显示器，其包括所述现实参考发生器和光学显示器。
13.如权利要求12所述的用于校准现实和虚拟视图的系统，还包括处理器，其中光学标记配置被固定于所述校准屏幕和所述头盔显示器中的每一个，并被所述跟踪照相机跟踪，其中所述处理器根据所述至少一台跟踪照相机捕捉的所述视图中各个光学标记配置的位置来确定所述校准屏幕和所述头盔显示器之间的位置关系。
14.一种用于校准现实和虚拟视图的方法，包括跟踪校准屏幕，其中现实参考发生器产生的现实参考被投影在所述校准屏幕上；使虚拟参考对准显示器中所述现实参考的视图，其中所述现实参考发生器和所述显示器具有固定的相对位置；确定所述虚拟参考和所述现实参考之间的点对应；以及确定用于在所述现实场景中渲染虚拟对象的一个或多个参数。
15.如权利要求14所述的用于校准现实和虚拟视图的方法，还包括在光学透明显示器上显示所述虚拟参考，通过所述光学透明显示器，所述现实参考是可见的。
16.如权利要求14所述的用于校准现实和虚拟视图的方法，还包括捕捉包括所述现实参考的现实场景的视图；以及显示用所述虚拟参考增强的所述现实场景的所述视图。
全文摘要
一种用于校准真实和虚拟视图的方法，包括跟踪校准屏幕，其中现实参考点发生器产生的现实参考点被投影在校准屏幕上；使虚拟参考点的视图对准显示器中现实参考点的视图，其中现实参考点发生器和显示器具有固定的相对位置；确定虚拟参考点和现实参考点之间的点对应；以及确定用于在现实场景中渲染虚拟对象的一个或多个参数。
文档编号G02B27/01GK1802586SQ200480016102
公开日2006年7月12日 申请日期2004年6月9日 优先权日2003年6月12日
发明者F·索尔, Y·根克, N·纳瓦布 申请人:西门子共同研究公司