控制虚拟现实显示单元的方法和装置与流程

本发明描述了控制虚拟现实显示单元的方法和装置，以及特别是用于医疗环境中的虚拟现实显示单元。

背景技术：

虚拟现实(或简称“vr”)是一种通过虚拟现实显示单元向用户示出模拟环境的技术。用户可以通过他的动作改变模拟环境。除了视觉反馈以外，大多数虚拟现实显示单元还允许听觉反馈或甚至触觉反馈。当前的虚拟现实显示单元通常是虚拟现实头戴式耳机或多投影环境，其中，头戴式耳机在下面是优选的。

虽然vr提供(通常几乎完美的)模拟环境，但是周围的“现实世界”对于用户是不可见的(与不是进一步描述的部分的增强现实不同)。因此，在处于虚拟现实中时，不可能看到、选择或修改代表现实房间中的物理对象的现实世界对象(例如，特征或位置)。因此，当处于vr中时，与现实世界房间进行交互非常困难。除了修改现实世界对象之外，难以在处于vr中时与例如键盘交互或者防止处于vr中的人行走撞到现实世界对象。

目前，存在不同的解决方案。一个示例性解决方案使用被附接至键盘的追踪器以在处于虚拟现实中时看见键盘。另一示例性解决方案提供了改变例如虚拟风景的纹理的可能性，但是不可能将现实世界对象包括到场景中并修改它们。

因此，本发明的目的是提供克服上述问题的虚拟现实显示单元以及控制虚拟现实显示单元的改进的方法和装置。

技术实现要素：

该目的通过根据本发明的方法、装置、虚拟现实显示单元、计算机程序产品以及计算机可读介质来实现。

根据本发明的控制虚拟现实显示单元的方法包括以下步骤：

-追踪虚拟现实显示单元周围的空间的环境。环境是位于被追踪空间中的各种现实世界对象。空间通常可以是虚拟现实显示单元周围的任何空间。典型地，空间是由墙壁(其也可以被识别为现实世界对象)限定的特定房间，其中，房间优选地用于医疗用途。通常，环境的追踪对于本领域技术人员是公知的，下面更准确地描述该追踪的优选实施方式。

-通过形成虚拟对象并向虚拟对象提供单独的识别标签，来自动识别并分离被追踪的环境的现实世界对象。在此，现实世界对象被识别为对象，并且利用对应的现实世界对象的属性(至少关于位置和几何结构)来创建虚拟对象。然后，虚拟对象由单独的识别标签来标记。在实践中如何实现这一点是本领域技术人员公知的。例如，可以通过检测图像中的结构的边缘并将它们与预定义的模板集合(对象的示例)进行比较来识别现实世界对象。然后，图像或模板中的识别结构(像素)可以用作虚拟对象，并且用单独的数字或名称来标记。

-将虚拟对象连同它们各自的识别标签一起分类到对象库中。特别地，虚拟对象从场景中被剪切(优选的但不是必需的)并且接收id例如整数、地址或名称。尽管优选地，每个虚拟对象都被标记，但是这对于所有可能的应用不是必需的。

-通过将单独的相关性标记与每个虚拟对象进行链接来标记多个虚拟对象。这可以由虚拟现实显示单元的用户来实现和/或自动地实现。例如，具有用于相关的“1”和用于不相关的“0”的二进制标记可以应用至虚拟对象。优选地，每个虚拟对象都被标记，然而，这对于所有可能的应用不是必需的。

-由虚拟现实显示单元根据对象库的虚拟对象的相关性标记来显示对象库的虚拟对象。虚拟对象被示出在现实世界对象的位置处。为了实现这一点，优选地将虚拟对象与所追踪的现实世界对象进行配准。由于追踪，现实世界对象的位置和几何尺寸是公知的。由于配准，虚拟对象将具有与现实世界对象相同的几何尺寸、相同的位置(和相同的定向)。因此，它们将被恰好地显示在将看到现实世界对象的地方。对象库中的虚拟对象的相关性可以基于相关性标记来确定或者直接从相关性标记得到(例如，参见具有二进制相关性标记的以上示例)。

应当注意，周围的“现实世界”对用户是不可见的。因此，显示步骤不意味着以增强现实的方式的显示，而是虚拟现实的显示。因此，通过虚拟现实显示单元不可能看到现实房间中的现实世界对象，而仅看到显示的虚拟对象。

优选地，为了保持虚拟对象的准确定位，至少在移动虚拟现实显示装置的情况下，重复上述追踪步骤以及所显示的虚拟对象与现实世界对象的配准。这在下面将更准确地描述。

根据本发明的控制虚拟现实显示单元的装置包括以下部件：

-追踪单元，其被设计成追踪虚拟现实显示单元周围的空间的环境。这种追踪单元在本领域中是公知的，并且通常被布置在虚拟现实装置上或该装置的用户上。通常，通过使用红外光来实现追踪。

-识别单元，其被设计成通过形成虚拟对象并向虚拟对象提供单独的识别标签来自动地识别并分离所追踪的环境的现实世界对象。

-分类单元，其被设计成将虚拟对象连同它们各自的识别标签一起分类到对象库中。

-标记单元，其被设计成通过将单独的相关性标记与每个虚拟对象进行链接来由虚拟现实显示单元的用户标记和/或自动地标记多个虚拟对象。

-数据接口，其被设计成与虚拟现实显示单元通信，使得由虚拟现实显示单元根据对象库的虚拟对象的相关性标记来显示对象库的虚拟对象。

根据本发明的虚拟现实显示单元包括根据本发明的装置，其中，该装置的部件优选地被布置在虚拟现实显示单元的壳体中。

根据本发明的医疗装置例如医疗测量装置和/或医疗成像装置(例如磁共振成像系统或x射线计算机断层成像系统)包括根据本发明的装置和被设计成与虚拟现实显示单元连接的数据接口。

本发明具有这样的优点：现实世界的相关对象可以在虚拟现实中显示，其中，与这些对象的交互是可能的。另一个优点是，在虚拟现实显示单元的显示中可以省略不相关的对象，或者可以(例如，利用均匀的纹理来防止撞击到现实世界对象中)改变它们的视觉特性。这特别地增强了医院中训练的记录。本发明特别设计用于医疗用途。

上述装置的单元或模块可以完全或部分地实现为在计算单元的处理器上运行的软件模块。主要以软件模块形式的实现可以具有这样的优点：可以以相对小的努力来更新已经安装在现有系统上的应用，以安装和运行本申请的方法。本发明的目的还通过具有计算机程序的计算机程序产品来实现，该计算机程序可直接加载到计算单元的存储器中，并且包括程序单元，以在控制单元执行程序时执行本发明方法的步骤。除了计算机程序之外，这样的计算机程序产品还可以包括另外的部分，诸如文档和/或附加部件，还有诸如硬件密钥(软件狗等)的硬件部件，以便于访问软件。计算机可读介质例如记忆棒、硬盘或其它可运输或永久安装的载体可以用于运输和/或存储计算机程序产品的可执行部分，使得这些部分可以从计算单元的处理器单元读取。处理器单元可以包括一个或更多个微处理器或其等同物。

如在下面的描述中所揭示的，本发明的特别有利的实施方式和特征由从属权利要求给出。不同权利要求类别的特征可以适当地组合以给出本文未描述的另外的实施方式。

根据优选的方法，为了追踪虚拟现实显示单元的周围的空间的环境，执行利用光模式的默认覆盖网格的扫描。这具有以下优点：由于光网格的坐标数据，可以非常准确地扫描现实世界对象的位置和几何形状。优选地，在空间的环境上投影红外网格，因为红外可以被有利地检测到并且对于人类是不可见的。进一步优选地，在虚拟现实显示单元中利用默认覆盖网格来示出存在于空间中(形成环境)的现实世界对象。

优选的方法包括以下步骤：

-检查被追踪的空间或要被追踪的空间的环境之前是否已经被追踪，并且如果是肯定的，

–则搜索该空间的虚拟对象的现有对象库，并且在搜索是肯定的情况下使用这些虚拟对象。

这具有的优点是，在空间之前已经被扫描的情况下，例如房间中的大多数家具和其他对象通常不移动的操作室，可以使用环境的对象的存储数据。因此，不必执行复杂的计算来识别该环境中的对象。可以简单地使用先前扫描的结果。该方法可以例如通过使用具有单独的标识的wlan接入点来检查所扫描的空间(被追踪的环境的所处位置)的位置数据，并且使用该检查来根据所扫描的空间确定是否存在已经存储的虚拟对象。可替选地，可以发生追踪步骤，并且在该追踪之后，可以进行短的评估：被追踪环境的整体形状是否与之前追踪的已知形状相匹配。

根据优选方法，在现有对象库的搜索是肯定的并且现实世界对象已经在对象库的虚拟对象的位置处被追踪到并且被识别为该虚拟对象的情况下，搜索该虚拟对象的存储的相关性标记，并且自动地为对象库的虚拟对象分配该相关性标记。这具有的优点是，在已经“已知”的房间中，虚拟对象的先前标记可以用作首选项。因此，在医生经常在操作室中工作的情况下，不必每次都标记虚拟对象，而是简单地使用上次的设置。

也可以将这种优选方法应用于虚拟对象的组。在追踪特定形状的虚拟对象(例如，桌子)的任何时候，它都被自动分配给应用于同一组虚拟对象(例如，所有被追踪的桌子)的相关性标记。例如，每次追踪预定义的虚拟对象(例如，桌子)时，它都会获得为此类虚拟对象保留的预定义的相关性标记。

因此，对象库可以用于将现实世界对象与对象库的类似虚拟对象链接，以便赶上(overtake)它们的特性。优点在于，可以实现将现实世界对象与虚拟资产匹配(例如，在混合仿真中)。

根据优选的方法，至少再一次追踪虚拟现实显示单元周围的空间的环境。

在这种情况下，优选地，以虚拟现实显示单元在空间中的不同位置和/或以虚拟现实显示单元的不同视角来执行追踪。这具有的优点是，可以更准确地追踪环境，其中尤其是防止了阴影以及/或者可以进行三角测量(triangulation)。

作为优选的替代或补充，执行追踪以检查对象库的虚拟对象的几何结构是否与相应的现实世界对象的几何结构匹配。这也提高了对象库的质量。

可替代地或附加地，追踪优选地用于在形成虚拟对象并且向新识别的虚拟对象提供单独的识别标签时自动地识别并分离被追踪环境的另外的现实世界对象。这在基于先前追踪使用所存储的虚拟对象的情况下是特别有利的。由于第二次追踪，可以确定是否已经移动、添加或移除了一些现实世界对象。

根据优选的方法，虚拟对象的标记由虚拟现实显示单元的用户执行(例如，除了自动标记之外)。要被标记的虚拟对象被示出为对象库的项目以及/或者由虚拟现实显示单元显示(作为对象)。在显示虚拟对象时，它们优选地被显示在与相应的现实世界对象在环境中的位置相对应的位置中，以及/或者优选地被显示为现实世界对象的图片或人工对象的图片。特别是在存在人工对象的图片的情况下，通过使用该图片显示类似的虚拟对象。在没有找到这种图片的情况下，为虚拟对象显示摄影(现实世界对象的图片)。

根据优选的方法，对象库的虚拟对象由虚拟现实显示单元示出以用于标记，以及/或者在标记之前不由虚拟现实显示单元示出并且独立于虚拟现实显示单元的显示而被标记。对于这种优选的方法，特别优选地，用户可以在这两种标记可能性之间切换。因此，代替示出所有对象并随后选择感兴趣的对象，还可以以相反的方式完成，首先选择感兴趣的对象，然后在vr中示出它们。还可以示出(虚拟)对象的列表并选择列表中之一。

根据优选的方法，通过眼睛追踪(例如聚焦)、触摸(例如冲击/延迟或手追踪)、利用输入装置、利用手势(例如手追踪)或利用口头命令来执行标记。

根据优选方法，利用比二进制标记更复杂的相关性标记来标记虚拟对象，即，该相关性标记可以具有多于两个的可能状态。这可以是数字、单词或若干(二进制、数字或文字)相关性标记。优选地，相关性标记被设计成使得虚拟对象的相关性可以直接从该相关性标记中得到。另外优选地，对象库的虚拟对象由虚拟现实显示单元根据它们的相关性(例如，直接根据它们的相关性标记)以不同的形状示出或者根本不示出。例如，如果相关性标记是零，则虚拟对象根本不被示出，并且相关性标记的数值越高，则在显示虚拟对象时示出的细节越多。

特别优选地，如果虚拟对象的相关性在预定义值以下，则不示出该虚拟对象，以及/或者如果虚拟对象的相关性在第一值范围之间，则以预定义纹理(尤其是相关性越高，具有越多的细节)示出该虚拟对象，以及/或者如果虚拟对象的相关性在第二值范围之间，则将该虚拟对象示出为现实对象的图像或视频。该图像或视频优选地与现实世界对象配准。应当注意，“相关性”可以是从对应的相关性标记得到的值或者对应的相关性标记本身的值。

这具有的优点是，在选择对象之后，可以限定虚拟对象的物理/逻辑行为(特性)。在对象不相关的情况下，可以抑制它们。如果重点只是看到对象(例如不会行走撞到它们)，则任意纹理就足够了。在对象很重要(例如，用于记录)的情况下，可以应用视频流选项来看见现实世界对象和例如该现实世界对象的屏幕上的测量值。

根据优选的方法，取决于虚拟对象的相关性，虚拟对象被示出为现实对象的实时视频流，其中该视频流优选地与现实世界对象配准。表述“配准”意味着视频流(或以上图像)中的现实世界对象的图片的位置和几何形状与现实世界对象的位置和几何形状匹配。由于在vr中将在与现实世界对象相同的位置处看到虚拟对象，因此在vr中，如从虚拟现实显示单元的位置看到的，现实世界对象将似乎处于正确的位置。

根据优选的方法，虚拟现实显示单元将附加的虚拟对象与对应于现实世界对象的虚拟对象一起示出，其中，附加的虚拟对象不属于空间的环境。

附图说明

本发明的其它目的和特征将从以下结合附图考虑的详细描述中变得明显。然而，应当理解，附图仅仅是为了说明的目的而设计，而不是作为本发明的限制的定义。

图1示出了根据本发明的方法的示例的框图，

图2概述了根据本发明的优选装置，

图3示出了阐明根据本发明的方法的场景，

图4示出了阐明根据本发明的方法的另一场景，

图5示出了阐明根据本发明的方法的另一场景，

图6示出了阐明根据本发明的方法的另一场景。

在图中，相似的附图标记始终表示相似的对象。图中的对象不一定按比例绘制。

具体实施方式

图1示出了根据本发明的控制虚拟现实显示单元4(见图2)的方法的示例的框图。方法的步骤用方框示出。

在步骤i中，追踪虚拟现实显示单元4周围的空间的环境e(例如，见图3)。

在步骤ii中，在形成虚拟对象v时，被追踪的环境e的现实世界对象2被自动地识别并分离。这些虚拟对象v被提供有单独的识别标签l。

在步骤iii中，虚拟对象v与它们各自的识别标签l一起被分类到对象库ol中。

在步骤iv中，通过将单独的相关性标记r与每个虚拟对象v链接来标记多个虚拟对象v。这可以由虚拟现实显示单元4的用户来实现和/或自动地实现。

在步骤v中，虚拟现实显示单元4根据对象库ol的虚拟对象v的相关性标记r来示出对象库ol的虚拟对象v。

图2概述了控制虚拟现实显示单元4的优选装置1。在该图中，虚拟现实显示单元4经由无线数据连接c与装置1连接。装置包括以下部件：

-追踪单元6，其被设计成追踪虚拟现实显示单元4周围的空间的环境e。对于图2中未示出的所有附图标记，参见显示过程序列的图3至图6。

-识别单元7，其被设计成在形成虚拟对象v、v1、v2、v3、v4、v5、v6、v7并且向虚拟对象v、v1、v2、v3、v4、v5、v6、v7提供单独的识别标签l、l1、l2、l3、l4、l5时自动地识别并分离被追踪的环境e的现实世界对象2、2a、2b、2c、2d、2e。

-分类单元8，其被设计成将虚拟对象v、v1、v2、v3、v4、v5、v6、v7连同它们各自的识别标签l、l1、l2、l3、l4、l5一起分类到对象库ol中。

-标记单元9，其被设计成通过将单独的相关性标记r与每个虚拟对象v、v1、v2、v3、v4、v5、v6、v7进行链接来由虚拟现实显示单元4的用户标记和/或自动地标记多个虚拟对象v、v1、v2、v3、v4、v5、v6、v7。

-数据接口5，在此是无线数据接口，其被设计成与虚拟现实显示单元4通信，使得由虚拟现实显示单元4根据对象库ol的虚拟对象v、v1、v2、v3、v4、v5、v6、v7的相关性标记r来示出对象库ol的虚拟对象v、v1、v2、v3、v4、v5、v6、v7。

图3至图6示出了阐明根据本发明的方法的过程的场景。

在图3中，示出了可以在虚拟现实显示单元4(见例如图2)的视野3(fov)中看到的可能环境e。在房间中立着不同的现实世界对象2a、2b、2c、2d、2e。一个“对象”是站在桌子2d后面的人2a。在图片的右侧是在其屏幕上示出测量值的医疗设备2e。在图片的左侧，有另一个桌子2b，其上立着盒子2c。

在图4中，通过在环境e上覆盖由红外光形成的网格g来追踪图3中所示的环境e。在追踪过程中，识别所追踪的环境e的现实世界对象2、2a、2b、2c、2d、2e，并且形成虚拟对象v1、v2、v3、v4、v5(见图5)。

与示出现实世界的图3和图4相比，图5和图6示出了虚拟环境ve。因此，这是虚拟现实显示单元的用户将看到的场景。

在图5中，以透明方式(虚线)示出了所识别的虚拟对象v1、v2、v3、v4、v5以及标签l1、l2、l3、l4、l5。为了标记多个虚拟对象v1、v2、v3、v4、v5，虚拟现实显示装置的用户用他的手h指向虚拟环境中示出的多个虚拟对象v1、v2、v3、v4、v5。

在图6中，虚拟对象v1、v2、v3、v4、v5被用户标记为相关、非常相关或完全不相关。因此，从左到右，示出了左虚拟桌子v2(但不是非常详细)，以便用户在移动通过房间时不会跑到左虚拟桌子v2在现实世界中的对应方。由于桌子上的虚拟盒子v3是不感兴趣的，因此从虚拟环境中省略了它(在此，虚点线表示未示出对象)。中间的虚拟桌子v4与人2a的虚拟化身v1一起显示。在该示例中，另一化身v6站在虚拟桌子v4处，并且附加地在虚拟桌子v4上布置虚拟盒子v7。

在右侧，医疗设备2e的实时视频被示出为虚拟医疗设备v5，以便用户可以在虚拟环境ve中读取测量值(来自现实世界)。

尽管已经以优选实施方式及其变型的形式公开了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以对其进行许多附加的修改和变型。为了清楚起见，应当理解，贯穿本申请使用“一”或“一个”不排除多个，并且“包括”不排除其他步骤或元素。提及“单元”或“装置”并不排除使用多于一个单元或模块。