共享的和私有的全息物体的制作方法
【专利说明】共享的和私有的全息物体
[0001]Μ?
[0002] 混合现实是一种允许将全息或虚拟图像与现实世界物理环境相混合的技术。用户 可佩戴透视、头戴式、混合现实显示设备来观看用户的视野中所显示的现实物体和虚拟物 体的混合图像。用户可例如通过执行手、头、或语音姿势来进一步与虚拟物体进行交互，以 移动物体、更改它们的外观或简单地查看它们。在存在多个用户的情况下，每个用户可从他 们自己的视角观察场景中的一虚拟物体。然而，在虚拟物体是以某种方式交互性的情况下， 同时交互的多个用户可能使得系统难以使用。
[0003]概沭
[0004] 本技术的实施例涉及一种用于与虚拟物体（本文中也称为全息成像）进行多用户 交互的系统和方法。一种用于创建混合现实环境的系统一般包括由每个用户佩戴且耦合至 一个或多个处理单元的透视、头戴式显示设备。处理单元与（一个或多个）头戴式显示单 元合作能够显示可由每个用户从他们自己的视角查看的虚拟物体。处理单元与（一个或多 个）头戴式显示单元合作还能够检测经一个或多个用户执行的手势而与虚拟物体进行的 用户交互。
[0005] 根据本技术的各方面，某些虚拟物体可被指定为共享的，使得多个用户可查看那 些共享虚拟物体，且多个用户可在与共享虚拟物体交互方面一起协作。其他虚拟物体可被 指定为特定用户私有的。私有虚拟物体可对单个用户是可见的。在一些实施例中，可出于 各种各样的目的来提供私有虚拟物体，但是各个用户的私有虚拟物体可促进用户与一个或 多个共享虚拟物体的协作交互。
[0006] 在一示例中，本技术涉及一种用于呈现混合现实体验的系统，所述系统包括：包括 用于显示包括共享虚拟物体和私有虚拟物体的虚拟物体的显示单元的第一显示设备；以及 操作上耦合于所述第一显示设备和一第二显示设备的计算系统，所述计算系统生成所述共 享虚拟物体和所述私有虚拟物体以供在所述第一显示设备上显示，并且所述计算系统生成 所述共享虚拟物体但非所述私有虚拟物体以供在第二显示设备上显示。
[0007] 在另一示例中，本技术涉及一种用于呈现混合现实体验的系统，所述系统包括：包 括用于显示虚拟物体的显示单元的第一显示设备；包括用于显示虚拟物体的显示单元的第 二显示设备；以及操作上耦合于所述第一显示设备和所述第二显示设备的计算系统，所述 计算系统从定义一共享虚拟物体的状态数据生成所述共享虚拟物体以供在所述第一显示 设备和所述第二显示设备上显示，所述计算系统进一步生成第一私有虚拟物体以供在所述 第一显示设备上而非在所述第二显示设备上显示，以及生成第二私有虚拟物体以供在所述 第二显示设备上而非在所述第一显示设备上显示，所述计算系统接收改变所述第一显示设 备和所述第二显示设备两者上的所述共享虚拟物体的状态数据以及显示的交互。
[0008] 在另一示例中，本技术涉及一种用于呈现混合现实体验的方法，所述方法包括： (a)向第一显示设备和第二显示设备显示共享虚拟物体，所述共享虚拟物体由对所述第一 显示设备和所述第二显示设备相同的状态数据定义；(b)向所述第一显示设备显示第一私 有虚拟物体；（c)向所述第二显示设备显示第二私有虚拟物体；(d)接收与所述第一私有虚 拟物体和所述第二私有虚拟物体之一的交互；以及（e)基于在所述步骤（d)中接收到的与 所述第一私有虚拟物体和所述第二私有虚拟物体之一的交互来影响所述共享虚拟物体中 的变化。
[0009] 提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该 概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要 求保护的主题的范围。
[0010] 附图简沐
[0011] 图1是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组 件的图示。
[0012] 图2是头戴式显示单元的一个实施例的立体图。
[0013] 图3是头戴式显示单元的一个实施例的一部分的侧视图。
[0014] 图4是头戴式显示单元的组件的一个实施例的框图。
[0015] 图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
[0016] 图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
[0017]图7是可被用于实现本文所述的中枢计算系统的计算系统的一个实施例的框图。
[0018] 图8-13是包括共享虚拟物体和私有虚拟物体的混合现实环境的示例的图示。
[0019] 图14是示出了本系统的中枢计算系统、一个或多个处理单元和一个或多个头戴 式显示单元的操作和协作的流程图。
[0020] 图15-17是图14的流程图中所示的各步骤的示例的更详细的流程图。
[0021] 详细描沐
[0022] 现在将参考图1-17描述本技术的实施例，这些实施例一般涉及包括协作的共享 虚拟物体和私有虚拟物体的混合现实环境，所述私有虚拟物体可被交互来促进共享虚拟物 体上的协作。用于实现混合现实环境的系统可包括与中枢计算系统通信的移动显示设备。 移动显示设备可包括耦合到头戴式显示设备（或其他合适的装置）的移动处理单元。
[0023] 头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透 过该显示元件看到该用户的视野（F0V)内的现实世界物体。该显示元件还提供将虚拟图像 投影到该用户的F0V中以使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统 自动地跟踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的F0V中的何处。 一旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。
[0024] 在实施例中，中枢计算系统和一个或多个处理单元可以协作以构建包括房间或其 他环境中的所有用户、现实世界物体和虚拟三维物体的X、y、z笛卡尔位置的环境的模型。 由该环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的所述模型并 且被彼此校准。这允许该系统确定每个用户的视线以及该环境的F0V。从而，可向每个用户 显示虚拟图像，但是该系统从每个用户的视角确定该虚拟图像的显示，从而针对来自或由 于该环境中的其他物体的任何视差以及遮挡来调整该虚拟图像。该环境的所述模型（在本 文中被称为场景图）以及对用户的F0V以及该环境中的物体的跟踪可由协力或独立工作的 中枢和移动处理单元来生成。
[0025] 如下文所阐述的，一个或多个用户可选择与出现在用户的F0V内的共享的或私有 的虚拟物体交互。如本文所使用的，术语"交互"涵盖用户与虚拟物体的身体交互和语言交 互两者。身体交互包括用户使用他的或她的手指、手、头和/或（一个或多个）其他身体部 位执行由混合现实系统识别为对该系统执行预定义动作的用户请求的预定义姿势。这样的 预定义姿势可包括但不限于指向、抓握、以及推动虚拟物体。这样的预定义姿势可进一步包 括与诸如虚拟遥控器或键盘之类的虚拟控制物体的交互。
[0026] 用户还可以用他的或她的眼睛来与虚拟物体进行身体上的交互。在一些实例中， 眼睛注视数据标识用户正关注于F0V中的何处，并且因而可以标识用户正在看某一特定虚 拟物体。持续的眼睛注视，或者一次眨眼或眨眼序列，因而可以是用户借助来选择一个或多 个虚拟物体的身体交互。
[0027] 如本文所使用的，用户简单地看向虚拟物体（诸如查看共享虚拟物体中的内容） 是用户与虚拟物体的身体交互的另一示例。
[0028] 用户可替代地或附加地使用语言姿势来与虚拟物体交互，所述语言姿势诸如举例 来说被该混合现实系统识别为对该系统执行预定义动作的用户请求的说出的单词或短语。 语言姿势可连同身体姿势一起被使用以与混合现实环境中的一个或多个虚拟物体交互。
[0029] 当用户在混合现实环境内四处移动时，虚拟物体可保持为世界锁定的或身体锁定 的。世界锁定的虚拟物体是在笛卡尔空间中保持在固定位置中的那些物体。用户可移动至 更靠近、远离这样的世界锁定的虚拟物体附近或在它们周围移动，并从不同的视角来查看 它们。在一些实施例中，共享虚拟物体可以是世界锁定的。
[0030] 另一方面，身体锁定的虚拟物体是随特定用户移动的那些物体。作为一个示例，身 体锁定的虚拟物体可保持在相对于用户的头部的固定位置中。在一些实施例中，私有虚拟 物体可以是身体锁定的。在另外的示例中，诸如私有虚拟物体之类的虚拟物体可以是混合 世界锁定的/身体锁定的虚拟物体。这样的混合虚拟物体例如被描述于2013年6月18日 提交的题为"HybridWorld/BodyLockedHUDonanHMD"（HMD上的混合世界/身体锁定 的HUD)的美国专利申请号13/921，116中。
[0031] 图1例示出用于通过将虚拟物体21与用户的F0V内的现实内容相融合来提供混 合现实体验的系统10。图1示出多个用户18&、1813、18(3，各自佩戴头戴式显示设备2用于 从自己的视角查看诸如虚拟物体21之类的虚拟物体。在又一些示例中，可以存在比三个更 多或更少的用户。如在图2和3中看到的，头戴式显示设备2可包括集成处理单元4。在其 他实施例中，处理单元4可以与头戴式显示设备2分开，且可经由有线或无线通信来与头戴 式显示设备2通信。
[0032] 在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户 可以透过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语"实 际直接视图"来指代直接用人眼看见现实世界物体的能力，而不是看见物体的被创建的图 像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房 间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
[0033] 处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些 实施例中，处理单元4与一个或多个中枢计算系统12无线地（例如，WiFi、蓝牙、红外、或其 他无线通信手段）通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供， 使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步实 施例中，中枢计算系统12可被省略以使用头戴式显示设备2和处理单元4来提供移动混合 现实体验。
[0034]中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中 枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸 如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可包括诸如 标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理 器可读存储设备上的指令来执行本文所述的过程。
[0035] 中枢计算系统12进一步包括捕捉设备20,该捕捉设备20用于从其F0V内的场景 的一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，这一环 境在捕捉设备20的F0V内和/或每一头戴式显示设备2的F0V内被捕捉。图1示出了单 个捕捉设备20,但是在进一步的实施例中可以存在多个捕捉设备，这些捕捉设备彼此协作 以从所述多个捕捉设备20的合成F0V内的场景中集体地捕捉图像数据。捕捉设备20可包 括一个或多个相机，相机在视觉上监视用户18和周围空间，使得可以捕捉、分析并跟踪该 用户所执行的姿势和/或移动以及周围空间的结构，以在应用内执行一个或多个控制或动 作和/或使化身或屏上人物动画化。
[0036] 中枢计算系统12可被连接到诸如电视机、监视器、高清电视机（HDTV)等可提供游 戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例 中，视听设备16和中枢计算系统12可被连接到外部扬声器22。
[0037] 中枢计算系统12与头戴式显示设备2和处理单元4一起可以提供混合现实体验， 其中一个或多个虚拟图像（如图1中的虚拟物体21)可与场景中的现实世界物体混合在一 起。图1例示出作为出现在用户的F0V内的现实世界物体的植物23或用户的手23的示例。
[0038] 图2和3示出了头戴式显示设备2的立体图和侧视图。图3示出了头戴式显示设 备2的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒 110用于记录声音以及将音频数据传送给处理单元4,如下所述。在头戴式显示设备2的前 方是朝向房间的视频相机112,该视频相机112可以捕捉视频和静止图像。那些图像被传送 至处理单元4,如下所述。
[0039] 头戴式显示设备2的镜架的一部分将围绕显示器（显示器包括一个或多个透镜）。 为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光 学元件115、不透明滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明滤 光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明滤光器114之 后并与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和 118是眼镜中使用的标准透镜，并且可根据任何验光单（包括无验光单）来制作。光导光 学元件115将人造光引导到眼睛。不透明滤光器114以及光导光学元件115的