虚拟对象朝向和可视化的制作方法
【专利说明】虚拟对象朝向和可视化
[000。 背景
[0002] 移动设备的一种当前用途是允许对真实环境的"虚拟视角"。当前，可W在移动设 备上使用的一些应用使用来自设备的相机输入和GPS坐标来在真实世界中的项目（通常是 建筑物)上呈现二维图像。运些对象通常在任何位置可见并且在外观上通常是Ξ维的，但呈 现在移动设备的平板显示器上。
[0003] 混合现实是一种允许将虚拟对象与现实世界物理环境相混合的技术。用户可佩戴 透视、头戴式显示化MD)设备来观看用户的视野中所显示的现实物体和虚拟物体的混合图 像。
[0004] 概述
[0005] 呈现了允许创建视角锁定虚拟对象的技术。虚拟对象可由另一用户在与创建该虚 拟对象的位置、姿态和朝向相同或接近的位置、姿态和朝向用消费设备消费（查看、收听或 交互）。对象可具有由其创建者定义的一个、几个或许多可允许消费位置、姿态和朝向。
[0006] 在一方面，提供了可创建和/或消费共享的视角锁定虚拟对象的装置。确定装置姿 态、朝向和位置。在消费共享的角度锁定虚拟对象时，接收包括呈现位置数据的共享的虚拟 对象。如果消费设备的视野处在被确定为匹配可允许位置和朝向的位置和朝向，则在消费 设备中显示共享的虚拟对象。
[0007] 在创建共享的视角锁定虚拟对象时，确定捕捉设备的全局坐标位置、姿态和朝向， 并且创建共享的虚拟对象呈现数据。呈现数据包括共享的虚拟对象的呈现位置数据。呈现 位置数据可W至少是全局坐标位置W及虚拟对象相对于局部坐标系的至少一个姿态和至 少一个朝向。
[0008] 提供本概述W便W简化形式介绍将在W下详细描述中进一步描述的一些概念。该 概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要 求保护的主题的范围。
[0009] 附图简述
[0010] 图1A是示出本发明技术的基本实现的方法。
[0011] 图1B-1D示出用户执行图1A的方法的各方面。
[0012] 图2是用户查看真实世界环境的透视图。
[0013] 图3A是用户在真实世界环境中使用捕捉设备的透视图。
[0014] 图3B是图2中的用户的捕捉设备上的虚拟对象(在该实例中是图像)的描绘。
[0015] 图3C是图2中的用户通过头戴式透视显示设备的视图的描绘。
[0016] 图3D示出了用户处在与虚拟标记相关联的姿态。
[0017] 图3E是头戴式透视显示设备的用户查看图3B中捕捉到的虚拟对象的描绘。
[0018] 图4A是用户通过头戴式透视显示设备查看图2中的场景的第二透视图。
[0019] 图4B是通过头戴式透视显示设备查看的世界锁定虚拟对象的视图。
[0020] 图5是头戴式显示单元的一个实施例的立体图。
[0021 ]图6是头戴式显示单元的一个实施例的一部分的侧视图。
[0022] 图7是头戴式显示单元的组件的一个实施例的框图。
[0023] 图8是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
[0024] 图9是移动或平板计算设备的一个实施例的框图。
[0025] 图10是根据本发明技术的用于实现中央服务的系统的框图。
[0026] 图11是描绘用户或第Ξ方创建内容的流程图。
[0027] 图12是示出根据本发明技术的显示用户所创建的内容的流程图。
[002引图13是示出图12中的步骤1222的流程图。
[0029] 详细描述
[0030] 呈现了允许在世界空间中创建视角锁定虚拟对象的技术。虚拟对象可由另一用户 在与创建该虚拟对象的位置、姿态和朝向相同或接近的位置、姿态和朝向用消费设备消费 (查看、收听或交互）。对象可具有由其创建者定义的一个、几个或许多可允许消费位置、姿 态和朝向。
[0031] 该技术允许用户创建并共享对象，运些对象关于创建者希望查看者如何感知到对 象而将对象消费者锁定到一个或多个视角。
[0032] 图1A是示出用于用所定义的朝向和可视化来捕捉和共享虚拟对象的本发明技术 的第一实施例。图1A将参考示出用户创建内容的图1B到图1D来描述。在步骤50,确定创建设 备的姿态、朝向和位置。如将在此描述的，可相对于全局坐标系和局部坐标系描述姿态、朝 向和位置。在步骤52,由创建设备来创建和捕捉内容。创建设备可包括可接收各种类型的音 频/可视数据W及用户提供的信息W便在虚拟对象中提供的捕捉设备。在52,可使用位置、 姿态和朝向数据来定义捕捉设备的视角。视角被用来确定共享的虚拟对象应如何被呈现给 消费者。内容创建和捕捉可包括按照捕捉对象数据的时间。
[0033] 图1B示出用户24具有捕捉真实世界对象70的创建设备，在该实例中是平板计算 机。用户24可位于全局坐标系定义的世界空间内，并且捕捉设备在世界空间内的朝向和姿 态是相对于局部坐标系75来定义的。图1C示出了捕捉设备相对于真实世界对象70的视角 80。视角具有相对于用户持有捕捉设备44的高度的高度82W及相对于局部坐标系的可由朝 向坐标描述的Ξ维姿态和朝向。在图1B-1D中的示例中，用户24正在创建真实世界对象70中 的虚拟对象90,在该实例中是二维图片。虚拟对象90在图1D中示出，并且具有与创建设备44 相关联的视角。在步骤52,用户还可W为消费设备定义一个或多个可允许消费姿态。在一方 面，只可允许消费设备的一个消费姿态。运将使得消费设备处在与捕捉设备相同的位置、姿 态和朝向。在其它示例中，可提供众多可允许消费姿态。
[0034] 虽然图1B到1D中示出的示例例示了创建图片，但可根据本发明技术来创建众多类 型的虚拟对象。运些虚拟对象包括可W在各种不同类型的计算或处理设备中呈现的二维和 Ξ维虚拟对象。
[0035] 返回到图1A，在步骤54,包括关于虚拟对象的捕捉到的信息的呈现数据与位置、姿 态和朝向相关联并且与对象定义存储在一起。在步骤56,向第二用户传送包括呈现数据的 对象定义和姿态信息。如将在W下讨论的，步骤56可包括将运些数据传送到中央服务或直 接传送到消费设备的第二用户。如也将在W下讨论的，消费设备可W类似地是包括如W下 参考图3A-3E讨论的多个各种类型的处理设备、头戴式透视显示设备中的任一个。
[0036] 在步骤58,在消费设备处从第一用户取回内容。在步骤60,确定共享的虚拟对象的 可允许消费姿态、对象和位置。在步骤62,确定消费设备的姿态、朝向和位置。在一个实施例 中，消费设备只可W在该消费设备处在与捕捉设备相同的姿态、朝向和位置时才呈现共享 的虚拟对象。在另一实施例中，消费设备可W在该消费设备处在由创建设备定义的一个或 多个可允许姿态、朝向和位置时呈现共享的虚拟对象。在第Ξ实施例中，消费设备可W在该 消费设备处在接近如由捕捉设备定义的虚拟对象的所定义的呈现位置的位置时呈现共享 的虚拟对象，消费设备的可允许位置、姿态和朝向是相对于该呈现位置来定义的。
[0037] 在步骤64,如果消费设备未被适当地定位，则可做出对消费设备的定位的调整。如 果在64设备被适当地定位，则内容可W在创建设备定义的姿态、朝向和位置呈现。
[0038] 该技术具有在大规模环境中向用户提供信息方面的适用性。图2示出了用户24查 看真实世界环境1000,各种建筑场景对该用户可见。虚拟对象可包括从用户24的视角或者 在诸如图2的建筑物1001等真实世界对象上呈现的视图、视听数据或其它类型的信息。
[0039] 图3A-3E示出了大型真实世界环境中的本发明技术的用户。在该方面，用户可创建 共享的虚拟对象并在该环境中为其它用户留下指示共享的虚拟对象存在于该环境中的何 处的标记。运可允许第二用户接近该标记并消费第一用户创建的虚拟对象。
[0040] 在一个示例中，假设在度假的用户站在地标建筑之前与该用户的家人一起拍摄特 定场景的照片。在稍后时间点，第二用户可W到达该场景，并W拍摄该照片的相同姿态和朝 向查看该用户的家人在该地标前的虚拟对象照片。
[0041] 图3A示出了具有创建设备44的用户24使用该设备来从真实世界对象(在该实例中 是建筑物1004)创建虚拟对象。如图3A所示，用户具有相对于建筑物1004的视角1003。如W 上在图1A到1D中的示例中，用户视角1003可被参考到全局坐标1005和局部坐标系1006定义 的世界位置。捕捉设备的视野在1007示出。
[0042] 处于视角1003的用户的捕捉设备44的视野在图3B中示出。在图3B中，已经创建包 括建筑物1004的图片的虚拟对象1020a。应理解，局部坐标系1006可使用一个或多个姿态关 系来与全局坐标系相关，W允许局部坐标系相对于全局坐标系所定义的位置的朝向。
[0043] 图3C示出了图2的环境1000中的佩戴头戴式透视显示设备的用户24的透视图。如 将在下文描述的，头戴式透视显示设备是允许用户查看环境中所呈现的虚拟对象的混合现 实设备。在图3C中，与虚拟对象定义1020相关联的标记1010对头戴式透视显示设备2的佩戴 者显现。应理解，图3C所示的对象定义1020且在下文中引用的那些对象定义对用户不可见， 除非作为虚拟对象W呈现形式可见。根据本发明技术，当用户将他们自己定位在与标记 1010相关联的位置时，用户可查看或消费用户24创建的虚拟对象。
[0044] 图3D示出用户24A处于与标记1010相关联的姿态。用户24A正佩戴头戴式透视显示 设备2并将他自己定位在相对于图3A中的用户24的创建设备的相同的位置、朝向和姿态。对 象定义1020包括呈现信息W及定义对于头戴式透视设备2可允许的呈现位置的全局坐标系 和局部坐标系。
[0045] 如图3e所示，头戴式透视显示器将呈现虚拟对象