虚拟现实环境中的视图位置处的观众管理的制作方法

虚拟现实环境中的视图位置处的观众管理
1.本分案申请是申请日为2017年5月18日、申请号为201780043596.5、发明名称为“虚拟现实环境中的视图位置处的观众管理”的分案申请。
1.发明领域
2.本公开涉及在头戴式显示器(hmd)中呈现的虚拟现实(vr)环境内容，以及用于管理从共同观看位置进行观看的hmd观众同时还在给定的观众视图中实现对其他观众的渲染的方法和系统。


背景技术：

3.2.现有技术说明
4.视频游戏产业多年以来经历了很多改变。随着计算机能力的不断扩大，视频游戏的开发者同样也制作了充分利用计算机能力的这些增强的游戏软件。为此，视频游戏开发者一直以来都在编码并入了复杂操作和数学运算的游戏以产生非常细致和吸引人的游戏体验。
5.示例性游戏平台包括sonysony(ps2)、sony(ps3)和sony(ps4)，其中的每一者都以游戏控制台的形式出售。众所周知，游戏控制台被设计成连接到显示器(典型地是电视机)，并且通过手持式控制器实现用户互动。游戏控制台被设计成具有专门处理硬件和其他胶合硬件、固件和软件，所述专门处理硬件包括cpu、用于处理集中图形操作的图形合成器、用于执行几何变换的向量单元。游戏控制台还可被设计成具有用于接收游戏盘的光盘读取器，以通过游戏控制台在本地玩游戏。也可以是在线游戏，其中用户可以通过互联网与其他用户以互动方式比赛或一起玩游戏。由于游戏的复杂性不断激起玩家的兴趣，游戏和硬件制造商不断进行创新以启用额外的互动性和计算机程序。
6.计算机游戏行业的发展趋势是开发提高用户与游戏系统之间的互动性的游戏。实现更丰富的互动式体验的一个方法是使用无线游戏控制器，游戏系统对所述控制器的移动进行跟踪以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言，手势输入是指使诸如计算系统、视频游戏控制台、智能家电等电子装置对由玩家做出并被电子装置捕获的一些手势做出反应。
7.实现更为沉浸的互动式体验的另一种方法是使用头戴式显示器。头戴式显示器由用户佩戴，并且可以被配置来呈现各种图形，诸如虚拟空间的视图。呈现在头戴式显示器上的图形可以覆盖用户的大部分或甚至全部视野。因此，头戴式显示器可为用户提供视觉上沉浸的体验。
8.本公开的实施方案在该上下文中出现。


技术实现要素：

9.本公开的实现方式包括用于使多个观众能够观看虚拟现实环境，同时为每个观众提供观看虚拟现实环境的优选观看位置的方法和系统。
10.在一些实现方式中，提供了一种方法，所述方法包括：向第一头戴式显示器(hmd)提供虚拟环境的第一视图，所述第一视图从所述虚拟环境中的第一位置定义，并且与具有朝向所述虚拟环境中的虚拟对象的第一视图方向的第一虚拟角色相关联；在提供所述第一视图的同时，向第二hmd提供所述虚拟环境的第二视图，所述第二视图从所述虚拟环境中的所述第一位置定义，并且与所述虚拟环境中的第二虚拟角色相关联；其中提供所述第二视图包括在所述第二视图中渲染所述第一虚拟角色，在所述第二视图中对所述第一虚拟角色的所述渲染被配置来将所述第一虚拟角色呈现为具有所述虚拟环境中的第二位置，在所述第二视图中对所述第一虚拟角色的所述渲染被进一步配置来将所述第一虚拟角色呈现为具有第二视图方向，所述第二视图方向相对于所述第一视图方向进行调整以便如所述第二视图中所示朝向所述虚拟对象。
11.在一些实现方式中，通过转动所述第一虚拟角色的头部和/或身体来相对于所述第一视图方向调整所述第二视图方向，以便面向所述虚拟对象。
12.在一些实现方式中，向第一hmd提供虚拟环境的第一视图包括处理识别所述第一hmd在其中设置所述第一hmd的第一互动环境中的取向的数据；其中所述第一视图方向基本上由所述第一hmd在所述第一互动环境中的所述取向确定。
13.在一些实现方式中，向所述第二hmd提供所述虚拟环境的所述第二视图包括处理识别所述第二hmd在其中设置所述第二hmd的第二互动环境中的取向的数据。
14.在一些实现方式中，基于从所述虚拟环境中的所述第一位置对所述第一视图方向的外推来识别所述第一视图方向所指向的所述虚拟对象。
15.在一些实现方式中，其中基于所述第一位置、所述第二位置和所述虚拟对象在所述虚拟环境中的相对定位来确定所述第二视图方向。
16.在一些实现方式中，针对视频游戏的游戏运行定义所述虚拟环境，并且其中所述第一视图和所述第二视图是所述视频游戏的所述游戏运行的观众视图。
17.在一些实现方式中，提供了一种方法，所述方法包括：通过网络接收使用多个头戴式显示器(hmd)观看虚拟环境的请求；将每个hmd分配给多个观看组中的一个，每个观看组定义与分配给所述观看组的hmd相关联的化身的空间布置；对于每个hmd，通过所述网络提供所述虚拟环境的用于在所述hmd上渲染的视图，其中提供所述视图包括将所述hmd被分配至的所述观看组放置在所述虚拟环境中的指定视图位置处，并且提供如所述观看组的所述空间布置所定义的hmd相关联化身的角度的视图；其中所述虚拟环境中的所述指定视图位置对于每个观看组是相同的。
18.在一些实现方式中，由给定观看组定义的所述空间布置包括在所述虚拟环境中彼此具有固定空间关系的化身放置位置的集群。
19.在一些实现方式中，当为给定hmd提供所述视图时，所述给定hmd被分配至的所述观看组被放置在所述指定视图位置中以排除其他观看组。
20.在一些实现方式中，当为所述给定hmd提供所述视图时，所述其他观看组中的至少一些被放置在所述虚拟环境中的其他视图位置处，以便邻近和/或围绕所述给定hmd被分配
至的所述观看组。
21.在一些实现方式中，分配所述hmd基于与所述hmd相关联的用户账户的社交图。
22.在一些实现方式中，通过所述网络从多个hmd连接的计算机接收观看所述虚拟环境的所述请求。
23.在一些实现方式中，提供了一种方法，所述方法包括：通过网络接收使用多个头戴式显示器(hmd)观看虚拟环境的请求；对于每个hmd，将与所述hmd相关联的化身分配至观众阵列中的位置，所述观众阵列定义所述化身在所述虚拟环境中被渲染时相对于彼此的布置；对于每个hmd，通过所述网络提供所述虚拟环境的用于在所述hmd上渲染的视图，其中提供所述视图包括在所述虚拟环境中定位包括所述hmd相关联化身的所述观众阵列的一部分，使得所述hmd相关联化身定位在所述虚拟环境中的主要观看位置处；其中所述虚拟环境中的所述主要观看位置对于每个hmd是相同的。
24.在一些实现方式中，定位包括所述hmd相关联化身的所述观众阵列的所述部分使得所述hmd相关联化身位于所述主要观看位置处还包括：将包括在所述观众阵列的所述部分中的其他化身定位在围绕所述虚拟环境中的所述主要观看位置的次要观看位置处，所述其他化身在所述次要观看位置处的所述定位被配置来保持如所述观众阵列所定义的所述hmd相关联化身和所述其他化身相对于彼此的布置。
25.在一些实现方式中，所述化身相对于彼此的所述布置识别所述化身相对于彼此的固定空间定位。
26.在一些实现方式中，当为给定hmd提供所述视图时，所述hmd相关联化身定位在所述主要观看位置处以排除其他化身。
27.在一些实现方式中，分配所述hmd基于与所述hmd相关联的用户账户的社交图。
28.在一些实现方式中，通过所述网络从多个hmd连接的计算机接收观看所述虚拟环境的所述请求。
29.从下面结合附图进行的、通过举例方式说明本公开的原理的详细描述中，本公开的其他方面和优点将变得明显。
附图说明
30.参考下面结合附图进行理解的描述可更好地理解本公开，在附图中：
31.图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏运行的系统。
32.图2a-1和图2a-2示出了根据本公开的实施方案的头戴式显示器(hmd)。
33.图2b示出了根据一个实施方案的hmd用户与客户端系统介接和客户端系统向第二屏幕显示器(其被称为第二屏幕)提供内容的一个示例。
34.图3概念性地示出了根据本公开的实施方案的hmd与执行的视频游戏结合的功能。
35.图4示出了hmd玩家导航虚拟现实环境和一个或多个观众观看虚拟现实内容的示例。
36.图5示出了根据本公开的实现方式的具有观众位置的虚拟环境。
37.图6示出了根据本公开的实现方式的观众在vr环境的观看区域/区中的放置。
38.图7a和图7b示出了根据本公开的实现方式的基于观众化身控制观众感知的感兴趣对象来调整vr环境中的观众化身。
39.图8a、图8b和图8c示出了根据本公开的实现方式的从三个不同观众的角度观看的vr环境中的vr场景。
40.图9概念性地示出了根据本公开的实现方式的组织成各种观看组的多个观众。
41.图10a示出了根据本公开的实现方式的vr环境中由额外观看组1002a-h围绕的观看组1000。
42.图10b示出了根据本公开的实现方式的vr环境中由各种大小的额外观看组围绕的观看组1000。
43.图11示出了根据本公开的实现方式的观众阵列1100。
44.图12示出了根据本公开的实施方案的头戴式显示器的部件。
45.图13为根据本公开的各种实施方案的游戏系统1400的框图。
具体实施方式
46.本公开的以下实现方式提供了用于向虚拟环境(例如，游戏环境)的hmd观众提供改善观众体验的定制视图的方法、系统、计算机可读介质和云系统。更具体地，根据本公开的实现方式，观众能够从相同或基本上相同的观看位置观看虚拟环境，还在虚拟环境中他们的附近提供对其他观众(诸如他们的朋友)的渲染。观看位置可以是预定义观看位置，其可以是优选的或最佳的观看位置。因此，每个观众能够在虚拟环境中体验到基本上相同的有利位置，同时还被提供有被其他观众围绕的感觉，正如其他观众中的每一个也在虚拟环境中被提供有相同的有利位置和被其他观众围绕的感觉。虚拟现实环境内的预定义观看位置可以吸引观众的注意力以观看或关注虚拟环境内的感兴趣内容，其例如可以是视频游戏的虚拟现实场景，例如由hmd玩家导航。应理解，可以存在多于一个观看位置，其可以在游戏、内容、多媒体或通常由(例如hmd)玩家导航的内容的不同区域处预定义。
47.在各种实现方式中，方法、系统、图像捕获对象、传感器和相关联的接口对象(例如，手套、控制器等)被配置来处理被配置来在显示屏幕上基本上实时渲染的数据。显示器可以是头戴式显示器(hmd)的显示器、第二屏幕的显示器、便携装置的显示器、计算机显示器、显示面板、一个或多个远程连接用户(例如，可能正在观看内容或在互动式体验中进行共享的人)的显示器等。
48.然而，本领域的技术人员将明白，本发明可以在没有这些特定细节中的一些或全部的情况下实践。在其他情况下，没有详细地描述所熟知的过程操作，以便避免不必要地使本公开模糊。
49.图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏运行的系统。示出了佩戴头戴式显示器(hmd)102的用户100。hmd102以与眼镜、护目镜或头盔类似的方式佩戴，并且被配置来向用户100显示视频游戏或其他内容。hmd 102凭借靠近用户眼睛提供显示机构来向用户提供非常沉浸的体验。因此，hmd 102可以向用户的每一只眼睛提供显示区域，所述显示区域占据用户的大部分或甚至全部视野。
50.在一个实施方案中，hmd 102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域已知的任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体流式传输装置等。在一个实施方案中，计算机106可以被配置来执行视频游戏，并
且从视频游戏输出视频和音频以供hmd102渲染。
51.用户100可以操作手套接口对象104a以为视频游戏提供输入。另外，摄像机108可以被配置来捕获用户100所在的互动环境的图像。可以分析这些捕获的图像以确定用户100、hmd 102和手套接口对象104a的位置和移动。在一个实施方案中，手套接口对象104a包括可以被跟踪以确定其位置和取向的灯。
52.如下所述，用户与hmd 102中显示的虚拟现实场景介接的方式可以变化，并且除了手套接口对象104a之外，还可以使用其他接口装置。例如，也可以使用单手控制器，以及双手控制器。在一些实施方案中，可以通过跟踪与控制器相关联的灯，或跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器。使用这些各种类型的控制器，或甚至简单地由一个或多个摄像机制作和捕获的手势，可以与hmd 102上呈现的虚拟现实环境介接、控制、操纵、互动和参与。
53.另外，hmd 102可以包括一个或多个灯，一个或多个灯可以被跟踪以确定hmd 102的位置和取向。摄像机108可以包括一个或多个麦克风，以从互动性环境中捕获声音。可以处理由麦克风阵列捕获的声音，以识别声音源的位置。可以选择性地利用或处理来自识别的位置的声音，以排除并非来自所述识别的位置的其他声音。另外，摄像机108可以被限定成包括多个图像捕获装置(例如，一对立体摄像机)、ir摄像机、深度摄像机和其组合。
54.在另一个实施方案中，计算机106用作通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维护并执行用户102正在玩的视频游戏。计算机106将来自hmd 102、手套接口对象104a和摄像机108的输入传输到云游戏提供商，云游戏提供商处理输入以影响正在执行的视频游戏的游戏状态。将来自正在执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)传输到计算机106。计算机106还可在传输之前处理数据，或可将数据直接传输到相关装置。例如，视频流和音频流被提供到hmd 102，而振动反馈命令被提供到手套接口对象104a。
55.在一个实施方案中，hmd 102、手套接口对象104a和摄像机108本身可能是联网装置，所述联网装置连接至网络110以与云游戏提供商112通信。例如，计算机106可以是本地网络装置，诸如路由器，其不执行视频游戏处理，但是促成网络流量的通过。hmd 102、手套接口对象104a和摄像机108到网络的连接可以是有线的或无线的。
56.另外，虽然可以参考头戴式显示器来描述本公开的实施方案，但是将了解，在其他实施方案中，非头戴式显示器可被替代，包括但不限于电视机、投影仪、lcd显示屏幕、便携装置屏幕(例如，平板电脑、智能电话、膝上型计算机等)或根据本实施方案的可以被配置来渲染视频和/或提供互动式场景或虚拟环境的显示的任何其他类型的显示器。
57.图2a-1和2a-2示出了根据本公开的实施方案的头戴式显示器(hmd)。图2a-1特别示出了vr头戴式耳机，其是根据本公开的实现方式的hmd的一个示例。如图所示，hmd102包括多个灯200a-h。这些灯中的每一个可以被配置来具有特定形状，并且可以被配置来具有相同或不同的颜色。灯200a、200b、200c和200d布置在hmd 102的前表面上。灯200e和200f布置在hmd 102的侧表面上。并且，灯200g和200h布置在hmd 102的转角处，以便跨越hmd 102的前表面和侧表面。应理解，可以在用户使用hmd 102的互动环境的捕获的图像中识别所述灯。基于对灯的识别和跟踪，可以确定hmd 102在互动环境中的位置和取向。还应理解，根据hmd102相对于图像捕获装置的特定取向，灯中的一些可以是可见的或不可
见的。而且，根据hmd 102相对于图像捕获装置的取向，灯(例如，灯200g和200h)的不同部分可被暴露用于图像捕获。
58.在一个实施方案中，灯可以被配置来将hmd的当前状态指示给附近的其他人。例如，一些或所有的灯可以被配置来具有特定颜色布置、强度布置、被配置来闪烁、具有特定开/关配置，或指示hmd 102的当前状态的其他布置。举例来说，灯可以被配置来在视频游戏的活跃游戏运行(通常是在游戏的活跃时间线期间或场景内发生的游戏运行)期间和在视频游戏的其他非活跃游戏运行方面(诸如导航菜单界面或配置游戏设定(在此期间游戏时间线或场景可能不活跃或暂停))显示不同的配置。灯还可以被配置来指示游戏运行的相对强度等级。例如，当游戏运行的强度提高时，灯的强度或闪烁速率也会提高。以此方式，用户之外的人可以观看在hmd 102上的灯并且理解用户积极地参与到激烈的游戏运行中，并且可能不希望在那时被打扰。
59.hmd 102可以另外包括一个或多个麦克风。在说明的实施方案中，hmd 102包括限定在hmd 102的前表面上的麦克风204a和204b，以及限定在hmd 102的侧表面上的麦克风204c。通过利用麦克风阵列，可以处理来自麦克风中的每一个的声音，以确定声音的来源的位置。可以以各种方式来利用该信息，包括排除不需要的声音源、将声音源与视觉识别相关联等。
60.hmd 102还可以包括一个或多个图像捕获装置。在所示的实施方案中，hmd 102被示出为包括图像捕获装置202a和202b。通过利用一对立体图像捕获装置，可以从hmd 102的角度捕获环境的三维(3d)图像和视频。可以在佩戴hmd 102时向用户呈现这个视频以向用户提供“视频透视”能力。也就是说，虽然在严格意义上，用户不能透视hmd 102，但是由图像捕获装置202a和202b(例如，或者设置在hmd 102的外部主体上的一个或多个前置的摄像机108'，如下面在图3中所示)捕获的视频可以提供就像透过hmd 102看到那样能够看到hmd 102外部的环境的功能等同物。此类视频可以利用虚拟元素来增强，以提供增强的现实体验，或者可以与虚拟元素以其他方式组合或混合。虽然在所示的实施方案中，在hmd 102的前表面上示出两个摄像机，但是应理解，可以在hmd 102上安装取向在任何方向上的任何数目的面向外的摄像机。例如，在另一个实施方案中，可以有摄像机安装在hmd 102的侧面上，以提供对环境的额外全景图像捕获。
61.图2b示出了hmd 102用户100与客户端系统106介接和客户端系统106向第二屏幕显示器(其被称为第二屏幕107)提供内容的一个示例。客户端系统106可以包括用于处理将内容从hmd 102共享到第二屏幕107的集成电子装置。其他实施方案可以包括单独装置、模块、连接器，其将在客户端系统与hmd 102和第二屏幕107中的每一个之间进行介接。在此一般示例中，用户100佩戴hmd 102并且使用控制器104来玩视频游戏。用户100的互动运行将产生视频游戏内容(vgc)，所述vgc以互动方式显示到hmd 102。
62.在一个实施方案中，在hmd 102中显示的内容被共享到第二屏幕107。在一个示例中，观看第二屏幕107的人可以观看由用户100在hmd 102中以互动方式正在运行的内容。在另一个实施方案中，另一个用户(例如，玩家2)可以与客户端系统106互动以产生第二屏幕内容(ssc)。通过玩家也与控制器104(或任何类型的用户接口、手势、语音或输入)互动产生的第二屏幕内容可以作为ssc产生到客户端系统106，其可以连同从hmd 102接收的vgc一起显示在第二屏幕107上。
63.因此，可与hmd用户同位或远离hmd用户的其他用户所进行的互动可以是社交的、互动的，并且对于hmd用户和可能正在观看hmd用户在第二屏幕107上播放的内容的用户两者来说是更沉浸的。如图所示，客户端系统106可以连接到互联网110。互联网还可以向客户端系统106提供对来自各种内容源120的内容的访问。内容源120可以包括可通过互联网访问的任何类型的内容。
64.此类内容(但不限于)可以包括视频内容、电影内容、流式内容、社交媒体内容、新闻内容、朋友内容、广告内容等。在一个实施方案中，客户端系统106可以用于同时处理hmd用户的内容，使得在游戏运行期间向hmd提供与互动性相关联的多媒体内容。然后，客户端系统106还可以向第二屏幕提供可能与视频游戏内容无关的其他内容。在一个实施方案中，客户端系统106可以从内容源120中的一个或从本地用户或远程用户接收第二屏幕内容。
65.图3概念性地示出了根据本公开的实施方案的hmd 102与执行的视频游戏结合的功能。执行的视频游戏由游戏引擎320限定，游戏引擎320接收输入以更新视频游戏的游戏状态。视频游戏的游戏状态可以至少部分地由限定当前游戏运行的各个方面的视频游戏的各种参数的值来限定，诸如对象的存在和位置、虚拟环境的状况、触发事件、用户简档、视图角度等。
66.在所示的实施方案中，举例来说，游戏引擎接收控制器输入314、音频输入316和运动输入318。控制器输入314可以根据与hmd 102分开的游戏控制器的操作来限定，游戏控制器诸如手持式游戏控制器(例如，sony4无线控制器、sony playstation运动控制器)或手套接口对象104a。作为示例，控制器输入314可以包括方向输入、按钮按压、触发激活、移动、手势或从游戏控制器的操作处理的其他种类的输入。音频输入316可以从hmd 102的麦克风302处理，或从包括在图像捕获装置108中或本地环境中的其他地方的麦克风处理。运动输入318可以从包括在hmd 102中的运动传感器300处理，或从图像捕获装置108在其捕获hmd 102的图像时进行处理。游戏引擎320接收根据游戏引擎的配置处理的输入以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各种渲染模块，渲染模块处理游戏状态数据以限定将呈现给用户的内容。
67.在所示的实施方案中，视频渲染模块322被限定为渲染要在hmd 102上呈现的视频流。视频流可以由显示器/投影仪机构310呈现，并且由用户的眼睛306通过光学器件308观看。音频渲染模块304被配置来渲染要由用户收听的音频流。在一个实施方案中，通过与hmd 102相关联的扬声器304输出音频流。应理解，扬声器304可以采用露天扬声器、耳机或能够呈现音频的任何其他种类的扬声器的形式。
68.在一个实施方案中，在hmd 102中包括注视跟踪摄像机312以使得能够跟踪该用户的注视。注视跟踪摄像机捕获用户的眼睛的图像，这些图像被分析来确定用户的注视方向。在一个实施方案中，可以利用关于用户的注视方向的信息来影响视频渲染。例如，如果确定用户的眼睛正在看向特定方向，那么可以优先化或强调该方向的视频渲染，诸如通过在用户正在看的区域中提供更多的细节或更快的更新。应理解，相对于用户所处的真实环境和/或相对于在头戴式显示器上渲染的虚拟环境，可以相对于头戴式显示器来限定用户的注视方向。
69.广泛地讲，当单独地考虑时，对由注视跟踪摄像机312捕获的图像的分析提供用户相对于hmd 102的注视方向。然而，当结合hmd102的跟踪的位置和取向进行考虑时，可以确
定用户的真实世界注视方向，因为hmd 102的位置和取向与用户的头部的位置和取向是同义的。也就是说，可以通过跟踪用户的眼睛的位置移动并跟踪hmd102的位置和取向来确定用户的真实世界注视方向。当在hmd 102上渲染虚拟环境的视图时，可以应用用户的真实世界注视方向以确定用户在虚拟环境中的虚拟世界注视方向。
70.另外，触觉反馈模块326被配置来向包括在hmd 102或由用户操作的另一个装置(诸如控制器104)中的触觉反馈硬件提供信号。触觉反馈可以采取各种触觉形式，诸如振动反馈、温度反馈、压力反馈等。
71.目前，用于共享游戏运行的流式服务非常普遍。dual4无线控制器直接地在控制器上包括“共享按钮”，以实现这种共享。如上所述，需要为用户提供观看、例如看用户(可能正佩戴hmd 102的人)正在体验的互动活动的能力。例如，一个hmd虚拟现实玩家可以沉浸在hmd中呈现的活动中，而其他人/观众(可与玩家同位或远程位于此的人)可以在看hmd玩家正在体验的互动或正在观看的虚拟现实场景中找到乐趣。如本文所使用的，hmd玩家是正在观看在hmd上呈现的内容的玩家，或者可以是与在hmd上呈现的一些内容互动的玩家，或者可能正在玩在hmd上呈现的游戏。观众可能佩戴hmd，因此可能体验到与玩家处于相同虚拟环境中的身临其境的效果，从而提高观众体验。
72.在其他实施方案中，可以提供网站以向用户呈现搜索远程玩家正在播放的不同类型的内容或媒体和/或从不同玩家中选择的能力，以便在玩家执行他的或她的活动时看和观看。在一些实施方案中，远程玩家可以使用hmd 102来玩游戏。在其他实施方案中，远程玩家可以使用装置的显示屏幕或电视机显示屏幕来玩游戏或看内容。广泛地讲，希望看在远程的另一个玩家的活动(例如，通过网站)的用户然后可以选择特定玩家或游戏类型、或游戏的缩略图、或内容的缩略图，以观看由hmd玩家指引的活动。因此，可以提供网站，其使得用户能够观看和选择可由远程玩家主动地播放的特定互动内容。希望观看由玩家进行的活动的观众可以仅点击该内容就开始看。应理解，玩家和观众中的一者或两者可以使用hmd来查看虚拟环境。
73.看和观看hmd玩家的动作的人一般被称为观众。观众是能够进行访问以观看活动、互动、动作、移动等但不一定控制游戏动作的那些人。出于这个原因，这些观看者被称为观众。在hmd玩家的上下文中，在hmd显示器中呈现的内容是动态的并且通过hmd玩家的移动控制。例如，当hmd玩家移动他或她的头部时，向该玩家呈现可观看的不同内容，其类似于可发生真实世界观看人的周围环境的方式。
74.举例来说，本文所述的一些实施方案教导的是在玩家正在观看的虚拟现实环境内提供不同观看位置/视点的方式。在一些实施方案中，在hmd玩家移动并通过不同虚拟现实环境场景、位置、区域、级别、章节等时，可以向观看用户提供不同视点，这些视点是针对观看观众定制的。例如，可以针对不同类型的内容预创作各种视点。
75.在另外的实施方案中，可以向观众提供视觉提示以使得观众能够识别玩家在虚拟现实环境内的位置。一种配置可以允许跟踪玩家的注视，以确定玩家在vr场景中正在看的精确内容。对于可能正在从不同角度观看vr场景的观众，确定哪一个是特定场景中的焦点将会是有用的。以此方式，观众还可以专注于虚拟现实玩家觉得在场景中重要的内容。在一些示例中，诸如第一人称射击游戏，观众可能想要知道玩家正在看的位置，诸如标识敌人或障碍物。在一个实施方案中，通过跟踪玩家的注视(例如使用hmd)，就有可能通过突出显示
内容、改变某些对象或位置的对比度、围绕内容、添加标记、在区域中变灰、添加闪烁信标、添加文本、添加浮动对象等来标识玩家正在看的内容。以此方式，观众可以确定hmd玩家正在看的位置，因此观众自己也可以观看相同的区域并体验到具有更多乐趣的内容。
76.例如，玩家可以在特定游戏中更有经验，或已经看了特定类型的内容，并且提供hmd玩家在虚拟现实场景中看的位置的指示器将提供引导、视觉线索并且帮助观众。在一些实施方案中，可以打开和关闭这些标识特征，以便免于注意力分散。标识符可以由hmd玩家激活，或者可以由观众激活。在一些实施方案中，在多个观众正在观看由hmd玩家提供的相同内容(例如，在twitch呈现中)时，可以向每个观众提供不同控件，其向他们提供是否提供视觉指示器的能力。从hmd玩家的角度，hmd玩家的hmd中可能根本不显示指示器。然而，这些指示器对于可能正在观看hmd玩家正在与之互动的内容的一个观众或多个观众是有用的。
77.在一些实施方案中，可以向观众提供控件，其允许观众标识虚拟现实环境内的特定收听区。收听区允许观众选择他们希望从虚拟现实环境中的哪个位置收听。这意味着，观众基本上被提供从该特定位置收听模仿观众将会实际上存在于场景中的情况的音频和声。举例来说，如果观众正在观看包括街对面的建筑物的hmd内容，那么相对于观看位置，观众可以识别建筑物中的某个位置，例如，人站立的二层，并且选择在该位置收听。
78.该功能为观众提供收听远距传动，这允许观众收听音频内容和声，就像观众坐在或站在建筑物的二层中那样。在一个示例中，音频和声将基本上放大将会在建筑物的二层位置处呈现的音频声音，并且降低更远离该虚拟位置的声音。在一些实施方案中，观众可以不时地选择环境内的不同位置作为主要收听区。在其他实施方案中，还可以将收听区调整为hmd玩家的相同的收听区。可以为观众提供可切换的选择能力，以便标识观众希望在虚拟环境中的哪个位置收听。
79.再次，注意的是，观众可以是hmd玩家本地或远程的，并且可以在第二屏幕上观看hmd内容，如参考图2b所述的。替代地，观众也可以佩戴hmd，其使观众观看hmd玩家内容。在一些实施方案中，观众可以看hmd玩家直播或基本上直播的内容。在其他实施方案中，观众可以看hmd玩家观看的内容的录制版本。再者，可以提供网站，网站允许多个或甚至更多观众看hmd玩家的相同内容(无论直播还是录制)。
80.图4示出了根据一个实施方案的hmd vr玩家100的示例，hmd vr玩家100可以经由计算装置106与虚拟环境450互动。因此，hmd vr玩家100驱使vr环境450内的互动性，这将移动hmd 102中呈现的场景，以及显示器107中示出的复制视图。因此，观众可以是正在观看显示器107的观众，诸如观众140。如上所述，观众140是社交屏幕观众，因为该观众能够在同位的空间中与hmd玩家100互动。在其他实施方案中，或除了同位的观众140之外，还可以提供hmd观众150对由hmd玩家100导航的内容的访问。hmd观众150可以与hmd玩家100同位。在其他实施方案中，hmd观众150可以远离hmd玩家定位，并且可以从网站(诸如twitch式观看网站)观看内容。因此，图4中所示的示例仅是一个示例，并且有可能会使多个观众或甚至数千个观众从远程位置观看hmd玩家的内容。观众无论是观看显示器107还是经由hmd观看内容，都将被提供用于改善观看体验的功能。
81.当多个观众观看虚拟现实(vr)环境/空间中的事件时，可以为每个观众提供相同的最佳观看位置，或者“房屋中的最佳座位”。也就是说，因为环境是虚拟空间，对虚拟空间中可能占用相同位置的用户数没有物理限制。然而，在真实世界中观看事件的部分体验是
成为人群的一部分的感觉，并且能够与邻近自己的人群中的那些成员进行互动。如果vr环境的所有观众都位于同一地点，以便为每个观众提供最佳的观看体验，那么就不再有成为人群一部分的感觉。并且在同一位置渲染多个观众化身可导致糟糕的用户体验。
82.一种可能的解决方案是在围绕给定观众化身的虚拟环境中提供人工智能(ai)化身。然而，ai化身不会真正复制由人类操作员驱动的化身所提供的体验。此外，用户可能希望与他们的朋友一起观看事件并在观看时与他们互动，这在真实世界中是常见的，并且如所描述的插入ai控制的化身将不提供这种类型的共享体验。
83.图5示出了根据本公开的实现方式的具有观众位置的虚拟环境。在所示的实现方式中，示出了vr环境500，其中发生用户可能希望观看的一些活动502或感兴趣的事件。例如，vr环境500可以是三维(3d)游戏环境，其中发生视频游戏的游戏运行。应理解，在vr环境中发生的活动可以是任何类型的虚拟活动，包括但不限于战斗(例如，第一人称射击游戏)、即时战略游戏、赛车、运动、舞蹈、剧院、音乐表演、游戏节目等
84.为了在vr环境中容纳多个观众，可以存在指定的观看区域，其中可以定位多个观众化身。严格地说，观众是观看vr环境的用户(人)(例如，使用hmd)。然而，观众可以通过化身(也称为观众的化身)在vr环境中表示，其可以由观众控制。由于观众在vr环境中的化身是观众的代表并且由观众控制，为了便于在本公开中进行描述，观众和他/她的化身在某些情况下可以互换使用。对于本领域技术人员来说显而易见的是，(人)观众不同于观众的化身，但是仍然可以以同义方式引用这两者，以简化本实现方式的描述。
85.在所示的实现方式中，指定的观看区域被概念化为体育场座位结构506。然而，应理解，在本公开的各种实现方式中，指定的观看区域可以采用具有可以定位观众化身的多个预定义位置的任何形式。仅作为示例但不限于指定的观看区域可以是山丘、场地、露天看台、座位、竞技场、体育场、剧院、俱乐部、人行道、路边、台阶、庭院、甲板、平台、屋顶、天空盒、车辆(例如汽车、火车、船、飞机、直升机、航天器等)中的一者(或其一部分)，或任何其他类型的虚拟对象，可作为vr环境中的一个区域，观众可以从中观看虚拟活动502。
86.继续参考图5，体育场座位结构506包括多个位置508(其可以是体育场座位结构中的座位)，其被预定义用于放置观众化身。概念上示出了观众504，包括观众504a-f等。由于虚拟环境500不受真实世界的物理限制，因此可以为每个观众504提供“房屋中的最佳座位”。即，每个观众可以从相同的优选位置观看，在本实例中，该位置是位置508'。应理解，用于从多个可能位置中观看的“最佳”位置是预定义的并且可以基于各种因素来确定，诸如对感兴趣的活动的接近度、高度、视野范围、对视图的阻碍(或缺乏视图)、相对于感兴趣的活动的中心性等。
87.如上所述，每个观众504a-f等从相同的位置/座位508'观看，这是所示实现方式中的优选位置。因此，每个观众将在vr环境500中体验相同或基本相同的观看角度。然而，为了实现人群中的感觉，当从位置508'向给定观众提供视图时，其余观众可以定位在结构506中的给定观众周围的其他位置508。例如，为了向观众504a提供vr环境的观众视图，观众504a的化身(和视角)定位在位置508'，并且其他观众504b-f等定位在结构506中其他位置508。然而，当为观众504b提供观众视图时，观众504b定位在位置508'，并且其他观众504a，504c-f等定位在结构506中的其他位置508。因此，观众504a可以从位置508'的角度环顾四周并且看到围绕他/她的其他观众化身。同样地，观众504b也可以从位置508'的角度环顾四周并且
看到围绕他/她的其他观众化身。因此，所有观众都可以被提供“最佳”观看位置，同时也体验到在观众群中的感觉。如下面将进一步讨论的，可以根据为其提供视图的观众来调整观众的取向。
88.图6示出了根据本公开的实现方式的观众在vr环境的观看区域/区中的放置。在所示的实现方式中，提供具有九个位置/座位s1-s9的观看区/区域600。多个观众u1至u9(概念性地显示在参考602处)位于位置s1-s9，这取决于哪个观众正在提供观看区域600所设置的vr环境的视图。在观看区域600中，位置s5是用于观看的最佳位置/座位，因此每个用户将从位置s5观看。对于在观看时放置在位置s5的给定观众，然后将其余观众放置在观看区域600中的他/她周围的其他剩余位置/座位中。
89.管理观看区域600的位置中的观众的放置的一种方式是定义观看区域的位置的顺序和观众的顺序，并且相对于位置的顺序改变观众的顺序。这样的设置由座位矩阵604示出，其中每行指示给定观看用户(正在为其提供vr环境的视图的观众)将观众分配给观看区域600中的位置。因此，在每行中，观看用户被分配到位置s5，因为s5是最佳或优选的座位/位置。换句话说，每个观众将从相同位置s5观看vr环境。
90.举例来说，在所示的实现方式中，示出了在观众u3正在查看vr环境时提供的观众的布置。观众u3定位在位置s5，而观众u4至u7分别定位在位置s6至s9。观众u8至u9分别定位在位置s1和s2，并且观众u1和u2分别定位在位置s3和s4。因此，当观众u3观看vr环境时，他/她将能够看到如此指示的其他观众的对应化身。当另一个观众观看vr环境时，他/她将看到其他观众以不同的方式定位在观看区域600中。
91.图7a和7b示出了根据本公开的实现方式，基于其控制观众感知的感兴趣对象来调整vr环境中的观众化身。如上已讨论的，当多个观众正在观看vr环境时，每个观众可以从优选位置提供视图，而其他观众的化身定位在vr环境中的其他位置。因此，vr环境中观众化身的位置取决于为其提供视图的观众。每个观众都将从同一位置看到vr环境，但会在他/她周围的其他位置体验其他观众。
92.然而，如果对于给定观众视图，其他观众只是被重新定位，他们可能看起来没有看到他们真正期待的vr环境中的正确对象。例如，图7a示出了从用户u1的角度看的vr环境700。在所示的实现方式中，用户u1经历的vr环境被配置来使得用户u1定位在感兴趣的物体或场景前面的优选位置702。仅作为示例而非限制，在所示实现方式中，感兴趣对象是表演者701。用户u1看向表演者701，并且因此呈现由虚线箭头706指示的视图方向。
93.图7b示出了从用户u2的角度看的vr环境700。在所示的实现方式中，用户u2经历的vr环境被配置来使得用户u2定位在感兴趣的物体/场景前面的优选位置702，其为如上所述的表演者701。另外，在vr环境的用户u2的视角，用户u1已经在位置704重新定位。通过重新定位用户u1的化身而不调整用户u1在如上所述的其视图中呈现的视图方向706，用户u1的化身的视图方向不会出现在用户u2的视角看向表演者701。因此，在vr环境的用户u2的视角将用户u1化身的视图方向调整为视图方向712是有用的，以便用户u1的化身正看向表演者701。应理解，调整化身的视图方向可能需要调整化身的头部、眼睛、躯干、腿部、整个身体等诸如转动或其他姿势调整。
94.同样，再次参考图7a，以与上述类似的方式，在向用户u1提供vr环境的视图时，用户u2的化身的视图方向可以从视图方向708调整到视图方向710，以便朝向作为感兴趣对象
的表演者701。
95.为了在vr环境中提供对其他观众的化身的适当调整，系统可以被配置来确定给定观众正看向vr环境中的哪个对象。这可以基于将给定观众的视图方向外推到虚拟环境中的对象来确定，并且将基于观众佩戴的hmd的真实世界姿势，以及观众在vr环境中的位置。因此，当观众正在观看vr环境时，逻辑可以被配置来确定观众的视图方向，并且基于观众的视图方向确定视图方向正指向或所指向的感兴趣对象。然后，当观众的化身在另一个观众的vr环境视图中渲染时，可以调整它以便具有朝向感兴趣对象的视图方向。
96.图8a、图8b和图8c示出了根据本公开的实现方式的从三个不同观众的角度观看的vr环境中的vr场景。参考图8a，示出了从用户/观众u1的角度观看的vr场景，u1位于预定义的观众位置802。在vr场景中的是角色806和怪物808。此外，示出了其他用户/观众u2和u3的化身，分别定位在预定义的观众位置804和800。观众u1具有指向观众u2的化身的视图方向810。观众u2的化身具有朝向怪物808的视图方向812。并且观众u3的化身具有朝向角色806的视图方向814。应理解，在一些实现方式中，观众正戴着hmd，并且已经基于检测到的hmd的真实世界姿势确定了vr环境中观众的视图方向。
97.图8b示出了从观众u2的角度观看的vr场景。如图所示，观众u2占据位置802，而观众u1和u3分别占据位置800和804。观众u2具有朝向怪物808的视图方向818；观众u1的化身具有朝向观众u2的位置的视图方向816；观众u3的化身具有朝向角色806的视图方向820。
98.图8c示出了从观众u3的角度观看的vr场景。如图所示，观众u3占据位置802，而观众u2和u3分别占据位置800和804。观众u3具有朝向角色806的视图方向824；观众u1的化身具有朝向观众u2的位置的视图方向826；观众u2的化身具有朝向怪物808的视图方向822。
99.从上面可以看出，通过在向特定观众呈现vr场景时调整其他观众的化身的视图方向，其他观众的化身的渲染可以确实地指示vr环境中的哪些对象当前正被其他观众观看。
100.尽管参考特定数量的观众描述了本文描述的概念，但是应理解，所述概念可以应用于任何数量的观众。另外，在一些实现方式中，可以基于各种因素将一些观众定位在彼此附近，诸如社交图中的成员关系(社交网络上的连接或“朋友”)、地理位置、共同语言、年龄、性别、兴趣、游戏历史等
101.图9概念性地示出了根据本公开的实现方式组织成各种观看组的多个观众。在所示的实现方式中，可以将多个观众组织成各种观看组，诸如观看组902a-e。应理解，在一些实现方式中，要包括在给定观看组中的观众的数量可以变化。例如，观看组902a被定义为包括三个观众；观看组902b被定义为包括四个观众；观看组902c被配置来包括九个观众；等等。然而，在其他实现方式中，指定了单组大小。为了观看vr环境，当为给定观众提供vr环境的视图时，观众被分配至的观看组被定位在vr环境中的优选观看位置，诸如观看区域结构904中的位置906。
102.给定的观看组定义观看组中观众的空间布置。也就是说，当在vr环境中渲染时，观看组的观众化身将具有固定的特定空间布置，在某种意义上(与先前描述的一些实现方式不同)，观众相对于彼此的位置不会改变，这取决于正在提供哪个观众视图。举例来说，如图所示，观看组902c定义了如图所示的组内九个观众位置的布置；并且该组的每个观众将被分配到九个位置中的一个。因此，给定观看组的观众不从vr环境中的完全相同的位置观看，而是从彼此接近的不同位置观看。并且在特定观看组内，当为该组的每个观众渲染vr环境
的视图时，其中一个观众的位置是一致的。
103.然而，应理解，各个组中的每一个可以定位在vr环境中相同或基本上相同(例如，在组大小不同的情况下)的位置(以便为每个观众提供来自优选观看位置的视图)。因此，来自不同组的观众可能确实定位在vr环境中的相同位置。然而，当提供vr环境的视图时，来自不同组的这些观众不会同时在同一位置渲染。因为当向给定观众提供vr环境的视图时，则仅给定观众的观看组的成员将占据他们在vr环境中的特定位置(如观看组的观众布置所定义)。
104.由于观看组内观众的空间位置是固定的(即，不会根据组中的哪个观众正被提供vr环境的视图而改变)，因此观看组中观众的视图方向不需要在为该组的观众渲染vr环境的视图时进行调整。此外，避免了视图方向上潜在的不自然或奇怪的调整，并且获得了观众之间通过其vr化身的更自然的互动。
105.当为观众的观看组之外的给定观众提供视图时，可以在未占据观众观看组的我的成员的其他邻近位置处渲染其他观看组或其他观众化身。可以基于其对应的观众正看向的感兴趣对象来调整这些其他观众化身的视图方向。
106.应理解，可以基于社交图中的关系将观众900组织成观看组。例如，将给定观众与他/她的朋友在社交网络上或基于任何其他因素(诸如上面列举的关于彼此接近的观众的定位的因素)分组可能是有用的。
107.在一些实现方式中，允许给定观看组的观众彼此互动。而这些观众不允许与不在给定观看组中的其他观众互动。
108.图10a示出了根据本公开的实现方式的由额外观看组1002a-h围绕的vr环境中的观看组1000。观看组1000定位在vr环境中的优选观看位置。在一些实现方式中，从观看组池动态地选择额外观看组。然而，在其他实现方式中，观看组在逻辑上布置在布局中，并且观看组的布局在概念上“改变”，以便在vr环境中的优选观看位置处呈现特定观看组(当为特定观看组中的观众呈现视图时)。vr环境中的观看区域可以容纳有限数量的观众或观看组，因此可以适合观看组的布局的一部分，使得特定观看组定位在vr环境中的优选观看位置。在一些实现方式中，可以以连续方式逻辑地配置布局，使得每个观看组在所有侧上由另一个观看组界定。
109.图10b示出了根据本公开的实现方式的vr环境中的由各种大小的额外观看组围绕的观看组1000。与图10a的配置一样，在一些实现方式中可以动态地选择和定位额外的观看组。而在另一实现方式中，确定观看组的布局，并且其一部分适合于vr环境的观看区域，以便将特定观看组定位在优选位置(例如，当渲染特定观看组中的一个观众的视图时)。
110.图11示出了根据本公开的实现方式的观众阵列1100。阵列1100定义观众的空间布置，从而定义观众在vr环境中渲染时(更具体地，当他们的化身被渲染时)的相对定位。根据本公开的实现方式，每个观众可以从vr环境内的相同优选位置观看，同时还体验到在人群中的感觉。为了实现这一点，当通过示例的方式为特定观众1102提供vr环境的视图时，则选择包括观众1102的阵列1100的一部分1104，使得当包括在部分1104中的观众适合于在vr环境中的观看区域时，如阵列所定义的那样保持它们彼此的空间关系，然后观众1102将被定位在优选位置。
111.例如，在所示的实现方式中，vr环境中的观看区域1114可以具有观看位置以容纳
三排观众，其中三个观众位于顶排，五个位于中间排，并且三个位于底排，具有优选的观看位置的是最中心的观看位置1116。因此，选择部分1104以便在观众1102排上方的排提供对应的三个观众，从观众1102的排(包括从观众1102的左和右各两个)提供五个观众，以及在观众1102排下方的排提供三个观众。因此，当来自部分1104的观众分别定位在观看区域1114的对应观看位置时，则观众1102将被定位在优选观看位置，其他观众根据他们由阵列1100定义的空间关系围绕他。如阵列1100中所示，例如，观众1106,1108,1110和1112分别定位在观众1102的正下方、上方、左侧和右侧。因此，当观众1102正在观看vr环境时，他将分别经历定位在其正下方、上方、其左侧和其右侧的观众1106,1108,1110和1112。
112.应理解，无论哪个观众正在观看vr环境，都保持阵列1100的观众之间的这种空间关系。因此，例如，在提供给观众1108的vr环境的视图中，则将选择阵列的不同部分(以便将观众1108定位在优选观看位置1116中)，但是与其他观众的空间关系将按照阵列定义的方式保持。因此，在提供给观众1108的视图中，观众1102将在观众1108的正下方，观众1110将在观众1108的下方和左侧，并且观众1112将在观众1108的下方和右侧。
113.可以以其他方式在概念上描述前述配置。例如，观看区域1114限定了观看位置的布置，并且可以被认为是可以根据正在为其提供vr环境的视图的观众而移位到阵列1100的不同部分的选择器；观看区域1114的观看位置将由落在选择器内的观众根据其在阵列中的预定义位置来填充。或者阵列可以相对于观看区域1114移位到类似的效果。
114.另外，应理解，将观众分配到阵列1100中的特定位置可以基于各种因素，诸如社交网络中的关系，或者如上所述的其他因素。
115.尽管已经参考vr环境中的单个观看区域一般地描述了实现方式，但是应理解，在vr环境中可以存在多个观看区域。此外，可以存在多个观众池，其可以基于诸如地理位置、语言、经验水平等因素来定义。本文描述的概念可以应用于多个观看区域和多个观众池。
116.在一些实现方式中，观众观看区域可以被配置来在vr环境内移动，例如，以便能够观看vr环境中的移动动作，诸如当玩家角色移动通过视频游戏环境时。该效果可以类似于从移动的车辆观看。可以应用上述原理以使观众能够在移动观看区域内具有优选的观看位置。
117.参考图12，示出了示出根据本公开的实施方案的头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。存储器1302被提供用于存储目的，并且可以包括易失性和非易失性存储器。包括显示器1304，其提供用户可观看的视觉界面。电池1306被提供作为头戴式显示器102的电源。运动检测模块1308可以包括各种类型的运动灵敏硬件中的任一种，诸如磁力计1310、加速度计1312和陀螺仪1314。
118.加速度计是用于测量反作用力所引起的加速度和重力的装置。单轴模型和多轴模型可供用来检测在不同方向上的加速度的量级和方向。加速度计用于感测倾斜、振动和冲击。在一个实施方案中，三个加速度计1312用于提供重力方向，所述重力方向给出两个角度(世界空间俯仰和世界空间滚转)的绝对参考。
119.磁力计测量在头戴式显示器附近的磁场的强度和方向。在一个实施方案中，三个磁力计1310在头戴式显示器内使用，以确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计被设计为跨越
±
80微特斯拉的地球磁场。磁力计受金属的影响，并且提供与实际偏航单调的偏航测量。磁场可以因环境中的金属而扭曲，从而导致偏航测量的偏差。如果必
要，那么可以使用来自其他传感器(诸如陀螺仪或摄像机)的信息来校准此偏差。在一个实施方案中，加速度计1312与磁力计1310一起使用来获得头戴式显示器102的倾斜度和方位角。
120.在一些实现方式中，头戴式显示器的磁力计被配置来在其他附近装置中的电磁铁不活动的时间期间被读取。
121.陀螺仪是用于基于角动量的原理来测量或维持取向的装置。在一个实施方案中，三个陀螺仪1314基于惯性感测来提供关于跨越相应的轴线(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以随时间漂移而无需存在绝对参考。这要求周期性地重置陀螺仪，这种重置可以使用诸如基于对象的视觉跟踪、加速度计、磁力计等的定位/取向确定的其他可用信息来完成。
122.摄像机1316被提供用于捕获真实环境的图像和图像流。在头戴式显示器102中可以包括多于一个摄像机，其包括后置(在用户观看头戴式显示器102的显示器时背向用户)的摄像机，以及前置(在用户观看头戴式显示器102的显示器时朝向用户)的摄像机。另外，在头戴式显示器102中可以包括深度摄像机1318以用于感测真实环境中的对象的深度信息。
123.头戴式显示器102包括用于提供音频输出的扬声器1320。而且，可以包括麦克风1322以用于从真实环境捕获音频，其包括来自周围环境的声音、用户发出的语音等。头戴式显示器102包括用于将触觉反馈提供给用户的触觉反馈模块1324。在一个实施方案中，触觉反馈模块1324能够导致头戴式显示器102的移动和/或振动，以便将触觉反馈提供给用户。
124.led 1326被提供作为头戴式显示器102的状态的视觉指示器。例如，led可以指示电池电量、通电状况等。读卡器1328被提供用于使得头戴式显示器102能够从存储器卡读取信息和将信息写入到存储器卡。包括usb接口1330作为用于实现外围装置的连接或到其他装置的连接的接口的一个示例，其他装置诸如其他便携装置、计算机等。在头戴式显示器102的各种实施方案中，可以包括各种类型的接口中的任一种以实现头戴式显示器102的更大的连接性。
125.包括wifi模块1332用于经由无线联网技术实现与互联网或局域网的连接。而且，头戴式显示器102可以包括用于实现到其他装置的无线连接的蓝牙模块1334。还可以包括通信链路1336用于连接到其他装置。在一个实施方案中，通信链路1336将红外传输用于无线通信。在其他实施方案中，通信链路1336可以利用各种无线或有线传输协议中的任何协议以用于与其他装置的通信。
126.包括输入按钮/传感器1338以向用户提供输入接口。可以包括各种类型的输入接口中的任一种，诸如按钮、触摸板、操纵杆、轨迹球等。在头戴式显示器102中可以包括超声通信模块1340以经由超声技术促成与其他装置的通信。
127.包括生物传感器1342以实现对来自用户的生理数据的检测。在一个实施方案中，生物传感器1342包括一个或多个干电极以用于通过用户的皮肤检测用户的生物电信号。
128.视频输入1344被配置来从主处理计算机(例如，主游戏控制台)接收视频信号以在hmd上渲染。在一些实现方式中，视频输入是hdmi输入。
129.已经将头戴式显示器102的前述部件描述成可包括在头戴式显示器102中的仅示例性部件。在本发明的各种实施方案中，头戴式显示器102可以或可以不包括各种前述部件
中的一些。头戴式显示器102的实施方案可以另外包括当前未描述但本领域已知的其他部件，以用于促成如本文所述的本发明的方面的目的。
130.图13是根据本公开的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400典型地包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置来以最低服务质量向一个或多个客户端1410提供视频流。例如，视频服务器系统1420可以接收改变视频游戏内的视图状态或视角的游戏命令，并且向客户端1410提供反映具有最低迟滞时间的该状态变化的更新的视频流。视频服务器系统1420可以被配置来以各种替代视频格式提供视频流，包括尚未定义的格式。另外，视频流可以包括被配置来呈现给用户在各种帧速率的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒120帧。不过，在本公开的替代实施方案中包括更高或更低的帧速率。
131.客户端1410(本文单独地称为1410a、1410b等)可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、信息亭、无线装置、数字板、独立装置、手持式游戏装置和/或类似者。典型地，客户端1410被配置来接收编码的视频流、解码的视频流，并且将所得的视频呈现给用户，例如，游戏的玩家。接收编码的视频流和/或解码的视频流的过程典型地包括将单独的视频帧存储在客户端的接收缓冲器中。可以在与客户端1410集成的显示器上或在诸如监视器或电视机的单独装置上将视频流呈现给用户。客户端1410任选地被配置来支持多于一个游戏玩家。例如，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可以接收单独的视频流，或单个视频流可以包括特别针对每个玩家产生(例如，基于每个玩家的视角而产生)的帧的区域。客户端1410任选地是地理上分散的。游戏系统1400中包括的客户端的数目可以从一个或两个到数千个、数万个或更多个，变化范围很大。如本文中所使用，术语“游戏玩家”用于指代玩游戏的人，并且术语“玩游戏的装置”用于指代用于玩游戏的装置。在一些实施方案中，玩游戏的装置可以指代协作以将游戏体验传递给用户的多个计算装置。例如，游戏控制台和hmd可以与视频服务器系统1420协作以传递通过hmd观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1420接收视频流，并且游戏控制台将视频流或视频流的更新转发到hmd以渲染。
132.客户端1410被配置来经由网络1415接收视频流。网络1415可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络和/或类似者。在典型的实施方案中，经由诸如tcp/ip或udp/ip的标准协议来传达视频流。替代地，经由专有标准来传达视频流。
133.客户端1410的典型示例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的，并且根据所使用的具体编码方案而变化。
134.客户端1410可以但不要求还包括被配置来用于修改接收到的视频的系统。例如，客户端可以被配置来执行进一步的渲染、将一个视频图像覆盖在另一个视频图像上、裁剪视频图像和/或类似者。例如，客户端1410可以被配置来接收各种类型的视频帧，诸如i帧、p帧和b帧，并且将这些帧处理成图像以显示给用户。在一些实施方案中，客户端1410的成员被配置来对视频流执行进一步的渲染、着色、转换为3-d或类似的操作。客户端1410的成员
任选地被配置来接收多于一个音频流或视频流。客户端1410的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、定点装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏幕、神经接口、摄像机、待开发的输入装置和/或类似者。
135.由客户端1410接收的视频流(以及任选地音频流)由视频服务器系统1420生成和提供。如本文其他地方进一步描述的，这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如，它们包括在适当的数据结构中的像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用，术语“视频帧”用于指代主要包括被配置来构成(例如，实现)显示给用户的图像的信息的帧。本文关于“视频帧”的大部分的教导也可以适用于“音频帧”。
136.客户端1410典型地被配置来接收来自用户的输入。这些输入可以包括游戏命令，所述游戏命令被配置来改变视频游戏的状态或以其他方式影响游戏运行。可以使用输入装置接收游戏命令和/或可以通过在客户端1410上执行的计算指令来自动地生成游戏命令。接收到的游戏命令经由网络1415从客户端1410传达到视频服务器系统1420和/或游戏服务器1425。例如，在一些实施方案中，游戏命令经由视频服务器系统1420而传达到游戏服务器1425。在一些实施方案中，游戏命令的单独副本从客户端1410传达到游戏服务器1425和视频服务器系统1420。游戏命令的传达任选地取决于命令的身份。任选地，从客户端1410a经由用于向客户端1410a提供音频流或视频流的不同路由或通信信道传达游戏命令。
137.游戏服务器1425任选地由与视频服务器系统1420不同的实体操作。例如，游戏服务器1425可以由多人游戏的发布者操作。在这个示例中，视频服务器系统1420任选地被游戏服务器1425视为客户端，并且任选地被配置来(从游戏服务器1425的角度看)表现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地经由网络1415进行。因此，游戏服务器1425可以是现有技术的多人游戏服务器，其将游戏状态信息发送到多个客户端，其中一个客户端是游戏服务器系统1420。视频服务器系统1420可以被配置来同时与游戏服务器1425的多个实例通信。例如，视频服务器系统1420可以被配置来向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可以由不同的游戏服务器1425支持和/或由不同实体发布。在一些实施方案中，视频服务器系统1420的若干地理上分布的实例被配置来向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可以与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地经由专用通信信道进行。例如，视频服务器系统1420可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1425。
138.视频服务器系统1420至少包括视频源1430、i/o装置1445、处理器1450和非暂时性存储器1455。视频服务器系统1420可以包括一个计算装置或分布在多个计算装置间。这些计算装置任选地经由诸如局域网的通信系统连接。
139.视频源1430被配置来提供视频流，例如流视频或形成移动图像的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置来：从玩家接收游戏命令，并且基于接收到的命令而维持视频游戏的状态的副本。这个游戏状态包括在游戏环境中的对象的位置，以及典型地视角。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。典型地基于游戏规则以及游戏命令(诸如移动、转动、攻击、设置焦点、互动、使用和/或类似者)而维持游戏状态。游戏引擎的部分任选地设置在游戏服务器1425
内。游戏服务器1425可以基于从使用地理上分散的客户端的多个玩家接收的游戏命令来维护游戏的状态的副本。在这些情况下，游戏状态由游戏服务器1425提供给视频源1430，其中存储游戏状态的副本并执行渲染。游戏服务器1425可以经由网络1415直接地从客户端1410接收游戏命令，和/或可以经由视频服务器系统1420接收游戏命令。
140.视频源1430典型地包括渲染逻辑，例如硬件、固件和/或存储在诸如存储器1455的计算机可读介质上的软件。该渲染逻辑被配置来基于游戏状态而创建视频流的视频帧。渲染逻辑的全部或部分任选地设置在图形处理单元(gpu)内。渲染逻辑典型地包括处理阶段，所述处理阶段被配置来用于基于游戏状态和视角而确定对象之间的三维空间关系和/或被配置来用于应用适当的纹理等。渲染逻辑产生原始视频，然后通常在与客户端1410通信之前对其进行编码。例如，可以根据adobe标准、.wav、h.264、h.263、on2、vp6、vc-1、wma、huffyuv、lagarith、mpg-x.xvid.ffmpeg、x264、vp6-8、realvideo、mp3等对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以传递到远程装置上的解码器。视频流由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768，但是可以使用任何其他帧大小。帧速率是每秒的视频帧数。视频流可包括不同类型的视频帧。例如，h.264标准包括“p”帧和“i”帧。i帧包括用以刷新显示装置上的所有宏块/像素的信息，而p帧包括用以刷新所述宏块/像素的子集的信息。p帧典型地在数据大小上小于i帧。如本文中所使用，术语“帧大小”意图指代帧内的像素的数目。术语“帧数据大小”用于指代存储所述帧所需的字节数。
141.在替代实施方案中，视频源1430包括视频录制装置，诸如摄像机。该摄像机可以用来产生可包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所渲染的图像和使用静态摄像机或视频摄像机录制的图像两者。视频源1430还可以包括存储装置，所述存储装置被配置来存储先前录制的视频以包括在视频流中。视频源1430还可以包括运动或定位感测装置和逻辑，所述运动或定位感测装置被配置来检测对象(例如，人)的运动或位置，并且所述逻辑被配置来基于检测到的运动和/或位置而确定游戏状态或产生视频。
142.视频源1430任选地被配置来提供被配置来放置在其他视频上的叠加。例如，这些叠加可以包括命令界面、登录说明、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频供稿(例如，网络摄像头视频)。在客户端1410a包括触摸屏幕界面或注视检测界面的实施方案中，叠加可以包括虚拟键盘、操纵杆、触摸板和/或类似者。在叠加的一个示例中，将玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。
143.在其中视频服务器系统1420被配置来基于来自多于一个玩家的输入而维持游戏状态的实施方案中，每个玩家可以具有包括视图位置和视图方向的不同视角。视频源1430任选地被配置来基于他们的视角而为每个玩家提供单独的视频流。另外，视频源1430可以被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430任选地被配置来提供3-d视频。
144.i/o装置1445被配置来用于视频服务器系统1420发送和/或接收诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似者的信息。i/o装置1445典型地包括通信硬件，诸如网卡或调制解调器。i/o装置1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。
145.处理器1450被配置来执行逻辑，例如，软件，其被包括在本文讨论的视频服务器系统1420的各种部件内。例如，处理器1450可以用软件指令进行编程，以便执行视频源1430、游戏服务器1425和/或客户端限定器1460的功能。视频服务器系统1420任选地包括处理器1450的多于一个实例。处理器1450还可以用软件指令进行编程，以便执行由视频服务器系统1420接收的命令，或协调本文讨论的游戏系统1400的各种元件的操作。处理器1450可包括一个或多个硬件装置。处理器1450是电子处理器。
146.存储器1455包括非暂时性模拟和/或数字存储装置。例如，存储器1455可以包括被配置来存储视频帧的模拟存储装置。存储器1455可以包括计算机可读数字存储器，例如，硬盘驱动器、光盘驱动器或固态存储器。存储器1415被配置(例如，通过适当的数据结构或文件系统)来存储视频帧、人工帧、包括视频帧和人工帧的视频流、音频帧、音频流和/或类似者。存储器1455任选地分布在多个装置间。在一些实施方案中，存储器1455被配置来存储本文其他地方讨论的视频源1430的软件部件。这些部件可以按需要时随时可以供应的格式来存储。
147.视频服务器系统1420任选地还包括客户端限定器1460。客户端限定器1460被配置来用于远程地确定客户端(诸如客户端1410a或1410b)的能力。这些能力可以包括客户端1410a本身的能力以及客户端1410a和视频服务器系统1420之间的一个或多个通信信道的能力。例如，客户端限定器1460可以被配置来通过网络1415测试通信信道。
148.客户端限定器1460可以手动地或自动地确定(例如，发现)客户端1410a的能力。手动地确定包括与客户端1410a的用户通信并要求用户提供能力。例如，在一些实施方案中，客户端限定器1460被配置来在客户端1410a的浏览器内显示图像、文本和/或类似者。在一个实施方案中，客户端1410a是包括浏览器的hmd。在另一个实施方案中，客户端1410a是具有浏览器的游戏控制台，所述浏览器可以在hmd上显示。所显示的对象请求用户输入客户端1410a的诸如操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等信息。用户输入的信息被传达回到客户端限定器1460。
149.例如，可以通过在客户端1410a上执行代理程序和/或通过将测试视频发送到客户端1410a来进行自动确定。代理程序可以包括嵌入网页中或安装为加载项的计算指令，诸如java脚本。客户端限定器1460任选地提供代理程序。在各种实施方案中，代理程序可以找出客户端1410a的处理能力、客户端1410a的解码和显示能力、客户端1410a和视频服务器系统1420之间的通信信道的迟滞时间可靠性和带宽、客户端1410a的显示类型、存在于客户端1410a上的防火墙、客户端1410a的硬件、在客户端1410a上执行的软件、在客户端1410a内的注册表项和/或类似者。
150.客户端限定器1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定器1460任选地设置在与视频服务器系统1420的一个或多个其他元件分开的计算装置上。例如，在一些实施方案中，客户端限定器1460被配置来确定客户端1410与视频服务器系统1420的多于一个实例之间的通信信道的特性。在这些实施方案中，客户端限定器所发现的信息可以用于确定视频服务器系统1420的哪个实例最适合于将流视频传递到客户端1410中的一个。
151.本公开的实施方案可以借助各种计算机系统配置来实践，所述计算机系统配置包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、
大型计算机和类似者。还可以在分布式计算环境中实践本公开，其中任务是由通过基于有线或无线的网络链接的远程处理装置执行。
152.鉴于以上实施方案，应理解，本公开可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量的物理操纵的那些操作。本文所述的形成本公开的部分的操作中的任一操作都是有用的机器操作。本公开还涉及一种用于执行这些操作的装置或设备。所述设备可以专门地构造用于所需目的，或者所述设备可以是通用计算机，所述通用计算机通过存储在计算机中的计算机程序来选择性激活或配置。具体地讲，各种通用机器可以与根据本文中的教导编写的计算机程序一起使用，或者所述机器可以更方便于构造更专门的设备以执行所需操作。
153.本发明还可以被体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储随后可由计算机系统读取的数据的任何数据存储装置。计算机可读介质的示例包括硬盘驱动器、网络附接存储器(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
154.虽然以特定次序描述方法操作，但应理解，可以在操作之间执行其他内务处理操作，或者可以调整操作以使得所述操作在略不同的时间上出现，或者可以分布在系统中，所述系统允许处理操作在与处理相关联的各种间隔处出现，只要重叠操作的处理以所需方式执行即可。
155.虽然出于清楚理解目的而详细地描述了前述公开，但是将清楚，可以在随附权利要求范围内实践某些改变和修改。因此，本公开的实施方案被认为是说明性的而非限制性的，并且本公开不限于本文中给出的细节，而是可以在本公开的范围和等效物内进行修改。