VR环境的第二屏幕虚拟窗口的制作方法
本公开涉及在头戴式显示器(hmd)中呈现的虚拟现实(vr)环境内容，和用于在由vr玩家正在交互的现实世界空间中的观察者使用的第二屏幕上呈现与vr环境相关的内容的方法。
背景技术：
多年来，视频游戏行业已经发生了许多变化。随着计算能力的扩大，视频游戏的开发者同样创建了利用这些计算能力增大的游戏软件。为此，视频游戏开发者一直在编写包含复杂操作和运算的游戏，以产生非常细致且引人入胜的游戏体验。
实例游戏平台包括
计算机游戏行业的发展趋势是开发增加用户与游戏系统之间的交互的游戏。实现更丰富的交互式体验的一种方式是使用无线游戏控制器，由游戏系统跟踪其移动，以便跟踪玩家的移动并将这些移动用作游戏的输入。一般来说，手势输入是指使得例如计算系统、视频游戏控制台、智能电器等的电子装置对由玩家做出并由电子装置捕获的某手势做出反应。
实现更加沉浸的交互式体验的另一种方式是使用头戴式显示器。头戴式显示器由用户佩戴并且可以被配置为呈现各种图形，例如虚拟空间的视图。头戴式显示器上呈现的图形可以覆盖用户视场的大部分或甚至全部。因此，头戴式显示器可以为用户提供视觉上沉浸式体验。
正是在这种背景下，出现了本公开的实施方案。
技术实现要素：
本公开的实施包括用于使得hmd用户能够能够观看遇到、查看和/或与其介接的虚拟现实环境和内容的方法和系统。
在一些配置中，提供ar/vr的“窗口效果”。在一个配置中，用户/观察者的装置跟踪观看便携式装置的屏幕(即，第二屏幕)的用户的头部，并且在用户装置的屏幕上产生与窥视窗口的效果类似的效果。例如，如果用户通过将屏幕放置得更靠近他的面部来观察便携式装置的屏幕，那么将看到更多的vr环境。如果用户以相对于他的面部的角度移动装置，那么向用户提供vr环境的图像，所述图像暴露不同的内容或者缩放用户正在观看的方向，例如，调整观看的视锥体。
在一个配置中，被跟踪的屏幕上可以出现窗口效果的使用，其中被跟踪的屏幕被观察者/第二玩家用来看vr玩家的视图(即，当他们出现在vr中时)并且观察者/第二玩家可以在其使现实头部凝视屏幕周围时通过窗口效果看到更多细节。
在一些配置中，提供被跟踪的屏幕，但是主玩家(例如，vr玩家而非第二/观察者)握持被跟踪的屏幕且vr玩家在vr中看到屏幕，并且当vr玩家在观看被跟踪的屏幕时来回移动其头部时应用窗口效果。在一些实施方案中，被跟踪的屏幕是被跟踪的电话或平板电脑。
在一个配置中，第二屏幕提供vr环境的一种类型的虚拟窗口，并且可以由相对于他的眼睛或面部握持第二屏幕的观察者控制vr环境的视图。在一些配置中，用自拍相机跟踪观察者的眼睛或面部以确定装置的第二屏幕的位置，同时装置的前向相机正在观察vr玩家或vr玩家周围的空间。此配置提供了一个系统，以用以启用由vr玩家的观察者处置的一个或多个第二屏幕。观察者可以向vr玩家提供帮助，因为观察者可能正在观看vr玩家可能尚未看到的vr玩家周围的区域。在一个配置中，观察者可以是另外的玩家，其可以在vr玩家的vr环境中进行交互。
在一个实施方案中，公开一种用于观察虚拟现实玩家的虚拟现实环境的方法。所述方法包括通过观察者的手持装置建立与执行使用头戴式显示器(hmd)呈现给所述虚拟现实玩家的所述虚拟现实环境的计算机的连接。通过所述手持装置的第一相机捕获所述虚拟现实玩家在现实世界空间中的当前位置。通过所述手持装置的第二相机捕获所述观察者的面部位置。监测所述面部位置以确定对所述手持装置的屏幕的观看方向。所述手持装置的所述屏幕被配置为呈现所述虚拟现实环境和在所述虚拟现实环境中进行交互的所述虚拟现实玩家的至少一部分。所述手持装置的当前位置和所述观察者的所述面部位置与执行呈现给所述虚拟现实玩家的所述虚拟现实环境的所述计算机持续共享。所述方法接着使得能够从所述计算机接收所述虚拟现实环境的视频流，所述视频流包括针对所述虚拟现实玩家在所述现实世界中的所述当前位置和所述观察者对所述手持装置的所述屏幕的所述观看方向进行调整的所述虚拟现实玩家的至少一部分。
在一些实施方案中，所述观察者的所述持续共享的面部位置用以识别所述观察者的面部与所述屏幕之间的距离的改变。
在一些实施方案中，所述方法包括基于所识别的所述距离的改变来接收所接收的所述虚拟现实环境的视频流中的放大或缩小图像。在一个实施方案中，测量所述用户的所述手持装置的前侧与所述用户的所述面部之间的距离。如果用户向更远处伸手，那么将放大虚拟现实环境的图像视图。相反，如果用户使手持装置更接近他的面部，那么视图将被缩小，从而暴露手持装置的前向相机指向的区域周围的更多空间。
在一些实施方案中，当所述观察者的所述面部与所述屏幕之间的所述距离增大时处理所述放大且当所述观察者的所述面部与所述屏幕之间的距离减小时处理所述缩小。
在一些实施方案中，所述虚拟现实玩家在所述现实世界空间中的所述当前位置用以识别hmd观看方向，所述hmd观看方向由所述计算机用以近似如由所述虚拟现实玩家使用hmd所控制的提供给所述hmd的视图。
在一些实施方案中，跟踪所述观察者的眼睛以确定对所述手持装置的所述屏幕的所述观看方向，使用所述手持装置的所述第二相机针对注视跟踪所述眼睛。
在一些实施方案中，由所述观察者围绕所述虚拟现实玩家移动所述手持装置使得对由呈现在所述手持装置的所述屏幕上的所述视频流提供的视图进行更新。
在一些实施方案中，对视图的所述更新使得能够得到围绕所述虚拟现实环境的360度视图，且其中所述移动使得能够观看排除所述虚拟现实玩家的所述虚拟现实环境的区域。
在一些实施方案中，在所述虚拟现实环境中将所述虚拟现实玩家渲染为与所述虚拟现实环境交互的角色。
在一些实施方案中，经由所述连接来实现所述持续共享，所述连接是无线连接，所述无线连接被配置为将使用所述手持装置的所述第一相机和所述第二相机捕获的图像流发送到所述计算机。
在一些实施方案中，所述计算机被配置为分析所述图像流来识别相对于所述手持装置的所述当前位置的所述虚拟现实玩家在所述现实世界空间中的所述当前位置。提供到所述手持装置的所述屏幕的所述视频流使得能够观看使用所述hmd呈现的所述虚拟环境，且通过所述手持装置的移动来控制经由所述手持装置对所述虚拟现实环境的所述观看并且通过由所述虚拟现实玩家移动所述hmd来单独控制经由所述hmd对虚拟现实环境的观看。
在一些实施方案中，由所述观察者移动所述手持装置使得能够观看如所述虚拟现实环境中所描绘的虚拟现实玩家的上方、下方和周围。
在一些实施方案中，所述手持装置的移动相对于所述虚拟现实玩家在所述现实世界空间中的所述当前位置，所述手持装置的所述移动使得能够当所述手持装置更靠近所述观察者的面部移动时以移出视图且当所述手持装置远离所述观察者的所述面部移动时以移入视图观看所述虚拟现实环境中的对象。
在一个实施方案中，公开一种用于观察虚拟现实玩家的虚拟现实环境的方法。所述方法包括经由计算机执行所述虚拟现实环境，且在所述计算机与观察者的手持装置之间建立连接。使用头戴式显示器(hmd)将所述虚拟现实环境呈现给所述虚拟现实玩家，接着接收图像数据以用于识别所述虚拟现实玩家在现实世界空间中的第一位置。所述图像数据由所述手持装置的第一相机捕获。所述方法包括接收使用第二相机的图像数据以识别所述观察者的面部位置来确定对所述手持装置的屏幕的观看方向。所述手持装置的所述屏幕被配置为呈现所述虚拟现实环境和在所述虚拟现实环境中进行交互的所述虚拟现实玩家的至少一部分。所述手持装置的当前位置和所述观察者的所述面部位置由执行呈现给所述虚拟现实玩家的所述虚拟现实环境的所述计算机持续接收。所述方法包括向所述手持装置发送所述虚拟现实环境的视频流，所述视频流包括针对所述虚拟现实玩家在所述现实世界中的所述当前位置和所述观察者对所述手持装置的所述屏幕的所述观看方向进行调整的所述虚拟现实玩家的至少一部分。
在一些实施方案中，所述观察者的所述持续接收的面部位置用以识别所述观察者的面部与所述屏幕之间的距离的改变。接着，基于所识别的所述距离的改变来发送所发送的所述虚拟现实环境的视频流的放大或缩小图像。
在一些实施方案中，当所述观察者的所述面部与所述屏幕之间的所述距离增大时处理所述放大且当所述观察者的所述面部与所述屏幕之间的距离减小时处理所述缩小。
在一些实施方案中，所述虚拟现实玩家在所述现实世界空间中的所述当前位置用以识别hmd观看方向，所述hmd观看方向由所述计算机用以近似如由所述虚拟现实玩家使用hmd所控制的提供给所述hmd的视图。
在一些实施方案中，跟踪所述观察者的眼睛以确定对所述手持装置的所述屏幕的所述观看方向，使用所述手持装置的所述第二相机针对注视跟踪所述眼睛。
在一些实施方案中，所述计算机被配置为分析图像流来识别相对于所述手持装置的所述当前位置的所述虚拟现实玩家在所述现实世界空间中的所述当前位置，使得提供到所述手持装置的所述屏幕的所述视频流使得能够观看使用所述hmd呈现的所述虚拟环境，使得通过所述手持装置的移动来控制经由所述手持装置对所述虚拟现实环境的所述观看并且通过由所述虚拟现实玩家移动所述hmd来单独控制经由所述hmd对虚拟现实环境的观看。
在一些实施方案中，在所述虚拟现实环境中将所述虚拟现实玩家渲染为与所述虚拟现实环境交互的角色，且经由所述连接来实现所述持续接收，所述连接是无线连接，所述无线连接被配置为将使用所述手持装置的所述第一相机和所述第二相机捕获的图像流接收到所述计算机。
在一些实施方案中，由所述观察者移动所述手持装置使得能够观看如所述虚拟现实环境中所描绘的虚拟现实玩家的上方、下方和周围。
在一些实施方案中，由所述观察者围绕所述虚拟现实玩家移动所述手持装置使得对呈现在所述手持装置的所述屏幕上的所述视频流的视图进行更新，且对视图的所述更新使得能够得到围绕所述虚拟现实环境的360度视图，且其中所述移动使得能够观看排除所述虚拟现实玩家的所述虚拟现实环境的区域。
在一些实施方案中，所述手持装置的所述移动相对于所述虚拟现实玩家在所述现实世界空间中的所述当前位置，所述手持装置的所述移动使得能够当所述手持装置更靠近所述观察者的所述面部移动时以移出视图且当所述手持装置远离所述观察者的所述面部移动时以移入视图观看所述虚拟现实环境中的对象。
在一些实施方案中，手持装置可以是立体手持装置(例如，通过3d眼镜或自动立体装置)，或光场显示器，以向左眼和右眼中的每一个提供不同的图像。在一个配置中，可相对于每只眼测量位置和定向。在一个实施方案中，相反的情况可以是真实的，例如，vr玩家通过在虚拟窗口中向每只眼睛渲染不同的图像来观察现实世界。
在另外实施方案中，系统可以被配置为允许vr玩家观看另一vr玩家的第二vr世界。
从以下结合附图的详细描述，通过举例说明本公开的原理，本公开的其他方面和优点将变得明显。
附图说明
通过参照以下结合附图给出的说明，可以最好地理解本公开，在附图中：
图1说明根据本公开的实施方案的用于视频游戏的交互式游戏玩耍的系统。
图2a说明根据本公开的实施方案的头戴式显示器(hmd)。
图2b说明根据一个实施方案的hmd用户与客户端系统进行交互且客户端系统将内容提供到被称为第二屏幕的第二屏幕显示器的一个实例。
图3概念性地说明根据本公开的实施方案的结合执行视频游戏的hmd的功能。
图4说明根据一个实施方案的观察者用户利用装置来观看在vr空间中进行交互的vr玩家的现实世界以及提供vr空间的窗口视图的实例。
图5说明根据一个实施方案的跟踪用户装置的位置以便获得玩家vr空间的不同视角并且在vr玩家的vr空间的窗口视图中示出不同内容的实例。
图6a说明根据一个实施方案的观察者利用装置来观看vr玩家且vr玩家在观察者的屏幕中以vr玩家正游戏的vr角色的形式呈现的实例。
图6b说明根据一个实施方案的观察者移动装置来从不同角度或位置观看屏幕以获得vr玩家的vr空间的不同透视图并因此修改由观察者装置中示出的窗口效果提供的视图的实例。
图7说明根据一个实施方案的观察者利用装置来观看vr玩家且示出装置与计算机和计算机与vr耳机和外围装置的通信使得计算机可以共享和产生相对于vr玩家的位置视图的用于观察者的装置的视频流的实例。
图8a说明根据一个实施方案的观察者根据其相对于vr玩家的位置和装置相对于观察者的面部的位置来改变窗口视图的实例。
图8b和图8b说明根据一个实施方案的相对于vr玩家的观察者所采取的位置的窗口视图的改变视点，同时示出vr玩家作为玩射击游戏的vr角色或化身的动作。
图9说明根据本公开的实施方案的头戴式显示器的部件。
图10是根据本公开的各种实施方案的游戏系统1400的框图。
具体实施方式
本公开的以下实施提供用于使用户装置能够查看vr玩家交互的方法、系统、计算机可读介质和云系统，并且向用户的装置提供vr空间中vr玩家的图像(例如，作为vr空间中的角色或化身)。在一个配置中，用户装置的相机使用自拍相机来跟踪用户的面部和/或眼睛相对于屏幕的位置。可以使用从装置中的惯性传感器获得的惯性数据来进一步跟踪装置的位置。此跟踪信息可以被传达到计算机。在此配置中，装置的前向相机观看前方的空间，例如vr玩家正在交互的位置。
vr玩家也将被单独跟踪。可以使用各种技术来进行对vr玩家的跟踪。实例包括使用一个或多个相机、在hmd上检测发射的ir光的光传感器、惯性传感器及其组合来对hmd进行led跟踪。vr玩家的跟踪位置被传达到计算机。计算机被配置为从观察者的装置的视角产生vr环境中的vr玩家的流视图。根据装置相对于vr玩家的位置视图，装置的第二屏幕被提供不同的视图。除了提供不同的视角和位置之外，视图还将提供窗口效果，所述窗口效果允许根据进入屏幕的位置、角度和凝视方向来动态地改变vr环境的视图。如上所述，进入屏幕的观看方向由后向相机即自拍相机跟踪。
在一些实施方案中，使用自动立体3d显示器使得能够以立体显示虚拟世界。由于正在跟踪头部，因此不需要从所有角度而只需要从观众/观察者的角度可以看到此3d图像即可。
在人正在vr中观察现实世界的情况下，可以使用进入现实世界的非常宽的视场相机，以便基于虚拟用户的视野来渲染适当的视口。在替代方案中，并非使用广角相机，而是可以实施万向节上的相机，其可以被指向以匹配虚拟用户的视点。
然而，对于本领域技术人员将明显的是，可以在没有这些具体细节中的一些或全部的情况下实践本公开。在其他情况下，未详细描述熟知的过程操作，以免不必要地模糊本公开。
图1说明根据本公开的实施方案的用于视频游戏的交互式游戏玩耍的系统。示出了佩戴头戴式显示器(hmd)102的用户100。hmd102以类似于眼镜、护目镜或头盔的方式佩戴，并且被配置为向用户100显示视频游戏或其他内容。hmd102凭借其在用户眼睛附近提供显示机制，为用户提供十分沉浸的体验。因此，hmd102可以向用户的每只眼睛提供显示区，所述显示区占据用户的大部分或甚至整个视场。
在一个实施方案中，hmd102可以连接到计算机106。与计算机106的连接可以是有线的或无线的。计算机106可以是本领域已知的任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、笔记本计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体流装置等。在一个实施方案中，计算机106可以被配置为执行视频游戏，并从视频游戏输出视频和音频以供hmd102渲染。应当理解，虚拟现实空间或视图的渲染也可以通过手持装置进行。在一些实施方案中，虚拟现实空间可以由计算机106生成，并且虚拟现实空间的视图也可以由手持装置生成。在一些实施方案中，渲染可以借助于计算机，并且视频流可以被传送到手持装置。在另外实施方案中，渲染的一部分可以借助于云或服务器计算机，或计算机106、手持装置和云/服务器计算机的组合。在另一实施方案中，可以提供两台计算机(一台用于生成流式传输到手持装置的视图，和一台用于生成提供给hmd的视图)。应当理解，在一些实施方案中，代替手持装置，第二装置可以是经由屏幕提供vr环境的视图的计算机。
用户100可以操作手套接口对象104a以为视频游戏提供输入。另外，相机108可以被配置为捕获用户100所位于的交互式环境的图像。可以分析这些捕获的图像以确定用户100、hmd102和手套接口对象104a的位置和移动。在一个实施方案中，手套接口对象104a包括可以被跟踪以确定其位置和定向的灯。
如下所述，用户与hmd102中显示的虚拟现实场景的介接方式可以变化，并且除了手套接口对象104a之外，还可以使用其他接口装置。例如，也可以使用单手控制器，以及双手控制器。在一些实施方案中，可以通过跟踪与控制器相关联的灯，或跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器自身。使用这些各种类型的控制器或甚至简单地由一个或多个相机做出和捕获的手势，有可能与hmd102上呈现的虚拟现实环境介接、控制、操纵所述虚拟现实环境、与所述虚拟现实环境交互以及参与所述虚拟现实环境。
另外，hmd102可以包括一个或多个灯，可以跟踪所述灯以确定hmd102的位置和定向。相机108可包括一个或多个传声器以从交互式环境捕获声音。可以处理由传声器阵列捕获的声音以识别声源的位置。可以选择性地利用或处理来自所识别位置的声音，以排除并非来自所识别位置的其他声音。此外，相机108可以被限定以包括多个图像捕获装置(例如，立体相机对)、ir相机、深度相机及其组合。
在另一实施方案中，计算机106用作通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维持并执行用户102正在玩的视频游戏。计算机106将来自hmd102、手套接口对象104a和相机108的输入发送到云游戏提供商，所述云游戏提供商处理输入以影响执行的视频游戏的游戏状态。来自执行的视频游戏的输出例如视频数据、音频数据和触觉反馈数据被发送到计算机106。计算机106可以在发送之前进一步处理数据，或者可以直接将数据发送到相关装置。例如，视频和音频流被提供到hmd102，而振动反馈命令被提供到手套接口对象104a。
在一个实施方案中，hmd102、手套接口对象104a和相机108自身可以是连接到网络110以与云游戏提供商112通信的联网装置。例如，计算机106可以是本地网络装置，例如路由器，所述本地网络装置不以其他方式执行视频游戏处理，而是促进网络流量的通过。hmd102、手套接口对象104a和相机108到网络的连接可以是有线的或无线的。
另外，尽管可以参考头戴式显示器描述本公开中的实施方案，但是应当理解，在其他实施方案中，可以替代非头戴式显示器，包括但不限于电视机、投影仪、lcd显示屏、便携式装置屏幕(例如平板电脑、智能手机、笔记本电脑等)或可以被配置为根据本实施方案渲染视频和/或显示交互式场景或虚拟环境的任何其他类型的显示器。
图2a说明根据本公开的实施方案的头戴式显示器(hmd)。如图所示，hmd102包括多个灯200a-h。这些灯中的每一个可以被配置为具有特定形状，并且可以被配置为具有相同或不同的颜色。灯200a、200b、200c和200d布置在hmd102的前表面上。灯200e和200f布置在hmd102的侧表面上。并且灯200g和200h布置在hmd102的拐角处，以便横跨hmd102的前表面和侧表面。应当理解，可以在用户使用hmd102的交互式环境的捕获图像中识别灯。基于灯的识别和跟踪，可以确定hmd102在交互式环境中的位置和定向。还应当理解，取决于hmd102相对于图像捕获装置的特定定向，灯中的一些可以是可见或可以不是可见的。而且，取决于hmd102相对于图像捕获装置的定向，可以暴露不同部分的灯(例如，灯200g和200h)用于图像捕获。
在一个实施方案中，灯可以被配置为向附近的其他人指示hmd的当前状态。例如，一些或所有灯可以被配置为具有特定颜色布置、亮度布置，被配置为闪烁，具有特定开/关配置或指示hmd102的当前状态的其他布置。举例来说，灯可以被配置为在视频游戏的活动游戏玩耍期间(通常在活动时间线期间或在游戏场景内发生的游戏玩耍)与视频游戏的其他非活动游戏玩耍方面相比显示不同的配置，所述非活动游戏玩耍方面例如导航菜单界面或配置游戏设置(在此期间游戏时间线或场景可能不活动或暂停)。灯也可以被配置为指示游戏玩耍的相对强度级别。例如，当游戏玩耍的强度增加时，灯的强度或闪烁的速率可能增加。以此方式，用户外部的人可以观看hmd102上的灯并且理解用户主动地参与激烈的游戏玩耍，并且可能不希望在那个时刻被打扰。
hmd102可以另外包括一个或多个传声器。在所说明的实施方案中，hmd102包括限定在hmd102的前表面上的传声器204a和204b，以及限定在hmd102的侧表面上的传声器204c。通过利用传声器阵列，可以处理来自每个传声器的声音以确定声音源的位置。此信息可以以各种方式使用，包括排除不需要的声源、使声源与视觉识别相关联等。
hmd102还可以包括一个或多个图像捕获装置。在所说明的实施方案中，hmd102被示出为包括图像捕获装置202a和202b。通过利用立体图像捕获装置对，可以从hmd102的视角捕获环境的三维(3d)图像和视频。可以向用户呈现此种视频，以在佩戴hmd102时向用户提供“视频透视”能力。也就是说，尽管严格意义上说用户不能透视hmd102，但是尽管如此由图像捕获装置202a和202b(例如，或设置在hmd102的外部主体上的一个或多个前向相机108'，如下面的图3中所示)捕获的视频可以提供等同能够看到hmd102外部的环境的功能，就如看穿hmd102一样。此种视频可以用虚拟元素来增强以提供增强现实体验，或者可以以其他方式与虚拟元素组合或混合。尽管在所说明的实施方案中，在hmd102的前表面上示出两个相机，但是应当理解，可以在hmd102上安装任何数量的以任何方向定向的面向外部的相机。例如，在另一实施方案中，相机可以安装在hmd102的侧面上，以提供对环境的额外全景图像捕获。
图2b说明hmd102用户与客户端系统106进行交互且客户端系统106将内容提供到被称为第二屏幕107的第二屏幕显示器的一个实例。如下所述，客户端系统106可以包括用于处理从hmd102到第二屏幕107的内容共享的集成电子装置。其他实施方案可以包括将在客户端系统与hmd102和第二屏幕107中的每一个之间介接的单独装置、模块、连接器。在此一般实例中，用户100正在佩戴hmd102并且正在使用控制器104来玩视频游戏。用户100的交互式玩耍将产生视频游戏内容(vgc)，其被交互地显示到hmd102。
在一个实施方案中，hmd102中正在显示的内容被共享到第二屏幕107。在一个实例中，观看第二屏幕107的人可以观看正由用户100在hmd102中交互地玩耍的内容。在另一实施方案中，另一用户(例如，玩家2)可以与客户端系统106交互以产生第二屏幕内容(ssc)。由也与控制器104(或任何类型的用户界面、手势、语音或输入)交互的玩家产生的第二屏幕内容可以作为ssc产生到客户端系统106，所述第二屏幕内容可以连同从hmd102接收的vgc一起显示在第二屏幕107上。
因此，可以与hmd用户共处一地或远离hmd用户的其他用户的交互性可以是社交的、交互式的，并且对于hmd用户和可能正在第二屏幕107上观看由hmd用户玩耍的内容的用户两者更加沉浸。如所说明，客户端系统106可以连接到因特网110。因特网还可以向客户端系统106提供对来自各种内容源120的内容的访问。内容源120可以包括可通过因特网访问的任何类型的内容。
此种内容可以包括但不限于视频内容、电影内容、流媒体内容、社交媒体内容、新闻内容、朋友内容、广告内容等。在一个实施方案中，客户端系统106可以用于同时处理hmd用户的内容，使得在游戏玩耍期间向hmd提供与交互性相关联的多媒体内容。接着，客户端系统106还可以向第二屏幕提供可能与视频游戏内容无关的其他内容。在一个实施方案中，客户端系统106可以从内容源120中的一个，或从本地用户或远程用户接收第二屏幕内容。
图3概念性地说明根据本公开的实施方案的结合执行视频游戏的hmd102的功能。执行的视频游戏由游戏引擎320定义，所述游戏引擎接收输入以更新视频游戏的游戏状态。视频游戏的游戏状态可以至少部分地由视频游戏的各种参数的值来定义，其定义当前游戏玩耍的各个方面，例如对象的存在和位置、虚拟环境的条件、事件的触发、用户配置文件、观看视角等。
在所说明的实施方案中，游戏引擎接收例如控制器输入314、音频输入316和运动输入318。可以根据与hmd102分开的游戏控制器的操作来定义控制器输入314，所述控制器例如手持游戏控制器(例如，sony
在所说明实施方案中，视频渲染模块322被定义为渲染视频流以在hmd102上呈现。视频流可以由显示器/投影仪机构310呈现，并且由用户的眼睛306通过光学器件308观看。音频渲染模块304被配置为渲染音频流用于供用户收听。在一个实施方案中，通过与hmd102相关联的扬声器304输出音频流。应当理解，扬声器304可以采用露天扬声器、耳机或能够呈现音频的任何其他类型的扬声器的形式。
在一个实施方案中，注视跟踪相机312包括在hmd102中以使得能够跟踪用户的注视。注视跟踪相机捕获用户眼睛的图像，分析所述图像以确定用户的注视方向。在一个实施方案中，可以利用关于用户的注视方向的信息来影响视频渲染。例如，如果确定用户的眼睛正在特定方向上观看，那么可以优先化或强调所述方向的视频渲染，例如通过在用户正在观看的区域中提供更多细节或更快的更新。应当理解，可以相对于头戴式显示器、相对于用户所处的现实环境和/或相对于在头戴式显示器上渲染的虚拟环境来定义用户的注视方向。
广义来说，当单独考虑时，对由注视跟踪相机312捕获的图像的分析提供了用户相对于hmd102的注视方向。然而，当结合hmd102的跟踪位置和定向考虑时，可以确定用户的现实世界注视方向，因为hmd102的位置和定向与用户头部的位置和定向等同。也就是说，可以根据跟踪用户眼睛的位置移动并跟踪hmd102的位置和定向来确定用户的现实世界注视方向。当在hmd102上渲染虚拟环境的视图时，可以应用用户的现实世界注视方向来确定用户在虚拟环境中的虚拟世界注视方向。
另外，触觉反馈模块326被配置为向hmd102或由用户操作的另一装置(例如控制器104)中包括的触觉反馈硬件提供信号。触觉反馈可以采取各种触觉的形式，例如振动反馈、温度反馈、压力反馈等。
目前，用于共享游戏重放的流媒体服务非常受欢迎。
本公开的实施提供在足够宽的视场中渲染视频以支持hmd中的新颖视点。自定义构建在云服务器上(例如，在云中的控制台游戏硬件上，例如
如上所述，需要为用户提供观看，例如观看佩戴hmd102的用户正在体验的交互式活动的能力。例如，一个hmd虚拟现实玩家可以沉浸在hmd中呈现的活动中，而其他人可以与玩家共处一地。这些其他共处一地的玩家可以在观看由hmd玩家体验的交互性或正在观看的虚拟现实场景时找到乐趣。如本文所使用，hmd玩家是正在观看在hmd上呈现的内容的玩家，或者可以是正与在hmd上呈现的一些内容交互的玩家，或者可以是正在玩在hmd上呈现的游戏。如此，仅参考佩戴hmd的用户来参考玩家，而不管在hmd上呈现的内容的类型如何。
在另外实施方案中，不与hmd玩家共处一地的其他人可能希望观看在hmd玩家的hmd中呈现的内容、交互性或媒体。例如，可以提供网站以向用户呈现从不同hmd玩家中进行选择的能力，以便在hmd玩家执行他或她的活动时观察和观看。此实例类似于标准的twitch类型体验，它允许连接到因特网的用户访问网站并搜索远程玩家正在玩的不同类型的内容或媒体。在一些实施方案中，远程玩家可以使用hmd102来玩游戏。
在其他实施方案中，远程玩家可以使用装置的显示屏或电视显示屏来玩游戏或观看内容。广义来说，希望例如通过网站观看远程的另一玩家的活动的用户接着可以选择特定游戏玩家或游戏类型，或游戏的缩略图，或内容的缩略图，以观看由hmd玩家指导的活动。因此，可以提供网站，使得用户能够观看和选择可以由远程hmd玩家主动玩耍的特定交互式内容。希望观看由hmd玩家进行的活动的远程观看者可以简单地点击此内容并开始观看。
观察和观看由hmd玩家做出的动作的人通常被称为观众。观众是那些有权观看活动、交互、动作、移动等但不一定控制游戏动作的人。出于此原因，这些观看者被称为观众。在hmd玩家的上下文中，在hmd显示器中呈现的内容是动态的并且由hmd玩家的移动控制。例如，当hmd玩家来回移动他或她的头部时，向此玩家呈现可观看的不同内容，类似于可以发生现实世界观看人的周围环境的方式。
虽然hmd玩家的头部移动对于hmd玩家是自然的，但是由于快速移动而在观看内容时被提供与hmd玩家相同视图的观众可能变得恶心或头晕。此原因在于观看者并非以与hmd玩家类似的方式移动他/她自己的头部，这使得内容基于hmd玩家的观看方向而改变。在本文描述的各种实施方案中，提供了使得观众能够以不会分散观众注意力也不会导致观众具有头晕或恶心倾向的方式观看hmd玩家正在观看的内容的方法、系统、计算机可读介质和云配置。
举例来说，本文描述的一些实施方案教导在hmd玩家正在观看的虚拟现实环境内提供不同观看点的方式。在一些实施方案中，观看点在观众可观看的角度、方向和内容方面是固定的。因此，如果hmd玩家以这样或那样的方式移动他或她的头部，那么观众对虚拟现实环境的观看可以保持稳定。在一些实施方案中，当hmd玩家移动并横跨不同的虚拟现实环境场景、位置、区域、水平、章节等时，可以为观看用户提供不同的观看点，这些观看点是针对观看观众定制的。例如，可以针对不同类型的内容预先创建各种观看点。
如果内容是视频游戏，那么可以预定义沿着可以在视频游戏中采取的不同路径的观看点作为预先创建的点以供观众观看。因此，当hmd玩家沿着特定路径移动时，可以向观众提供沿着此路径的观看点，所述路径可以由游戏开发者、早期观众或hmd玩家预先选择或预先创建。以此方式，可以基于确定当hmd玩家围绕hmdvr环境移动时那些观看点是优选的或更好的或者提供更有趣的视图来将观众从一个观看点弹出到下一个观看点。在进一步的实施方案中，可以向观众提供正在由hmd玩家观看的可观看内容的子部分。在其他实施方案中，可以向观众提供hmd玩家尚未可观看的额外内容。
取决于游戏、环境、内容的类型、多媒体的类型或者通过定义的规则或约束，可以向观众提供hmd玩家正在观看的更少或更多的可观看内容。如上所述，观众可看到的内容可以是hmd玩家正在观看的相同内容，但是来自不同于hmd玩家的参考视点。然而，在一些实施方案中，提供给观众的视图可以类似于hmd玩家的视图，但是以略微不同的角度或观看视角提供。另外，根据虚拟相机对hmd虚拟玩家的头部进行记录的上下文，可以向观众提供与提供给hmd玩家的类似的视图。在一个实施方案中，代替移动为hmd玩家正在观看的内容的观众提供的虚拟相机视图，当hmd玩家使头部移动时，观众的视图不会以与hmd玩家移动视图相同的速率或速度移动。
在此实施方案中，提供给观众的虚拟相机视图可以以比hmd玩家的视图更慢的速率移动，所述速率基于用户的头部移动的实际速度而改变。又另外，虚拟相机视图的移动可以被设置以跟随hmd玩家的头部的移动且具有延迟。延迟可以类似于将虚拟相机视图链接到hmd的移动的概念橡胶带。也就是说，如果用户的头部快速向左移动，那么观众的虚拟相机视图将更慢地向左移动，其延迟类似于对象在通过橡胶带连接到其前面的移动对象时所追踪的方式。在一些配置中，传动比将被应用于虚拟相机视图的移动，使得虚拟相机以追踪hmd玩家的实际视图的移动的速率移动。可以由执行虚拟现实场景的用于观众的视图的计算机、游戏和/或程序动态地修改传动比。例如，可以在某些游戏、某些场景、某些情况、某些级别、针对某些用户等等中更快地或者在其他情况下更慢地修改传动。通过使用动态传动，可以平滑虚拟相机视图的移动，从而即使在hmd快速移动或不稳定时也为观众观看提供更愉悦的观看体验。
在下文描述的进一步实施方案中，可以向观众提供视觉线索，以使观众能够识别hmd玩家在虚拟现实环境内正在看的位置。一个配置可以允许跟踪hmd玩家的注视，以确定hmd玩家在vr场景中正看到的确切内容。对于可能从虚拟相机(例如，漂浮在hmd玩家的头部后面的虚拟相机)视野的视角观看vr场景的观众，确定特定场景中的焦点是有用的。以此方式，观众还可以关注虚拟现实玩家在场景中感觉重要的内容。
在一些实例和第一人称射击游戏中，观众可能想要知道hmd玩家正在看的位置，例如以识别敌人或障碍物。在一个实施方案中，通过跟踪hmd玩家的注视，有可能通过突出显示内容、改变某些对象或位置的对比度、圈出内容、添加标记、在区域中灰色显示、添加闪烁信标、添加文本、添加浮动对象等来识别hmd玩家正在看什么。以此方式，观众可以接着明确知道hmd玩家正在看的位置，因此观众自己也可以观看该相同区域并更享受地体验内容。
例如，hmd玩家可能在特定游戏中更有经验，或者已经观看了特定类型的内容，并且提供hmd玩家在虚拟现实场景中看的位置的此指示符将为观众提供指导、视觉提示和帮助。在一些实施方案中，可以打开和关闭这些识别特征，以便消除分心。识别器可以由hmd玩家激活，或者可以由观众激活。在一些实施方案中，在多个观众正在例如在twitch呈现中观看由hmd玩家提供的相同内容的情况下，可以为每个观众提供不同的控件，所述控件提供给他们提供或不提供视觉指示器的能力。从hmd玩家的视角来看，hmd玩家的hmd中可能根本不示出指示器。然而，这些指示器对于可能正在观看hmd玩家正在与之交互的内容的一个或多个观众将是有用的。
在一些实施方案中，可以向观众提供控件，所述控件允许观众识别虚拟现实环境内的特定收听分区。收听分区允许观众选择他们希望收听的虚拟现实环境中的位置。这意味着基本上为观众提供收听音频和声音，所述音频和声音模仿观众实际上将从此特定位置出现在场景中的情况。举例来说，如果观众正在观看hmd内容，此hmd内容包括相对于观看位置的街对面的建筑物，那么观众可以识别建筑物中的某位置，例如人站立的第二层楼，并选择在此位置收听。
此功能性为观众提供了收听的远程传送，允许观众收听音频内容和声音，就像观众坐在或站在二楼建筑物中一样。在一个实例中，音频和声音将基本上放大将在建筑物的第二层位置处出现的音频声音，并且减少更远离此虚拟位置的声音。在一些实施方案中，观众可以不时地选择环境内的不同位置作为主要收听分区。在另外实施方案中，还可以将收听分区调整成hmd玩家的相同收听分区。可以为观众提供可切换的选择能力，以便识别观众希望收听的虚拟环境中的位置。
同样，注意观众可以是hmd玩家的本地观众，并且可以在如参考图2b所描述的第二屏幕上观看hmd内容。替代地，作为观众的本地观看者也可以佩戴hmd，所述hmd为观众提供观看hmd玩家内容。在另一实施方案中，观众可以是远程的，并且如果正在将hmd玩家内容发布到允许观看的网站，那么观众可以从网页观看。在一些实施方案中，充当观众的远程观看者可以观看由hmd玩家直播或基本上直播的内容。在其他实施方案中，充当观众的远程观看者可以观看由hmd玩家观看的内容的录制版本。又另外，可以提供允许多个或甚至许多观众观看hmd玩家的相同内容(无论是直播还是录制)的网站。
图4说明根据一个实施方案的观察者使用例如便携式装置或智能电话的装置来观看vr玩家的现实世界空间的实例。在此实例中，相对于观察者的面部跟踪观察者的装置的位置。跟踪可以由面向观察者面部的相机处理，以便检测面部相对于装置的位置。当用户移动装置时，除了装置相对于用户面部的相对位置之外，装置的惯性传感器还可以跟踪装置的位置改变。以此方式，可以跟踪角度、移动、旋转和一般运动的改变。通过跟踪装置相对于观察者的面部或眼睛的位置，可以向观察者提供vr玩家的虚拟现实空间的不同有利点和视图。
在一个实施方案中，观察者的装置的相机，即背离观察者的手持装置相机，可以捕获用于识别现实世界空间中的虚拟现实玩家的当前位置的图像数据。例如，捕获的图像数据可以识别现实世界空间中的对象，例如墙壁、家具、其他人、对象等，并将这些对象用作锚。这些锚可以用作vr玩家正在玩的现实世界的3d空间中的一个或多个参考点。在一些实施方案中，不同的对象可以具有拐角或形状，所述拐角或形状可以利用手持装置的深度传感器来跟踪，这进一步有助于确定vr玩家的位置，或者在vr玩家与虚拟现实环境交互时随着vr玩家移动vr玩家的位置变化。在另外实施方案中，观察者的手持装置可以与vr玩家或控制器的hmd通信和交换信号数据，例如信号强度信息。
除了图像数据之外，还可以使用此信息来确定vr玩家正在看的位置以及在交互期间随着vr玩家移动观看方向的改变。在另外实施方案中，执行虚拟现实环境的hmd或计算机可以跟踪vr玩家在现实世界空间中的位置，例如，使用hmd上的外部相机或观看vr玩家的现实世界空间中的相机。hmd上的一个或多个相机还可以围绕vr玩家跟踪，例如围绕vr玩家360度以定位观察者。接着，此信息可用于提供vr玩家正在研究或正在探索的虚拟现实环境的视图。在一些实施方案中，观看手持装置的屏幕的观察者可能无法观看如vr环境中所描绘的vr玩家以及虚拟现实环境中的周围区域、对象和动画中的任一个或可以观看部分。如此，通过跟踪手持装置相对于vr玩家的位置，并且相对于观察者对手持装置的屏幕的观看方向，可以向观察者提供vr玩家的虚拟现实环境的窗口。
在一个实施方案中，可以增强和改变渲染给vr玩家的vr内容以产生传递到观察者电话的单独流，所述单独流与vr空间的视图中的有利点一致。另外，通过跟踪电话相对于用户面部的位置，可以控制vr空间的窗口视图。vr空间的窗口视图将取决于用户的面部和眼睛相对于屏幕的位置。如果用户更靠近屏幕，那么用户将能够看到vr玩家描绘的虚拟现实角色周围的更多内容。如果用户将电话移离用户的面部，那么vr空间的视图将更窄。
在一些实施方案中，面向用户的面部的相机捕获用户面部的图像。所述图像可用于处理注视检测。在另外实施方案中，图像可以用于确定用户的面部与手持装置的相机或屏幕的接近度。在一些实施方案中，手持装置的惯性传感器用于确定手持装置的倾斜和位置改变。在一些实施方案中，手持装置可以使用深度感测相机或深度传感器来确定手持装置相对于观察者的面部的位置和/或定向。在一些实施方案中，可以使用多个传感器(例如，图像、深度、声音、ir光等)来处理传感器融合效果，以确定手持装置相对于观察者的面部和朝向vr玩家的虚拟现实环境的指向方向或观看方向的位置和定向。
用户还可以将电话左右移动，或者以不同的角度移动并且对准屏幕的边缘以观看更多内容或更少的内容；类似于从窗户向外看且越靠近窗户能够看到越多。如果用户远离屏幕移动，那么可以看到较少的内容，或者相对于vr玩家的vr空间可以看到不同的内容。如进一步所示，窗口因此将由观察者观看vr空间的眼睛或面部的跟踪位置控制。装置与用户面部的相对位置还可以控制移入或移出功能，或放大或缩小功能，或通过在vr玩家周围走动来环视拐角位置。
图5说明根据一个实施方案的观察者将装置移动不同距离d1到d6的实例。观察者可以是第二玩家或其他玩家。举例来说，观察者可以正在观看玩家vr空间，并且被提供相对于观察者正在观看vr玩家的方式的vr内容流。如图所示，不同的位置a-f说明用户可以如何通过提供给观察者的装置的显示器的窗口视图来观看vr玩家的更多或更少的vr空间。如上所述，观察者也可以是参与者或玩家。观察者还可以向vr玩家提供语音反馈以避免某些障碍，或者提供关于vr玩家可能没有看到的内容的信息，因为观察者可能从不同的视角观看相同的vr空间。
在一个实施方案中，当用户将装置移近或远离他的面部时，用户的面部与手持装置之间的距离“d”将改变。还例如使用惯性传感器或跟踪由手持装置的面向外部的相机捕获的现实世界空间中的标记/对象来监测手持装置的角度。例如，可以使用位于手持装置的面向用户侧的相机来跟踪用户的面部和眼睛。此相机通常用于拍摄自拍照，或捕获用户的面部以与其他人进行视频会议通话。可以监测用户面部的捕获图像以确定手持装置到用户面部的距离。在一个实施方案中，可以通过分析用户面部的多个图像帧来监测距离。例如，如果用户在图像中的眼睛是或者变得更远地分开，那么手持装置的相机更靠近或者已移动到更靠近用户的面部。如果图像中的眼睛变得更靠近在一起，那么手持装置的相机可能正在远离用户的面部移动。在一些实施方案中，图像分析和惯性传感器跟踪的组合可用于确定手持装置相对于用户面部的位置。
在一些实施方案中，还可以实施深度感测，其中在用户的面部和手持装置的位置之间计算深度。在另外实施方案中，使用传感器融合来执行深度感测、图像分析和惯性传感器分析，以确定手持装置与用户的面部之间的距离。如上所述，还有可能确定手持装置相对于用户面部定位的方向和角度。在图5中，位置d、e和f示出被跟踪的不同视角，这允许相对于虚拟世界环境的环境的虚拟世界的不同视图。又另外，可以在大约相同的时间分析由前向相机捕获的图像数据，以确定前向相机指向的位置。如上所述，一个实施方案使得能够在现实世界空间中使用标记，以相对于所述现实世界空间跟踪手持装置的实际位置和定向。一种方式是使用图像分析来识别现实世界中的对象，例如家具、建筑物、墙壁、树木、人行道等。这些对象可以用作锚，以便能够确定手持装置关于所述对象的相对移动。
在一些实施方案中，相对于vr玩家以及他或她对虚拟现实空间的观看确定前向相机的观看方向的位置和定向。例如，如果手持装置放置在vr玩家的头部后面，那么向观察者显示的手持装置的屏幕上的视图将显示与vr玩家所看到的大致相同方向视图。如果手持装置被引导到vr玩家的正面，那么视图可以示出vr玩家在虚拟现实环境中的化身，但也可以暴露vr玩家后面的虚拟现实空间，例如，如图8a至图8b所示。因此，跟踪手持装置的观看方向可以是相对于现实世界空间中的对象或标签，也可以是相对于vr玩家。在一些实施方案中，还可以分析由手持装置的前向相机捕获的图像以识别特殊标记、灯、标签或形状(例如，vr玩家的骨架轮廓)，以确定在手持装置的屏幕上显示什么虚拟现实空间。在一些实施方案中，由前向相机捕获的图像数据可以包括与hmd或控制器或由一个或多个vr玩家握持的衣服或对象相关联的灯、可见光或ir。应当理解，环境的跟踪可以使用传感器融合，以识别不同的对象、标记、标签、图像、惯性数据，以识别vr玩家或vr用户正在观看的vr环境的位置和定向视图。
在一些实施方案中，hmd可以直接与观察者的手持装置通信。在此种实例中，通信可以实现hmd和/或手持装置的位置数据的交换。这种通信交换可以是流式格式，或在识别出改变或者改变明显超出阈值时定期进行。通信交换可以另外包括使hmd或hmd的计算机直接流式传输虚拟现实环境的第二视频馈送。在一些实施方案中，通过网络从云系统获得或流式传输视频馈送。
图6a和图6b说明当vr玩家或vr玩家的耳机也与计算机通信时装置与计算机通信的实例。如果vr玩家正在使用外围装置，那么外围装置也可以与计算机通信。此实例示出观察者正在图6a中的距离d7处握持装置。装置的此位置将提供vr玩家的vr空间的视图，这里称为窗口视图。如果用户想要观看vr玩家的左侧或右侧，那么用户可以简单地将装置向左或向右移动，或者相对于屏幕向右移动他的眼睛以观看vr空间的左侧，或者相对于屏幕向左移动他的眼睛以观看vr空间的右侧。窗口效果因此提供了vr空间的视锥体透视图，其可以通过修改观察者的眼睛相对于装置的位置来改变。在一个实施方案中，计算机将能够生成增强或修改的vr内容流，以便相对于vr空间中的vr玩家的观看方向提供此流。
如此，由提供给观察者装置的图像流所提供的视图与提供给vr玩家的视图略有不同。在一个实施方案中，提供装置访问以观看vr场景中的vr玩家，但是将跟随vr玩家进入vr游戏的不同区域。举例来说，vr玩家将被视为主玩家，其可以控制正在输入或与之交互的不同vr空间。在一个实施方案中，通过提供给装置的流仍为绑定vr玩家的观察者提供vr玩家的空间内和周围的窗口视图。如图6b所示，当用户将电话移动到距离d8并且还使电话成角度时，此位置将示出在vr玩家下方的不同内容，例如由vr场景中的vr玩家写入的滑板。此内容不能通过图6a中所示的原始位置观看。如此，用户可以在装置周围自由移动并改变装置相对于用户眼睛的相对位置，以获得vr空间的不同窗口视图。在一些实施方案中，还可以向vr玩家提供外部世界的视图。举例来说，提供给vr玩家外界(现实世界)的视图可以是类似窗口的视频。在一个实施方案中，hmd可以设置有一个或多个外部相机，或者具有广角相机的一个或多个相机，或者万向节上的相机，或多个相机，以从vr玩家的视角捕获不同的视点。
图7说明根据一个实施方案的计算机相对于由装置提供给计算机的面部屏幕跟踪数据向装置提供内容流的实例。跟踪用户空间以获得装置相对于屏幕的位置，并且在一个实施方案中，还可以将装置的惯性传感器数据发送到计算机。通过将来自装置的不同跟踪数据混合并融合在一起，使装置对vr空间的定向和方向以及相对于用户面部的位置和方向更精确。在此实例中，vr玩家正在使用与计算机通信的hmd。通信可以是有线的或无线的。vr玩家还可以使用可能与计算机通信的外围装置。在一些实施方案中，计算机是pc计算机，其处理虚拟现实内容并生成到hmd的视频和音频流。另外，pc计算机可以生成到观察者的装置的第二视频和音频流。基于观看vr玩家的装置的位置，第二流可以被增强或不同于提供到hmd的流。
图8a说明vr玩家和观察者四处移动以从不同角度观看vr玩家的俯视图的实例。因此，除了能够通过观察者更靠近或远离用户的面部移动装置获得vr玩家的vr空间的不同的观看窗口和窗口效果之外，还可以提供不同的视角。
图8b和图8c说明相对于观看vr玩家的观察者的不同位置的窗口视图a和窗口视图b的实例。如观察者的装置的屏幕上所示，vr玩家被描绘为他在一款vr游戏的vr航天飞机中。从一个视图示出vr玩家的正面，但是此视图中不示出另一角色。当观察者移动到vr玩家后面时，示出与vr玩家作战的另一玩家。因此，通过在观看vr玩家的同时在空间中移动，可以看到不同的内容，但也可以利用窗口视图效果调整内容，从而基于观察者空间相对于装置的跟踪位置提供vr空间的更多角度和视角。
参考图9，根据本公开的实施方案示出说明头戴式显示器102的部件的图示。头戴式显示器102包括用于执行程序指令的处理器1300。存储器1302被提供用于存储目的，并且可以包括易失性和非易失性存储器两者。包括显示器1304，其提供用户可以观看的视觉界面。提供电池1306作为头戴式显示器102的电源。运动检测模块1308可以包括各种运动敏感硬件中的任何一种，例如磁力计1310、加速度计1312和陀螺仪1314。
加速度计是用于测量加速度和重力引起的反作用力的装置。单轴和多轴模型可用于检测不同方向上的加速度的量值和方向。加速度计用于感应倾斜、振动和冲击。在一个实施方案中，三个加速度计1312用于提供重力方向，所述重力方向给出两个角度(世界空间俯仰和世界空间滚动)的绝对参考。
磁力计测量头戴式显示器附近的磁场强度和方向。在一个实施方案中，在头戴式显示器内使用三个磁力计1310，从而确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计被设计成跨越地球磁场，具有±80微特斯拉。磁力计受金属影响，并提供与实际偏航成单调的偏航测量。由于环境中的金属，磁场可能会扭曲，这会导致偏航测量中的扭曲。如有必要，可以使用其他传感器(如陀螺仪或相机)的信息校准此扭曲。在一个实施方案中，加速度计1312与磁力计1310一起使用以获得头戴式显示器102的倾斜度和方位角。
在一些实施中，头戴式显示器的磁力计被配置为在其他附近装置中的电磁铁不活动的时间期间被读取。
陀螺仪是用于基于角动量原理测量或维持定向的装置。在一个实施方案中，三个陀螺仪1314基于惯性感测提供关于相应轴(x、y和z)上的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以在没有存在绝对参考的情况下随时间漂移。这需要定期重置陀螺仪，此重置可以使用其他可用信息来完成，例如基于对象的视觉跟踪、加速度计、磁力计等的位置/定向确定。
提供相机1316用于捕获现实环境的图像和图像流。头戴式显示器102中可以包括多于一个相机，包括后向相机(当用户正在观看头戴式显示器102的显示器时远离用户指向)，以及正向相机(当用户正在观看头戴式显示器102的显示器时指向用户)。另外，深度相机1318可以包括在头戴式显示器102中，用于感测现实环境中的对象的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1320。而且，可以包括传声器1322，用于捕获来自现实环境的音频，包括来自周围环境的声音、用户发出的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1324。在一个实施方案中，触觉反馈模块1324能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。
提供led1326作为头戴式显示器102的状态的视觉指示器。例如，led可以指示电池电量、通电等。提供读卡器1328以使头戴式显示器102能够从存储卡读取信息和向存储卡写入信息。包括usb接口1330作为用于实现外围装置的连接或者与其他装置(例如其他便携式装置、计算机等)的连接的接口的一个实例。在头戴式显示器102的各种实施方案中，可以包括各种类型的接口中的任何一个以实现头戴式显示器102的更大连接性。
包括wifi模块1332，用于经由无线联网技术实现到因特网或局域网的连接。此外，头戴式显示器102包括蓝牙模块1334，用于实现到其他装置的无线连接。还可以包括通信链路1336以连接到其他装置。在一个实施方案中，通信链路1336利用红外传输进行无线通信。在其他实施方案中，通信链路1336可以利用各种无线或有线传输协议中的任何一种来与其他装置通信。
包括输入按钮/传感器1338以为用户提供输入接口。可以包括各种输入接口中的任何一种，例如按钮、触摸板、操纵杆、轨迹球等。超声通信模块1340可以包括在头戴式显示器102中，用于经由超声技术促进与其他装置的通信。
包括生物传感器1342以使得能够检测来自用户的生理数据。在一个实施方案中，生物传感器1342包括一个或多个干电极，用于通过用户的皮肤检测用户的生物电信号。
视频输入1344被配置为从主处理计算机(例如主游戏控制台)接收视频信号以在hmd上渲染。在一些实施中，视频输入是hdmi输入。
头戴式显示器102的前述部件已仅被描述为可包括在头戴式显示器102中的示例性部件。在本公开的各种实施方案中，头戴式显示器102可以包括或可以不包括上述各种部件中的一些。出于便于本文所述的本公开的方面的目的，头戴式显示器102的实施方案可以另外包括目前未描述但在本领域中已知的其他部件。
图10是根据本公开的各种实施方案的游戏系统1400的框图。游戏系统1400被配置为经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400通常包括视频服务器系统1420和可选的游戏服务器1425。视频服务器系统1420被配置为以最低的服务质量向一个或多个客户端1410提供视频流。例如，视频服务器系统1420可以接收改变视频游戏内的状态或视点的游戏命令，并且在最小滞后时间的情况下向客户端1410提供反映此状态改变的更新视频流。视频服务器系统1420可以被配置为以各种替代视频格式提供视频流，包括尚未定义的格式。另外，视频流可以包括被配置为以各种帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒120帧。但在本公开的替代实施方案中包括更高或更低的帧速率。
在本文中被单独称为1410a、1410b等的客户端1410可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、信息亭、无线装置、数字垫、单独装置、手持游戏装置等。通常，客户端1410被配置为接收编码视频流、解码视频流，并将得到的视频呈现给用户，例如游戏的玩家。接收编码视频流和/或对视频流进行解码的过程通常包括将各个视频帧存储在客户端的接收缓冲器中。视频流可以在与客户端1410集成的显示器上或在例如监视器或电视的单独装置上呈现给用户。客户端1410可选地被配置为支持多于一个游戏玩家。例如，游戏控制台可以被配置为支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可以接收单独的视频流，或者单个视频流可以包括专门为每个玩家生成的例如基于每个玩家的视点生成的帧的区。客户端1410可选地在地理上分散。游戏系统1400中包括的客户端的数量可以从一个或两个到数千、数万或更多广泛变化。如本文中所使用的，术语“游戏玩家”用于指代玩游戏的人，且术语“游戏装置”用于指代用于玩游戏的装置。在一些实施方案中，游戏装置可以指代协作以向用户传递游戏体验的多个计算装置。例如，游戏控制台和hmd可以与视频服务器系统1420协作以传递通过hmd观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1420接收视频流，并且游戏控制台将视频流或视频流的更新转发到hmd以进行渲染。
客户端1410被配置为经由网络1415接收视频流。网络1415可以是任何类型的通信网络，包括电话网络、因特网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中，视频流经由例如tcp/ip或udp/ip的标准协议传送。替代地，视频流经由专有标准传送。
客户端1410的典型实例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括存储在计算机可读介质上的硬件、固件和/或软件。用于对视频流进行解码(和编码)的系统在本领域中是熟知的，并且取决于所使用的特定编码方案而变化。
客户端1410可以但不要求还包括被配置用于修改所接收的视频的系统。例如，客户端可以被配置为执行进一步的渲染，以将一个视频图像覆盖在另一视频图像上，以裁剪视频图像等。例如，客户端1410可以被配置为接收各种类型的视频帧，例如i帧、p帧和b帧，并将这些帧处理成图像以显示给用户。在一些实施方案中，客户端1410的构件被配置为对视频流执行进一步的渲染、着色、转换为3-d或类似操作。客户端1410的构件可选地被配置为接收多于一个音频或视频流。客户端1410的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音辨识系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、尚待开发的输入装置等。
由客户端1410接收的视频流(以及可选地音频流)由视频服务器系统1420生成和提供。如本文其他地方进一步描述，此视频流包括视频帧(并且音频流包括音频帧)。配置视频帧(例如，它们包括呈适当数据结构的像素信息)以对显示给用户的图像作出有意义的贡献。如本文所使用的，术语“视频帧”用于指代主要包括被配置为有助于例如影响显示给用户的图像的信息的帧。本文关于“视频帧”的大多数教导也可以应用于“音频帧”。
客户端1410通常被配置为从用户接收输入。这些输入可以包括配置成改变视频游戏的状态或以其他方式影响游戏玩耍的游戏命令。可以使用输入装置来接收游戏命令和/或可以通过在客户端1410上执行的计算指令来自动生成游戏命令。所接收的游戏命令经由网络1415从客户端1410传送到视频服务器系统1420和/或游戏服务器1425。例如，在一些实施方案中，游戏命令经由视频服务器系统1420传送到游戏服务器1425。在一些实施方案中，游戏命令的单独副本从客户端1410传送到游戏服务器1425和视频服务器系统1420。游戏命令的通信可选地取决于命令的身份。可选地，从客户端1410a通过用于向客户端1410a提供音频或视频流的不同路线或通信信道传送游戏命令。
游戏服务器1425可选地由与视频服务器系统1420不同的实体操作。例如，游戏服务器1425可以由多玩家游戏的发布者操作。在此实例中，视频服务器系统1420可选地被游戏服务器1425视为客户端，并且可选地被配置为从游戏服务器1425的视点呈现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信可选地通过网络1415进行。如此，游戏服务器1425可以是现有技术的多玩家游戏服务器，其将游戏状态信息发送到多个客户端，其中一个客户端是游戏服务器系统1420。视频服务器系统1420可以被配置为同时与游戏服务器1425的多个实例通信。例如，视频服务器系统1420可以被配置为向不同用户提供多个不同的视频游戏。这些不同视频游戏中的每一个可以由不同的游戏服务器1425支持和/或由不同的实体发布。在一些实施方案中，视频服务器系统1420的若干地理上分布的实例被配置为向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可以与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信可选地经由专用通信信道进行。例如，视频服务器系统1420可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1425。
视频服务器系统1420至少包括视频源1430、i/o装置1445、处理器1450和非暂时性存储装置1455。视频服务器系统1420可以包括一个计算装置或者分布在多个计算装置中。这些计算装置可选地经由例如局域网的通信系统连接。
视频源1430被配置为提供视频流，例如流式视频或形成运动图像的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置为从玩家接收游戏命令并基于所接收的命令维持视频游戏的状态的副本。此游戏状态包括游戏环境中的对象的位置，且通常包括视点。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。通常基于游戏规则以及例如移动、转弯、攻击、设置焦点、交互、使用等游戏命令来维持游戏状态。游戏引擎的一部分可选地设置在游戏服务器1425内。游戏服务器1425可以基于使用地理上分散的客户端从多个玩家接收的游戏命令来维持游戏状态的副本。在这些情况下，游戏状态由游戏服务器1425提供给视频源1430，其中存储游戏状态的副本并执行渲染。游戏服务器1425可以经由网络1415直接从客户端1410接收游戏命令，和/或可以经由视频服务器系统1420接收游戏命令。
视频源1430通常包括渲染逻辑，例如，存储在例如存储装置1455的计算机可读介质上的硬件、固件和/或软件。此渲染逻辑被配置为基于游戏状态创建视频流的视频帧。渲染逻辑中的全部或部分可选地设置在图形处理单元(gpu)内。渲染逻辑通常包括处理阶段，其被配置用于基于游戏状态和视点确定对象之间的三维空间关系和/或应用适当的纹理等。渲染逻辑产生原始视频，接着通常在与客户端1410通信之前对其进行编码。例如，可以根据adobe
在替代实施方案中，视频源1430包括视频记录装置，例如相机。此相机可用于生成可包括在计算机游戏的视频流中的延迟或直播视频。得到的视频流可选地包括渲染图像和使用静止或视频相机记录的图像两者。视频源1430还可以包括存储装置，所述存储装置被配置为存储先前记录的视频以包括在视频流中。视频源1430还可以包括被配置为检测对象(例如，人)的运动或位置的运动或定位感测装置，以及被配置为基于检测到的运动和/或位置来确定游戏状态或产生视频的逻辑。
视频源1430可选地被配置为提供被配置为放置在其他视频上的覆盖物。例如，这些覆盖物可以包括命令接口、登录指令、给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如，网络相机视频)。在包括触摸屏接口或注视检测接口的客户端1410a的实施方案中，覆盖物可以包括虚拟键盘、操纵杆、触摸板等。在覆盖物的一个实例中，玩家的语音被覆盖在音频流上。视频源1430可选地还包括一个或多个音频源。
在视频服务器系统1420被配置为基于来自多于一个玩家的输入来维持游戏状态的实施方案中，每个玩家可具有包括观看的位置和方向的不同视点。视频源1430可选地被配置为基于每个玩家的视点为每个玩家提供单独的视频流。另外，视频源1430可以被配置为向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430可选地被配置为提供3-d视频。
i/o装置1445被配置用于视频服务器系统1420以发送和/或接收例如视频、命令、信息请求、游戏状态、注视信息、装置动作、装置位置、用户动作、客户端身份、玩家身份、游戏命令、安全信息、音频等信息。i/o装置1445通常包括通信硬件，例如网卡或调制解调器。i/o装置1445被配置为与游戏服务器1425、网络1415和/或客户端1410通信。
处理器1450被配置为执行例如软件的逻辑，所述逻辑包括在本文讨论的视频服务器系统1420的各种部件中。例如，处理器1450可以用软件指令编程，以便执行视频源1430、游戏服务器1425和/或客户端限定器1460的功能。视频服务器系统1420可选地包括处理器1450的多于一个实例。处理器1450还可以用软件指令编程，以便执行由视频服务器系统1420接收的命令，或协调本文所讨论的游戏系统1400的各种元件的操作。处理器1450可以包括一个或多个硬件装置。处理器1450是电子处理器。
存储装置1455包括非暂时性模拟和/或数字存储装置。例如，存储装置1455可以包括被配置为存储视频帧的模拟存储装置。存储装置1455可以包括计算机可读数字存储装置，例如，硬盘驱动器、光盘驱动器或固态存储装置。存储装置1415被配置成(例如，通过适当的数据结构或文件系统)存储视频帧、人工帧、包括视频帧和人工帧两者的视频流、音频帧、音频流等。存储装置1455可选地分布在多个装置中。在一些实施方案中，存储装置1455被配置为存储本文其他地方讨论的视频源1430的软件部件。这些部件可以在需要时以准备好供应的格式存储。
视频服务器系统1420可选地还包括客户端限定器1460。客户端限定器1460被配置用于远程确定例如客户端1410a或1410b的客户端的能力。这些能力可以包括客户端1410a本身的能力以及客户端1410a和视频服务器系统1420之间的一个或多个通信信道的能力两者。例如，客户端限定器1460可以被配置为通过网络1415测试通信信道。
客户端限定器1460可以手动或自动地确定(例如，发现)客户端1410a的能力。手动确定包括与客户端1410a的用户通信并要求用户提供能力。例如，在一些实施方案中，客户端限定器1460被配置为在客户端1410a的浏览器内显示图像、文本等。在一个实施方案中，客户端1410a是包括浏览器的hmd。在另一实施方案中，客户端1410a是具有浏览器的游戏控制台，浏览器可以显示在hmd上。所显示的对象请求用户输入客户端1410a的例如操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等信息。由用户输入的信息被传送回客户端限定器1460。
例如，可以通过在客户端1410a上执行代理和/或通过将测试视频发送到客户端1410a来进行自动确定。代理可以包括嵌入在网页中或作为附件安装的计算指令，例如java脚本。代理可选地由客户端限定器1460提供。在各种实施方案中，代理可以找出客户端1410a的处理能力、客户端1410a的解码和显示能力、客户端1410a与视频服务器系统1420之间的通信信道的滞后时间可靠性和带宽、客户端1410a的显示类型、存在于客户端1410a上的防火墙、客户端1410a的硬件、在客户端1410a上执行的软件、客户端1410a内的注册表条目等。
客户端限定器1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定器1460可选地设置在与视频服务器系统1420的一个或多个其他元件分开的计算装置上。例如，在一些实施方案中，客户端限定器1460被配置为确定客户端1410与视频服务器系统1420的多于一个实例之间的通信信道的特性。在这些实施方案中，由客户端限定器发现的信息可用于确定视频服务器系统1420的哪个实例最适合于将流式视频传递到客户端1410中的一个。
本公开的实施方案可以用各种计算机系统配置来实践，所述配置包括手持装置、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机等。本公开还可以在分布式计算环境中实践，其中任务由通过基于有线的网络或无线网络链接的远程处理装置执行。
考虑到上述实施方案，应该理解，本公开可以采用涉及存储在计算机系统中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操控的操作。形成本公开的一部分的本文描述的任何操作都是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。所述设备可以出于所需目的而专门构造，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。确切地说，各种通用机器可以与根据本文的教导写入的计算机程序一起使用，或者可以更方便地构造更专用的设备以执行所需的操作。
本公开还可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，所述数据其后可以由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、附网存储装置(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带和其他光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
在一些实例中，以特定顺序描述方法操作，然而，应当理解，可以在操作之间执行其他内务操作，或者可以调整操作以使得它们在稍微不同的时间发生。在一些实施方案中，操作可以分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只要以期望的方式执行覆盖操作的处理即可。
尽管为了清楚理解的目的已经在一些细节上描述了前述公开，但是将明显的是，可以在所附权利要求的范围内实践某些改变和修改。因此，当前的实施方案应被认为是说明性的而非限制性的，并且本公开并不局限于本文中给出的细节，而是可以在本公开和所附权利要求的范围和等同物内修改。
- 还没有人留言评论。精彩留言会获得点赞！