具有远程扬声器的空间音频的制作方法

背景

娱乐环境可包括各种不同的声源和音频输出设备。例如，家庭娱乐环境可包括电视、立体声音响、台式计算机、视频游戏控制台、一个或多个移动设备(例如智能电话、平板、膝上型计算机等)，并且这些设备中的每一个均可通过一个或多个相关联的扬声器输出声音。

概述

呈现了与经由利用外部扬声器的便携式计算设备输出音频相关的示例。例如，一个公开的实施例提供了一种便携式计算设备，该便携式计算设备被配置成无线地检测便携式计算设备外部的远程扬声器的存在，确定该远程扬声器的位置，并建立与该远程扬声器的无线连接。便携式计算设备还被配置成经由便携式计算设备的显示器来呈现可视内容(该可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象)，生成对应于该对象的音频信号，并将音频信号发送到远程扬声器。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图简述

图1-2示出了用于呈现音频内容的示例环境。

图3示意性地示出了头戴式显示设备的示例。

图4示出了例示用于使用一个或多个远程扬声器来提供空间音频的方法的示例的流程图。

图5示出示例计算系统。

详细描述

一些计算设备可被配置成为用户提供沉浸式的三维视觉体验。例如，增强现实显示系统(诸如透视头戴式显示设备)可显示三维可视内容，使得所显示的内容看起来位于周围的现实世界环境中。这样的计算设备可包括一个或多个本地扬声器以输出与可视内容相关联的音频内容。然而，经由本地扬声器提供的声音可能表现为从同与该声音相关联的增强现实内容的位置不同的位置发出。

因此，公开了涉及经由便携式计算设备在该便携式计算设备周围的现实世界环境中检测位于便携式计算设备外部的一个或多个远程扬声器以及在便携式计算设备与该一个或多个远程扬声器之间建立无线连接的实施例。例如，便携式计算设备可在现实世界环境中确定每个检测到的远程扬声器的位置。此外，便携式计算设备可呈现包括在位置上与现实世界环境中的某个位置相关联的虚拟对象的可视内容，诸如位于相对于现实世界环境的特定位置处的增强现实图像。为了加强增强现实呈现，与虚拟对象对应的音频内容可被发送到位于虚拟对象附近的远程扬声器，使得声音从虚拟对象的方向发出。以这种方式，已经存在于环境中的声音产生设备可由计算设备利用来增强被提供给用户的增强现实体验。

如上所述，在一些实现中，便携式计算设备可以是诸如头戴式显示设备之类的可穿戴计算设备。图1示出了包括头戴式显示(hmd)设备104和多个远程扬声器的示例使用环境100。hmd设备104包括透视显示器，该透视显示器可被配置成向透过透视显示器查看物理环境的用户可视地增强物理环境的外观。关于hmd设备104的附加细节在下面进行描述。

环境100包括当由用户102佩戴时可通过hmd设备104查看的场景106。应当理解，在一些实施例中，通过hmd设备104的透视显示器可查看的场景可基本上与用户的视野共同延伸，而在其他实施例中，通过透视显示器可查看的场景可能占据用户视野的一部分。

hmd设备104可被配置成在环境100内无线地检测hmd设备104外部的一个或多个远程声音产生设备。远程声音产生设备的示例被示出为第一远程扬声器114、第二远程扬声器116、第三远程扬声器118和第四远程扬声器120，每个均被包括作为由接收器112驱动的音频系统的一部分。此外，hmd设备104可被配置成检测与电视机108相关联的条形音箱(soundbar)110，和/或未被例示出的其他声音产生设备，诸如移动电话、计算设备等。hmd设备104可经由任何合适的机制(诸如使用数字生活网络联盟(dlna)协议、通过无线保真(wifi)网络、蓝牙或近场通信或其他发现机制)来检测环境中的远程声音产生设备的存在。一旦一个或多个远程声音产生设备已被发现，则无线连接可在hmd设备104和每个远程声音产生设备之间被建立。无线连接可被自动地建立或者响应于用户输入来被建立。

hmd设备104还可确定每个远程声音产生设备的现实世界环境中的位置。每个远程声音产生设备的位置可由hmd设备自动地确定(例如，在没有明确的用户输入的情况下)，或者每个远程声音产生设备的位置可基于用户输入来被确定。作为一个示例，hmd设备104可收集环境100的图像信息，并且使用该图像信息来确定每个远程扬声器和/或条形音箱的位置。hmd设备104可包括被配置成收集深度和/或可见光图像信息的一个或多个图像传感器。使用该图像信息，对象标识可被执行，以便在hmd设备104周围的物理环境内标识并定位每个远程扬声器。在另一示例中，图像信息可被分析以确定用户102是否正在执行指示远程扬声器和条形音箱中的一者或多者的位置的手势(例如，指向)，使得用户可通过朝扬声器打手势经由手势和/或口头地标识扬声器来手动地标识每个扬声器。作为更具体的示例，用户102可将hmd设备104置于检测模式中，其中hmd设备被配置成解释由用户执行的表明扬声器位于或者在手势的方向上的特定手势。在又一示例中，一个或多个扬声器可标有可以由一个或多个图像传感器(例如，可见光或ir/uv光传感器或深度传感器)拾取的特定空间或光学图案。

作为另一示例，hmd设备104可经由hmd设备的一个或多个麦克风来收集环境100的音频信息，并且基于该音频信息来确定一个或多个远程扬声器的位置。在一些示例中，hmd设备的麦克风可包括麦克风阵列，该麦克风阵列包括两个或更多个麦克风。例如，用户102可发出指示远程扬声器和条形音箱中的一者或多者的位置的语音命令，并且该语音命令可由hmd设备的麦克风检测到。在另一示例中，在与远程扬声器建立无线连接之后，hmd设备可向远程扬声器发送测试音频信号。该远程扬声器可在接收到测试音频信号后输出音频。hmd设备可接着基于来自hmd设备的麦克风阵列的反馈来确定远程扬声器的位置。此外，在两个或更多个远程扬声器是多声道音频系统的一部分的情况下，hmd设备104可例如通过向每个扬声器顺序地发送测试音频信号和/或通过为每个扬声器发送分开的音频频率来确定多声道音频系统的每个远程扬声器的位置。在该测试过程期间，每个远程扬声器正相应地工作的声道可被映射到每个远程扬声器。

如上所述，hmd设备104可包括被配置成显示虚拟对象的图像的透视显示器。虚拟对象可以是基于上述现实世界物理环境的模型构建的虚拟模型的一部分。由此，虚拟对象可被置于与现实世界环境中的某个位置对应的位置处的虚拟模型中。当虚拟对象被显示时，它可能看上去位于用户正在查看的现实世界环境中。

图2示出了由hmd设备104显示的虚拟对象的示例。首先，巫师202被显示定位在电视机108附近，并且另一巫师204位于环境100中的音频系统附近。如图2所示，巫师202位于用户的视野之外(例如，不在场景106中)。因此，在一些示例中，即使虚拟对象在hmd设备上未被显示给用户，这些虚拟对象也可能存在于虚拟模型中。

虚拟模型还可包括与虚拟对象相关联的音频内容。例如，巫师204可具有相关联的音频内容(例如，巫师204可能在说话)。尽管hmd设备104可显示巫师204以使得巫师204出现在现实世界对象(例如，第一远程扬声器114)附近，但是扬声器在hmd设备104上的定位(例如，在用户102的耳朵附近)可能不允许与巫师204相关联的音频内容听起来像是其正在与巫师204相同的位置处被生成。

因此，如此处所描述的，hmd设备104可利用现实世界环境中的一个或多个外部声音产生设备来提供对应于虚拟对象的三维布置的空间音频。例如，由于虚拟对象和扬声器的相对位置，与巫师204相关联的音频内容可被发送到第一远程扬声器114，并且与巫师202相关联的音频内容可被发送到第三远程扬声器118和条形音箱110中的一者或多者。这可能有助于创建源自相关联的虚拟对象的声音的效果。尽管外部扬声器被描绘成用于hmd设备104外部的声源的扬声器，但是在其他示例中，外部扬声器可被配置成用于与hmd一起使用作为hmd的周边配件。此外，在一些示例中，便携式计算设备可被配置成无线地检测并建立与位于便携式计算设备外部的一个或多个远程麦克风的连接。

图3示出了一副带有透视显示器302的可穿戴眼镜形式的hmd设备104的非限制性示例。将理解，hmd设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。此外，本文所描述的各实施例可以与任何其他合适的计算系统联用，包括但不限于移动计算设备、膝上型计算机、台式计算机、平板计算机、其他可穿戴计算机等。

hmd设备104包括透视显示器302和控制器304。透视显示器302可使得图像(诸如全息对象)能够被递送到hmd设备的穿戴者的眼睛。透视显示器302可被配置成向透过透明显示器查看物理环境的穿戴者在视觉上增强现实世界物理环境的外观。在一个示例中，该显示器可被配置成在图形用户界面上显示一个或多个ui对象。在一些实施例中，在图形用户界面上呈现的ui对象可以是覆盖在现实世界环境前面的虚拟对象。同样地，在一些实施例中，在图形用户界面上呈现的ui对象可以纳入通过透视显示器302被看到的现实世界环境的现实世界对象的元素。在其他示例中，显示器可被配置成显示一个或多个其他图形对象，诸如与游戏、视频、或其他可视内容相关联的虚拟对象。

任何合适的机制可被用来经由透视显示器302显示图像。例如，透视显示器302可包括位于透镜306内的图像产生元件(诸如举例而言，透视有机发光二极管(oled)显示器)。作为另一示例，透视显示器302可包括位于hmd设备104的框架内的显示设备(诸如举例而言，硅上液晶(lcos)设备或oled微显示器)。在该示例中，透镜306可用作或以其他方式包括用于将光从显示设备递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在查看的物理环境内的3d全息图像，同时还允许穿戴者查看物理环境中的物理对象，因此创建了混合现实环境。

hmd设备104还可包括用于向控制器304提供信息的各种传感器和相关系统。这样的传感器可包括但不限于，一个或多个面向内的图像传感器308a和308b、一个或多个面向外的图像传感器310、惯性测量单元(imu)312以及一个或多个麦克风320。一个或多个面向内的图像传感器308a、308b可被配置成从穿戴者的眼睛获取注视跟踪数据形式的图像数据(例如，传感器308a可获取穿戴者的一只眼睛的图像数据，而传感器308b可获取穿戴者的另一只眼睛的图像数据)。hmd设备可被配置成基于接收自图像传感器308a、308b的信息用任何合适的方式来确定穿戴者眼睛中的每一只眼睛的注视方向。例如，一个或多个光源314a、314b(诸如红外光源)可被配置成促使闪光从穿戴者的每一只眼睛的角膜反射。一个或多个图像传感器308a、308b接着可被配置成捕捉穿戴者眼睛的图像。根据收集自图像传感器308a、308b的图像数据所确定的闪烁和瞳孔的图像可被控制器304用来确定每一只眼睛的光轴。使用该信息，控制器304可被配置成确定穿戴者正在注视方向。控制器304可被配置成附加地确定穿戴者正注视的物理和/或虚拟对象的身份。

一个或多个面向外的图像传感器310可被配置成接收来自hmd设备104所处的物理环境的物理环境数据。来自面向外的图像传感器310的数据可被用来检测显示器302的视野内的移动，诸如视野内的穿戴者或人或物理对象所执行的基于手势的输入或其他移动。在一个示例中，来自面向外的图像传感器310的数据可被用来检测由hmd设备的穿戴者执行的指示对显示设备上显示的ui对象的选择的选择输入，诸如手势(例如，捏合手指、握紧拳头等)。来自面向外的传感器的数据还可被用来确定(例如，来自成像环境特征的)方向/位置和取向数据，这使得能够实现对hmd设备104在现实世界环境中的位置/运动跟踪。

imu312可被配置成将hmd设备104的位置和/或取向数据提供给控制器304。在一个实施例中，imu312可被配置为三轴或三自由度位置传感器系统。这一示例位置传感器系统可例如包括用于指示或测量hmd设备104在3d空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的取向变化的三个陀螺仪。从imu的传感器信号导出的取向可被用于经由透视显示器按三自由度来显示一个或多个虚拟ui对象。

在另一示例中，imu312可被配置成六轴或六自由度位置传感器系统。这样的配置可包括三个加速度计和三个陀螺仪以指示或测量hmd设备104沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化。在一些实施例中，来自面向外的图像传感器310和imu312的位置和取向数据可以被结合使用以确定hmd设备104的位置和取向。

hmd设备104还可支持其他合适的定位技术，诸如gps或其他全球导航系统。此外，尽管已描述了位置传感器系统的具体示例，但将理解，任何其他合适的位置传感器系统都可被使用。例如，头部姿势和/或移动数据可基于来自戴在穿戴者上和/或穿戴者外部的传感器的任何组合的传感器信息来被确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、gps设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，wifi天线/接口)等。

继续图3，控制器304可被配置成基于由一个或多个面向内的图像传感器308a、308b检测到的信息来随时间记录多个眼睛注视样本。对于每个眼睛注视样本，眼睛跟踪信息以及在一些实施例中的头部跟踪信息(来自图像传感器310和/或imu312)可被用来估计该眼睛注视样本的原点和方向向量以产生眼睛注视与透视显示器相交的估计位置。被用来确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的示例可包括眼睛注视方向、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向的角度改变，和/或任何其他合适的跟踪信息。在一些实施例中，眼睛注视跟踪可独立于hmd设备104的穿戴者的两只眼睛来被记录。

如上所述，hmd设备104还可包括捕捉音频数据的一个或多个麦克风，诸如麦克风320。在一些示例中，该一个或多个麦克风320可包括麦克风阵列，该麦克风阵列包括两个或更多个麦克风。例如，麦克风阵列可包括四个麦克风，两个麦克风被定位在hmd设备的右透镜上方，而另外两个麦克风被定位在hmd设备的左透镜上方。此外，音频输出可经由一个或多个扬声器(诸如扬声器322)来呈现给穿戴者。

控制器304可包括与hmd设备的各个传感器和显示器进行通信的逻辑机和存储机，如以下参考图5更详细地讨论的。如本文所描述的，在一个示例中，存储机可包括可由逻辑机执行以将经显示的虚拟对象的声音提供给一个或多个外部扬声器的指令。

图4示出了描绘用于经由远程扬声器提供空间音频内容的示例方法400的流程图。方法400可由被配置成呈现可视内容和相关联的音频内容的计算设备(诸如hmd设备104)来执行。

在402，方法400包括无线地检测计算设备外部的一个或多个远程扬声器的存在。如上所解释的，计算设备可例如根据dlna协议或其他合适的机制来自动地检测一个或多个远程扬声器的存在。此外，在404，计算设备与每个检测到的远程扬声器建立无线连接。无线连接可以是直接连接，或者可以是经由诸如网络路由器之类的中间设备的连接，并且可包括wifi连接、wifi直接连接、蓝牙或其他合适的无线连接。

在406，方法400包括确定每个远程扬声器的位置。位置可被自动地或手动地确定，并且可经由图像信息、音频信息、其组合和/或经由任何其他合适的信息来被确定。在一个示例中，如408所指示的，确定(诸)远程扬声器的位置可包括基于指示扬声器位置的用户输入来确定位置。用户指示可包括由用户执行的手势(诸如指向远程扬声器的位置)，其可经由来自计算设备的图像传感器的数据来被检测到。用户指示替代地或附加地可包括由用户发出的语音命令，该语音命令描述由计算设备的一个或多个麦克风检测到的远程扬声器的位置。

在另一示例中，如410所指示的，远程扬声器的位置可基于使用由计算设备的图像传感器捕获的图像数据的对象标识来被确定。例如，对象标识可在计算设备周围的现实世界环境的深度图上被执行，并且远程扬声器的位置可基于对象标识来被确定。在其他示例中，视觉标记可由用户安放在远程扬声器上，并且该视觉标记可使用图像数据来被标识。

在另一示例中，如412所指示的，远程扬声器的位置可通过计算设备将测试音频信号(通过先前建立的无线连接)发送到远程扬声器来被确定。当测试音频信号被远程扬声器接收到时，远程扬声器输出随后由计算设备的麦克风检测到的音频。如果计算设备包括麦克风阵列(例如，两个或更多个麦克风)，则接收到的音频输出可被用来确定远程扬声器的位置。

在一些示例中，环境中的两个或更多个远程扬声器可以是多声道音频系统的一部分。在这些情况下，音频系统的每个远程扬声器的位置以及声道可被确定。例如，计算设备可被配置成发送第一声道测试音频信号，经由计算设备的麦克风阵列接收来自第一远程扬声器的输出，并且基于来自麦克风阵列的信号来确定第一远程扬声器的位置。在这样做时，计算设备还可将第一音频声道映射到第一远程扬声器。对于附加的扬声器，计算设备可被配置成发送第二声道测试音频信号，经由计算设备的麦克风阵列接收来自第二远程扬声器的输出，并且基于来自麦克风阵列的信号来确定第二远程扬声器的位置。在这样做时，计算设备还可将第二音频声道映射到第二远程扬声器。

在又一示例中，每个远程扬声器的位置可能已在先前的扬声器发现会话期间被确定。例如，计算设备正在工作的房间可(例如，经由位置信息和/或图像信息)来被计算设备识别，并且与房间相关的元数据可由计算设备获得。元数据可包括关于房间中存在的扬声器的位置和类型的信息，并且可被本地储存在计算设备上或者可从远程设备获得。以这种方式，扬声器的位置确定和映射过程可被绕过。

在414，可视内容经由计算设备的显示器设备来被呈现。可视内容可包括虚拟现实内容或增强现实内容。可视内容可包括与现实世界环境中的某个位置相关联的对象。例如，可视内容可包括如图2所例示的被定位在现实世界对象(例如，图2的第一远程扬声器)附近的虚拟巫师。对象可位于计算设备的用户的视野中，或者对象可位于用户的视野之外。在416，与对象对应的音频信号被生成。例如，虚拟巫师可具有待与巫师的显示一起输出的相关联的音频内容(例如，巫师可能在说话)。

在418，音频信号被发送到远程扬声器中的一个或多个。在一个示例中，被发送到远程扬声器的音频信号可包括经压缩或未经压缩的呈现的音频数据。在另一示例中，被发送到远程扬声器的音频信号可包括用于在远程扬声器的接收器上呈现音频数据的音频内容信息。例如，被用来生成可视内容和音频内容的虚拟模型的帧可被发送到接收器，并且接收器可呈现音频数据以供在远程扬声器上的输出。在一些示例中，音频信号可被直接地发送到远程扬声器。在其他示例中，音频信号可经由接收器、放大器、呈现器或其他中间组件来被发送以供在远程扬声器处的呈现。当存在多于一个的远程扬声器和/或当计算设备正在输出多个音频信号时，每个音频信号可包括声道信息，以使得音频信号能够由期望的远程扬声器输出。

被选择来接收音频信号的远程扬声器或扬声器可以基于对象相对于计算设备的位置(例如，对象在现实世界环境中与之潜在地相关联的位置)。例如，如果对象比计算设备更靠近远程扬声器，则远程扬声器可被选择来接收音频信号。然而，如果远程扬声器并不比计算设备更靠近对象，则音频信号可替代地由计算设备的本地扬声器输出。在其中存在多于一个的远程扬声器的示例中，最靠近对象的位置的远程扬声器可被选择来接收音频信号。由此，如果存在计算设备已与之建立了连接的多于一个的远程扬声器，则被选择来接收音频信号的远程扬声器可以基于对象的位置、计算设备的位置以及多个远程扬声器中的每一个的位置，如在422所指示的。

被发送到远程扬声器的音频信号在某些情况下可被调整以将计算设备和远程扬声器之间的连接延迟考虑在内并且/或者将计算设备和远程扬声器之间的距离考虑在内，如424所指示的。尽管与以上讨论的对象相关联的音频信号被发送到一个远程扬声器，但是在一些示例中，附加的音频信号可以与所呈现的可视内容相关联。这些附加的音频信号可被发送到现实世界环境中的其他远程扬声器并且/或者被发送到计算设备的本地扬声器。为了确保来自环境中所有各种声音产生设备的音频输出在期望的时间(例如，与所呈现的可视内容同时和/或同步)到达用户，被发送到远程扬声器的音频信号可相对于被发送到其他扬声器的音频信号来被调整。在一个示例中，计算设备和远程扬声器之间的连接中的延迟可被确定，并且被发送到远程扬声器的音频信号可基于该延迟来被调整。调整可包括同被发送到计算设备的本地扬声器的音频信号相比更早地将音频信号发送到远程扬声器。在另一示例中，计算设备和远程扬声器之间的距离可被确定，并且被发送到远程扬声器的音频信号基于该距离来被调整。调整可包括同被发送到计算设备的本地扬声器的音频信号相比更早地将音频信号发送到远程扬声器。在另外的示例中，被发送到远程扬声器的音频信号可随计算设备的位置改变而改变。

在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(api)、库和/或其他计算机程序产品。

图5示意性地示出了可执行上述方法和过程中的一个或多个的计算系统500的非限制性实施例。以简化形式示出了计算系统500。计算系统500可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。hmd设备104是计算系统500的一个非限制性示例。

计算系统500包括逻辑机502和存储机504。计算系统500可任选地包括显示子系统506、输入子系统508、通信子系统514、扬声器516和/或在图5中未示出的其他组件。

逻辑机502包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造。这样的指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或者以其他方式得到期望的结果。

逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核的，并且在其上被执行的指令可被配置成用于串行、并行和/或分布式处理。逻辑机的各个个体组件可任选地分布在两个或更多个分开的设备上，这些设备可以位于远程和/或被配置成用于协同处理。逻辑机的各方面可由按云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

存储机504包括被配置成保持可由逻辑机执行以实现本文所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机504的状态(例如，以保持不同的数据)。

存储机504可包括可移动和/或内置设备。存储机504可包括光学存储器(例如，cd、dvd、hd-dvd、蓝光盘等)、半导体存储器(例如，ram、eprom、eeprom等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、mram等)等等。存储机504可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，存储机504包括一个或多个物理设备。然而，本文所述的指令的各方面可替代地通过不由物理设备在有限时长内保持的通信介质(例如，电磁信号、光信号等)来传播。

逻辑机502和存储机504的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(fpga)、程序和应用专用的集成电路(pasic/asic)、程序和应用专用的标准产品(pssp/assp)、片上系统(soc)以及复杂可编程逻辑器件(cpld)。

显示子系统506可被用来呈现由存储机504所保持的数据的视觉表示。该视觉表示可采取图形用户界面(gui)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，所以同样可以变换显示子系统506的状态以视觉地表示底层数据的改变。显示子系统506可包括利用实际上任何类型的技术的一个或多个显示设备，诸如图3中所示的hmd设备104的显示器302。可将这样的显示设备与逻辑机502和/或存储机504组合在共享封装中，或者这样的显示设备可以是外围显示设备。

输入子系统508可包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(nui)组件或者与其对接。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。示例nui组件可包括用于语言和/或话音识别的一个或多个麦克风510；图像传感器512；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件；以上参考图3描述的传感器中的任一者；或者任何其他合适的传感器。

通信子系统514可被配置成将计算系统500与一个或多个其他计算设备可通信地耦合。通信子系统514可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统500经由诸如互联网之类的网络将消息发送至其他设备并且/或者从其他设备接收消息。在一些示例中，通信子系统514可被配置成直接或者经由网络518来自动地检测一个或多个远程扬声器520并且/或者与之连接。附加地，计算系统500可包括音频输出设备，诸如一个或多个扬声器516。

另一示例提供了一种便携式计算设备上的方法，包括无线地检测便携式计算设备外部的远程扬声器的存在，确定远程扬声器的位置，建立与远程扬声器的无线连接，经由便携式计算设备的显示器来呈现可视内容，可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象，生成对应于该对象的音频信号，以及将音频信号发送到远程扬声器。在这样的示例中，将音频信号发送到远程扬声器附加地或替代地包括基于对象相对于便携式设备的位置将音频信号发送到远程扬声器。在这样的示例中，对象在一些示例中可附加地或替代地在查看所呈现的可视内容的用户的视野之外。在这样的示例中，对象在其他示例中可附加地或替代地在查看所呈现的可视内容的用户的视野中。在这样的示例中，远程扬声器可附加地或替代地为多个远程扬声器中的一个，并且该方法可附加地或替代地进一步包括基于每个远程扬声器的位置、对象的位置以及便携式计算设备的位置来选择要将音频信号发送到的远程扬声器。在这样的示例中，确定远程扬声器的位置可附加地或替代地包括基于来自一个或多个图像传感器的反馈来检测由用户执行的指示远程扬声器的位置的手势。在这样的示例中，确定远程扬声器的位置可附加地或替代地包括对由一个或多个图像传感器收集到的图像数据执行对象标识。在这样的示例中，确定远程扬声器的位置可附加地或替代地包括向远程扬声器发送测试音频信号，经由便携式计算设备上的多个麦克风接收来自远程扬声器的输出，以及基于来自多个麦克风的信号来确定远程扬声器的位置。在这样的示例中，远程扬声器可附加地或替代地是多个远程扬声器中的一个，并且确定多个远程扬声器中的每个远程扬声器的位置可附加地或替代地包括发送第一声道测试音频信号，经由多个麦克风接收来自第一远程扬声器的输出，以及基于来自多个麦克风的信号来确定第一远程扬声器的位置。在这样的示例中，该方法可附加地或替代地包括发送第二声道测试音频信号，经由多个麦克风接收来自第二远程扬声器的输出，以及基于来自多个麦克风的信号来确定第二远程扬声器的位置。在这样的示例中，可视内容在一个示例中可附加地或替代地包括增强现实内容。在这样的示例中，将音频信号发送到远程扬声器可附加地或替代地包括发送经压缩或未经压缩的呈现的音频数据。在这样的示例中，将音频信号发送到远程扬声器可附加地或替代地包括发送内容信息以用于在接收器上呈现音频数据。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

另一示例提供了一种便携式计算设备，包括一个或多个传感器、显示器、逻辑机和保持指令的存储机，该指令可由逻辑机执行以生成包括虚拟对象以及同虚拟对象相关联的音频内容的虚拟环境的模型，基于来自一个或多个传感器的数据来确定便携式计算设备周围的现实世界环境中的多个远程扬声器的位置，标识与每个远程扬声器对应的音频声道，并且基于虚拟对象在模型中相对于现实世界环境中的一个或多个远程扬声器的位置的位置来将音频信号发送到一个或多个远程扬声器。在这样的示例中，一个或多个传感器可附加地或替代地包括图像传感器和麦克风阵列中的一者或多者。为了确定多个远程扬声器的位置并且标识对应于每个远程扬声器的音频声道，指令可附加地或替代地可执行以发送第一声道测试音频信号，经由麦克风阵列接收来自第一远程扬声器的输出，基于来自麦克风阵列的信号来确定第一远程扬声器的位置，并将第一声道映射到第一远程扬声器。在这样的示例中，指令可附加地或替代地进一步可执行以发送第二声道测试音频信号，经由麦克风阵列接收来自第二远程扬声器的输出，基于来自麦克风阵列的信号来确定第二远程扬声器的位置，并将第二声道映射到第二远程扬声器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

另一示例提供了一种可穿戴计算设备，包括一个或多个传感器、透视显示器、一个或多个扬声器、逻辑机和保持指令的存储机，该指令可由逻辑机执行以无线地检测可穿戴计算设备外部的远程扬声器的存在，基于由一个或多个传感器收集到的图像信息来确定远程扬声器的位置，建立与远程扬声器的无线连接，经由透视显示器来呈现增强现实内容，该增强实境内容包括与可穿戴计算设备周围的现实世界环境中的某个位置相关联的对象，生成对应于对象的音频信号，并将音频信号发送到远程扬声器。在这样的示例中，指令可附加地或替代地可执行以确定接收器和可穿戴计算设备之间的连接中的延迟，并且基于延迟来调整被发送到远程扬声器的音频信号。在这样的示例中，指令可附加地或替代地可执行以确定便携式计算设备和远程扬声器之间的距离，并且基于该距离来调整音频信号。在这样的示例中，指令可附加地或替代地可执行以生成对应于与可穿戴计算设备周围的现实世界环境中的第二位置相关联的第二对象的第二音频信号，并将第二音频信号发送到可穿戴计算设备的一个或多个扬声器。在这样的示例中，远程扬声器可附加地或替代地为第一远程扬声器，并且指令可附加地或替代地可执行以生成对应于与可穿戴计算设备周围的现实世界环境中的第二位置相关联的第二对象的第二音频信号，并将第二音频信号发送到第二远程扬声器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

本公开的主题包括各种过程、系统和配置以及本文公开的其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。