基于环境触发条件的自适应ANC的制作方法

基于环境触发条件的自适应anc
1.本技术是申请日为2018年12月20日，申请号为201880099008.4，发明名称为“基于环境触发条件的自适应anc”的申请的分案申请。
2.相关申请的交叉引用
3.本技术要求2018年10月26日提交的第16/171,389号美国非临时申请的权益，其公开内容通过此引用以其整体被并入。
4.背景
5.主动噪声消除(anc)通常用于耳机和其他电子设备中，以消除用户周围的噪声。例如，用户经常在飞机上佩戴装有anc的耳机，以压过喷气发动机的噪音，并去除来自附近乘客的声音。主动噪声消除典型地通过监听外部声音然后产生与实际背景噪声相差180度的噪声消除信号来工作。当anc信号和外部声音组合时，外部声音被静音或至少被极大地减音。
6.在典型的anc应用中，用户会打开anc功能，并保持打开状态，直到他们戴完头戴式装置(headset)。例如，如果用户骑山地自行车或公路自行车，用户可以佩戴anc耳机或耳塞，其允许用户听音乐，同时使外部声音完全静音或大大减小。在这样的示例中，用户通常会在骑自行车期间保持anc功能运行。然而，在此骑行过程中，用户可能会错过一些对用户来说很重要的声音，例如汽车喇叭或火车汽笛。
7.概述
8.如下文将更详细描述的，本公开描述了基于环境触发条件来修改主动噪声消除。在某些外部噪声应该到达用户的情况下，本文的实施例可以修改主动噪声消除，以允许那些外部声音通过，到达用户。应当注意的是，在整个文件中，术语“噪声消除”、“主动噪声消除”或“声音消除”可以分别指减小任何类型的可听见的噪声或声音的方法。
9.在一个示例中，一种用于基于环境触发条件来修改主动噪声消除的计算机实现的方法可以包括经由声音再现系统来应用减小各种声音信号的幅度的噪声消除。该方法还可以包括在声音信号中识别其幅度将通过主动噪声消除而减小的外部声音。该方法然后可以包括分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到，并且在确定了该外部声音要让用户听到时，该方法可以包括修改主动噪声消除，使得所识别的外部声音让用户听到。
10.在一些示例中，修改主动噪声消除信号包括增加所识别的外部声音的可听度(audibility)。增加所识别的外部声音的可听度可以包括压缩经修改的主动噪声消除信号，使得经修改的主动噪声消除信号在缩短的时间帧中被回放。附加地或替代地，增加所识别的外部声音的可听度可以包括沿着指定的频带增加音量。
11.在一些示例中，所识别的外部声音可以包括各种词，或者特定的词或短语。在一些示例中，该方法还可以包括检测所识别的外部声音源自哪个方向，并且将所识别的外部声音向用户呈现为来自检测到的方向。在一些示例中，可以进一步修改主动噪声消除信号，以呈现随后出现的来自检测到的方向的音频。
12.在一些示例中，当确定外部声音要让用户听到时，可以应用策略。在一些示例中，
所识别的外部声音可以根据严重性水平进行排名。在一些示例中，一确定所识别的外部声音具有最小阈值的严重性水平，就可以修改主动噪声消除信号。
13.在一些示例中，用于基于环境触发条件来修改主动噪声消除的方法还可以包括接收在用户的指定距离内发生了事件的指示，并且确定该事件与用户相关。然后，基于该事件与用户相关(pertinent)的确定，可以修改主动噪声消除信号以允许用户听到来自事件现场的外部声音。在一些示例中，被配置为监听外部声音的麦克风可以朝向事件定向地取向。
14.在一些示例中，该方法还可以包括确定在系统的指定距离内的另一电子设备已经检测到与用户相关的外部声音。该方法然后可以包括确定另一个电子设备的当前定位，并且将被配置为监听外部声音的麦克风朝着所确定的该电子设备的定位物理地或数字地取向(即，波束成形(beamforming))。
15.在一些示例中，修改主动噪声消除信号可以包括继续对从多个位置接收的外部声音应用主动噪声消除，同时对从指定位置接收的外部声音禁用主动噪声消除。在一些示例中，修改主动噪声消除信号可以包括继续对从特定的人接收的外部声音应用主动噪声消除，同时对从其他人接收的外部声音禁用主动噪声消除。
16.在一些示例中，修改主动噪声消除信号可以包括对在外部声音中检测到的特定词禁用主动噪声消除，同时继续对其他词应用主动噪声消除。例如，收听用户可能戴着增强现实(ar)头戴式装置，并且外部用户可以说“插入(barge in)”，并且外部用户的下一个短语可以被发送给收听用户，而来自外部用户的后续短语被噪声消除。在一些示例中，修改主动噪声消除信号可以包括临时暂停主动噪声消除，并且在指定的时间量之后恢复主动噪声消除。在一些示例中，声音再现系统还可以包括麦克风，用于向用户回放经修改的主动噪声消除信号。
17.此外，用于基于环境触发条件来修改主动噪声消除的相应系统可以包括存储在存储器中的几个模块，包括声音再现系统，该声音再现系统被配置为应用减小各种噪声信号的幅度的噪声消除。该系统还可以包括外部声音识别模块，该外部声音识别模块在噪声信号中识别其幅度将通过噪声消除而减小的外部声音。声音分析器可以分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到，并且在确定了外部声音要让用户听到时，anc修改模块可以修改噪声消除，使得所识别的外部声音让用户听到。
18.在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或更多个计算机可执行指令，该指令在由计算设备的至少一个处理器执行时，可以使计算设备：经由声音再现系统来应用减小噪声信号的幅度的噪声消除，在噪声信号中识别其幅度将通过噪声消除而减小的外部声音，分析所识别的外部声音以确定所识别的外部声音是否要让用户听到，以及在确定了外部声音要让用户听到时，修改噪声消除，使得所识别的外部声音让用户听到。
19.根据本文描述的一般原理，来自上面提到的实施例中的任一个的特征可以与彼此组合地被使用。当结合附图和权利要求阅读下面的详细描述时，这些和其他实施例、特征和优点将被更充分地理解。
20.特别地，在涉及方法、系统和存储介质的所附权利要求中公开了根据本发明的实施例，其中，在一个权利要求类别(例如方法)中提到的任何特征也可以在另一个权利要求类别(例如系统、存储介质以及计算机程序产品)中被要求保护。所附权利要求中的从属性
或往回引用仅出于形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
21.在根据本发明的实施例中，一个或更多个计算机可读非暂时性存储介质可以体现软件，该软件在被执行时可操作来执行根据本发明或任何上面提到的实施例的方法。
22.在根据本发明的实施例中，一种系统可以包括：一个或更多个处理器；以及耦合到处理器并包括由处理器可执行的指令的至少一个存储器，处理器在执行指令时可操作来执行根据本发明或任何上面提到的实施例的方法。
23.在根据本发明的实施例中，一种优选地包括计算机可读非暂时性存储介质的计算机程序产品当在数据处理系统上被执行时可以可操作来执行根据本发明或任何上面提到的实施例的方法。
24.本技术提供了以下内容：
25.1).一种计算机实现的方法，包括：
26.经由声音再现系统来应用声音消除，所述声音消除减小一个或更多个声音信号的幅度；
27.在所述一个或更多个声音信号中，识别其幅度将通过所述声音消除而减小的外部声音；
28.分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到；以及
29.在确定了所述外部声音要让用户听到时，修改所述声音消除，使得所识别的外部声音让用户听到。
30.2).根据1)所述的计算机实现的方法，其中，修改所述声音消除信号还包括增加所识别的外部声音的可听度。
31.3).根据2)所述的计算机实现的方法，其中，增加所识别的外部声音的可听度包括压缩经修改的声音消除信号，使得所述经修改的声音消除信号在缩短的时间帧中被回放。
32.4).根据2)所述的计算机实现的方法，其中，增加所识别的外部声音的可听度包括沿着指定的频带增加音量。
33.5).根据1)所述的计算机实现的方法，其中，所识别的外部声音包括一个或更多个词。
34.6).根据1)所述的计算机实现的方法，还包括：
35.检测所识别的外部声音源自哪个方向；以及
36.将所识别的外部声音向用户呈现为来自检测到的方向。
37.7).根据6)所述的计算机实现的方法，还包括进一步修改所述声音消除以呈现随后出现的来自检测到的方向的音频。
38.8).根据1)所述的计算机实现的方法，其中，当确定所述外部声音要让用户听到
时，应用一个或更多个策略。
39.9).根据1)所述的计算机实现的方法，其中，根据严重性水平对所识别的外部声音进行排名。
40.10).根据9)所述的计算机实现的方法，其中，一确定所识别的外部声音具有最小阈值的严重性水平，就修改所述声音消除。
41.11).一种系统，包括：
42.至少一个物理处理器；
43.包括计算机可执行指令的物理存储器，所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器：
44.经由声音再现系统来应用声音消除，所述声音消除减小一个或更多个声音信号的幅度；
45.在所述一个或更多个声音信号中，识别其幅度将通过所述声音消除而减小的外部声音；
46.分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到；以及
47.在确定了所述外部声音要让用户听到时，修改所述声音消除，使得所识别的外部声音让用户听到。
48.12).根据11)所述的系统，还包括：
49.接收在用户的指定距离内发生了事件的指示；以及
50.确定所述事件与用户相关，
51.其中，基于所述事件与用户相关的所述确定来修改所述声音消除。
52.13).根据12)所述的系统，还包括将被配置为监听所述外部声音的一个或更多个麦克风朝向所述事件的方向定向地取向。
53.14).根据11)所述的系统，还包括：
54.确定所述系统的指定距离内的另一电子设备已经检测到与用户相关的外部声音；
55.确定所述另一电子设备的当前定位；以及
56.将被配置为监听所述外部声音的一个或更多个麦克风朝向所确定的所述电子设备的定位定向地取向。
57.15).根据11)所述的系统，其中，修改所述声音消除包括继续对从多个位置接收的外部声音应用声音消除，同时对从指定位置接收的外部声音禁用声音消除。
58.16).根据11)所述的系统，其中，修改所述声音消除包括继续对从特定人接收的外部声音应用声音消除，同时对从其他人接收的外部声音禁用声音消除。
59.17).根据11)所述的系统，其中，修改所述声音消除包括对在所述外部声音中检测到的特定词禁用声音消除，同时继续对其他词应用声音消除。
60.18).根据11)所述的系统，其中，修改所述声音消除包括临时暂停声音消除，并且在指定的时间量之后恢复声音消除。
61.19).根据11)所述的系统，其中，所述系统还包括扬声器，用于向用户回放经修改的声音消除信号。
62.20).一种非暂时性计算机可读介质，包括一个或更多个计算机可执行指令，所述一个或更多个计算机可执行指令在由计算设备的至少一个处理器执行时，使所述计算设
备：
63.经由声音再现系统来应用声音消除，所述声音消除减小一个或更多个声音信号的幅度；
64.在所述一个或更多个声音信号中，识别其幅度将通过所述声音消除而减小的外部声音；
65.分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到；以及
66.在确定了所述外部声音要让用户听到时，修改所述声音消除，使得所识别的外部声音让用户听到。
67.21).一种计算机实现的方法，包括：
68.经由声音再现系统来应用声音消除，所述声音消除减小一个或更多个声音信号的幅度；
69.在所述一个或更多个声音信号中，识别其幅度将通过所述声音消除而减小的外部声音；
70.分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到；以及
71.在确定了所述外部声音要让用户听到时，修改所述声音消除，使得所识别的外部声音让用户听到。
72.22).根据21)所述的计算机实现的方法，其中，修改所述声音消除信号还包括增加所识别的外部声音的可听度。
73.23).根据22)所述的计算机实现的方法，其中，增加所识别的外部声音的可听度包括压缩经修改的声音消除信号，使得所述经修改的声音消除信号在缩短的时间帧中被回放；和/或
74.其中，增加所识别的外部声音的可听度包括沿着指定的频带增加音量。
75.24).根据21)至23)中任一项所述的计算机实现的方法，其中，所识别的外部声音包括一个或更多个词。
76.25).根据21)至24)中任一项所述的计算机实现的方法，还包括：
77.检测所识别的外部声音源自哪个方向；以及
78.将所识别的外部声音向用户呈现为来自检测到的方向；
79.可选地，所述方法还包括进一步修改所述声音消除以呈现随后出现的来自检测到的方向的音频。
80.26).根据21)至25)中任一项所述的计算机实现的方法，其中，当确定所述外部声音要让用户听到时，应用一个或更多个策略。
81.27).根据21)至26)中任一项所述的计算机实现的方法，其中，根据严重性水平对所识别的外部声音进行排名；
82.可选地，其中，一确定所识别的外部声音具有最小阈值的严重性水平，就修改所述声音消除。
83.28).一种系统，包括：
84.至少一个物理处理器；
85.包括计算机可执行指令的物理存储器，所述计算机可执行指令在由所述物理处理器执行时，使所述物理处理器：
86.经由声音再现系统来应用声音消除，所述声音消除减小一个或更多个声音信号的幅度；
87.在所述一个或更多个声音信号中，识别其幅度将通过所述声音消除而减小的外部声音；
88.分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到；以及
89.在确定了所述外部声音要让用户听到时，修改所述声音消除，使得所识别的外部声音让用户听到。
90.29).根据28)所述的系统，还包括：
91.接收在用户的指定距离内发生了事件的指示；以及
92.确定所述事件与用户相关，
93.其中，基于所述事件与用户相关的所述确定来修改所述声音消除；
94.可选地，还包括将被配置为监听所述外部声音的一个或更多个麦克风朝向所述事件的方向定向地取向。
95.30).根据28)或29)所述的系统，还包括：
96.确定所述系统的指定距离内的另一电子设备已经检测到与用户相关的外部声音；
97.确定所述另一电子设备的当前定位；以及
98.将被配置为监听所述外部声音的一个或更多个麦克风朝向所确定的所述电子设备的定位定向地取向。
99.31).根据28)至30)中任一项所述的系统，其中，修改所述声音消除包括继续对从多个位置接收的外部声音应用声音消除，同时对从指定位置接收的外部声音禁用声音消除。
100.32).根据28)至31)中任一项所述的系统，其中，修改所述声音消除包括继续对从特定人接收的外部声音应用声音消除，同时对从其他人接收的外部声音禁用声音消除；和/或
101.其中，修改所述声音消除包括对在所述外部声音中检测到的特定词禁用声音消除，同时继续对其他词应用声音消除。
102.33).根据28)至32)中任一项所述的系统，其中，修改所述声音消除包括临时暂停声音消除，并且在指定的时间量之后恢复声音消除。
103.34).根据28)至33)中任一项所述的系统，其中，所述系统还包括扬声器，用于向用户回放经修改的声音消除信号。
104.35).一种非暂时性计算机可读介质，包括一个或更多个计算机可执行指令，所述一个或更多个计算机可执行指令在由计算设备的至少一个处理器执行时，使所述计算设备执行根据21)至27)中任一项所述的方法，或者使所述计算设备：
105.经由声音再现系统来应用声音消除，所述声音消除减小一个或更多个声音信号的幅度；
106.在所述一个或更多个声音信号中，识别其幅度将通过所述声音消除而减小的外部声音；
107.分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到；和
108.在确定了所述外部声音要让用户听到时，修改所述声音消除，使得所识别的外部
声音让用户听到。
109.附图简述
110.附图示出了许多示例性实施例，并且是说明书的一部分。这些附图连同下面的描述一起展示并解释了本公开的各种原理。
111.图1示出了人工现实头戴式装置的实施例。
112.图2示出了增强现实头戴式装置和相应颈带的实施例。
113.图3示出了虚拟现实头戴式装置的实施例。
114.图4示出了计算环境，本文描述的实施例可以在该计算环境中操作，包括基于环境触发条件来修改主动噪声消除。
115.图5示出了用于基于环境触发条件来修改主动噪声消除的示例性方法的流程图。
116.图6示出了替代计算环境，其中可以基于环境触发条件来修改主动噪声消除。
117.图7示出了替代计算环境，其中可以基于环境触发条件来修改主动噪声消除。
118.图8示出了替代计算环境，其中可以基于环境触发条件来修改主动噪声消除。
119.图9示出了替代计算环境，其中可以基于环境触发条件来修改主动噪声消除。
120.图10示出了替代计算环境，其中可以基于环境触发条件来修改主动噪声消除。
121.图11示出了替代计算环境，其中可以基于环境触发条件来修改主动噪声消除。
122.在全部附图中，相同的参考符号和描述指示相似的但不一定相同的元件。虽然本文所述的示例性实施例容许各种修改和替代形式，但是特定的实施例在附图中作为示例被示出并且在本文将被详细描述。然而，本文描述的示例性实施例并不旨在受限于所公开的特定形式。更确切地，本公开涵盖了落在所附权利要求的范围内的所有修改、等同物和替代方案。
123.示例性实施例的详细描述
124.本公开总体上涉及基于环境触发条件来修改主动噪声消除。如下文将更详细解释的，本公开的实施例可以确定外部声音足够重要，即使用户已经打开噪声消除，也应该将其呈现给用户。例如，用户可能处于危险之中，而旁观者可能会对用户叫喊，要求其移动。本文描述的实施例可以确定针对用户的叫喊声对于用户来说是重要的，并且它们应该被呈现给用户。因此，本文的实施例可以暂时停止噪声消除过程，或者可以修改噪声消除信号，使得叫喊声(或其他重要的声音)到达用户。如上所述，主动噪声消除可以是减小噪声或声音信号的任何类型的操作。因此，术语“噪声消除”和“声音消除”在本文中可以同义使用。
125.在当前的主动噪声消除(anc)实现中，anc可以被打开和保持打开。传统系统可能无法实现确定是否应用anc的逻辑。更确切地说，用户只需打开该功能，anc就会继续运行，直到它被关闭。因此，佩戴支持anc的耳机的用户可能听不到对他们来说很重要的声音。例如，如果用户在树林中，而熊在咆哮，传统的anc系统可能会将熊的咆哮声音静音。相反，本文的实施例可以确定熊咆哮对用户足够重要，应该取消或抑制anc一段时间。而且，一些词或者短语例如“小心！”或者“火”可能足够重要，以至于它们应该被呈现给用户。因此，本文的实施例可以允许用户在各种不同的环境中安全地使用支持anc的音频再现设备，而不必担心错过重要的声音。
126.本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来被实现。人工现实是在呈现给用户之前已经以某种方式被调整的现实形式，其可以
包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mixed reality，mr)、混杂现实(hybrid reality)、或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道(例如向观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如，以在人工现实中执行活动)。
127.可以在各种不同的形状因子和配置中实现人工现实系统。一些人工现实系统可以被设计成在没有近眼显示器(ned)的情况下工作，其示例是图1中的ar系统100。其他人工现实系统可以包括还提供对真实世界的可视性的ned(例如，图2中的ar系统200)或者将用户视觉地沉浸在人工现实中的ned(例如，图3中的vr系统300)。虽然一些人工现实设备可以是自主式系统，但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、由用户佩戴的设备、由一个或更多个其他用户佩戴的设备、和/或任何其他合适的外部系统。
128.转到图1，ar系统100通常表示可穿戴设备，其被设计成所需尺寸以适配在用户的身体部位(例如，头部)周围。如图1所示，系统100可以包括框架102和照相机组件104，照相机组件104耦合到框架102并被配置为通过观察本地环境来收集关于本地环境的信息。ar系统100还可以包括一个或更多个音频设备，例如输出音频换能器108(a)和108(b)以及输入音频换能器110。输出音频换能器108(a)和108(b)可以向用户提供音频反馈和/或内容，并且输入音频换能器110可以捕获在用户的环境中的音频。
129.如所示，ar系统100可以不必包括位于用户的眼睛前方的ned。无ned的ar系统可以采用多种形式，例如头带、帽子、发带、腰带、手表、腕带、踝带、戒指、颈带、项链、胸带、眼镜框、和/或任何其他合适类型或形式的装置。虽然ar系统100可以不包括ned，但是ar系统100可以包括其他类型的屏幕或视觉反馈设备(例如，集成到框架102的一侧内的显示屏)。
130.也可以在包括一个或更多个ned的ar系统中实现在本公开中讨论的实施例。例如，如图2所示，ar系统200可以包括具有框架210的眼镜设备202，框架210被配置为将左显示设备215(a)和右显示设备215(b)保持在用户的眼睛的前方。显示设备215(a)和215(b)可以一起或独立地起作用来向用户呈现图像或一系列图像。虽然ar系统200包括两个显示器，但是可以在具有单个ned或多于两个ned的ar系统中实现本公开的实施例。
131.在一些实施例中，ar系统200可以包括一个或更多个传感器，例如传感器240。传感器240可以响应于ar系统200的运动而生成测量信号，并且可以实质上位于框架210的任何部分上。传感器240可以包括位置传感器、惯性测量单元(imu)、深度照相机组件、或其任何组合。在一些实施例中，ar系统200可以包括或不包括传感器240，或者可以包括多于一个的传感器。在传感器240包括imu的实施例中，imu可以基于来自传感器240的测量信号来生成校准数据。传感器240的示例可以包括但不限于加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于imu的误差校正的传感器、或其某种组合。
132.ar系统200还可以包括具有多个声传感器220(a)-220(j)(被统称为声传感器220)的麦克风阵列。声传感器220可以是检测由声波引起的气压变化的换能器。每个声传感器220可以被配置成检测声音并将检测到的声音转换成电子格式(例如，模拟或数字格式)。图
2中的麦克风阵列可以包括例如十个声传感器：220(a)和220(b)，其可以被设计成放置在用户的相应耳朵内；声传感器220(c)、220(d)、220(e)、220(f)、220(g)和220(h)，其可以被定位在框架210上的不同位置；和/或声传感器220(i)和220(j)，其可以被定位在相应的颈带205上。
133.麦克风阵列的声传感器220的配置可以变化。尽管ar系统200在图2中被示为具有十个声传感器220，但是声传感器220的数量可以大于或小于十。在一些实施例中，使用更高数量的声传感器220可以增加所收集的音频信息的量和/或音频信息的灵敏度和准确度。相反，使用更低数量的声传感器220可以降低控制器250处理所收集的音频信息所需的计算能力。此外，麦克风阵列的每个声传感器220的位置可以变化。例如，声传感器220的位置可以包括在用户身上的所定义的位置、在框架210上的所定义的坐标、与每个声传感器相关联的定向、或者其某种组合。
134.声传感器220(a)和220(b)可以位于用户的耳朵的不同部位上，例如在耳廓(pinna)后面或在耳廓(auricle)或窝(fossa)内。或者，除了在耳道内部的声传感器220之外，还可以有在耳朵上或耳朵周围的附加声传感器。将声传感器定位在用户的耳道旁边可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将声传感器220中的至少两个定位在用户的头部的两侧上(例如，作为双耳麦克风)，ar设备200可以模拟双耳听觉并捕获在用户的头部周围的3d立体声场。在一些实施例中，声传感器220(a)和220(b)可以经由有线连接来连接到ar系统200，并且在其他实施例中，声传感器220(a)和220(b)可以经由无线连接(例如，蓝牙连接)来连接到ar系统200。在还有其他实施例中，声传感器220(a)和220(b)可以根本不与ar系统200结合来被使用。
135.可以沿着眼镜腿(temple)的长度、横越镜梁(bridge)、在显示设备215(a)和215(b)的上方或下方、或者其某种组合来定位框架210上的声传感器220。声传感器220可以被定向成使得麦克风阵列能够在佩戴ar系统200的用户周围的宽范围的方向上检测声音。在一些实施例中，可以在ar系统200的制造期间执行优化过程以确定在麦克风阵列中的每个声传感器220的相对位置。
136.ar系统200还可以包括或连接到外部设备(例如，配对设备)，例如颈带205。如所示，颈带205可以经由一个或更多个连接器230耦合到眼镜设备202。连接器230可以是有线或无线连接器，并且可以包括电气和/或非电气(例如，结构)部件。在一些情况下，眼镜设备202和颈带205可以独立地操作，而在它们之间没有任何有线或无线连接。虽然图2示出了在眼镜设备202和颈带205上的示例位置中的眼镜设备202和颈带205的部件，但是这些部件可以位于眼镜设备202和/或颈带205的其他地方和/或在眼镜设备202和/或颈带205上不同地分布。在一些实施例中，眼镜设备202和颈带205的部件可以位于与眼镜设备202、颈带205或其某种组合配对的一个或更多个附加外围设备上。此外，颈带205通常表示任何类型或形式的配对设备。因此，颈带205的下面的讨论也可以应用于各种其他配对设备，例如智能手表、智能电话、腕带、其他可穿戴设备、手持控制器、平板计算机、膝上型计算机等。
137.将诸如颈带205的外部设备与ar眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状因子，同时仍然能够提供足够的电池和计算能力来用于扩展的能力。ar系统200的电池电力、计算资源和/或附加特征中的一些或全部可以由配对设备提供或者在配对设备和眼镜设备之间共享，因而总体上减小眼镜设备的重量、热分布和形状因子，同时仍然保持期
望的功能。例如，颈带205可以允许原本将被包括在眼镜设备上的部件被包括在颈带205中，因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带205也可以具有更大的表面积，以在该表面积上将热量扩散并分散到周围环境中。因此，颈带205可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。因为在颈带205中承载的重量可能比在眼镜设备202中承载的重量对用户更低创，所以相比于用户容忍佩戴重的独立眼镜设备，用户可以在更长的时间段期间容忍佩戴更轻的眼镜设备以及携带或佩戴配对设备，从而使人工现实环境能够更充分地融入用户的日常活动中。
138.颈带205可以与眼镜设备202和/或其他设备通信地耦合。其他设备可以向ar系统200提供某些功能(例如，跟踪、定位、深度映射、处理、存储等)。在图2的实施例中，颈带205可以包括两个声传感器(例如，220(i)和220(j))，它们是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带205还可以包括控制器225和电源235。
139.颈带205的声传感器220(i)和220(j)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟的或数字的)。在图2的实施例中，声传感器220(i)和220(j)可以定位在颈带205上，从而增加在颈带声传感器220(i)和220(j)与定位在眼镜设备202上的其他声传感器220之间的距离。在一些情况下，增加在麦克风阵列的声传感器220之间的距离可以提高经由麦克风阵列执行的波束成形的准确度。例如，如果声音由声传感器220(c)和220(d)检测到，并且在声传感器220(c)和220(d)之间的距离大于例如在声传感器220(d)和220(e)之间的距离，则检测到的声音的所确定的源位置可以比如果声音由声传感器220(d)和220(e)检测到所确定的源位置更准确。
140.颈带205的控制器225可以处理由在颈带205和/或ar系统200上的传感器生成的信息。例如，控制器225可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音，控制器225可以执行doa估计以估计方向(检测到的声音从该方向到达麦克风阵列处)。当麦克风阵列检测到声音时，控制器225可以用该信息填充音频数据集。在ar系统200包括惯性测量单元的实施例中，控制器225可以从位于眼镜设备202上的imu计算所有的惯性和空间计算。连接器230可以在ar系统200和颈带205之间以及在ar系统200和控制器225之间传送信息。信息可以是光数据、电数据、无线数据的形式或任何其他可传输数据形式。将由ar系统200生成的信息的处理移动到颈带205可以减少在眼镜设备202中的重量和热量，使它变得对用户来说更舒适。
141.颈带205中的电源235可以向眼镜设备202和/或颈带205提供电力。电源235可以包括但不限于锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下，电源235可以是有线电源。在颈带205上而不是在眼镜设备202上包括电源235可以帮助更好地分配由电源235产生的重量和热量。
142.如所提到的，一些人工现实系统可以实质上用虚拟体验代替用户对真实世界的一个或更多个感官知觉，而不是将人工现实与实际现实混合。这种类型的系统的一个示例是头戴式(head-worn)显示系统(例如图3中的vr系统300)，其主要地或完全地覆盖用户的视野。vr系统300可以包括前刚性主体302和被成形为适配在用户的头部周围的带304。vr系统300还可以包括输出音频换能器306(a)和306(b)。此外，虽然在图3中未示出，但是前刚性主体302可以包括一个或更多个电子元件，其包括一个或更多个电子显示器、一个或更多个惯
性测量单元(imu)、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或系统。
143.人工现实系统可以包括各种类型的视觉反馈机构。例如，在ar系统200和/或vr系统300中的显示设备可以包括一个或更多个液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、和/或任何其他合适类型的显示屏。人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供显示屏，这可以提供对变焦调节或对于校正用户的屈光不正的附加的灵活性。一些人工现实系统还可以包括具有一个或更多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳(fresnel)透镜、可调液体透镜等)的光学子系统，用户可以通过这些透镜来观看显示屏。
144.除了或代替使用显示屏，一些人工现实系统还可以包括一个或更多个投影系统。例如，在ar系统200和/或vr系统300中的显示设备可以包括(使用例如波导)将光投射到显示设备中的微led(micro-led)投影仪，例如允许环境光穿过的透明组合透镜。显示设备可以朝着用户的瞳孔折射所投射的光，并且可以使用户能够同时观看人工现实内容和真实世界。人工现实系统还可以配置有任何其他合适类型或形式的图像投影系统。
145.人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如，ar系统100、ar系统200和/或vr系统300可以包括一个或更多个光学传感器，例如二维(2d)或三维(3d)照相机、飞行时间深度传感器、单光束或扫频激光测距仪、3d lidar传感器、和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或更多个的数据以识别用户的位置、绘制真实世界的地图、向用户提供关于真实世界周围环境的背景、和/或执行各种其他功能。
146.人工现实系统还可以包括一个或更多个输入和/或输出音频换能器。在图1和图3所示的示例中，输出音频换能器108(a)、108(b)、306(a)和306(b)可以包括音圈扬声器、带式(ribbon)扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器110可以包括电容式麦克风、电动式麦克风(dynamic microphone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中，单个换能器可以用于音频输入和音频输出两者。
147.虽然在图1-图3中未示出，但是人工现实系统可以包括触觉(tactile)(即，触觉(haptic))反馈系统，其可以被结合到头饰、手套、紧身衣裤、手持控制器、环境设备(例如，椅子、地板垫等)、和/或任何其他类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电致动器、射流系统和/或各种其他类型的反馈机构来实现触觉反馈。可以独立于其他人工现实设备、在其他人工现实设备内、和/或与其他人工现实设备结合来实现触觉反馈系统。
148.通过提供触觉感觉、可听内容和/或视觉内容，人工现实系统可以创建整个虚拟体验或者增强用户在各种背景和环境中的真实世界体验。例如，人工现实系统可以帮助或扩展用户在特定环境内的感知、记忆或认知。一些系统可以增强用户与在真实世界中的其他人的交互，或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实系统还可以用于教育目的(例如，用于在学校、医院、政府组织、军事组织、商业企业等中的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)和/或用于可及性目的
(例如，作为助听器、助视器等)。本文公开的实施例可以在这些背景和环境中的一个或更多个中和/或在其他背景和环境中实现或增强用户的人工现实体验。
149.一些ar系统可以使用被称为“即时定位与地图构建”(slam)的技术来绘制用户的环境地图。slam地图构建和位置识别技术可以涉及各种硬件和软件工具，其可以创建或更新环境的地图，而同时保持跟踪用户在所绘制地图的环境内的位置。slam可以使用许多不同类型的传感器来创建地图并确定用户在地图内的位置。
150.slam技术可以例如实现光学传感器以确定用户的位置。包括wifi、蓝牙、全球定位系统(gps)、蜂窝或其他通信设备的无线电设备也可以用于确定用户相对于无线电收发器或收发器组(例如，wifi路由器或gps卫星组)的位置。诸如麦克风阵列的声传感器或者2d或3d声纳传感器也可以用于确定用户在环境内的位置。ar和vr设备(例如分别为图1、图2和图3的系统100、200和300)可以合并任何或所有这些类型的传感器以执行slam操作，例如创建并持续地更新用户的当前环境的地图。在本文描述的至少一些实施例中，由这些传感器生成的slam数据可以被称为“环境数据”，并且可以指示用户的当前环境。该数据可以存储在本地或远程数据储存器(例如，云数据储存器)中，并且可以按需提供给用户的ar/vr设备。
151.当用户在给定环境中佩戴ar头戴式装置或vr头戴式装置时，用户可能正在与其他用户或用作音频源的其他电子设备进行交互。在一些情况下，可能期望确定音频源相对于用户位于哪里且然后将音频源呈现给用户，就好像它们来自音频源的位置一样。确定音频源相对于用户位于哪里的过程在本文可以被称为“定位”，并且再现音频源信号的回放以显得好像它来自特定方向的过程在本文可以被称为“空间化”。
152.可以以多种不同的方式来执行定位音频源。在一些情况下，ar或vr头戴式装置可以发起到达方向(doa)分析以确定声源的位置。doa分析可以包括分析每个声音在ar/vr设备处的强度、频谱和/或到达时间以确定声音源自的方向。在一些情况下，doa分析可以包括用于分析人工现实设备所位于的周围声学环境的任何合适的算法。
153.例如，doa分析可以被设计成从麦克风接收输入信号，并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如，延迟算法和求和算法，其中输入信号被采样，并且所得到的采样信号的加权和延迟版本被一起取平均以确定到达方向。也可以实现最小均方(lms)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如，识别信号强度的差异或到达时间的差异。然后，这些差异可用于估计到达方向。在另一个实施例中，可以通过将输入信号转换到频域内并选择时-频(tf)域内的特定单元(bin)进行处理来确定doa。可以处理每个选定的tf单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元，以识别麦克风阵列接收直接路径音频信号的角度。然后，所确定的角度可以用于识别接收到的输入信号的到达方向。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定doa。
154.在一些实施例中，不同的用户可能将声源感知为来自稍微不同的位置。这可能是每个用户具有独特的头部相关传递函数(hrtf)的结果，该头部相关传递函数可以由用户的包括耳道长度和耳鼓膜的定位的解剖结构决定。人工现实设备可以提供对准和定向指南，用户可以遵循该指南以基于他们的独特hrtf来定制呈现给用户的声音信号。在一些实施例中，人工现实设备可以实现一个或更多个麦克风以监听在用户的环境内的声音。ar或vr头
戴式装置可以使用各种不同的阵列传递函数(例如，上面识别的任一doa算法)来估计声音的到达方向。一旦到达方向被确定，人工现实设备就可以根据用户的独特hrtf来向用户回放声音。因此，使用阵列传递函数(atf)生成的doa估计可以用于确定声音将从那播放的方向。回放声音可以基于特定用户如何根据hrtf听到声音被进一步改善。
155.除了执行doa估计之外或者作为执行doa估计的备选方案，人工现实设备可以基于从其他类型的传感器接收的信息来执行定位。这些传感器可以包括照相机、ir传感器、热传感器、运动传感器、gps接收器、或者在一些情况下的检测用户的眼睛移动的传感器。例如，如上面所提到的，人工现实设备可以包括确定用户正在看哪里的眼睛跟踪器或注视检测器。用户的眼睛常常会看向声源，即使短暂地。由用户的眼睛提供的这样的线索可以进一步帮助确定声源的位置。诸如照相机、热传感器和ir传感器的其他传感器也可以指示用户的位置、电子设备的位置、或另一声源的位置。任何或所有上述方法可以被单独地或组合地使用来确定声源的位置，并且还可以用于随着时间而更新声源的位置。
156.一些实施例可以实现所确定的doa来为用户生成更定制的输出音频信号。例如，“声学传递函数”可以表征或定义如何从给定位置接收声音。更具体地，声学传递函数可以定义声音在其源位置处的参数与声音信号通过其被检测到(例如，由麦克风阵列检测到或由用户的耳朵检测到)的参数之间的关系。人工现实设备可以包括检测在设备的范围内的声音的一个或更多个声传感器。人工现实设备的控制器可以(例如，使用上面识别的任一方法)估计检测到的声音的doa，并且基于检测到的声音的参数，可以生成特定于设备的位置的声学传递函数。因此，该定制的声学传递函数可以用于生成空间化的输出音频信号，其中声音被感知为来自特定位置。
157.事实上，一旦一个或更多个声源的位置是已知的，人工现实设备就可以将声音信号重新再现(即，空间化)成听起来好像来自该声源的方向。人工现实设备可以应用滤波器或其他数字信号处理，其改变声音信号的强度、频谱或到达时间。数字信号处理可以以使得声音信号被感知为源自所确定的位置这样的方式被应用。人工现实设备可以放大或抑制某些频率或者改变信号到达每只耳朵的时间。在一些情况下，人工现实设备可以创建特定于设备的位置和检测到的声音信号的到达方向的声学传递函数。在一些实施例中，人工现实设备可以在立体声设备或多扬声器设备(例如，环绕声设备)中重新再现源信号。在这种情况下，可以向每个扬声器发送单独且不同的音频信号。可以根据用户的hrtf以及根据对用户的位置和声源的位置的测量来将这些音频信号中的每一个改变成听起来好像它们来自声源的所确定的位置。因此，以这种方式，人工现实设备(或与该设备相关联的扬声器)可以将音频信号重新再现成听起来好像源自特定位置。
158.下面将参考图4-11来提供可以如何基于环境触发条件来修改主动噪声消除的详细描述。例如，图4示出了计算体系结构400，本文描述的许多实施例可以在该计算体系结构400中操作。计算体系结构400可以包括计算机系统401。计算机系统401可以包括至少一个处理器402和至少一些系统存储器403。计算机系统401可以是任何类型的本地或分布式计算机系统(包括云计算机系统)。计算机系统401可以包括用于执行各种不同功能的程序模块。程序模块可以是基于硬件的、基于软件的，或者可以包括硬件和软件的组合。每个程序模块可以使用或代表计算硬件和/或软件来执行指定的功能(包括本文在下面描述的那些功能)。
159.例如，通信模块404可以被配置为与其他计算机系统进行通信。通信模块404可以包括能够从其他计算机系统接收数据和/或发送数据到其他计算机系统的任何有线或无线通信装置。这些通信装置可以包括无线电设备，例如包括基于硬件的接收器405、基于硬件的发射器406或能够接收和发送数据的组合的基于硬件的收发器。无线电设备可以是wifi无线电设备、蜂窝无线电设备、蓝牙无线电设备、全球定位系统(gps)无线电设备或其他类型的无线电设备。通信模块404可以被配置成与数据库、移动计算设备(例如移动电话或平板电脑)、嵌入式系统或其他类型的计算系统交互。
160.计算机系统401还可以包括麦克风407。麦克风407可以被配置为监听计算机系统外部的声音，包括噪声信号419。这些噪声信号419可以包括任何类型的声音，包括音乐、话音、对话、街道噪音或其他形式的音频。在本文的实施例中，基本上任何类型的音频数据都可以被称为“噪声”，将使用主动噪声消除来将其滤除。噪声消除可以由计算机系统401中的声音再现模块408的噪声消除模块409来执行。声音再现模块408可以是它自己的声音再现系统，与计算机系统401分离，或者可以是计算机系统401内的模块。声音再现模块408可以生成扬声器信号，该扬声器信号驱动用户416所收听的扬声器。例如，声音再现模块408可以向用户的耳机或外部扬声器提供音频信号。由噪声消除模块409生成的噪声消除信号417可以包括音频信号以及单独的噪声消除信号。这两个信号然后被组合，使得噪声消除信号417消除掉噪声信号419，并且用户只听到音频信号。
161.此外，计算机系统401可以包括外部声音识别模块410。外部声音识别模块410可以识别在噪声信号419内的一个或更多个外部声音411。噪声信号可能来自室外环境、室内环境、人多的环境或基本上没有人的环境。噪声信号419可能包括人说出的词或其他声音，例如警笛声、汽车喇叭声、人们的叫喊声等，它们对用户416来说可能是重要的。
162.计算机系统401的声音分析器412可以分析这些外部声音411，并确定413这些声音是否足够重要以至于中断主动噪声消除并将这些声音呈现给用户416。如果确定413为是，则anc修改模块414可以直接修改噪声消除信号415，或者可以向噪声消除模块409发送anc修改指令418，使得它可以生成修改的噪声消除信号。修改的噪声消除信号415可以导致噪声消除完全停止，或者可以导致噪声消除临时暂停，或者可以导致噪声消除被抑制一段时间。通过以这种方式修改噪声消除信号，用户416应该能听到被识别为对用户来说重要的外部声音411。将参照图4的方法400和图3-8更详细地描述这些实施例。
163.图5是用于基于环境触发条件来修改主动噪声消除的示例性计算机实现的方法500的流程图。图5所示的步骤可以由任何合适的计算机可执行代码和/或计算系统(包括图4所示的系统)来执行。在一个示例中，图5所示的每个步骤可以表示其结构包括多个子步骤和/或由多个子步骤表示的算法，其示例将在下面更详细地提供。
164.如图5所示，在步骤510，本文描述的一个或更多个系统可以经由声音再现系统来应用噪声消除，该噪声消除减小一个或更多个噪声信号的幅度。例如，计算机系统401的声音再现模块408可以应用噪声消除，其减小噪声信号419的幅度。如上所述，声音再现模块408可以是它自己的独立系统或设备，或者可以是计算机系统401的一部分。声音再现模块408可以包括噪声消除模块409，噪声消除模块409基于在噪声信号419中检测到的噪声来生成噪声消除信号417。例如，计算机系统401上的麦克风407可以检测许多不同的噪声信号419。这些噪声信号可能包括词、对话、来自机器(包括汽车或飞机)的声音、室外声音或其他
噪声。这些噪声中的许多噪声对于用户416来说可能是不重要的，并且可以经由噪声消除信号417被滤除。然而，在一些情况下，噪声信号419内的一个或更多个声音对于用户来说可能是重要的。
165.本文中使用的术语“重要”或“相关”可以指可能是有趣的或有用的或为了用户的安全也许是必要的外部声音。因此，被认为与用户相关或对用户重要的声音可以是应该传递给用户416的任何声音。可以采用各种类型的逻辑、算法、机器学习或其他步骤来确定哪些声音对于用户来说是重要的。例如，机器学习或神经网络可以使用各种算法来识别声音模式(vocal pattern)、声音张力(vocal strain)、声调(tone of voice)、特定词、正在说话的特定用户，或识别其他声音特征。随着时间的推移，数以百万计的声音可以被机器学习算法识别和分类为对用户可能是重要的或是无害的。当识别出这样的外部声音时，可以取消或修改噪声消除，以便向用户呈现外部声音416。
166.方法500还包括在噪声信号419中识别其幅度将通过噪声消除而减小的外部声音411(步骤520)。如上面所提到的，噪声信号419中可能包括许多不同的外部声音。这些外部声音中的每一个可以由模块410单独识别，并由声音分析器412分析，以确定用户416是否应该听到该声音。这样的声音可以包括救护车警笛声、汽车喇叭声、人们的叫喊声、特定词或短语(例如“停止”或“救命”)、包括咆哮或吠叫在内的动物噪声，或者对用户来说重要的其他声音。
167.在图5的步骤530，声音分析器412可以分析所识别的外部声音411，以确定所识别的外部声音是否要让用户416听到(步骤530)。如果声音分析器412确定声音对用户不可用，则噪声消除继续。如果声音分析器412确定外部声音要让用户416听到，则anc修改模块414可以修改噪声消除，使得所识别的外部声音让用户听到(步骤540)。anc修改模块414可以修改噪声消除信号415，使得所识别的外部声音411被用户听到。anc修改可以包括减小主动噪声消除的水平、临时暂停主动噪声消除或完全关闭anc。
168.在一些实施例中，修改主动噪声消除信号415可以包括增加所识别的外部声音的可听度。例如，如果所识别的外部声音411足够重要以至于修改或移除anc，则本文的实施例可以采取额外的步骤来确保更清晰地听到外部声音411。一个这样的步骤可以是增加外部声音的音量，使得它更容易被用户416听到。附加地或替代地，anc修改模块可以通过压缩修改的主动噪声消除信号来增加所识别的外部声音的可听度，使得修改的主动噪声消除信号在缩短的时间帧中被回放。缩短的回放可以以用户可快速识别的短脉冲串(short burst)的形式提供外部声音411。在其他情况下，增加所识别的外部声音的可听度可以包括沿着指定的频带增加音量。例如，如果外部声音411是一个口语词或一系列词，在从大约300hz到3000hz的频带内的频率可以被放大以对口语词提供更大的音量。其他未放大的频率也可以被衰减，以对口语词提供甚至更大的清晰度。
169.在一些实施例中，所识别的外部声音411可以是特定的词或短语。例如，如图6的计算环境600所示，说话用户608可以说出特定词602，该特定词602被声音再现系统604的麦克风606检测到。声音再现系统604的声音分析器607可以确定特定词602(例如，“移动！”)是与用户601相关的词。因此，anc模块605可以修改主动噪声消除，使得词602到达用户601。
170.类似地，如果一个用户或一群说话用户(例如609)说出与用户601相关的词短语603，则声音分析器607可以检测该词短语，并且anc模块605可以修改主动噪声消除以允许
词短语603到达用户601。在一些实施例中，特定词或词短语的列表可以存储在数据储存器中，该数据储存器在声音再现系统604本地或远离声音再现系统604。该词或短语的列表可以包括与用户601相关的词或短语。该列表可以由用户601编辑或者由用户更新。替代地，该列表可以对所有用户通用。在其他情况下，词或短语的列表可以是动态的，使得特定的词或短语可以在某些情形下或在某些位置对用户更重要，而在其他位置，该词可以通过主动噪声消除被安全地静音。策略420可用于确定何时将某些词或短语传递给用户601。
171.在某些情况下，修改anc可以包括对在外部声音中检测到的特定词禁用主动噪声消除，同时继续对其他词应用主动噪声消除。例如，如果说话用户608正在提供连续的词流，则声音分析器607可以识别要传递给用户601的某些词，以及要经由噪声消除来消除的某些词。因此，声音再现系统604的anc模块605可以禁用或临时暂停主动噪声消除，然后在指定的时间量之后(例如，在词602已经被回放给用户之后)恢复主动噪声消除。在一些示例中，修改后的anc信号可以经由内置在声音再现系统604中的扬声器被回放给用户601，或者可以向连接到声音再现系统的扬声器或头戴式装置发送扬声器信号。
172.图7示出了识别特定的自然声音或人为声音并将其提供给用户601的实施例。声音再现系统604的声音分析器607可以持续地或连续地分析由麦克风606拾取的声音。在确定了外部声音对用户601足够重要时，anc模块605可以修改对用户601的音频输出，从而修改或移除主动噪声消除。例如，当声音分析器607检测到来自救护车613、消防车、警车或其他紧急车辆的警笛声610时，anc模块可以修改主动噪声消除，使得警笛声610在基本上没有任何噪声消除(并且可能具有一些声学增强以使警笛声更大更清晰)的情况下传递给用户。
173.类似地，如果用户601在户外，并且听到熊614的咆哮611或蛇发出的嘎嘎声或其他对用户来说很重要的动物声音，则anc模块可以修改主动噪声消除，使得用户601听到熊的咆哮611或其他声音。此外，如果一个人615正在叫喊612或哭泣或尖叫，则可以分析该叫喊声612的音调、音高或重音(stress)，以指示有人在危难中或也许对用户601生气。声音分析器607可以向anc模块指示该叫喊声612是严重的并且将被传递给用户601。在一些情况下，声音再现系统604可以根据严重性水平对识别的外部声音进行内部排名。因此，例如，熊的咆哮611的严重性可以排在警笛声610前面，或者人的叫喊的严重性可以根据他们的词或紧张程度而被排得更靠前。以这种方式，可以基于外部声音的紧急程度或严重性水平来修改主动噪声消除。在某些情况下，只要存在与外部声音相关联的最低水平的严重性，就会修改主动噪声消除。
174.图8示出了声音再现系统604包括方向分析器620的实施例。方向分析器620可以被配置成检测所识别的外部声音622源自哪个方向。例如，方向分析器可以分析声音622的信号强度，并确定信号在方向621上最强。也可以使用确定所识别的声音622的方向的其他手段，包括从另一电子设备接收位置指示。一旦方向621被确定，anc模块605可以使用该方向来修改所识别的外部声音并将其向用户601呈现为来自检测到的方向621。因此，经修改的anc信号623可以包括音频处理，该音频处理使得经修改的信号听起来好像来自方向621。在一些情况下，主动噪声消除信号623可以被进一步修改，以呈现随后出现的好像来自检测到的方向的音频。因此，一旦外部声音622的来源被识别，来自该来源的未来外部声音可以被呈现给用户601，就好像来自该来源的地方，而不管用户是否移动或重定向他们的身体。
175.图9示出了一个实施例，其中可以基于接收到在用户601的指定距离633内发生了
事件并且该事件与用户相关的指示634来修改主动噪声消除。例如，建筑物632可能在距用户601的一般位置着火。事件分析器630可以根据事件指示634中的信息来确定事件发生在哪里。声音再现系统604可以包括gps、wifi、蓝牙、蜂窝无线电设备或其他可用于确定其自身位置的无线电设备。因此，使用声音再现系统604的位置和事件(例如，建筑物632)的位置，事件分析器630可以确定到事件的距离633。如果用户601离事件足够近，则anc信号631可以被修改以使来自事件的方向的声音通过。如果距离633太远，事件分析器630可以确定事件与用户不是足够相关的，并且主动噪声消除可以继续而不被中断。此外，即使在事件离用户足够近的情况下，事件分析器630也可能确定事件与用户无关。因此，在这种情况下，来自事件的方向的音频可以通过主动噪声消除继续被滤除。如同词或短语的列表一样，用户601可以指定哪些事件对该用户是重要的，以及哪些事件应该中止主动噪声消除。
176.在一些情况下，用户601可能正在步行或跑步，或者骑自行车或踏板车外出。这样，用户可能会经过多个不同的事件。对于被确定为与用户相关的每个事件，anc模块605可以修改主动噪声消除信号，以允许用户601听到来自事件现场的外部声音。在一些实施例中，被配置成监听外部声音的麦克风606可以朝向事件的方向定向地取向。因此，麦克风本身可以被调整或致动到新的定位，以更清楚地捕获来自事件的音频。替代地，可以实现电子声音处理以将麦克风606定向地聚焦在来自事件的声音上。
177.在一些实施例中，可以使用不同类型的电子装备(除了麦克风以外)来检测用户附近事件的发生。例如，包括照相机、测距仪、lidar、声纳或其他光学传感器的光学传感器可用于检测事件的发生。其他传感器可以包括红外传感器、温度传感器、运动传感器或可以被配置为识别对用户可能重要的事件的其他传感器。如同音频输入一样，事件分析器630可以被配置为分析照相机或其他传感器输入，以检测事件何时发生。事件分析器630然后可以确定该事件是否与用户足够相关。如果该事件与用户足够相关，那么噪声消除可以被中断，以允许用户听到周围的音频。如果事件不是足够相关的，则主动噪声消除可以继续而不被中断。更进一步，如同词或短语的列表一样，用户601可以指定由照相机或其他传感器检测到的哪些事件对该用户是重要的，以及哪些事件应该中止主动噪声消除。
178.图10示出了多个声音检测和再现系统处于相同的相对位置的实施例。这些声音检测和再现系统可以使用wifi、蓝牙或上述其他无线电设备中的任一种来彼此通信。声音检测和再现系统604a/604b可以相互指示已经发生了与用户相关的应听到的事件。例如，声音检测和再现系统604a可以确定在系统的指定距离内的另一个电子设备已经检测到与用户相关的外部声音。声音检测和再现系统604b可以例如向声音检测和再现系统604a发送相关声音的指示642。声音检测和再现系统604a然后可以确定它的当前定位以及其他电子设备的当前定位。声音检测和再现系统604a然后可以将它的麦克风朝向声音检测和再现系统604b定向地取向，以监听来自声音检测和再现系统604b的方向的外部声音。
179.因此，例如，群体640可以在声音检测和再现系统604b附近发出声音641。麦克风606b可以检测该声音641，并使用声音分析器607b来确定该声音是否值得注意以及是否与其他用户相关。声音检测和再现系统604b然后可以向声音检测和再现系统604a以及其他系统或电子设备广播相关声音的指示642。然后，每个声音检测和再现系统可以使用其自己的声音分析器(例如607a)分别确定声音是否相关以及是否应该呈现给用户。麦克风可以朝向声音检测和再现系统604b的位置定向地取向，或者朝向由声音检测和再现系统604b识别的
位置定向地取向。然后，每个声音检测和再现系统的anc模块(例如605a/605b)可以相应地修改anc信号，或者不修改anc信号。
180.在一些实施例中，每个声音检测和再现系统可以连接到增强现实(ar)头戴式装置(例如，分别为图1或图2的100或200)或其一部分，或者连接到虚拟现实(vr)头戴式装置(例如，图3的300)或其一部分。这些头戴式装置可以由公共房间或建筑物中的用户佩戴。这些头戴式装置中的每一个都可以与其他头戴式装置通信它们在房间或建筑物(或室外区域)内的当前位置。其他通信可以包括相关声音的指示642。因此，在这种情况下，一个ar头戴式装置可以检测到相关的声音(例如，有人叫喊)，并且可以向房间、建筑物或室外区域中的其他头戴式装置广播该声音的指示。每个用户的头戴式装置(和相应的声音再现系统)然后可以根据上述实施例确定声音是否与该用户相关，以及是否要为该用户修改anc。
181.图11示出了一个实施例，其中anc模块605修改主动噪声消除信号以继续对从一个人接收的外部声音应用主动噪声消除，同时对从另一个人接收的外部声音禁用主动噪声消除。在图11中，用户650可能在音频输出652中讲话，而用户651可能在音频输出653中讲话。声音分析器607可以基于策略或基于声调或声音紧张程度来确定音频输出653将被传递给用户601，而anc将继续被应用于来自用户650的音频输出652。
182.在某些情况下，一项策略可能指示，朋友或家人应得到优先考虑，或者尖叫或叫喊的用户应得到优先考虑。例如，计算机系统401可以访问用户416的联系人列表或社交媒体账户。这样的联系人列表或社交媒体账户可以指示用户的家人或朋友是谁。如果声音分析器412识别出这样的家庭成员或朋友，则计算机系统401可以为朋友和家人访问关于anc的策略。策略或设置(例如，图4的420)可以指示，例如，当朋友或家人对用户416说话时，anc将被自动关闭或减少。其他策略可能会指出，当有人叫喊或检测到特定词时，如何控制anc。这些anc策略和设置420可以存储在计算机系统401中，或者存储在诸如云数据储存器的远程数据储存器中。计算机系统401可以在每次决定是使用anc还是不使用anc时访问这些策略。不管如何做出策略决定，声音分析器607可以确定在音频输出652被回放给用户之前，来自用户651的音频输出653将被回放给用户。在这种情况下，音频输出652可以存储在数据储存器中，并在以后为用户601回放。
183.以类似的方式，声音再现系统604可以确定来自特定位置的外部声音比来自另一位置的声音更重要。在这种情况下，anc模块605可以修改主动噪声消除信号，以继续对从某些位置接收的外部声音应用主动噪声消除，同时对从特定位置接收的外部声音禁用或减少主动噪声消除。因此，例如，即使在可能从所有方向接收声音的大城市，声音再现系统604也可以被配置为将麦克风指向特定方向，并且对从其他方向接收的声音应用噪声消除。
184.此外，用于基于环境触发条件来修改主动噪声消除的相应系统可以包括存储在存储器中的几个模块，包括声音再现系统，该声音再现系统被配置为应用减小各种噪声信号的幅度的噪声消除。该系统还可以包括外部声音识别模块，该外部声音识别模块在噪声信号中识别其幅度将通过噪声消除而减小的外部声音。声音分析器可以分析所识别的外部声音，以确定所识别的外部声音是否要让用户听到，并且在确定了外部声音要让用户听到时，anc修改模块可以修改噪声消除，使得所识别的外部声音让用户听到。
185.在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或更多个计算机可执行指令，该指令在由计算设备的至
少一个处理器执行时，可以使计算设备经由声音再现系统来应用减小噪声信号的幅度的噪声消除，在噪声信号中识别其幅度将通过噪声消除而减小的外部声音，分析所识别的外部声音以确定所识别的外部声音是否要让用户听到，以及在确定了外部声音要让用户听到时，修改噪声消除，使得所识别的外部声音让用户听到。
186.因此，使用本文的实施例，用户可以放心地在各种不同的环境中使用主动噪声消除，知道如果有重要的声音经过，他们不会错过它。本文的系统可以确定已经接收到对用户重要的声音，并且可以暂时停止或抑制主动噪声消除，以允许用户听到重要的声音。这样的实施例可以使用户保持安全并且意识到在他们周围发生的事件，即使当用户戴着主动噪声消除头戴式装置时。
187.如上面所详述的，本文描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如在本文描述的模块中包含的那些指令)的任何类型或形式的计算设备或系统。在它们的最基本的配置中，这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。
188.在一些示例中，术语“存储器设备”通常指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护本文描述的一个或更多个模块。存储器设备的示例包括但不限于随机存取存储器(ram)、只读存储器(rom)、闪存、硬盘驱动器(hdd)、固态驱动器(ssd)、光盘驱动器、高速缓存、这些部件中的一个或更多个的变形或组合、或者任何其他合适的储存存储器。
189.在一些示例中，术语“物理处理器”通常指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(cpu)、实现软核处理器的现场可编程门阵列(fpga)、专用集成电路(asic)、这些部件中的一个或更多个的部分、这些部件中的一个或更多个的变形或组合、或任何其他合适的物理处理器。
190.尽管被示为单独的元件，但是本文描述和/或示出的模块可以表示单个模块或应用的部分。此外，在某些实施例中，这些模块中的一个或更多个可以表示一个或更多个软件应用或程序，其当由计算设备执行时可以使计算设备执行一个或更多个任务。例如，本文描述和/或示出的一个或更多个模块可以表示被存储和配置为在本文描述和/或示出的一个或更多个计算设备或系统上运行的模块。这些模块中的一个或更多个还可以表示被配置为执行一个或更多个任务的一个或更多个专用计算机的全部或部分。
191.此外，本文描述的一个或更多个模块可以将数据、物理设备和/或物理设备的表示从一种形式转换成另一种形式。例如，本文所述的模块中的一个或更多个可以接收待转换的数据、转换数据、输出转换的结果以执行功能、使用转换的结果来执行功能、以及存储转换的结果以执行功能。附加地或可替代地，本文所述的一个或更多个模块可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式转换成另一种形式。
192.在一些实施例中，术语“计算机可读介质”通常指能够存储或携带计算机可读指令
的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质(例如，载波)以及非暂时性介质，例如，磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，光盘(cd)、数字视频盘(dvd)和blu-ray盘)、电子存储介质(例如，固态驱动器和闪存介质)以及其他分发系统。
193.本公开的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是在呈现给用户之前以某种方式被调整的现实形式，其可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道(例如向观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。可以在各种平台(包括连接到主计算机系统的头戴式显示器(hmd)、独立的hmd、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。
194.在本文描述和/或示出的过程参数和步骤的顺序仅作为示例被给出，并且可以根据需要而变化。例如，虽然在本文示出和/或描述的步骤可以以特定顺序被示出或讨论，但这些步骤不一定需要以所示出或讨论的顺序来被执行。本文描述和/或示出的各种示例性方法也可以省略在本文描述或示出的一个或更多个步骤，或者包括除了那些所公开的步骤之外的附加步骤。
195.提供前面的描述以使本领域中的其他技术人员能够最好地利用本文公开的示例性实施例的各种方面。该示例性描述并不旨在是穷尽的或受限于所公开的任何精确形式。许多修改和变化是可能的，而不偏离本公开的精神和范围。本文公开的实施例应当在所有方面被认为是说明性的而不是限制性的。在确定本公开的范围时，应当参考所附权利要求及其等同物。
196.除非另外提到，否则如在说明书和权利要求中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即，经由其他元件或部件)连接。此外，如在说明书和权利要求中使用的术语“一个(a)”或“一个(an)”应被解释为意指“......中的至少一个”。最后，为了容易使用，如在说明书和权利要求中使用的术语“包括(including)”和“具有”(及其派生词)与词“包括(comprising)”可互换并具有与词“包括(comprising)”相同的含义。