针对无线设备的传感器管理的制作方法

背景技术：

1、本公开的各方面和具体实施整体涉及用于管理传感器数据(例如，管理从可穿戴设备之间的一个或多个音频捕获传感器捕获语音数据)的系统和方法。

2、可穿戴无线音频设备(例如，无线耳机)常常利用配对的连接来流式传输来自源设备的无线音频数据。通常，每个无线耳机接收特定于每个无线耳机的离散数据流，例如，源设备产生与左耳机相关联的一个数据流和与右耳机相关联的一个流。在一些情况下，每个耳机还可利用一个或多个麦克风来获得与用户语音对应的信号，例如，当用户参与电话会话时，其中耳机(经由蓝牙连接)既充当用于该会话的接收器又充当用于该会话的发射器。在一些示例中，仅使用一对耳机中的一个耳机来获得与用户语音对应的信号。

3、另外，在不同的时间，用户周围的环境可产生由例如风、交通、机械等引起的过多的环境噪声。如果用户被取向为使得耳机中的一个耳机(例如，负责获得与用户语音对应的信号的耳机)更靠近环境噪声源(例如，在风的直接路径中)，则该耳机的语音拾取的质量将受损。

技术实现思路

1、本公开涉及用于选择可穿戴设备的一个或多个音频捕获传感器以用于获得语音数据的系统和方法以及计算机程序产品。所提供的示例包括：在第一可穿戴设备和第二可穿戴设备处获得与用户语音相关联的信号(其中，该第一可穿戴设备被定位在用户的右耳中，该第二可穿戴设备被定位在用户的左耳中)；比较第一信号和第二信号的能量水平；以及基于每个信号的能量水平选择一个或多个音频捕获传感器。由于由该用户语音产生的声能对该第一可穿戴设备和该第二可穿戴设备的对称性(因为用户右耳中的设备与用户左耳中的设备距离相等)，由该第一可穿戴设备获得的总能量与由该第二可穿戴设备获得的总能量之间的能量水平中的任何差异可仅归因于环境噪声中的差异。因此，具有较高总能量的设备具有较低信噪比，并且优选对具有较高信噪比的另一可穿戴设备的一个或多个音频捕获传感器的选择来获得向前移动的语音数据。

2、在一些示例中，本文所讨论的系统和方法利用无线数据传输，具体地，用于在设备之间广播和传输音频流的无线拓扑。例如，由蓝牙特殊兴趣组(sig)在2020年1月6日发布的核心规范5.2(“核心规范”)定义了与蓝牙低功耗(ble)拓扑相关的新特征。5.2核心规范中描述的一个特征是利用无连接同步通信的广播同步流。由5.2核心规范描述的类似特征是le连接同步流，其利用面向连接的同步信道来提供两个设备之间(例如，外围设备104与可穿戴设备102a和102b之间(下文讨论))的点对点同步通信流。在一个示例中，本文所讨论的系统、设备和方法利用由5.2核心规范启用的蓝牙低功耗音频拓扑(本文中称为“le音频”)。例如，le音频启用单播无线拓扑(称为“连接同步流”(connected isochronous stream))，其允许单个蓝牙音频源设备(例如，智能电话)同时向单独的蓝牙设备(例如，无线耳机)传输多个音频流。这些拓扑旨在改进无线耳机的蓝牙操作。

3、具体地，当使用无线耳机或无线可穿戴设备(下文讨论)时，算法可用于改进使用来自可穿戴设备上的多个麦克风的输入的语音拾取。这些算法中的一些算法通过减小直接处于风路径中的麦克风上的增益来最小化环境噪声，例如，风噪声。其他算法使用双耳波束成形(使用靠近左耳和右耳两者放置的麦克风)来最大化信噪比。由于耳塞之间的高延迟，这些算法中的许多算法不能在真正无线的耳塞形状因素上实现。这些真正无线的耳塞通常使用蓝牙在耳塞之间传输数据，并且在耳塞之间可靠地传送麦克风数据可能花费多达100ms。这超过了一些语音拾取算法可容忍的可接受延迟。

4、在本公开中，在左可穿戴设备和右可穿戴设备两者上监测传感器输入(例如，麦克风输入)以确定哪组传感器提供最优信噪比。在使用经典蓝牙连接的一些示例中，“主”耳塞(其维持到外围设备的蓝牙连接)是被配置为在语音交互期间向外围设备(例如，智能电话)发送麦克风音频数据的设备。如果通过两个耳塞之间的通信数据链路确定环境噪声(诸如风噪声)在主耳塞中高而在辅耳塞中低，则两个耳塞可在流中间发起角色切换。在一些示例中，系统和方法利用一个或多个经典蓝牙芯片解决方案，其使得能够在经典蓝牙连接上进行“无缝”角色切换，该经典蓝牙连接可使得能够进行角色切换。这允许主耳塞将用于维持到智能电话的蓝牙连接的责任转换到辅耳塞，从而使得辅耳塞能够使用其麦克风(具有较低风噪声)来代替主耳塞的麦克风进行语音拾取。在没有角色切换的情况下这样做将要求辅耳塞的麦克风音频通过蓝牙被发送到主耳塞并且然后被转发到电话，这将产生对于实时语音会话不可接受的高延迟。

5、可采用类似的方案以用于le音频连接。在le音频中，每个耳塞可被同步到作为相同连接同步组(cig)的一部分的单独的连接同步流(cis)。每个耳塞可通过监测另一耳塞的cis的连接建立或者通过经由耳塞之间的通信数据链路交换信息来知晓另一耳塞的cis。例如，当用于电话呼叫时，两个耳塞中的一个耳塞可将麦克风音频传输到发送到电话的协商cis。在检测到该麦克风音频流上的显著环境噪声(例如，风噪声)时，耳塞可与另一耳塞进行握手并且将发送麦克风音频的责任“转换”到另一耳塞。这将允许第二耳塞将其麦克风数据发送到电话(具有较少风噪声)，而电话不知道已经进行了切换。

6、在经典蓝牙和le音频具体实施中，在进行麦克风之间的角色切换之前，可在耳塞之间的通信数据链路上交换每个麦克风的自动增益控制参数，以防止用户在麦克风被切换时注意到麦克风增益中的差异。

7、可以附加方式利用le音频能力来改进真正无线耳塞的语音拾取。在一个具体实施中，来自一个或两个麦克风的原始(未经处理的)音频数据可从每个耳塞发送到接收设备(例如电话)。电话可从所有麦克风接收音频并且然后对原始音频数据应用波束成形或其他语音拾取算法。这可在一个或多个应用程序中完成，或者可利用到其他第三方voip应用的语音算法“插件”。在其他具体实施中，这些算法中的一个或多个算法可被集成到vpa应用中或者被集成到云服务中。这些算法可针对不同设备被最优地调谐并且可由移动应用或云服务基于来自该设备的识别信息来选择。在电话或云侧上执行语音处理使得能够使用来自头部两侧的麦克风来部署多麦克风语音算法，这对于真正的无线耳塞来说由于从耳塞到耳塞的音频传输中的延迟而更加难以实现。

8、在其他具体实施中，为了节省蓝牙带宽，每个耳塞可进行两个麦克风的本地波束成形并且仅将单个语音音频信道发送到电话。电话或云然后可运行算法(以与上述类似的方式)以处理来自每个耳塞的波束成形音频，并且将它们组合以产生音频信号的改进的语音拾取/信噪比。

9、在另一具体实施中，主动降噪(anr)反馈麦克风(面向用户的耳朵)可用于在有风条件下捕获来自一个耳塞的语音，而在另一耳塞上，面向外部的麦克风可用于语音捕获。anr反馈麦克风虽然更不受风噪声(或其他高噪声环境，如嘈杂噪声)的影响，但是不能够拾取大量高频率含量。当与来自第一耳塞的anr反馈麦克风的语音音频混合时，另一耳塞中的面向外部的麦克风使得能够扩展语音捕获的带宽，同时最小化风噪声。当风条件动态地改变时，耳塞可协调交换，哪个耳塞使用anr反馈麦克风来捕获语音并且哪个耳塞使用面向外部的麦克风。

10、两个耳塞还可同时使用anr反馈麦克风和面向外部的麦克风来捕获语音，并且压缩麦克风音频并将多个麦克风信道发送到源设备，其中可进行混合。在源设备上运行的算法可然后基于由每个耳塞中的面向外部的麦克风拾取的环境噪声而动态地选择哪些麦克风用于混合。在每个侧上独立运行的任何语音算法还可将关键信息(例如，通过元数据)发送到源设备，该源设备然后使用该信息来决定将哪些麦克风用于混合(来自一个耳塞或另一耳塞或两者的混合的麦克风)。非标准编解码器也可用于麦克风音频传输，其具有较低编码/解码算法延迟或较高压缩，如对于给定的使用情况所适合的。

11、在其他使用情况下，前述麦克风混合方案的输出可用于作出关于产品的音量水平或anr设置的决策。例如，基于由在源设备上运行的麦克风混合算法检测到的噪声水平，可将信号发送回产品，告知产品调整音量水平以补偿环境噪声。类似地，关于环境噪声的信息可作为信号发送回产品，以便自动调整anr水平。

12、在一个示例中，提供了一种用于选择可穿戴设备的一个或多个音频捕获传感器的方法，该方法包括：使用第一可穿戴设备的至少一个音频捕获传感器来检测与用户语音对应的第一信号；使用第二可穿戴设备的至少一个音频捕获传感器来检测与该用户语音对应的第二信号，其中该第二可穿戴设备被无线地连接到该第一可穿戴设备；确定该第一信号的能量水平；确定该第二信号的能量水平；以及至少部分地基于该第一信号的该能量水平和该第二信号的该能量水平来选择该第一可穿戴设备的至少一个音频捕获传感器和/或该第二可穿戴设备的至少一个音频捕获传感器以获得语音数据。

13、在一个方面，该第一可穿戴设备被配置为向外围设备发送该第一信号并且该第二可穿戴设备被配置为向外围设备发送该第二信号，并且其中该外围设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器和/或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。

14、在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该第一信号是该第一多个音频捕获传感器的平均能量水平，并且其中该第一可穿戴设备被配置为使用压缩算法来向该外围设备发送该第一信号。

15、在一个方面，该第一可穿戴设备被进一步配置为向该第一外围设备发送元数据，以与由该外围设备执行的混合算法一起使用。

16、在一个方面，该混合算法被布置成生成输出，并且其中该外围设备被配置为向该第一可穿戴设备发送该输出，其中该第一可穿戴音频设备被配置为使用该输出来自动地改变音量水平或主动降噪(anr)设置。

17、在一个方面，该第二可穿戴设备被配置为向该第一可穿戴设备发送该第二信号，并且其中该第一可穿戴设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器和/或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。

18、在一个方面，该第一信号和该第二信号的能量水平与信噪比(snr)、风存在、射频(rf)性能或音频拾取中的至少一者相关。

19、在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器和该第二可穿戴设备的该至少一个音频捕获传感器选自外部麦克风、内部麦克风、也用于声学降噪(anr)目的的反馈麦克风、也用于anr目的的前馈麦克风、或加速度计中的至少一者。

20、在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该至少一个音频捕获传感器的该选择包括在该第一组多个音频捕获传感器中的第一音频捕获传感器与该第一组多个音频捕获传感器中的第二音频捕获传感器的选择之间动态地改变。

21、在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该第一信号的该能量水平是该第一组多个音频捕获传感器的平均能量水平。

22、在一个方面，该第二可穿戴设备的该至少一个音频捕获传感器包括第二组多个音频捕获传感器，并且其中该第二信号的该能量水平是该第二组多个音频捕获传感器的平均能量水平。

23、在一个方面，当该第一信号的该能量水平小于该第二信号的该能量水平时，仅选择该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据，而不选择该第二可穿戴设备的该至少一个音频捕获传感器。

24、在一个方面，使用协商的连接同步流将该语音数据发送到外围设备。

25、在一个方面，当该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变时，该第一可穿戴设备执行与该第二可穿戴设备的握手以将获得语音数据的责任转移到该第二可穿戴设备的该至少一个音频捕获传感器。

26、在一个方面，当该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变时，与该第一可穿戴设备的该至少一个音频捕获传感器相关联的增益参数与该第二可穿戴设备共享以被应用于该第二可穿戴设备的该至少一个音频捕获传感器。

27、又如，提供了一种用于选择可穿戴设备的一个或多个音频捕获传感器的计算机程序产品，该计算机程序产品包括一组非暂态计算机可读指令，当该一组非暂态计算机可读指令在第一可穿戴设备、第二可穿戴设备或外围设备的至少一个处理器上执行时，该处理器被配置为：检测或接收与由该第一可穿戴设备的至少一个音频捕获传感器捕获的用户语音对应的第一信号；检测或接收与由该第二可穿戴设备的至少一个音频捕获传感器捕获的该用户语音对应的第二信号，其中该第二可穿戴设备被无线地连接到该第一可穿戴设备；确定该第一信号的能量水平；确定该第二信号的能量水平；以及至少部分地基于该第一信号的该能量水平和该第二信号的该能量水平来选择该第一可穿戴设备的至少一个音频捕获传感器或该第二可穿戴设备的至少一个音频捕获传感器以获得语音数据。

28、在一个方面，该第一可穿戴设备被配置为向该外围设备发送该第一信号并且该第二可穿戴设备被配置为向该外围设备发送该第二信号，并且其中该外围设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。

29、在一个方面，该第二可穿戴设备被配置为向该第一可穿戴设备发送该第二信号，并且其中该第一可穿戴设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。

30、在一个方面，该第一信号和该第二信号的能量水平与信噪比(snr)、风存在、射频(rf)性能或音频拾取中的至少一者相关。

31、在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器和该第二可穿戴设备的该至少一个音频捕获传感器选自以下中的至少一者：外部麦克风、内部麦克风、也用于声学降噪(anr)目的的反馈麦克风、也用于anr目的的前馈麦克风、或加速度计。

32、在一个方面，该第一无线穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该第一信号的该能量水平是该第一组多个音频捕获传感器的平均能量水平；并且该第二可穿戴设备的该至少一个音频捕获传感器包括第二组多个音频捕获传感器，并且其中该第二信号的该能量水平是该第二组音频捕获传感器的平均能量水平。

33、在一个方面，当该第一信号的该能量水平小于该第二信号的该能量水平时，仅选择该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据，而不选择该第二可穿戴设备的该至少一个音频捕获传感器。

34、在一个方面，该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变，该第一可穿戴设备执行与该第二可穿戴设备的握手以将获得语音数据的责任转移到该第二可穿戴设备的该至少一个音频捕获传感器。

35、在一个方面，该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变，与该第一可穿戴设备的该至少一个音频捕获传感器相关联的增益参数与该第二可穿戴设备共享以被应用于该第二可穿戴设备的该至少一个音频捕获传感器。

36、各种实施方案的这些和其他方面从下文中描述的实施方案中将显而易见，并且将参考下文中描述的实施方案进行阐明。