声音信号处理系统、方法和智能音箱与流程

1.本公开涉及一种信号处理领域，尤其涉及一种声音信号处理系统、方法和智能音箱。


背景技术：

2.随着语音交互和互联网技术的发展，可利用语音功能进行信息获取、音乐播放和物联网设备管理的智能音箱得到普及。在家庭使用环境中，用户通常会购置一个智能音箱并将其布置在日常活动最频繁的区域，例如，客厅。进一步地，为了提供全域的语音交互功能，还可以在作为中心节点的客厅智能音箱之外，布置其他的语音交互设备，例如，其他的智能音箱，或是功能更为简单的语音交互设备，例如智能语音贴或智能语音开关等。
3.这些语音交互设备可以在各自对应的区域中分别向用户提供声音播放和语音交互功能，但这些设备在同时进行工作时，可能会对其他的语音交互设备产生干扰，从而不利于这些设备的正常工作。
4.为此，需要一种改进的声音信号处理方案。


技术实现要素：

5.本公开要解决的一个技术问题是提供一种改进的声音信号处理方案，该方案利用fm来回传采集的喇叭音频数据，保证回传的低延时同时避免对常规高带宽低延时电路的需要，从而确保了语音交互设备对用户语音的快速响应以及相对较低的成本。
6.根据本公开的第一个方面，提供了一种声音信号处理系统，包括主音箱和副音箱，其中所述副音箱用于：采集副音箱喇叭信号；将采集的所述副音箱喇叭信号进行fm调制并发送，所述主音箱用于：接收副音箱发送的fm信号；以及基于所述fm信号进行回声消除操作。
7.根据本公开的第二个方面，提供了一种声音信号处理方法，包括：副音箱采集副音箱喇叭信号；所述副音箱将采集的所述副音箱喇叭信号进行fm调制并发送；主音箱接收所述副音箱发送的fm信号；主音箱基于所述fm信号进行回声消除操作。
8.根据本公开的第三个方面，提供了一种智能音箱，包括：喇叭，用于播放音频信号；喇叭信号采集单元，用于采集喇叭信号；fm接收单元，用于接收包含关联音箱喇叭信号的fm信号；麦克风单元，用于采集麦克风信号；以及处理器，用于基于所述喇叭信号和所述关联音箱喇叭信号，进行针对所述麦克风信号的所述回声消除操作。
9.根据本公开的第四个方面，提供了一种播放设备，包括：通信单元，用于接收音频信号；喇叭，用于播放接收的音频信号；喇叭信号采集单元，用于采集喇叭信号；以及fm发送单元，用于发送包含所述喇叭信号的fm信号。
10.根据本公开的第五个方面，提供了一种fm收发组件，包括：用于获取第一设备喇叭信号并进行发送的fm发送单元；以及接收所述第一设备喇叭信号并将所述喇叭信号传送给第二设备用于进行回声消除操作的fm接收单元。上述fm发送单元和fm接收单元可以分别外
接第一设备和第二设备(例如，智能音箱)，或是作为第一设备或是第二设备的内置单元，并在进行回声消除操作时，进行相应的fm信号发送和接收。
11.根据本公开的第六个方面，提供了智能音箱，包括：wifi单元，用于获取包括至少两路声道的音频信号；喇叭，用于播放所述音频信号中的第一路声道信号；蓝牙单元，用于将所述音频信号中的其他声道信号发送给关联音箱；喇叭信号采集单元，用于采集喇叭信号；fm接收单元，用于接收包含关联音箱喇叭信号的fm信号；麦克风单元，用于采集麦克风信号；以及处理单元，用于基于所述喇叭信号和所述关联音箱喇叭信号，进行针对所述麦克风信号的所述回声消除操作。
12.根据本公开的第七个方面，提供了一种声音信号处理方法，包括：获取用户播放音乐的指令；查找对应的音频信号；分配至少两个声道；播放第一声道的音频信号，并发送至少一个第二声道以使得副音箱同时播放所述第二声道的音频信号；采集第一声道音频信号的喇叭信号并经由fm接收fm信号，所述fm信号包含第二声道音频信号的喇叭信号；采集麦克风信号；以及基于所述第一声道音频信号的喇叭信号和所述第二声道音频信号的喇叭信号，进行针对所述麦克风信号的所述回声消除操作。
13.根据本公开的第八个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第七方面所述的方法。
14.根据本公开的第九个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第七方面所述的方法。
15.由此，本发明的声音信号处理方案能够利用成本相对低廉的fm电路实现关联音箱喇叭信号的低延时可靠回传，从而便于进行准确语音交互所需的回声消除操作，提升了多个语音交互设备的整体易用性。
附图说明
16.通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
17.图1示出了根据本发明一个实施例的声音信号处理系统的组成示意图。
18.图2示出了fm发送单元的一个组成例。
19.图3示出了包括多个副音箱的声音信号处理系统的组成例。
20.图4示出了根据本发明一个实施例的声音信号处理方法的示意性流程图。
21.图5示出了根据本发明一个实施例的智能音箱的组成框图。
22.图6示出了智能音箱的内部组成例。
23.图7示出了根据本发明一个实施例的播放设备的内部组成例。
24.图8示出了一种在播放音频的同时监控用户是否有语音指令输入的方法流程例。
25.图9示出了根据本发明一个实施例可用于实现上述声音信号处理方法的计算设备的结构示意图。
具体实施方式
26.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
27.为了在家庭全域提供语音交互功能，用户可以在作为中心节点的客厅智能音箱之外，布置其他语音交互设备，例如，其他的智能音箱，或是功能更为简单的语音交互设备，例如智能语音贴或智能语音开关等。这些语音交互设备可以在各自对应的区域中分别向用户提供声音播放和语音交互功能，但这些设备在同时进行工作时，可能会对其他的语音交互设备产生干扰，从而不利于这些设备的正常工作。
28.为此，需要一种改进的声音信号处理方案。本发明利用fm来回传采集的喇叭音频数据，保证回传的低延时同时避免对常规高带宽低延时电路的需要，从而确保了语音交互设备对用户语音的快速响应以及相对较低的成本。
29.图1示出了根据本发明一个实施例的声音信号处理系统的组成示意图。如图所示，系统100包括主音箱110和副音箱120。其中主音箱和副音箱都包括用于播放声音(包括语音和音乐)的喇叭(扬声器)111和121。
30.在这其中，副音箱120可以采集副音箱喇叭121发出的喇叭信号，并将采集的副音箱喇叭信号进行fm调制并发送，例如，送入fm发送单元(fmtx)122进行发送。相应地，主音箱110可以例如经由fm接收单元(fmrx)112接收副音箱110发送的fm信号，并基于所述fm信号进行操作，例如回声消除操作。
[0031]“回声消除”在此可以特指声学回声消除(acoustic echo cancellation，aec)，顾名思义，是用于消除声学回声的技术。声学回音是由于喇叭的声音反馈到麦克风引起的。在图1所示的系统100中，副音箱120的喇叭121正播放的声音会反馈到主音箱的麦克风(mic)113。为此，需要采集副音箱喇叭121的声音信号，将其回传到主音箱，并经由主音箱的处理电路(例如，cpu114)进行处理，用于抵消麦克风采集数据中所包含的副音箱喇叭121的声音信息。
[0032]
在本发明中，采用fm(frequency modulation)，即调频，也称“频率调制”技术来进行副音箱喇叭信号的传输。众所周知，调频是一种使载波的瞬时频率按照所需传递信号的变化规律而变化的调制方法。在本发明中，可以直接将副音箱喇叭信号通过分压滤波电路输入到fmtx122进行发送。
[0033]
fm发送单元122可以具有极为简单的结构。图2示出了fm发送单元的一个组成例。如图所示，fmtx222可由晶振(例如，24mhz晶振)、fm芯片和fm天线组成。图1所示的fm rx 112可以具有相应的简单的接收结构。如图2所示的fm发送单元虽然组成简单且配置成本低，但能够结合fm接收单元满足低延时高带宽的数据传输要求，通常具有10米以上的传输距离，并且配置fm单元对主副音箱软件系统的改动也较小。
[0034]
相比之下，能够满足高带宽低延时网络回传需求的uwg和5g电路的成本偏高，如lbrt的近磁场传输则传输距离过小(通常不超过0.5米)，wifi回传无法在保证低延时的同时实现足够的稳定性，而蓝牙和zigbee则无法满足低延时需求。由此，本发明利用fm技术进行喇叭数据的回传，能够以极低的成本和对系统的较小改动实现aec处理中的低延时需求。
[0035]
需要进行声学回声消除的场景通常是喇叭正在播放(例如，正在播放音乐)，因而需要喇叭声音信号进行声音抵消的场景。于是，在一个常见的应用场景中，主音箱110和副音箱120可以用于获取音频信号，并按照配置播放各自声道的音频信号。在不同的实施例中，主音箱110和副音箱120可以基于不同的机制获取要播放的音频信号。应该理解的是，在本发明中，主音箱110和副音箱120之间不存在有线连接，而是经由无线进行信号传输的，例如，经由fm进行喇叭信号传输。
[0036]
在一个实施例中，主音箱110和副音箱120可以是成套的套件，并在例如出场时就已完成两个音箱之间的默认配对，例如蓝牙配对。在其他实施例中，主音箱110和副音箱120可以例如用户分别购入的音箱，并且由用户进行两个音箱之间的配对，例如蓝牙配对。在一个实施例中，主音箱110和副音箱120可以是具有相同软硬件配置的设备，并且可以基于设置，或是动态决定主音箱和副音箱的身份。在另一个实施例中，主音箱110和副音箱120可以具有不同的软硬件配置，例如，主音箱110可以具备更为强大的功能，例如，配备有wifi模块和更为强大的处理功能的智能音箱，副音箱120则可以是结构和功能更为简单，且不包括wifi模块的其他智能语音交互设备，例如，智能语音贴。
[0037]
主音箱110和副音箱120可以在配对时，确定各自的声道播放配置，也可以例如基于用户的当前位置，动态确定各自的声道配置。在一个优选实施例中，主音箱110和副音箱120可以类似于tws(真无线立体声)耳机进行操作。为此，主音箱110可以例如经由wifi组件115从服务器上获取要播放的音频信号，该音频信号可以包括左右声道的音频信号，并将相应声道的音频信号经由蓝牙(bt)组件115发送给副音箱120。副音箱120可以经由其自身配备蓝牙(bt)组件123获取所述主音箱发送的副音箱音频信号并进行播放，同时可以采集播放的所述副音箱音频信号作为所述副音箱喇叭信号。在其他实施例中，副音箱120也可以自行从服务器上获取其要播放声道的音乐信息(此时需要副音箱120也配备会大幅增加成本的wifi组件，因此不是优选的解决方案)。
[0038]
在此，音频信号可以指带由副音箱120播放，或是由主音箱110和副音箱120根据声道分配同时播放的音频信号。该音频信号可以是存储在主音箱或副音箱本地的音频信号，也可以是从服务器或是本地其他存储机构中获取的音频信号。该音频信号可以是单纯的音频信号，例如，音乐信号，并且可以包括人声或是纯乐曲，也可以是音视频信号中的音频部分，例如立体声电影资源中的多声道音频信息。
[0039]
在主音箱110也进行音频播放时，为了进行回声消除操作，也需要对主音箱的喇叭信号进行采集。此时，主音箱110用于：获取并播放主音箱音频信号，例如，主音箱对应声道的音频信号；采集播放的所述主音箱音频信号作为主音箱喇叭信号；以及基于所述主音箱喇叭信号进行所述回声消除操作。
[0040]
进一步地，主音箱110可以利用麦克风单元113采集主音箱麦克风信号；以及基于所述副音箱喇叭信号和所述主音箱喇叭信号，进行针对所述主音箱麦克风信号的所述回声消除操作。
[0041]
应该理解的是，一个带麦克风的音箱，其麦克风采集到的信号是包括该音箱播放音频在内的环境音，而其喇叭信号采集单元则是直接获取喇叭播放的音频信号。在如图1所示的系统中，如果主音箱110和副音箱120正在同步分声道的播放音乐信号，并且同时用户说出语音指令(例如，唤醒词)，则此时麦克风单元113采集到的信号就包括主音箱110的喇
叭111所播放的信号、副音箱120的喇叭121所播放的信号，以及用户的语音信号。这样，就可以基于直接采集的副音箱喇叭信号和所述主音箱喇叭信号，来消除麦克风信号中所包含的主音箱110的喇叭111所播放的信号以及副音箱120的喇叭121所播放的信号。
[0042]
由此，主音箱110可以对经过所述回声消除操作的所述麦克风信号进行语音识别操作，例如，判定经过所述回声消除操作的所述麦克风信号是否包括唤醒词，或是唤醒后进一步的语音识别。
[0043]
在某些实施例中，副音箱120也可以配备麦克风，以实现语音交互功能。进一步地，副音箱120可以利用麦克风单元采集副音箱麦克风信号。随后，主音箱或副音箱基于所述副音箱喇叭信号和所述主音箱喇叭信号，进行针对所述副音箱麦克风信号的所述回声消除操作。上述针对副音箱麦克风信号的回声消除和语音识别操作，可以作为针对主音箱麦克风信号的回声消除和语音识别操作的补充或是替换。例如，如果用户在更接近副音箱的位置处发出语音指令，则利用副音箱麦克风信号进行语音识别更可能检测出有意义的信号。
[0044]
如前所述，主音箱110和副音箱120可以是在出场时以完成配网的套件，也可以分别贩售的独立设备。无论哪种情况，主音箱110在首次使用时，都需要上电进行配网，例如，利用wifi组件115完成与云端服务器的认证和配网。上述主音箱110例如可以是用作家庭语音智能交互中心的智能音箱。在副音箱需要进行配网时，主音箱可以接收所述副音箱的配网请求，并向经配网的所述副音箱发送声道配置信息。
[0045]
进一步地，主音箱可以在配网后，或是连接副音箱后，主音箱110可以扫描可用的fm发送频率，并向副音箱发送选定的fm发送频率信息。由此，主音箱110和副音箱120可以约定进行喇叭信号传输的fm的工作频率。
[0046]
在完成配网后，主音箱可以接收来自用户的播放音频的语音指令，并基于上述指令获取所述音频信号，并将对应声道的音频信号转发给副音箱。此时，主音箱110和副音箱120可以同步播放各自对应声道的音频信息，并保持对各自喇叭信号、以及主音箱麦克风信号的采集，以及aec操作，以便实时判定用户是否在播放音频信号时发出了语音指令，例如，说出了唤醒词。
[0047]
在一个实施例中，所述系统可以包括多个副音箱。这些副音箱可以同时进行配网，或是逐一进行配网，并且可以根据当前副音箱的个数和位置，动态判定声道的分配。此时，每个副音箱可以用于：播放对应声道的音频信号；采集各自的副音箱喇叭信号；针对各自采集的副音箱喇叭信号进行fm调制并发送。主音箱则可用于：同时接收来自每个副音箱的fm信号；以及基于所述fm信号进行回声消除操作。
[0048]
在存在多个副音箱时，主音箱需要为每个副音箱分配不同的fm传输频率，并使用不同的fm接收器接收各个副音箱发送的fm信号。图3示出了包括多个副音箱的声音信号处理系统的组成例。如图所示，系统300除了包括主音箱310和副音箱320之外，还可以包括副音箱330，该副音箱330可以与主音箱310和副音箱320组成3声道的立体声播放系统。为此，为了对来自副音箱330的信号进行回声消除，主音箱310还需要额外包括一套fm接收器312’，并保证两个fmrx312和312’分别工作在不同的频率上。
[0049]
进一步地，除了与图1所示相同的喇叭321和蓝牙组件323之外，副音箱320还可以包括音频功率放大器(aupa)324，其用于将从蓝牙组件323获取的音频信号进行放大并送至喇叭321进行播放。副音箱喇叭信号可以通过分压滤波电路，直接接入到如图2所示的fm发
射芯片的输入端，并通过fm天线发送到主音箱310。
[0050]
类似地，主音箱310也可以配备音频功率放大器(aupa)316，并且还可以配备adc芯片317。主音箱310的fm接收芯片接收到fm信号，可以通过音频输出通路将接收芯片解码出的音频信号送入adc芯片317，该adc317同时还可以获取主音箱回传的喇叭信号，麦克风313采集的麦克信号，以及可选的来自副音箱330的音频信号，这些信号可以一并被送入处理器(cpu)314以进行语音识别。在主音箱310空闲时，可以在后台扫描fm频率，以更新适于进行喇叭信号的fm传输的频率，例如，查找当前干扰频率下干净的一个或多个fm频率。
[0051]
如上结合图1-3描述了适于实现本发明的声音信号处理系统及其优选实施例。本发明的方案还可以实现为一种声音信号处理方法。图4示出了根据本发明一个实施例的声音信号处理方法的示意性流程图。
[0052]
如图所示，在步骤s410，副音箱采集副音箱喇叭信号。在步骤s420，副音箱将采集的所述副音箱喇叭信号进行fm调制并发送。在步骤s430，主音箱接收所述副音箱发送的fm信号。在步骤s440，主音箱基于所述fm信号进行回声消除操作。
[0053]
在此，所述主音箱和所述副音箱可以获取音频信号，并按照配置播放各自声道的音频信号。此时，在步骤s410，副音箱可以采集副音箱音频信号作为所述副音箱喇叭信号。
[0054]
在主音箱也同时播放音频的情况下，aec操作也需要采集主音箱喇叭的信号。为此，该方法还可以包括：采集播放的所述主音箱音频信号作为主音箱喇叭信号；采集主音箱麦克风信号；以及基于所述副音箱喇叭信号和所述主音箱喇叭信号，进行针对所述主音箱麦克风信号的所述回声消除操作以进行语音识别。
[0055]
进一步地，在副音箱也具备语音交互的功能时，也可以通过副音箱采集麦克风信号并进行语音识别。为此，该方法还可以包括：采集副音箱麦克风信号；以及基于所述副音箱喇叭信号和所述主音箱喇叭信号，进行针对所述副音箱麦克风信号的所述回声消除操作以进行语音识别。
[0056]
在进行音频播放之前，主音箱可以进行配网操作，例如，经由wifi组件进行的云端配网操作，进一步地，主音箱还可以接收所述副音箱的配网请求，并向经配网的所述副音箱发送声道配置信息和/或fm发送频率信息。
[0057]
在本发明的声音信号处理系统中，可以根据不同的策略来从多个音箱中确定进行fm调制和发送的“副音箱”以及进行fm接收的“主音箱”。在一个实施例中，主音箱可以是wifi联网的默认主音箱。主音箱可以获取多声道音频信号，并向副音箱发送(例如，经由蓝牙)其对应的音频信号。为此，在进行回声消除操作时，也默认由音频播放中的副音箱来作为fm传送的副音箱。
[0058]
在另一个实施例中，主音箱可以是由出厂设置或用户指定的主音箱。例如，一对蓝牙音箱中的一个音箱已在出厂时被设为主音箱，或是在上电/配网时由用户设置为主音箱，进而在进行回声消除操作时，同样被看作是用于进行计算操作的主音箱。
[0059]
在又一个实施例中，可以由当前场景动态确定主音箱和副音箱。例如，将离用户最近的音箱设为主音箱，离用户较远的音箱设为副音箱，并由主音箱接收来自副音箱的fm信号以进行回声消除操作。
[0060]
本发明还可以实现为一种智能音箱。图5示出了根据本发明一个实施例的智能音箱的组成框图。该智能音箱尤其适于实现为如上所述的主音箱。如图所示，智能音箱510可
以包括喇叭511、麦克风513、喇叭信号采集单元517、fm接收单元512以及处理单元514。应该理解，在本发明不同的附图中，相应的设备或是组件具有相似的编号。
[0061]
在此，喇叭511可以用于播放音频信号。该音频信号优选可以是基于用户指令播出的诸如歌曲的音频信号，但也可以是针对用户指令的语音反馈信号。喇叭信号采集单元517可以用于采集喇叭信号，例如图3所示的adc(模数转换器)。adc517可以直接通过分压电路获取喇叭511的模拟信号，并将其转换为数字信号，以作为采集到的喇叭信号。
[0062]
与此同时，fm接收单元512可以接收包含关联音箱喇叭信号的fm信号，例如，副音箱以约定频率发送的包含副音箱喇叭信号的fm信号。通常配置为麦克风阵列的麦克风单元513可以采集麦克风信号。处理单元514随后可以基于所述喇叭信号和所述关联音箱喇叭信号，进行针对所述麦克风信号的所述回声消除操作。
[0063]
为了获取要播放的音频信号，智能音箱还可以包括第一联网单元。第一联网单元可以是能够访问云端在资源的联网模块，例如，wifi模块。为了与副音箱同步进行音频播放，智能音箱还可以包括第二联网单元。第二联网单元可以将获取的所述音频信号的至少一部分发送给所述关联音箱，例如，将第一联网单元从云端获取的歌曲资源的对应声道的音频信号发送给副音箱。所述第二联网单元基于近距离通信协议与所述关联音箱的第二联网单元通信，并且尤其可以是蓝牙模块。
[0064]
进一步地，处理单元514可以扫描可用的fm发送频率(例如，干扰少的干净频率)，并经由所述第二联网单元向所述关联音箱发送fm发送频率信息。由此，方便后续两个设备以该频率进行fm信号的收发。
[0065]
处理单元514还可以用于：对经过所述回声消除操作的所述麦克风信号进行语音识别操作，所述喇叭还用于：基于语音识别的结果，进行语音反馈。
[0066]
在采集副音箱的麦克信号进行语音识别的情况下，第二联网单元还可以用于接收所述关联音箱的麦克风信号，以进行所述回声消除操作。
[0067]
另外，在需要自由切换身份的情况下，该智能音箱还可以包括fm发送单元，用于向所述关联音箱发送包含所述喇叭信号的fm信号。此时，该智能音箱可以转换身份作为副音箱。
[0068]
另外，主音箱还可以与多个副音箱交互。此时，智能音箱可以包括多个fm接收单元，用于在同时分别以不同频率接收来自不同关联音箱的关联音箱喇叭信息。
[0069]
具体地，图6示出了智能音箱的内部组成例。该智能音箱610的内部组成与图3例示的主音箱310相同。如图所示，第一联网单元和第二联网单元可以分别实现为wifi和bt组件，并且可以共同组成联网单元615。该单元可以利用wifi组件获取云端资源，并利用bt组件与本地设备，例如包括副音箱在内的其他iot设备通信。在例如播放歌曲的场景中，wifi组件在从云端获取到音频信息之后，可由cpu 614进行声道分配，将本机播放的音频信息送入音频功放(au pa)616，以方便喇叭611的播放。同时，bt组件将副音箱需要播放的音频传送给副音箱进行播放。副音箱在播放音频的同时进行喇叭信号采集，并通过自身的fx tx进行fm信号的发送。与此同时，作为主音箱的智能音箱610也利用实现为adc的喇叭信号采集单元617来采集本机的喇叭信号，并利用adc 617对经由fm rx接收的信号(例如，由fm接收芯片提取为模拟信号)进行模数转换。麦克风613可以保持开启或是定时激活，以收集环境音。由麦克风613收集的模拟信号同样可由adc617进行模数转换。由此，cpu614就可以对经
由adc转换得到的三路信号：智能音箱喇叭信号、关联音箱喇叭信号以及麦克风信号进行处理，以通过智能音箱喇叭信号和关联音箱喇叭信号抵消麦克风信号中包含的喇叭信号成分，从而能够更准确地判断麦克风信号中是否包含诸如唤醒词的语音指令。
[0070]
为此，本发明还可以实现为一种智能音箱，包括：wifi单元，用于获取包括至少两路声道的音频信号；喇叭，用于播放所述音频信号中的第一路声道信号；蓝牙单元，用于将所述音频信号中的其他声道信号发送给关联音箱；喇叭信号采集单元，用于采集喇叭信号；fm接收单元，用于接收包含关联音箱喇叭信号的fm信号；麦克风单元，用于采集麦克风信号；以及处理单元，用于基于所述喇叭信号和所述关联音箱喇叭信号，进行针对所述麦克风信号的所述回声消除操作。
[0071]
图7示出了根据本发明一个实施例的播放设备的内部组成例。该播放设备720可以实现为如上所述的副音箱。如图所示，播放设备710可以包括喇叭721、音频功放(aupa)724、fm发送单元722以及通信单元723。
[0072]
通信单元可以实现为蓝牙(bt)模块723，用于接收音频信号，例如主音箱蓝牙模块发送的音频信号。音频功放(aupa)724可以对接收的信号进行功率放大，并由喇叭721播放经放大的音频信号。fmtx722则可用于发送包含所述喇叭信号的fm信号。
[0073]
除了接收音频信号，例如对应声道的音频信号之外，bt模块723还可以用于进行与主音箱的配网操作，并且可以接收fm发送频率信息，以方便播放设备在其处理单元的控制下，使得fm发送单元以约定的上述fm发送频率发送所述fm信号。在功能和结构较为简单的播放设备中，处理单元可以实现为mcu(微控制单元)。
[0074]
同样地，该播放设备也可以包括麦克风，用于采集麦克风信号，bt模块723可以用于发送所述麦克风信号，例如，发送给主音箱，用于针对该播放设备麦克风信号的aec操作，或是语音识别操作。
[0075]
在一个实施例中，本发明还可以实现为一种fm收发组件，包括：用于获取第一设备喇叭信号并进行发送的fm发送单元；以及接收所述第一设备喇叭信号并将所述喇叭信号传送给第二设备用于进行回声消除操作的fm接收单元。上述fm发送单元和fm接收单元可以分别外接第一设备和第二设备(例如，智能音箱)，或是作为第一设备或是第二设备的内置单元，并在进行回声消除操作时，进行相应的fm信号发送和接收。
[0076]
本发明尤其适用实现为一种在播放音频的同时监控用户是否有语音指令输入的方案。由此，本发明可以实现为一种声音信号处理方法，该方法适于有主音箱，如上所述的智能音箱执行，并且包括：获取用户播放音频的指令；查找对应的音频信号；分配至少两个声道；播放第一声道的音频信号，并发送至少一个第二声道以使得副音箱同时播放所述第二声道的音频信号；采集第一声道音频信号的喇叭信号并经由fm接收fm信号，所述fm信号包含第二声道音频信号的喇叭信号；采集麦克风信号；以及基于所述第一声道音频信号的喇叭信号和所述第二声道音频信号的喇叭信号，进行针对所述麦克风信号的所述回声消除操作。随后，可以对经过所述回声消除操作的所述麦克风信号进行语音识别操作；基于语音识别的结果，进行反馈。
[0077]
具体地，获取用户播放音乐的指令可以包括：采集麦克风信号；语音识别所述麦克风信号中包含的音乐播放指令，并且基于语音识别的结果，进行反馈包括：基于语音识别的结果，进行语音反馈。
[0078]
在执行上述播放与监控操作之前，还可以进行wifi配网并搜索可用的fm频率；以及将选定的fm频率发送给要从其接收所述fm信号的关联音箱。
[0079]
图8示出了一种在播放音频的同时监控用户是否有语音指令输入的方法流程例。
[0080]
该方法尤其可由图3所示的系统实现。该系统可以实现为一种多声道智能音箱，并且包括主音箱和至少一个副音箱。主音箱可以如图3所示包含cpu、bt模块、wifi模块、adc、音频功放(aupa)、fmrx、喇叭(扬声器)和麦克风单元(mic)。副音箱则可包含微控制单元(mcu)、bt模块、音频功放(aupa)、喇叭(扬声器)和fmtx。
[0081]
在步骤s810，主音箱进行wifi配网，并且可以搜索干净的fm频率。例如，用户在拿到智能音箱后，可以在第一次上电时进行配网，例如，与云端服务器进行认证操作等。此时作为主音箱的智能音箱后台可以进行fm接收扫描，选择1个或多个fm信号干净的频率。
[0082]
如果副音箱需要配网，则进行配网操作。如果配网例如在之前的阶段已经完成，例如在出厂时已经完成作为套件的主音箱和副音箱配网，则在步骤s820，主音箱可以将选定的fm频率同步给副音箱，例如通过蓝牙同步给一个或多个副音箱，作为副音箱fm发射频率。在包括多个副音箱的情况下，不同的副音箱使用不同的fm发射频率，并且主音箱上包括对应于各自频率的fm接收单元。
[0083]
配网成功后，在步骤s830，用户唤醒主音箱，提出音频播放请求，例如歌曲播放请求。此时。用户可以呼叫智能音箱播放歌曲，例如，“****(唤醒词)，播放xxx(歌手名)的xxxx(歌名)”。
[0084]
主音箱可以对用户的上述语音指令进行识别和反馈。于是，在步骤s840，主音箱通过wifi从云端下载歌曲，配置好声道，通过蓝牙同步给副音箱，做好声音同步(类似tws耳机)，主副音箱一同播放歌曲。例如，主音箱可以获取xxxx(歌名)的音频信息，例如，左右声道的信息。在主音箱被配置为播放左声道，副音箱被配置为播放右声道的情况下，主音箱可以将右声道的音频信息经由蓝牙模块同步给副音箱，使得主音箱和副音箱同步播放左声道和右声道的音频，从而实现立体声播放。
[0085]
在步骤s850，副音箱在播放歌曲的同时，采集喇叭信号并通过fm发送。具体地，副音箱的喇叭信号可以通过分压滤波电路，接入到fm发射芯片的输入端，通过fm发射到主音箱。此时，主音箱也可以保持对自身喇叭信号的采集，例如，通过如上所述的adc电路317。
[0086]
在步骤s860，主音箱的fm接收芯片接收到fm信号，通过音频输出通路将音频信号给到adc芯片，并在步骤s870与接到adc的主音箱回采声音和麦克声音一同输入到cpu。在步骤s880，cpu对上述信号进行处理，以进行语音识别，例如，判断是否包含唤醒词。另外，音箱在不播放歌曲时也可以在后台扫描fm频率，以适应干扰频率的变化。
[0087]
当根据本发明实现的多声道智能音箱在用户“****(唤醒词)，播放xxx(歌手名)的xxxx(歌名)”的语音指令下播放歌曲时，可以通过对主音箱和副音箱喇叭信号的获取，并以此抵消麦克风信号中的喇叭信号，来实时监控用户是否有新的语言指令(例如，唤醒词)输入。在检测到例如用户输入唤醒词时，音箱可以停止当前播放的音乐，改为进行针对唤醒词的语音反馈，例如“在的”或是“有什么可以帮您”；也可以在继续播放音乐的同时，进行如上诸如“在的”的语音反馈。
[0088]
图9示出了根据本发明一个实施例可用于实现上述声音信号处理方法的计算设备的结构示意图。例如，该计算设备可以实现为智能音箱，并且包括喇叭、扬声器和fm收发单
元。
[0089]
参见图9，计算设备900包括存储器910和处理器920。
[0090]
处理器920可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器920可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(gpu)、数字信号处理器(dsp)等等。在一些实施例中，处理器920可以使用定制的电路实现，例如特定用途集成电路(asic，application specific integrated circuit)或者现场可编程逻辑门阵列(fpga，field programmable gate arrays)。
[0091]
存储器910可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)，和永久存储装置。其中，rom可以存储处理器920或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器910可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器910可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0092]
存储器910上存储有可执行代码，当可执行代码被处理器920处理时，可以使处理器920执行上文述及的声音信号处理方法。
[0093]
上文中已经参考附图详细描述了根据本发明的声音信号处理方案。本发明的声音信号处理方案能够利用成本相对低廉的fm电路实现关联音箱喇叭信号的低延时可靠回传，从而便于进行准确语音交互所需的回声消除操作，提升了多个语音交互设备的整体易用性。
[0094]
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
[0095]
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
[0096]
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
[0097]
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可
以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0098]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。