应用于音频装置的控制器与相关的操作方法
【专利摘要】本发明涉及一种应用于一音频装置的控制器与相关操作方法；控制器可接收两麦克风分别提供的第一收音频号与第二收音频号，并包括一回音消除模块与一波束成型模块。回音消除模块可对第一收音频号进行回音消除并据以提供一中介信号，波束成型模块则可利用回音消除后的中介信号与未经回音消除处理的第二收音频号进行波束成型处理。
【专利说明】应用于音频装置的控制器与相关的操作方法
【技术领域】
[0001]本发明有关于一种应用于音频装置的控制器与相关的操作方法，尤指一种能以低运算量有效改善收音效果的音频装置控制器与相关操作方法。
【背景技术】
[0002]能收集及/或播放声音的音频装置已在现代资讯生活中扮演重要的角色；再者，具有声控功能的装置也可视为音频装置。举例而言，音频装置可以涵盖手机、数位相机/摄影机、可发音并接受声控的导航/定位装置、穿戴式/手持式/可携式的计算机/电子书/电子字典/电脑、具有声控功能的电视、音响、多媒体播放器、玩具乃至于互动艺术作品等坐寸ο
[0003]请参考图1，其所示意的是一已知的音频装置10，其可播放声音，并可接受声控。音频装置10包括有麦克风12a与12b，扬声器14a与14b，一控制器20，一音频输出模块23与一播放模块24。麦克风12a与12b用以收音，并将收集到的声音转换为信号Si_L与Si_R0信号Si_L与Si_R会被传输至控制器20。
[0004]控制器20包括一波束成型(beam forming)模块16、一回音消除(echocancellat1n)模块18与一语音辨识模块22。音频输出模块23可提供信号Sp_L与Sp_R作为音源信号，播放模块24可依据信号Sp_L与Sp_R进行播放，例如说是依据信号Sp_L与Sp_R分别驱动扬声器14a与14b,以将信号Sp_L与Sp_R播放为声音。
[0005]为了实现声控的功能，音频装置10必须聚焦于使用者的位置以集中收集使用者发出的声控命令，并避免扬声器14a与14b的播音影响收音，因为扬声器14a与14b播出的声音会形成回音，并被麦克风12a与12b接收。在习知音频装置10的控制器20中，波束成型模块16便是要利用信号Si_L与Si_R进行波束成型处理，并据以提供信号Sml ;波束成型的目的是在信号Sml中加强某一聚焦区域内的声音，并减抑其他非聚焦区域的声音干扰。回音消除模块18则依据信号对信号Sml进行回音消除，据以提供信号Sm2。然后，语音辨识模块22便可利用信号Sm2来进行语音辨识，由信号Sm2中辨识出是否有声控命令及命令的内容，使控制器20能据以控制音频装置10。
[0006]由图1可知，已知音频装置10是在进行波束成型之后进行回音消除。在此已知架构下，虽然控制器20仅需单一回音消除模块18而降低运算量，但波束成型会破坏回音的线性特性，产生非线性的信号，使回音消除模块18无法完全消除回音，连带影响语音辨识的正确性与辨识率。
【发明内容】
[0007]为克服已知技术的缺点，本发明的目的之一是提供一种可运用于一音频装置的控制器。本发明控制器可接收由两麦克风分别提供的一第一收音频号与一第二收音频号，并包括一回音消除模块与一波束成型模块。回音消除模块对第一收音频号进行回音消除并据以提供一中介信号。波束成型模块耦接回音消除模块与第二收音频号，以中介信号与第二收音频号进行波束成型(beam forming)处理，据以提供一输出信号；其中，第二收音频号不经回音消除处理。控制器还可包括一语音辨识模块，耦接该波束成型模块，对输出信号进行语音辨识，并依据语音辨识的结果控制音频装置。
[0008]本发明音频装置可以包括一或多个扬声器、一音频输出模块与一播放模块。音频输出模块用以为各扬声器提供一音源信号，播放模块依据各音频信号来使各扬声器播放对应的声音，而回音消除模块则可依据音源信号来对第一收音频号进行回音消除。
[0009]本发明的目的之一是提供一种应用于一音频装置的操作方法，包括:分别自一第一麦克风与一第二麦克风接收一第一收音频号与一第二收音频号，对第一收音频号进行一回音消除处理并据以提供一中介信号，以及，依据中介信号与第二收音频号进行一波束成型处理并据以提供一输出信号；其中，第二收音频号是未经回音消除处理。
[0010]为了对本发明的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合附图，作详细说明如下:
【专利附图】
【附图说明】
[0011]图1示出了一已知音频装置的控制器架构。
[0012]图2示出了一音频装置及其控制器。
[0013]图3示出了依据本发明一实施例的音频装置及其控制器。
[0014]图4举例比较图1至图3的回音消除效果与运算量。
[0015]图5示出了依据本发明一实施例的操作方法流程。
[0016]符号说明
[0017]10、30、50:音频装置
[0018]12a-12b、32a-32b、52a_52b:麦克风
[0019]14a_14b、34a-34b、54a_54b:扬声器
[0020]16、36、56:波束成型模块
[0021]18、38a_38b、58:回音消除模块
[0022]20,40,60:控制器
[0023]22、42、62:语音辨识模块
[0024]23、43、63:音频输出模块
[0025]24、44、64:播放模块
[0026]Si_L/Si_R、Sml、Sm2、Sp_L/Sp_R、Sm_R/Sm_L、Si_a/Si_b、Sp_a/Sp_b、S1、S2:信号
[0027]100:流程
[0028]102-108:步骤
【具体实施方式】
[0029]请参考图2，其所示意的是一音频装置30。音频装置30亦可播放声音并接受声控，其包括有麦克风32a与32b,扬声器34a与34b, —控制器40, —音频输出模块43与一播放模块44。麦克风32a与32b用以收音，据以提供电子信号Si_L与Si_R，并传输至控制器40。
[0030]控制器40包括两回音消除模块38a与38b、一波束成型模块36与一语音辨识模块42。音频输出模块43可提供信号Sp_L与Sp_R作为音源信号，播放模块44依据信号Sp_L与Sp_R控制扬声器34a与34b，以将信号Sp_L与Sp_R播放为声音。
[0031]为了实现声控的功能，音频装置30同样必须聚焦收音，并避免扬声器34a与34b的播放回音干扰收音。在音频装置30的控制器40中，回音消除模块38a与38b会先依据信号Sp_L与Sp_R而分别从信号Si_L与Si_R中消除回音，并产生信号Sm_L与Sm_R。然后，由波束成型模块36利用信号Sm_L与Sm_R进行波束成型处理，并据以产生信号Sm2，作为一输出信号。如此，语音辨识模块42便可利用信号Sm2来进行语音辨识，以使控制器40能据以控制音频装置30。
[0032]不同于图1的已知技术，图2的控制器架构是先进行两路的均衡回音消除，再进行波束成型，以避免回音特性被波束成型破坏。不过，图2两路均衡回音消除可能需耗费较多运算量。
[0033]请参考图3，其所示意的是依据本发明一实施例的音频装置50。举例而言，音频装置50可以是一个可播放声音且可接受声控的装置，例如一声控电视或一声控的多媒体播放器。音频装置50可以包括一或多个麦克风(例如麦克风52a与52b), —或多个扬声器(例如扬声器54a与54b), —音频输出模块63, —播放模块64以及一控制器60。麦克风52a与52b用以收音，并分别将收集到的声音转换为电子信号Si_a与Si_b (可视为第一与第二收音频号)，传输至控制器60。
[0034]控制器60可以是一处理器或控制器芯片，也可以包括控制器芯片的周边支持电路及/或硬件，如挥发性及/或非挥发性存储器等等。控制器60可包括单一回音消除模块58、一波束成型模块56与一语音辨识模块62。在音频装置50中，音频输出模块63可提供信号Sp_a与Sp_b (可视为音源信号),播放模块64则依据信号Sp_a与Sp_b驱动扬声器54a与54b,以将信号Sp_a与Sp_b播放为对应的声音。举例而言，音频输出模块63可以包括音频编解码(aud1 codec)模块，用以从一立体声的音源串流(未绘示)中提取出不同声道的信号以分别作为不同扬声器的音源信号，例如扬声器54a与54b的信号Sp_a与Sp_b。
[0035]音频装置50可聚焦收音，并抑制扬声器播音所导致的回音。举例而言，为了实现声控的功能，音频装置50可聚焦于使用者的位置以集中收集使用者发出的声控命令，并避免扬声器54a与54b的播音影响收音。在控制器60中，回音消除模块58稱接于麦克风52a、波束成型模块56与音频输出模块63，接收信号Sp_a，以参考信号Sp_a来对信号Si_a进行回音消除，并据以提供信号SI作为一中介信号。波束成型模块56耦接回音消除模块58、麦克风52b与语音辨识模块62,可利用信号SI与麦克风52b的信号Si_b进行波束成型处理，据以提供一信号S2作为一输出信号。语音辨识模块62 I禹接波束成型模块56,对信号S2进行语音辨识，使控制器60得以依据语音辨识的结果控制音频装置50。
[0036]由图3可知，本发明控制器60是将回音消除安排在波束成型之前，如此，便可避免波束成型的非线性信号影响回音消除的效果，也进一步防止波束成型干扰语音辨识率与正确性。举例而言，回音消除可利用正规化最小平方误差(NLMS, Normalized Least MeanSquare)演算法来进行，但在对某一输入的音源信号进行回音消除时，若该信号经过越多的处理(例如空间反射、非线性共振及/或波束成型等等)，便越难以利用处理后的音源信号经由NLMS演算法去逼近输入回音的适应性滤波器系数。所以，若将波束成型置于回音消除之前，会让回音消除模块更难学习到消除回音的滤波器系数，而使回音更难消除。相较之下，本发明的控制器架构是将波束成型安排在回音消除之后，因此能有效防止波束成型破坏回音消除的效果。
[0037]再者，本发明控制器60可以实现单一回音消除模块58，因此，控制器60的运算量可以缩减，避免图2中多个回音消除所需的额外运算量。虽然控制器60只对麦克风52a提供的信号Si_a进行回音消除，并未对麦克风52b的信号Si_b进行回音消除，但依据本发明实施例，信号Si_b中的回音仍会被波束成型模块56的波束成型处理抑制、消除，因此，整体而言，信号Si_a与Si_b中的回音均不会干扰语音辨识的辨识率。
[0038]波束成型的目的之一是增强聚焦区的声音并相对地抑制非聚焦区的声音；举例而言，聚焦区可以位在麦克风54a与54b的几何中心线上。也就是说，聚焦区距离麦克风54a与54b的距离是相近的，因此在聚焦区发出的声音表现在信号中也是类似的，若一声音在信号Si_a与Si_b中有不同的表现,或者只表现在信号Si_a与Si_b其中之一，则可判断其并非聚焦区发出的声音。在本发明实施例中，虽然麦克风52b的信号Si_b未经回音消除，但因信号Si_b的回音只出现在麦克风54b传入的信号Si_b内，而没有出现在回音消除模块58传送的信号SI内，故会被波束成型模块56认定为非聚焦区的声音；如此,波束成型模块56的波束成型处理便会将信号Si_b的回音滤除。
[0039]请参考图4，其举例比较图1至图3控制器的回音消除效果与运算量。图4中，回音消除效果是以回音往返损耗的增强(ERLE, Echo Return Loss Enhancement)来量化；数值越高者，回音消除的效果越好。运算量则以回音消除所需的时脉来表示；数值越低者，所需消耗的运算量越少。由图4可知，本发明(图3)的控制器架构可兼顾回音消除效果与低运算量，不仅回音消除效果优良，且使用的运算量也很低。
[0040]在图3实施例中，语音辨识模块62也可以是其他功能的模块，例如说是录音模块(用以将信号S2记录至非挥发性存储器)、传输模块(将信号S2传输至网络)及/或音频处理模块，例如编码模块(将信号S2编码为串流)或频谱转换模块(将信号S2转换至频域)等等。控制器60的各模块可以用专属硬件实现，以及/或者，用硬件处理器执行软件及/或固件程序来实现。
[0041]请参考图5，其所示意的是依据本发明一实施例的流程100，其可运用于图3音频装置。流程100的主要步骤可说明如下。
[0042]步骤102:由多麦克风接收多个收音频号，例如说是由麦克风52a与52b (图3)分别取得信号Si_a与Si_b。
[0043]步骤104:于多个收音频号中，对部份的一或多个收音频号进行回音消除处理，对剩下的一或多个收音频号则不经回音消除处理。举例而言，于图3的例子中，便是依据信号3?_&来对信号51_&进行回音消除处理以形成信号SI (中介信号)，信号Si_b则不经回音消除处理。
[0044]步骤106:并用回音消除后的信号(如信号SI)与未经回音消除的信号(如信号Si_b)进行波束成型处理，据以提供一输出信号，如图3中的信号S2。
[0045]步骤108:运用步骤106所提供的输出信号。举例而言，可对输出信号S2进行语音辨识，并依据语音辨识结果控制音频装置50。
[0046]总结来说，本发明可推广如下:本发明控制器可接收一麦克风阵列(可包括多个麦克风)所提供的多个收音频号，对其中的部份(一或多个)收音频号进行回音消除处理，其余的(一或多个)收音频号则不需经由回音消除处理；再者，利用回音消除后的收音频号与未经回音消除的收音频号整合进行波束成型处理，以达成聚焦收音与回音消除。换言之，本发明是对不同麦克风提供的信号采用不均衡的回音消除，再搭配波束成型来整合实现聚焦收音与回音消除。相较于已知技术，本发明可避免回音消除受到波束成型影响，且不需对所有声道的麦克风进行回音消除，故可兼顾优秀的回音消除效果与精简的运算量。
[0047] 综上所述，虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明。本发明所属【技术领域】中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当由权利要求书所界定为准。
【权利要求】
1.一种应用于一音频装置的控制器，该控制器接收两麦克风分别提供的一第一收音频号与一第二收音频号，并包含: 一回音消除模块，对该第一收音频号进行一回音消除处理并据以提供一中介信号；以及 一波束成型模块，依据该中介信号与该第二收音频号进行一波束成型处理并据以提供一输出信号，其中该第二收音频号不经该回音消除处理。
2.如权利要求1所述的控制器，其特征在于，该音频装置包含一音频输出模块与一播放模块，该播放模块依据该音频输出模块输出的一音源信号进行播放，其中，该回音消除模块依据该音源信号对该第一收音频号进行该回音消除处理。
3.如权利要求1所述的控制器，其特征在于，还包含: 一语音辨识模块，对该输出信号进行一语音辨识。
4.如权利要求3所述的控制器，其特征在于，依据该语音辨识的结果控制该音频装置。
5.一种应用于一音频装置的操作方法，包含: 分别自一第一麦克风与一第二麦克风接收一第一收音频号与一第二收音频号； 对该第一收音频号进行一回音消除处理并据以提供一中介信号；以及依据该中介信号与该第二收音频号进行一波束成型处理并据以提供一输出信号，其中该第二收音频号不经该回音消除处理。
6.如权利要求5所述的操作方法，其特征在于，该音频装置包含一音频输出模块与一播放模块，该播放模块依据该音频输出模块输出的一音源信号进行播放，其中，对该第一收音频号进行该回音消除处理并据以提供该中介信号的步骤，依据该音源信号进行。
7.如权利要求5所述的操作方法,其特征在于,还包含:对该输出信号进行一语音辨识。
8.如权利要求7所述的操作方法，其特垂下在于，还包含:依据该语音辨识的结果控制该音频装置。
【文档编号】H04R3/02GK104469619SQ201310414628
【公开日】2015年3月25日 申请日期:2013年9月12日 优先权日:2013年9月12日
【发明者】黄宏吉, 胡正伦 申请人:晨星半导体股份有限公司