一种消除回声的方法及装置和音视频终端及会议终端与流程

1.本技术涉及但不限于电子技术领域，尤指一种消除回声的方法及装置和音视频终端及会议终端。


背景技术：

2.在通话场景中，远端语音信号经过网路传输到近端设备，会透过扬声器播放出来，而麦克风会拾取扬声器播放的声音(这部分声音称为回声信号)，使得回声信号再传回到远端设备，使得远端用户从扬声器中听到自己的声音，这样，大大降低了通话质量。
3.相关技术中，为了消除回声，在通信过程中会将用于发送至扬声器的远端语音信号作为参考信号，对近端语音信号进行回声消除。
4.由于扬声器与声学结构设计的不良，设备播放语音信号时容易产生非线性失真，而麦克风拾取到的这类非线性失真信号是作为参考信号的远端信号中不包含的，也就是说，相关技术中的回声消除方案是无法对这部分干扰信号进行处理的，非线性成份会残留下来，从而影响了通话质量。


技术实现要素：

5.本技术提供一种消除回声的方法及装置和音视频终端及会议终端，能够提升通话质量。
6.本发明实施例提供了一种消除回声的装置，包括：扬声器、通话麦克风、采集麦克风、第一处理模块、第二处理模块；其中，
7.扬声器，设置为接收并播放来自远端的远端语音信号，产生回声信号；
8.采集麦克风，设置为采集扬声器播放的信号获得采集信号；
9.通话麦克风，设置为拾取回声信号、近端人声信号以及噪音信号，得到麦克风信号；
10.第一处理模块，设置为根据远端语音信号对麦克风信号进行自适应滤波处理；
11.第二处理模块，设置为根据采集信号，对自适应滤波处理后的中间信号进行非线性自适应滤波处理，生成回声消除后的语音信号。
12.在一种示例性实例中，所述第一处理模块包括：自适应滤波器、第一叠加器；其中，
13.自适应滤波器，设置为对输入的所述远端语音信号进行计算得到第一模拟回声信号；
14.第一叠加器，设置为对所述麦克风信号和第一模拟回声信号进行叠加处理，得到中间信号。
15.在一种示例性实例中，所述第二处理模块包括：非线性自适应滤波器、第二叠加器；其中，
16.非线性自适应滤波器，设置为对输入的所述采集信号进行计算得到第二模拟回声信号；
17.第二叠加器，设置为对所述中间信号和第二模拟回声信号进行叠加处理，得到所述语音信号。
18.在一种示例性实例中，所述采集麦克风设置在靠近所述扬声器的任意位置。
19.本技术实施例还提供一种音视频终端，包括上述任一项所述的消除回声的装置。
20.本技术实施例又提供了一种消除回声的方法，包括：
21.根据远端语音信号产生回声信号；
22.获取通话麦克风拾取的回声信号、近端人声信号以及噪音信号，得到麦克风信号；
23.根据远端语音信号对麦克风信号进行自适应滤波处理，实现线性回声消除；
24.获取利用采集麦克风采集的采集扬声器播放的采集信号；
25.根据采集信号对自适应滤波处理后的信号进行非线性自适应滤波处理，生成回声消除后的语音信号，实现非线性回声消除。
26.在一种示例性实例中，所述根据远端语音信号对麦克风信号进行自适应滤波处理，包括：
27.对所述远端语音信号进行自适应滤波计算得到第一模拟回声信号；
28.叠加所述麦克风信号和第一模拟回声信号，得到中间信号。
29.在一种示例性实例中，所述根据采集信号对自适应滤波处理后的信号进行非线性自适应滤波处理，包括：
30.对所述采集信号进行非线性自适应滤波计算得到第二模拟回声信号；
31.叠加所述中间信号和第二模拟回声信号，得到所述语音信号。
32.本技术实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的消除回声的方法。
33.本技术实施例还提供一种消除回声的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的消除回声的方法的步骤。
34.本技术实施例还提供了一种消除非线性回声的方法，包括：
35.根据远端语音信号对麦克风信号进行自适应滤波处理；
36.根据采集到的扬声器播放的采集信号，对自适应滤波处理后的信号进行非线性自适应滤波处理，生成回声消除后的语音信号。
37.在一种示例性实例中，所述对麦克风信号进行自适应滤波处理，包括：
38.对所述远端语音信号进行自适应滤波计算得到第一模拟回声信号；
39.叠加所述麦克风信号和第一模拟回声信号，得到中间信号。
40.在一种示例性实例中，所述对自适应滤波处理后的信号进行非线性自适应滤波处理，包括：
41.对所述采集信号进行非线性自适应滤波计算得到第二模拟回声信号；
42.叠加所述中间信号和第二模拟回声信号，得到所述语音信号。
43.在一种示例性实例中，所述对自适应滤波处理后的信号进行非线性自适应滤波处理之前，还包括：
44.通过设置在靠近所述扬声器的采集麦克风采集所述采集信号。
45.本技术实施例在提供了一种会议终端，包括：扬声器、通话麦克风、采集麦克风、自适应滤波器、非线性自适应滤波器、第一叠加器，以及第二叠加器；其中，
46.扬声器，设置为播放来自远端会议终端的远端语音信号；
47.通话麦克风，设置为拾取回声信号、近端人声信号以及噪音信号，得到麦克风信号；
48.自适应滤波器，设置为对输入的远端语音信号进行计算得到第一模拟回声信号；
49.第一叠加器，设置为对麦克风信号和第一模拟回声信号进行叠加处理，得到中间信号；
50.采集麦克风，设置为采集扬声器播放的信号，得到采集信号；
51.非线性自适应滤波器，设置为对输入的采集信号进行计算得到第二模拟回声信号；
52.第二叠加器，设置为对中间信号和第二模拟回声信号进行叠加处理，得到语音信号。
53.本技术实施例通过两级自适应滤波处理有效地实现对回声的消除：第一级包括：以远端信号作为参考信号，经过自适应滤波处理从通话麦克风采集到的麦克风信号中去除估计到的回声信号，达到了线性消除的效果；第二级包括：以采集麦克风的采集到的扬声器播放的采集信号作为参考信号，经过非线性自适应滤波处理从通话麦克风采集到的麦克风信号中减去估计到的非线性失真信号，达到了非线性消除的效果。通过本技术消除回声的装置改善了非线性失真给回声消除带来的性能下降的问题，很好地提升了通话质量。
54.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
55.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
56.图1为本技术消除回声的方法的流程示意图；
57.图2为本技术自适应滤波处理的实施例的结构示意图；
58.图3为本技术非线性自适应滤波处理的实施例的结构示意图；
59.图4为本技术消除回声的装置的组成结构示意图；
60.图5为本技术消除回声的实施例的结构示意图；
61.图6为本技术会议终端的实施例的组成结构示意图。
具体实施方式
62.为使本技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
63.在本技术一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
64.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的
示例。
65.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
66.在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
67.图1为本技术消除回声的方法的流程示意图，如图1所示，包括：
68.步骤100：根据远端语音信号对麦克风信号进行自适应滤波处理。
69.在一种示例性实例中，本步骤可以包括：
70.对远端语音信号进行自适应滤波计算得到第一模拟回声信号；
71.叠加麦克风信号和第一模拟回声信号，得到中间信号。
72.图2为本技术自适应滤波处理的实施例的结构示意图，如图2所示，远端语音信号x(n)为经过网路从远端设备传输到近端设备的信号；麦克风信号y(n)为近端输入通话麦克风的信号，麦克风信号y(n)包括近端人声信号、回声信号、噪音信号等；远端语音信号x(n)输入自适应滤波器，经过自适应滤波器的计算得到第一模拟回声信号，信号e(n)为经过自适应滤波处理后的信号，信号e(n)等于麦克风信号y(n)与第一模拟回声信号的差值。
73.图2所示的自适应滤波处理中，利用远端信号作为参考信号，与麦克风采集到的麦克风信号进行自适应滤波处理估计出回声信号，最终从通话麦克风采集到的麦克风信号中减去估计到的回声信号，达到了线性消除的效果。
74.步骤101：根据采集到的扬声器播放的采集信号，对自适应滤波处理后的信号进行非线性自适应滤波处理，生成回声消除后的语音信号。
75.在一种示例性实例中，本步骤可以包括：
76.对采集信号进行非线性自适应滤波计算得到第二模拟回声信号；
77.叠加中间信号和第二模拟回声信号，得到语音信号。
78.图3为本技术非线性自适应滤波处理的实施例的结构示意图，如图3所示，信号e(n)为经过如图2所示的自适应滤波处理后的信号；采集信号r(n)为设置在靠近扬声器的任意位置的采集麦克风采集到的扬声器播放的信号；采集信号r(n)输入非线性自适应滤波器，经过非线性自适应滤波器的计算得到第二模拟回声信号；信号e
′
(n)为经过非线性自适应滤波处理后的信号即回声消除后的语音信号，信号e
′
(n)等于经过自适应滤波处理后的信号e(n)与第二模拟回声信号的差值。
79.如果扬声器产生非线性成份，那么，经过如图2所示的自适应滤波处理后的信号e(n)中就会残留非线性失真的成分，此时，利用本技术实施例中的采集麦克风可以拾取到扬声器非线性成份的特性信号，如图3所示，将采集麦克风采集到的采集信号作为参考信号，
与经过自适应滤波处理后的信号e(n)进行非线性自适应滤波处理估计非线性失真信号，最终从通话麦克风采集到的麦克风信号中减去估计到的非线性失真信号，达到了非线性消除的效果，改善了非线性失真给回声消除带来的性能下降的问题，更好地提升了通话质量。
80.本技术消除回声的方法通过两级自适应滤波处理，即，首先，以远端信号作为参考信号，经过自适应滤波处理从通话麦克风采集到的麦克风信号中去除估计到的回声信号，达到了线性消除的效果；然后，以采集麦克风的采集到的扬声器播放的采集信号作为参考信号，经过非线性自适应滤波处理从通话麦克风采集到的麦克风信号中减去估计到的非线性失真信号，达到了非线性消除的效果。通过本技术消除回声的方法改善了非线性失真给回声消除带来的性能下降的问题，很好地提升了通话质量。
81.本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的消除回声的方法。
82.本技术再提供一种消除回声的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的消除回声的方法的步骤。
83.本技术还提供了一种消除回声的方法，包括：
84.根据远端语音信号产生回声信号；
85.获取通话麦克风拾取的回声信号、近端人声信号以及噪音信号，得到麦克风信号；
86.根据远端语音信号对麦克风信号进行自适应滤波处理，实现线性回声消除；
87.获取采集麦克风采集的采集扬声器播放的采集信号；
88.根据采集信号对自适应滤波处理后的中间信号进行非线性自适应滤波处理，生成回声消除后的语音信号，实现非线性回声消除。
89.在一种示例性示例中，根据远端语音信号对麦克风信号进行自适应滤波处理，包括：
90.对所述远端语音信号进行自适应滤波计算得到第一模拟回声信号；
91.叠加所述麦克风信号和第一模拟回声信号，得到中间信号。
92.在一种示例性示例中，根据采集信号对自适应滤波处理后的信号进行非线性自适应滤波处理，包括：
93.对所述采集信号进行非线性自适应滤波计算得到第二模拟回声信号；
94.叠加所述中间信号和第二模拟回声信号，得到所述语音信号。
95.图4为本技术消除回声的装置的组成结构示意图，如图4所示，至少包括：扬声器、通话麦克风、采集麦克风、第一处理模块、第二处理模块；其中，
96.扬声器，设置为接收并播放来自远端的远端语音信号，产生回声信号；
97.采集麦克风，设置为采集扬声器播放的信号获得采集信号；
98.通话麦克风，设置为拾取回声信号、近端人声信号以及噪音信号，得到麦克风信号；
99.第一处理模块，设置为根据远端语音信号对麦克风信号进行自适应滤波处理；
100.第二处理模块，设置为根据采集到的采集信号，对自适应滤波处理后的中间信号进行非线性自适应滤波处理，生成回声消除后的语音信号。
101.在一种示例性实例中，采集麦克风设置在靠近扬声器的任意位置。也就是说，扬声器与采集麦克风之间的距离小于扬声器与通话麦克风之间的距离。
102.在一种示例性实例中，如图2中所示，第一处理模块可以包括：自适应滤波器、第一叠加器；其中，
103.自适应滤波器，设置为对输入的远端语音信号进行计算得到第一模拟回声信号；
104.第一叠加器，设置为对麦克风信号和第一模拟回声信号进行叠加处理，得到中间信号。
105.在一种示例性实例中，如图3中所示，第二处理模块可以包括：非线性自适应滤波器、第二叠加器；其中，
106.非线性自适应滤波器，设置为对输入的采集信号进行计算得到第二模拟回声信号；
107.第二叠加器，设置为对中间信号和第二模拟回声信号进行叠加处理，得到语音信号。
108.本技术消除回声的装置通过两级自适应滤波处理，即，第一级包括：以远端信号作为参考信号，经过自适应滤波处理从通话麦克风采集到的麦克风信号中去除估计到的回声信号，达到了线性消除的效果；第二级包括：以采集麦克风的采集到的扬声器播放的采集信号作为参考信号，经过非线性自适应滤波处理从通话麦克风采集到的麦克风信号中减去估计到的非线性失真信号，达到了非线性消除的效果。通过本技术消除回声的装置改善了非线性失真给回声消除带来的性能下降的问题，很好地提升了通话质量。
109.图5为本技术消除回声的装置的实施例的结构示意图，如图5所示，本实施例中，远端语音信号x(n)输入近端设备的扬声器后产生回声信号，回声信号和近端人声信号以及噪音信号被近端设备的通话麦克风采集，得到麦克风信号y(n)，同时，远端语音信号x(n)输入自适应滤波器，经过自适应滤波器的计算得到第一模拟回声信号x
′
(n)；麦克风信号y(n)与第一模拟回声信号x
′
(n)叠加后，得到减去估计到的回声信号的中间信号e(n)；设置在靠近扬声器的采集麦克风拾取扬声器播放的非线性回声部分信号即采集信号r(n)，采集信号r(n)输入非线性自适应滤波器，经过非线性自适应滤波器的计算得到第二模拟回声信号r
′
(n)；中间信号e(n)与第二模拟回声信号r
′
(n)叠加后，得到减去非线性回声部分信号的语音信号e
′
(n)。通过本实施例，改善了非线性失真给回声消除带来的性能下降的问题，很好地提升了通话质量。
110.本技术实施例还提供一种音视频终端，包括本技术图4所示的任一项消除回声的装置。
111.本技术实施例还提供一种会议终端，图6为本技术会议终端的实施例的组成结构示意图，如图6所示，会议终端至少包括：扬声器、通话麦克风、采集麦克风、自适应滤波器、非线性自适应滤波器、第一叠加器，以及第二叠加器；其中，
112.扬声器，设置为播放来自远端会议终端的远端语音信号；
113.通话麦克风，设置为拾取回声信号、近端人声信号以及噪音信号，得到麦克风信号；
114.自适应滤波器，设置为对输入的远端语音信号进行计算得到第一模拟回声信号；
115.第一叠加器，设置为对麦克风信号和第一模拟回声信号进行叠加处理，得到中间信号；
116.采集麦克风，设置为采集扬声器播放的信号，得到采集信号；
117.非线性自适应滤波器，设置为对输入的采集信号进行计算得到第二模拟回声信号；
118.第二叠加器，设置为对中间信号和第二模拟回声信号进行叠加处理，得到语音信号。
119.在一种示例性实例中，采集麦克风设置在靠近扬声器的任意位置。
120.本技术会议终端通过两级自适应滤波处理，即，第一级包括：以远端信号作为参考信号，经过自适应滤波处理从通话麦克风采集到的麦克风信号中去除估计到的回声信号，达到了线性消除的效果；第二级包括：以采集麦克风的采集到的扬声器播放的采集信号作为参考信号，经过非线性自适应滤波处理从通话麦克风采集到的麦克风信号中减去估计到的非线性失真信号，达到了非线性消除的效果。通过本技术会议终端改善了非线性失真给回声消除带来的性能下降的问题，很好地提升了会议通话质量。
121.虽然本技术所揭露的实施方式如上，但所述的内容仅为便于理解本技术而采用的实施方式，并非用以限定本技术。任何本技术所属领域内的技术人员，在不脱离本技术所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本技术的专利保护范围，仍须以所附的权利要求书所界定的范围为准。