回声消除方法、终端设备、电子设备及介质与流程

1.本发明涉及语音处理技术领域，具体涉及一种回声消除方法、终端设备、电子设备及介质。


背景技术：

2.随着多媒体音频技术的发展，人们对终端的音频性能要求也越来越高，为了保证终端的通话质量，尤其是在免提通话或视频通话中，不可忽视的一种的干扰是扬声器与麦克风间的回声，即扬声器所播放的远端信号会被麦克风再次采集，然后含有回声信号的近端信号会被传回对端(即远端)，从而影响通话质量，而目前解决的方法就是利用自适应滤波的回声消除算法进行回声消除，或是在近端进行非线性回声处理。
3.但上述方法都无法解决一些场景下产生的线性回声问题，例如，因终端设备内部密封性差，导致近端扬声器将语音信号播放出来后，又被近端麦克风直接采集后得到的回声，这种内部回声不受环境的影响，其与近端扬声器到近端麦克风的距离及位置有很大的关系，因此这种内部回声也是一种线性信号，但是，像这样的内部回声是无法有效地被上述方法所解决或消除干净。


技术实现要素：

4.本发明要解决的技术问题是为了克服现有技术中无法有效地消除通话中的线性回声的问题，提供一种回声消除方法、终端设备、电子设备及介质。
5.本发明是通过下述技术方案来解决上述技术问题：
6.作为本发明的第一方面，提供一种回声消除方法，所述回声消除方法包括：
7.第一终端设备接收第一信号，所述第一信号包括第一误差信号，所述第一误差信号包括第一线性回声信号和第一语音信号；其中，所述第一语音信号为第二终端设备采集的语音信号；
8.所述第一终端设备对所述第一误差信号进行线性消除处理得到所述第一语音信号。
9.较佳地，所述第一误差信号是由所述第二终端设备进行非线性消除处理后的信号。
10.较佳地，所述第一信号还包括第一非线性回声信号，在所述第一终端设备对所述第一误差信号进行线性消除处理得到所述第一语音信号之前，所述回声消除方法还包括：
11.所述第一终端设备对所述第一信号进行非线性消除处理得到所述第一误差信号。
12.较佳地，所述第一终端设备对所述第一信号进行非线性消除处理得到所述第一误差信号包括：
13.所述第一终端设备获取回声参考信号；
14.所述第一终端设备对所述回声参考信号确定第一估计回声信号，所述第一估计回声信号的幅度与所述第一非线性回声信号的幅度相同；
15.所述第一终端设备根据所述第一估计回声信号，对所述第一信号进行非线性消除处理得到所述第一误差信号。
16.较佳地，所述第一终端设备根据所述第一估计回声信号，对所述第一信号进行非线性消除处理得到所述第一误差信号包括：
17.所述第一终端设备从所述第一信号中减去所述第一估计回声信号得到所述第一误差信号。
18.较佳地，所述第一终端设备对所述第一误差信号进行线性消除处理得到所述第一语音信号包括：
19.所述第一终端设备获取回声参考信号；
20.所述第一终端设备根据所述回声参考信号确定第二估计回声信号，所述第二估计回声信号的幅度与所述第一线性回声信号的幅度相同；
21.所述第一终端设备根据所述第二估计回声信号，对所述第一误差信号进行线性消除处理得到所述第一语音信号。
22.较佳地，所述第一终端设备根据所述第二估计回声信号，对所述第一误差信号进行线性消除处理得到所述第一语音信号包括：
23.所述第一终端设备从所述第一误差信号中减去所述第二估计回声信号得到所述第一语音信号。
24.本发明还提供一种终端设备，包括用于执行如上所述的回声消除方法的模块，所述终端设备包括：
25.第一接收模块，用于在第一终端设备接收第一信号，所述第一信号包括第一误差信号，所述第一误差信号包括第一线性回声信号和第一语音信号；其中，所述第一语音信号为第二终端设备采集的语音信号；
26.第一消除模块，用于在所述第一终端设备对所述第一误差信号进行线性消除处理得到所述第一语音信号。
27.较佳地，所述第一误差信号是由所述第二终端设备进行非线性消除处理后的信号。
28.较佳地，所述终端设备还包括：
29.第二消除模块，用于在所述第一终端设备对所述第一信号进行非线性消除处理得到所述第一误差信号。
30.较佳地，所述第二消除模块包括：
31.第二获取单元，用于在所述第一终端设备获取回声参考信号；
32.第二确定单元，用于在所述第一终端设备对所述回声参考信号确定第一估计回声信号，所述第一估计回声信号的幅度与所述第一非线性回声信号的幅度相同；
33.第二消除单元，用于在所述第一终端设备根据所述第一估计回声信号，对所述第一信号进行非线性消除处理得到所述第一误差信号。
34.较佳地，所述第二消除单元还用于在所述第一终端设备从所述第一信号中减去所述第一估计回声信号得到所述第一误差信号。
35.较佳地，所述第一消除模块包括：
36.第一获取单元，用于在所述第一终端设备获取回声参考信号；
37.第一确定单元，用于在所述第一终端设备根据所述回声参考信号确定第二估计回声信号，所述第二估计回声信号的幅度与所述第一线性回声信号的幅度相同；
38.第一消除单元，用于在所述第一终端设备根据所述第二估计回声信号，对所述第一误差信号进行线性消除处理得到所述第一语音信号。
39.较佳地，所述第一消除单元还用于在所述第一终端设备从所述第一误差信号中减去所述第二估计回声信号得到所述第一语音信号。
40.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如上所述的回声消除方法的步骤。
41.本发明还提供一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的回声消除方法的步骤。
42.本发明还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。
43.本发明的积极进步效果在于：本发明通过位于远端的第一终端设备对第一误差信号中的第一线性回声信号进行消除处理，从而获取没有回声干扰的语音信号，大大提高了通话质量；同时还因在位于远端的第一终端设备上进行回声信号的消除处理，不仅避免了因位于近端的第二终端设备的密封性差所产生的线性回声问题，提高了回声消除的效果。
附图说明
44.图1为本发明通话场景的示意图。
45.图2为本发明实施例1的回声消除方法的流程图。
46.图3为本发明实施例2的回声消除方法的流程图。
47.图4为本发明实施例3的终端设备的模块示意图。
48.图5为本发明实施例4的终端设备的模块示意图。
49.图6为本发明实施例5的实现回声消除方法的电子设备的结构示意图。
具体实施方式
50.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
51.本发明的回声消除方法可以适用于多种应用场景下的回声消除，例如在免提电话、电话会议系统等语音通话场景中的回声。
52.以免提通话场景为例，如图1所示，在整个对话过程中，近端麦克风接收到的信号有近端说话人语音信号、近端扬声器播放的远端说话人语音(线性回声信号)以及在房间多径反射的语音(非线性回声信号)，这样叠加的语音信号通过传输线路传到远端扬声器播放导致远端人听到自己刚刚检测出的语音信号。
53.实施例1
54.本实施例提供一种回声消除方法，该方法可以由回声消除装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于手机、电脑和个人数字助理等设备。图2为本实施例的回声消除方法的流程图。本实施例
的回声消除方法包括：
55.s1、第一终端设备接收第一信号，第一信号包括第一误差信号，第一误差信号包括第一线性回声信号和第一语音信号；其中，第一语音信号为第二终端设备采集的语音信号；
56.具体地，第一误差信号是由第二终端设备进行非线性消除处理后的信号，因此，第一误差信号中不包括非线性回声信号。
57.s2、第一终端设备对第一误差信号进行线性消除处理得到第一语音信号。
58.在一个具体例子中，第一终端设备与第二终端设备位于不同空间，即第一终端设备位于远端，第二终端设备位于近端；当位于远端的第一终端设备接收由位于近端的第二终端设备发送的第一信号后，第一信号包括第一误差信号，而第一误差信号包括第一线性回声信号和第一语音信号，为了消除第一线性回声信号对第一语音信号的干扰，第一终端设备对第一误差信号进行线性消除处理，以消除第一误差信号中的第一线性回声信号后获取第二终端设备采集讲话者的第一语音信号。
59.本实施例通过在位于远端的终端设备对第一误差信号中的第一线性回声信号进行消除处理，从而获取到没有回声干扰的语音信号，大大提高了通话质量；同时还因在位于远端的第一终端设备上进行回声信号的消除处理，不仅避免了因位于近端的第二终端设备的密封性差所产生的线性回声问题，还提高了回声消除的效果。
60.实施例2
61.如图3所示，本实施例的回声消除方法是对实施例1的进一步改进，具体地：
62.步骤s2之前还包括：
63.s101、第一终端设备对第一信号进行非线性消除处理得到第一误差信号。
64.在一种可选的实施方式中，步骤s101具体包括：
65.s1011、第一终端设备获取回声参考信号；
66.其中，回声参考信号为被位于远端的终端设备麦克风采集的信号(讲话人语音)，也等于位于近端的终端扬声器播放的语音。
67.s1012、第一终端设备对回声参考信号确定第一估计回声信号，第一估计回声信号的幅度与第一非线性回声信号的幅度相同；
68.第一终端设备根据获取到的回声参考信号确定第一估计回声信号，而第一估计回声信号与第一非线性回声信号相对应，即第一估计回声信号与第一非线性回声信号的幅度相等；在一个具体例子中，第一终端设备可以使用自适应滤波算法估计一个近似的回声路径来逼近真实回声路径，从而得到第一估计回声信号，其中自适应滤波算法包括但不限于lsm(least mean square，最小均方)算法、nlms(normalized least mean square，归一化最小均方)算法中的任一种；自适应滤波算法可以通过设置在第一终端设备上的消除模块和/或设置在第二终端设备上的消除模块实现，在一种具体例子中，消除模块具体包括但不限于自适应滤波器，从而提供了多种消除方式，以便根据当前通话环境选择消除效果最好的方式进行消除。
69.s1013、第一终端设备根据第一估计回声信号，对第一信号进行非线性消除处理得到第一误差信号。
70.具体地，步骤s1013包括：
71.s10131、第一终端设备从第一信号中减去第一估计回声信号得到第一误差信号。
72.在一种可选的实施方式中，步骤s2具体包括
73.s201、第一终端设备获取回声参考信号；
74.其中，回声参考信号为被位于远端的终端设备麦克风采集的信号(讲话人语音)，也等于位于近端的终端扬声器播放的语音。
75.s202、第一终端设备根据回声参考信号确定第二估计回声信号，第二估计回声信号的幅度与第一线性回声信号的幅度相同；
76.第一终端设备根据获取到的回声参考信号确定第二估计回声信号，而第二估计回声信号与第一线性回声信号相对应，即第二估计回声信号与第一线性回声信号的幅度相等；在一个具体例子中，第一终端设备可以使用自适应滤波算法估计一个近似的回声路径来逼近真实回声路径，从而得到第一估计回声信号，其中自适应滤波算法包括但不限于lsm(least mean square，最小均方)算法、nlms(normalized least mean square，归一化最小均方)算法中的任一种；自适应滤波算法可以通过设置在第一终端设备上的消除模块和/或设置在第二终端设备上的消除模块实现，在一种具体例子中，消除模块具体包括但不限于自适应滤波器，从而提供了多种消除方式，以便根据当前通话环境选择消除效果最好的方式进行消除。
77.s203、第一终端设备根据第二估计回声信号，对第一误差信号进行线性消除处理得到第一语音信号；
78.步骤s203具体包括：
79.s2031、第一终端设备从第一误差信号中减去第二估计回声信号得到第一语音信号。
80.本实施例既可以通过在位于近端的终端设备消除非线性回声信号，也可以通过在位于远端的终端设备消除非线性回声信号，而后通过在位于远端的终端设备消除线性回声信号，实现了两次回声信号消除，使得因近端密封性差产生的线性回声信号以及在近端没有消除干净的非线性回声信号在传送至远端后，在播放前都能够被消除掉，提高了通话质量和回声消除的效果。
81.实施例3
82.本实施例提供一种终端设备，图4为本实施例的终端设备的结构示意图。本实施例的终端设备包括第一接收模块1和第一消除模块2，
83.第一接收模块1用于在第一终端设备接收第一信号，第一信号包括第一误差信号，第一误差信号包括第一线性回声信号和第一语音信号；其中，第一语音信号为第二终端设备采集的语音信号。具体地，第一误差信号是由第二终端设备进行非线性消除处理后的信号，因此，第一误差信号中不包括非线性回声信号。
84.第一消除模块2用于在第一终端设备对第一误差信号进行线性消除处理得到第一语音信号。
85.在一个具体例子中，第一终端设备与第二终端设备位于不同空间，即第一终端设备位于远端，第二终端设备位于近端；当位于远端的第一终端设备接收由位于近端的第二终端设备发送的第一信号后，第一信号包括第一误差信号，而第一误差信号包括第一线性回声信号和第一语音信号，为了消除第一线性回声信号对第一语音信号的干扰，第一终端设备对第一误差信号进行线性消除处理，以消除第一误差信号中的第一线性回声信号后获
取第二终端设备所采集到讲话者的第一语音信号。
86.本实施例通过在位于远端的终端设备对第一误差信号对第一误差信号中的第一线性回声信号进行消除处理，从而获取到没有回声干扰的语音信号，大大提高了通话质量；同时还因在位于远端的第一终端设备上进行回声信号的消除处理，不仅避免了因位于近端的第二终端设备的密封性差所产生的线性回声问题，还提高了回声消除的效果。
87.实施例4,
88.如图5所示，本实施例的终端设备是对实施例3的进一步改进，具体地，终端设备还包括第二消除模块4，
89.第二消除模块4用于在第一终端设备对第一信号进行非线性消除处理得到第一误差信号。
90.在一种可选的实施方式中，第二消除模块4包括第二获取单元41、第二确定单元42和第二消除单元43。
91.第二获取单元41用于在第一终端设备获取回声参考信号；
92.其中，回声参考信号为被位于远端的终端设备麦克风采集的信号(讲话人语音)，也等于位于近端的终端扬声器播放的语音。
93.第二确定单元42用于在第一终端设备对回声参考信号确定第一估计回声信号，第一估计回声信号的幅度与第一非线性回声信号的幅度相同；
94.第一终端设备根据获取到的回声参考信号确定第一估计回声信号，而第一估计回声信号与第一非线性回声信号相对应，即第一估计回声信号与第一非线性回声信号的幅度相等；在一个具体例子中，第一终端设备可以使用自适应滤波算法估计一个近似的回声路径来逼近真实回声路径，从而得到第一估计回声信号，其中自适应滤波算法包括但不限于lsm(least mean square，最小均方)算法、nlms(normalized least mean square，归一化最小均方)算法中的任一种；自适应滤波算法可以通过设置在第一终端设备上的消除模块和/或设置在第二终端设备上的消除模块实现，在一种具体例子中，消除模块具体包括但不限于自适应滤波器，从而提供了多种消除方式，以便根据当前通话环境选择消除效果最好的方式进行消除。
95.第二消除单元43用于在第一终端设备根据第一估计回声信号，对第一信号进行非线性消除处理得到第一误差信号。
96.具体地，第二消除单元43用于在第一终端设备从第一信号中减去第一估计回声信号得到第一误差信号。
97.在一种可选的实施方式中，第一消除模块2具体包括第一获取单元21、第一确定单元22和第一消除单元23。
98.第一获取单元，用于在第一终端设备获取回声参考信号；
99.其中，回声参考信号为被位于远端的终端设备麦克风采集的信号(讲话人语音)，也等于位于近端的终端扬声器播放的语音。
100.第一确定单元，用于在第一终端设备根据回声参考信号确定第二估计回声信号，第二估计回声信号的幅度与第一线性回声信号的幅度相同；
101.第一终端设备根据获取到的回声参考信号确定第二估计回声信号，而第二估计回声信号与第一线性回声信号相对应，即第二估计回声信号与第一线性回声信号的幅度相
等；在一个具体例子中，第一终端设备可以使用自适应滤波算法估计一个近似的回声路径来逼近真实回声路径，从而得到第一估计回声信号，其中自适应滤波算法包括但不限于lsm(least mean square，最小均方)算法、nlms(normalized least mean square，归一化最小均方)算法中的任一种；自适应滤波算法可以通过设置在第一终端设备上的消除模块和/或设置在第二终端设备上的消除模块实现，在一种具体例子中，消除模块具体包括但不限于自适应滤波器，从而提供了多种消除方式，以便根据当前通话环境选择消除效果最好的方式进行消除。
102.第一消除单元23，用于在第一终端设备根据第二估计回声信号，对第一误差信号进行线性消除处理得到第一语音信号。
103.具体地，第一消除单元23用于在第一终端设备从第一误差信号中减去第二估计回声信号得到第一语音信号。
104.本实施例既可以通过在位于近端的终端设备消除非线性回声信号，也可以通过在位于远端的终端设备消除非线性回声信号，而后通过在位于远端的终端设备消除线性回声信号，实现了两次回声信号消除，使得因近端密封性差产生的线性回声信号以及在近端没有消除干净的非线性回声信号在传送至远端后，在播放前都能够被消除掉，提高了通话质量和回声消除的效果。
105.实施例5
106.图6为本发明实施例5提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中的回声消除方法。图6显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
107.如图6所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
108.总线33包括数据总线、地址总线和控制总线。
109.存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
110.存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
111.处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中的回声消除方法。
112.电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图5所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
113.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
114.实施例6
115.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1或2中的回声消除方法中的步骤。
116.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
117.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中的回声消除方法中的步骤。
118.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
119.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。