残留回声消除方法和装置与流程

本公开涉及信息处理领域，特别涉及一种残留回声消除方法和装置。

背景技术：

在对语音信号进行处理的相关技术中，通常采用自适应滤波。由于自适应滤波为线性滤波，因此当回声较小的时候处理效果还能接受，但是当回声较大时，处理后的音频会产生严重的残留回声。

为了对残留回声进行处理，通常采用以下两种方式：

1)针对每个频点计算接收到的信号(包括远端信号和近端信号)之间的一个或多个相干性测量，得出每个频点的相应的抑制因子，将上述抑制因子应用于近端信号，来消除近端信号中的残留回声。

2)采用线性预测的方法进行处理，即使用ar(autoregressive，自回归)模型进行语音估计，由原信号和估计值的差作为噪声消除的输入，由于ar模型是自回归模型，那么它的输出将是白噪声输出，由此可结合其它的噪声抑制方法进行进一步的抑制。

技术实现要素：

发明人通过研究发现，现有技术中的残留回声消除方案存在以下缺陷：1)对有用的语音信号造成失真；2)需要提供特定的激励信号，并且需要求解toeplitz矩阵的逆，计算量较大。

为此，本公开提供一种能够在有效消除残留回声的同时，还不会对有用的语音造成明显的失真且降低计算量的方案。

根据本公开实施例的第一方面，提供一种残留回声消除方法，包括：对所采集的信号进行回声消除处理，以得到时域误差信号和时域回声估计信号；将所述时域误差信号和所述时域回声估计信号分别转换为相应的频域误差信号和频域回声估计信号；根据所述频域误差信号和所述频域回声估计信号的互相关，以及所述频域回声估计信号的自相关，计算泄漏系数估计值；利用所述频域误差信号和所述频域回声估计信号的幅值，以及所述泄漏系数估计值计算残留回声估计值；利用所述残留回声估计值对所述频域误差信号中的残留回声进行抑制，以得到频域误差抑制信号；将所述频域误差抑制信号转换为相应的时域输出信号。

在一些实施例中，计算泄漏系数估计值包括：计算第l帧的频域误差信号和第l帧的频域回声估计信号在每个频点处的互相关值的第一总和；计算第l帧的频域回声估计信号在每个频点处的自相关值的第二总和；将所述第一总和与所述第二总和的比值，作为与第l帧相对应的泄漏系数估计值，其中1≤l≤m，m为总帧数。

在一些实施例中，利用第l帧的频域误差信号在频点k处的功率值与第l帧的频域回声估计信号在频点k处的功率值的乘积，以及第l-1帧的频域误差信号和第l-1帧的频域回声估计信号在频点k处的互相关值，确定第l帧的频域误差信号和第l帧的频域回声估计信号在频点k处的互相关值。

在一些实施例中，利用第l帧的频域回声估计信号在频点k处的功率值的平方，以及第l-1帧的频域回声估计信号在频点k处的自相关值，确定第l帧的频域回声估计信号在频点k处的自相关值。

在一些实施例中，利用所述泄漏系数估计值计算残留回声估计值包括：利用第l帧的频域回声估计信号在频点k处的幅值的平方，同与第l帧相对应的泄漏系数估计值的乘积，以及第l-1帧的频域回声估计信号在频点k处的能量值，确定第l帧的频域回声估计信号在频点k处的第一能量值；利用第l帧的频域误差信号在频点k处的幅值的平方，确定第l帧的频域误差信号在频点k处的第二能量值；根据所述第一能量值和所述第二能量值中较小的能量值确定与第l帧的频点k相对应的残留回声估计值。

在一些实施例中，根据所述第一能量值和所述第二能量值中较小的能量值确定与第l帧的频点k相对应的残留回声估计值包括：将所述第一能量值和所述第二能量值中较小的能量值与预设权值的乘积作为与第l帧的频点k相对应的残留回声估计值。

在一些实施例中，利用所述残留回声估计值对所述频域误差信号中的残留回声进行抑制包括：利用第l帧的频域误差信号在频点k处的能量值，同与第l帧的频点k相对应的残留回声估计值的差值，确定与第l帧的频点k相对应的增益值；将与第l帧的频点k相对应的增益值与第l帧的频域误差信号在频点k处的值的乘积，作为与第l帧的频点k相对应的频域误差抑制信号。

根据本公开实施例的第二方面，提供一种残留回声消除装置，包括：回声消除处理模块，被配置为对所采集的信号进行回声消除处理，以得到时域误差信号和时域回声估计信号；第一处理模块，被配置为将所述时域误差信号和所述时域回声估计信号分别转换为相应的频域误差信号和频域回声估计信号；泄漏系数估计模块，被配置为根据所述频域误差信号和所述频域回声估计信号的互相关，以及所述频域回声估计信号的自相关，计算泄漏系数估计值；残留回声估计模块，被配置为利用所述频域误差信号和所述频域回声估计信号的幅值，以及所述泄漏系数估计值计算残留回声估计值；残留回声抑制模块，被配置为利用所述残留回声估计值对所述频域误差信号中的残留回声进行抑制，以得到频域误差抑制信号；第二处理模块，被配置为将所述频域误差抑制信号转换为相应的时域输出信号。

根据本公开实施例的第三方面，提供一种残留回声消除装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例涉及的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一个实施例的残留回声消除方法的流程示例图；

图2为本公开一个实施例的残留回声消除装置的结构示例图；

图3为本公开另一个实施例的残留回声消除装置的结构示例图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本公开一个实施例的残留回声消除方法的流程示例图。在一些实施例中，残留回声消除方法步骤可由残留回声消除装置执行。

在步骤101，对所采集的信号进行回声消除处理，以得到时域误差信号和时域回声估计信号。

在一些实施例中，所采集的信号包括远端信号和近端信号。远端信号为通过自身扬声器播放出的信号，例如音响设备播放出的音乐。近端信号为麦克风采集到的信号。

在一些实施例中，利用自适应滤波器对所采集的信号进行回声消除处理，以得到时域误差信号{el}和时域回声估计信号{yl}。其中el为第l帧的时域误差信号，yl为第l帧的时域回声估计信号。1≤l≤m，m为总帧数

在步骤102，将时域误差信号和时域回声估计信号分别转换为相应的频域误差信号和频域回声估计信号。

在一些实施例中，通过利用快速傅里叶变换fft，将时域误差信号{el}和时域回声估计信号{yl}分别转换为相应的频域误差信号{el,k}和频域回声估计信号{yl,k}。其中el,k为第l帧的频域误差信号在频点k处的值，yl,k为第l帧的频域回声估计信号在频点k处的值。1≤k≤n，n为频点数。

在步骤103，根据频域误差信号和频域回声估计信号的互相关，以及频域回声估计信号的自相关，计算泄漏系数估计值。

在一些实施例中，通过计算第l帧的频域误差信号和第l帧的频域回声估计信号在每个频点处的互相关值的第一总和，计算第l帧的频域回声估计信号在每个频点处的自相关值的第二总和，将第一总和与第二总和的比值，作为与第l帧相对应的泄漏系数估计值ηl。例如，通过利用公式(1)计算泄漏系数估计值ηl。

其中，为第l帧的频域误差信号和第l帧的频域回声估计信号在频点k处的互相关值，为第l帧的频域回声估计信号在频点k处的自相关值。

在一些实施例中，利用第l帧的频域误差信号在频点k处的功率值与第l帧的频域回声估计信号在频点k处的功率值的乘积，以及第l-1帧的频域误差信号和第l-1帧的频域回声估计信号在频点k处的互相关值确定第l帧的频域误差信号和第l帧的频域回声估计信号在频点k处的互相关值

例如，通过利用公式(2)计算互相关值

在一些实施例中，利用第l帧的频域回声估计信号在频点k处的功率值的平方，以及第l-1帧的频域回声估计信号在频点k处的自相关值确定第l帧的频域回声估计信号在频点k处的自相关值

例如，通过利用公式(3)计算互相关值

在一些实施例中，通过利用公式(4)计算第l帧的频域回声估计信号在频点k处的功率值利用公式(5)计算第l帧的频域误差信号在频点k处的功率值

上述参数γ为平滑因子。例如，参数γ为0.85。

在一些实施例中，上述参数βl如公式(6)所示。

参数β0可根据需要进行调整。例如，β0为0.016。

频域误差信号的方差如公式(7)所示，频域回声估计信号的方差如公式(8)所示。

在步骤104，利用频域误差信号和频域回声估计信号的幅值，以及泄漏系数估计值计算残留回声估计值。

在一些实施例中，利用第l帧的频域回声估计信号在频点k处的幅值的平方，同与第l帧相对应的泄漏系数估计值的乘积，以及第l-1帧的频域回声估计信号在频点k处的能量值，确定第l帧的频域回声估计信号在频点k处的第一能量值。利用第l帧的频域误差信号在频点k处的幅值的平方，确定第l帧的频域误差信号在频点k处的第二能量值。根据第一能量值和第二能量值中较小的能量值确定与第l帧的频点k相对应的残留回声估计值。

例如，利用公式(9)计算第l帧的频域回声估计信号在频点k处的第一能量值

利用公式(10)计算第l帧的频域误差信号在频点k处的第二能量值

利用公式(11)计算残留回声估计值

其中参数a可根据需要进行调整。例如，参数a取0.8。

在步骤105，利用残留回声估计值对频域误差信号中的残留回声进行抑制，以得到频域误差抑制信号。

在一些实施例中，通过利用第l帧的频域误差信号在频点k处的能量值，同与第l帧的频点k相对应的残留回声估计值的差值，确定与第l帧的频点k相对应的增益值。将与第l帧的频点k相对应的增益值与第l帧的频域误差信号在频点k处的值的乘积，作为与第l帧的频点k相对应的频域误差抑制信号。

例如，利用公式(12)计算相应的增益值。

其中参数b可根据需要进行调整。例如，参数b取1.0e^-10。

接下来，利用公式(13)对频域误差信号中的残留回声进行抑制。

由此得到与第l帧的频点k相对应的频域误差抑制信号

在步骤106，将频域误差抑制信号转换为相应的时域输出信号。

在一些实施例中，通过利用傅里叶逆变换ifft，将频域误差抑制信号转换为相应的时域输出信号。

例如，可通过将所得到的时域输出信号进行加窗与合帧处理，以得到最后的信号。

在本公开上述实施例提供的残留回声消除方法中，通过利用泄漏系数估计值计算残留回声估计值，进而利用残留回声估计值进行残留回声抑制。由此在有效消除残留回声的同时，还不会对有用的语音造成明显的失真且降低计算量。

图2为本公开一个实施例的残留回声消除装置的结构示例图。如图2所示，残留回声消除装置，包括回声消除处理模块21、第一处理模块22、泄漏系数估计模块23、残留回声估计模块24、残留回声抑制模块25和第二处理模块26。

回声消除处理模块21对所采集的信号进行回声消除处理，以得到时域误差信号和时域回声估计信号。

在一些实施例中，所采集的信号包括远端信号和近端信号。远端信号为通过自身扬声器播放出的信号，例如音响设备播放出的音乐。近端信号为麦克风采集到的信号。

在一些实施例中，利用自适应滤波器对所采集的信号进行回声消除处理，以得到时域误差信号{el}和时域回声估计信号{yl}。其中el为第l帧的时域误差信号，yl为第l帧的时域回声估计信号。1≤l≤m，m为总帧数

第一处理模块22将时域误差信号和时域回声估计信号分别转换为相应的频域误差信号和频域回声估计信号。

在一些实施例中，通过利用快速傅里叶变换fft，将时域误差信号{el}和时域回声估计信号{yl}分别转换为相应的频域误差信号{el,k}和频域回声估计信号{yl,k}。其中el,k为第l帧的频域误差信号在频点k处的值，yl,k为第l帧的频域回声估计信号在频点k处的值。1≤k≤n，n为频点数。

泄漏系数估计模块23根据频域误差信号和频域回声估计信号的互相关，以及频域回声估计信号的自相关，计算泄漏系数估计值。

在一些实施例中，通过计算第l帧的频域误差信号和第l帧的频域回声估计信号在每个频点处的互相关值的第一总和，计算第l帧的频域回声估计信号在每个频点处的自相关值的第二总和，将第一总和与第二总和的比值，作为与第l帧相对应的泄漏系数估计值ηl。例如，通过利用上述公式(1)计算泄漏系数估计值ηl。

在一些实施例中，利用第l帧的频域误差信号在频点k处的功率值与第l帧的频域回声估计信号在频点k处的功率值的乘积，以及第l-1帧的频域误差信号和第l-1帧的频域回声估计信号在频点k处的互相关值确定第l帧的频域误差信号和第l帧的频域回声估计信号在频点k处的互相关值例如，通过利用上述公式(2)计算互相关值

在一些实施例中，利用第l帧的频域回声估计信号在频点k处的功率值的平方，以及第l-1帧的频域回声估计信号在频点k处的自相关值确定第l帧的频域回声估计信号在频点k处的自相关值例如，通过利用上述公式(3)计算互相关值

残留回声估计模块24利用频域误差信号和频域回声估计信号的幅值，以及泄漏系数估计值计算残留回声估计值。

在一些实施例中，利用第l帧的频域回声估计信号在频点k处的幅值的平方，同与第l帧相对应的泄漏系数估计值的乘积，以及第l-1帧的频域回声估计信号在频点k处的能量值，确定第l帧的频域回声估计信号在频点k处的第一能量值。利用第l帧的频域误差信号在频点k处的幅值的平方，确定第l帧的频域误差信号在频点k处的第二能量值。根据第一能量值和第二能量值中较小的能量值确定与第l帧的频点k相对应的残留回声估计值。

例如，利用上述公式(9)计算第l帧的频域回声估计信号在频点k处的第一能量值利用上述公式(10)计算第l帧的频域误差信号在频点k处的第二能量值利用上述公式(11)计算残留回声估计值

残留回声抑制模块25利用残留回声估计值对频域误差信号中的残留回声进行抑制，以得到频域误差抑制信号。

在一些实施例中，通过利用第l帧的频域误差信号在频点k处的能量值，同与第l帧的频点k相对应的残留回声估计值的差值，确定与第l帧的频点k相对应的增益值。将与第l帧的频点k相对应的增益值与第l帧的频域误差信号在频点k处的值的乘积，作为与第l帧的频点k相对应的频域误差抑制信号。

例如，利用上述公式(12)计算相应的增益值，利用上述公式(13)对频域误差信号中的残留回声进行抑制。

第二处理模块26将频域误差抑制信号转换为相应的时域输出信号。

在一些实施例中，通过利用傅里叶逆变换ifft，将频域误差抑制信号转换为相应的时域输出信号。

图3为本公开又一个实施例的残留回声消除装置的示例性框图。如图3所示，残留回声消除装置包括存储器31和处理器32。

存储器31用于存储指令，处理器32耦合到存储器31，处理器32被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。

如图3所示，该残留回声消除装置还包括通信接口33，用于与其它设备进行信息交互。同时，该装置还包括总线34，处理器32、通信接口33、以及存储器31通过总线34完成相互间的通信。

存储器31可以包含高速ram存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器31也可以是存储器阵列。存储器31还可能被分块，并且块可按一定的规则组合成虚拟卷。

此外，处理器32可以是一个中央处理器cpu，或者可以是专用集成电路asic，或者是被配置成实施本公开实施例的一个或多个集成电路。

本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。

在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(programmablelogiccontroller，简称：plc)、数字信号处理器(digitalsignalprocessor，简称：dsp)、专用集成电路(applicationspecificintegratedcircuit，简称：asic)、现场可编程门阵列(field-programmablegatearray，简称：fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。