通过结合有源噪音消除及感知噪音补偿改善声音重现的感知质量的装置和方法

通过结合有源噪音消除及感知噪音补偿改善声音重现的感知质量的装置和方法
【专利摘要】提供了一种用于改善音频输出信号的声音重现的感知质量的装置。所述装置包括用于基于环境音频信号生成噪音消除信号的有源噪音消除单元(110)，其中环境音频信号包括噪音信号部分，所述噪音信号部分由记录环境噪音引起。而且，所述装置包括用于根据环境噪音及噪音消除信号确定残余噪音特征的残余噪音特征估计器(120)。此外，所述装置包括用于基于音频目标信号及基于残余噪音特征生成噪音补偿信号的感知噪音补偿单元(130)。而且，所述装置包括用于合成噪音消除信号及噪音补偿信号以得到音频输出信号的合成器(140)。
【专利说明】通过结合有源噪音消除及感知噪音补偿改善声音重现的感知质量的装置和方法

【技术领域】
[0001]本发明涉及音频信号处理，尤其涉及一种通过结合有源噪音消除及感知噪音补偿以改善声音重现的感知质量的装置和方法，例如，通过改善耳机上的声音重现的感知质量。

【背景技术】
[0002]音频信号处理变得越来越重要。在许多倾听场景中，例如，在车内，音频信号在嘈杂的环境中呈现，因此，它们的音质及清晰度受到影响。一种减小环境噪音对倾听体验的影响的方法是有源噪音消除(有源噪音控制)，例如，参见文献[I]和文献[2]。ANC(有源噪音消除)在接收器侧不同程度地减小干扰噪音。通常地，低频噪音分量比高频分量能够更成功地被消除，稳定噪音比不稳定噪音能够更好地被消除，纯音比随机噪音能够更好地被消除。
[0003]有源噪音消除是一种基于声干涉原理抑制声学噪音的技术，使用干扰噪音的倒相副本消除干扰噪音的基本思想在1936年的Paul Lueg的专利中被首次描述，参见文献[7]。
[0004]文献[I]和文献[2]对ANC的原理进行了总结。使用换能器测量通过噪音源(主要源)发出的声场。这个参考信号用于生成输入次级扬声器的次级信号。如果通过次级源发出的声波(所谓的“抗噪音”)与噪音的声波正好为异相，噪音由于扬声器后且与噪音源相对的区域中的相消性干扰而被消除，形成“静音区”。理想地，平面波换能器既用于麦克风也用于扬声器。
[0005]尽管通过延迟和主噪音的测量可以生成抗噪音，但是经常自适应地计算抗噪音以处理噪音与反声(ant1-sound)换能器之间的声道中的可能变化。这种实施方式基于自适应滤波器，通过使用最小均方(LMS)算法、滤波-X LMS(FXLMS)算法、有漏洞的(leaky)FXLMS算法或其他优化算法对误差信号进行最小化而计算自适应滤波器的滤波系数。
[0006]ANC可以实施为前馈控制或反馈控制。
[0007]图3示出前馈结构的ANC实现的框图。噪音源310发出主噪音320。主噪音320被参考麦克风330记录为环境音频信号d(t)。该环境音频信号输入自适应滤波器340。自适应滤波器用于对环境音频信号d(t)进行滤波以得到滤波后的信号。该滤波后的信号用于控制扬声器350。
[0008]如前所述，图3所示的结构为前馈结构。在前馈结构中，参考麦克风可被例如布置为使得主噪音在到达次级源之前被采集，如图3所示。
[0009]经常地，在次级源之后安装第二麦克风以测量残余噪音信号。在这种结构中，第二麦克风表现为残余噪音麦克风或误差麦克风。这种结构在图4中示出。
[0010]图4示出具有附加误差麦克风460的前馈结构的ANC实现的框图。自适应算法使用参考麦克风信号计算用于生成抗噪音的滤波系数，以便最小化残余噪音。
[0011]图5示出反馈结构的ANC实现的框图。如图5所示，反馈结构的实施方式使用仅仅一个麦克风来测量误差并生成次级信号。文献[8]中描述用于耳机应用的反馈ANC系统。
[0012]消除的效果取决于噪音源和次级源的声场重叠的精确性。在实际中，干扰噪音信号无法完全消除。ANC尤其适用于低频噪音信号分量及稳定信号，但不能消除高频及不稳定噪音信号分量。
[0013]感知噪音补偿(PNC)是一种使用心理声学知识对干扰噪音的感知效果进行补偿的信号处理方法。PNC背后的基础原理是应用时变均衡，从而放大被干扰噪音掩盖的输入音频信号的谱分量。其主要思想已被称为，例如，噪音补偿(例如参见文献[3])，掩盖补偿(例如参见文献[4])，噪音环境中的声音均衡(例如参见文献[5])或动态声音控制(例如参见文献[6])。
[0014]感知噪音补偿对音频信号进行处理，以便在环境噪音中所呈现的音频信号的音色及响度被感知为类似或接近于在安静环境中所呈现的未经处理的音频信号的音色及响度。由于部分或全部掩蔽效应，加性(additive)噪音导致期望信号的响度的降低。产生的感觉被称为部分响度。由于人类听觉系统内的频率选择性处理，干扰噪音影响期望信号的感知谱平衡，从而影响其音色。
[0015]例如，PNC的基本原理已被应用于文献[3]中。最近的发展已经在例如文献[9]、
[10]、[11]及文献[6]中描述。这种方法的基本原理是将时变谱权重因子应用到期望信号，以便恢复对响度及音色的感觉。
[0016]PNC的谱加权方法将输入音频信号划分成M个频带，优选地根据具有临界频带的带宽的感知激励频率标度(例如Bark标度或ERB标度)进行划分。使用时变增益因子gm[k]对得到的子带信号sm[k]进行衡量，时变增益因子gm[k]具有子带指数m = Ρ..Μ和时间指数k。计算增益，以便噪音中的处理后的信号的部分特定响度N’(例如，在每个听觉频带处引起的响度)等于安静环境中的未被处理的音频信号的特定响度或其一部分β，如等式(I)所示，其中em[k]作为加性噪音的子带信号:
[0017]β N' q[m, k] = N' p [m, k](I)
[0018]其中，
[0019]N’q[m，k] = f(Sni[k])
[0020]为安静环境中的响度，以及其中
[0021]N' P [m, k] = f (gm[k] sm[k]，em[k])
[0022]为噪音e[k]中的处理后的信号的部分响度。
[0023]当信号s[k]与掩蔽信号e[k]同时出现时，响度模型计算信号s [k]的部分特定响度 N’ [m, k]。
[0024]可以使用部分响度的模型计算增益gjk]，例如参见文献[10]。
[0025]下面参考部分响度的计算模型。当信号s[k]与掩蔽信号e[k]同时出现时，响度模型计算信号s[k]的部分特定响度N’ (sffl[k]+effl[k]):
[0026]N' [m, k] = f (sm[k], em[k])(2)
[0027]部分响度的感知模型的特定实施方式如图6所示。它从文献[12]和文献[13]中介绍的模型得到，并且是Fletcher、Munson及Zwicker借鉴早期的研究并进行一些修改得到的。例如，在文献[14]中描述了过去开发的用于计算特定响度的可选方法。
[0028]在频域使用短时傅里叶变换(STFT，例如，具有21ms的帧长度，50%的重叠和汉宁窗函数)对输入信号进行处理。模仿人类听觉系统的频率分辨率及时间分辨率，通过对谱系数进行分组得到子带信号。穿过外耳和中耳的传递通过固定滤波器模拟。此外，可以选择性地并入重现系统的传递函数，但本文为了简便忽略重现系统的传递函数。
[0029]图7示出模拟穿过外耳及中耳的路径的传递函数。
[0030]计算以等效矩形带宽(ERB)标度或Bark标度间隔的听觉滤波带的激励函数。
[0031]图8示出作为频带的感知激励间隔的示例的听觉滤波频带的简化间隔。
[0032]除了因STFT的窗口产生的时间积分之外，还可以在在起音(attack)及衰减的期间使用具有不同时间常数的递归积分。根据文献[12]中的等式(17)-(20)，从干扰噪音和感兴趣(激励)信号的激励能级计算特定部分响度(例如，在听觉滤波带的每一个中唤起的部分响度)。这些等式覆盖了 4种情况:信号在噪音中的听阈之上或不在听阈之上，混合信号的激励少于10dB SPL或不少于10dB SPL0如果没有干扰信号被输入模型，例如e [k]=0，则结果等于激励s [k]的总响度N[k]，并应预示等响曲线(ELC)中所表示的信息，如图9所示。此处，图9示出来自文献[15]的等响曲线IS0226-2003。
[0033]模型的输出的示例如图10及图11所示。
[0034]图10示例性地示出频带4的特定部分响度，其中噪音激励的函数的范围为O到100dB。
[0035]图11示出噪音激励为40dB的噪音中的特定部分响度。
[0036]美国专利7，050，966 (参见文献[16])描述了一种用于提高噪音中的语音的清晰度的方法，并提及了 ANC和PNC的结合，但是，并未给出如何可以有利地结合ANC和PNC的启示。


【发明内容】

[0037]本发明的目的在于提供用于改善声音重现的感知质量的改进思想。通过根据权利要求I所述的用于改善声音重现的感知质量的装置、根据权利要求13所述的耳机、根据权利要求16所述的方法及根据权利要求17所述的计算机程序，本发明的目的得以实现。
[0038]提供一种用于改善音频输出信号的声音重现的感知质量的装置。所述装置包括用于基于环境音频信号生成噪音消除信号的有源噪音消除单元，其中，所述环境音频信号包括噪音信号部分，所述噪音信号部分由记录环境噪音引起。而且，所述装置包括用于根据所述环境噪音及所述噪音消除信号确定残余噪音特征的残余噪音特征估计器。此外，所述装置包括用于基于音频目标信号(期望信号)及基于所述残余噪音特征生成噪音补偿信号的感知噪音补偿单元。而且，所述装置包括用于合成所述噪音消除信号及所述噪音补偿信号以得到音频输出信号的合成器。
[0039]根据本发明，提供用于重现音频信号，以便在环境噪音中所呈现的重现的音频信号的音色、响度及清晰度类似或接近于在安静环境中所呈现的未被处理的音频信号的音色、响度及清晰度的思想。所提出的思想包含有源噪音消除及感知噪音补偿的结合。有源噪音消除用于尽可能多地消除干扰噪音信号，感知噪音补偿用于补偿残余噪音分量。通过使用相同的换能器可以有效地实现二者的结合。
[0040]本发明的实施例基于这种思想，通过考虑心理声学研究成果对期望音频信号s [k]进行处理。由此，随后通过考虑感知噪音补偿的心理声学研究成果对期望音频信号s [k]进行处理补偿残余噪音分量e[k]的不利感知效果。
[0041]实施例基于ANC仅可以部分地物理地消除干扰噪音的发现。ANC是不完善的，因此一些残余噪音残留在倾听者的耳朵入口，如图12中的根据现有技术的声音重现系统的示例性实现的示意图中所示。
[0042]根据实施例，所述残余噪音特征估计器可用于确定所述残余噪音特征，以便所述残余噪音特征指示仅重现所述噪音消除信号时保留的所述环境噪音的噪音部分的特征。
[0043]在进一步的实施例中，所述残余噪音特征估计器可被布置为接收所述环境音频信号。所述残余噪音特征估计器可被布置为从所述有源噪音消除单元接收所述噪音消除信号的信息，其中，所述残余噪音特征估计器用于基于所述环境音频信号及基于所述噪音消除信号的信息确定所述残余噪音特征。例如，残留噪音估计可指示仅重现所述噪音消除信号时保留的所述环境噪音的噪音部分。
[0044]根据另一实施例，所述残余噪音特征估计器可被布置为从所述有源噪音消除单元接收所述噪音消除信号作为所述噪音消除信号的信息。所述残余噪音特征估计器可用于基于所述环境音频信号及基于所述噪音消除信号确定所述残留噪音估计。
[0045]根据进一步的实施例，所述残余噪音特征估计器可用于通过将所述环境音频信号和所述噪音消除信号相加以确定所述残留噪音估计。
[0046]在另一实施例中，所述装置还包括至少一个扬声器及至少一个麦克风。所述麦克风可用于记录所述环境音频信号，所述扬声器可用于输出所述音频输出信号，其中，所述麦克风及所述扬声器可被布置为实施前馈结构。
[0047]根据另一实施例，所述残余噪音特征估计器可被布置为接收所述环境音频信号，其中，所述残余噪音特征估计器可被布置为从所述感知噪音补偿单元接收所述噪音补偿信号的信息。所述残余噪音特征估计器可用于基于所述环境音频信号及基于所述噪音补偿信号确定残留噪音估计作为所述残余噪音特征。例如，所述残留噪音估计可指示仅重现所述噪音消除信号时保留的所述环境噪音的噪音部分。
[0048]在另一实施例中，所述残余噪音特征估计器可被布置为从所述感知噪音补偿单元接收所述噪音补偿信号作为所述噪音补偿信号的信息。所述残余噪音特征估计器可用于基于所述环境音频信号及基于所述噪音补偿信号确定所述残留噪音估计。
[0049]根据进一步的实施例，所述残余噪音特征估计器可用于通过从所述环境音频信号中减去所述噪音补偿信号的标度分量以确定所述残留噪音估计。
[0050]在另一实施例中，所述装置还可包括至少一个扬声器及至少一个麦克风。所述麦克风可用于记录所述环境音频信号，所述扬声器可用于输出所述音频输出信号，所述麦克风及所述扬声器可被布置为实施反馈结构。
[0051]根据另一实施例，所述装置还可包括用于检测不应被补偿的所述环境音频信号的信号部分(例如，语音或警报声)的源分离单元。
[0052]在进一步的实施例中，所述源分离单元可用于从环境音频信号中移除所述不应被补偿的所述环境音频信号的信号部分。
[0053]根据实施例，提供了一种耳机。所述耳机包括两个耳塞，根据前述实施例的任一个所述的用于改善声音重现的感知质量的装置，以及至少一个用于记录所述环境音频信号的麦克风。在这种情况下，提供用于在噪音环境中的耳机上重现音频信号的思想。
[0054]在实施例中，提供了一种用于改善音频输出信号的声音重现的感知质量的方法。所述方法包括:
[0055]基于环境音频信号生成噪音消除信号，其中所述环境音频信号包括噪音信号部分，所述噪音信号部分由记录环境噪音引起。
[0056]根据所述环境噪音及所述噪音消除信号确定残余噪音特征。
[0057]基于音频目标信号及基于所述残余噪音特征生成噪音补偿信号，以及
[0058]合成所述噪音消除信号及所述噪音补偿信号以得到音频输出信号。
[0059]此外，还提供了一种计算机程序，当所述计算机程序在计算机或信号处理器上运行时，实施前述的方法。

【专利附图】

【附图说明】
[0060]下面结合附图详细讨论本发明的实施例，其中:
[0061]图1为根据实施例的用于改善声音重现的感知质量的装置；
[0062]图2示出根据实施例的耳机；
[0063]图3为前馈结构的有源噪音消除实现的框图；
[0064]图4为具有附加误差麦克风的前馈结构的有源噪音消除实现的框图；
[0065]图5为反馈结构的有源噪音消除实现的框图；
[0066]图6为部分响度的感知模型的框图；
[0067]图7为穿过外耳及中耳的传递函数的示例；
[0068]图8为听觉滤波带的简化间隔；
[0069]图9为等响曲线；
[0070]图10为频带4和范围从O到10dB的噪音激励的函数的示例性特定部分响度；
[0071]图11为具有40dB的噪音激励的噪音中的特定部分响度；
[0072]图12为根据现有技术的具有前馈结构的噪音消除的声音重现系统的示例性实现的框图；
[0073]图13为根据现有技术的具有感知噪音补偿的声音重现系统的框图；
[0074]图14为根据实施例的具有ANC和PNC的声音重现系统的示例性实现的框图，其中使用主噪音传感器估计残余噪音的特征；
[0075]图15为根据进一步的实施例的具有ANC和PNC的声音重现系统的可选实现的框图，其中使用残余噪音传感器估计残余噪音的特征；
[0076]图16为根据另一实施例的具有ANC和PNC的声音重现系统的示例性实现的框图，其中使用主噪音传感器估计残余噪音的特征；
[0077]图17为根据进一步的实施例的具有ANC和PNC的声音重现系统的可选实现的框图，其中使用残余噪音传感器估计残余噪音的特征；
[0078]图18为根据进一步的实施例的用于改善声音重现的感知质量的装置，其中该装置包括源分离单元；
[0079]图19示出根据实施例的包括两个根据图16的实施例的用于改善声音重现的感知质量的装置的耳机；
[0080]图20示出根据实施例的包括两个根据图17的实施例的用于改善声音重现的感知质量的装置的耳机；
[0081]图21示出根据实施例的用于将耳机中的传递及ANC处理建模为线性时不变系统的测试布置；
[0082]图22示出根据实施例的对应于图21的测试布置的模型化的LTI系统；
[0083]图23示出根据实施例的描述旨在将耳机中的传递及ANC处理建模为线性时不变系统的步骤的流程图。

【具体实施方式】
[0084]图1示出根据实施例的用于改善音频输出信号的声音重现的感知质量的装置。该装置包括用于基于环境音频信号生成噪音消除信号的有源噪音消除单元110。环境音频信号包括噪音信号部分，其中噪音信号部分由记录环境噪音引起。而且，该装置包括用于根据环境噪音和噪音消除信号确定残余噪音特征的残余噪音特征估计器120。此外，该装置包括用于基于音频目标信号及基于残余噪音特征生成噪音补偿信号的感知噪音补偿单元130。此外，该装置包括用于合成噪音消除信号及噪音补偿信号以得到音频输出信号的合成器140。在这种情况下，环境噪音可以为在环境中(例如，记录麦克风的环境、扬声器的环境或收听者感知到发出的声波的环境)出现的任何一种噪音。
[0085]用于改善音频输出信号的声音重现的感知质量的装置的实施例是基于ANC只能够部分地物理地消除干扰噪音的发现。ANC是不完善的，因此一些残余噪音遗留在倾听者的耳朵入口，如图12中示出的根据现有技术的示例性实施方式的示意图中所示。
[0086]为了克服这个缺点，根据一些实施例，残余噪音特征估计器120可用于确定残余噪音特征，以便残余噪音特征指示仅重现噪音消除信号时(例如，例如通过扬声器重现噪音消除信号时)保留的环境噪音的噪音部分的特征。
[0087]根据前述实施例的装置可用于耳机中。图2示出根据这种实施例的相应的耳机。
[0088]耳机包括两个耳塞241、242。耳机241可以例如包括至少一个麦克风261和根据前述实施例中的一个的用于改善声音重现的感知质量的装置251。在图2所示的耳机的实施例中，用于改善声音重现的感知质量的装置251可以集成在耳塞241中。耳塞241的扬声器可以重现用于改善声音重现的感知质量的装置251的音频输出信号。同样地，耳塞242可以例如包括至少一个麦克风262和根据前述实施例中的一个的用于改善声音重现的感知质量的装置252。在图2所示的耳机的实施例中，用于改善声音重现的感知质量的装置252可集成在耳塞242中。耳塞242的扬声器可重现用于改善声音重现的感知质量的装置252的音频输出信号。此外，图2示出佩戴耳机的收听者280。
[0089]耳机实施ANC。在实施例中，图2所示的耳机安装有一个或多个麦克风，用于测量环境噪音和/或耳朵入口处的残余噪音。麦克风信号用于生成用于消除噪音的次级信号。此外，进行PNC处理，PNC处理通过将时变且信号有关的频谱权重(滤波器)应用到期望输入信号以补偿残余噪音信号，从而改善感知到的音质。用于计算滤波器的PNC处理所需要的残余噪音特征的估计从麦克风信号得到。
[0090]存在ANC的实现的不同结构。这些结构的区别特征是噪音传感器在处理链中的位置，导致两种基本控制结构，即前馈结构和反馈结构。上面已经描述ANC实现的技术背景。[0091 ] 在通过图12所示的现有技术中，干扰噪音没有被完全消除。通过使用PNC (基于心理声学的信号处理方法)，可以在重现的音频信号的质量上补偿残余噪音的不利效果。PNC应用时变均衡，以便放大输入信号的被干扰噪音掩蔽的频谱分量。这典型地通过使用谱加权方法实现，谱加权方法中，通过考虑心理声学知识以及期望信号(音频目标信号)和干扰噪音的特征计算子带增益。上面已经提供关于PNC实现的更多技术背景。图13中描述根据现有技术的具有PNC的声音重现系统。
[0092]图14及图15示出根据实施例的声音重现系统。两种实现都包括用于估计残余噪音特征的装置，称作残余噪音特征估计器(RNCE)。两种实现之间的不同之处在于用于ANC的控制结构(前馈结构及反馈结构)。
[0093]图14示出根据实施例的装置，特别地示出前馈结构中的PNC与ANC的结合。RNCE基于不具有用于测量残余噪音的专用麦克风的主噪音传感器。图14的实施例的装置包括可分别与图1的实施例中的有源噪音消除单元110，残余噪音特征估计器120，感知噪音补偿单元130及合成器140相对应的有源噪音消除单元1410，残余噪音特征估计器1420，感知噪音补偿单元1430及合成器1440，。
[0094]图14的实施例的装置还包括扬声器1450及麦克风1405。麦克风1405用于记录环境噪音信号。此外，扬声器1450用于输出音频输出信号。在图14的实施例中,麦克风和扬声器被布置为实施前馈结构。前馈结构可例如表不麦克风和扬声器的布置，其中麦克风不接收由扬声器发出的声波。
[0095]图15示出利用用于测量残余噪音的专用麦克风的反馈结构的实现。特别地，图15示出用于改善声音重现的感知质量的装置，其中该装置又包括可分别与图1的实施例中的有源噪音消除单元110，残余噪音特征估计器120，感知噪音补偿单元130及合成器140相对应的有源噪音消除单元1510，残余噪音特征估计器1520，感知噪音补偿单元1530及合成器 1540。
[0096]如图14的实施例，图15的实施例的装置还包括扬声器1550及麦克风1505。麦克风1505用于记录环境噪音信号。此外,扬声器1550用于输出音频输出信号。与图14相反，图15中，麦克风和扬声器被布置为实施反馈结构。反馈结构可例如表不麦克风和扬声器的布置，其中麦克风接收由扬声器发出的声波。
[0097]图16示出比图14描述更多细节的根据实施例的装置。图16的实施例的装置包括有源噪音消除单元1610，残余噪音特征估计器1620，感知噪音补偿单元1630及合成器1640，麦克风1605及扬声器1650。麦克风1605及扬声器1650实施前馈结构。
[0098]图16的实施例中，残余噪音特征估计器1620被布置为从有源噪音消除单元1610接收噪音消除信号的信息。这由箭头1660指示。残余噪音特征估计器1620用于确定残留噪音估计作为残余噪音特征。残留噪音估计可例如指示仅重现噪音消除信号(不是噪音消除信号，也可以是PNC产生的信号)时保留的环境噪音的噪音部分。
[0099]由于图16实施前馈结构，环境音频信号可例如只包括噪音信号分量。残余噪音特征估计器1620可从有源噪音消除单元1610接收噪音消除信号并可例如将噪音消除信号(抗噪音)与环境音频信号相加。然后产生的信号可作为表示仅重现噪音消除信号时保留的环境噪音的噪音估计。
[0100]图17示出比图15描述更多细节的根据实施例的装置。图17的实施例的装置包括有源噪音消除单元1710，残余噪音特征估计器1720，感知噪音补偿单元1730及合成器1740，麦克风1705及扬声器1750。麦克风1705及扬声器1750实施反馈结构。
[0101]图17的实施例中，残余噪音特征估计器1720被布置为从感知噪音补偿单元1730接收噪音补偿信号的信息。这由箭头1770指示。残余噪音特征估计器1720可用于确定残留噪音估计作为残余噪音特征，残留噪音估计可例如指示仅重现噪音消除信号(不是噪音消除信号，也可以是PNC产生的信号)时保留的环境噪音的噪音部分。
[0102]由于图17实施反馈结构，表示了麦克风的环境中记录的声波的环境音频信号还包括噪音补偿信号。残余噪音特征估计器1720可从感知噪音补偿单元1730接收噪音补偿信号并可从环境音频信号中减去接收到的噪音补偿信号的标度分量。例如，可通过使用预定的标度因子对接收到的噪音补偿信号标量确定接收到的噪音补偿信号的标度分量。然后产生的信号可作为表示仅重现噪音消除信号时保留的环境噪音的噪音估计。例如，预定的标度因子可以是扬声器处发出的信号的平均信号能级和麦克风处记录的信号的平均信号能级之间的信号能级差。
[0103]结合ANC和PNC的一些优点是:
[0104]z改善音质:额外地补偿残余噪音是对ANC的改进，反之亦然，在PNC之前的低频噪音分量的消除保证了低回报水平下的收听体验。
[0105]z成本效益高的实现:ANC及PNC可使用相同的换能器(麦克风及扬声器)。RNCE可从噪音传感器(例如，残余噪音传感器)或从考虑ANC抑制特征的主噪音传感器中获取。
[0106]可以使用两种不同的方式来获取噪音估计。这两种方式依赖于ANC实现的结构。
[0107]z如果ANC实现以用于测量残余噪音的麦克风为特征，噪音估计从这个传感器获取且进入传感器的期望信号的串音需要被抑制。
[0108]z如果ANC在只具有一个用于感测主噪音的麦克风的前馈结构中实现，噪音估计可以使用耳机中的传递(包括由耳机的被动吸收和ANC引起的外部噪音的机械倾倒)的模型从这个传感器获取。
[0109]通常地，噪音估计可以包括:
[0110]1.进入麦克风的音乐回放的串音的消除。
[0111]2.穿过耳塞的外部噪音的传递函数/衰减的建模及ANC处理。
[0112]3.可选地，信号分析，信号分析可能与源分离处理结合，以避免期望被耳机佩戴者感知到的某些外部声音(例如，语音或警报声)的补偿/标记。
[0113]为了实现对串音的抑制，PNC使用随噪音子带能级的增加而单调递增的子带增益值对期望信号标量。如果音乐回放被麦克风采集到并与噪音估计相加，产生的反馈可潜在地导致相应的子带信号的过补偿及过分放大。因此，进入麦克风的音乐回放的串音需要得到抑制。
[0114]环境噪音在到达耳朵入口之前，被耳塞的被动衰减及ANC处理减弱。通过函数fHP模拟耳机中的传递，见等式(3):
[0115]e[k] = fHP (d [k])(3)
[0116]其中d[k]表示外部噪音以及其中e[k]表示噪音估计。
[0117]传递可被建模为线性时不变(LTI)系统或非线性系统。这种系统识别方法使用输入及输出信号的一系列测量及确定模型参数，以便最小化输出测量与预测输出之间的误差测量。
[0118]在第一清况(建模为LTI系统)中，通过它的脉冲响应或量值(magnitude)传递函数描述系统。
[0119]图21示出根据实施例的用于将耳机中的传递及ANC处理建模为线性时不变系统的测试布置。在图21中，测试信号输入第一扬声器2110。该测试信号应具有宽的频谱。作为响应，第一扬声器2110输出被布置在耳机的耳塞242上的第一麦克风2120记录为第一记录音频信号的声波。第一记录音频信号记录尚未穿过耳塞242的声波。此外，尚未执行ANC处理。
[0120]测试信号可以被看作是第一 LTI系统的激励信号。此外，第一记录音频信号可以被看作是第一 LTI系统的输出信号。在实施例中，基于测试信号及基于第一记录音频信号计算第一 LTI系统的脉冲响应作为第一脉冲响应。为了实现这个目的，测试信号应该具有宽的频谱。此外，第一脉冲响应被转换到频域，例如，通过进行STFT(短时傅里叶变换)，以获取第一频率响应。在可选实施例中，基于测试信号及第一记录音频信号的频域表示直接确定第一频率响应。
[0121]此外，为了获取第二记录麦克风信号，第二麦克风2130记录已经穿过耳塞242并且已经进行ANC之后的声波。为了进行ANC，使用耳塞242的耳塞扬声器272输出用于消除来自于第一扬声器的声波的所谓的“抗噪音”。
[0122]再者，测试信号可以被看作是另一第二 LTI系统的激励信号。第二记录麦克风信号可以被看作是第二 LTI系统的输出信号。根据实施例，基于测试信号及基于第二记录音频信号计算第二 LTI系统的脉冲响应作为第二脉冲响应。此外，第二脉冲响应被转换到频域以获取第二频率响应。在可选实施例中，基于测试信号及第一记录音频信号的频域表示直接确定第二频率响应。
[0123]参考图22对此进行更详细地解释。第二 LTI系统2220可以被看作包括两个LTI系统，即已经关于图21描述的第一 LTI系统2210及第三LTI系统2230。第一 LTI系统2210接收(由第一扬声器2110输出的)测试信号作为激励信号。此外，第一 LTI系统2210输出(由第一麦克风2120记录的)第一记录音频信号。第三LTI系统2230接收第一记录音频信号作为激励信号并输出(由第二麦克风记录的)第二记录音频信号。
[0124]为了对ANC及穿过耳塞的声波的传递的影响进行建模，确定第三LTI系统2230。在实施例中，基于第一 LTI系统2210的第一频率响应及基于第二 LTI系统2220的第二频率响应计算第三LTI系统2230的频率响应作为第三频率响应。
[0125]在实施例中，第二 LTI系统2220的第二频率响应除以第一 LTI系统2210的第一频率响应得到第三LTI系统2230的第三频率响应。
[0126]图23示出根据实施例的将耳机中的传递及ANC处理建模为线性时不变系统的步骤的流程图。
[0127]在步骤2310中,将测试信号输入第一扬声器。第一扬声器响应于测试信号输出声波。
[0128]在步骤2320中，布置于耳机的耳塞上的第一麦克风记录声波以得到第一记录音频信号。
[0129]在步骤2330中，基于作为第一 LTI系统的激励信号的测试信号及基于作为第一LTI系统的输出信号的第一记录音频信号确定第一 LTI系统的第一频率响应。
[0130]在步骤2340中，在声波已经穿过耳塞之后并且已经进行了 ANC之后，第二麦克风记录第二记录音频信号。
[0131]在步骤2350中，基于作为第二 LTI系统的激励信号的测试信号及基于作为第二LTI系统的输出信号的第二记录音频信号确定第二 LTI系统的第二频率响应。
[0132]在步骤2360中，基于第一 LTI系统的第一频率响应及基于第二 LTI系统的第二频率响应确定第三LTI系统的第三频率响应。
[0133]在可选实施例中，不确定LTI系统的第一脉冲响应和第一频率响应以及LTI系统的第二脉冲响应和第二频率响应。相反地，基于作为第三LTI系统的激励信号的第一记录音频信号及基于作为第三LTI系统的输出信号的第二记录音频信号确定第三LTI系统的频率响应。
[0134]在实施例中，第三频率响应可以从频域转换到时域以获取第三LTI系统的脉冲响应。
[0135]在一些实施例中，反映ANC及声波在耳塞中的传递的效果的第三LTI系统的频率响应和/或脉冲响应对于残余噪音特征估计器是可用的。在一些实施例中，残余噪音特征估计器可确定第三LTI系统的频率响应和/或脉冲响应。
[0136]残余噪音特征估计器可使用第三LTI系统的频率响应和/或脉冲响应确定环境音频信号的残余噪音特征。例如，残余噪音特征估计器可将环境音频信号的频域表示与第三LTI系统的频率响应相乘以确定残余噪音特征。环境音频信号的频域表示可例如通过对环境音频信号的时域表示进行傅里叶变换而得到。在可选实施例中，噪音特征估计器可确定环境音频信号的时域表示和第三LTI系统的脉冲响应的卷积。
[0137]存在用于非线性系统的识别的多种方式，例如，伏尔特拉级数或人工神经网络(ANN)或马尔科夫链。
[0138]例如，通过接收图21及图22的第一记录音频信号作为输入信号以及接收图21及图22的第二记录信号作为输出信号，训练人工神经网络(ANN)。
[0139]如果ANC在只具有一个用于感测主噪音的麦克风的前馈结构中实现，由于抗噪音是已知的，因此可以将噪音及抗噪音相加得到噪音估计。
[0140]谱包络从短时傅里叶变换(STFT)或可选的频率变换或滤波器组后的噪音估计的时间信号得到。使用用于近似传递路径的回归方法(例如，使用ANN)，噪音估计可被实施为直接估计谱包络，优选地使用从噪音测量中提取的特征(例如，从主噪音传感器中得到的，在频域中计算的)直接估计谱包络。
[0141]可选地，通过平滑子带包络信号的轨迹(例如沿时间轴平滑)，以及通过平滑谱包络(例如沿频率轴平滑)，对得到的噪音估计进行后处理。
[0142]为了不对语义上有意义的声音(例如语音或报警声)进行补偿，进行智能信号分析。通过应用源分离处理或通过检测语义上有意义的声音的存在并在肯定检测的情况下对噪音估计进行处理，麦克风信号被划分成被补偿的环境噪音及从噪音估计中排除的语义上有意义的声音。
[0143]在后者的情况下，执行噪音估计的操作，以便如果声音被检测为需要呈现给收听者，噪音估计暂停，从而PNC和ANC失效。在捕获了不应被补偿的外部声音的麦克风信号中不更新噪声估计。
[0144]图18示出根据实施例的相应装置。图18的实施例的装置包括可分别与图1的实施例中的有源噪音消除单元110，残余噪音特征估计器120，感知噪音补偿单元130及合成器140相对应的有源噪音消除单元1810，残余噪音特征估计器1820，感知噪音补偿单元1830及合成器1840。该装置还包括用于检测不应被补偿的环境音频信号的信号部分的源分离单元1805。源分离单元1805还用于从环境音频信号中移除不应被补偿的环境音频信号的信号部分。
[0145]图19示出包括根据图16的实施例的用于改善声音重现的感知质量的装置的根据实施例的耳机。如图2，耳塞241包括麦克风261及用于改善声音重现的感知质量的装置251。图19还示出耳塞241的扬声器271。附图标记291表示耳塞241的内侧291。耳塞241的内侧291是与图19中所示的佩戴耳机的收听者280的耳朵281相接触的耳塞侧。在图19的实施例中，麦克风261被布置为使得耳塞241的扬声器271位于麦克风261与耳塞241的内侧291之间。因此，图19的耳塞241实现了图16的前馈结构。同样地，耳塞242包括用于改善声音重现的感知质量的另一装置252及布置为使得耳塞242的扬声器272位于麦克风262与耳塞242的内侧292之间的另一麦克风262。耳塞242的内侧292是耳塞242的与图19中所示的佩戴耳机的收听者280的耳朵282相接触的侧。因此，图19的耳塞242也实现了图16的前馈结构。
[0146]图20示出包括根据图17的实施例的用于改善声音重现的感知质量的装置的根据实施例的耳机。如图2，耳塞241包括麦克风261及用于改善声音重现的感知质量的装置251。图20还示出耳塞241的扬声器271。附图标记291表示耳塞241的内侧291。耳塞241的内侧291是与图20中所示的佩戴耳机的收听者280的耳朵281相接触的耳塞侧。在图20的实施例中，麦克风261被布置为使得耳塞241的麦克风261位于扬声器271与耳塞241的内侧291之间。因此，图20的耳塞241实现了图17的反馈结构。同样地，耳塞242包括用于改善声音重现的感知质量的另一装置252及布置为使得耳塞242的麦克风262位于扬声器272与耳塞242的内侧292之间的另一麦克风262。耳塞242的内侧292是耳塞242的与图20中所示的佩戴耳机的收听者280的耳朵282相接触的侧。因此，图20的耳塞242也实现了图17的反馈结构。
[0147]根据其他实施例的耳机可以包括多于两个的麦克风，例如，4个麦克风。例如，每个耳塞可以包括两个麦克风，其中一个为参考麦克风，另一个为附加误差麦克风。附加误差麦克风用于改进ANC，如图4中所提及的。
[0148]尽管已经在装置的情况下描述了一些方面，明显地，这些方面也表示相应的方法的描述，其中块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的情况中描述的方面也表示相应的装置的相应块或项或特征的描述。
[0149]本发明的分解信号可存在数字存储介质上或可在传输介质上传输，例如在无线传输介质或有线传输介质如互连网上传输。
[0150]根据某些实施需求，本发明的实施例可以在硬件或软件中实施。可以使用其上存储有电可读控制信号的数字存储介质，例如软盘、DVD、CD、ROM、PROM、EPROM、EEPROM或闪存，操作实现，电可读控制信号与可编程计算机系统协作(或者能够与可编程计算机系统协作)从而执行各个方法。
[0151]根据本发明的一些实施例包括具有电可读控制信号的非暂时性数据载体，电可读控制信号能够与可编程计算机系统协作从而执行本文描述的方法中的一个。
[0152]一般地，本发明的方法可被实施为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，程序代码用于执行方法中的一个。程序代码可以例如存储在机器可读载体上。
[0153]其他实施例包括存储在机器可读载体上的用于执行本文描述的方法中的一个的计算机程序。
[0154]换句话说，本发明的方法的实施例因此是具有程序代码的计算机程序，当计算机程序在计算机上运行时，程序代码用于执行本文描述的方法中的一个。
[0155]本发明的方法的另一个实施例因此是包括其上存储的用于执行本文描述的方法中的一个的计算机程序的数据载体(或数字存储介质或计算机可读介质)。
[0156]本发明的方法的另一个实施例因此是表不用于执行本文描述的方法汇总的一个的计算机程序的数据流或信号序列。数据流或信号序列可例如被配置为通过数据通信连接传输，例如通过互联网传输。
[0157]进一步的实施例包括用于或者适于操作本文描述的方法中的一个的处理装置，例如计算机或可编程逻辑装置。
[0158]进一步的实施例包括其上安装有用于执行本文描述的方法种的一个的计算机程序的计算机。
[0159]在一些实施例中，可编程逻辑装置(例如现场可编程门阵列)可用于执行本文描述的方法的一些或所有功能。在一些实施例中，现场可编程门阵列可与微处理器合作以执行本文描述的方法中的一个。一般地，优选地通过任何硬件装置执行方法。
[0160]上面描述的实施例仅仅是本发明的原理的说明。应当理解的是，本文描述的细节和布置的修改和变化对于本领域的其他技术人员是明显的。因此，本发明仅由所附的权利要求的范围限制，而不被通过本文的实施例的描述和说明示出的特定细节限制。
[0161]参考文献
[0162][I]S.J.Ell1tt 和 P.A.Nelson, “Active noise control”, IEEE 信号处理杂志，12-35 页，1993
[0163][2] S.Μ.Kuo 和 D.R.Morgan, “Active noise control: A tutorial review”，IEEE学报，87 卷，943-973 页，1999
[0164][3]Ε.Zwickler 和 K.Deuter, “美国专利 4，868，881:Method and system ofbackground noise suppress1n in an aud1 circuit particularly for car rad1s，，，1989
[0165][4]W.N.House,“Aspect of the vehicle listening environment，，，第 87 次 AES会议的报告，1989
[0166][5]Μ.Tzur 和 A.A.Goldin, “Sound equalizat1n in a noisy environment，，,第110次AES会议的报告，2001
[0167][6]Μ.Christoph, “Dynamic sound control algorithms in automobiles，，，Speech and Aud1 processing in Adverse Environments,施普林格，2008
[0168][7]P.Lueg,“美国专利 2，043，416:Process of silencing soundoscillat1ns，，，1936
[0169][8] S.M.Kuo, S.Mitra 和 W._S.GAN, “Active noise control system forheadphone applicat1ns”，IEEE 控制系统技术汇刊，14 卷，331-335 页，2006。
[0170][9]B.Sauert 和 P.Vary，“Near end listening enhancement:Speechingintelligibility improvement in noisy environments”，ICASSP 学?艮，2006
[0171][10] A.Seefeldt，“Loudness domain signal processing”，第 123 次 AES 会议的报告，2007
[0172][11] J.W.Shin和 N.S.Kim，“Perceptual reinforcement of speech signal basedon partial specific loudness”，IEEE 信号处理快报，14 卷，887-890 页，2007
[0173][12]Β.C.J.Moore，B.R.Glasberg 和 Τ.Baer，“A model for the predict1n ofthresholds, loudness and partial loudness”，听觉工程学协会会刊，45 卷，224-240 页，1997
[0174][13]B.R.Glasberg 和 B.C.J.Moore，“Development and evaluat1n of amodel for predicting the audibility of time-varying sounds in the presence ofbackground sounds”，听觉工程学协会会刊，53 卷，906-918 页，2005
[0175][14]E.Zwicker,H.Fastl,U.Widmann,K.Kurakata, S.Kuwanc^flS.NambaZiProgramfor calculating loudness according to DIN 45631 (ISO 532b) ”，日本声学协会会刊，12卷，1991
[0176][15]Y.Suzuki，“Precise and full-range determinat1n of 2-dimens1nalequal loudness contours”，Tech.Rep.，AIST，2003
[0177][16]T.Schneider, D.Coodej R.L.Brennan,和 P.01ijnyk，“Soundintelligibility enhancement using a psychoacoustic model and an oversampledfilterbank’’，2006
【权利要求】
1.一种用于改善音频输出信号的声音重现的感知质量的装置，包括: 有源噪音消除单元(110 ；1410 ；1510 ；1610 ；1710 ; 1810)，用于基于环境音频信号生成噪音消除信号，其中，所述环境音频信号包括噪音信号部分，所述噪音信号部分由记录环境噪音引起， 残余噪音特征估计器(120 ；1420 ；1520 ；1620 ；1720 ; 1820)，用于根据所述环境噪音及所述噪音消除信号确定残余噪音特征， 感知噪音补偿单元(130 ；1430 ；1530 ；1630 ；1730 ; 1830)，用于基于音频目标信号及基于所述残余噪音特征生成噪音补偿信号，及 合成器(140 ；1440 ；1540 ；1640 ；1740 ; 1840)，用于合成所述噪音消除信号及所述噪音补偿信号以得到音频输出信号。
2.根据权利要求1所述的装置，其中所述残余噪音特征估计器(120；1420 ；1520 ；1620 ；1720 ；1820)用于确定所述残余噪音特征，以便所述残余噪音特征指示仅重现所述噪音消除信号时保留的所述环境噪音的噪音部分的特征。
3.根据权利要求1或2所述的装置， 其中，所述残余噪音特征估计器(120 ；1420 ；1620 ；1820)用于接收所述环境音频信号，其中，所述残余噪音特征估计器(120 ；1420 ；1620 ；1820)用于从所述有源噪音消除单元(110 ；1410 ；1610 ；1810)接收所述噪音消除信号的信息，以及 其中，所述残余噪音特征估计器(120 ；1420 ；1620 ；1820)用于基于所述环境音频信号及基于所述噪音消除信号的信息确定残留噪音估计作为所述残余噪音特征。
4.根据权利要求3所述的装置， 其中，所述残余噪音特征估计器(120 ；1420 ；1620 ；1820)用于从所述有源噪音消除单元(110 ；1410 ；1610 ；1810)接收所述噪音消除信号作为所述噪音消除信号的信息，以及其中，所述残余噪音特征估计器(120 ；1420 ；1620 ；1820)用于基于所述环境音频信号及基于所述噪音消除信号确定所述残留噪音估计。
5.根据权利要求4所述的装置，其中，所述残余噪音特征估计器(120；1420 ；1620 ；1820)用于通过将所述环境音频信号和所述噪音消除信号相加来确定所述残留噪音估计。
6.根据权利要求3至5任一项所述的装置， 其中，所述装置还包括至少一个扬声器(1450 ；1650)及至少一个麦克风(1405 ；1605)， 其中，所述麦克风(1405 ；1605)用于记录所述环境音频信号， 其中，所述扬声器(1450 ；1650)用于输出所述音频输出信号，以及 其中，所述麦克风(1405 ；1605)及所述扬声器(1450 ；1650)用于实现反馈结构。
7.根据权利要求1或2所述的装置， 其中，所述残余噪音特征估计器(120 ；1520 ；1720 ；1820)用于接收所述环境音频信号，其中，所述残余噪音特征估计器(120 ；1520 ；1720 ；1820)用于从所述感知噪音补偿单元(130 ；1530 ；1730 ；1830)接收所述噪音补偿信号的信息，及 其中，所述残余噪音特征估计器(120 ；1520 ；1720 ；1820)用于基于所述环境音频信号及基于所述噪音补偿信号确定残留噪音估计作为所述残余噪音特征。
8.根据权利要求7所述的装置， 其中，所述残余噪音特征估计器(120 ；1520 ；1720 ；1820)用于从所述感知噪音补偿单元(130 ；1530 ；1730 ；1830)接收所述噪音补偿信号作为所述噪音补偿信号的信息，以及其中，所述残余噪音特征估计器(120 ；1520 ；1720 ；1820)用于基于所述环境音频信号及基于所述噪音补偿信号确定所述残留噪音估计。
9.根据权利要求8所述的装置，其中，所述残余噪音特征估计器(120;1520；1720 ；1820)用于通过从所述环境音频信号中减去所述噪音补偿信号的标度分量来确定所述残留噪音估计。
10.根据权利要求7至9任一项所述的装置， 其中，所述装置还包括至少一个扬声器(1550 ；1750)及至少一个麦克风(1505 ；1705)， 其中，所述麦克风(1505 ；1705)用于记录所述环境音频信号， 其中，所述扬声器(1550 ；1750)用于输出所述音频输出信号，以及 其中，所述麦克风(1505 ；1705)及所述扬声器(1550 ；1750)用于实现反馈结构。
11.根据前述权利要求任一项所述的装置，其中，所述装置还包括用于检测不应被补偿的所述环境音频信号的信号部分的源分离单元(1805)。
12.根据权利要求11所述的装置，其中所述源分离单元(1805)用于从环境音频信号中移除所述不应被补偿的所述环境音频信号的信号部分。
13.一种耳机，包括两个耳塞(241，242)，其中，所述耳塞(241,242)中的每一个包括: 根据前述权利要求任一项所述的用于改善声音重现的感知质量的装置(251，252)， 扬声器(271，272)，以及 至少一个麦克风(261，262),用于记录所述环境音频信号。
14.根据权利要求13所述的耳机，其中，所述耳塞(241，242)的所述扬声器(271，272)中的每一个布置在所述耳塞(241,242)的一个所述麦克风(261,262)和所述耳塞(241, 242)的内侧(291,292)之间。
15.根据权利要求13所述的耳机，其中，所述耳塞(241，242)的所述麦克风(261，262)中的每一个布置在所述耳塞(241，242)的一个所述扬声器(271，272)和所述耳塞(241, 242)的内侧(291,292)之间。
16.—种用于改善音频输出信号的声音重现的感知质量的方法,包括: 基于环境音频信号生成噪音消除信号，其中所述环境音频信号包括噪音信号部分，所述噪音信号部分由记录环境噪音引起， 根据所述环境噪音及所述噪音消除信号确定残余噪音特征， 基于音频目标信号及基于所述残余噪音特征生成噪音补偿信号，以及 合成所述噪音消除信号及所述噪音补偿信号以得到音频输出信号。
17.一种计算机程序，当所述计算机程序在计算机或信号处理器上运行时，实施根据权利要求16所述的方法。
【文档编号】G10K11/178GK104303227SQ201380017033
【公开日】2015年1月21日 申请日期:2013年3月25日 优先权日:2012年3月26日
【发明者】克里斯蒂安·乌勒, 于尔根·赫勒, 安德烈亚斯·沃尔瑟, 费利克斯·弗莱施曼, 帕特里克·甘普 申请人:弗朗霍夫应用科学研究促进协会