专利名称：修正音频动态处理器的参数的方法以及执行该方法的设备的制作方法
技术领域：
本发明涉及音频动态范围控制方法和设备，其中音频处理装置对音频信号进行分析并改变所述音频的电平、增益或动态范围，并且音频增益和动态处理的参数中的全部或某些参数被产生为听觉事件的函数。本发明还涉及用于实现这种方法或控制这种设备的计算机程序。本发明还涉及利用基于特性响度的听觉事件检测的方法和设备。本发明还涉及用于实现这种方法或控制这种设备的计算机程序。本发明还涉及用于修正音频动态处理器的参数的方法。本发明还涉及用于执行这种方法的设备。
背景技术：
对音频的动态处理自动增益控制(AGC)和动态范围控制(DRC)的技术是众所周知的，并且是许多音频信号通路的常见组成部分。在抽象意义上，这两种技术均以某种方式测量音频信号的电平，然后按照作为所测量的电平的函数的数量来对该信号进行增益修正。在线性的1:1动态处理系统中，不处理输入音频，并且输出音频信号理想上与输入音频信号相匹配。此夕卜，如果具有自动测量输入信号的特性并利用该测量来控制输出信号的音频动态处理系统，那么在输入信号的电平升高6dB且输出信号被处理以使得所述输出信号的电平仅升高3dB的情况下，该输出信号相对于输入信号已被以2:1的比率进行了压缩。国际公开WO2006/047600Al(Alan Jeffrey Seefeldt的“Calculating and Adjusting the PerceivedLoudness and/or the Perceived Spectral Balance of an Audio Signal，，)提供了对以下五种基本类型的音频动态处理的详细综述压缩、限幅、自动增益控制(AGC)、扩展和门限(gating)。听觉事件和听觉事件检测将声音划分成被感知为独立且明显的单元或段的过程有时被称为“听觉事件分析”或“听觉场景分析” (“ASA”)，并且所述段有时被称为“听觉事件”或“音频事件”。AlbertS. Bregman 在他的著作《Auditory Scene Analysis—The Perceptual Organization ofSound》(Massachusetts Institute of Technology,1991, Fourth printing, 2001, SecondMIT Press paperback edition)中陈述了对听觉场景分析的广泛讨论。此外,在1999年 12月14日授权给Bhadkamkar等人的美国专利6，002，776中引用了日期回溯至1976年的出版物作为“与借助于听觉场景分析的声音分离相关的现有技术”。然而，Bhadkamkar等人的该专利不赞成听觉场景分析的实际应用，并断定“尽管涉及听觉场景分析的技术作为人类听觉处理的模型从科学的观点来看是令人感兴趣的，但是其目前对计算的要求过高并且过于专门化，以至于在取得根本进展之前不能作为用于声音分离的实用技术。”在下文的“通过引用的合并”的标题下列出的各个专利申请和论文中，Crockett和Crocket等人提出了用于识别听觉事件的有效方式。根据这些文献，通过检测频谱成分(作为频率的函数的幅度)相对于时间的变化来将音频信号划分为听觉事件，其中每个听觉事件倾向于被感知为独立且明显的。这可以例如通过以下方式来完成计算音频信号的连续时间块的频谱内容(spectral content),计算所述音频信号的连续时间块之间的频谱内容的差异，并将听觉事件边界识别为当连续时间块之间的频谱内容的差异超过阈值时这种连续时间块之间的边界。替代性地，除了频谱成分相对于时间的变化之外或者代替频谱成分相对于时间的变化地，可以计算幅度相对于时间的变化。所述处理在其对计算要求最少的实现方式中通过以下方式来将音频划分成时间段分析整个频带(全带宽音频)或基本上整个频带(在实际实现中通常使用在频谱端点处 的带限滤波)，并对最响亮的音频信号分量给予最大的权重。该方法利用了在较小的时间标度(20毫秒(ms)以下)下人耳在给定时间可能倾向于专注于单一听觉事件的心理声学现象。这意味着，虽然可能同时发生多个事件，但是一个分量倾向于在感知上是最突出的，并且可以如同该分量是所发生的唯一事件一样地单独处理该分量。利用该效果，还允许所述听觉事件检测随着被处理的音频的复杂度而缩放。例如，如果被处理的输入音频信号是独奏曲，则被识别的音频事件可能是正在播放的个别音符。类似地，对于输入语音信号，可能将语音的个别分量比如元音和辅音识别为个别的音频元素。随着音频复杂度的增大，例如具有鼓声或多种乐器及声部的音乐，听觉事件检测识别在任意给定时刻“最突出”(即最响売)的首频兀素。以更大的计算复杂度为代价，所述处理还可考虑离散的子频带(固定的子频带或动态确定的子频带，或者固定的子频带以及动态确定的子频带二者)而不是整个带宽中的频谱成分相对于时间的变化。该备选方法考虑不同子频带中的多于一个的音频流，而不是假设在特定时间只能感知单个音频流。可以通过以下方式来实现听觉事件检测将时域音频波形划分成时间间隔或块，然后利用滤波器组或诸如FFT之类的时-频变换将每块中的数据转换到频域。每块的频谱内容的幅度可以被归一化，以消除或减少幅度变化的影响。作为结果的每个频域表示提供了对特定块中的音频的频谱内容的指示。对连续块的频谱内容进行比较，并且大于阈值的变化可以被用来指示听觉事件的时间起点或时间终点。优选地，频域数据被如下文所述地归一化。频域数据需要被归一化的程度给出了对幅度的指示。因此，如果该程度的变化超过预定阈值，则该变化也可被用来指示事件边界。可以对源于频谱变化和源于幅度变化的事件起点和事件终点一起进行或运算，以识别源于任一类型的变化的事件边界。尽管在所述的Crockett和Crockett等人的申请和论文中描述的技术与本发明的多个方面结合是特别有效的，但是其它用于识别听觉事件和事件边界的技术也可以在本发明的多个方面中使用
发明内容
传统的现有技术的音频动态处理包括将音频与调整该音频的增益的时变控制信号相乘以产生期望结果。“增益”是缩放音频幅度的比例因子。该控制信号可以持续地产生或从音频数据块产生，但是该控制信号通常是通过对正在处理的音频的某些形式的测量来导出的，并且该控制信号的变化速率是通过有时具有固定的特性而有时具有随音频的动态而变化的特性的平滑滤波器来确定的。例如，响应时间可以是能根据音频的量值或功率的变化来调整的。诸如自动增益控制(AGC)和动态范围压缩(DRC)之类的现有技术方法并不以任何基于心理声学的方式来估计在其期间增益变化可能被感知为缺陷的时间间隔、以及当可以应用所述增益变化而不会带来听觉失真(audible artifact)时的时间间隔。因此，传统的音频动态处理通常会引入听觉失真，即，动态处理的结果会引入不期望的可感知的音频变化。听觉场景分析识别感知上离散的听觉事件，其中每个事件在两个连续的听觉事件边界之间发生。通过确保在听觉事件内增益更加接近于常量以及通过将大部分增益变化限制在事件边界附近，可以大大减少由所述增益变化所导致的可听到的缺陷。在压缩器或扩展器的环境中，对音频电平升高(通常称为冲击)的响应可能是迅速的，并且是可与听觉事件的最短持续时间相当的或者小于听觉事件的最短持续时间的，但是对降低(释放或恢复) 的响应可能更慢，因此，应当呈现为常量或逐渐减弱的声音可能在听觉上被扰乱。在这种情况下，在下个边界之前延迟增益恢复或者在事件期间减缓增益的变化速率是非常有利的。对于其中音频的中长期电平或中长期响度被归一化因而冲击时间和释放时间与听觉事件的最短持续时间相比可能较长的自动增益控制应用而言，在事件期间针对增加增益和减少增益采取以下操作是有利的在下个事件边界之前延迟增益变化或减缓增益变化的速率。根据本发明的一个方面，一种音频处理系统接收音频信号并分析和改变所述音频的增益和/或动态范围特性。对所述音频的动态范围修正通常受到动态处理系统的对动态处理所引入的感知失真有重大影响的参数(冲击时间和释放时间、压缩比率等等)的控制。检测音频信号中信号特性相对于时间的变化并将其识别为听觉事件边界，以使连续边界之间的音频段构成所述音频信号中的听觉事件。所关注的听觉事件的特性可以包括诸如感知强度或持续时间之类的事件特性。所述一个或更多个动态处理参数中的一些参数是至少部分地响应于听觉事件和/或与所述听觉事件边界相关联的信号特性变化的程度而产生的。根据本发明的另一方面，提供了一种用于修正音频动态处理器的参数的方法，该方法包括检测音频信号中的信号特性相对于时间的变化；识别所述音频信号中的所述信号特性相对于时间的超过阈值的变化作为听觉事件边界，其中连续边界之间的音频段构成听觉事件；至少部分地基于所述听觉事件来产生参数修正控制信号；以及根据所述控制信号来修正所述音频动态处理器的所述参数。根据本发明的又一方面，提供了一种用于执行上述方法的设备。典型地，听觉事件是倾向于被感知为独立且明显的音频段。对信号特性的一个有效测量包括对音频的频谱内容的测量，例如如同在所引用的Crockett和Crockett等人的文献中所述的一样。所述一个或更多个动态处理参数中的全部或一些参数可以是至少部分地响应于一个或更多个听觉事件的存在或不存在及其特性而产生的。听觉事件边界可以被识别为信号特性相对于时间的超过阈值的变化。替代性地，所述一个或更多个参数中的全部或一些参数可以是至少部分地响应于对与所述听觉事件边界相关联的信号特性变化的程度的持续测量而产生的。尽管本发明的多个方面在原理上可以在模拟域和/或数字域中实现，但是实际的实现方式可能是在用单独的样本或数据块中的样本表示每个音频信号的数字域中实现的。在这种情况下，信号特性可以是块内的音频的频谱内容，对信号特性相对于时间的变化的检测可以是对块与块之间的音频的频谱内容变化的检测，并且听觉事件的时间起始边界和时间终止边界每个均与数据块的边界一致。应当注意到，对于更为传统的基于逐个样本地执行动态增益变化的情况，所描述的听觉场景分析可以基于块地执行，并且作为结果的听觉事件信息被用于执行所述逐个样本地应用的动态增益变化。通过利用听觉场景分析的结果来控制关键的音频动态处理参数，可以实现动态处理引入的听觉失真的显著减少。
本发明提供了两种执行听觉场景分析的方式。第一种方式执行频谱分析,并通过识别频谱内容的变化来识别用于控制动态增益参数的可感知的音频事件的位置。第二种方式将音频变换到感知响度域(与第一种方式相比可以提供更多的心理声学上相关的信息)，并识别随后被用于控制动态增益参数的、听觉事件的位置。应当注意到，第二种方式要求音频处理获知绝对声学再现电平，而这在某些实现方式中可能是不可行的。这两种听觉场景分析方法的提供使得能够实现利用可能被校准或可能不被校准以考虑绝对再现电平的处理或设备的、受ASA控制的动态增益修正。在此在包括其它发明的多个方面的音频动态处理环境中描述了本发明的多个方面。在本申请的所有人Dolby Laboratories Licensing Corporation的各个未决美国专利申请和国际专利申请中描述了这种其它发明，在此标识了这些申请。
图I是示出了用于执行听觉场景分析的处理步骤的示例的流程图；图2示出了在执行听觉场景分析的同时对音频进行块处理、加窗(windowing)和执行DFT的示例；图3具有流程图或功能框图的性质，其示出了利用音频来识别听觉事件和识别听觉事件的特性以便利用所述事件及其特性来修正动态处理参数的并行处理；图4具有流程图或功能框图的性质，其示出了只利用音频来识别听觉事件并根据听觉事件检测来确定事件特性以便利用所述事件及其特性来修正动态处理参数的处理；图5具有流程图或功能框图的性质，其示出了只利用音频来识别听觉事件并根据听觉事件检测来确定事件特性以便只利用所述听觉事件的特性来修正动态处理参数的处理；图6示出了接近于ERB标度上的临界频带的理想化地设置的听觉滤波器响应特性，其水平标度是以赫兹为单位的频率，垂直标度是以分贝为单位的电平；图7示出了 ISO 226的等响曲线，其水平标度是以赫兹为单位的频率(以10为底的对数标度)，垂直标度是以分贝为单位的声压级；图8a-c示出了理想化的输入/输出特性以及音频动态范围压缩器的输入增益特性；图9a_f示出了利用听觉事件来控制传统动态范围控制器(DRC)的数字实现中的释放时间的示例，其中在所述传统动态范围控制器中增益控制源自信号的均方根(RMS)功率；图10a-f示出了针对图9中所使用的信号的替代信号而利用听觉事件来控制传统动态范围控制器(DRC)的数字实现中的释放时间的示例，其中在所述传统动态范围控制器中增益控制源自信号的均方根(RMS)功率；图11描述了用于在响度域动态处理系统中在DRC之前应用AGC的、一组适当的理想化的AGC和DRC曲线，该组合的目的是使得所有处理后的音频具有近似于相同的感知响度，同时仍保持至少一些原始音频的动态。
具体实施例方式听觉场景分析(原始的非响度域的方法)
根据本发明的一个方面的实施例，听觉场景分析可以由图I的部分中所示的四个一般处理步骤组成。第一个步骤1-1 (“执行频谱分析”)取时域音频信号，将其划分成块并计算每个块的频谱轮廓或频谱内容。频谱分析将该音频信号变换到短期频域中。这可以在线性的或弯曲的频率空间(例如较好地近似于人耳特性的Bark标度或临界频带)中利用任何滤波器组、基于带通滤波器的变换或带通滤波器组来执行。在利用任何滤波器组的情况下存在时间与频率之间的折衷。较大的时间分辨率以及因此而较短的时间间隔导致了较低的频率分辨率。较大的频率分辨率以及因此而较窄的子频带导致了较长的时间间隔。图I中概念性地示出的第一个步骤计算音频信号的连续时间段的频谱内容。尽管512个样本提供了时间分辨率与频率分辨率之间的良好的折衷，但是在实际实施例中ASA块大小可以来自输入音频信号的任意数量的样本。在第二个步骤1-2中，确定块与块之间的频谱内容的差异(“执行频谱轮廓差异测量”)。因此，第二个步骤计算音频信号的连续时间段之间的频谱内容的差异。如上文所讨论的，认为对感知的听觉事件的起点或终点的有效指示符是频谱内容的变化。在第三个步骤1-3 (“识别听觉事件边界的位置”)中，当一个频谱轮廓块与下个频谱轮廓块之间的频谱差异大于阈值时，取该块的边界作为听觉事件边界。连续边界之间的音频段构成了听觉事件。因此，第三个步骤设置了当连续时间段之间的频谱轮廓内容的差异超过阈值时这种连续时间段之间的听觉事件边界，由此定义了听觉事件。在该实施例中，听觉事件边界定义了长度是频谱轮廓块的整数倍的听觉事件，其最小长度是一个频谱轮廓块(在该示例中是512个样本)。事件边界在原理上不需要受到这样的限制。作为在此讨论的实际实施例的替代方案，输入块大小可以变化成例如基本上是听觉事件的大小。如步骤1-4所示，在识别事件边界之后，识别听觉事件的关键特性。重叠或不重叠的音频段可以被加窗并被用于计算输入音频的频谱轮廓。重叠导致了对于听觉事件位置的更好的分辨率，并且也使得更不会遗漏事件，比如短暂的瞬态。然而，重叠也增加了计算复杂度。因此，可以省略重叠。图2示出了被加窗并被经由离散傅立叶变换(DFT)变换到频域的N个不重叠的样本块的概念性表示。每个块可以被加窗并被变换到频域，例如通过使用DFT (优选地为了速度而被实现为快速傅立叶变换(FFT))来进行。下面的变量可用于计算输入块的频谱轮廓M=用于计算频谱轮廓的块中加窗的样本的数量P=频谱计算重叠的样本的数量
通常，任何整数均可用于上述变量。然而，在M被设置成等于2的幂以便可以利用标准FFT来进行频谱轮廓计算的情况下，该实现将更为有效。在听觉场景分析处理的实际实施例中，所列出的参数可以被设置成M=512 个样本(或在 44. IkHz 时的 11. 6ms)P=O个样本(无重叠)上面列出的值是根据实验来确定的，并且被发现通常可以以足够的精确度来识别听觉事件的位置和持续时间。然而，将P的值设置为256个样本(50%的重叠)而非零个样本(无重叠)已被发现在对某些难以发现的事件的识别上是有效的。虽然可以利用许多不同类型的窗口来最小化由于加窗而导致的频谱失真，但是在频谱轮廓计算中使用的窗口是M点Hamming (汉明)窗、M点Kaiser-Bessel (凯塞_贝塞尔)窗或其它适当的(优选地是非矩形的)窗。在大量实验分析之后选择了上面指示的值和汉明窗类型，这是由于它们显示出提供了跨越大范围的音频资料的优异结果。对于主要是低频内容的音频信号的处理而言，加非矩形窗是优选的。加矩形窗产生了可能导致不正确的事件检测的频谱失真。与其中全部重叠/相加处理必须提供恒定电平的某些编码器/解码器(编解码器)应用不同，此处并未施加这种限制，并且可以针对诸如窗的时间分辨率/频率分辨率以及阻带抑制之类的特性来选择所述窗。在步骤1-1 (图I)中，可以通过以下方式来计算每个M个样本的块的频谱利用M点汉明窗、M点凯塞-贝塞尔窗或其它适当的窗来对数据加窗，利用M点快速傅立叶变换来转换到频域，以及计算复数FFT系数的量值。对作为结果的数据进行归一化以使最大的量值被设置为一(unity)，并将归一化后的M个数的阵列转换到对数域。还可以通过诸如所述数据的平均量值或平均功率值之类的某些其它度量来归一化所述数据。所述阵列并不需要被转换到对数域，但是所述转换简化了步骤1-2中的差异测量的计算。此外，对数域更接近地匹配于人类听觉系统的特性。作为结果的对数域值的范围是从负无穷大到零。在实际实施例中，可以对该数值范围加以下限，所述限制可以是固定的(比如_60dB)，或者可以是频率相关的，以反映静音在低频和甚高频下的较低的可听度。(注意，由于FFT表示负频率以及正频率，因此可以将所述阵列的大小减小到M/2。)步骤1-2计算相邻块的频谱之间的差异的测量值。对于每个块，将来自步骤1-1的M个(对数)频谱系数中的每个频谱系数从在先的块的对应系数中减去，并计算差值的量值(忽略符号)。然后将这M个差值求和为一个数。还可以通过将所述差异测量值除以在所述求和中使用的频谱系数的数量(在这种情况下是M个系数)，来将该差异测量值表示为每个频谱系数的平均差值。步骤1-3通过将阈值应用于来自步骤1-2的具有阈值的差异测量值的阵列，来识别听觉事件边界的位置。当差异测量值超过阈值时，频谱的变化被认为足以发信号通知新事件，并且该变化的块编号被记录作为事件边界。对于上面给出的M和P的值以及对于以dB为单位表示的对数域值(步骤1-1中)而言，如果对FFT的全部量值(包括镜像部分)进行比较，则所述阈值可以被设置成等于2500，或者如果对FFT的一半量值进行比较(如同上文所注意到的，FFT表示负频率和正频率——对于FFT的量值而言，这二者中一个是另一个的镜像)，则所述阈值可以被设置成等于1250。该值是根据实验来选择的，并且其提供了良好的听觉事件边界检测。可以改变该参数值以减少(增大阈值)或增加(减小阈值)事件检测。、
可以用图3、4和5的等效布置来更一般性地表示图I的处理。在图3中，音频信号被并行地施加给以下处理将音频信号划分成其中每个均被感知为独立且明显的听觉事件的“识别听觉事件”功能或步骤3-1、以及可选的“识别听觉事件的特性”功能或步骤3-2。可以使用图I的处理来将音频信号划分成听觉事件以及所识别的所述听觉事件的特性，或者可以使用一些其它适当的处理。通过功能或步骤3-1所确定的、可以是听觉事件边界的标识的听觉事件信息随后被“修正动态参数”功能或步骤3-3用来根据期望而修正音频动态处理参数(例如冲击、释放、比率等等)。可选的“识别特性”功能或步骤3-3还接收听觉事件信息。“识别特性”功能或步骤3-3可以用一个或更多个特性来表征一些或全部的所述听觉事件。如结合图I的处理所描述的，这种特性可以包括听觉事件的主要子频带的标识。所述特性还可包括一个或更多个音频特性，例如包括听觉事件的功率的测量值、听觉事件的幅度的测量值、听觉事件的频谱平坦度的 测量值、以及听觉事件是否基本上无声、或者其它有助于修正动态参数以使所述处理的无益的听觉失真被减少或去除的特性。所述特性还可包括其它特性，比如所述听觉事件是否包括瞬态。在图4和5中示出了图3的布置的替代方案。在图4中，并不将音频输入信号直接施加给“识别特性”功能或步骤4-3，而是所述“识别特性”功能或步骤4-3接收来自“识别听觉事件”功能或步骤4-1的信息。图I的布置是这种布置的具体示例。在图5中，功能或步骤5-1、5-2和5-3是串行布置的。该实际实施例的细节并不重要。可以使用用于进行以下处理的其它方式计算音频信号的连续时间段的频谱内容、计算连续时间段之间的差异、以及当连续时间段之间的频谱轮廓内容的差异超过阈值时将听觉事件边界设置在这种连续时间段之间的相应边界处。听觉场景分析(新的响度域方法)由Alan Jeffrey Seefeldt于2005年10月25日递交并被公布为国际公开WO2006/047600A1 的、题为 “Calculating and Adjusting the Perceived Loudness and/orthe Perceived Spectral Balance of an Audio Signal” 的、根据2012年9月19日 申请日期2007年3月30日 优先权日2006年4月27日
发明者布雷特·格雷厄姆·克罗克特, 阿兰·杰弗里·西费尔特 申请人:杜比实验室特许公司