通过再混合能力增强音频的制作方法

专利名称：通过再混合能力增强音频的制作方法
技术领域：
本申请的主题总体上涉及音频信号处理。
背景技术：
许多消费者音频设备(例如，立体声音响、媒体播放器、移动电话、游戏控制台等) 允许用户使用关于均衡(例如，低音、高音)、音量、房间声效等的控制修改立体声音频信 号。然而，这些修改被应用于整体音频信号而非构成该音频信号的单独的音频对象(例如， 乐器)。例如，用户不能在不影响整体歌曲的情况下单独地修改歌曲中的吉他、鼓或声音的 立体声摇摆或增益。已提出了在解码器处提供混合灵活性的技术。这些技术依赖于双耳线索编码 (BCC)、参量或空间音频解码器，用于生成混合解码器输出信号。然而，这些技术不能在不危 害声音质量的情况下直接对立体声混合(例如，专业混合音乐)编码以允许向后兼容性。已提出了使用信道间线索(例如，声级差、时间差、相位差、相干性)来呈现立体声 或多信道音频信道的空间音频编码技术。将该信道间线索作为“边信息”传送到解码器以 在生成多信道输出信号时使用。然而，这些常规的空间音频编码技术具有数个缺点。例如， 这些技术中的至少一些技术需要将关于每个音频对象的分立的信号传送到解码器，即使在 解码器处将不对该音频对象做修改。该要求导致了编码器和解码器处的不必要的处理。另 一缺点是使编码器输入限于立体声(或多信道)音频信号或音频源信号，导致了解码器处 的再混合的灵活性的降低。最后，这些常规技术中的至少一些技术需要解码器处的复杂的 解相关处理，使得该技术不适用于一些应用或设备。

发明内容
可修改与立体声或多信道音频信号的一个或多个对象(例如，乐器)关联的一个 或多个属性(例如，摇摆、增益等)以提供再混合能力。在一些实现方案中，通过使非声音源衰减从立体声音频信号得到立体声无伴奏信 号。使用由无伴奏立体声信号模型得到的期望值计算统计滤波器。该统计滤波器可以结合 用于使非声音源衰减的衰减因子使用。在一些实现方案中，自动增益/摇摆调节可以应用于立体声音频信号，其防止用 户对增益和摇摆控制进行极端的设定。增益滑动器之间的平均距离可以用于作为平均距离 的函数的调节因子来限制增益滑动器的范围。其他实现方案被公开用于通过再混合能力增强音频，包括涉及系统、方法、装置、计算机可读介质和用户接口的实现方案。


图1A是用于对立体声信号加上对应于将在解码器处被再混合的对象的M个源信 号进行编码的编码系统的实现方案的框图。图1B是用于对立体声信号加上对应于将在解码器处被再混合的对象的M个源信 号进行编码的过程的实现方案的流程图。图2说明了用于分析和处理立体声信号和M个源信号的时间-频率图示。图3A是用于使用原始立体声信号加上边信息估计再混合立体声信号的再混合系 统的实现方案的框图。图3B是用于使用图3A的再混合系统估计再混合立体声信号的过程的实现方案的 流程图。图4说明了属于具有索引b的分区的短时傅立叶变换(STFT)系数的索引i。图5说明了对用于模仿人类听觉系统的非均勻频率分辨率的均勻STFT频谱的频 谱系数进行分组。图6A是与常规的立体声音频编码器组合的图1的编码系统的实现方案的框图。图6B是使用与常规的立体声音频编码器组合的图1A的编码系统的编码过程的实 现方案的流程图。图7A是与常规的立体声音频解码器组合的图3A的再混合系统的实现方案的框 图。图7B是使用与立体声音频解码器组合的图7A的再混合系统的再混合过程的实现 方案的流程图。图8A是实现全盲边信息生成的编码系统的实现方案的框图。图8B是使用图8A的编码系统的编码过程的实现方案的流程图。图9说明了关于所需的源声级差Li = L dB的示例增益函数f (M)。图10是使用部分盲生成技术的边信息生成过程的实现方案的示图。图11是用于向具有再混合能力的音频设备提供立体声信号和M个源信号和/或 边信息的客户机/服务器架构的实现方案的框图。图12说明了用于具有再混合能力的媒体播放器的用户接口的实现方案。图13说明了组合空间音频对象(SA0C)解码和再混合解码的解码系统的实现方案。图14A说明了关于分立对话音量(SDV)的通用混合模型。图14B说明了组合SDV和再混合技术的系统的实现方案。图15说明了图14B中示出的均衡混合渲染器的实现方案。图16说明了用于参照图1 15描述的再混合技术的分布系统的实现方案。图17A说明了用于提供再混合信息的各种比特流实现方案的元素。图17B说明了用于生成图17A中说明的比特流的再混合编码器接口的实现方案。图17C说明了用于接收图17B中说明的编码器接口生成的比特流的再混合解码器 接口的实现方案。
7
图18是如下系统的实现方案的框图，该系统包括用于生成关于某些对象信号的 额外边信息的扩展以提供改进的再混合性能。图19是图18中示出的再混合渲染器的实现方案的框图。
具体实施例方式I.再混合立体声信号图1A是用于对立体声信号加上对应于将在解码器处被再混合的对象的M个源信 号进行编码的编码系统100的实现方案的框图。在一些实现方案中，编码系统100通常包 括滤波器组阵列102、边信息生成器104和编码器106。A.原始和所需再混合信号时间离散立体声音频信号的两个信道被标为和其中n是时间索引。假 设立体声信号可以表示为 其中I是立体声信号(例如，MP3)中包含的源信号(例如，乐器)的数目并且5；㈨
是源信号。因子％和、确定每个源信号的增益和幅度摇摆。假设所有源信号相互独立。
源信号可以不完全是纯源信号。确切的讲，一些源信号可以包含混响和/或其他声音效果
信号分量。在一些实现方案中，延迟屯可被引入到[1]中的原始混合音频信号中以促成与
再混合参数的时间对准 1 在一些实现方案中，编码系统100提供或生成用于修改原始立体声音频信号(在 下文中还被称为“立体声信号”)的信息(在下文中还被称为“边信息”)，以便于利用不同 增益因子将M个源信号“再混合”为立体声信号。所需的修改的立体声信号可被表示 其中(^和屯是用于将被再混合的M个源信号(S卩，具有索引1、2.....M的源信
号)的新的增益因子(在下文中还被称为“混合增益”或“混合参数”)。编码系统100的目的在于，在仅给出原始立体声信号和少量的边信息(例如，较之 立体声信号波形中包含的信息是少的)的情况下提供或生成用于使立体声信号再混合的 信息。可以在解码器中使用由编码系统100提供或生成的边信息以在给定的原始立体声信 号[1]的情况下在感知上模仿所需的修改的立体声信号[2]。通过编码系统100，边信息生成器104生成用于使原始立体声信号再混合的边信息，并且解码器系统300 (图3A)使用边 信息和原始立体声信号生成所需的再混合立体声音频信号。B.编码器处理再次参照图1A，提供原始立体声信号和M个源信号作为针对滤波器组阵列102的 输入。还从编码器102直接输出原始立体声信号。在一些实现方案中，从编码器102直接输 出的立体声信号可被延迟以与边信息比特流同步。在其他实现方案中，立体声信号输出可 以在解码器处与边信息同步。在一些实现方案中，编码系统100适于用信号通知作为时间 和频率的函数的统计数据。因此，为了分析和合成，如参照图4和5描述的，根据时间_频 率表示来处理立体声信号和M个源信号。图1B是用于对立体声信号加上对应于将在解码器处被再混合的对象的M个源信 号进行编码的过程108的实现方案的流程图。将输入立体声信号和M个源信号分解为子带 (110)。在一些实现方案中，该分解是通过滤波器组阵列实现的。如下文更全面描述的，对 于每个子带，估计关于M个源信号的增益因子(112)。如下文所述，对于每个子带，计算关于 M个源信号的短时功率估算(114)。量化和编码估计的增益因子和子带功率以生成边信息 (116)。图2说明了用于分析和处理立体声信号和M个源信号的时间_频率图示。图中y 轴表示频率并且被划分为多个非均勻子带202。x轴表示时间并且被划分为时隙204。图 2中的每个虚线框表示各个子带和时隙对。因此，对于给定的时隙204，可以将对应于时隙 204的一个或多个子带202作为组206进行处理。在一些实现方案中，如参照图4和5描述 的，基于与人类听觉系统关联的感知限制，来选择子带202的宽度。在一些实现方案中，通过滤波器组阵列102将输入立体声信号和M个输入源信号 分解为许多个子带202。可以相似地处理在每个中心频率处的子带202。特定频率处的立 体声音频输入信号的子带对被标为Xl(k)和x2(k)，其中k是子带信号的下采样时间索引。
相似地，M个输入源信号的对应的子带信号被标为Sl(k)、s2(k).....sM(k)。应当注意，为
了简化标记，在该示例中已省略关于子带的索引。对于下采样，出于效率考虑可以使用具有 较低采样率的子带信号。通常，滤波器组和STFT有效地具有次采样信号(或频谱系数)。在一些实现方案中，用于使具有索引i的源信号再混合所需的边信息包括增益因 子 和bp以及每个子带中的作为时间的函数的子带信号的功率估算E {Si2 (k)}。增益因子 %和、可以是给定的(如果立体声信号的该知识是已知的)或者是估计的。对于许多立 体声信号，ai和h是静态的。如果％或、作为时间k的函数变化，则可作为时间的函数来 估计这些增益因子。没有必要使用子带功率的平均值或估算生成边信息。确切的讲，在一 些实现方案中，实际的子带功率可以用作功率估算。在一些实现方案中，可以使用单极平均来估计短时子带功率，其中E{Si2(k)}可被 计算为 其中a G
确定指数衰落估计窗口的时间常数， 并且fs表示子带采样频率。关于T的适当的值可以是例如，40毫秒。在下面的式中，E{.}通常表示短时平均。在一些实现方案中，可以在与立体声信号相同的媒体上提供一些或所有边信息 、1^和￡{<00}。例如，音乐发行商、录音棚、录音艺术家等可以在光盘(⑶)、数字视频光 盘(DVD)、闪存驱动器等上与对应的立体声信号一起提供边信息。在一些实现方案中，通过 将边信息嵌入立体声信号的比特流中或者在分立的比特流中传送边信息，可以在网络(例 如，互联网、以太网、无线网络)上提供一些或所有边信息。如果未给出屮和by则可以估计这些因子。由于扔5；⑷系⑷} =，因此 a,可被计算为
(5)相似地，bi可被计算为 如果 和、在时间上是自适应的，则E{.}算子表示短时平均运算。另一方面，如 果增益因子％和h是静态的，则通过整体考虑立体声音频信号可以计算增益因子。在一些 实现方案中，可以针对每个子带独立地估计增益因子％和、。应当注意在[5]和[6]中， 源信号是独立的，但是通常，由于Si包含在立体声信道Xl和x2中，因此源信号Si和立体 声信道Xl和x2不是独立的。在一些实现方案中，由编码器106量化和编码关于每个子带的短时功率估算和增 益因子以形成边信息(例如，低比特率比特流)。应当注意，如参照图4和5描述的，这些 值可能未被直接量化和编码，而是首先可被转换为更适于量化和编码的其他的值。在一些 实现方案中，如参照图6 7描述的，可以使E{Si2(k)}相对于输入立体声音频信号的子带 功率归一化，使得在使用常规的音频编码器高效地对立体声音频信号编码时，编码系统100 相对于改变是鲁棒的。C.解码器处理图3A是用于使用原始立体声信号加上边信息估计再混合立体声信号的再混合系 统300的实现方案的框图。在一些实现方案中，再混合系统300通常包括滤波器组阵列302、 解码器304、再混合模块306和逆滤波器组阵列308。可以在许多个子带中独立地执行再混合立体声音频信号的估计。该边信息包括子 带功率E{Si2(k)}以及增益因子 和、^个源信号包含在该立体声信号中。由(^和屯表 示所需再混合立体声信号的新的增益因子或混合增益。诸如参照图12描述的，可由用户通 过音频设备的用户接口指定混合增益q和屯。在一些实现方案中，通过滤波器组阵列302将输入立体声信号分解为子带，其中 特定频率处的子带对被标为Xl(k)和&(10。如图3A中说明的，通过解码器304解码边信 息，针对将被再混合的M个源信号中的每个源信号产生增益因子和by该增益因子ai和 h包含在输入立体声信号中，并且对于每个子带，产生功率估算E {Si2 (k) }。参照图4和5更 加详细地描述了边信息的解码。在给定边信息的情况下，可以由再混合模块306将再混合立体声音频信号的对应 的子带对作为再混合立体声信号的混合增益Ci和屯的函数来估计。逆滤波器组阵列308被应用于估计的子带对以提供再混合时域立体声信号。图3B是用于使用图3A的再混合系统估计再混合立体声信号的再混合过程310的 实现方案的流程图。将输入立体声信号分解为子带对(312)。针对子带对对边信息进行解 码(314)。使用边信息和混合增益使子带对再混合(318)。在一些实现方案中，如参照图12 描述的，由用户提供混合增益。可替选地，可以通过应用、操作系统等来程序性地提供混合 增益。如参照图11描述的，也可以通过网络(例如，互联网、以太网、无线网络)提供混合 增碰。D.再混合过程在一些实现方案中，可以使用最小二乘估计在数学意义上逼近再混合立体声信 号。可选地，感知考虑可用于修改估算。式[1]和[2]也分别支持子带对Xl(k) ^P x2(k)以及yi(k)和％00。在该情况中， 源信号被替换为源子带信号Si (k)。立体声信号的子带对由下式给出 并且再混合立体声音频信号的子带对是 给定原始立体声信号的子带对Xl (k)和x2 (k)，具有不同增益的立体声信号的子带 对被估计为原始左和右立体声子带对的线性组合， 其中wil(k)、w12(k)、w21(k)和 w22(k)是实值加权因子。估计误差被定义为 在每个频率处在子带的每个时间k处，可以计算权重wn(k)、w12(k)、w21(k)和 w22(k)，以便于使均方误差E{ei2(k)}和E{e22(k)}最小。为了计算wn(k)和w12(k)，我们注 意到在误差ei(k) %Xl(k)和x2(k)正交时E{ei2(k)}最小，即EKyrWuXrw^xJ = 0(11)E {(yfWnXiU》x2} =0。应当注意，为了便于标记，省略了时间索引k。(13)
0101]增益因子是该线性方程组的解 。102]
在给定解码器输入立体声信号子带对的情况下可以直接估计E{Xl2}、E{x22}和 E{xix2}，并且可以使用所需再混合立体声信号的边信息(E{Sl2}、ai、bi)和混合增益Ci和屯 估计 E {xjyJ 和 E {x#2}
0098]
0099]
重写这些式，得到
0103]
0104]
0105]
0106]
0107]
0108]
0109]
0110] 0111]
相似地，计算W21和W22，得到
当左和右子带信号相干或近似相干时，即，当
接近1时，权重的解是不唯一的或病态的。因此，如果 大于某个阈值(例如， 0. 95)，则权重被计算为例如， 0116] w12 = w21 = 0, (18)
0112]
0113]
0114]
0115]
0117]
0118]
0119]
在小=1的假设下，式[18]是满足[12]和关于另两个权重的相似的正交性方程 组的不唯一的解中的一个。应当注意，[17]中的相干性用于判断相互相似的程度。如果相干性是0，则Xl和x2是独立的。如果相干性是1，则Xl和x2是相似的(但是具有不 同的声级)。如果Xl和x2是非常相似的(相干性接近1)，则二信道Wiener计算(四个权 重的计算)是病态的。关于该阈值的示例范围是约0. 4至约1. 0。通过将计算的子带信号转换到时域所获取的得到的再混合立体声信号听起来类 似于通过不同混合增益(^和屯进行真实混合的立体声信号(在下文中该信号被表示为“所 需信号”)。在一个方面，在数学上，这需要计算的子带信号与真实地进行不同混合的子带信 号相似。在某种程度上情况确实如此。由于在感知激励的子带域中执行估计，因此对相似 性的要求不太强。只要感知相关局部化线索(例如，声级差和相干性线索)是足够相似的， 则计算的再混合立体声信号将听起来类似于所需信号。E.可选方案声级差线索的调节在一些实现方案中，如果使用此处描述的处理，可以获取良好的结果。然而，为了 确保重要的声级差局部化线索接近地逼近所需信号的声级差线索，可以应用子带的后调整 以“调节”声级差线索，用于确保它们与所需信号的声级差线索匹配。对于[9]中的最小二乘子带信号估算的修改，考虑子带功率。如果子带功率是正 确的，则重要的空间线索声级差也将是正确的。所需信号[8]的左子带功率是
并且来自[9]的估算的子带功率是
因此，为了使幻具有％yi(k)相同的功率，其必须乘以相似地，:P2(幻乘以
以具有与所需子带信号y2(k)相同的功率。 II.边信息的量化和编码 A.编码
如前面章节中描述的，用于使具有索引i的源信号再混合所需的边信息是因子&1 和b”以及每个子带中的作为时间的函数的功率E{Sl2(k)}。在一些实现方案中，关于增益 因子％和h的对应的增益和声级差的值可以dB为单位计算如下g, =101og10O,2+6,2)， (23)
b/( =201og10-!-

在一些实现方案中，对增益和声级差的值进行量化并且进行霍夫曼编码。例如，具 有2dB量化器步长的均勻量化器和一维霍夫曼编码器可分别用于量化和编码。也可以使用 其他已知的量化器和编码器(例如，矢量量化器)。如果ai和bi是时变的，并且假设边信息可靠地到达解码器，则仅需要传送一次对 应的编码值。否则，可以以规则的时间间隔或者响应触发事件(例如，在编码值改变时)传 送禾口 bi0为了对于因立体声信号的编码引起的立体声信号的调整和功率损失/增益是鲁 棒的，在一些实现方案中，子带功率
未被直接编码为边信息。确切的讲，可以使用 相对立体声信号定义的度量
(24)对于各种信号使用相同的估计窗口 /时间常数用于计算E{.}可以是有利的。将边 信息定义为相对功率值[24]的优点在于，如果需要，在解码器处可以使用不同于编码器处 的估计窗口 /时间常数。而且，较之源功率将作为绝对值被传送的情况，减小了边信息和立 体声信号之间的时间失准的效应。为了对Kk)进行量化和编码，在一些实现方案中，使用 具有例如2dB步长的均勻量化器和一维霍夫曼编码器。对于将被再混合的每个音频对象， 得到的比特率可以低至约3kb/s (千比特每秒)。在一些实现方案中，当解码器处的对应于将被再混合的对象的输入源信号是静默 的时候，可以减小比特率。编码器的编码模式可以检测静默对象，并且随后向解码器传送用 于指示对象是静默的信息(例如，单个比特每个帧)。B.解码在给定霍夫曼解码(量化)值[23]和[24]的情况下，用于进行再混合所需的值 可以计算如下
(25) III.实现方案细节A.时间-频率处理在一些实现方案中，基于STFT(短时傅立叶变换)的处理用于参照图1 3描述 的编码/解码系统。其他时间_频率变换可用于实现所需的结果，包括但不限于，正交镜像 滤波器(QMF)滤波器组、修正离散余弦变换(MDCT)、小波滤波器组等。对于分析处理(例如，前向滤波器组操作)，在一些实现方案中，在应用N点离散傅 立叶变换(DFT)或快速傅立叶变换(FFT)之前，N个样本的帧可以乘以窗口。在一些实现方案中，可以使用如下正弦窗口 如果处理块尺寸不同于DFT/FFT尺寸，则在一些实现方案中可以使用零填充以有 效地具有小于N的窗口。可以例如每N/2个样本(等于窗口跳尺寸)重复所描述的分析处 理，导致50%的窗口重叠。其他窗口函数和重叠百分比可用于实现所需的结果。为了从STFT频谱域变换到时域，逆DFT或FFT可应用于频谱。得到的信号再次与 [26]中描述的窗口相乘，并且通过与窗口相乘得到的相邻的信号块与添加的重叠被组合以 获取连续的时域信号。在一些情况中，STFT的均勻的频谱分辨率可能不能良好地适于人类感知。在这些 情况中，与单独地处理每个STFT频率系数相反，STFT系数可被“分组”，以便于一个组具有 约两倍于等效矩形带宽(ERB)的带宽，该带宽是适用于空间音频处理的频率分辨率。图4说明了属于具有索引b的分区的STFT系数的索引i。在一些实现方案中，由 于频谱是对称的，因此仅考虑频谱的最初N/2+1个频谱系数。如图4中说明的，属于具有索 引b(l彡b彡B)的分区的STFT系数的索引是i G {Ab_i，Ab_i+1，...，Ab}，其中AQ = 0。由 分区的频谱系数表示的信号对应于编码系统使用的感知激励的子带分解。因此，在每个该 分区中，所描述的处理被联合地应用于分区中的STFT系数。图5示例性地说明了对用于模仿人类听觉系统的非均勻频率分辨率的均勻STFT 频谱的频谱系数进行分组。在图5中，对于44. 1kHz的采样率和B = 20的分区数目，N = 1024，每个分区具有约2ERB的带宽。应当注意，由于Nyquist频率处的截止，最末的分区小 于两个ERB。B.统计数据的估计在给定两个STFT系数Xi (k)和Xi (k)的情况下，可以迭代地估计用于计算再混合 立体声音频信号所需的值E {x, (k) Xj (k)}。在该情况中，子带采样频率fs是计算STFT频谱 的临时频率。为了获取关于每个感知分区(而非关于每个STFT系数)的估算，在可以在进 一步使用之前在分区中对估计的值取平均。前面章节中描述的处理可以应用于每个分区，如同每个分区是一个子带。可以使 用例如，重叠频谱窗口实现分区之间的平滑，以避免频率中的突然处理改变，因此减少人工 效果。C.与常规音频编码器组合图6A是与常规的立体声音频编码器组合的图1A的编码系统的实现方案的框图。 在一些实现方案中，组合编码系统600包括常规的音频编码器602、所提出的编码器604 (例 如，编码系统100)和比特流组合器606。在所示出的示例中，如前面参照图1 5描述的， 立体声音频输入信号通过常规的音频编码器602 (例如，MP3、AAC、MPEG环绕声等)被编码 并且通过所提出的编码器604被分析以提供边信息。通过比特流组合器606将两个得到的 比特流组合以提供向后兼容比特流。在一些实现方案中，将得到的比特流组合包括将低比 特率边信息(例如，增益因子叫小和子带功率E{Si2(k)})嵌入到向后兼容比特流中。
15
图6B是使用与常规的立体声音频编码器组合的图1A的编码系统100的编码过程 608的实现方案的流程图。使用常规的立体声音频编码器对输入立体声信号编码(610)。使 用图1A的编码系统100自立体声信号和M个源信号生成边信息(612)。生成包括编码立体 声信号和边信息的一个或多个向后兼容比特流(614)。图7A是用于提供组合系统700的与常规的立体声音频解码器组合的图3A的再混 合系统300的实现方案的框图。在一些实现方案中，组合系统700通常包括比特流解析器 702、常规的音频解码器704(例如，MP3、AAC)和所提出的解码器706。在一些实现方案中， 所提出的解码器706是图3A的再混合系统300。在所示出的示例中，比特流被分为立体声音频比特流和包含所提出的解码器706 所需的边信息的比特流以提供再混合能力。立体声信号通过常规的音频解码器704被解码 并且被馈送到所提出的解码器706，解码器706修改立体声信号，作为获取自比特流的边信 息和用户输入(例如，混合增益Ci和cQ的函数。图7B是使用图7A的组合系统700的再混合过程708的一个实现方案的流程图。 将从编码器接收的比特流解析以提供编码立体声信号比特流和边信息比特流(710)。使用 常规的音频解码器对编码立体声信号解码(712)。示例解码器包括MP3、AAC (包括AAC的 各种标准化简档)、参量立体声、频谱带复制(SBR)、MPEG环绕声或者其任何组合。使用边 信息和用户输入(例如，c,和cQ使解码立体声信号再混合。IV.多信道音频信号的再混合在一些实现方案中，前面章节中描述的编码和再混合系统100、300可以扩展到再 混合多信道音频信号(例如，5.1环绕信号)。在下文中，立体声信号和多信道信号还被称 为“多个信道”信号。本领域的普通技术人员将理解，如何针对多信道编码/解码方案，即，
针对不止两个信号xi(k)、x2(k)、x3(k).....xc(k)，重写[7]至[22]，其中C是混合信号的
音频信道的数目。关于多信道情况的式[9]变为 如前文所述，可以得到具有C个方程的如[11]的方程并且求解这些方程以确定权重。在一些实现方案中，某些信道可以是不被处理的。例如，对于5. 1环绕声，两个后 信道可以是不被处理的并且仅对前面的左、右和中心信道应用再混合。在该情况中，可以针 对前信道应用三信道再混合算法。从所公开的再混合方案得到的音频质量取决于所执行的修改的本质。对于相对弱 的修改，例如，从OdB至15dB的摇摆改变或者10dB的增益修改，得到的音频质量可高于通 过常规技术实现的音频质量。而且，由于仅在必要时修改立体声信号以实现所需的再混合，因此所提出的公开再混合方案的质量可高于常规的再混合方案。此处公开的再混合方案提供了优于常规技术的数个优点。首先，其允许给定立体 声或多信道音频信号中的少于对象总数的对象的再混合。这是通过估计作为给定立体声音 频信号加上M个源信号的函数的边信息实现的，该M个源信号表示立体声音频信号中的能 够在解码器处进行再混合的M个对象。所公开的再混合系统处理作为边信息的函数和作为 用户输入(所需再混合)的函数的给定立体声信号以生成感知上与进行不同的真实混合的 立体声信号相似的立体声信号。V.针对基本再混合方案的增强A.边信息预处理当子带相对于相邻子带衰减过多时，可能出现音频人工效果。因此，需要限制最大 衰减。此外，由于立体声信号和对象源信号统计是在编码器和解码器处分别独立测量的，因 此测量的立体声信号子带功率和对象信号子带功率(如边信息表示的)之间的比可能偏离 现实。因此，边信息在物理上可能是不可能的，例如，再混合信号[19]的信号功率可能变为 负的。如下文所述可以解决上述两个问题。左和右再混合信号的子带功率是 其中&等于[25]中给出的量化和编码子带功率估算，其是作为边信息的函数而计 算的。再混合信号的子带功率可被限制为，其从不小于比原始立体声信号E{Xl2}的子带功 率低L dB。相似地，E{y22}被限制为不小于比E{x22}低L dB。该结果可以通过如下运算实 现1.根据[28]计算左和右再混合信号子带功率。2.如果耵乂}<淡{<}，则调节边信息计算值及，以便于保持五{彳} = 0五{<}。为
了将功率E{yi2}限制为从不小于比功率E{Xl2}低A dB，Q可被设定为Q= 10_AA°。然后，可 以通过使弋乘以 调节及。3.如果￡{^}<2识4}，则调节边信息计算值夂，以便于保持耵力2}=诬{4}。这
可以通过使及乘以 实现。4.值左{彳(幻}被设定为调节的弋，并且计算权重wn、w12、w21和w22。 B.使用四个或两个权重之间的决定对于许多情况，两个权重[18]足够用于计算左和右再混合信号子带[9]。在一些 情况中，通过使用四个权重[13]和[15]可以实现更好的结果。使用两个权重意味着，仅使 用左原始信号用于生成左输出信号并且对于右输出信号情况亦是如此。因此，需要四个权 重的情形是，一侧的对象被再混合为位于另一侧。在该情况中，可以预见到，由于原始仅位 于一侧(例如，在左信道中)的信号将在再混合之后主要位于另一侧(例如，在右信道中)， 因此使用四个权重是有利的。因此，四个权重可用于允许信号从原始的左信道流动到再混 合的右信道，反之亦然。当计算四个权重的最小二乘问题是病态的时候，权重量值可能是大的。相似地，当 使用上述的从一侧到另一侧的再混合时，仅使用两个权重时的权重量值可能是大的。通过 该观察所激励，在一些实现方案中，可以使用如下标准决定使用四个还是两个权重。如果A <B，则使用四个权重，否则使用两个权重。A和B分别是关于四个和两个 权重的权重量值的度量。在一些实现方案中，A和B计算如下。为了计算A，首先根据[13] 和[15]计算四个权重并且随后设定A = wn2+w122+w212+w222 0为了计算B，可以根据[18]计 算权重并且随后计算B = wn2+w222 0在一些实现方案中，串音，即wl2和w21，可用于改变极端摇摆对象的位置。使用两 个或四个权重的决定可以如下执行
使原始摇摆信息与给定阈值比较，决定对象是否是极端摇摆 的‘ Ps>Tmmr :检查对象是否具有某个相关功率


使原始摇摆信息与所需摇摆信息比较，
决定是否需要改变对象的位置。应当注意，即使对象未摇摆到另一侧，例如，其略微朝向中 心移动，但是在该对象不是极端摇摆的情况下，应从另一侧收听到该对象，因此应实现串
曰°通过将原始摇摆信息与所需摇摆信息比较，可以容易地检查改变对象位置的请 求。然而，由于估计误差，需要给出某个裕度以控制该决定的灵敏度。由于将a、0设定为 所需的值，因此可以容易地控制该决定的灵敏度。C.在需要时提高衰减程度当源被完全移除时，例如，对于卡拉0K应用移除主唱音轨，其混合增益是Ci = 0、 屯=0。然而，当用户选择零混合增益时，所实现的衰减程度可能受到限制。因此，为了提 高衰减，从边信息获取的对应的源信号的源子带功率值丨在被用于计算权重Wll、w12, W21和w22之前，可以通过大于1的值(例如，2)进行调整。D.通过权重平滑提高音频质量已观察到，所公开的再混合方案可能在所需信号中引入人工效果，特别是在音频 信号是音调的或固定的时候。为了提高音频质量，在每个子带处，可以计算固定性/音调度 量。如果固定性/音调度量超过某个阈值T0K，则估计权重随时间是平滑的。平滑操作描述如下对于每个子带，在每个时间索引k处，获取如下用于计算输出子带而应用的权重 如果 TON(k) > TON。，贝 其中网！(幻、Wn(k)、还21(幻和还22(A0是平滑的权重并且Wll (k)、w12(k)、w21 (k)和
W22(k)是如前文所述计算的非平滑的权重。 否则访22(众)=评22(众)。E.环境/混响控制此处描述的再混合技术在混合增益Ci和屯方面提供了用户控制。这对应于针对 每个对象确定增益&和幅度摇摆k (方向)，其中增益和摇摆完全由Ci和屯确定， 在一些实现方案中，可能需要控制除了源信号的增益和幅度摇摆之外的其他立体 声混合特征。在下面的描述中，描述了用于修改立体声音频信号的环境程度的技术。对于 该解码器任务不使用边信息。在一些实现方案中，[44]中给出的信号模型可用于修改立体声信号的环境程度， 其中假设h和n2的子带功率相等，即
(34)再次地，可以假设s、ni和n2是相互独立的。在给定这些假设的情况下，相干性[17] 可被写为 这对应于具有变量PN(k)的二次方程，巧
( 36 )该二次方程的解是 由于PN(k)必须小于或等于6{\2(10}+￡{^200}，因此物理上可能的解是平方根
之前具有负号的解， 在一些实现方案中，为了控制左和右环境，可以针对两个对象应用再混合技术一 个对象是左侧的子带功率
的具有索引“的源，即an = 1并且bn = 0。另 一对象是右侧的子带功率五{4(幻} = &(幻的具有索引i2的源，即ai2 = 0并且bi2 = 1。为 了改变环境量，用户可以选择cn = dn = 10ga/2°和ci2 = dn = 0，其中ga是以dB为单位的 环境增益。F.不同的边信息在一些实现方案中，在比特率方面更加高效的所公开的再混合方案中，可以使用 修改的或不同的边信息。例如，在[24]中，Ajk)可以具有任意值。还存在对原始源信号 Si(n)的声级的依赖性。因此，为了获取所需范围中的边信息，需要调节源输入信号的声级。 为了避免该调节，并且为了去除边信息对原始源信号声级的依赖性，在一些实现方案中，源 子带功率不仅可如[24]中相对立体声信号子带功率被归一化，而且混合增益可被考虑为 这对应于将相对立体声信号归一化的立体声信号中包含的源功率用作边信息 (而非直接使用源功率)。可替选地，可以使用如下归一化 由于Ai(k)仅可以取小于或等于OdB的值，因此该边信息也是更加高效的。应当 注意，可以求解[39]和[40]，用于子带功率￡{<00}。G.立体声源信号/对象此处描述的再混合方案可以容易地扩展到处理立体声源信号。出于边信息的角 度，立体声源信号被视为如两个单信道源信号一个信号仅被混合到左侧并且另一个信号 仅被混合到右侧。即，左源信道i具有非零左增益因子 和零右增益因子bi+1。可以利用 [6]估计增益因子％和、+1。可以如同立体声源是两个单信道源的情况，传送边信息。需要 将一些信息传送到解码器以向解码器指示哪些源是单信道源并且哪些源是立体声源。对于解码器处理和图形用户接口(GUI)，一种可能性是在解码器处将立体声源信 号相似地呈现为单信道源信号。即，立体声源信号具有与单信道源信号相似的增益和摇摆 控制。在一些实现方案中，非再混合立体声信号的GUI的增益和摇摆控制同增益因子之间 的关系可被选择为 即，⑶I可以在最初时被设定为这些值。用户选择的GAIN和PAN同新的增益因子 之间的关系可被选择为 对于可用作再混合增益的Ci和di+1，可以解方程[42] (ci+1 = 0并且屯=0)。所 描述的功能与立体声放大器上的“平衡”控制相似。在不引入串音的情况下修改源信号的 左和右信道的增益。VI.边信息的盲生成A.边信息的全盲生成在所公开的再混合方案中，编码器接收立体声信号和表示将在解码器处被再混合 的对象的许多个源信号。通过增益因子 和、以及子带功率E{Si2(k)}确定用于使具有索 引i的源信号在解码器处被再混合所需的边信息。前面的章节描述了给定源信号时的情况 中的边信息确定。尽管立体声信号易于获取(由于这对应于现有产品)，但是可能难于获取对应于 将在解码器处被再混合的对象的源信号。因此，即使对象的源信号是不可用的，仍需要生成 用于再混合的边信息。在下面的描述中，描述了用于仅从立体声信号生成边信息的全盲生 成技术。图8A是实现全盲边信息生成的编码系统800的实现方案的框图。编码系统800 通常包括滤波器组阵列802、边信息生成器804和编码器806。立体声信号由滤波器组阵列 802接收，其将该立体声信号(例如，右和左信道)分解为子带对。该子带对由边信息处理 器804接收，其使用所需的源声级差！^和增益函数f(M)从该子带对生成边信息。应当注 意，滤波器组阵列802和边信息处理器804均不针对源信号进行操作。边信息完全得自输 入立体声信号、所需的源声级差h和增益函数f (M)。图8B是使用图8A的编码系统800的编码过程808的实现方案的流程图。将输入 立体声信号分解为子带对(810)。对于每个子带，使用所需的源声级差值k确定关于每个 所需源信号的增益因子^和、(812)。对于直达声音源信号(例如，录音室中的中心摇摆 的源信号)，所需的源声级差是k = OdB。给定L”增益因子被计算为
1 b'=TT7,其中A = 10Li/°o应当注意屮和h已被计算为2 =1。该条件不是必需的；确 切的讲，可以任意选择以防止％或、在1^的量值是大的时候是大的。下一步，使用子带对和混合增益估计直达声音的子带功率(814)。为了计算直达声 音子带功率，可以假设每次每个输入信号的左和右子带均可以被写为
x, = as+n. x2 = bs+n2, (44)
声音。
其中a和b是混合增益，s表示所有源信号的直达声音并且ni和n2表示独立环境 可以假设a和b是其中
}。应当注意，a和b可被计算为，s包含在中的
情况下的声级差与x2和Xl之间的声级差相同。直达声音的以dB为单位的声级差是M = log10B。我们可以根据[44]中给出的信号模型计算直达声音子带功率E{s2 (k)}。在一些 实现方案中，使用如下方程组
(46) E {Xl (k) x2 (k)} = abE {s2 (k)}。在[46]中已假设[34]中的s、ni和n2相互独立，[46]中的左侧的量可被测量，并 且a和b是可用的。因此，[46]中的三个未知量是￡{82 00}丄{111200}和￡{1122 00}。直达 声音子带功率E{s2 (k)}可由下式给出 直达声音子带功率还可被写为相干性[17]的函数， 在一些实现方案中，所需源子带功率E{Si2(k)}的计算可以分两步执行首先，计 算直达声音子带功率E{s2(k)}，其中s表示[44]中的所有源的直达声音(例如，中心摇 摆)。然后，通过修改直达声音子带功率E{s2 (k)}，计算(816)所需源子带功率E{Si2(k)}， 作为直达声音方向(由M表示)和所需声音方向(由所需源声级差L表示)的函数
(49)其中f(.)是增益函数，该增益函数作为方向的函数，仅针对所需源方向返回接近 1的增益因子。作为最终步骤，增益因子和子带功率E{Si2(k)}可被量化和编码以生成边信 息(818)。图9说明了关于所需的源声级差k = L dB的示例增益函数f (M)。应当注意，可 以在选择f(M)方面控制方向性程度以具有所需方向、周围的更大或更小的窄峰。对于中 心处的所需源，可以使用k = 6dB的峰宽度。应当注意，通过上述全盲技术，可以确定关于给定源信号Si的边信息(ai、bi、 E{Si2(k)})。
B.边信息的盲生成和非盲生成之间的组合上述全盲生成技术在某些情况下可能受到限制。例如，如果两个对象具有关于立 体声录音室的相同的位置(方向)，则可能不能盲生成与一个或两个对象相关的边信息。针对边信息的全盲生成的替选方案是边信息的部分盲生成。部分盲技术生成粗略 对应于原始对象波形的对象波形。这可以例如，通过使歌手或乐师演奏/重现特定的对象 信号来完成。或者，可以部署用于此目的的MIDI数据并且使合成器生成对象信号。在一些 实现方案中，“粗略”对象波形与立体声信号时间对准，其中针对该立体声信号生成边信息。 然后，可以使用作为盲和非盲边信息生成的组合的过程生成边信息。图10是使用部分盲生成技术的边信息生成过程1000的实现方案的示图。过程 1000开始于获取输入立体声信号和M个“粗略”源信号(1002)。下一步，确定用于M个“粗 略”源信号的增益因子％和bi(1004)。在每个子带中的每个时隙中，确定关于每个“粗略” 源信号的子带功率的第一短时估算E{Si2(k)} (1006)。使用应用于输入立体声信号的全盲 生成技术确定关于每个“粗略”源信号的子带功率的第二短时估算Ehat {Si2 (k)} (1008)。最后，针对估计的子带功率应用组合第一和第二子带功率估算并且返回最终估算 的函数，其可以有效地用于边信息计算(1010)。在一些实现方案中，函数F()由下式给出 VII.架构、用户接口、比特流语法A.客户机/服务器架构图11是用于向具有再混合能力的音频设备1110提供立体声信号和M个源信号和 /或边信息的客户机/服务器架构1100的实现方案的框图。架构1100仅是示例。其他架 构也是可能的，包括具有更多或更少部件的架构。架构1100通常包括具有知识库1104 (例如，MySQL )和服务器1106 (例如， Windows NT、Linux服务器)的下载业务1102。知识库1104可以存储各种类型的内容， 包括专业混合立体声信号，以及对应于立体声信号中的对象的关联的源信和各种效果(例 如，混响)号。立体声信号可以被存储为各种标准化格式，包括MP3、PCM、AAC等。在一些实现方案中，源信号存储在知识库1104中并且可用于下载到音频设备 1110。在一些实现方案中，预处理边信息存储在知识库1104中并且可用于下载到音频设备 1110。可以使用参照图1A、6A和8A描述的一个或多个编码方案通过服务器1106生成预处 理边信息。在一些实现方案中，下载业务1102(例如，Web站点、音乐商店)通过网络1108(例 如，互联网、内联网、以太网、无线网络、对等网络)与音频设备1110通信。音频设备1110 可以是能够实现所公开的再混合方案的任何设备(例如，媒体播放器/记录器、移动电话、 个人数字助理(PDA)、游戏控制台、机顶盒、电视接收机、媒体中心等)。B.音频设备架构在一些实现方案中，音频设备1110包括一个或多个处理器或处理器核1112、输 入设备1114 (例如，点拨轮、鼠标、操纵杆、触摸屏)、输出设备1120 (例如，LCD)、网络接口 1118(例如，USB、防火墙、以太网、网络接口卡、无线收发信机)和计算机可读介质1116(例如，存储器、硬盘、闪存驱动器)。一些或所有该部件可以通过通信信道1122 (例如，总线、网 桥)发送和/或接收信息。在一些实现方案中，计算机可读介质1116包括操作系统、音乐管理器、音频处理 器、再混合模块和音乐库。操作系统负责管理音频设备1110的基本管理和通信任务，包括 文件管理、存储器接入、总线连接、控制外围设备、用户接口管理、电力管理等。音乐管理器 可以是管理音乐库的应用。音频处理器可以是用于播放音乐文件(例如，MP3、CD音频等) 的常规的音频处理器。再混合模块可以是实现参照图1 10描述的再混合方案的功能的 一个或多个软件部件。在一些实现方案中，如参照图1A、6A和8A描述的，服务器1106对立体声信号编码 并且生成边信息。立体声信号和边信息通过网络1108被下载到音频设备1110。再混合模 块对信号和边信息解码并且基于通过输入设备1114(例如，键盘、点拨轮、触摸显示器)接 收的用户输入提供再混合能力。C.用于接收用户输入的用户接口图12说明了具有再混合能力的媒体播放器1200的用户接口 1202的实现方案。用 户接口 1202还可以适用于其他设备(例如，移动电话、计算机等)。用户接口不限于所示出 的配置或格式，并且可以包括不同类型的用户接口元素(例如，导航控制、触摸表面)。用户可以通过加亮用户接口 1202上的适当的项目进入设备1200的“再混合”模 式。在该示例中，假设用户从音乐库中选择了歌曲并且希望改变主唱音轨的摇摆设定。例 如，用户可能希望在左音频信道中收听更多的主唱。为了获取对所需摇摆控制的接入，用户可以导航浏览一系列的子菜单1204、1206 和1208。例如，用户可以使用滚轮1210滚读子菜单1204、1206和1208上的项目。用户可 以通过点击按钮1212选择加亮的菜单项目。子菜单1208提供对关于主唱音轨的所需摇摆 控制的接入。随后，在播放歌曲的同时，用户可以(例如，使用滚轮1210)操纵滑动器按照 需要调节主唱的摇摆。D.比特流语法在一些实现方案中，参照图1-10描述的再混合方案可以包括在现有的或未来的 音频编码标准(例如，MPEG-4)中。用于现有的或未来的编码标准的比特流语法可以包括 具有再混合能力的解码器使用的用于确定如何处理比特流以允许用户再混合的信息。该语 法可被设计为通过常规编码方案提供向后兼容性。例如，比特流中包括的数据结构(例如， 分组报头)可以包括指示用于再混合的边信息(例如，增益因子、子带功率)的可用性的信 息(例如，一个或多个比特或标志)。VIII.无伴奏模式和自动增益/摇摆调节A.无伴奏模式增强方案立体声无伴奏信号对应于仅包括声音的立体声信号。在不丧失一般性的前提下，
令最初M个源si、s2.....sM为[1]中的声音源。为了从原始立体声信号获取立体声无伴奏
信号，可以使非声音源衰减。所需的立体声信号是 其中K是用于非声音源的衰减因子。由于不使用摇摆，因此通过使用从[50]的无 伴奏立体声信号定义得到的期望值，可以计算新的二权重Wiener滤波器 通过将K设定为1()￥，可以使非声音源衰减A dB，给出了得到立体声无伴奏信号的 印象。B.自动增益/摇摆调节在改变源的增益和摇摆设定时，可以选择导致削弱的渲染质量的极值。例如，除一 个保持OdB之外将所有源移至最小增益，或者除一个移至右侧之外将所有源移至左侧，可 以产生关于该隔离的源的差的音频质量。该情形应被避免，以保持没有人工效果的干净渲 染的立体声信号。一种用于避免该情形的手段是防止增益和摇摆控制的极端设定。每个控制k，增益和摇摆滑动器&和化分别可以具有范围[_1，1]中的图形用户 接口(GUI)中的内部值。为了限制极端设定，增益滑动器之间的平均距离可被计算为 其中K是控制的数目。P 越接近1，则设定越极端。随后将调节因子Gadjust作为平均距离P G的函数来计算以限制⑶I中的增益滑动 器的范围GadJust = l-(l-nG)uG, (54)其中ne定义了关于例如P e = 1的极端设定的自动调整Ga(Uust的程度。典型地， ne被选择为等于约0. 5以在极端设定的情况中使增益减少一半。依照相同的过程，计算Padjust并且将其应用于摇摆滑动器，以便于有效增益和摇摆 被调整为gk = GadJustgk, (55)pk = PadJustPko所公开的和其他的实施例以及本说明书中描述的功能操作可以在数字电子电路 中实现，或者在包括本说明书中公开的结构及其结构等效方案的计算机软件、固件或硬件 中实现，或者通过组合一个或多个以上手段来实现。所公开的和其他的实施例可被实现为 一个或多个计算机程序产品，即用于由数据处理装置执行或者控制数据处理装置操作的在 计算机可读介质上编码的一个或多个计算机程序指令模块。计算机可读介质可以是机器可 读存储设备、机器可读存储基板、存储器设备、实现机器可读传播信号的事件的组合或者一 个或多个以上介质的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机 器，包括作为示例的可编程处理器、计算机或者多个处理器或计算机。除了硬件之外，该装 置可以包括创建关于正被讨论的计算机程序的执行环境的代码，例如，构成处理器固件、协议堆栈、数据库管理系统、操作系统或者一个或多个以上执行环境的组合的代码。传播信号 是人工生成信号，例如，机器生成的电、光或电磁信号，其被生成以对用于传送到适当的接 收机装置的信息编码。计算机程序(还被称为程序、软件、软件应用、脚本或代码)可以通过任何形式的 编程语言编写，包括编译或解释语言，并且其可以通过任何形式部署，包括作为独立的程序 或者作为模块的部件、子程序或者适于在计算环境中使用的其他单元。计算机程序不必对 应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文 档中的一个或多个脚本)的文件的一部分中，保存在正被讨论的程序专用的单个文件中， 或者保存在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计 算机程序可被部署为在一个计算机上执行或者在位于一个地点或跨越多个地点分布并且 通过通信网络互连的多个计算机上执行。本说明书中描述的过程和逻辑流程可以通过一个或多个可编程处理器执行，该可 编程处理器通过对输入数据进行操作并且生成输出，执行一个或多个计算机程序以执行功 能。该过程和逻辑流程还通过专用逻辑电路来实现，或者装置也可被实现为专用逻辑电路， 例如，FPGA (现场可编程门阵列)或ASIC (专用集成电路)。作为示例，适用于执行计算机程序的处理器包括通用和专用微处理器和任何类别 的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器 或此两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和 数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量 存储设备，例如，磁盘、磁-光盘或者光盘，或者操作耦合至这些大容量存储设备以从其接 收数据或者向其传输数据或者执行这两个操作。然而，计算机不需要具有这些设备。用于 存储计算机程序指令和数据的计算机可读媒体包括所有形式的非易失存储器、媒体和存储 器设备，其包括作为示例的半导体存储器设备，例如，EPROM、EEPR0M和闪速存储器设备；磁 盘，例如，内部硬盘或可移除盘；磁-光盘；以及⑶-ROM和DVD-ROM盘。处理器和存储器可 以由专用逻辑电路补充或者被并入专用逻辑电路。为了提供与用户的交互，所公开的实施例可以在计算机上实现，该计算机具有显 示设备，例如CRT(阴极射线管)或LCD(液晶显示器)监视器，其用于向用户显示信息；以 及键盘和指向设备，例如鼠标或轨迹球，用户可以通过其向计算机提供输入。也可以使用其 他类别的设备提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例 如视觉反馈、听觉反馈或触觉反馈；并且可以通过任何形式接收来自用户的输入，包括声、 语音或触觉输入。所公开的实施例可以在计算系统中实现，该计算系统包括后端部件，例如数据服 务器，或者包括中间部件，例如应用服务器，或者包括前端部件，例如具有图形用户接口或 Web浏览器的客户机计算机，用户可以通过该图形用户接口或Web浏览器与这里公开的实 现方案交互，或者包括一个或多个该后端、中间或前端部件的任何组合。系统部件可以通 过数字数据通信的任何形式或介质(例如通信网络)被互联。通信网络的示例包括局域网 (LAN)和例如互联网的广域网(WAN)。计算系统可以包括客户机和服务器。客户机和服务器通常相互是远程的并且典型 地通过通信网络交互。客户机和服务器的关系是依靠在各个计算机上运行并且具有相互的客户机_服务器关系的计算机程序而引出的。VIII.使用再混合技术的系统的示例图13说明了组合空间音频对象解码(SA0C)和再混合解码的解码器系统1300的 实现方案。SA0C是用于处理多信道音频的音频技术，其允许编码声音对象的交互式操纵。在一些实现方案中，系统1300包括混合信号解码器1301、参数生成器1302和再混 合渲染器1304。参数生成器1302包括盲估计器1308、用户混合参数生成器1310和再混合 参数生成器1306。再混合参数生成器1306包括均衡混合参数生成器1312和上混合参数生 成器1314。在一些实现方案中，系统1300提供两个音频过程。在第一过程中，再混合参数生 成器1306使用编码系统提供的边信息生成再混合参数。在第二过程中，通过盲估计器1308 生成盲参数并且再混合参数生成器1306使用该盲参数生成再混合参数。如参照图8A和8B 描述的，可以通过盲估计器1308执行盲参数和全盲或部分盲生成过程。在一些实现方案中，再混合参数生成器1306接收边信息或盲参数，并且从用户混 合参数生成器1310接收一组用户混合参数。用户混合参数生成器1310接收终端用户指定 的混合参数(例如，GAIN、PAN)并且将混合参数转换为适用于再混合参数生成器1306的 再混合处理的格式(例如，转换为增益Ci、di+1)。在一些实现方案中，用户混合参数生成器 1310提供用于允许用户指定所需混合参数的用户接口，诸如例如参照图12描述的媒体播 放器用户接口 1200。在一些实现方案中，再混合参数生成器1306可以处理立体声和多信道音频信号。 例如，均衡混合参数生成器1312可以生成用于立体声信道目标的混合参数，并且上混合参 数生成器1314可以生成用于多信道目标的再混合参数。参考章节IV描述了基于多信道音 频信号的再混合参数生成。在一些实现方案中，再混合渲染器1304接收关于立体声目标信号或多信道目标 信号的再混合参数。均衡混合渲染器1316基于用户混合参数生成器1310提供的格式化的 用户指定的立体声混合参数，将立体声再混合参数应用于直接从混合信号解码器1301接 收的原始立体声信号以提供所需的再混合立体声信号。在一些实现方案中，可以使用立体 声再混合参数的nXn矩阵(例如，2X2矩阵)将立体声再混合参数应用于原始立体声信 号。上混合渲染器1318基于用户混合参数生成器1310提供的格式化的用户指定的多信 道混合参数，将多信道再混合参数应用于直接从混合信号解码器1301接收的原始多信道 信号以提供所需的再混合多信道信号。在一些实现方案中，效果生成器1320生成效果信号 (例如，混响)，均衡混合渲染器1316或上混合渲染器分别将该效果信号应用于原始立体声 或多信道信号。在一些实现方案中，除了应用再混合参数以生成再混合多信道信号之外，上 混合渲染器1318接收原始立体声信号并且将该立体声信号转换(或上混合)为多信道信 号。系统1300可以处理具有各种信道配置的音频信号，允许系统1300集成到现有的 音频编码方案(例如，SAOC、MPEG、AAC、参量立体声)中，同时与该音频编码方案保持向后 兼容性。图14A说明了关于分立对话音量(SDV)的通用混合模型。SDV是题为“Separate Dialogue Volume"的美国临时专利申请No. 60/884，594中描述的一种改进的对话增强技术。在SDV的一个实现方案中，立体声信号被记录和混合，从而对于每个源，信号相干地进 入具有特定方向线索(例如，声级差、时间差)的左和右信号信道，并且反射/混响独立信 号进入确定听觉事件宽度和听者包围感线索的信道。参照图14A，因子a确定听觉事件呈现 的方向，其中s是直达声音并且ni和n2是横向反射。信号s模仿来自由因子a确定的方向 的局部化声音。独立信号&和n2对应于反射/混响声音，其常常被标为环境声音或环境。 所描述的场景是关于具有一个音频源的立体声信号的感知激励分解，Xj (n) = s (n) + x2(n) = as(n)+n2, (51)捕获音频源和环境的局部化。图14B说明了组合SDV和再混合技术的系统1400的实现方案。在一些实现方案 中，系统1400包括滤波器组1402 (例如，STFT)、盲估计器1404、均衡混合渲染器1406、参数 生成器1408和逆滤波器组1410(例如，逆STFT)。在一些实现方案中，滤波器组1402接收SDV下混合信号并且将其分解为子带信 号。下混合信号可以是[51]给出的立体声信号xi、x2。子带信号&(1，10、&(1，10被直接 输入到均衡混合渲染器1406中或者盲估计器1404中，盲估计器1404输出盲参数A、Ps、Pn。 在题为“S印arateDialogue Volume”的美国临时专利申请No. 60/884, 594中描述了这些参 数的计算。盲参数被输入到参数生成器1408中，参数生成器1408从盲参数和用户指定的 混合参数g(i，k)(例如，中心增益、中心带宽、截止频率、干燥度)生成均衡混合参数wn w220章节I中描述了均衡混合参数的计算。均衡混合渲染器1406将均衡混合参数应用于 子带信号以提供渲染输出信号yi、y2。均衡混合渲染器1406的渲染输出信号被输入到逆滤 波器组1410，逆滤波器组1410基于用户指定的混合参数将渲染输出信号转换为所需的SDV 立体声信号。在一些实现方案中，如参照图1 12说明的，系统1400还使用再混合技术处理音 频信号。在再混合模式中，滤波器组1402接收立体声或多信道信号，诸如[1]和[27]中描 述的信号。该信号通过滤波器组1402被分解为子带信号Xji，k)、X2(i，k)并且被直接输 入到均衡渲染器1406和用于估计盲参数的盲估计器1404中。盲参数与在比特流中接收的 边信息 、bp Psi 一起被输入到参数生成器1408中。参数生成器1408将盲参数和边信息 应用于子带信号以生成渲染输出信号。渲染输出信号被输入到逆滤波器组1410，逆滤波器 组1410生成所需的再混合信号。图15说明了图14B中示出的均衡混合渲染器1406的实现方案。在一些实现方案 中，通过调整模块1502和1504调整下混合信号XI，并且通过调整模块1506和1508调整下 混合信号X2。调整模块1502根据均衡混合参数wn调整下混合信号XI，调整模块1504根 据均衡混合参数w21调整下混合信号XI，调整模块1506根据均衡混合参数w12调整下混合 信号X2，并且调整模块1508根据均衡混合参数w22调整下混合信号X2。调整模块1502和 1506的输出被求和以提供第一渲染输出信号yi，并且调整模块1504和1508的输出被求和 以提供第二渲染输出信号y2。图16说明了用于参照图1 15描述的再混合技术的分布系统1600的实现方案。 在一些实现方案中，内容提供商1602使用授权工具1604，授权工具1604包括如前面参照 图1A描述的用于生成边信息的再混合编码器1606。边信息可以是一个或多个文件的一部分和/或包括在用于比特流业务的比特流中。再混合文件可以具有唯一文件扩展名(例 如，filename. rmx)0单个文件可以包括原始混合音频信号和边信息。可替选地，原始混合 音频信号和边信息可以作为分立的文件分布在分组、束、包或其他适当的容器中。在一些实 现方案中，可以通过预设的混合参数分布再混合文件以帮助用户学习技术和/或用于市场 目的。在一些实现方案中，可将原始内容(例如，原始混合音频文件)、边信息和可选的 预设混合参数(“再混合信息”)提供给服务提供商1608(例如，音乐门户)或者将其安置 在物理介质(例如，⑶_R0M、DVD、媒体播放器、闪存驱动器)上。服务提供商1608可以操作 用于服务所有或部分再混合信息和/或包含所有或部分再混合信息的比特流的一个或多 个服务器1610。再混合信息可以存储在知识库1612中。服务提供商1608还可以提供用于 共享用户生成的混合参数的虚拟环境(例如，社区、门户、公告牌)。例如，用户在能够实现 再混合的设备1616(例如，媒体播放器、移动电话)上生成的混合参数可以存储在混合参数 文件中，该混合参数文件可以上载到服务提供商1608用于与其他用户共享。混合参数文件 可以具有唯一扩展名(例如，filename, rms)。在所示出的示例中，用户使用再混合播放器 A生成混合参数文件并且将该混合参数文件上载到服务提供商1608，其中该文件随后由操 作再混合播放器B的用户下载。可以使用任何已知的数字版权管理方案和/或其他已知的安全方法实现系统 1600以保护原始内容和再混合信息。例如，操作再混合播放器B的用户可能需要分立地下 载原始内容并且在用户可以访问或者使用再混合播放器B提供的再混合特征之前保护证 书。图17A说明了用于提供再混合信息的比特流的基本元素。在一些实现方案中，单 个集成比特流1702可被递送到能够实现再混合的设备，其包括混合音频信号(MixecLObj BS)、增益因子和子带功率(Ref_Mix_Para BS)以及用户指定的混合参数(User_Mix_Para BS)。在一些实现方案中，关于再混合信息的多个比特流可被独立地递送到能够实现再混合 的设备。例如，可以在第一比特流1704中递送混合音频信号，并且可以在第二比特流1706 中递送增益因子、子带功率和用户指定的混合参数。在一些实现方案中，可以在三个分立的 比特流1708、1710和1712中递送混合音频信号、增益因子和子带功率以及用户指定的混合 参数。可以以相同或不同的比特率递送这些分立的比特流。可以使用各种已知技术按照需 要处理比特流以节约带宽并且确保鲁棒性，包括比特交织、熵编码(例如，霍夫曼编码)、纠 错等。图17B说明了再混合编码器的比特流接口 1714。在一些实现方案中，针对再混合 编码器接口 1714的输入可以包括混合对象信号、单独的对象或源信号和编码器选项。编码 器接口 1714的输出可以包括混合音频信号比特流、包括增益因子和子带功率的比特流以 及包括预设混合参数的比特流。图17C说明了再混合解码器的比特流接口 1716。在一些实现方案中，针对再混合 解码器接口 1716的输入可以包括混合音频信号比特流、包括增益因子和子带功率的比特 流以及包括预设混合参数的比特流。解码器接口 1716的输出可以包括再混合音频信号、上 混合渲染器比特流(例如，多信道信号)、盲再混合参数和用户再混合参数。关于编码器和解码器接口的其他配置也是可能的。图17B和17C中说明的接口配置可用于定义应用编程接口(API)，其用于允许能够实现再混合的设备处理再混合信息。图 17B和17C中示出的接口是示例，并且其他配置也是可能的，包括可以部分地基于设备具有 不同数目和类型的输入和输出的配置。图18是示出示例系统1800的框图，该系统1800包括用于生成关于某些对象信 号的额外边信息的扩展以提供再混合信号的改进的感知质量。在一些实现方案中，系统 1800 (在编码侧)包括混合信号编码器1808和增强再混合编码器1802，增强再混合编码器 1802包括再混合编码器1804和信号编码器1806。在一些实现方案中，系统1800 (在解码 侧)包括混合信号解码器1810、再混合渲染器1814和参数生成器1816。在编码器侧，混合音频信号通过混合信号编码器1808 (例如，mp3编码器)被编码 并且被发送到解码侧。对象信号(例如，主唱、吉他、鼓或其他乐器)被输入到再混合编码 器1804，例如，如前面参照图1A和3A描述的，再混合编码器1804生成边信息(例如，增益 因子和子带功率)。此外，感兴趣的一个或多个对象信号被输入到信号编码器1806 (例如， mp3编码器)以产生额外的边信息。在一些实现方案中，用于使混合信号编码器1808和信 号编码器1806的输出信号分别对准的对准信息被输入到信号编码器1806。对准信息可以 包括时间对准信息、所使用的编码规则类型、目标比特率、比特分配信息或策略等。在解码器侧，混合信号编码器的输出被输入到混合信号解码器1810 (例如，mp3解 码器)。混合信号解码器1810的输出和编码器边信息(例如，编码器生成的增益因子、子带 功率、额外的边信息)被输入到参数生成器1816，参数生成器1816使用这些参数和控制参 数(例如，用户指定的混合参数)一起生成再混合参数和额外的再混合数据。再混合渲染 器1814可以使用该再混合参数和额外的再混合数据来渲染再混合音频信号。再混合渲染器1814使用该额外的再混合数据(例如，对象信号)使原始混合音频 信号中的特定对象再混合。例如，在卡拉0K应用中，增强再混合编码器1802可以使用表示 主唱的对象信号生成额外的边信息(例如，编码对象信号)。参数生成器1816可以使用该 信号生成额外的再混合数据，再混合渲染器1814可以使用该额外的再混合数据使原始混 合音频信号中的主唱再混合(例如，抑制或衰减主唱)。图19是示出图18中示出的再混合渲染器1814的示例的框图。在一些实现方案 中，下混合信号XI、X2被分别输入到组合器1904、1906中。下混合信号XI、X2可以是例如 原始混合音频信号的左和右信道。组合器1904、1906使下混合信号XI、X2与参数生成器 1816提供的额外的再混合数据组合。在卡拉0K示例中，组合可以包括在再混合之前从下混 合信号XI、X2中减去主唱对象信号以衰减或抑制再混合音频信号中的主唱。在一些实现方案中，下混合信号XI (例如，原始混合音频信号的左信道)与额外的 再混合数据(例如，主唱对象信号的左信道)组合并且通过调整模块1906a和1906b被调 整，并且下混合信号X2(例如，原始混合音频信号的右信道)与额外的再混合数据(例如， 主唱对象信号的右信道)组合并且通过调整模块1906c和1906d被调整。调整模块1906a 根据均衡混合参数调整下混合信号XI，调整模块1906b根据均衡混合参数w21调整下混 合信号XI，调整模块1906c根据均衡混合参数w12调整下混合信号X2，并且调整模块1906d 根据均衡混合参数w22调整下混合信号X2。可以使用线性代数，诸如使用n X n (例如，2 X 2) 矩阵实现该调整。调整模块1906a和1906c的输出被求和以提供第一渲染输出信号Y2，并 且调整模块1906b和1906d被求和以提供第二渲染输出信号Y2。
在一些实现方案中，可以在用户接口中实现用于在原始立体声混合，“卡拉OK”模 式和/或“无伴奏”模式之间移动的控制。作为该控制位置的函数，组合器1902控制原始 立体声信号和通过额外的边信息获取的信号(多个)之间的线性组合。例如，对于卡拉0K 模式，可以从立体声信号中减去从额外的边信息获取的信号。随后可以应用再混合处理以 移除量化噪声(在立体声和/或其他信号被有损编码的情况中)。为了部分地移除声音，仅 需要减去通过额外的边信息获取的信号的一部分。为了仅播放声音，组合器1902选择通过 额外的边信息获取的信号。为了播放声音和某种背景音乐，组合器1902将立体声信号的调 整版本添加到通过额外的边信息获取的信号。尽管本说明书包含许多细节，但是它们不应被解释为对权利要求的范围的限制， 而是应被解释为特定实施例的特定特征的描述。本说明书中在分立实施例的上下文中描述 的某些特征也可以在单个实施例中以组合形式实现。相反地，在单个实施例的上下文中描 述的各种特征也可以分立地在多个实施例中实现或者以任何适当的子组合来实现。而且， 尽管上文将特征描述为在某些组合中发挥作用并且在权利要求中亦是如此，但是来自权利 要求组合的一个或多个特征可以在一些情况中从该组合排除，并且权利要求组合可以涉及 子组合或者子组合的变化方案。相似地，尽管在附图中以特定顺序示出了操作，但是这不应被理解为，为了实现所 需的结果，需要按照所示出的特定顺序或者按照依次的顺序执行该操作，或者需要执行所 有说明的操作。在特定情况中，多任务和并行处理可能是有利的。而且，上文描述的实施例 中的各种系统部件的分离不应被理解为在所有实施例中都需要该分离，并且应当理解，所 描述的程序部件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。已描述了本说明书中描述的主题的特定实施例。其他实施例在所附权利要求的范 围内。例如，可以按照不同的顺序执行权利要求中叙述的动作并且仍然实现所需的结果。作 为一个示例，为了实现所需的结果，附图中示出的过程不必需要所示出的特定顺序，或者依 次的顺序。作为另一示例，章节5A中描述的边信息的预处理提供了关于再混合信号的子带 功率的下限以防止负值，这与[2]中给出的信号模型矛盾。然而，该信号模型不仅意指再混 合信号的正功率，还意指原始立体声信号和再混合立体声信号之间的正的叉积，即E{xiyi}、 E {x1y2}、E {x2yj 禾P E {x2y2}。从两个权重的情况开始，为了防止叉积E{xiyi}和E{x2y2}变负，[18]中定义的权 重被限制到某个阈值，从而使它们从不小于A dB。然后，通过考虑如下条件限制叉积，其中
表示平方根并且Q被定义为 如果五
则叉积限于五休 如 果五{11，少2}<0!|!对付(五{<}五{X22})，贝丨J 叉积 限 于 五 KM-P^^NW}五{x22})。
如 果五hjhG*叫以(五{<}五“22}) 如果五拉少五“22}，则叉积限于五
权利要求
一种计算机实现的方法，包括获取具有一组对象的第一多信道音频信号；获取边信息，至少一些边信息表示所述第一多信道音频信号和表示将被再混合的对象的一个或多个源信号之间的关系；获取一组混合参数；获取衰减因子；以及使用所述边信息、所述衰减因子和所述一组混合参数生成第二多信道音频信号。
2.如权利要求1所述的方法，其中获取所述一组混合参数进一步包括 接收指定所述一组混合参数的用户输入。
3.如权利要求1所述的方法，其中生成第二多信道音频信号包括 将所述第一多信道音频信号分解为第一组子带信号；使用所述边信息和所述一组混合参数估计对应于所述第二多信道音频信号的第二组 子带信号；以及将所述第二组子带信号转换为所述第二多信道音频信号。
4.如权利要求3所述的方法，其中估计第二组子带信号进一步包括对所述边信息解码以提供与将被再混合的对象关联的增益因子和子带功率估算； 基于所述增益因子、子带功率估算和所述一组混合参数确定一组或多组权重；以及 使用至少一组权重估计所述第二组子带信号。
5.如权利要求4所述的方法，其中确定一组或多组权重进一步包括 确定第一组权重的量值；以及确定第二组权重的量值，其中所述第二组权重包括不同于所述第一组权重的权重数目。
6.如权利要求5所述的方法，进一步包括 比较所述第一和第二组权重的量值；以及基于所述比较的结果选择所述第一和第二组权重之一用于在估计所述第二组子带信 号时使用。
7.如权利要求4所述的方法，其中确定一组或多组权重进一步包括确定使所述第一多信道音频信号和所述第二多信道音频信号之间的差最小的一组权重。
8.如权利要求4所述的方法，其中确定一组或多组权重进一步包括形成线性方程组，其中所述方程组中的每个方程是积的和，并且每个积是通过使子带 信号与权重相乘而得到的；以及通过求解所述线性方程组确定所述权重。
9.如权利要求8所述的方法，其中使用最小二乘估计求解所述线性方程组。
10.如权利要求9所述的方法，其中所述线性方程组的解提供了第一权重wn，其被给出为w = E{xl} EjXyyl)- E{xxx2 }E{x2yl} Π ~E{xf}E{x22}-E2{χ,χ,}~，其中E {.}表示短时平均，X1和X2是第一多信道音频信号的信道，并且Y1是第二多信道音频信号的信道。
11.如权利要求9所述的方法，其中所述线性方程组的解提供了第二权重W22，其被给出为 其中E {.}表示短时平均，X1和X2是第一多信道音频信号的信道，并且y2是第二多信道 音频信号的信道。
12.如权利要求10或11所述的方法，其中 其中K是用于使非声音源衰减的衰减因子，并且％和h是增益因子。
13.如权利要求12所述的方法，其中 ，并且非声音源被衰减A dB。
14.如权利要求12所述的方法，其中所述第二多信道音频信号被给出为 只(
15.一种装置，包括解码器，可配置用于接收边信息并且用于从所述边信息获取再混合参数，其中至少一 些所述边信息表示第一多信道音频信号和用于生成所述第一多信道音频信号的一个或多 个源信号之间的关系；接口，可配置用于获取一组混合参数和衰减因子；和再混合模块，耦合至所述解码器和所述接口，所述再混合模块可配置用于使用所述边 信息、所述衰减因子和所述一组混合参数使所述源信号再混合以生成具有衰减的非声音源 的第二多信道音频信号。
16.如权利要求15所述的装置，其中至少所述一组混合参数由用户通过所述接口指定。
17.如权利要求15所述的装置，进一步包括至少一个滤波器组，可配置用于将所述第一多信道音频信号分解为第一组子带信号。
18.如权利要求17所述的装置，其中所述再混合模块使用所述边信息、所述衰减因子 和所述一组混合参数估计对应于所述第二多信道音频信号的第二组子带信号，并且将所述 第二组子带信号转换为所述第二多信道音频信号。
19.如权利要求18所述的装置，其中所述解码器对所述边信息解码以提供与所述将 被再混合的源信号关联的增益因子和子带功率估算，并且所述再混合模块基于所述增益因 子、子带功率估算、衰减因子和所述一组混合参数确定一组或多组权重，并且使用至少一组 权重来估计所述第二组子带信号。
20.如权利要求19所述的装置，其中所述再混合模块通过确定使所述第一多信道音频 信号和所述第二多信道音频信号之间的差最小的一组权重来确定一组或多组权重。
21.如权利要求19所述的装置，其中所述再混合模块通过求解线性方程组确定一组或 多组权重，其中所述方程组中的每个方程是积的和，并且每个积是通过使子带信号与权重 相乘而得到的。
22.如权利要求21所述的装置，其中使用最小二乘估计求解所述线性方程组。
23.如权利要求22所述的装置，其中所述线性方程组的解提供第一权重wn，其被给出为 其中 表示短时平均，X1和X2是所述第一多信道音频信号的信道，并且yi是所述第 二多信道音频信号的信道。
24.如权利要求22所述的装置，其中所述线性方程组的解提供第二权重W22，其被给出为 其中 表示短时平均，X1和X2是所述第一多信道音频信号的信道，并且y2是第二多 信道音频信号的信道。
25.如权利要求23或24所述的装置，其中 其中K是用于使非声音源衰减的衰减因子，并且％和h是增益因子。
26.如权利要求25所述的装置，其中&= 1G￥’并且非声音源被衰减A dB。
27.如权利要求25所述的装置，其中所述第二多信道音频信号被给出为
28.一种计算机可读介质，在所述计算机可读介质上存储有指令，所述指令在由处理器 执行时，使所述处理器执行操作，所述操作包括获取具有一组对象的第一多信道音频信号；获取边信息，至少一些边信息表示所述第一多信道音频信号和表示将被再混合的对象 的一个或多个源信号之间的关系； 获取一组混合参数； 获取衰减因子；以及使用所述边信息、所述衰减因子和所述一组混合参数生成第二多信道音频信号。
29.一种计算机实现的方法，包括 获取具有一组对象的第一多信道音频信号；获取边信息，至少一些边信息表示所述第一多信道音频信号和表示将被再混合的对象 的一个或多个源信号之间的关系；通过图形用户接口获取增益参数gk或摇摆参数Pk ； 获取增益调节因子Gatuust或摇摆调节因子Padjust ；使所述增益参数&或所述摇摆参数Pk分别乘以所述增益调节因子Gatuust或摇摆调节 因子Padjust以提供调整增益参数或调整摇摆参数；以及使用所述边信息和所述调整增益参数或调整摇摆参数生成第二多信道音频信号。
30.如权利要求29所述的方法，其中所述增益调节因子Gatuust被给出为 其中 并且ne定义自动调整的程度。
31.如权利要求29所述的方法，其中所述摇摆调节因子Patuust被给出为 其中 并且定义自动调整的程度。
32.—种计算机实现的方法，包括获取具有一组对象的第一多信道音频信号；获取边信息，至少一些边信息表示所述第一多信道音频信号和表示将被再混合的对象 的一个或多个源信号之间的关系；通过图形用户接口获取增益参数或摇摆参数；以及生成第二多信道音频信号作为所述第一多信道音频信号信道的线性组合，其中使用所 述边信息和所述增益参数或摇摆参数确定所述特定线性组合。
33.如权利要求32所述的方法，其中生成第二多信道音频信号包括 将所述第一多信道音频信号分解为第一组子带信号；使用所述边信息和所述增益或摇摆参数估计对应于所述第二多信道音频信号的第二 组子带信号；以及将所述第二组子带信号转换为所述第二多信道音频信号。
全文摘要
可修改与立体声或多信道音频信号的一个或多个对象(例如，乐器)关联的一个或多个属性(例如，摇摆、增益等)以提供再混合能力。
文档编号H04S3/00GK101855918SQ200880109867
公开日2010年10月6日 申请日期2008年8月13日 优先权日2007年8月13日
发明者克里斯托夫·法勒, 吴贤午, 郑亮源 申请人:Lg电子株式会社