处理媒体信号的方法和装置的制作方法

专利名称：处理媒体信号的方法和装置的制作方法
技术领域：
本发明涉及处理媒体信号的装置及其方法，尤其涉及通过使用媒体信号的空间信息生成环绕信号的装置及其方法。

背景技术：
一般而言，各种类型的装置和方法已被广泛地用于通过使用多声道媒体信号的空间信息以及声道缩减混音信号来生成该多声道媒体信号，其中声道缩减混音信号是通过将多声道媒体信号作声道缩减混音成单声道或立体声信号而生成的。
然而，上述的方法和装置在不适于生成多声道信号的环境中是不可使用的。例如，它们对于仅能生成立体声信号的设备是不可使用的。换言之，没有任何现有的在不能通过使用多声道信号的空间信息生成该多声道信号的环境中生成环绕信号——其中该环绕信号具有多声道特征——的方法或装置。
所以，因为没有任何现有的在仅能生成单声道或立体声信号的设备中生成环绕信号的方法或装置，所以难以高效率地处理媒体信号。
发明公开 技术问题 因此，本发明涉及一种基本上消除了一个或多个由于相关技术的局限和缺点引起的问题的处理媒体信号的装置及其方法。
本发明的一个目的是提供一种用于处理信号的装置及其方法，藉之可通过使用媒体信号的空间信息来将该媒体信号转换成环绕信号。
本发明的另外的特征和优点将在以下的描述中阐述，并将从描述中部分地显而易见，或者可从本发明的实践中认识到。本发明的目的和其它优点将可由书面说明书及其权利要求书和附图中具体指出的结构来实现并获得。
技术方案 为了实现这些和其它优点且根据本发明的目的，一种根据本发明的处理信号的方法包括通过使用指示多个源之间的特征的空间信息生成对应于这多个源中的每一个源的源映射信息；通过将给出环绕效果的滤波器信息按源应用于这些源映射信息来生成子渲染信息；通过整合这些子渲染信息中的至少一个生成用于生成环绕信号的渲染信息；以及通过将此渲染信息应用于通过对这多源进行声道缩减混音处理生成的声道缩减混音信号来生成环绕信号。
为了进一步实现这些和其它优点且根据本发明的目的，一种处理信号的装置包括源映射单元，其通过使用指示多个源之间特征的空间信息生成对应于这多个源中的每一个源的源映射信息；子渲染信息生成单元，其通过将具有环绕效果的滤波器信息按源应用于这些源映射信息来生成子渲染信息；整合单元，其通过整合这些子渲染信息中的至少一个生成用于生成环绕信号的渲染信息；以及渲染单元，其通过将渲染信息应用于通过对这多个源进行声道缩减混音处理生成的声道缩减混音信号来生成环绕信号。
应理解，以上的一般描述和以下的详细描述是示例性和说明性的，并且旨在提供对主张权利的本发明的进一步解释。
有益效果 根据本发明的信号处理装置和方法使得接收包括通过对多声道信号进行声道缩减混音处理生成的声道缩减混音信号以及该多声道信号的空间信息的比特流的解码器能在不能够恢复该多声道信号的环境中生成具有环绕效果的信号。
附图简述 包括于此以提供对本发明的进一步理解、并被结合在本申请中且构成其一部分的附图示出本发明的实施方式，其与说明书一起可用来解释本发明的原理。
附图中

图1是根据本发明的一个实施例的音频信号编码装置和音频信号解码装置的的框图； 图2是根据本发明的一个实施例的音频信号的比特流的结构图； 图3是根据本发明的一个实施例的空间信息转换单元的详细框图； 图4和图5是根据本发明的一个实施例用于源映射过程的声道配置的框图； 图6和图7是根据本发明的一个实施例用于立体声的声道缩减混音信号的渲染单元的详细框图； 图8和图9是根据本发明的一个实施例用于单声道的声道缩减混音信号的渲染单元的详细框图； 图10和图11是根据本发明的一个实施例的平滑单元和扩展单元的框图； 图12是用于解释根据本发明的一个实施例的第一平滑方法的坐标图； 图13是用于解释根据本发明的一个实施例的第二平滑方法的坐标图； 图14是用于解释根据本发明的一个实施例的第三平滑方法的坐标图； 图15是用于解释根据本发明的一个实施例的第四平滑方法的坐标图； 图16是用于解释根据本发明的一个实施例的第五平滑方法的坐标图； 图17是用于解释对应于每个声道的原型滤波器信息的图； 图18是根据本发明的一个实施例在空间信息转换单元中生成渲染滤波器信息的第一方法的框图； 图19是根据本发明的一个实施例在空间信息转换单元中生成渲染滤波器信息的第二方法的框图； 图20是根据本发明的一个实施例在空间信息转换单元中生成渲染滤波器信息的第三方法的框图； 图21是用于解释根据本发明的一个实施例在渲染单元中生成环绕信号的方法的图； 图22是根据本发明的一个实施例的第一内插法的图； 图23是根据本发明的一个实施例的第二内插法的图； 图24是根据本发明的一个实施例的块切换法的图； 图25是根据本发明的一个实施例应用由窗口长度决定单元决定的窗口长度的位置的框图； 图26是根据本发明的一个实施例在处理音频信号中使用的具有各种长度的滤波器的图； 图27是根据本发明的一个实施例通过使用多个子滤波器来分开地处理音频信号的方法的图； 图28是根据本发明的一个实施例向单声道的声道缩减混音信号渲染由多个子滤波器生成的分割渲染信息的方法的框图； 图29是根据本发明的一个实施例向立体声的声道缩减混音信号渲染由多个子滤波器生成的分割渲染信息的方法的框图； 图30是根据本发明的一个实施例的声道缩减混音信号的第一域转换方法的框图；以及 图31是根据本发明的一个实施例的声道缩减混音信号的第二域转换方法的框图。
本发明的最佳实施方式 现在将详细参考本发明的优选实施方式，其示例图解于附图中。
图1是根据本发明的一个实施例的音频信号编码装置和音频信号解码装置的的框图。
参考图1，编码装置10包括声道缩减混音单元100、空间信息生成单元200、声道缩减混音信号编码单元300、空间信息编码单元400、和多路复用单元500。
如果多源(X1、X2、……、Xn)音频信号被输入到声道缩减混音单元100，则声道缩减混音单元100将所输入的信号作声道缩减混音成声道缩减混音信号。在这种情形中，声道缩减混音信号包括单声道、立体声及多源音频信号。
源包括声道，且在以下的描述中方便地表示为声道。在本说明书中，以单声道或立体声的声道缩减混音信号作为参考。然而，本发明不限于单声道或立体声的声道缩减混音信号。
编码装置10能可任选地使用从外部环境直接提供的任意性声道缩减混音信号。
空间信息生成单元200从多声道音频信号生成空间信息。此空间信息可在声道缩减混音过程中生成。所生成的声道缩减混音信号和空间信息分别由声道缩减混音信号编码单元300和空间信息编码单元400编码，然后传输至多路复用单元500。
在本发明中，‘空间信息’是指由解码装置从对声道缩减混音信号进行声道扩展混音来生成多声道信号所需的信息，其中该声道缩减混音信号是由编码装置通过对该多声道信号进行声道缩减混音处理来生成并被传输到该解码装置的。空间信息包括空间参数。空间参数包括指示声道之间的能量差的CLD(声道电平差)、指示声道之间的相关性的ICC(声道间相干性)、在从两声道生成三声道时使用的CPC(声道预测系数)等。
在本发明中，‘声道缩减混音信号编码单元’或‘声道缩减混音信号解码单元’是指编码或解码音频信号而不是空间信息的编解码器。在本说明书中，以声道缩减混音音频信号为音频信号而不是空间信息的例子。并且，声道缩减混音信号编码或解码单元可包括MP3、AC-3、DTS、或AAC。此外，声道缩减混音信号编码或解码单元可包括未来的编解码器以及以前已经开发出来的编解码器。
多路复用单元500通过将声道缩减混音信号与空间信息多路复用来生成比特流，然后将所生成的比特流传输到解码装置20。此外，稍后将在图2中解释此比特流的结构。
解码装置20包括多路分解单元600、声道缩减混音信号解码单元700、空间信息解码单元800、渲染单元900、以及空间信息转换单元1000。
多路分解单元600接收比特流，然后从该比特流中分离出经编码的声道缩减混音信号和经编码的空间信息。随后，声道缩减混音信号解码单元700对此经编码的声道缩减混音信号进行解码，并且空间信息解码单元800对此经编码的空间信息进行解码。
空间信息转换单元1000利用经解码的空间信息和滤波器信息生成可应用于声道缩减混音信号的渲染信息。在这种情形中，将渲染信息应用于该声道缩减混音信号以生成环绕信号。
例如，环绕信号按以下方式生成。首先，由编码装置10从多声道音频信号生成声道缩减混音信号的过程可包括利用OTT(一至二)框或TTT(三至三)框的若干步骤。在这种情形中，空间信息可从这些步骤中的每一个生成。空间信息被传输到解码装置20。解码装置20然后通过转换空间信息然后用声道缩减混音信号渲染经转换的空间信息来生成环绕信号。本发明不是通过对声道缩减混音信号进行声道扩展混音处理来生成多声道信号，而是代之以涉及包括以下步骤的渲染方法提取用于每个声道扩展混音步骤的空间信息，并通过使用所提取的空间信息执行渲染。例如，HRTF(头部相关的传递函数)滤波在该渲染方法中是可使用的。
在这种情形中，空间信息是也可应用于混合域的值。所以，可根据域将渲染分类成以下的类型。
第一类型是通过令声道缩减混音信号通过混合滤波器组来在混合域上执行渲染。在这种情形中，空间信息的域转换是不必要的。
第二类型是在时域上执行渲染。在这种情形中，第二类型利用HRTF滤波器是被建模成时域上的FIR(有限逆响应)滤波器或IIR(无限逆响应)滤波器这一事实。所以，将空间信息转换成时域的滤波器系数的过程是需要的。
第三类型是在不同的频域上执行渲染。例如，此渲染在DFT(离散傅里叶变换)域上执行。在这种情形中，将空间信息变换至相应的域中的过程是必需的。特别是，第三类型通过将时域上的滤波替换成频域上的运算来使快速运算能得以实现。
在本发明中，滤波器信息是关于处理音频信号所需的滤波器的信息，并包括提供给特定滤波器的滤波器系数。解释滤波器信息的例子如下。首先，原型滤波器信息是特定滤波器的原始滤波器信息，并可表示为GL_L等。经转换的滤波器信息指示在原型滤波器信息已被转换后的滤波器系数，并可表示为GL_L等。子渲染信息是指将原型滤波器信息空间化以生成环绕信号所得到的滤波器信息，并可表示为FL_L1等。渲染信息是指执行渲染所需的滤波器信息，并可表示为HL_L等。经内插/平滑的渲染信息是指从内插/平滑此渲染信息得到的滤波器信息，并可表示为HL-L等。在本说明书中，提到了以上的滤波器信息。然而，本发明不受滤波器信息的名称的限制。具体地，以HRTF为滤波器信息的例子。然而，本发明不限于HRTF。
渲染单元900接收经解码的声道缩减混音信号和渲染信息，然后利用经解码的声道缩减混音信号和渲染信息生成环绕信息。环绕信号可以是向仅能够生成立体声信号的音频系统提供环绕效果的信号。除了仅能够生成立体声信号的音频系统外，本发明还可应用于各种系统。
图2是根据本发明的一个实施例的音频信号的比特流的结构图，其中该比特流包括经编码的声道缩减混音信号和经编码的空间信息。
参考图2，1帧音频有效载荷包括声道缩减混音信号字段和辅助数据字段。经编码的空间信息可存储在此辅助数据字段中。例如，如果音频有效载荷是48～128kbps(千比特/秒)，则空间信息可具有5～32kbps的范围。然而，对音频有效载荷和空间信息的范围不设限制。
图3是根据本发明的一个实施例的空间信息转换单元的详细框图。
参考图3，空间信息转换单元1000包括源映射单元1010、子渲染信息生成单元1020、整合单元1030、处理单元1040、以及域转换单元1050。
源映射单元101通过利用空间信息执行源映射来生成对应于音频信号的每一个源的源映射信息。在这种情形中，源映射信息是指通过利用空间信息等来生成以使其对应于音频信号的每一个源的每源的信息。源包括声道，且在这种情形中，生成的是对应于每一声道的源映射信息。可将源映射信息表示为系数。并且，稍后将参考图4和图5详细解释源映射过程。
子渲染信息生成单元1020通过利用源映射信息和滤波器信息生成对应于每个源的子渲染信息。例如，如果渲染单元900是HRTF滤波器。则子渲染信息生成单元1020能通过利用HRTF滤波器信息生成子渲染信息。
整合单元1030通过整合子渲染信息以使其对应于声道缩减混音信号的每一个源来生成渲染信息。通过利用空间信息和滤波器信息生成的渲染信息是指通过被应用于声道缩减混音信号来生成环绕信号的信息。并且，渲染信息包括滤波器系数类型。可省略整合以减少渲染过程的运算量。随后，渲染信息被传输给处理单元1042。
处理单元1042包括内插单元1041和/或平滑单元1042。渲染信息由内插单元1041内插和/或由平滑单元1042平滑。
域转换单元1050将渲染信息的域转换至渲染单元900所使用的声道缩减混音信号的域。并且，可向包括图3中所示的位置在内的各种位置之一设置域转换单元1050。所以，如果渲染信息是在与渲染单元900相同的域上生成的，则可省略域转换单元1050。经域转换的渲染信息随后被传输给渲染单元900。
空间信息转换单元1000可包括滤波器信息转换单元1060。在图3中，滤波器信息转换单元1060被设置在空间信息转换单元100内。替换地，可将滤波器信息转换单元1060设置在空间信息转换单元100的外部。滤波器信息转换单元1060被转换成适用于从例如HRTF等的随机滤波器信息生成子渲染信息或渲染信息。滤波器信息的转换过程可包括以下步骤。
首先，包括将域匹配成可应用的步骤。如果滤波器信息的域不匹配执行渲染的域，则需要此域匹配步骤。例如，将时域HRTF转换到用于生成渲染信息的DFT、QMF或混合域的步骤是必需的。
第二，可包括系数约简步骤。在这种情形中，易于保存经域转换的HRTF并将经域转换的HRTF应用于空间信息。例如，如果原型滤波器系数具有长抽头(tap)数(长度)的响应，则在5.1声道的情形中对应的系数必须存储在与对应长度合计总共为10的响应相对应的存储空间中。这增加了存储器的负载和运算量。为了防止这一问题，可采用在域转换过程中在维持滤波器特性的同时约简要存储的滤波器系数的方法。例如，HRTF响应可被转换成少数几个参数值。在这种情形中，参数生成过程和参数值可根据应用的域而有所不同。
声道缩减混音信号在用渲染信息进行渲染之前通过域转换单元1110和/或解相关单元1200。在渲染信息的域与声道缩减混音信号的域不同的情形中，域转换单元1110转换声道缩减混音信号的域以将这两个域匹配起来。
解相关单元1200被应用于经域转换的声道缩减混音信号。与将解相关器应用于渲染信息的方法相比，这可能会具有相对较高的运算量。然而，它能够防止在生成渲染信息的过程中发生畸变。如果运算量可允许，则解相关单元1200可包括多个特性上彼此不同的解相关器。如果声道缩减混音信号是立体声信号，则可以不使用解相关单元1200。在图3中，在渲染过程中使用的是经域转换的单声道的声道缩减混音信号——即频率、混合、QMF或DFT域上单声道的声道缩减混音信号的情形中，在相应的域上使用解相关器。并且，本发明还包括在时域上使用的解相关器。在该情形中，是将域转换单元1100之前的单声道的声道缩减混音信号直接输入到解相关单元1200。第一阶或更高阶的IIR滤波器(或FIR滤波器)可作为解相关器使用。
随后，渲染单元900利用声道缩减混音信号、经解相关的声道缩减混音信号、和渲染信息生成环绕信号。如果声道缩减混音信号是立体声信号，则可以不使用经解相关的声道缩减混音信号。稍后将参考图6至9描述渲染过程的详情。
此环绕信号由域逆转换单元1300转换至时域然后被输出。如果是这样的话，用户就能够通过立体声耳机等听到具有多声道效果的声音。
图4和图5是根据本发明的一个实施例用于源映射过程的声道配置的框图。源映射过程是通过利用空间信息生成与音频信号的每一个源相对应的源映射信息的过程。如在上面描述中提及的，源包括声道，且可生成源映射信息以使之对应于图4和图5中所示的声道。源映射信息以适用于渲染过程的类型来生成。
例如，如果声道缩减混音信号是单声道信号，则能够利用诸如CLD1～CLD5、ICC1～ICC5等空间信息生成源映射信息。
可将源映射信息表示为诸如D_L(＝DL)、D_R(＝DR)、D_C(＝DC)、D_LFE(＝DLFE)、D_Ls(＝DLs)、D_R(＝DRs)等值。在这种情形中，生成源映射信息的过程可根据对应于空间信息的树状结构、要使用的空间信息的范围等而变。在本说明书中，声道缩减混音信号例如是单声道信号，它不对本发明构成限制。
从渲染单元900输出的右和左声道输出可表达为数学演算1。
数学演算1 Lo＝L*GL_L′+C*GC_L′+R*GR_L′+Ls*GLs_L′+Rs*GRs_L′ Ro＝L*GL_R′+C*GC_R′+R*GR_R′+Ls*GLs_R′+Rs*GRs_R′ 在这种情形中，算子‘*’指示DFT域上的乘积，且可被QMF或时域上的卷积所替代。
本发明包括由利用空间信息的源映射信息或由利用空间信息和滤波器信息的源映射信息生成L、C、R、Ls和Rs的方法。例如，可仅利用空间信息的CLD或利用空间信息的CLD和ICC来生成源映射信息。仅利用CLD生成源映射信息的方法解释如下。
在此树状结构具有图4所示的结构的情形中，可将仅利用CLD获得源映射信息的第一方法表达为数学演算2。
数学演算2 在这种情形中， ，且‘m’指示单声道的声道缩减混音信号。
在此树状结构具有图5中所示的结构的情形中，仅利用CLD获得源映射信息的第二方法可表达为数学演算3。
数学演算3 如果源映射信息仅利用CLD生成，则三维效果可能下降。所以能够利用ICC和/或解相关器来生成源映射信息。并且，通过利用解相关器输出信号dx(m)生成的多声道信息可表达为数学演算4。
数学演算4 在这种情形中，‘A’、‘B’和‘C’是可通过利用CLD和ICC来表示的值。‘d0’至‘d3’指示解相关器。并且，‘m’指示单声道的声道缩减混音信号。然而，该方法不可用于生成诸如D_L、D_R等源映射信息。
因此，利用关于声道缩减混音信号的CLD、ICC和/或解相关器生成源映射信息的第一方法将dx(m)(x＝0，1，2)视为独立输入。在这种情形中，‘dx’可用于根据数学演算5生成子渲染滤波器信息的过程。
数学演算5 FL_L_M＝d_L_M*GL_L′(单声道输入→左输出) FL_R_M＝d_L_M*GL_R′(单声道输入→右输出) FL_L_Dx＝d_L_Dx*GL_L′(Dx输出→左输出) FL_R_Dx＝d_L_Dx*GL_R′(Dx输出→右输出) 并且，渲染信息可利用数学演算5的结果根据数学演算6来生成。
数学演算6 HM_L＝FL_L_M+FR_L_M+FC_L_M+FLS_L_M+FRS_L_M+FLFE_L_M HM_R＝FL_R_M+FR_R_M+FC_R_M+FLS_R_M+FRS_R_M+FLFE_R_M HDx_L＝FL_L_Dx+FR_L_Dx+FC_L_Dx+FLS_L_Dx+FRS_L_Dx+FLFE_L_Dx HDx_R＝FL_R_Dx+FR_R_Dx+FC_R_Dx+FLS_R_Dx+FRS_R_Dx+FLFE_R_Dx 渲染信息生成过程的详情稍后解释。利用CLD、ICC和/或解相关器生成源映射信息的第一方法将dx输出值即‘dx(m)’作为独立输入处理，这可能增加运算量。
利用CLD、ICC和/或解相关器生成源映射信息的第二方法采用在频域上应用的解相关器。在这种情形中，可将源映射信息表达为数学演算7。
数学演算7 在这种情形中，通过在频域上应用解相关器，就可生成与应用解相关器之前相同的诸如D_L、D_R等的源映射信息。所以，它能以简单的方式实现。
利用CLD、ICC和/或解相关器生成源映射信息的第三方法采用如第二方法的解相关器那样的具有全通特性的解相关器。在这种情形中，全通特性是指大小固定仅有相位变动。并且，本发明可采用如第一方法的解相关器那样的具有全通特性的解相关器。
利用CLD、ICC和/或解相关器生成源映射信息的第四方法通过使用针对相应各声道(例如，L、R、C、Ls、Rs等)的解相关器代替使用第二方法的‘d0’至‘d3’来实行解相关。在这种情形中，可将源映射信息表达为数学演算8。
数学演算8 在这种情形中，‘k’是从CLD和ICC值确定的经解相关信号的能量值。并且‘d_L’、‘d_R’、‘d_C’、‘d_Ls’和‘d_Rs’分别指示应用于诸声道的解相关器。
利用CLD、ICC和/或解相关器生成源映射信息的第五方法通过在第四方法中将‘d_L’和‘d_R’配置成相互对称并在第四方法中将‘d_Ls’和‘d_Rs’配置成相互对称来使解相关效果最大化。具体地，假设d_R＝f(d_L)且d_Rs＝f(d_Ls)，仅需要设计‘d_L’、‘d_C’和‘d_Ls’。
利用CLD、ICC和/或解相关器生成源映射信息的第六方法是在第五方法中将‘d_L’和‘d_Ls’配置成具有相关性。且，也可将‘d_L’和‘d_C’配置成具有相关性。
利用CLD、ICC和/或解相关器生成源映射信息的第七方法是将第三方法中的解相关器用作全通滤波器的串联或嵌套结构。第七方法利用了即使将全通滤波器用作串联或嵌套结构全通特性也能维持这一事实。在将全通滤波器用作串联或嵌套结构的情形中，能够获取更多不同种类的相位响应。因此，可使解相关效果最大化。
利用CLD、ICC和/或解相关器生成源映射信息的第八方法是将相关技术的解相关器与第二方法的频域解相关器一起使用。在这种情形中，可将多声道信号表达为数学演算9。
数学演算9 在这种情形中，滤波器系数生成过程使用在第一方法中解释的相同的过程——除了将‘A’改成了‘A+Kd’。
利用CLD、ICC和/或解相关器生成源映射信息的第九方法是通过在使用相关技术的解相关器的情形中将频域解相关器应用于该相关技术的解相关器的输出来生成经进一步解相关的值。因此，能够通过克服频域解相关器的局限来以很少的运算量生成源映射信息。
利用CLD、ICC和/或解相关器生成源映射信息的第十方法表达为数学演算10。
数学演算10 在这种情形中，‘di_(m)’(i＝L，R，C，Ls，Rs)是应用于声道i的解相关器输出值。且，该输出值可在时域、频域、QMF域、混合域等上处理。如果输出值在与当前处理的域不同的域上处理的，则其可由域转换来被转换。能够对d_L、d_R、d_C、d_Ls和d_Rs使用同一个′d。在这种情形中，能以非常简单的方式表达数学演算10。
如果数学演算10被应用于数学演算1，则可将数学演算1表达为数学演算11。
数学演算11 Lo＝HM_L*m+HMD_L*d(m) Ro＝HM_R*R+HMD_R*d(m) 在这种情形中，渲染信息HM_L是从组合空间信息与滤波器信息以用输入m生成环绕信号Lo所得到的值。且渲染信息HM_R是从组合空间信息与滤波器信息以用输入m生成环绕信号Ro所得到的值。此外，‘d(m)’是通过将任意域上的解相关器输出值转为当前域上的值而生成的解相关器输出值，或是通过在当前域上处理而生成的解相关器输出值。渲染信息HMD_L是指示在渲染d(m)时向‘Lo’添加解相关器输出值d(m)的程度的值，且还是将空间信息与滤波器信息组合起来得到的值。渲染信息HMD_R是指示在渲染d(m)时向‘Ro’添加解相关器输出值d(m)的程度的值。
由此，为了对单声道的声道缩减混音信号执行渲染处理，本发明提出了一种通过向声道缩减混音信号和经解相关的声道缩减混音信号渲染藉由组合空间信息与滤波器信息(例如，HRTF滤波器系数)而生成的渲染信息来生成环绕信号的方法。此渲染过程可不拘于域地来执行。如果将‘d(m)’表达为在频域上执行的‘d*m’(乘积算子)，则可将数学演算11表达为数学演算12。
数学演算12 Lo＝HM_L*m+HMD_L*d*m＝HMoverall_L*m Ro＝HM_R*m+HMD_R*d*m＝HMoveralf_R*m 由此，在频域上对声道缩减混音信号执行渲染过程的情形中，能够以将从组合空间信息、滤波器信息和解相关器组合得到的值恰当地表示为乘积形式的方式来使运算量最小化。
图6和图7是根据本发明的一个实施例用于立体声的声道缩减混音信号的渲染单元的详细框图。
参考图6，渲染单元900包括渲染单元-A 910和渲染单元-B 920。
如果声道缩减混音信号是立体声信号，则空间信息转换单元1000生成用于声道缩减混音信号的左和右声道的渲染信息。渲染单元-A 910通过向声道缩减混音信号的左声道渲染用于该声道缩减混音信号的左声道的渲染信息来生成环绕信号。并且，渲染单元-B 920通过向声道缩减混音信号的右声道渲染用于该声道缩减混音信号的右声道的渲染信息来生成环绕信号。声道的名称仅仅是示例性的，它不对本发明构成限制。
渲染信息可包括递送给同一声道的渲染信息和递送给另一个声道的渲染信息。
例如，空间信息转换单元1000能够生成输入至用于声道缩减混音信号的左声道的渲染单元的渲染信息HL_L和HL_R，其中渲染信息HL_L被递送至对应于同一声道的左输出，而渲染信息HL_R被递送至对应于另一个声道的右输出。并且，空间信息转换单元1000能够生成输入至用于声道缩减混音信号的右声道的渲染单元的渲染信息HR_R和HR_L，其中渲染信息HR_R被递送至对应于同一声道的右输出，而渲染信息HR_L被递送至对应于另一个声道的左输出。
参考图7，渲染单元900包括渲染单元-1A 911、渲染单元-2A 912、渲染单元-1B 921以及渲染单元-2B 922。
渲染单元900接收立体声的声道缩减混音信号和来自空间信息转换单元1000的渲染信息。随后，渲染单元900通过向此立体声的声道缩减混音信号渲染此渲染信息来生成环绕信号。
具体地，渲染单元-1A 911通过利用用于声道缩减混音信号的左声道的渲染信息当中的递送至同一声道的渲染信息HL_L来执行渲染。渲染单元-2A 912通过利用用于声道缩减混音信号的左声道的渲染信息当中递送至另一个声道的渲染信息HL_R来执行渲染。渲染单元-1B 921利用用于声道缩减混音信号的右声道的渲染信息当中递送至同一声道的渲染信息HR_R来执行渲染。且渲染单元-2B 922通过利用用于声道缩减混音信号的右声道的渲染信息当中递送至另一个声道的渲染信息HR_L来执行渲染。
在以下的描述中，递送至另一个声道的渲染信息被命名为‘交叉渲染信息’。交叉渲染信息HL_R或HR_L被应用至同一声道然后由加法器加至另一个声道。在这种情形中，交叉渲染信息HL_R和/或HR_L可以是0。如果交叉渲染信息HL_R和/或HR_L是0，则意味着对相应路径没有贡献。
图6或图7中所示的环绕信号生成方法的例子解释如下。
首先，如果声道缩减混音信号是立体声信号，则定义为‘x’的声道缩减混音信号、定义为‘D’的通过利用空间信息生成的源映射信息、定义为‘G’的原型滤波器信息、定义为‘p’的多声道信号和定义为‘y’的环绕信号可由数学演算13中所示的矩阵表示。
数学演算13 在这种情形中，如果上述值是在频域上，则它们可如下展开。
首先，如数学演算14中所示，可将多声道信号p表达为通过利用空间信息生成的源映射信息D与声道缩减混音信号x之间的乘积。
数学演算14 环绕信号y如数学演算15所示可通过向多声道信号p渲染原型滤波器信息G来生成。
数学演算15 y＝G·p 在这种情形中，如果将数学演算14代入p，则可生成为数学演算16。
数学演算16 y＝GDx 在这种情形中，如果将渲染信息H定义为H＝GD，则环绕信号y和声道缩减混音信号x可具有数学演算17的关系。
数学演算17 y＝Hx 因此，在通过处理滤波器信息与源映射信息之积生成渲染信息H之后，将声道缩减混音信号x乘以渲染信息H以生成环绕信号y。
根据渲染信息H的定义，可将渲染信息H表达为数学演算18。
数学演算18 H＝GD 图8和图9是根据本发明的一个实施例用于单声道的声道缩减混音信号的渲染单元的详细框图。
参考图8，渲染单元900包括渲染单元-A 930和渲染单元-B 940。
如果声道缩减混音信号是单声道信号，则空间信息转换单元1000生成渲染信息HM_L和HM_R，其中渲染信息HM_L是在向左声道渲染此单声道信号时使用，而渲染信息HM_R是在向右声道渲染此单声道信号时使用。
渲染单元-A 930将渲染信息HM_L应用到单声道的声道缩减混音信号以生成左声道环绕信号。渲染单元-B 940将渲染信息HM_R应用到单声道的声道缩减混音信号以生成右声道环绕信号。
图中的渲染单元900不使用解相关器。然而，如果渲染单元-A 930和渲染单元-B 940分别通过利用数学演算12中定义的渲染信息Hmoverall_R和Hmoverall_L执行渲染，则能够分别获得应用了解相关器的输出。
同时，在完成对单声道的声道缩减混音信号执行的渲染后试图获得立体声信号而不是环绕信号的输出的情形中，以下两种方法是可能的。
第一种方法是使用用于立体声输出的值来代替使用用于环绕效果的渲染信息。在这种情形中，可通过仅修改图3中所示的结构中的渲染信息来获得立体声信号。
第二方法是在利用声道缩减混音信号和空间信息生成多声道信号的解码过程中，可通过将解码过程仅执行到获得特定声道数的相应步骤来获得立体声信号。
参考图9，渲染单元900对应于其中经解相关信号被表示为一个，即数学演算11的情形。渲染单元900包括渲染单元-1A 931、渲染单元-2A 932、渲染单元-1B 941、和渲染单元-2B 942。渲染单元900类似于用于立体声的声道缩减混音信号的渲染单元——除了渲染单元900包括用于经解相关信号的渲染单元941和942。
在立体声的声道缩减混音信号的情形中，可认为两声道之一是经解相关信号。所以，在不采用附加解相关器的情况下，能够通过使用先前定义的四种渲染信息HL_L、HL_R等执行渲染过程。具体地，渲染单元-1A 931通过将渲染信息HM_L应用于单声道的声道缩减混音信号来生成将被递送至同一声道的信号。渲染单元-2A 932通过将渲染信息HM_R应用于单声道的声道缩减混音信号来生成将被递送至另一声道的信号。渲染单元-1B 941通过将渲染信息HMD_R应用于经解相关信号来生成将被递送至同一声道的信号。且渲染单元-2B 942通过将渲染信息HMD_L应用于此经解相关信号来生成将递送至另一声道的信号。
如果声道缩减混音信号是单声道信号，则定义为x的声道缩减混音信号、定义为D的源声道信息、定义为G的原型滤波器信息、定义为p的多声道信号、和定义为y的环绕信号可由数学演算19中所示的矩阵表示。
数学演算19 x＝[Mi]， 在这种情形中，这些矩阵之间的关系类似于声道缩减混音信号是立体声信号的情形中的关系。所以省略其详情。
同时，参考图4和图5描述的源映射信息以及通过利用此源映射信息生成的渲染信息具有每频带、参数带、和/或传送时隙不同的值。在该情形中，如果源映射信息和/或渲染信息的值在相邻带之间或边界时隙之间具有相当大的差，则在渲染过程中可能会发生畸变。为了防止此畸变，需要频域和/或时域上的平滑过程。除了频域平滑和/或时域平滑外，也可使用适用于渲染的其它平滑方法。并且，可使用从将源映射信息或渲染信息乘以一特定增益得到的值。
图10和图11是根据本发明的一个实施例的平滑单元和扩展单元的框图。
如图10和图11所示，根据本发明的平滑方法可应用于渲染信息和/或源映射信息。然而，该平滑方法也可应用于其它类型的信息。在以下的描述中，描述了频域上的平滑。然而除了频域平滑以外，本发明也包括时域平滑。
参考图10和图11，平滑单元1042能够对渲染信息和/或源映射信息执行平滑。稍后将参考图18至图20描述平滑发生的位置的详细例子。
平滑单元1042可被配置成与扩展单元1043联用，在扩展单元中渲染信息和/或源映射信息可被扩展到比参数频带更宽的范围——例如滤波器带中。具体地，源映射信息可被扩展到与滤波器信息相对应的频率分辨率(例如，滤波器带)以便乘以此滤波器信息(例如，HRTF滤波器系数)。根据本发明的平滑是在扩展之前或与扩展一起执行的。与扩展一起使用的平滑可采用图12至16中所示的方法之一。
图12是用于解释根据本发明的一个实施例的第一平滑方法的坐标图。
参考图12，第一平滑方法采用在每个参数带中与空间信息具有相同大小的值。在这种情形中，可通过使用合适的平滑函数来实现平滑效果。
图13是用于解释根据本发明的一个实施例的第二平滑方法的坐标图。
参考图13，第二平滑方法是要通过连接参数带的代表性位置获得平滑效果。代表性位置是诸参数带中的每一个的正中心、与对数标度、Bark标度等成比例的中心位置。最低频率值、或由不同方法事先确定的位置。
图14是用于解释根据本发明的一个实施例的第三平滑方法的坐标图。
参考图14，第三平滑方法是要以平滑地连接参数的边界的曲线或直线的形式执行平滑。在这种情形中，第三平滑方法使用预设的边界平滑曲线或由一阶或更高阶的IIR滤波器或FIR滤波器所作的低通滤波。
图15是用于解释根据本发明的一个实施例的第四平滑方法的坐标图。
参考图15，第四平滑方法是通过向空间信息轮廓添加诸如随机噪声之类的信号来实现平滑效果。在这种情形中，可将在声道或频带中不同的值用作随机噪声。在频域上添加随机噪声的情形中，可在保持相位值不变的同时仅添加大小值。除了频域上的平滑效果外，第四平滑方法也可实现声道间解相关效果。
图16是用于解释根据本发明的一个实施例的第五平滑方法的坐标图。
参考图16，第五平滑方法是要使用第二至第四平滑方法的组合。例如，在已连接代表性的参数带的代表性位置之后，添加随机噪声并随后应用低通滤波。这样就可修改序列。第五平滑方法使频域上的不连续点最小化，并可增强声道间解相关效果。
在第一至第五平滑方法中，每声道的相应频域上的空间信息值(例如，CLD值)的总功率应如常数那样是均匀的。为此，在每声道地执行平滑方法之后，应执行功率归一化。例如，如果声道缩减混音信号是单声道信号，则相应各声道的电平值应满足数学演算20的关系。
数学演算20 D_L(pb)+D_R(pb)+D_C(pb)+D_Ls(pb)+D_Rs(pb)+D_Lfe(pb)＝C 在这种情形中，‘pb＝0～总参数频数1’，并且‘C’是任意常数。
图17是用于解释每声道的原型滤波器信息的图。
参考图17，为了渲染，已经通过用于左声道源的GL_L滤波器的信号被发送到左输出，而已经通过GL_R滤波器的信号被发送到右输出。
随后，通过将从相应各声道接收到的所有信号相加来生成左最终输出(例如，Lo)和右最终输出(例如，Ro)。具体地，所渲染的左/右声道输出可表达为数学演算21。
数学演算21 Lo＝L*GL_L+C*GC_L+R*GR_L+Ls*GLs_L+Rs*GRs_L Ro＝L*GL_R+C*GC_R+R*GR_R+Ls*GLs_R+Rs*GRs_R 在本发明中，所渲染的左/右声道输出可通过利用藉由利用空间信息将声道缩减混音信号解码成多声道信号而生成的L、R、C、Ls和Rs来生成。并且，本发明能够在不生成L、R、C、Ls和Rs的情况下利用渲染信息生成所渲染的左/右声道输出，其中渲染信息是通过利用空间信息和滤波器信息生成的。
参考图18至20解释利用空间信息生成渲染信息的过程如下。
图18是根据本发明的一个实施例在空间信息转换单元900中生成渲染信息的第一方法的框图。
参考图18，如在上面描述中所提及的，空间信息转换单元900包括源映射单元1010、子渲染信息生成单元1020、整合单元1030、处理单元1040、以及域转换单元1050。空间信息转换单元900具有与图3中所示相同的配置。
子渲染信息生成单元1020包括至少一个或多个子渲染信息生成单元(第1子渲染信息生成单元至第N子渲染信息生成单元)。
子渲染信息生成单元1020通过使用滤波器信息和源映射信息生成子渲染信息。
例如，如果声道缩减混音信号是单声道信号，则第一子渲染信息生成单元能够生成对应于多声道上的左声道的子渲染信息。并且，可利用源映射信息D_L和经转换的滤波器信息GL_L′和GL_R′将此子渲染信息表示为数学演算22 数学演算22 FL_L＝D_L*GL_L′ (单声道输入→至左输出声道的滤波器系数) FL_R＝D_L*GL_R′ (单声道输入→至右输出声道的滤波器系数) 在这种情形中，D_L是通过在源映射单元1010中利用空间信息生成的值。然而，生成D_L的过程可遵循树状结构。
第二子渲染信息生成单元可生成对应于多声道上的右声道的子渲染信息FR_L和FR_R。并且，第N子渲染信息生成单元能够生成对应于多声道上的右环绕声道的子渲染信息FRs_L和FRs_R。
如果声道缩减混音信号是立体声信号，则第一子渲染信息生成单元可生成对应于多声道上的左声道的子渲染信息。并且，可通过利用源映射信息D_L1和D_L2将此子渲染信息表示为数学演算23。
数学演算23 FL_L1＝D_L1*GL_L′ (左输入→至左输出声道的滤波器系数) FL_L2＝D_L2*GL_L′ (右输入→至左输出声道的滤波器系数) FL_R1＝D_L1*GL_R′ (左输入→至右输出声道的滤波器系数) PL_R2＝D_L2*GL_R′ (右输入→至右输出声道的滤波器系数) 在数学演算23中，例如，如下解释FL_R1。
首先，在FL_R1中，‘L’指示多声道的位置，‘R’指示环绕信号的输出声道，且‘1’指示声道缩减混音信号的声道。即，FL_R1指示在从声道缩减混音信号的左声道生成环绕信号的右输出声道时使用的子渲染信息。
第二，D_L1和D_L2是通过在源映射单元1010中利用空间信息生成的值。
如果声道缩减混音信号是立体声信号，则能够以与声道缩减混音信号是单声道信号的情形相同的方式从至少一个子渲染信息生成单元生成多个子渲染信息。由多个子渲染信息生成单元生成的子渲染信息的类型是示例性的，这不对本发明构成限制。
由子渲染信息生成单元1020生成的子渲染信息经由整合单元1030、处理单元1040、以及域转换单元1050传送至渲染单元900。
整合单元1030将每声道生成的子渲染信息整合成用于渲染过程的渲染信息(例如，HL_L、HL_R、HR_L、HR_R)。如下解释单声道信号情形以及立体声信号情形下整合单元1030中的整合过程。
首先，如果声道缩减混音信号是单声道信号，则渲染信息可表达为数学演算24。
数学演算24 HM_L＝FL_L+FR_L+FC_L+FLs_L+FRs_L+FLFE_L HM_R＝FL_R+FR_R+FC_R+FLs_R+FRs_R+FLFE_R 第二，如果声道缩减混音信号是立体声信号，则可将渲染信息表达为数学演算25。
数学演算25 HL_L＝FL_L1+FR_L1+FC_L1+FLs_L1+FRs_L1+FLFE_L1 HR_L＝FL_L2+FR_L2+FC_L2+FLs_L2+FRs_L2+FLFE_L2 HL_R＝FL_R1+FR_R1+FC_R1+FLs_R1+FRs_R1+FLFE_R1 HR_R＝FL_R2+FR_R2+FC_R2+FLs_R2+FRs_R2+FLFE_R2 随后，处理单元1040包括内插单元1041和/或平滑单元1042，并执行针对渲染信息的内插和/或平滑。内插和/或平滑可在时域、频域、或QMF域上执行。在本说明书中，以时域为例，这不对本发明构成限制。
如果所传送的渲染信息在时域上具有宽间隔，则执行内插以获得渲染信息之间非现存的渲染信息。例如，假设渲染信息分别存在于第n时隙和第(n+k)时隙中，则能够通过使用所生成的渲染信息(例如，HL_L、HR_L、HL_R、HR_R)在未传送的时隙上执行线性内插。
参考声道缩减混音信号是单声道信号的情形和声道缩减混音信号是立体声信号的情形解释从内插生成的渲染信息。
如果声道缩减混音信号是单声道信号，则可将内插渲染信息表达为数学演算26。
数学演算26 HM_L(n+j)＝HM_L(n)*(1-a)+HM_L(n+k)*a HM_R(n+j)＝HM_R(n)*(1-a)+HM_R(n+k)*a 如果声道缩减混音信号是立体声信号，则可将经内插的渲染信息表达为数学演算27。
数学演算27 HL_L(n+j)＝HL_L(n)*(1-a)+HL L(n+k)*a HR_L(n+j)＝HR_L(n)*(1-a)+HR_L(n+k)*a HL_R(n+j)＝HL_R(n)*(1-a)+HL_R(n+k)*a HR_R(n+j)＝HR_R(n)*(1-a)+HR_R(n+k)*a 在这种情形中，有0＜j＜k。‘j’和‘k’是整数。且，‘a’是与将表达为数学演算28的‘′0＜a＜1’相对应的实数。
数学演算28 a＝j/k 如果是这样的话，能够根据数学演算27和数学演算28获得与在连接这两个时隙中的值的直线上的未传送时隙相对应的值。稍后将参考图22和图23解释内插的详情。
在滤波器系数值在时域上的两相邻时隙之间突变的情形中，平滑单元1042执行平滑以防止由于不连续点的出现引起的畸变问题。可利用参考图12至16描述的平滑方法实行时域上的平滑。平滑可与扩展一起执行。并且，平滑可根据其所应用的位置而不同。如果声道缩减混音信号是单声道信号，则可将时域平滑表示为数学演算29。
数学演算29 HM_L(n)′＝HM_L(n)*b+HM_L(n-1)′*(1-b) HM_R(n)′＝HM_R(n)*b+HM_R(n-1)′*(1-b) 即，平滑可由按照将在前一时隙n-1中已作平滑的渲染信息HM_L(n-1)或HM_R(n-1)乘以(1-b)、将当前时隙中生成的渲染信息HM_L(n)或HM_R(n)乘以b、并将这两个乘法结果相加的方式执行的1-pol IIR滤波器类型来执行。在这种情形中，‘b’是0＜b＜1的常数。如果‘b’变小，则平滑效果变大。如果‘b’变大，则平滑效果变小。并且，可以相同的方式应用其余的滤波器。
可通过利用针对时域平滑的数学演算29将内插和平滑表示为数学演算30中所示的一个表达式。
数学演算30 HM_L(n+j)′＝(HM_L(n)*(1-a)+HM_L(n+k)*a)*b+HM_L(n+j-1)′*(1-b) HM_R(n+j)′＝(HM_R(n)*(1-a)+HM_R(n+k)*a)*b+HM_R(n+j-1)′*(1-b) 如果由内插单元1041执行了内插和/或如果由平滑单元1042执行了平滑，则可获得具有与原型渲染信息的能量值不同的能量值的渲染信息。为了防止该问题，可另外执行能量归一化。
最后，域转换单元1050对渲染信息执行针对用于执行渲染的域的域转换。如果用于执行渲染的域与渲染信息的域相同，则可不执行此域转换。之后，将经域转换的渲染信息传输到渲染单元900。
图19是根据本发明的一个实施例在空间信息转换单元中生成渲染信息的第二方法的框图。
第二方法与第一方法的类似之处在于空间信息转换单元1000包括源映射单元1010、子渲染信息生成单元1020、整合单元1030、处理单元1040、以及域转换单元1050，并在于子渲染信息生成单元1020包括至少一个子渲染信息生成单元。
参考图19，生成渲染信息的第二方法与第一方法的不同之处在于处理单元1040的位置。所以，可对在子渲染信息生成单元1020中每声道地生成的子渲染信息(例如，在单声道情形中的FL_L和FL_R或在立体声信号情形中的FL_L1、FL_L2、FL_R1、FL_R2)每声道地来执行内插和/或平滑。
随后，整合单元1030将经内插和/或平滑的子渲染信息整合成渲染信息。
将所生成的渲染信息经由域转换单元1050传输到渲染单元900。
图20是根据本发明的一个实施例在空间信息转换单元中生成渲染滤波器信息的第三方法的框图。
第三方法与第一或第二方法的类似之处在于空间信息转换单元1000包括源映射单元1010、子渲染信息生成单元1020、整合单元1030、处理单元1040、以及域转换单元1050，并在于子渲染信息生成单元1020包括至少一个子渲染信息生成单元。
参考图20，生成渲染信息的第三方法与第一或第二方法的不同之处在于处理单元1040与源映射单元1010相邻。所以，可对通过在源映射单元1010中使用空间信息生成的源映射信息每声道地来执行内插和/或平滑。
随后，子渲染信息生成单元1020通过利用经内插和/或平滑的源映射信息和滤波器信息生成子渲染信息。
子渲染信息在整合单元1030中被整合成渲染信息。并且，将所生成的渲染信息经由域转换单元1050传输至渲染单元900。
图21是用于解释根据本发明的一个实施例在渲染单元中生成环绕信号的方法的图。图21示出在DFT域上执行的渲染过程。然而，该渲染过程也可按类似方式在不同域上实现。图21示出输入信号是单声道的声道缩减混音信号的情形。然而，图21能以类似方式应用于包括立体声的声道缩减混音信号等在内的其它输入声道。
参考图21，时域上的单声道的声道缩减混音信号在域转换单元中优选地执行具有重叠区间OL的开窗。图21示出使用50％重叠的情形。然而，本发明包括使用其它重叠的情形。
用于执行开窗口的窗函数可采用藉由在时域上无不连续性地无缝连接而在DFT域上具有良好频率选择性的函数。例如，正弦平方窗函数可用作此窗函数。
随后，利用在域转换单元中进行转换的渲染信息，对具有从开窗获取的OL*2长度的单声道的声道缩减混音信号执行渲染滤波器的翼片(tab)长度[精确地，是(翼片长度)-1]的补零ZL。然后执行域转换转为DFT域。图20示出块-k声道缩减混音信号被域转换到DFT域中。
经域转换的声道缩减混音信号由使用渲染信息的渲染滤波器来渲染。可将渲染过程表示为声道缩减混音信号与渲染信息的乘积。经渲染的声道缩减混音信号在域逆转换单元中经历IDFT(离散傅立叶逆变换)，然后与先前以OL长度的延迟执行的声道缩减混音信号(图20中的块k-1)重叠以生成环绕信号。
可在经历此渲染过程的每一个块上执行内插。如下解释内插法。
图22是根据本发明的一个实施例的第一内插法的图。根据本发明的内插可在各个位置上执行。例如，内插可在图18至图20中所示的空间信息转换单元中的各个位置上执行，或可在渲染单元中执行。可将空间信息、源映射信息、滤波器信息等用作待内插的值。在本说明书中，空间信息示例性地用于描述。然而，本发明不限于空间信息。内插在扩展至更宽频带之前或与之一起执行。
参考图22，从编码装置传输的空间信息可从随机位置传输而不是在每一个时隙上传送。一个空间帧能够携带多个空间信息集(例如，图22中的参数集n和n+1)。在低比特率的情形中，一个空间帧能够携带单个新的空间信息集。所以，是使用相邻的已传送的空间信息集的值来实行对未传送时隙的内插。用于执行渲染的窗口之间的间隔并不总是与时隙匹配。所以，如图22中所示，找出在渲染窗口的中心处(K-1、K、K+1、K+2等)的内插出的值来使用。尽管图22示出在存在空间信息集的时隙之间实行线性内插，但本发明不限于该内插法。例如，在不存在空间信息集的时隙上不实性内插。而是可代之以采用先前的或预先设定的值。
图23是根据本发明的一个实施例的第二内插法的图。
参考图23，根据本发明的一个实施例的第二内插法具有将采用先前值的区间、采用预先设定的缺省值的区间等相组合的结构。例如，可通过使用维持先前值的方法、采用预先设定的缺省值的方法、以及在一个空间帧的区间里执行线性内插的方法中的至少一种来执行内插。在一个窗口中存在至少两个新的空间信息集的情形中，可能会发生畸变。在以下的描述中，解释用于防止畸变的块切换。
图24是根据本发明的一个实施例的块切换法的图。
参考图24(a)，因为窗口长度大于时隙长度，所以一个窗口区间中可能存在至少两个空间信息集(例如，图24中的参数集n和n+1)。在这种情形中，应将空间信息集中的每一个应用于不同的时隙。然而，如果应用了从内插这至少两个空间信息集得到的一个值，则可能发生畸变。即，可能发生归因于根据窗口长度的时间分辨率不足的畸变。
为了解决这一问题，可使用改变窗口大小以配合时隙分辨率的切换方法。例如，如图24(b)所示，对于要求高分辨率的区间，可将窗口大小切换成大小较短的窗口。在这种情形中，在已切换的窗口的开始部分和结束部分处，使用连接窗以防止在已切换的窗口的时域上出现接缝。
窗口长度可以不是作为单独的附加信息来传输而是代之以通过在解码装置中使用空间信息来确定。例如，窗口长度可通过利用更新空间信息的时隙的区间来确定。即，如果用于更新空间信息的区间窄，则使用长度短的窗口函数。如果用于更新空间信息的区间宽，则使用长度长的窗口函数。在这种情形中，通过在渲染中使用可变长度的窗口，有利的是不单独地使用发送窗口长度信息的比特。在图24(b)中示出了两种类型的窗口长度。然而，根据传输频率和空间信息的关系可使用具有各种长度的窗口。所决定的窗口长度信息可应用于生成环绕信号的各个步骤，这将在以下的描述中解释。
图25是根据本发明的一个实施例应用由窗口长度决定单元决定的窗口长度的位置的框图。
参考图25，窗口长度决定单元1400可通过使用空间信息来决定窗口长度。关于所决定的窗口长度的信息可应用于源映射单元1010、整合单元1030、处理单元1040、域转换单元1050和1100以及域逆转换单元1300。图25示出使用立体声的声道缩减混音信号的情形。然而，本发明不仅限于立体声的声道缩减混音信号。如上述描述中所提及的，即使窗口长度缩短，根据滤波器翼片数决定的补零长度也是不可调节的。所以，在以下的描述中解释该问题的解决方案。
图26是根据本发明的一个实施例在处理音频信号中使用的具有各种长度的滤波器的图。如在上面描述中提及的，如果根据滤波器翼片数决定的补零长度不作调节，则实质上发生合计达相应长度的覆盖，从而致使时间分辨率不足。该问题的解决方案是通过限制滤波器翼片的长度来缩短补零的长度。缩短补零长度的方法可通过截断响应的尾部(例如，对应于回响的扩散区间)来实现。在这种情形中，渲染过程可能比不截断滤波器响应的尾部的情形精确度低。然而，时域上的滤波器系数值很小，从而主要影响了回响。所以，音质没有受到截断的显著影响。
参考图26，有四种滤波器可使用。这四种滤波器可在DFT域上使用，这不对本发明构成限制。
滤波器-N指示具有长滤波器长度FL和不受滤波器翼片数限制的长补零长度2*OL的滤波器。滤波器-N2指示通过限制滤波器的翼片数而具有比滤波器-N1要短的补零长度2*LO的具有相同滤波器长度FL的滤波器。滤波器-N3指示通过不限制滤波器翼片数而具有长的补零长度2*LO的具有比滤波器-N1要短的滤波器长度FL的滤波器。并且，滤波器-N4指示通过限制滤波器的翼片数而具有比滤波器-N1要短的窗口长度FL的具有短补零长度2*LO的滤波器。
如在以上描述中提及的，可利用以上示例性的四种滤波器来解决时间分辨率的问题。并且，对于滤波器响应的尾部，可将不同的滤波器系数用于每一个域。
图27是根据本发明的一个实施例通过使用多个子滤波器来分开地处理音频信号的方法的图。可将一个滤波器分成具有相互不同的滤波器系数的子滤波器。在通过利用子滤波器处理音频信号之后，可使用将处理的结果相加的方法。在向具有小能量的滤波器响应尾部应用空间信息的情形中，即，在通过利用具有长滤波器翼片的滤波器执行渲染的情形中，该方法提供了按预定长度单位来分开地处理音频信号的功能。例如，因为滤波器的尾部对于对应于每一个声道的每HRTF没有显著变化，所以可通过提取多个窗口共有的系数来执行渲染。在本说明书中，描述了在DFT域上执行的情形。然而，本发明不限于DFT域。
参考图27，在将一个滤波器FL分成多个子区后，这多个子区可有具有相互不同的滤波器系数的多个子滤波器(滤波器-A和滤波器-B)来处理。
随后，经滤波器-A处理的输出和经滤波器-B处理的输出被组合在一起。例如，对经滤波器-A处理的输出和经滤波器-B处理的输出中的每一个执行IDFT(离散傅立叶逆转换)以生成时域信号。并且，将所生成的信号加起来。在这种情形中，加上了经滤波器-B处理的输出的位置由FL时延了比经滤波器-A处理的输出的位置要多的时间。这样，经多个子滤波器处理的信号带来了与由单个滤波器处理该信号的情形相同的效果。
并且，本发明包括直接向声道缩减混音信号渲染经滤波器-B处理的输出的方法。在这种情形中，能够通过使用从空间信息提取的系数、部分地使用空间信息、或不使用空间信息地来向声道缩减混音信号渲染此输出。
该方法的特征在于可将具有长翼片数的滤波器分开地应用，且具有小能量的滤波器尾部不利用空间信息作转换即可应用。在这种情形中，如果不应用利用空间信息的转换，则不将不同的滤波器应用于每一个作处理的窗口。所以，没有必要应用与块切换相同的方案。图26示出分成两个区的滤波器。然而，本发明可将滤波器分成多个区。
图28是根据本发明的一个实施例向单声道的声道缩减混音信号渲染由多个子滤波器生成的分割渲染信息的方法的框图。图28涉及一个渲染系数。该方法可每渲染系数地来执行。
参考图28，图27的滤波器-A信息对应于第一分割渲染信息HM_L_A，并且图27的滤波器-B信息对应于第二分割渲染信息HM_L_B。图28示出分割成两个子滤波器的实施例。然而，本发明不限于这两个子滤波器。这两个子滤波器可经由拆分单元1500利用在空间信息生成单元1000中生成的渲染信息HM_L来获得。或者，这两个子滤波器可利用原型HRTF信息或根据用户选择决定的信息来获得。根据用户选择决定的信息可包括例如根据用户爱好选择的空间信息。在这种情形中，HM_L_A是基于所接收到的空间信息的渲染信息，而HM_L_B可以是用于提供通常应用于信号的3维效果的渲染信息。
如在上面描述中提及的，利用多个子滤波器的处理不仅可应用于DFT域，还可应用于时域和QMF域。具体地，由滤波器-A和滤波器-B拆分的系数值藉由时域或QMF域渲染被应用于声道缩减混音信号，然后被相加以生成最终信号。
渲染单元900包括第一分割渲染单元950和第二分割渲染单元960。第一分割渲染单元950利用HM_L_A执行渲染过程，而第二分割渲染单元960利用HM_L_B执行渲染过程。
如果如图27所示的滤波器-A和滤波器-B是同一滤波器根据时间的拆分，则能考虑适当的延迟以对应于此时间间隔。图28示出单声道的声道缩减混音信号的例子。在使用单声道声道缩减混音信号和解相关器的情形中，对应于滤波器-B的部分不是被应用于解相关器，而是被直接应用于此单声道的声道缩减混音信号。
图29是根据本发明的一个实施例向立体声的声道缩减混音信号渲染利用多个子滤波器生成的分割渲染信息的方法的框图。
图29中所示的分割渲染过程与图28的过程的类似之处在于通过使用由空间信息转换单元1000生成的渲染信息、原型HRTF滤波器信息或用户决定信息在拆分器1500中获得两个子滤波器。与图28的差别在于对应于滤波器-B的分割渲染过程被共同地应用于L/R信号。
具体地，拆分器1500生成对应于滤波器-A的信息的第一分割渲染信息、第二分割渲染信息、和对应于滤波器-B的信息的第三分割渲染信息。在这种情形中，第三分割渲染信息可通过使用可共同应用于L/R信号的滤波器信息或空间信息来生成。
参考图29，渲染单元900包括第一分割渲染单元970、第二分割渲染单元980和第三分割渲染单元990。
所生成的第三分割渲染信息在第三分割渲染单元990中被应用于L/R信号的和信号以生成一个输出信号。将此输出信号与L/R输出信号相加，L/R输出信号是分别在第一和第二分割渲染单元970和980中由滤波器-A1和滤波器-A2独立渲染以生成环绕信号。在这种情形中，第三分割渲染单元990的输出信号可在适当延迟后进行相加。在图29中为了便于解释省略了从L/R输入向另一个声道应用交叉渲染信息的表达。
图30是根据本发明的一个实施例的声道缩减混音信号的第一域转换方法的框图。到目前为止已经描述了在DFL域上执行的渲染过程。如在上面描述中提及的，除了DFL域以外，渲染过程还可在其它域上执行。然而，图30示出在DFT域上执行的渲染过程。域转换单元1100包括QMF滤波器和DFL滤波器。域逆转换单元1300包括IDFT滤波器和IQMF滤波器。图30涉及单声道的声道缩减混音信号，这不对本发明构成限制。
参考图30，有p样本的时域声道缩减混音信号通过QMF滤波器以生成P个子带样本。每频带地再采集W个样本。在对再采集到的样本执行开窗之后执行补零。然后执行M点DFT(FFT)。在这种情形中，DFT通过上述类型的开窗实现处理。可把将由M点DFT获得的每频带的M/2个频域值连接到P个频带的值视为由M/2*P点DFT获得的频谱的适当值。所以，将在M/2*P点DFT域上表示的滤波器系数乘以此频谱以带来与DFT域上的渲染相同的效果。
在这种情形中，已通过QMF滤波器的信号具有漏泄，例如，相邻频带之间的混叠。具体地，对应于相邻频带的值渗入到当前频带，且当前频带中存在的值移到相邻的频带中。在这种情形中，如果执行QMF整合，则由于QMF特性可恢复原始信号。然而，如果滤波过程是如本发明中的情形那样在相应频带的信号上执行的，则信号由于此漏泄而发生畸变。为了使该问题最小化，可通过以下方式增加用于恢复原始信号的过程令信号在域转换单元100中的QMF之后在每频带地执行DFT之前通过漏泄最小化蝴蝶滤波器并在域逆转换单元1300中的IDFT之后执行逆过程。
同时，为了使空间信息转换单元1000中生成的渲染信息的生成过程与声道缩减混音信号的生成过程匹配，可不是在开始时执行M/2*P点DFT而是代之以对通过了QMF的信号执行DFT以获得原型滤波器信息。在这种情形中，可能会存在由QMF滤波器引起的延迟和数据扩展。
图31是根据本发明的一个实施例的声道缩减混音信号的第二域转换方法的框图。图31示出在QMF域上执行的渲染过程。
参考图31，域转换单元1100包括QMF域转换单元，并且域逆转换单元1300包括IQMF域转换单元。图31中示出的配置与仅利用DFT的情形相同——仅除域转换单元是QMF滤波器。在以下的描述中，QMF指包括具有相同带宽的QMF和混合QMF。与仅利用DFT的情形的差别在于渲染信息的生成是在QMF域上执行的，且将此渲染过程表示为卷积而不是DFT域上的乘积，因为由渲染器-M 3012执行的此渲染过程是在QMF域上执行的。
假设QMF滤波器设有B个频带，可将滤波器系数表示为对于这B个频带具有不同特性(系数)的一组滤波器系数。有时，如果滤波器翼片数变为一阶(即，乘以一个常数)，则DFT域上的具有B个频谱的渲染过程与运算过程是匹配的。数学演算31表示针对利用渲染信息HM_L执行渲染过程的一条路径的一个QMF频带(b)上执行的渲染过程。
数学演算31 在这种情形中，k指示QMF频带中的时序，即，时隙单元。在QMF域上执行的渲染过程的优势在于如果传送的空间信息是可应用于QMF域的值，则对应的数据的应用是最方便的，且可使应用期间的畸变最小化。然而，在原型滤波器信息(例如，原型滤波器系数)转换过程中的QMF域转换的情形中，应用经转换的值的过程需要相当大的运算量。在这种情形中，可通过在滤波器信息转换过程中将HRTF系数参数化的方法来使运算量最小化。
工业实用性 因此，本发明的信号处理方法和装置使用由编码器提供的空间信息以在能够生成多声道的解码装置中通过利用HRTF滤波器信息或是根据用户的滤波器信息来生成环绕信号。并且，本发明很适用于仅能再现立体声信号的各种解码器。
尽管已参考本发明的优选实施例描述并说明了本发明，但本领域内技术人员可以理解，可对本发明作出各种修改和变形而不会脱离本发明的精神或范围。因此，本发明旨在涵盖落入所附权利要求书及其等效技术方案的范围内的本发明的所有这些修改和变形。
权利要求
1.一种处理信号的方法，所述方法包括
通过使用指示多个源之间的特征的空间信息来生成与所述多个源中的每一个源对应的源映射信息；
通过使用所述源映射信息和具有环绕效果的滤波器信息来生成至少一个渲染信息；以及
通过使用所述至少一个渲染信息中的相邻渲染信息来进行内插。
2.如权利要求1所述的方法，其特征在于，所述内插是在时域、频域、或QMF域上进行的。
3.如权利要求2所述的方法，其特征在于，所述内插是在所述相邻渲染信息之间线性地进行的。
4.如权利要求3所述的方法，其特征在于，所述线性内插是通过使用所述至少一个渲染信息所存在的位置处的中心值来进行的。
5.如权利要求2所述的方法，其特征在于，所述内插是通过使用所述至少一个渲染信息所存在的特定位置之间原样的先前值、缺省值、或所述先前值和所述缺省值的组合来进行的。
6.如权利要求1所述的方法，其特征在于，还包括将所述至少一个渲染信息从在其中生成所述至少一个渲染信息的第一频带扩展到第二频带。
7.如权利要求6所述的方法，其特征在于，所述渲染信息是通过使用与所述第一频带中的渲染信息相同的值来扩展的。
8.如权利要求1所述的方法，其特征在于，还包括通过将经内插的渲染信息应用于通过对所述多个源进行声道缩减混音处理生成的声道缩减混音信号来生成环绕信号。
9.如权利要求8所述的方法，其特征在于，所述滤波器信息包括HRTF滤波器信息或根据用户的选择决定的值。
10.如权利要求9所述的方法，其特征在于，所述滤波器信息被域转换至在其中生成所述环绕信号的域。
11.如权利要求10所述的方法，其特征在于，所述滤波器信息是通过将所述HRTF滤波器信息转换成参数来生成的。
12.一种处理信号的装置，所述装置包括
源映射单元，其通过使用指示多个源之间的特征的空间信息来生成与所述多个源中的每一个源对应的源映射信息；
整合单元，其通过使用所述源映射信息和具有环绕效果的滤波器信息来生成至少一个渲染信息；以及
内插单元，其通过使用所述至少一个渲染信息中的相邻渲染信息来进行内插。
13.如权利要求12所述的装置，其特征在于，还包括渲染单元，其通过将所述渲染信息应用于通过对所述多个源进行声道缩减混音处理生成的声道缩减混音信号来生成环绕信号。
14.如权利要求13所述的装置，其特征在于，还包括滤波器信息转换单元，其将包括HRTF滤波器信息或根据用户的选择决定的值的所述滤波器信息的域转换至在其中生成所述环绕信号的域。
全文摘要
本发明公开了一种用于处理媒体信号的装置及其方法，藉之可通过使用媒体信号的空间信息来将该媒体信号转换成环绕信号。本发明提供了一种处理信号的方法，该方法包括通过使用指示多个源之间的特征的空间信息来生成与所述多个源中的每一个源对应的源映射信息；通过使用所述源映射信息和具有环绕效果的滤波器信息来生成至少一个渲染信息；以及通过使用所述至少一个渲染信息中的相邻渲染信息来进行内插。
文档编号G10L19/00GK101361116SQ200780001534
公开日2009年2月4日 申请日期2007年1月19日 优先权日2006年1月19日
发明者吴贤午, 房熙锡, 金东秀, 林宰显, 郑亮源 申请人:Lg电子株式会社