专利名称：采用混合预测码执行多描述运动补偿的方法和装置的制作方法
技术领域：
本发明总体上涉及对网络上或其它类型通信介质上传输的数据、语音、图像、视频和其它类型信号进行多描述编码(MDC)。
在当今网络上传送的大部分信息甚至会在劣化条件下使用。例子包括语音、音频、静止图像和视频。当此类信息遭受分组丢失时，因实时约束而无法进行重传。总传输速率、失真和时延方面的优越性能有时可通过在比特流中增加冗余而非重发丢失分组来实现。
可以通过多描述编码(MDC)方法在比特流中添加冗余，在MDC中，数据被分解成几个流，且这些流带有一些冗余。当收到所有流时，可以以比专为压缩而设计的系统稍高的比特率为代价来确保低失真度。另一方面，当只收到其中一些流时，重建的质量会适度下降，而对专为压缩而设计的系统而言这几乎不可能发生。不像多分辨率或分层信源编码，没有描述层次；因此多描述编码适用于不提供优先级的擦除信道或分组网络。
多描述编码可以多种方式来实现。一种方式是通过在编码器分别收集奇帧序列和偶帧序列并独立地对所得的经时间上二次抽样的序列进行编码，从而将输入视频流分解到任意的信道子集中。当解码器上收到二次抽样序列之一时，可以以一半帧速率将视频流解码。由于视频流的相关特性，仅收到一个二次抽样序列允许使用运动补偿差错消除技术来恢复中间帧。此技术的更详细描述可参见Wenger等人的“H.263+中的容错弹性(error resilience)支持”(“Error resiliencesupport in H.263+”，IEEE Transactions on Circuits and Systems for VideoTechnology，pp.867-877，November 1998)。
为了实现容错弹性，Wang和Lin所著的题为“采用多描述运动补偿的容错弹性视频编码”(“Error resilient video coding using multipledescription motion compensation”，IEEE Transactions on Circuits andSystems for Video Technology，vol.12，no.6，pp.4348-52，June 2002)的论文描述了一种用于实现多描述编码的方法。根据此方法，时间预测器允许编码器在编码时利用过去的偶帧和奇帧，因而在解码器上只收到一个描述时在编码器和解码器之间造成一种失配。为克服此问题可将这种失配误差进行显式编码。允许编码器同时将奇帧序列和偶帧序列用于预测的主要好处在于编码效率。通过改变时间滤波器的抽头，可以控制冗余量。所公开的方法在冗余量和容错弹性之间提供合理的灵活性。
Wang和Lin所提出的方法的一个缺陷是该方法局限于仅I和P帧(没有B帧)。该方法的另一个缺陷是它不允许像在H.26L中那样进行多帧预测。这些缺陷限制了MDMC的编码效率，而且还要求完全的专有实现而非采用可用的编解码器模块。
本发明提供了一种改进的多描述编码(MDC)方法和装置，这种方法和装置克服了上述缺陷。具体地说，本发明的编码方法通过允许多帧预测而扩展了多描述运动补偿(MDMC)，且不仅限于I帧和P帧。此外，本发明的编码方法将MDMC扩展用于任何常规的预测性编解码器，如MPEG2/4和H.26L。
根据本发明的第一方面，提供了一种改进的MDMC编码器，它包括三个预测性编码器，即上预测性编码器、中预测性编码器和下预测性编码器。输入帧以三个独立输入的形式提供给所述编码器。输入帧提供给中间编码器。此外，输入帧分成两个子帧流，第一子帧流只包括奇帧，而第二子帧流则只包括偶帧。由偶帧组成的第一子帧流输入上编码器进行编码，以得到编码的偶帧序列；而由奇帧组成的第二子帧流输入下编码器进行编码，以得到编码的奇帧序列。注意，其它实施例可使用不同的准则来对帧进行划分，例如可采用不均衡划分，其中，三个帧中每两个帧由上编码器编码，而每第三个帧由下编码器编码。原始的未经分割的输入帧流加到中央编码器，由其根据偶帧计算奇帧的预测。此外，中央编码器根据奇帧单独计算偶帧的预测。随后分别计算中央编码器与第一侧编码器和第二侧编码器之间的预测残余。本发明的MDMC编码器输出与偶帧预测相对应的第一计算预测残余连同上编码器的输出，以及输出与奇帧预测相对应的第二计算预测残余连同下编码器的输出。
根据本发明的第二方面，提供了一种对表示帧序列的视频信号进行编码的方法，所述方法包括将所述帧序列分成第一子序列和第二子序列，将第一子序列加到第一侧编码器，将第二子序列加到第二侧编码器，将原始的未分割帧序列加到中央编码器，计算第一侧编码器输出和中央编码器输出之间的第一预测残余，计算第二侧编码器输出和中央编码器输出之间的第二预测残余，将第一预测残余和第一侧编码器的输出合并成第一数据子流，将第二预测残余和第二侧编码器的输出合并成第二数据子流，然后分开发送第一数据子流和第二数据子流。
本发明的优点包括(1)可以将任何常规预测性编码器用作上编码器和下编码器。此外，上预测性编码器和下预测性编码器可有利地包括B帧和多预测运动补偿；(2)上预测性编码器、中间预测性编码器和下预测性编码器中的任一编码器可以是可扩展编码器(例如，首先发送运动矢量(MV))、采用时域分级(temporal scalability)等技术的类似FGS(精细分级编码)或类似数据分割的编码器)。例如，在只有中间编码器是可扩展编码器的情况中，中间编码器将只发送信道允许数量的信息。在确定可用带宽非常少的极端情况下，将只发送由侧编码器编码的信息。当其它带宽变为可用时，则将使用可扩展的中间编码器发送信道允许数量的失配信号。
(3)为了限制系统的复杂性，用于确定失配信号的根据当前偶/奇帧的奇/偶帧序列的预测可以根据B帧得到。
(4)不是像常规一样计算侧预测误差(即用于侧编码器的偶帧和奇帧之间的误差)并对其编码进行，而是还计算侧预测误差和中央误差(即当前帧和根据前两帧的预测之间的误差)之间的失配，或计算中央误差(central error)。
现参考附图，附图中的同样标号表示对应的装置
图1表示根据本发明一个实施例的MDMC编码器。
多描述编码(MDC)指一种压缩形式，其目的是将一个输入流编码成多个分开的比特流，其中，所述多个分开的比特流常常称为多个描述。这些分开的比特流均具有可彼此独立地加以解码的特性。具体地说，如果解码器收到任何一个比特流，则它可以将该比特流解码，以得到有用信号(无需访问任何其它比特流)。MDC还具有如下特性解码信号质量会随更多比特流被正确接收而改善。例如，假定采用MDC将一个视频编码成总共N个流。只要解码器收到这N个流中的任何一个流，它就可以解码得到该视频的一个有用版本。如果该解码器接收到两个流，则它可以解码得到比只收到一个流的情况有所改善的视频版本。这种质量上的改善一直持续到收到所有N个流，这时它可以重建最佳质量。
有许多种实现MDC视频编码的方法。一种方法是独立地将不同帧编码成不同的流。例如，每个视频序列帧可以只采用帧内编码如JPEG、JPEG-2000或任何只使用I帧编码的视频编码标准(如MPEG-1/2/4、H.26-1/3)编码成一个帧(独立于其它帧)。例如，所有偶帧序列可以在流1中发送，而所有奇帧序列可以在流2中发送。因为每个帧可独立于其它帧进行解码，所以每个比特流也可以独立于其它流进行解码。MDC视频编码的这种简单形式具有如上所述的特性，但因缺少帧内编码而导致压缩效率不很高。
在详细描述图1之前，先回忆有关MPEG2标准中采用的数字化图像内像素的分层结构和预测策略的一些定义。亮度和色度样本(像素)二者组成块，每块由8×8矩阵(每个块含8行像素，每行又含8个像素)构成；一定数量的亮度和色度块(如4个亮度数据块和2个对应的色度数据块)形成一个宏块；数字化的图像于是包括宏块构成的矩阵，其大小取决于所选择的类(即，取决于分辨率)和电源频率例如，在50赫兹的电源频率下，其大小可从最小18×32的宏块到最大72×120的宏块。图像又可以具有帧结构(其中顺序行的像素附属于不同场)或场结构(其中所有像素附属于同一场)。因此，宏块也可以具有帧结构或场结构。图像又组织成图像组，其中，第一图像总是I图像，其后是若干B图像(双向内插的图像，它们服从前向或后向预测或二者，“前向”指预测基于前一图像，而“后向”指预测基于未来的参考帧)，然后是P图像，P图像用于预测B图像，将在I图像之后立刻被编码。
现参考图1，一个未显示的信号源为编码器200提供一个已按编码顺序(即使参考图像可用的顺序)排列的帧序列201(即帧结构)，之后，这些帧序列可用于图像预测。完整的帧序列201由运动估计单元(未显示)接收，该估计单元用于计算正在编码的图像中每个宏块的一个或多个运动矢量及与所述或每个矢量相关联的代价或误差，并将其输出。编码器200包括第一侧编码器(侧编码器1)202、中央编码器204和第二侧编码器206。完整的帧序列201全部加到中央编码器204。完整帧序列201的第一子集210在本实施例中由完整帧序列201的偶帧子序列210子集构成，它加到第一侧编码器202。完整帧序列201的第二子集220在本实施例中由完整帧序列201的奇帧序列220子集构成，它加到第二侧编码器206。
下面概述预测编码操作。
A.第一侧编码器202包括输入序列201的子集的奇帧子序列210加到第一侧编码器202。应注意，第一侧编码器202可以有利地实现为任何常规预测性编解码器(如MPEG-1/2/4、H.26-1/3)。第一侧编码器202对奇帧子序列210进行编码，输出编码的奇帧子序列211。编码的奇帧子序列211作为要输出的分量包含在第一数据子流245中。编码的奇帧子序列211还作为输入提供给中央编码器子模块230，下面将会描述。
B.第二侧编码器206包括输入序列201的子集的偶帧子序列220加到第二侧编码器206。应注意，第二侧编码器206类似于第一侧编码器202可以有利地实现为任何常规预测性编解码器(如MPEG-1/2/4、H.26-1/3)。第二侧编码器206对偶帧子序列220进行编码，输出编码的偶帧子序列212。编码的偶帧子序列212作为要输出的分量包含在第二数据子流255中。编码的偶帧子序列212还作为输入提供给中央编码器子模块232，下面将会描述。
C.中央编码器204完整的帧序列201被加到中央编码器204上。
中央编码器子模块250计算第一组运动矢量214，而且还计算偶帧预测序列215并对其进行编码，该偶帧预测序列215由根据输入序列201的奇帧作出的偶帧预测构成。中央编码器子模块250输出偶帧预测序列215和第一运动矢量序列214，这两个序列均作为输入提供给中央编码器子模块230。
中央编码器子模块260计算第二组运动矢量216，而且还计算奇帧预测序列217并对其进行编码，该奇帧预测序列217由根据输入序列201的偶帧作出的奇帧预测构成。中央编码器子模块260输出奇帧预测序列217和第二运动矢量序列216，这两个序列均作为输入提供给中央编码器子模块232。
中央编码器子模块230执行两种功能或处理。第一种处理是对从子模块250接收的第一组运动矢量214进行编码，以输出第一组编码的运动矢量218。第二种功能或处理是计算第一预测残余221，这可以按如下方式计算第一预测残余＝ec-es(1)其中，ec＝偶帧预测帧序列215，以及
es＝编码的奇帧子序列211。
中央编码器子模块230输出包括编码的第一预测残余221连同第一组编码的运动矢量218。这些输出与编码的奇帧序列211(点A)合并，共同作为第一数据子流245输出。
类似地，按如下方式计算第二预测残余，以便包括在第二数据子流255中第二预测残余＝ec-es(2)其中，ec＝奇帧预测帧序列217，以及es＝编码的偶帧子序列212。
中央编码器子模块232输出包括编码的第二预测残余222连同第二组编码的运动矢量219。这些输出与编码的偶帧序列212(点B)合并，作为第二数据子流255输出。
以上对本发明优选实施例的描述用于示意和说明。所述优选实施例不用于穷举或将本发明限制于所公开的精确形式，根据以上教导显然可以作出许多种修改和变化。这类修改和变化对本技术领域中的技术人员而言是显而易见的，并且包括在如所附权利要求书所限定的本发明范围中。
权利要求
1.一种用于对输入帧序列(201)进行编码的编码方法，所述方法包括下列步骤a)对来自所述输入帧序列(201)的第一子帧序列(210)编码，以得到编码的第一子帧序列(211)；b)对来自所述输入帧序列(201)的第二子帧序列(220)编码，以得到编码的第二子帧序列(212)；c)由所述第二子帧序列(220)计算第一预测帧序列(215)；d)由所述第一子帧序列(210)计算第二预测帧序列(217)；e)由所述第一预测帧序列(215)计算第一组运动矢量(214)；f)由所述第二预测帧序列(217)计算第二组运动矢量(216)；g)将第一预测残余计算为所述第一预测帧序列(215)和所述编码的第一子帧序列(211)之间的误差；h)将第二预测残余计算为所述第二预测帧序列(217)和所述编码的第二子帧序列(212)之间的误差；i)对所述第一预测残余、所述第二预测残余、所述第一组运动矢量(214)和所述第二组运动矢量(216)进行编码；j)确定网络条件；k)根据所述确定的网络条件可扩展地将所述编码的第一预测残余(218)、所述编码的第一组运动矢量(221)和所述编码的第一子帧序列(211)合并成第一数据子流(245)；l)根据所述确定的网络条件可扩展地将所述编码的第二预测残余(219)、所述编码的第二组运动矢量(222)和所述编码的第二子帧序列(212)合并成第二数据子流(255)；以及m)独立地发送所述第一和第二数据子流(245，255)。
2.如权利要求1所述的方法，其特征在于所述确定的网络条件为信道带宽测定数据。
3.如权利要求1所述的方法，其特征在于包括在所述步骤(a)之前的将所述输入帧序列(201)按预定编码顺序排列的预备步骤。
4.如权利要求1所述的方法，其特征在于所述第一子帧序列(210)只包括来自所述输入帧序列(201)的奇帧。
5.如权利要求1所述的方法，其特征在于所述第二子帧序列(220)只包括来自所述输入帧序列(201)的那些偶帧。
6.如权利要求1所述的方法，其特征在于所述第二子帧序列(220)包括来自所述输入帧序列(201)而又未包括在所述第一子帧序列(210)中的那些帧。
7.如权利要求1所述的方法，其特征在于所述第一和第二子帧序列(210，220)是根据用户偏好来选择的。
8.如权利要求1所述的方法，其特征在于所述输入帧序列包括帧内帧(I)、预测帧(P)和双向帧(B)。
9.一种用于对输入帧序列(201)进行编码的编码器200，所述编码器(200)包括a)在第一侧编码器(202)中对来自所述输入帧序列(201)的第一子帧序列(210)编码；b)在第二侧编码器(206)中对来自所述输入帧序列(201)的第二子帧序列(220)编码；c)在中央编码器(204)中由所述第二子帧序列(220)计算第一预测帧序列(215)；d)在所述中央编码器(204)中由所述第一子帧序列(210)计算第二预测帧序列(217)；e)在所述中央编码器(204)中由所述第一预测帧序列(215)计算第一组运动矢量(214)；f)在所述中央编码器(204)中由所述第二预测帧序列(217)计算第二组运动矢量(216)；g)在所述中央编码器(204)中将第一预测残余计算为所述第一预测帧序列(215)和所述编码的第一子帧序列(211)之间的误差；h)在所述中央编码器(204)中将第二预测残余计算为所述第二预测帧序列(217)和所述编码的第二子帧序列(212)之间的误差；i)在所述中央编码器(204)中对所述第一预测残余、所述第二预测残余、所述第一组运动矢量(214)和所述第二组运动矢量(216)进行编码；j)确定网络条件；k)根据所述确定的网络条件可扩展地将所述编码的第一预测残余(218)、所述编码的第一组运动矢量(221)和所述编码的第一子帧序列(211)合并成第一数据子流(245)；l)根据所述确定的网络条件可扩展地将将所述编码的第二预测残余(219)、所述第二组运动矢量(222)和所述编码的第二子帧序列(212)合并成第二数据子流(255)；以及m)从所述编码器(200)独立地发送所述第一和第二数据子流(245，255)。
10.如权利要求9所述的编码器，其特征在于所述第一侧编码器(202)、所述第二侧编码器(206)和所述中央编码器(204)是常规的预测性编码器。
11.如权利要求10所述的编码器200，其特征在于所述第一侧编码器(202)、所述第二侧编码器(206)和所述中央编码器(204)是可扩展的编码器。
12.如权利要求10所述的编码器，其特征在于所述常规预测性编码器是从包括下列编码器组中选择的编码器MPEG1、MPEG2、MPEG4、MPEG7、H.261、H.262、H.263、H.263+、H.263++、H.26L和H.26L编码器。
13.如权利要求9所述的编码器，其特征在于所述编码器(200)包含在无线网络的电信发射机内。
14.一种用于对输入帧序列(201)进行编码的系统，所述系统包括用于对来自所述输入帧序列(201)的第一子帧序列(210)编码，以得到编码的第一子帧序列(211)的装置；用于对来自所述输入帧序列(201)的第二子帧序列(220)编码，以得到编码的第二子帧序列(212)的装置；用于由所述第二子帧序列(220)计算第一预测帧序列(215)的装置；用于由所述第一子帧序列(210)计算第二预测帧序列(217)的装置；用于由所述第一预测帧序列(215)计算第一组运动矢量(214)的装置；用于由所述第二预测帧序列(217)计算第二组运动矢量(216)的装置；用于将第一预测残余计算为所述第一预测帧序列(215)和所述编码的第一子帧序列(211)之间的误差的装置；用于将第二预测残余计算为所述第二预测帧序列(217)和所述编码的第二子帧序列(212)之间的误差的装置；用于对所述第一预测残余、所述第二预测残余、所述第一组运动矢量(214)和所述第二组运动矢量(216)进行编码的装置；用于确定网络条件的装置；用于根据所述确定的网络条件可扩展地将所述编码的第一预测残余(218)、所述编码的第一组运动矢量(221)和所述编码的第一子帧序列(211)合并成第一数据子流(245)的装置；用于根据所述确定的网络条件可扩展地将所述编码的第二预测残余(219)、所述编码的第二组运动矢量(222)和所述编码的第二子帧序列(212)合并成第二数据子流(255)的装置；以及用于独立地发送所述第一和第二数据子流(245，255)的装置。
15.如权利要求15所述的系统，其特征在于还包括用于按预定顺序排列所述输入帧序列(201)的装置。
全文摘要
提供了一种改进的多描述编码(MDC)方法和装置，这种方法和装置通过允许多帧预测扩展了多重描述运动补偿(MDMC)，且不仅限于I帧和P帧。此外，本发明的编码方法将MDMC扩展用于任何常规的预测性编解码器，例如MPEG2/4和H.26L。所述改进的MDC允许将任何常规的预测性编码器用作上预测性编码器和下预测性编码器。此外，所述上预测性编码器和下预测性编码器可有利地包括B帧和多重预测运动补偿。而且，上预测性编码器、中预测性编码器和下预测性编码器中任一编码器可以是可扩展编码器((例如，首先发送运动矢量(MV))、采用时域分级等技术的类似FGS(精细分级编码)或类似数据分割的编码器)。
文档编号H04N7/46GK1672421SQ03818196
公开日2005年9月21日 申请日期2003年7月24日 优先权日2002年7月31日
发明者M·范德沙尔, D·D·S·图拉加 申请人:皇家飞利浦电子股份有限公司