专利名称：基于子波分解的视频编码方法
技术领域：
本发明涉及一种应用于被细分成帧的组(GOF)的视频序列的并基于在线处理的编码方法，包括以下步骤-初始化步骤，用于规定其进行编码处理所需的输入参数；-运动估算/补偿步骤，用于进行在连续的成对帧之间的运动估算和补偿；-时空分解步骤，用于进行三维的(3D)子波分解，其中在利用在初始化步骤中规定的加权常数的所谓的提升方案(lifting schemeitself)中使用双正交滤波器组；-编码步骤，用于利用适用于3D分解的编码方法编码这样获得的变换系数。
背景技术：
在视频压缩方法中，主要通过两类方法实现暂时冗余度的减小。在第一种方法，即所谓的“混合”或预测方法中，根据先前传输的帧计算当前帧的预测，并且只有预测误差被内部编码并被传输。在第二种方法中，暂时冗余度借助于时间变换被使用，其是一种3D(或2D+t)方法，其类似于用于除去冗余的空间技术。按照所述后一种方法，帧的序列作为3D容积被处理，并且通过使用可分离的变换(例如，借助于滤波器组执行的子波或子波包变换)在图像编码中通常使用的标准的子带分解因而可被扩展为3D时空数据。显然，在3D结构中，具有各向异性，不过其可以通过沿时间和空间方向使用不同的滤波器组加以考虑(通常，使用Haar滤波器进行时间滤波，这是因为使用较长的滤波器产生的附加延迟是不希望的；此外，它们是两个抽头的滤波器，并且是没有边界效应的唯一的完好的重构正交滤波器。)这种3D编码方法的编码效率可以通过在每个时间分解级在低的时间子带中进行运动估算/补偿来改善。3D子带分解被应用于帧的被补偿组(帧的这个组必须含有帧的二进制的幂，通常是16)，并且，在最后的时间分解级，在最低的时间子带中具有两个帧。在时间子带的每个帧中，进行空间分解。
子带编码数据的三维结构可以作为空间子带编码技术的扩展来实现。一种用于图像压缩的最有效的基于子波的方法基于2D SPIHT算法，在A.Said和W.A.Pearlman的文章“A new，fast，and efficientimage codec based on set partitioning in hierarchicaltrees(＝SPIHT)”，IEEE Transactions on Circuits and Systems forVideo Technology，vol.6，June 1996，pp.243-250中描述了，并且最近又扩展到3D结构。在这种3D编码技术中的基本构思如下相应于同一位置的时空树被在子波域内形成，此时在这些树中的子波变换系数被分成由在其幅值的位平面表示中的最高有效位的级限定的组，并且最后，最高的其余的位平面被编码，并传输所得到的位。
原始的SPIHT算法基于正交分解的假设，按照这种假设，重构误差等于作为子带畸变之和测量的量化误差(这就是能够根据每个子带的能量分配位积聚的原因)。还已经表明，利用正交滤波器不会得到在图像和视频编码中的最好的结果，但是双正交滤波器能够得到(这是由于这样的事实，双正交滤波器的对称性在和其原始波相同的空间位置产生子波系数)。不过，双正交滤波器不保留量化误差的L2范数，为进行正交变换而推断的位的重新分配不应当导致最小的重构误差。
此外，双正交滤波器被确定等于一个乘法常数，因此，当利用唯一的完美的重构条件时，可以设计无穷大的滤波器组。如果使用滤波器组的提升实施，则已知多相矩阵总能被分解成系数P(z)=Πi=1m1Si(z)0110ti(z)1K001/K,]]>其中ti和si是劳伦多项式，K是实常数。在这种情况下，相应于合成部分的双多相矩阵被给出如下P~(z)=Πl=1m10-si(z-1)11-ti(z-1)011/K00K]]>对于所有的K，都能确保完好的重构，因为P(z)P~(z-1)t=I]]>
这种分解通过
图1和图2所示的双重方法来实现。因此，相应于不同的系数化和常数K的不同的值，具有无穷个实现。从编码的观点看来，这些滤波器组不都是等效的。用于选择这个乘法常数的一个常用的准则是使多相矩阵的行列式等于1，但是这种选择对于编码性能可能不是最好的(这就是大多数常用算法基于接近正交的双正交变换的原因)。
发明概述因此，本发明的目的在于提供一种用于改善视频编码方法的高度非正交的子波变换的可应用性的技术，该技术基于3D子波分解和自动的位分配机理。
为此，本发明涉及一种例如在本说明书的引言部分中所限定的编码方法，并且，此外，其特征在于，所述方法还包括由离线计算构成的离线处理，所述离线处理包括以下子步骤-除去加权常数之外，确定相同类型的输入参数用于这些离线计算；-执行随机的GOF产生子步骤，产生的GOF含有适用于原始序列的表示的平均和标准偏差的白的、高斯噪声；-根据所述提升方法并使用没有任何加权常数的相同的滤波器组，执行3D子波分解；-计算由所述3D分解得到的时空子带的标准偏差；-由噪声的标准偏差除所述标准偏差，在所述除法子步骤的输出可以得到最佳的加权常数，并发送给所述滤波器组，以便能够加权时空子带的输出。
根据子带中的能量的重新分配，这样确定用于3D分解中的双正交滤波器的最佳加权。基于松弛(relaxation)算法的一些复杂的方法已经在用于选择图像编码的框架中的这些常数的文献中使用过，例如在IEEE Transactions on Image Processing，vol.4，n°9，September1995，pp.1269-1281，P.Moulin的文章“A multiscale relaxationalgorithm for SNR maximization in non-orthogonal subbandcoding”中所述的方法。还具有使用人类视觉系统，以便使重构误差在主观上更能够接受的技术，例如在IEEE Transactions onInformation Theory，vol.38，n°2，March 1992，pp.897-904，P.Desarte等人的文章“Signal-adapted moltiresolutiontransform for image coding”中所述的技术。不过，所有这些现有的算法都针对图像编码，而本发明提出的方法-一种把先前的方法向3D子波分解的情况的扩展-专门用于视频编码。这种方法可用于任何类型的线性滤波器，尤其可用于运动补偿的时间滤波器的框架中。
附图详细说明下面以举例方式参照附图详细说明本发明，其中图1是基于3D子波分解，后面是SPIHT状的编码算法的整体视频编码方法；图2给出所述整体视频编码方法，按照本发明，其包括优化滤波器组的步骤，其本身被分成为计算用于3D空间时间分解的最佳的加权常数而执行的相继的操作。
本发明的详细说明一种常规的基于3D子波分解，后面是SPIHT状的编码算法的视频编码方法如图1所示。包括连续的帧F(1)，F(2)，…，F(n)的原始视频序列被细分成具有和在压缩时使用的大小相同的帧组(GOF)，其中含有高斯白噪声(随机变量无关，按正态分布率同一地分布)。在初始化步骤11(INIT)规定输入参数(GOF帧的数量，子波类型，次最佳加权)，这种编码方法还包括相继的运动估算/补偿步骤12(MECP)，3D时空分解步骤13(STDE)，其中使用具有次最佳常数的滤波器组，以及SPIHT状的编码步骤14(SENC)，在其输出可以得到编码的位流(ENCB)。
按照本发明端面的整体视频编码方法，如图2所示，其中包括和步11到步14类似的步骤21，22，23，24，以下述方式被修正相对于按照图1的相继的步骤进行的在线计算ONLC，引入离线计算，以便优化在3D时空分解步骤中使用的加权系数的计算操作。这个分解步骤，现在标号为23，使用利用最佳常数加权的滤波器组。下面说明这些出现在图2的左部分中的模块230中的离线计算OFLC。
首先，如图1所示的方法那样，在定义子步骤231(INIT)期间，规定输入参数(GOF帧数，子波类型，…)，接着进行随机GOF产生子步骤232(GOFG)。关于高斯白噪声，因为原始图像用8位表示(即利用由0到255范围内的值)，选择了平均偏差为128，标准偏差为32的高斯分布。因此，每个帧内部的值满足下式F(m，n)＝(32×N(m，n))+128其中N(m，n)是平均偏差为0和标准偏差为单位1的高斯白噪声。这个条件确保几乎所有产生的值都在间隔(0，255)内，系数的输入值位于在此间隔内(不过，可以注意到，所述分布的平均偏差和标准偏差的精确的值并不重要，只要满足几乎系数的整个的动态范围被包括在一般的置信区间内这个条件即可)。
然后进行子波分解子步骤233(WAVD)，其中例如使用在BillLaboratories technical report，Lucent Technologies，1996，I.Daubechies和W.Sweldens的文章“Factoring wavelettransforms into lifting steps”所述的提升方案(liftingscheme)。随机产生的GOF利用没有任何加权常数(K＝1)的滤波器来分解。然后，子步骤234(STDC)允许计算所得的时空子带的标准偏差，这些标准偏差被32除，以便在除法子步骤235(DIV)的输出获得被发送给分解步骤23的最佳的加权(的确，由相应于子带的标准偏差除每个子带中的系数导致每个子带的一个标准单位标准偏差，这意味着在每个子带中的能量等于所述的标准单位，如同在标准正交分解的情况那样)。
这最佳的能量重新分配最后在编码步骤24中允许在和由标准正交分解隐含的相同的假设下使用SPIHT算法系数按逐个位平面发送，并且重构误差等于量化误差。对于给定的滤波器组，这导致最大的编码增益。
由上可见，为了计算加权系数，本技术已经被应用于原始的随机GOF，而不进行运动估算和补偿。一旦得到这些常数，便对运动补偿的GOF进行时空分解。这种技术被这样的事实证明是合适的，即时间分解在运动的方向上必须是正交的。的确，通过在运动补偿之后进行时间滤波，只有属于同一个轨迹的点被滤除。
权利要求
1.一种应用于被细分成帧的组(GOF)的视频序列的并基于在线处理的编码方法，包括以下步骤-初始化步骤，用于规定其进行编码处理所需的输入参数；-运动估算/补偿步骤，用于在连续的成对帧之间进行运动估算和补偿；-时空分解步骤，用于进行三维的(3D)子波分解，其中在利用在初始化步骤中规定的加权常数的所谓的自举方案中使用双正交滤波器组；-编码步骤，用于编码这样获得的变换系数，所述方法的特征在于，其还包括由包括以下子步骤的离线计算构成的离线处理-除去加权常数之外，确定相同类型的输入参数，用于这个离线处理；-执行随机的GOF产生子步骤，产生的GOF含有适用于原始序列的表示的平均和标准偏差的白的、高斯噪声；-根据所述提升方案并使用没有任何加权常数的相同的滤波器组，执行3D子波分解；-计算由所述3D分解得到的时空子带的标准偏差；-由噪声的标准偏差除所述标准偏差，在所述除法子步骤的输出可以得到最佳的加权常数，并发送给所述滤波器组，以便能够加权时空子带的输出。
2.按照权利要求1所述的编码方法，其中所述编码方法是所谓的SPIHT算法。
3.如权利要求1和2任何一个所述的编码方法，其中对于以8位表示的具有从0到255的原始的视频序列，使用等于128的平均偏差和等于32的标准偏差用于亮度分量，使用等于128的平均偏差和等于20的标准偏差用于色度分量。
全文摘要
本发明涉及一种用于编码被细分为帧的组的视频序列的方法。所述方法包括在线处理，其中进行三维子波分解，所述子波分解在使用最佳的加权常数的提升方案中涉及双正交滤波器组。这些常数被确定是由于附加的离线处理，其中进行类似的分解，但是没有任何加权常数。
文档编号H04N7/30GK1393110SQ01802967
公开日2003年1月22日 申请日期2001年7月23日 优先权日2000年8月8日
发明者B·佩斯奎特－珀佩斯库 申请人:皇家菲利浦电子有限公司