专利名称：支持闭环最优化的可分级视频编码方法和设备的制作方法
技术领域：
本发明涉及一种视频编码方法，更具体地讲，涉及一种通过降低由对支持时间可分级的可分级视频编码的量化引起的输入到编码器中的原始帧和解码器重构的帧之间的积累误差来改善从解码器输出的图像的质量的方法和设备。
背景技术：
随着包括互联网的信息通信技术的发展，视频通信以及文本和语音通信显著增加。传统文本通信不能够满足用户的各种需要，因此增加了可提供诸如文本、画面和音乐的各种类型信息的多媒体服务。由于通常多媒体数据的量大，所以多媒体数据需要大容量的存储媒体和宽的传输带宽。因此，对于传输包括文本、视频和音频的多媒体数据，压缩编码方法是必需的。
数据压缩的基本原理在于去除数据冗余。可通过去除在图像中相同颜色或对象被重复的空间冗余、在运动图像中相邻帧之间存在小的改变或在音频中相同声音被重复的时间冗余、或考虑人的视力范围和对高频的感觉不敏感的心理视觉冗余来压缩数据。
大多数视频编码标准是基于运动补偿/估计编码的。通过使用基于运动补偿的时间滤波来去除时间冗余，通过使用空间变换来去除空间冗余。
需要传输介质来传输在去除数据冗余之后生成的多媒体。传输性能根据传输介质而不同。当前使用的传输介质具有各种传输率。例如，超高速通信网络每秒可传输几十兆比特的数据，而移动通信网络具有每秒384千比特的传输率。
为了支持具有各种速度的传输介质或为了以适合于传输环境的速率来传输多媒体，具有可分级性的数据编码方法可适合于多媒体环境。
可分级性是指使解码器或预解码器能够根据诸如比特率、误差率和系统资源的条件来对单个压缩的比特流进行部分解码的特性。解码器或预解码器可仅仅通过使用根据具有可分级性的方法编码的比特流的一部分来重构具有不同的画面质量、分辨率或帧率的多媒体序列。
在运动图像专家组-21(MPEG-21)第13部分中，正在将可分级视频编码标准化。对于这种标准化，基于小波的空间变换方法被认为是最强的候选者。
图1是常用的可分级视频编码系统的示意图。编码器100和解码器300可分别被认为是视频压缩器和视频解压缩器。
编码器100对输入视频/图像10编码，从而生成比特流20。
预解码器200可通过根据诸如比特率、分辨率或帧率的提取条件并符合解码器300的通信环境或解码器300的机械性能不同地截取从编码器100接收的比特流20来提取不同的比特流25。
解码器300从提取的比特流25重构输出视频/图像30。可由解码器300来代替预解码器200或者由预解码器200和解码器300二者来执行根据提取条件进行比特流的提取。
图2显示传统可分级视频编码器的构造。参照图2，传统可分级视频编码器100包括缓冲器110、运动估计单元120、时间滤波单元130、空间变换器140、量化器150、熵编码单元160。在整个说明书，Fn和Fn-1表示当前图像组(GOP)中的第n原始帧和第n-1原始帧，Fn’和Fn-1’表示在当前GOP中第n重构帧和第n-1重构帧。
首先，输入视频被分成几个GOP，每一GOP都作为单位被独立地编码。运动估计单元120通过使用存储在缓冲器110中的同一GOP中的第n-1帧Fn-1作为参考帧对相同GOP中的第n帧Fn执行运动估计以确定运动矢量。然后将第n帧Fn存储在缓冲器110中用于下一帧的运动估计。
时间滤波单元130通过使用确定的运动矢量来去除相邻帧之间的时间冗余，并生成时间残余。
空间变换器140对所述时间残余执行空间变换，并生成变换系数。例如，空间变换是指离散余弦变换(DCT)或小波变换。
量化器150对小波系数执行量化。
熵编码单元160将量化的小波系数和由运动估计单元120确定的运动矢量转换成比特流。
预解码器200(如图1所示)根据提取条件截取比特流的一部分，并将提取的比特流发送到解码器300(如图1所示)。解码器300执行与编码器100相反的操作，并通过参考前一重构的第n-1帧Fn-1’来重构当前第n帧。
支持时间可分级性的传统视频编码器100具有开环结构以实现信噪比(SNR)的可分级性。
通常，在视频编码期间当前视频帧用作下一帧的参考帧。而在开环编码器100中，前一原始帧Fn-1用作当前帧的参考帧，在解码器300中，具有量化误差的前一重构视频帧Fn-1’用作当前帧的参考帧。因此，在相同GOP中，误差随着帧的数量的增加而增加。积累误差引起重构图像的偏移。
由于执行了编码处理以确定原始帧之间的残余并将所述残余量化，所以通过方程(1)来定义原始帧FnFn＝Dn+Fn-1...(1)其中，Dn是原始帧Fn和Fn-1之间的残余，Dn’是量化的残余。由于通过使用量化的残余Dn’和前一重构帧Fn-1’来执行解码处理以获得当前重构帧Fn’，所以通过方程(2)来定义当前重构帧Fn’Fn’＝Dn’+Fn-1’...(2)原始帧Fn和原始帧Fn经过编码和解码后的帧Fn’之间，即关于方程(1)的右边的两项和方程(2)的相应项之间存在差。在视频压缩量化和解码的期间不可避免地方程(1)右边的第一项Dn和方程(2)右边的第一项Dn’之间出现差。然而，由于编码器参考的帧和解码器参考的帧之间的差，所以会出现第二项Fn-1和Fn-1’之间的差，并且所述差随着处理的帧的数量增加而积累从而引起误差。
当对下一帧执行编码处理和解码处理时，通过方程(3)和方程(4)来定义下一原始帧Fn+1和下一重构帧Fn+1’Fn+1＝Dn+1+Fn...(3)Fn+1’＝Dn+1’+Fn’...(4)如果分别将方程(1)和方程(2)代入方程(3)和方程(4)，则获得方程(5)和方程(6)Fn+1＝Dn+1+Dn+Fn-1...(5)Fn+1’＝Dn+1’+Dn’+Fn-1’ ...(6)因此，包含Dn+1和Dn+1’之间的差的下一帧中误差Fn+1-Fn+1’包括从当前帧传送的Dn和Dn’之间的差、由量化引起的不可避免的Dn+1和Dn+1’之间差、以及由于使用不同的参考帧导致的Fn-1和Fn-1’之间的差。在不参考其他帧而被独立地编码的帧出现之前，继续积累误差。
发明内容
技术问题用于可分级视频编码的时间滤波技术的代表性示例包括运动补偿时间滤波(MCTF)、无约束运动补偿时间滤波(UMCTF)和连续时间近似和参考(STAR，successive temporal approximation and referencing)。在第US2003/0202599号美国公布申请中描述了UMCTF技术的细节，在标题为‘用于改善低的端对端延迟可分级视频编码中的MCTF的连续时间近似和参考(STAR)(SuccessiveTemporal Approximation and Referencing(STAR)for improving MCTF in LowEnd-to-end Delay Scalable Video Coding)’的文章(ISO/IEC JTC 1/SC 29/WG 11，MPEG 2003/M10308，Hawaii，USA，Dec 2003)中描述了STAR技术的示例。
由于这些方法以开环方式执行运动估计和时间滤波，所以这些方法存在参照图2所描述的问题。然而，至今仍没有提出实际的解决方案。
技术方案本发明提供了一种闭环滤波方法，用于改善由量化引起的编码器侧的原始图像和解码器侧的重构图像之间的积累误差所导致图像质量恶化。
根据本发明的一方面，提供了一种可分级视频编码器，所述可分级视频编码器包括运动估计单元，通过使用存储在缓冲器中的先前重构帧之一作为参考帧来对当前帧执行运动估计和确定运动矢量；时间滤波单元，通过使用所述运动矢量从当前帧中去除时间冗余；量化器，将已去除时间冗余的当前帧量化；和闭环滤波单元，对量化的系数执行解码以创建重构帧，并提供所述重构帧作为后面运动估计的参考。
根据本发明的另一方面，提供了一种可分级视频编码方法，所述可分级视频编码方法包括通过使用在缓冲器中存储的先前重构帧作为参考帧对当前帧执行运动估计并确定运动矢量；通过使用所述运动矢量从当前帧去除时间冗余；将已去除时间冗余的当前帧量化；对量化的系数执行解码以创建重构帧并提供所述重构帧作为后面运动估计的参考。
通过参照附图对本发明示例性实施例的详细描述，本发明的上述和其他特征和优点将变得更加清楚，其中
图1是常用的可分级视频编码系统的示意图的总体配置；图2显示传统可分级视频编码器的构造；图3显示根据本发明实施例的闭环可分级视频编码器的构造；体4是根据本发明实施例的在可分级视频编码中使用的预解码器的示意图；图5是根据本发明实施例的可分级视频解码器的示意图；图6示出当使用预解码器时由传统开环编码和根据本发明的闭环编码引起的误差之间的差；图7是示出根据本发明实施例的编码器的操作的流程图；图8和图9示出根据本发明实施例的无约束运动补偿时间滤波(UMCTF)和连续时间近似和参考(STAR)中的关键概念；图10是比较根据本发明的闭环编码和传统开环编码之间的性能的信噪比(SNR)相对于比特率的曲线图；和图11是根据本发明实施例的执行编码方法的系统的示意图。
具体实施例方式
现在将参照显示了本发明优选实施例的附图来更完全地描述本发明和实现本发明的方法的优点、特征以及实现所述优点、特征的方法。然而，本发明可以以不同的形式被实施，应该理解不限于在此阐述的实施例；相反，提供了这些实施例以便本公开是彻底的和完整的，这些实施例将本发明的构思完全地传达给本领域的技术人员。在附图中，在不同的附图中相同的标号表示相同的部件。
为了改进开环编码中的问题，本发明的重要特征在于量化的变换系数被进行熵编码，同时在解码端被解码以创建重构帧，重构帧被用作对后序帧进行运动估计和时间滤波的参考。这是为了通过提供与解码端中相同的环境来去除积累误差。
图3显示根据本发明实施例的闭环可分级视频编码器的构造。参照图3，闭环可分级视频编码器400包括运动估计单元420、时间滤波单元430、空间变换器440、量化器450、熵编码单元460和闭环滤波单元470。首先，输入视频被分成几个图像组(GOP)，每一GOP都作为单位被编码。
运动估计单元420通过使用当前GOP中的第n-1帧Fn-1’作为参考来对相同GOP中的第n帧Fn执行运动估计，所述第n-1帧Fn-1’是通过闭环滤波单元470重构并被存储在缓冲器410中的帧。运动估计单元420还确定运动矢量。可通过使用分等级可变大小的块匹配(HVSBM，hierarchical variable size blockmatching)来执行运动估计。
时间滤波单元430通过使用运动估计单元420确定的运动矢量的值将GOP中的帧分解成在时间轴方向上的高频帧和低频帧，并去除时间冗余。例如，帧的平均可被定义为低频分量，两帧之间的差的一半可被定义为高频分量。按GOP为单位分解帧。可以不用运动矢量而通过将两帧中相同位置的像素进行比较来将帧分解成高频帧和低频帧。然而，使用运动矢量的方法比不使用运动矢量的方法在减少时间冗余方面更有效。
换句话讲，当第一帧的一部分被移动到第二帧中时，运动的量可由运动矢量来表示。将所述第一帧的该部分与和所述第一帧的一部分处于相同位置的第二帧的一部分移动了运动矢量所移动到的部分比较，即，补偿了时间运动。其后，第一帧和第二帧被分解成低频帧和高频帧。
其后，低频帧可被定义为原始输入帧或受相邻帧(时间上的前帧和后帧)的信息影响的更新帧。
时间滤波单元430以分等级顺序重复地分解低频帧和高频帧以支持时间可分级性。
对于分等级时间滤波，可以使用运动补偿时间滤波(MCTF)、无约束运动补偿时间滤波(UMCTF)或连续时间近似和参考(STAR)。
空间变换器440从被时间滤波单元430去除了时间冗余的帧去除空间冗余，并创建变换系数。空间变换方法可包括离散余弦变换(DCT)或小波变换。使用DCT的空间变换器440可创建DCT系数，使用小波变换的空间变换器440可创建小波系数。
回头参照图3，量化器450对空间变换器440获得的变换系数执行量化。量化表示以下过程用离散值表示以任意实数值形成的变换系数，并根据预定的量化表将所述离散值与索引相匹配。
具体地讲，如果变换系数是小波系数，则量化器450可使用嵌入式量化方法。
可使用嵌入式零树小波(EZW)算法、分等级树集合分裂(SPIHT，Setpartitioning in Hierarchical Trees)或嵌入式零块编码(EZBC)来执行嵌入式量化。
所述量化算法使用根据分级空间时间树所表现的相关性，因此实现了较高的压缩效率。以树的形式来表示像素之间的空间关系。可通过使用树的根节点为0、树的子节点具有很大的可能性为0时的事实来执行有效的编码。在与L带中的像素中具有关联的像素被扫描的同时，所述算法被执行。
熵编码单元460将量化器450量化的变换系数、运动估计单元420生成的运动矢量信息、以及头信息转换成适于传输或存储的压缩的比特流。编码方法的示例包括预测编码方法、可变长编码方法(如典型的哈夫曼编码)和算术编码。
还可将量化器450量化的变换系数输入到本发明提出的闭环滤波单元470。
闭环滤波单元470对量化的变换系数执行解码以创建重构帧，并提供重构帧作为后面运动估计的参考帧。闭环滤波单元470包括逆量化器471、逆空间变换器472、逆时间滤波单元473和环内滤波单元474。
逆量化器471对从量化器450接收的变换系数解码。即，逆量化器471执行与量化器450相反的操作。
逆空间变换器472执行与空间变换器440相反的操作。即，对从逆量化器471接收的变换系数进行逆变换，并重构为空间域中的帧。如果变换系数是小波系数，则对小波系数进行逆小波变换以创建时间残余帧。
逆时间滤波单元473通过使用运动估计单元420确定的运动矢量和逆空间变换器472创建的时间残余帧执行与时间滤波单元430相反的操作，并创建重构帧，即被解码并被识别为特定图像的帧。
然后诸如去块滤波器或去环滤波器的环内滤波单元474对重构帧进行后处理以改善图像质量。在这种情况下，在后处理期间创建最终的重构帧Fn’。当闭环编码器400不包括环内滤波器474时，逆时间滤波单元473创建的重构帧是最终的重构帧Fn’。
当闭环编码器400包括环内滤波单元474时，缓冲器410存储环内滤波单元474创建的重构帧Fn’，然后提供该重构帧Fn’作为用于对未来帧执行运动估计的参考帧。
尽管在图3中显示了将帧用作对紧随其后的帧的运动估计的参考帧，但是本发明并不限于此。相反，应该注意，根据选择的运动估计方法或时间滤波方法，在时间上随后的帧可用作对紧在其之前的帧的预测的参考，或者连续帧之一可用作对另一帧的预测的参考。
本发明的特征在于编码器400的结构。预解码器200或解码器300可使用传统的可分级视频编码算法。
参照图4，预解码器200包括提取条件确定器210和比特流提取器220。
提取条件确定器210确定从编码器400接收的比特流将被截取的提取条件，。提取条件指的是用于指示图像质量的比特率、确定图像的显示大小的分辨率、和确定每秒可显示多少帧的帧率。可分级视频编码通过截取根据这些条件编码的比特流的一部分来提供在比特流、分辨率和帧率方面的可分级性。
比特流提取单元220根据确定的提取条件截取从编码器400接收的比特流的一部分，并提取新的比特流。
当根据比特率提取比特流时，以递减的顺序截取量化器450量化的变换系数以达到分配的比特数。当根据分辨率提供比特流时，可截取用于表示适当的子带图像的变换系数。当根据帧率提取比特流时，可只截取在时间级上所需要的帧。
图5是可分级视频解码器300的示意图。参照图5，所述可分级视频解码器300包括熵解码单元310、逆量化器320、逆空间变换器330和逆时间滤波单元340。
熵解码单元310执行与熵编码器460相反的操作，并从输入比特流30或25中获得运动矢量和纹理数据(texture data)。
逆量化器320对纹理数据进行逆量化，并重构变换系数。逆量化表示重构与编码器100中创建的索引匹配的变换系数的过程。索引与变换系数之间的匹配关系可被编码器100发送或在编码器100和解码器300之间预定义。逆空间变换器472、逆空间变换器330接收创建的变换系数以输出时间残余帧。
逆时间滤波单元340通过参考前一重构帧Fn-1’并使用从熵解码单元310接收的运动矢量和时间残余帧而输出最终重构帧Fn’，并将最终重构帧Fn’存储在缓冲器350中作为预测后面的帧的参考。
尽管在图3、4和5中显示和描述了编码器400、预解码器200和解码器300都为单独装置，但是本领域的技术人员可容易地认识到编码器400和解码器300中的一个和/或另一个可包括预解码器200。
现在将描述当应用本发明时降低原始帧和如方程(1)-(6)所描述的重构的帧之间的误差。为了和方程(1)-(6)所述的误差相比较，假定预解码器200不执行提取步骤。
首先，Dn是原始帧Fn和前一重构帧Fn-1’之间的残余，Dn’是量化的残余，通过方程(7)来定义原始帧FnFn＝Dn+Fn-1’...(7)由于执行了解码处理以通过使用量化的残余Dn’和前一重构帧Fn-1’来获得当前重构帧Fn’，所以通过方程(8)来定义Fn’Fn’＝Dn’+Fn-1’...(8)原始帧Fn(方程7)和经过对原始帧Fn编码和解码的帧Fn’(方程8)之间仅在第一项Dn和Dn’之间存在差。在视频压缩量化和解码期间不可避免地出现方程(1)和方程(2)的右边的第一项Dn和Dn’之间的差。与原始视频编码相反，在方程(7)和方程(8)的右边的第二项之间不存在差。
当对下一帧执行编码和解码处理时，分别通过方程(9)和(10)来定义原始下一原始帧Fn+1和下一重构帧Fn+1’Fn+1＝Dn+1+Fn’ ...(9)Fn+1’＝Dn+1’+Fn’ ...(10)将方程(8)代入方程(9)和(10)，则获得方程(11)和(12)Fn+1＝Dn+1+Dn’+Fn-1’ ...(11)Fn+1’＝Dn+1’+Dn’+Fn-1’ ...(12)比较方程(11)和(12)，下一帧中误差Fn+1-Fn+1’仅包含Dn+1和Dn+1’之间的差。因此，随着处理的帧的数量增加，误差不积累。
尽管用假定由解码器300对编码的比特流直接解码的方程(7)-(12)描述了误差，但是当编码的比特流的一部分被预解码器200截取并随后被解码器300解码时可出现不同数量的误差。
参照图6，方面传统开环可分级视频编码(SVC)方案遭受在原始帧50被编码(准确地讲，是被量化)以产生编码的帧60时出现的误差E1(用方程(1)和(6)描述)和在截取编码的帧60以产生预解码的帧70时出现的误差E2。
相反地，根据本发明的SVC仅遭受在预解码期间出现的误差E2。
因此，本发明比传统方法的优点在于不管是否使用预解码器都降低原始帧和重构帧之间的误差。
图7是示出根据本发明的编码器400的操作的流程图。
参照图7，在操作S810，通过使用前一重构帧第n-1帧Fn-1’作为参考帧对当前帧第n帧Fn执行运动估计以确定运动矢量。在操作S820，通过使用运动矢量来执行时间滤波以去除相邻帧之间的时间冗余。
在操作S830，执行空间变换以从已去除时间冗余的帧中去除空间冗余，并创建变换系数。在操作S840，对变换系数执行量化。
在操作S841，将经过量化的变换系数、运动矢量信息和头信息熵编码成压缩的比特流。
在操作S842，确定是否对所有的GOP都执行了上述操作S810-S840。如果是(操作S842中的是)，则上述处理结束。如果否(操作S842中的否)，则在操作S850中对量化的变换系数执行闭环滤波(即，解码)以创建重构帧并提供所述重构帧作为后面运动估计处理的参考。
现在将更详细地描述闭环滤波处理，即，操作S850。在操作S851，对输入的经过量化的变换系数执行逆量化以生成量化之前的变换系数。
在操作S852，对生成的变换系数进行逆变换以生成空间域中的重构帧。在操作S853，使用由运动估计单元420确定的运动矢量和空间域中的帧来创建重构帧。
为了执行环内滤波，在操作S854，对重构帧执行诸如去块或去环的后处理以创建最终的重构帧Fn’。
在操作S860，将最终重构帧Fn’存储在缓冲器中，并提供其作为用于对后面帧的运动估计的参考。
尽管已参照图7显示和示出了帧用作对紧随其后的帧的运动估计的参考，但是根据选择的运动估计或时间滤波方法，在时间上随后的帧可用作对紧在其之前的帧的预测的参考，或者连续帧之一可用作对另一帧的预测的参考。
本发明的闭环滤波的优点在于滤波方案(其不使用更新处理，并使得帧内帧不变化)，例如图8示出的无约束运动补偿时间滤波(UMCTF)和图9示出的连续时间近似和参考(STAR)。帧内帧指的是不参考其他帧而被独立编码的帧。至于利用更新处理的MCTF方案，闭环滤波没有那些不使用更新处理的方案有效。
图10是比较根据本发明的闭环编码和传统开环编码之间的性能的信噪比(SNR)相对于比特率的曲线图。根据曲线图明显的是，当使用传统开环SVC时在原始帧50中出现了由预解码器分级的图像的偏移，而当应用本发明时在编码帧60中也出现了所述偏移，因此减轻了这种偏移问题。尽管在低比特率处本发明中优化之后的SNR与传统开环SVC中的SNR类似，但是在较高比特率处本发明中优化之后的SNR增加。
图11是根据本发明实施例的执行编码方法的系统的示意图。所述系统可以是TV、机顶盒、膝上电脑、掌上电脑、个人数字助理(PDA)、视频/图像存储装置(例如，盒式磁带录像机(VCR))、或数码录像机(DVR)。所述系统还可以是所述装置的组合或包含所述装置的设备。所述系统可包括至少一个视频源510、至少一个输入/输出(I/O)装置520、处理器540、存储器550和显示装置530。
视频源510可为TV接收器、VCR或其他视频存储装置。视频/图像源510可指示至少一个网络连接，所述网络连接用于通过使用互联网、广域网(WAN)、局域网(LAN)、地面广播系统、有线网络、卫星通信网络、无线网络、电话网络等从服务器接收视频或图像。另外，视频/图像源510可以是所述网络的组合或一个包括所述网络中的另一网络的一部分的网络。
I/O装置520、处理器540、存储器550通过通信媒介560互相通信。通信媒介560可以是通信总线、通信网络或至少一个内部连接电路。从视频/图像源510接收的输入视频/图像数据可被处理器540通过使用存储在存储器550中的至少一个软件程序处理，并可被处理器540处理以生成提供给显示单元530的输出视频/图像。
具体地讲，在存储器550中存储的所述至少一个软件程序包括执行根据本发明的编码方法的基于小波的可分级编解码器。所述编解码器可被存储在存储器550中、从诸如CD-ROM或软盘的存储介质读取、或通过各种网络从服务器下载。所述编解码器可被根据所述软件程序的硬件电路、软件和硬件电路的组合代替。
产业上的可利用性本发明在可分级视频编码中使用了闭环优化算法，从而在减轻了图像偏移问题的同时降低了由量化引起的积累误差。
本发明还在闭环中使用后处理滤波器，例如，去块滤波器或去环滤波器，从而改善了图像质量。
尽管已参照本发明的示例性实施例具体显示并描述了本发明，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其进行形式和细节的各种改变。因此，应该理解，提供的上述实施例仅为了描述的目的，不应该理解成对本发明的范围所设置的任何限制。
权利要求
1.一种可分级视频编码器，包括运动估计单元，i)通过使用存储在缓冲器中的先前重构帧之一作为参考帧来对当前帧执行运动估计，和ii)确定运动矢量；时间滤波单元，以支持时间可分级性的分等级结构，通过使用所述运动矢量从当前帧中去除时间冗余；量化器，将已去除时间冗余的当前帧量化；和闭环滤波单元，对量化的系数执行解码以创建重构帧，并提供所述重构帧作为后面运动估计的参考。
2.如权利要求1所述的可分级视频编码器，还包括空间变换器，用于在量化之前从已去除时间冗余的当前帧中去除空间冗余。
3.如权利要求2所述的可分级视频编码器，其中，使用小波变换来去除空间冗余。
4.如权利要求1所述的可分级视频编码器，还包括熵编码单元，用于将i)量化器量化的系数、ii)运动估计单元确定的运动矢量、和iii)头信息转换成压缩的比特流。
5.如权利要求2所述的可分级视频编码器，其中，闭环滤波单元包括逆量化器，接收量化器量化的系数，并执行逆量化；逆空间变换器，将经过逆量化的用于重构的系数变换成空间域的帧；和逆时间滤波单元，i)通过使用运动估计单元确定的运动矢量和逆空间变换器创建的时间残余帧执行与时间滤波单元相反的操作，和ii)创建重构帧。
6.如权利要求5所述的可分级视频编码器，其中，闭环滤波单元还包括环内滤波器，用于对重构帧执行后处理以改善图像质量。
7.一种可分级视频编码方法，包括通过使用在缓冲器中存储的先前重构帧作为参考帧对当前帧执行运动估计；确定运动矢量；通过使用所述运动矢量从当前帧去除时间冗余；将已去除时间冗余的当前帧量化；对量化的系数执行解码以创建重构帧；和提供所述重构帧作为后面运动估计的参考。
8.如权利要求7所述的可分级视频编码方法，还包括在量化之前，从已去除时间冗余的当前帧中去除空间冗余。
9.如权利要求8所述的可分级视频编码方法，其中，使用小波变换来去除空间冗余。
10.如权利要求7所述的可分级视频编码方法，还包括将i)量化的系数、ii)确定的运动矢量、和iii)头信息转换成压缩的比特流。
11.如权利要求7所述的可分级视频编码方法，其中，执行解码的步骤包括接收量化的系数，并执行逆量化；将经过逆量化用于重构的系数变换成空间域的帧；和通过使用运动矢量和时间残余帧创建重构帧。
12.如权利要求11所述的可分级视频编码方法，其中，执行解码的步骤还包括对重构帧执行后处理以改善图像质量。
13.一种记录有计算机可读程序的记录介质，所述程序使计算机执行权利要求7所述的方法。
14.一种记录有计算机可读程序的记录介质，所述程序使计算机执行权利要求13所述的方法，所述方法还包括在量化之前，从已去除时间冗余的当前帧中去除空间冗余。
15.一种记录有计算机可读程序的记录介质，所述程序使计算机执行权利要求13所述的方法，其中，使用小波变换来去除空间冗余。
16.一种记录有计算机可读程序的记录介质，所述程序使计算机执行权利要求13所述的方法，所述方法还包括将i)量化的系数、ii)确定的运动矢量、和iii)头信息转换成压缩的比特流。
17.一种记录有计算机可读程序的记录介质，所述程序使计算机执行权利要求13所述的方法，其中，执行解码的步骤包括接收量化的系数，并执行逆量化；将经过逆量化用于重构的系数变换成空间域的帧；和通过使用运动矢量和时间残余帧创建重构帧。
18.一种记录有计算机可读程序的记录介质，所述程序使计算机执行权利要求13所述的方法，其中，执行解码的步骤还包括对重构帧执行后处理以改善图像质量。
全文摘要
提供了一种通过降低由支持时间可分级的可分级视频编码的量化引起的编码器侧的原始帧和解码器侧的重构帧之间的积累误差来改善从解码器输出的图像的质量的方法和设备。可分级视频编码器包括运动估计单元，通过使用存储在缓冲器中的先前重构帧之一作为参考帧来对当前帧执行运动估计和确定运动矢量；时间滤波单元，通过使用所述运动矢量从当前帧中去除时间冗余；量化器，将已去除时间冗余的当前帧量化；和闭环滤波单元，对量化的系数执行解码以创建重构帧，并提供所述重构帧作为后面运动估计的参考。在可分级视频编码中可使用闭环优化算法，从而在减轻图像偏移问题的同时降低由量化引起的积累误差。
文档编号H04N7/12GK1906944SQ200480040475
公开日2007年1月31日 申请日期2004年12月20日 优先权日2004年1月16日
发明者金修铉, 韩宇镇 申请人:三星电子株式会社