专利名称：对画面进行无损直流分量编码的方法和设备的制作方法
技术领域：
与本发明一致的设备和方法一般涉及一种压缩运动画面和静止画面的方法，更具体地讲，涉及一种用于对画面的直流(DC)分量进行无损压缩和解压缩的方法和设备。
背景技术：
随着比如互联网的通信技术的发展，图像、文本和语音通信正在增加。现有的基于文本的通信方法不足以满足用户的需要，因此，能够提供比如文本、画面和音乐的各种类型的信息的多媒体服务正在增加。由于多媒体数据量庞大，因此，在传输时需要大容量的存储介质和宽带宽。例如，具有640×480分辨率的24比特的真彩色图像一帧需要640×480×24比特；换句话说，大约需要7.37M比特的存储空间。当数据以每秒30帧的速率传输时，221M比特/秒的带宽是必须的。为存储90分钟的电影，需要大约1200G比特的存储容量。因此，需要压缩编码以传输多媒体数据。
压缩数据的基本原则是去除冗余数据。压缩数据可通过去除空间冗余、通过去除时间冗余或通过去除心理或视觉冗余来进行，所述空间冗余比如是图像中相同颜色或物体的重复，所述时间冗余是比如运动画面帧的邻近帧改变很小的情况或相同的声音连续重复的情况，所述心理和视觉冗余考虑人对高频变化的不敏感。可分别根据是否发生源数据的损失、是否对其他帧执行压缩以及对于压缩和解压缩是否需要相同时间而将数据压缩分为有损压缩和无损压缩、帧内压缩和帧间压缩、对称压缩和非对称压缩。另外，压缩和解压缩所需要的延迟时间不超过50ms的情况对应于实时压缩，帧分辨率改变的情况对应于可分级压缩(scalable compression)。无损压缩用于文本数据、医疗数据等，有损压缩主要用于多媒体数据。同时，帧间压缩用于去除空间冗余，帧内压缩用于去除时间冗余。
去除空间冗余最常使用的方法是离散余弦变换(下文中简称“DCT”)。所述DCT包括通过将输入图像从空间域转换到频域而产生DCT系数的处理。其后，在经过量化处理的同时，产生的DCT系数以有损方式被编码。
然而，当使用以上描述的传统的图像编码方法时，出现的问题在于由信息的损失引起了不希望的块伪象效应，所述信息损失在对有损编码的结果进行去量化的解码的处理中发生。这样众所周知的块伪象效应是指这样的一种现象，在该现象中，由于解码的图像的单元块之间微小的亮度差而使块之间的边界明显。这是一种由以块为基础执行DCT和量化处理而产生的细小地划分的块对用户可见的现象，这样的块效应发生的主要原因是因为在DCT系数经过量化和去量化的同时部分DC分量损失。块伪象效应使画面的视觉品质降低；具体地讲，使画面的主观品质降低。
为了克服这些问题，本发明提出了一种在对画面执行DCT之前执行级移的方法。然而，关于级移，题目为“Image Data DC Components-DifferrentialPulse Code Modulation System”的第162201号韩国专利也公开了一种在执行DCT之前将图像像素级统一下移128的技术。
第162201号韩国专利的操作处理简要地描述如下。首先，图像编码处理包括以8×8块为基础划分将被编码的图像并输入划分的图像的步骤、将各个块的像素级降低128(即，减去)的步骤、对块执行DCT随后执行量化的步骤、和以预定的顺序执行Z字形扫描随后执行可变长编码的步骤，从而产生比特流。
同时，与编码处理相应的解码处理包括对输入的比特流执行逆可变长编码的步骤、以扫描方式顺序地执行去量化和逆离散余弦变换(IDCT)的步骤、将IDCT产生的全部系数的级增加128(即，加上)的步骤、和排列产生的8×8块并重构图像的步骤。
尽管该专利将输入的像素级统一下移128并随后在DCT之后执行量化，从而增加了编码效率，但是问题在于由DC分量的部分损失引起了画面品质降低，所以它是有问题的，并且块伪象效应依然发生。
发明内容
因此，本发明紧记现有技术中出现的以上问题，本发明的一方面提供了一种这样的方法和设备，所述方法和设备在静止画面和/或运动画面的压缩中在执行DCT之前执行适当的级移，从而对DC分量进行无损编码和解码。
此外，本发明的另一方面提供了一种通过减小块伪象效应来改善画面的视觉品质的方法和设备。
为了实现上述方面，本发明提供了一种对运动画面和/或静止画面进行编码的方法，所述方法涉及将单个帧划分为多个块并且对这些块进行编码，包括计算构成块的像素的平均值；将所述像素的值下移所述计算的平均值；对下移的像素执行有损编码；和对有损编码的结果和计算的平均值执行无损编码。
另外，本发明提供了一种对运动画面或静止画面进行解码的方法，所述方法包括从输入的比特流提取构成帧的每个预定块的像素的值的块平均值和所述块的文本数据；对提取的文本数据执行有损解码；基于所述块平均值上移有损解码的结果；和通过结合根据上移的结果而重建的块来重建帧。
另外，本发明提供了一种对运动画面和/或静止画面进行编码的设备，所述编码涉及将单个帧划分为多个块并且对这些块进行编码，所述设备包括计算构成每个块的像素的值的平均值的单元；将所述像素的值下移所述计算的平均值的单元；对下移的像素的值执行有损编码的单元；和对有损编码的结果和计算的平均值执行无损编码的单元。
另外，本发明提供了一种用于对运动画面和/或静止画面进行解码的设备。所述设备包括从输入的比特流提取构成帧的每个预定块的像素的值的平均值和所述块的文本数据的单元；对提取的文本数据执行有损解码的单元；基于所述平均值上移有损解码的结果的单元；和通过结合作为上移的结果的已经被重建的块来重建帧的单元。
通过下面结合附图进行的详细描述，本发明的以上和其他方面、特征和优点将被更清楚地理解，其中图1是显示根据本发明示例性实施例的运动画面编码器的结构的方框图；图2是表示以块为基础划分残余帧(residual frame)示例的示图；图3是显示根据本发明示例性实施例的静止画面编码器的结构的方框图；图4是显示根据本发明示例性实施例的与图1的运动画面编码器相应的运动画面解码器的结构的方框图；
图5是显示从重建的残余块(residual block)重建残余帧的示例的方框图；图6是根据本发明示例性实施例的显示与图3的静止画面编码器相应的静止画面解码器的结构的方框图；图7A是显示输入到DCT的画面块的示例的示图；图7B是显示量化表的示例的示图；图8A到图8C是表示根据现有技术图7A的块逐步转换的处理的示图；和图9A到图9C是根据本发明示例性实施例的图7A的块逐步转换的处理的示图。
具体实施例方式
下面通过参照附图对本发明示例性实施例进行详细地描述。
结合附图，参照随后将详细描述的示例性实施例，本发明的优点和特征以及实现它们的方法将会清楚。然而，本发明并不限于下面公开的示例性实施例，而是可以以各种形式实现。本示例性实施例仅使本发明的公开更完整，并且提供它们来告知本领域的技术人员本发明的范围。本发明仅由权利要求限定。贯穿附图，相同的标号被用于指定相同或相似的部件。
图1是显示根据本发明示例性实施例的运动画面编码器100的结构的方框图。所述运动画面编码器100可包括采样单元101、块分割单元110、下移单元120、DCT单元130、量化单元140、熵编码单元150、运动估计单元180、和运动补偿单元190。此外，运动画面编码器100可还包括去量化单元160和IDCT单元170以执行闭环编码。
采样单元101对输入的运动画面执行空间采样和时间采样。空间采样指以像素为基础对运动画面(模拟信号)进行采样并产生帧，其中每一帧包括预定数目的像素；时间采样指根据预定的帧速率产生帧。通过采样单元101执行这两种采样，随后下面的任务以帧为基础执行。
运动估计单元180基于预定的参考帧执行当前帧的运动估计并获得运动矢量。块匹配算法被广泛用于运动估计。即，既定运动块的位移被估计为运动矢量，其中，在所述运动块以像素为基础在参考帧的特定搜索区域内移动时误差最小。具有固定大小的运动块可被用于执行运动估计。此外，基于分级可变大小块匹配(HVSBM)使用具有可变大小的运动块可执行所述的运动估计。运动估计单元180将作为运动估计的结果而获得的运动数据发送到熵编码单元150。所述运动数据包括一个或多个运动矢量，可还包括关于运动块大小和参考帧数目的信息。
运动补偿单元190减少输入的视频帧的时间冗余。在这种情况下，运动补偿单元190使用运动估计单元180计算出的运动矢量对参考帧执行运动补偿，从而对当前帧产生时间上预测的帧。
减法器105从当前帧减去所述时间上预测的帧，从而去除当前帧的时间冗余并产生残余帧。
块分割单元110将从减法器105输出的信号，即残余帧，划分为每个具有预定大小的多个块(残余块)。块的大小变为下面的DCT的单元，根据DCT单元每个块具有4×4像素大小或8×8像素大小。这仅为一个示例，块可根据DCT单元而有不同的大小。为便于描述，每个块具有8×8像素大小从而8×8DCT稍后被执行的情况将被描述。残余帧以块为基础被块分割单元110划分的示例如图2中所示。
当下移单元120从块分割单元110接收当前块(包括在当前帧中的块的任何一个)时，它获得构成当前块的像素的值的平均值(下文中称作“块平均值”)，并将这些像素的值下移该块平均值。即，从这些像素的每个的值减去该块平均值。
块平均值M可通过使用下面的等式1而获得。在这种情况下，N是当前块的大小(当当前块的大小是8×8时，N＝8)，Aij指当前块的像素值。
M=1N2Σi=0N-1Σj=0N-1Aij---(1)]]>其后，作为下移的结果而产生的修改的像素值Xij可使用下面的等式2来计算。
Xij＝Aij-M (2)在本发明中，当将当前块的像素值下移块平均值然后执行DCT时，作为结果而获得的DC分量为0。同时，从下移单元120获得的块平均值被传送到熵编码单元150并随后被无损失地编码。
同时，在经过DCT单元130和量化单元140的同时下移的像素值以有损的方式被编码。
更具体地讲，DCT单元130使用下面的等式3对下移的块执行DCT，从而产生DCT系数。DCT是通常用于去除空间冗余的技术，它是将输入的像素值转换为频域中的值的处理。
在等式3中，Yxy指通过执行DCT产生的系数(下文中称作“DCT系数.”)，Xij指输入到DCT单元130的修改的像素值，N指DCT转换单元。当残余帧被块分割单元110划分为每个具有8×8像素大小的块时，N＝8。
Yxy=CxCyΣi=0N-1Σj=0N-1Xijcos(2j+1)yπ2Ncos(2i+1)xπ2N;---(3)]]>其中Ck=1N(k=0)]]>和Ck=2N(k>0).]]>量化单元140对DCT系数进行量化以产生量化系数。然而，由于下移处理，DC分量将是0，从而即使将执行量化处理，也不会发生DC分量的损失。
在这种情况下，所述量化指以预定的间隔对表示为任意实数的转换系数，即DCT系数，进行划分并将该划分的系数表示为离散值的处理。尽管标量量化方法和矢量量化方法是众所周知的，但是标量量化方法作为示例被描述。
在标量量化方法中，作为量化的结果而产生的系数Qxy(下文中，称作“量化系数”)可使用下面的等式4而获得，其中，round(...)指圆整函数，Sxy指步长。所述步长基于N×N(在本示例中，指8×8)量化表来确定。由JPEG和MPEG标准提供的量化表可被用作所述量化表，但是所述量化表并不必要限于这些。
Qxy=round(YxySxy)---(4)]]>其中，x＝0，...，N-1，y＝0，...，N-1。
熵编码单元150对产生的量化系数、运动估计单元180提供的运动数据、从下移单元120传送的决平均值进行无损编码，从而产生比特流。作为无损编码方法，比如算术编码、可变长编码和哈夫曼编码的各种方法可被使用。
在为了减少在编码器和解码器之间产生的漂移误差(drifting error)而支持闭环编码的情况下，所述运动画面编码器100可还包括去量化单元160和IDCT单元170。
去量化单元160对量化单元140产生的量化的系数执行去量化(量化处理的逆处理)。此外，IDCT单元170对去量化的结果执行IDCT并向加法器115提供该结果。
所述加法器115将IDCT的结果加到从运动补偿单元190提供的前一帧(存储在没有示出的帧缓冲器中)，重构视频帧，并将重构的视频帧作为参考帧提供给运动估计单元180。
同时，本发明可被用于静止画面的编码以及运动画面的编码。图3是显示根据本发明实施例的静止画面编码器200的结构的方框图。所述静止画面编码器200可包括采样单元201、块分割单元210、下移单元220、DCT单元230、量化单元240、和熵编码单元250。
在对静止画面进行编码时，与时间冗余有关的去除的操作是不必要的。因此，运动补偿单元190和运动估计单元180是不必要的，用于闭环编码的去量化单元160和IDCT单元170也是不必要的。因此，静止画面编码器200具有比图1的结构简单的结构。由于采样单元201、块分割单元210、下移单元220、DCT单元230、量化单元240、和熵编码单元250的操作与图1中相同，所以省略其描述。
采样单元201仅对输入的静止画面执行空间采样，并且产生帧；与图1的采样单元101不同，不需要执行时间上的采样处理。此外，熵编码单元250对量化单元240产生的量化系数和从下移单元220传送的块平均值进行无损编码，但是由于运动数据不存在，熵编码单元250不对运动数据进行编码。
图4是显示根据本发明示例性实施例的与图1的运动画面编码器相应的运动画面解码器300的结构的方框图。所述运动画面解码器300可包括熵解码单元310、去量化单元320、IDCT单元330、上移单元340、块重建单元350和运动补偿单元360。
熵解码单元310与熵编码方式相反执行无损解码，并对各个块提取运动数据、块平均值和文本数据。文本数据被提供到去量化单元320，运动数据被提供到运动补偿单元360，块平均值被提供到上移单元340。
同时，在经过去量化单元320和IDCT单元330的同时提取的文本数据以有损的方式被解码。
更具体地讲，去量化单元320对从熵解码单元310传送的文本数据进行去量化。根据本发明，DC分量是0，并且即使在去量化处理中也不改变，从而DC分量的损失不会发生。
去量化处理使用与运动画面编码器100中的量化表相同的量化表。作为去量化的结果产生的系数Y’xy可使用下面的等式5来计算。等式5中计算的Y’xy不同于Yxy。这是因为使用圆整函数的有损编码已在等式4中被使用。
Yxy′＝Qxy×Sxy(5)IDCT单元330对去量化的结果执行IDCT。所述IDCT结果X’xy可通过例如下面的等式6来计算。
Xij′=Σx=0N-1Σy=0N-1CxCyYxy′cos(2j+1)yπ2Ncos(2i+1)xπ2N---(6)]]>上移单元340将IDCT的结果上移从熵解码单元310提供的块平均值。上移结果A’ij可使用下面的等式7来计算，其中，A’ij指重建的残余块的各个像素值。
Aij′＝Xij′+M (6)块重建单元350根据等式7通过将重建的残余块结合来重建残余帧。在运动画面编码器100中如图2中所示划分块的情况下，块重建单元350根据所述分割从重建的残余块(B1’到B12’)重建残余帧的示例如图5中所示。
运动补偿单元360使用从熵解码单元310提供的运动数据从预先重建的视频帧产生运动补偿帧。此后，相加单元305将块重建单元350重建的残余帧加到从运动补偿单元360提供的运动补偿帧，以便运动画面被重建。运动补偿单元360和相加单元305中的操作仅应用于当前帧通过运动画面编码单元100的时间预测处理而被编码的情况。
图6是显示根据本发明示例性实施例的与图3的静止画面编码器相应的静止画面解码器的结构的方框图。所述静止画面解码器400可包括熵解码单元410、去量化单元420、IDCT单元430、上移单元440和块重建单元450。在静止画面解码器400中，因为与时间冗余相关的操作是不必要的，并且也没有使用运动数据，所以不使用运动补偿单元360和相加单元305。图6的结构与图4的结构相同，其描述已被省略。
图1、图3、图4和图6的各个部件可指比如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的软件和硬件。所述部件可被构造为存在于可寻址的存储介质中，或者被构造以再现一个或多个处理。在所述部件内提供的功能可由多个再分的部件实现，或者所述部件的集合体可实现为单个执行特定功能的部件。
韩国第162201号专利和本发明之间的比较可通过特定的示例(下面所述)来进行。为此，假定存在具有如图7A所示的像素值Aij的块(块平均值M＝76.5)，使用如图7B中所示的量化表。
图8A到8C表示在预先假设的条件下根据现有技术逐步转换的块的分量。当图7A中所示的块中的值被下移-128随后被转换时，结果在图8A中显示。位于左上角的分量指示DC值为-412。此后，使用等式4和图7B中所示的量化表对图8A中显示的DCT系数进行量化，结果在图8B中显示。此后，当使用等式5和所述量化表对图8B的值进行去量化时，结果显示在图8C中。在这种情况下，在所述去量化块中的DC值是-400，从而，存在误差12(相对于-412)。当图8C中所示的值被IDCT转换并且计算平均值时，获得平均值78.0。因此，相对于原来的块平均值存在大约1.5的误差。
图9A到图9C是表示在相同的如上描述的假设的情况下根据本发明示例性实施例逐步转换的块的分量的示图。显示在图7A中的块中的值被下移块平均值76.5并随后通过DCT转换。结果在图9A中显示，在图9A中可看到所述DC分量是0。此后，当使用等式4和图7B中所示的量化表来对图9A中所示的DCT系数进行量化时，结果在图9B中显示。相反，当图9B中的值使用所示的量化表通过等式5被去量化时，结果在图9C中显示。如上所述，按照本发明，即使在执行量化和去量化处理时，所述DC值也不变。这是因为当数“0”与任何值相乘或被任何值除时，数“0”不变。当图9C中所示的去量化结果被IDCT转换并被上移块平均值时，所得到的块平均值与原来的块的平均值76.5相同。
从本发明的上述特征，当在编码器和解码器中执行某些处理时，每一块的DC值和平均值保持不变。
按照本发明，当图像被解码时，DC分量被无损地重建，从而改善了图像的视觉品质。
此外，按照本发明，可减小DCT和量化处理的块伪象效应。
尽管本发明的示例性实施例已经为说明目的被公开，但是本领域的技术人员应该认识到在不脱离本发明的技术精神或其实质特性的情况下，本发明可以以各种形式实现。因此，应该理解，上述示例性实施例是解释性而非限制性的。
权利要求
1.一种对运动画面和静止画面中的至少一个进行编码的方法，所述方法涉及将单个帧划分为多个块并且对这些块进行编码，包括(a)计算构成所述块的每个的像素的值的平均值；(b)将所述像素的值下移所述计算的平均值；(c)对下移的像素的值执行有损编码；和(d)对有损编码的结果和计算的平均值执行无损编码。
2.如权利要求1所述的方法，其中，所述对下移的像素值执行有损编码的步骤包括(c1)对包括具有下移的值的像素的块执行DCT；和(c2)对DCT结果进行量化。
3.如权利要求1所述的方法，其中，所述块的每个具有8×8像素大小。
4.如权利要求1所述的方法，其中，所述帧是时间冗余已被去除的残余帧。
5.如权利要求1所述的方法，其中，所述无损编码是可变长编码、算术编码和哈夫曼编码之一。
6.一种对运动画面和静止画面中的至少一个进行解码的方法，所述方法包括(a)从输入的比特流中提取构成帧的每个预定块的像素的值的块平均值和所述块的文本数据；(b)对提取的文本数据执行有损解码；(c)基于所述块平均值上移有损解码的结果；和(d)通过结合已经根据上移的结果而重建的块来重建帧。
7.如权利要求6所述的方法，其中，所述对提取的文本数据执行有损解码的步骤包括(b1)对提取的文本数据进行去量化；和(b2)对去量化的结果执行IDCT。
8.如权利要求6所述的方法，其中，所述预定的块是残余块，并且所述重建的帧是残余帧。
9.如权利要求8所述的方法，还包括(e)从输入的比特流中提取运动数据；(f)使用提取的运动数据从预先重建的帧产生运动补偿帧；和(g)将所述重建的帧和所述运动补偿帧相加。
10.一种对运动画面和静止画面中的至少一个进行编码的设备，所述编码涉及将单个帧划分为多个块并且对这些块进行编码，所述设备包括计算构成所述块的每个的像素的值的平均值的单元；将所述像素的值下移所述计算的平均值的单元；对下移的像素的值执行有损编码的单元；和对有损编码的结果和计算的平均值执行无损编码的单元。
11.如权利要求10所述的设备，其中，所述执行有损编码的单元包括对包括具有下移的值的像素的块执行DCT的单元；和对DCT结果进行量化的单元。
12.如权利要求10所述的设备，其中，所述块的每个具有8×8像素大小。
13.如权利要求10所述的设备，其中，所述帧是时间冗余已被去除的残余帧。
14.如权利要求10所述的设备，其中，所述无损编码是可变长编码、算术编码和哈夫曼编码之一。
15.一种对运动画面和静止画面中的至少一个进行解码的设备，所述设备包括从输入的比特流中提取构成帧的每个预定块的像素的值的平均值和所述块的文本数据的单元；对提取的文本数据执行有损解码的单元；基于所述平均值上移有损解码的结果的单元；和通过结合作为上移的结果的已经被重建的块来重建帧的单元。
16.如权利要求15所述的设备，其中，所述执行有损解码的单元包括对提取的文本数据进行去量化的单元；和对去量化的结果执行IDCT的单元。
17.如权利要求15所述的设备，其中，所述预定的块是残余块，并且所述重建的帧是残余帧。
18.如权利要求17所述的设备，还包括从输入的比特流提取运动数据的单元；使用提取的运动数据从预先重建的帧产生运动补偿帧的单元；和将所述重建的帧和所述运动补偿帧相加的单元。
19.一种实现权利要求1中阐述的计算机可记录程序的记录介质。
全文摘要
一种对运动画面或静止画面进行编码的方法被公开于此，所述方法涉及将单个帧划分为多个块并对这些块进行编码。所述方法包括计算构成所述块的像素的平均值；将所述像素下移所述计算的平均值；对下移的像素值执行有损编码；以及对有损编码的结果和计算的平均值执行无损编码。
文档编号H04N7/50GK1809169SQ20051013462
公开日2006年7月26日 申请日期2005年12月13日 优先权日2005年1月19日
发明者安省昱, 洪政奭 申请人:三星电子株式会社