专利名称：对图像进行编码的方法及实现所述方法的装置的制作方法
技术领域：
本发明涉及对图像进行编码的方法。更精确地其涉及对所述图4象进4于量化的方法。本发明还涉及实现所述方法的编码装置。
背景技术：
为了对图^象进行编码，通常需要减少空间冗余。为了实现该目
标，在典型的图像编码方法中，将图像分成非重叠的多个NxN像素块，然后每个像素块都被变换成系数变换块。这些编码方法对各图像像素进行解相关(decorrelate ),以更有效地减少变换域中的冗余。在该方面，变换的能量压缩特性是重要的。在常用的各种变换中，离散余弦变换(DCT)由于其优良的能量压缩特性而被广泛应用。变换块利用增加的空间频率来表示一组系数。变换块的上左(O,0)位置中的系数称作DC系数，其表示NxN块的平均值。其他的(A^-"个系数称作AC系数，它们表示高频细节。才艮据不同的应用，维凄史NxN可以是16x16、 8x8、或4x4。为了减少对图4象编石马所需的比特数，典型的图像编码方法都利用量化步骤对各变换块的系数进行量化。量化是减少可能的数量值的数目的处理，从而减少表示其所需的比特数。量化步骤的选择对保证高质量的解码图像是决定性的。
发明内容
本发明的目的在于提供一种用于对图像进行量化的解决方案。为了实现该目的，本发明涉及一种将分成多个非重叠宏块的图
像编码成二进制流的方法，其中，非重叠宏块本身被分成NxN像素的多个非重叠块。该方法包括以下步骤
将每个块都变换成系数变换块，系数变换块包括一个低频系数和N2-1个称作高频系凄t的系凄t,该高频具有高于该4氐频的频率；
利用量化参数对每个变换块的每个系数进行量化；
将所量化的系凄丈编码成二进制流。
根据本发明，利用称作第一量化参数的同一量化参数对这些变换块的低频系数进行量化。这有利地使得保证整个图像上的连续基本质量成为可能。
有利地，利用称作第二量化参数的同 一量化参数对同 一宏块的这些高频系数进行量化。
优选地，第二量化参凄t作为第 一量化参凄t和增量的和进4亍计算，其中，增量基于为宏块计算的视知觉兴趣值(visual perceptualinterest value )来确定。
根据本发明的第 一方面，视知觉兴趣值取决于宏块的平均亮度值。
才艮据一个变体，—见知觉兴趣值还取决于宏块的每个块的方差。根据另一个变体，视知觉兴趣值还取决于宏块的色度信息。本发明还涉及一种用于将被分成多个非重叠宏块的图像编码
成二进制流的装置，其中，非重叠宏块本身被分成NxN像素的多个非重叠块。该装置包括
变换装置，用于将每个块都变换成系数变换块，该系数变换块包括一个低频系数和N2-1个称作高频系数的系数，该高频具有高于该低频的频率；
量化装置，用于利用量化参数对每个变换块的每个系数进行量
化；
编码装置，用于将所量化的系凄t编码成二进制流。
根据本发明，量化装置利用称作第 一量化参数的同 一量化参数对这些变换块的低频系数进行量化。
根据本发明的一个方面，变换装置是DCT变换单元。
本发明的其他特征和优点将通过下面其一些实施例的描述而变得显而易见，结合附图进行了描述，附图中
图l示出了才艮据本发明第一实施例的方法的流程图2示出了4艮据本发明第一实施例的方法的量化步骤的详细流程图3示出了根据本发明第一实施例的方法的特征提取步骤的详细流程图；图4示出了对于图像中的多个区域，使用不同灰度级的这些区域的视知觉兴趣等级；
图5示出了根据本发明第二实施例的方法的流程图6示出了根据本发明第一实施例的编码装置；以及
图7示出了^4居本发明第二实施例的编码装置。
具体实施例方式
图1至图3以及图5中，所表示的框是纯粹的功能实体，它们不必对应于物理上独立的实体。即，它们可以以软件的形式进行开发，或在一个或多个集成电路中实现。在这些附图上，相似的元件才示以相同的才示号。
本发明涉及一种对图像进行编码的方法。该图像由多个像素组成并^L分成非重叠的多个宏块M,，其中，各宏块本身也净皮分成多个像素块bp，q,其中，l是宏块的索引(index), (p,q)是该块的坐标，
即，块bp,q位于块的第P列、第q行。在许多应用中,块bp,q都是8
像素x8像素的块，且一个宏块由4个块bp,q组成。然而，本发明并不限于这种情况，而是无论块bp,q的大小和宏块MB i的大小如何都可以4吏用本发明。
下面参照图1、图2和图3来描述该方法的第一实施例。该方法包括步骤10,用于将图像的每个块bp,q都变换成系数的变换块
Bp，q。如果bp,q位于宏块M,中，则变换块Bp,q位于以MB!表示的相应的变换宏块中。例如，每个块bp,q利用根据下式的离散余弦变换
(DCT)变换成变换块B。。<formula>formula see original document page 8</formula>
其中，-m,v-0，1，…，N — i;
画、力',A:)是坐标为(j,k)的块bp,q的像素的亮度值(或
色度值)；
-5p^,力是坐标为(u，v)的变换块Bp，q的系数值；以及<formula>formula see original document page 8</formula>
在步骤20，每个变换块Bp,q的每个系数Bp，q(U，V)被利用量化参数QPp，q(U,V)量化成量化系数BQp，q(U，V)。根据本发明的第一方面，图
像中的所有DC系凄t都在210中^皮利用相同的量化参凄t QPf进^f亍量
化，即，VQ7,W, QPp,q(O,O) = QPf。这使得保证整个图像上的连续基
本质量成为可能。该量化参lt QPf例如是由速率控制方法(诸如众所周知的来自ISO/IECJTC/SC29/WG11的于1993年4月登载的标题为"Test Model 5"的文献N0400中为MPEG2描述的TM5速率控制方法)确定的。根据本发明的另一个方面，在220中采用同一量化参凝:es对位于同 一宏块MB,中的所有块Bp，q的所有AC系凄t进4亍
量化，该量化参数2S可以等于也可以不等于QPf。根据具体特性，用于对所有这些AC系数进行量化的量化参数等于2尸/=2户/+厶2尸/,其中，Agi^根据宏块MB,的感知兴趣来确定。在这种情况中，对于MB,中的所有AC系数，都有QPp,q(u，v) = 2尸,2尸,+Ae《。才艮据第一实施例，A^^W卜QPstep，其中，QP鄉例如设置为2。在步骤30中，通过在340中结合分别乂人步艰《310、 320和330计算出三个不同的特征F,1、 W和F/来计算权重Wlt>与图像中的每个宏块1V^都相关的第一特征^采用其在集合{0,1}中的值。如果巧,广l,则宏块M,属于皮肤区，例如，人脸，否则，即^=0，则该块不属于皮肤区。为了在310中计算该特征，需要冲企测肤色。为了实现该目的，如果在图像中有皮肤区的话，就使用诸如由D. Cai和K.N.Ngan于1999年在IEEE transactions on CSVT上发表6勺题为"Face segmentation usingskin color map in videophone applications"的文献中提出的分色(color segmentation)方法来4企测图l象中的皮月夫区。该特4^吏4寻对从视觉角度看对人眼重要的皮肤区进行更精细地量化是可能的。与图像中的每个宏块M,都相关的第二特征巧2采用其在集合{0,1}中的
值。如果,,2=1，则宏块M!是平坦区，否则就不是。为了实现该目的，位于宏块M,中的每个块bp，q中的变量vk用于如下计算值"",
其中，Vk是位于宏块中的第k个块的方差(variance )。如果a",小于预定阈值THT,则宏块M,是平坦区，即，《2 = 1，否则^2 = 0。在大多数应用中将THT设置为8。该特征使得更精细地对平坦区(即低细节区)进行量化是可能的。事实上，这种平坦区中的一见觉缺陷会更加干扰人眼。与图像中的每个宏块M,都相关的第三特征^采用其在集合{0,1}中的值。为了在330中计算F,3,将宏块M!上的平均
亮度水平分别与可被二没置为23和1952的两个阈值THL和THH进行比较。如下得到称作等级(level)的值
0, ifOS/,a<7m
1, if 77/￡幺/w附a《77///
2, if77///</,"255
^口果level=0或2,贝'J F/= 0， ^口果level=l,贝'J巧2 = 1 。 ^亥净争4iM吏4寻只于中调区(mid-tone region)进^f亍更^r细的量化成为可能，其中，/人一见觉质量方面看，人眼^J"中调区更力。每文感。
这三个特4i如下以^又重W!在340中进4亍组合「3,宏块M,具有三个等于1的特4正2，宏块M,只具有两个等于1的特4正1，宏块M,只具有一个等于1的特4正-2,宏块M,没有等于1的特征
这由图4示出
然后在步骤40中通过例如经典的熵编码方法(诸如来自ISO/IEC 14496-10的题为《Information technology — Coding ofaudio-visual objects — Part 10: Advanced Video Coding》文献中第7.9部分中描述的一种方法)对这些量化系lt进行编码。
下面参照图2和图5来描述该方法的第一实施例。该方法包括「
步骤10，用于将图像的每个块bp，q都变换成系数的变换块Bp,q。如果bp，q位于宏块M中，则变换块Bp，q位于以MB,表示的相应的变换宏块中。例如，每个块bp,q利用根据下式的离散余弦变换(DCT)
变换成变换块Bp，q:
4
iV2
J ■]'cos[:^~~rT^~]，
2iV
2iV
乂=0 t=0
其中，-m,v = o，i，...，n-i;
-、力")是坐标为(j,k)的块bp,q的像素的亮度值(或
色度值)；
-~>,力是坐标为(u,v)的变换块Bp，q的系数值；以及
7, ifw = 01， if w = l,2，...，7V — l
在步骤20，每个变换块Bp,q的每个系数Bp，q(U,V)都被利用量化
参数QPp，q(u,v)量化成量化系数BQp,q(u,v)。根据本发明的第 一方面，图像中的所有DC系数都在210中被利用相同的量化参数QPf进行量化，即，vo^)，QPp,q(0,0) = QPf。这使得保证整个图4象上的连续基本质量成为可能。该量化参数QPf例如是由速率控制方法(诸如众所周知的来自ISO/IECJTC/SC29/WG11的于1993年4月登载的标题为"Test Model 5"的文献N0400中为MPEG2描述的TM5速率控制方法)确定的。根据本发明的另一个方面，在220中采用同一量化参凝:2尸,对位于同 一宏块MB,中的所有块Bp,q的所有AC系数进4亍量化，该量化参凄史e《可以等于也可以不等于QPf。 4艮据具体特性，用于对所有这些AC系数进行量化的量化参数等于^=2尸/+厶^，其中，Agi^艮据宏块MB,的感知兴趣来确定。在这种情况中，对于MB,中的所有AC系数，都有QPp,q(u,v) = e尸,2尸,+A2《。才艮据第二
实施例，A^-tl^.Qp'鄉，其中，V,是宏块M,的重要性等级。在
128
这种情况中，QP'鄉可以设置为6。在步骤31中由宏块M,计算V,，
并对V,进行削波(clip)使之位于范围
内。为了实现该目的，在31中对整个图4象计算由N. Bruce在2004年8月在Proceeding ofthe 17th International Conference on Pattern Recognition, pp. 616-619发表的题为"Image analysis through local information measure"的文献中描述的信息图。该图为每个宏块M,分配重要性等级V,。该方法l吏得通过以经典的信息理i仑i殳置分析局部图^f象统计特性来识别图像中的感知重要区域。因此，能够更加连续地调整量化参数，从而提高解码图像的视觉质量。
然后在步骤40，通过例如经典的熵编码方法(诸如来自ISO/IEC14496-10的题为《Information technology — Coding of audio-visualobjects — Part 10: Advanced Video Coding》文献中第7.9部分中描述的一种方法)对这些量化的系数进行编码。
该解决方案使得以对整个比特率进行很小的改变来获得平滑分布的感知质量^是高成为可能。本发明还涉及图6和图7所示的编码装置CODEC。在这些图中，相似的元件标以相同的标号。该装置CODEC包括模块T，模
块T用于将图像的每个块bp,q变换成系数的变换块Bp,q。其实现了
例如DCT。模块T连接至模块Q，模块Q适于将每个变换块Bp,q的每个系数Bp,q(u，v)都量化成量化系数BQp,q(u,v)。模块Q实现上述方法的步骤20。因此，装置CODEC包括模块ROL,模块ROL连4妄至4莫块Q并适于通过例如实现上述方法的步骤310至340来计算图像的每个宏块M,的权重W"根据图7中所示的另一个特性，装置CODEC中的模块ROh被模块ROI2取代，模块ROI2适于通过实现在2004年8月在Proceeding of the 17th International Conference onPattern Recognition, pp. 616-619发表的题为"Image analysis throughlocal information measure"的文献中描述方法来计算图^f象的每个宏块M,的重要性等级V,。模块Q还连接至模块COD，模块COD适于对量化系数B ，q(u,v)进行编码。其优选地为熵编码器。
所述用于图^f象的本发明可以有利地应用于^L频，更确切地i兌应用于一见频的每个图像。
权利要求
1.一种用于将分成多个非重叠宏块的图像编码成二进制流的方法，其中，所述非重叠宏块本身被分成N×N像素的多个非重叠块，所述方法包括以下步骤将每个所述块都变换成系数变换块(10)，所述系数变换块包括一个低频系数和N2-1个称作高频系数的系数，所述高频具有高于所述低频的频率；利用量化参数对每个所述变换块的每个系数进行量化(20)；将所量化的系数编码成二进制流(40)；其特征在于，利用称作第一量化参数的同一量化参数(QPf)对这些所述变换块的所述低频系数进行量化。
2. 根据权利要求1所述的方法，其中，利用称作第二量化参数的 同一量化参数(2《)对同一宏块的这些所述高频系数进行量 化。
3. 根据权利要求2所述的方法，其中，所述第二量化参数(^ ) 作为所述第一量化参数(QPf)和增量(A05,)的和来计算， 所述增量(AgP,)基于为所述宏块计算(30， 31)的纟见知觉兴趣 ^直来确定。
4. 根据权利要求3所述的方法，其中，所述视知觉兴趣值取决于 所述宏块的平均亮度值。
5. 根据权利要求3或4所述的方法，其中，所述视知觉兴趣值取 决于所述宏块的每个块的方差。
6. 根据权利要求3-5中任一项所述的方法，其中，所述视知觉兴 趣值取决于所述宏块的色度信息。
7. —种用于将^皮分成多个非重叠宏块的图4象编码成二进制流的 装置，其中，所述非重叠宏块本身被分成NxN像素的多个非 重叠块，所述装置包括变换装置(T),用于将每个所述块都变换成系数变换块， 所述系数变换块包括一个低频系凄t和N2-l个称作高频系数的 系数，所述高频具有高于所述低频的频率；量化装置(Q),用于利用量化参数对每个所述变换块的 每个系凄t进行量化；编码装置(COD ),用于将所量化的系数编码成二进制流；其特征在于，所述量化装置(Q)利用称作第一量化参数 的同一量化参数(QPf)对这些所述变换块的所述低频系数进 4亍量化。
8. 根据权利要求7所述的装置，其中，所述变换装置(T)是 DCT变换单元。
全文摘要
本发明涉及一种将分成多个非重叠宏块的图像编码成二进制流的方法，其中，非重叠宏块本身被分成N×N像素的多个非重叠块。该方法包括以下步骤将每个块都变换成系数变换块，该系数变换块包括一个低频系数和N<sup>2</sup>-1个称作高频系数的系数，高频具有高于低频的频率；利用量化参数对每个变换块的每个系数进行量化；将所量化的系数编码成二进制流。根据本发明，利用称作第一量化参数的同一量化参数对变换块的低频系数进行量化。
文档编号H04N7/30GK101601303SQ200680056509
公开日2009年12月9日 申请日期2006年12月11日 优先权日2006年12月11日
发明者吕小安, 朱立华, 杨黎波 申请人:汤姆逊许可公司