专利名称：基于小波分解的彩色视频编码方法
技术领域：
本发明涉及一种彩色视频编码方法，它利用了三色激励彩色空间表示法中的所谓的3D-SPIHT算法，其中三色激励比如是YUV，其亮度平面Y与色度平面U和V的比率为4∶2∶0格式。本发明适用于彩色视频序列，而且适用于彩色图像。
背景技术：
最有效的视频压缩算法之一是基于对相关视频序列进行的三维(2D＋t)处理通过执行可分离的3D小波变换(与预期方法相比的主要差别是时间轴作为空间中的一个时间轴来处理)，减少视频信息中的冗余度。当将时域滤波器中所考虑的帧群(GOF)的运动补偿被预先应用到滤波时，可提高该方法的效率。与可以进行长时间滤波的空间分解不同，对于时域滤波，最佳的选择则应是所谓的Haar多层分辨率分析，因为它不引入边界问题并且延迟最小。
因此3D小波分解被应用到序列中的每个GOF。选择群的大小可以改变再建时的延迟(这在例如电视会议的实时应用中是很重要的)并且改变后续编码算法的效率。当3D-SPIHT算法被应用到分解的GOF时，例如在由B.J.Kim和W.A.Pearlman于1997年在美国犹他州Snowbird数据压缩会议的论文集中撰写的文章“An embedded wavelet video coder using three-dimensional set partitioning in hierarchical trees(SPIHT)”251-257页中描述的那样，必须有足够的数目的分解层次来构造该算法所基于的时间空间树。实际上，对于大多数的序列，16帧的GOF是一种好的选择。
该3D-SPIHT算法可应用到灰色视频序列，但是彩色序列的处理导致了在同样的比特流中要嵌入彩色的问题。考虑到比如YUV的三色激励彩色空间表示法，其亮度Y和色度平面U和V的比率为4∶2∶0格式，用于应付彩色视频编码问题的一种简单方法将被用于分别地编码每个彩色面，就像它用于常规彩色视频编码器那样。然而，该技术不能提供嵌入的比特流，因为它需要一种在彩色平面之中的比特分配策略。此外，该彩色平面比特流是串行的，并且接收器必须待到整个比特流都到达才能重建该视频并且显示它。
按照另一个解决方案，在编码阶段所有的彩色平面可以作为一个单元处理，并且然后可以产生一个混合的比特流，因此，它可以在再建时的任何点停止，并且以给定的比特率显示该彩色视频。这种解决方案在每个彩色面上用相同数目的层次分别地执行3D小波分解。然后，将所有的平面编码到一起，在SPIHT中定义的LIP和LIS被初始化，以在所有该三个平面中具有最高层次的适当坐标。
在先前描述的方法中，每个彩色面具有自己的时间空间方向树，但Y-、U-和V-树是互斥的。在平均时间方面，当利用4∶2∶0格式时，Y-、U-和V-平面之间的大小差严重影响执行相同多层分辨率的可能性以及后续SPIHT算法的编码效率。的确，所出现的问题是当考虑到亮度平面时，即使原始的视频格式(CIF或QCIF)顾及到一定数目的分解层次(比如，QCIF格式，176×144顾及到4个分解层次)，对于色度来说，它已经是一种亚取样的格式，在分解时必须减少层次。另一方面，作为SPMT编码，必须与偶数尺码的子带配合好，那么对于亮度平面只有3个层次是可能的。在什么是色度平面可接受的分解层次数目方面，有两个策略是可能的相同数目的分解层次被认为适合于色度多层分辨率分析，它导致在最小分解层次时有奇数尺码的子带(因此原始的SPIHT算法在无任何适配的情况下不能应付该策略)；对于每个彩色平面选择适当数目的分解层次，因此该SPIHT算法可直接应用。
发明概要本发明的目的是提供一种有关第二种策略的简化实现方法。
为此目的，本发明涉及到在本说明书的引言部分定义的方法，按照此方法-U和V平面的小波分解是在多个分解层次上进行的，该分解层次的数目是亮度平面的小波分解的分解层次数目减1。
-U和V彩色平面已经是一种亚取样的格式，它允许看到全分辨率彩色U或V平面，作为全分辨率亮度平面的一个近似值，所述全分辨率彩色U或V平面的尺寸与在Y平面的多层分辨率分解过程中的第一层次近似值的大小相同，并且亮度的第n个分解层次具有与色度的第(n－1)个层次具有相同大小；
-在Y平面的最小分解处近似子带的每个象素(i，j)与U和V平面的相应子带中的相同位置处的象素相关。
附图的简要描述本发明将通过实例并参考附图来描述，其中
图1显示了在原始SPMT算法的根子带中由3D分解的八个系数组成的一组(八个中的一个不用于初始化LIS)；图2图示了按照本发明引入的对图1的修改；未用于LIS的初始化的根系数现在被用于该LIP的初始化；图3显示了原始SPMT算法中空间分解的不同子带之间的相关性(箭头表示父子关系)；图4相对于图3地图示了在按照所建议的方法引入的在彩色平面分解之间的其它相关性(箭头也表示父子关系)。
最佳实施例的详细描述本发明利用了4∶2∶0格式的U和V彩色平面已经是一种亚取样格式的事实全分辨率彩色U或V平面可以随即看作为全分辨率亮度平面的一个近似值。此外，其尺寸与Y平面的多层分辨率分解过程中的第一层次近似值的尺寸是相同的。当在几个分解层次之上执行小波分解时，第n个亮度分解层次与第(n－1)个色度层次具有相同大小。因此，相关性允许在多个分解层次上进行U和V平面的小波分解，该分解层次的数目是亮度平面的小波分解的分解层次数目減1。
在Y平面的最小分解处近似子带的每个象素(i，j)与U和V平面的相应子带中的相同位置处的象素相关。实验已经确实验证了先前的假定，即色度系数具有的值比根子带中的亮度系数小。U和V平面的近似子带变成Y平面的近似子带的子孙，并且这些子孙被附加到Y平面的子孙列表中。位于不同彩色平面的这些近似子带中的相同象素数目(在U和V彩色平面中所执行分解层次比在Y平面中执行的分解层次少1)，根子带的每个Y系数具有两个出自U和V根子带的附加子孙。这样，对于3D-SPIHT算法，不像原始算法中的8个子孙，对于根子带的Y平面中的每个系数都具有10个子孙。对于下列分解层次，保持了与原始算法中相同的系数分层结构。其原因是这样的事实，即附属关系在相同的彩色平面内部比在彩色平面之间更强。由于对相同的空间位置在相同的时间对亮度和色度分量进行处理，确保了包容性。
该修改伴随着系数初始表结构上的简化。的确，原始算法在所有三个平面内用最高层次的适当坐标来初始化LIP和LIS。这意味着用来自三个彩色平面的根子带的所有系数来设置LIP，并且该LIS用来自相同的时间空间子带以及来自所有彩色平面的8个象素中的7个象素进行初始化，如图1所示，它显示了在原始SPMT算法的根子带中八个系数组成的一组(八个系数中的一个不用于LIS的初始化)。用当前方法，只需要用来自亮度平面的最高层次系数的适当坐标来对这些表进行初始化U和V近似子带的色度系数表现为根子带中亮度系数的子孙。这也就意味另一个修改对应于不用于LIS初始化的位置的，来自U和V彩色平面的根系数必须被用于LTP的初始化(参见图2)。
为了简化，采用了二维图示的情况(先前方法被图示在图3中，由当前方法引入的修改被图示在图4中)，通过引入三个彩色平面的时间空间树之间的父子关系和附属关系，所建议的技术利用了视频序列亮度和色度之间的相关性。其优点主要为-通过时间空间树之间的关系，利用了亮度和色度分量之间的附属性；-在较少数目的分解层次上对U和V彩色平面进行分解，就减少了该算法的计算复杂性；-不需要外插法，因此不引入通过计算求得的系数(只有实际的象素被分解和编码)，并且不计算运动矢量以及对每个通过计算求得的象素进行的编码。
权利要求
1.一种彩色视频编码方法，它利用了三色激励彩色空间法中应用的所谓的3D-SPIHT算法，其中三色激励比如是YUV，其亮度平面Y与色度平面U和V的比率为4∶2∶0格式，其中-U和V平面的小波分解是在多个分解层次上进行的，该分解层次的数目是亮度平面的小波分解的分解层次数目减1；-U和V彩色平面已经是一种亚取样的格式，它允许看到全分辨率彩色U或V平面，作为全分辨率亮度平面的一个近似值，所述全分辨率彩色U或V平面的尺寸与在Y平面的多层分辨率分解过程中的第一层次近似值的大小相同，并且亮度的第n个分解层次具有与色度的第(n－1)个层次具有相同大小；-在Y平面的最小分解处近似子带的每个象素(i，j)与U和V平面的相应子带中的相同位置处的象素相关。
2.按照权利要求1的方法，其中，通过分解原始彩色图像而创建的系数初始表的结构被简化，这是因为只用来自亮度平面的最高层次系数的适当坐标对这些表进行初始化，U和V近似子带的色度系数因此表现为根子带中亮度系数的子孙。
3.按照权利要求2的方法，其中，对应于不用于无关重要设置表的初始化的位置的，来自U和V彩色平面的根系数在初始化时被引入在无关重要象素的表中。
全文摘要
本发明涉及到使用在彩色空间法中应用的所谓的3D－SPIHT算法的彩色视频编码方法,该彩色空间由4∶2∶0格式的亮度平面Y和色度平面U和V组成。U和V平面的小波分解是在多个分解层次上进行的,该分解层次的数目是亮度平面的小波分解的分解层次数目减1。全分辨率彩色U或V平面可以被看作为全分辨率亮度平面的一个近似值,并且所述全分辨率彩色U或V平面的尺寸具有与Y平面的多层分辨率分解时第一层次近似值相同的尺寸,第n个亮度分解层次与第(n－1)色度层次相同。在Y平面的最小分解处近似子带的每个象素(i,j)与U和V平面的相应子带中的相同位置处的象素相关。
文档编号H03M7/30GK1336077SQ00802426
公开日2002年2月13日 申请日期2000年10月23日 优先权日1999年10月28日
发明者B·佩斯奎特－波佩斯库, M·贝尼蒂雷 申请人:皇家菲利浦电子有限公司