可伸缩视频稀疏信息处理系统的制作方法

专利名称：可伸缩视频稀疏信息处理系统的制作方法
技术领域：
本发明涉及的是一种信息处理技术领域的系统，具体是一种可伸缩视频稀疏信息 处理系统。
背景技术：
在网络视频信息处理和传输中，由于网络架构和终端的异构性，不同类型的网络 具有不同的信道特性，这些因素使得不同的用户或者同一用户在不同时刻得到的带宽不尽 相同。为了使视频比特流能够适应不同的网络信道环境，人们提出了 SVC(可伸缩视频信息 处理)技术，即“一次编码，按需截取”的嵌入式视频信息技术，解码器按用户所需将不同时 空分辨率/码率的码流提供给终端。现有技术中基于3-D Wavelet (三维小波)方案的WSVC系统中，视频帧在通过了 时域分解模块后，得到的时域高频帧和时域低频帧输入到后端的二维小波变换模块中进行 分解，得到的系数再输入到子带编码模块中进行嵌入式编码。小波变换由于其特有的多分 辨率信号空间表达方式以及基于提升算法的快速分解及完美重建方法，使之能够天然地 成为可伸缩视频信息处理中时空分级的重要工具；此外，小波变换过后的系数也能使用如 EBCOT (优化截断的嵌入式块编码)或ESCOT (优化截断的嵌入式子带编码)等嵌入式编码 技术，获得精细的分级效果。但近些年来，诸多信号分析领域的文献指出，小波变换在一般的二维信号上并不 能提供最“稀疏”的信号表示方法。由于二维可分离小波基是通过水平和垂直方向的一维 小波基的张量积得到的，因此只能达到“点奇异”函数族的最佳逼近。而在自然图像和视频 中存在大量的“线奇异”函数，直接采用二维可分离小波变换会产生大量不可忽略的系数。 因此如果要在低码率的情况下实现更高的视频编解码效率，必须采用不可分离的二维基函 数来对信号进行稀疏表示。此外，生理学也指出，视觉大脑皮层的接收场具有局域、定向和 带通特性，因此新的二维变换的基函数也应该要满足这些特性。经对现有文献检索发现，M. N. Do和M. Vetterli在2005年第12期的《IEEE Transactionson Image Processing))(《电气和电子工程师协会图像处理汇刊》)的论 JC "The contourlettransform :an efficient directional multiresolution image r印resentation(轮廓波变换一种有效的方向多分辨率图像表达方式)”中提出的 Contourlet (轮廓波变换)是第一个离散二维不可分方向滤波器组在图像分解和表示中 的成功应用。它使用了双滤波器组结构，首先用拉普拉斯金字塔滤波器组将信号分解到 多尺度子空间中去，然后在带通子空间中使用DFB(方向滤波器组)将分布于同方向上的 奇异点合并为一个系数，最终的效果就是Contourlet的基函数具有随尺度而长宽比变 化的“长条形”结构。方向滤波器组的设计始于Bamberger和Smith于1992年第4期的 《IEEE Transactions on Signal Processing(电气和电子工程师协会图像处理汇刊)》 的论文"Afilter bank for the directional decomposition of images theory and design"( “用于图像方向分解的滤波器组理论和设计”)中的开创工作，Do和Vetterli简化了方向滤波器组的设计方法，采用了基于Quincunx Sampling(五株采样)的方法来设 计方向滤波器组。但是该类技术的缺点是由于拉普拉斯金字塔滤波器组具有的冗余性，使 得Contourlet不适合直接用于对图像和视频进行压缩的信息处理过程。又经检索发现，Eslami和 Radha 在 2007 年第 4 期的《IEEE Transactions on ImageProcessing(电气和电子工程师协会图像处理汇刊)》的论文“A New Family of NonredundantTransforms Using Hybrid Wavelets and Directional Filter Banks (基 于混合小波和方向滤波器组的一族非冗余变换)”中提出了基于多尺度非冗余小波的 Contourlet 变换(Wavelet-basedContourlet Transform,以下简称为 WBCT)。WBCT 与 Contourlet的不同之处在于使用了小波变换将信号分解到多尺度子空间，因此消除了冗余 性，适合在对图像和视频进行压缩的信息处理过程中使用。然而，这些系统存在的缺陷在 于，都使用了均勻分解的方向滤波器组，这种滤波器组使用了满二叉树结构。自然图像频谱 中的方向特性显然不可能是均勻分布的，而均勻的方向分解可能导致某些频谱分布较为密 集的方向的能量泄漏到相邻子带去，因此这种均勻的方向分解显然不是最优的图像分解方 式。此外，由于图像的边缘和纹理都位于不同的尺度空间内，并且随着其曲率的变化的快 慢，其方向分辨率也在发生着变化，而在既有的多尺度几何分解方法中，方向分辨率往往取 决于尺度分辨率。

发明内容
本发明的目的在于克服现有技术中存在的上述不足，提供一种可伸缩视频稀疏信 息处理系统。本发明提出了一种针对图像和视频的双多分辨率几何分解方式，在同等码率 的条件下，能够将信号能量更加集中地聚集在低频子带内，从而实现对信号的稀疏表达，并 最终表现为更大的压缩率，且接收端恢复出来的视频帧的质量高。本发明是通过以下技术方案实现的
本发明包括时域分解模块、双多分辨率几何分解模块、熵编码模块、比特流多路 复用器模块和率失真优化控制模块，其中时域分解模块和双多分辨率几何分解模块相连 传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模块相连传输双 多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块相连传输配置 的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计控制信息，率 失真优化控制模块与熵编码模块相连传输编码控制信息。所述的时域分解模块对视频帧进行基于运动补偿的时域分解，包括运动估计子 模块、运动补偿时域滤波子模块和模式及运动矢量编码子模块，其中运动估计子模块输入 原始视频帧，运动估计子模块与运动补偿时域滤波子模块相连传输基于宏块的运动矢量信 息，运动估计子模块与模式及运动矢量编码子模块相连传输基于宏块的运动矢量信息，运 动补偿时域滤波子模块与模式及运动矢量编码子模块相连传输宏块的最优化尺寸信息，运 动补偿时域滤波子模块与率失真优化控制模块相连传输运动估计控制信息，运动补偿时域 滤波子模块与双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息。所述的双多分辨率几何分解模块进行多尺度非均勻方向分解，包括二维过完备 小波分解子模块、相位一致性检测子模块、非均勻方向滤波器组设计子模块、空间分解子模 块和分解模式编码子模块，其中二维过完备小波分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息，二维过完备小波变换子模块和相位一致性检测子模块相连传输二维过完备小波分解系数，相位一致性检测子模块和非均勻方向滤波器组设计子模块 相连传输相位一致性系数，非均勻方向滤波器组设计子模块分别与空间分解子模块和分解 模式编码子模块相连传输非均勻二叉树结构的方向滤波器组信息，空间分解子模块和熵编 码模块相连传输变换过后的非均勻方向分解系数信息，空间分解子模块与时域分解模块相 连传输时域高频和时域低频视频帧信息。所述的二维过完备小波分解子模块将视频帧分解为四个同样大小但包含不同频 带信息的子带，包括一维行方向分解单元和一维列方向分解单元，其中一维行方向分解 单元与时域分解模块相连传输时域低频和时域高频视频帧信息，一维行方向分解单元与一 维列方向分解单元相连传输L(低通)子带和H(高通)子带，一维列方向分解单元与相位一 致性检测子模块相连传输LL(低低)子带、LH(低高)子带、HL (高低)子带和HH(高高) 子带。所述的空间分解子模块将视频帧分解为不同尺度下的非均勻的方向子带，包括 二维小波分解单元和卷积滤波单元，其中二维小波分解单元与时域分解单元相连传输时 域低频和时域高频视频帧信息，二维小波分解单元与卷积滤波单元相连传输二维小波分解 后的多尺度子带信息，卷积滤波单元与熵编码模块相连传输非云集方向分解系数信息。所述的二维过完备小波分解单元与二维小波分解单元的区别在于前者包括亚抽 样操作，而后者不包括亚抽样操作。所述的熵编码模块将双多分辨率几何分解模块处理得到的子带系数进行二进制 压缩编码，包括位平面编码子模块和算术编码子模块，其中位平面编码子模块与双多分 辨率几何分解模块相连传输分均勻方向分解系数信息，位平面编码子模块与算术编码子模 块相连传输位平面数值和对应的上下文标志信息，算术编码子模块与比特流多路复用器相 连传输经过有损压缩后的二进制码流，位平面编码子模块与率失真优化控制模块相连传输 熵编码的码率工作点参数。所述的率失真优化控制模块包括运动估计参数控制子模块和编码工作点参数控 制子模块，其中运动估计参数控制子模块与时域分解模块相连传输运动估计控制信息，编 码工作点参数控制子模块与熵编码模块相连传输熵编码的码率工作点参数。所述的比特流多路复用器模块将在不同码率工作点参数条件下编码处理生成的 可伸缩视频码流进行简单合并。与现有技术相比，本发明的有益效果是针对视频帧中二维频谱的方向特性，可以 选用更加灵活的任意多尺度和多方向分解方式对图像进行自适应的变换，最终得到适应于 “线奇异”的自然图像和视频信号的更稀疏的子带系数，有利于可伸缩视频信息的压缩和传 输；本发明能够无缝地与WSVC(基于小波变换的可伸缩视频信息处理)系统结合，并且在 SVC应用同样的码率工作点的情况下，与单纯用WSVC得到的结果进行比较，由于在双多分 辨率几何分解模块后端输出的系数较之普通的小波分解更加稀疏(即非零系数的数量要 比普通的小波分解得到的非零系数的数量要少很多)，因此能够获得具有更大压缩率的可 伸缩视频码流；在视觉质量上，与现有的WSVC系统比较，本发明系统能最多获得1.2dB的客 观效果上的提升，以及更高的结构相似度，最终得到更佳的视觉效果。


图1是本发明的系统组成连接示意图。图2是二维过完备小波分解子模块的一个方向分解的示意图。
图3是二维小波分解单元的一个方向分解的示意图。图4是测试图像Foreman的HH子带示意图。图5是图4分解为32个区间后的每个区间内的相位一致性分布直方图。图6是图5经合并为8个子带后得到的近似均勻的相位一致性分布直方图。图7是图6对应的非均勻二叉树结构示意图。图8是实施例滤波器组实现示意图；其中图(a)是方向分辨率为1的滤波器组实现示意图；图(b)是方向分辨率为2 的滤波器组实现示意图。图9是实施例的自适应方向滤波器组结构示意图。图10是实施例分解得到的子带分布图。图11是实施例的四方向均勻分解的示意图。
具体实施例方式以下结合附图对本发明的系统进一步描述本实施例在以本发明技术方案为前提 下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述 的实施例。实施例如图1所示，本实施例包括时域分解模块、双多分辨率几何分解模块、熵编码模 块、比特流多路复用器模块和率失真优化控制模块，其中时域分解模块和双多分辨率几何 分解模块相连传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模 块相连传输双多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块 相连传输配置的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计 控制信息，率失真优化控制模块与熵编码模块相连传输编码控制信息。所述的时域分解模块对视频帧进行基于运动补偿的时域分解，包括运动估计子 模块、运动补偿时域滤波子模块和模式及运动矢量编码子模块，其中运动估计子模块输入 原始视频帧，运动估计子模块与运动补偿时域滤波子模块相连传输基于宏块的运动矢量信 息，运动估计子模块与模式及运动矢量编码子模块相连传输基于宏块的运动矢量信息，运 动补偿时域滤波子模块与模式及运动矢量编码子模块相连传输宏块的最优化尺寸信息，运 动补偿时域滤波子模块与率失真优化控制模块相连传输运动估计控制信息，运动补偿时域 滤波子模块与双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息。所述的运动估计子模块用于在相邻前后两帧间相同大小的宏块内寻找最优的运 动矢量。所述的运动补偿时域滤波子模块用于对原始视频帧进行运动补偿后的一维时域 小波分解，将原始视频帧进行时间分级。所述的模式及运动矢量编码子模块用于对宏块搜索模式进行UVLC(通用可变长) 编码，并且将运动矢量统一转化为4X4的运动场。
所述的双多分辨率几何分解模块进行多尺度非均勻方向分解，包括二维过完备 小波分解子模块、相位一致性检测子模块、非均勻方向滤波器组设计子模块、空间分解子模 块和分解模式编码子模块，其中二维过完备小波分解子模块与时域分解模块相连传输时 域高频和时域低频视频帧信息，二维过完备小波变换子模块和相位一致性检测子模块相连 传输二维过完备小波分解系数，相位一致性检测子模块和非均勻方向滤波器组设计子模块 相连传输相位一致性系数，非均勻方向滤波器组设计子模块分别与空间分解子模块和分解 模式编码子模块相连传输非均勻二叉树结构的方向滤波器组信息，空间分解子模块和熵编 码模块相连传输变换过后的非均勻方向分解系数信息，空间分解子模块与时域分解模块相 连传输时域高频和时域低频视频帧信息。所述的二维过完备小波分解子模块将视频帧分解为四个同样大小但包含不同频 带信息的子带，包括一维行方向分解单元和一维列方向分解单元，其中一维行方向分解 单元与时域分解模块相连传输时域低频和时域高频视频帧信息，一维行方向分解单元与一 维列方向分解单元相连传输L子带和H子带，一维列方向分解单元与相位一致性检测子模 块相连传输LL子带、LH子带、HL子带和HH子带。 所述的一维行方向分解单元在行方向上将一帧视频信号进行二通道小波滤波器 组滤波，得到L子带和H子带。所述的一维列方向分解单元在列方向上将一帧视频信号进行二通道小波滤波器 组滤波，得到L子带和H子带。所述的相位一致性检测子模块对二维过完备小波分解后的高频子带进行基于二 维Gabor小波的边界检测的相位一致性分布统计。所述的非均勻方向滤波器组设计子模块生成适应于各个小波高频子带的相位一 致性分布的非均勻方向滤波器组。所述的空间分解子模块将视频帧分解为不同尺度下的非均勻的方向子带，包括 二维小波分解单元和卷积滤波单元，其中二维小波分解单元与时域分解单元相连传输时 域低频和时域高频视频帧信息，二维小波分解单元与卷积滤波单元相连传输二维小波分解 后的多尺度子带信息，卷积滤波单元与熵编码模块相连传输非云集方向分解系数信息。所述的卷积滤波单元用于将高频小波子带系数(即LH、HL、HH子带的系数)和非 均勻方向滤波器进行卷积，得到具有非均勻方向特征的稀疏的子带系数。所述的二维过完备小波分解单元与二维小波分解单元的区别在于前者包括亚抽 样操作，而后者不包括亚抽样操作。所述的熵编码模块将双多分辨率几何分解模块处理得到的子带系数进行二进制 压缩编码，包括位平面编码子模块和算术编码子模块，其中位平面编码子模块与双多分 辨率几何分解模块相连传输分均勻方向分解系数信息，位平面编码子模块与算术编码子模 块相连传输位平面数值和对应的上下文标志信息，算术编码子模块与比特流多路复用器相 连传输经过有损压缩后的二进制码流，位平面编码子模块与率失真优化控制模块相连传输 熵编码的码率工作点参数。所述的位平面编码子模块用于将经过量化后的子带系数在长、宽和时间轴上划分 为独立的立方体编码块(64X64X4)进行独立编码和根据码率工作点的率失真特性进行 分层组织。
所述的算术编码子模块用于对位平面数值和对应的上下文标志进行算术编码。所述的率失真优化控制模块包括运动估计参数控制子模块和编码工作点参数控 制子模块，其中运动估计参数控制子模块与时域分解模块相连传输运动估计控制信息，编 码工作点参数控制子模块与熵编码模块相连传输熵编码的码率工作点参数。所述的比特流多路复用器模块将在不同码率工作点参数条件下编码处理生成的 可伸缩视频码流进 行简单合并。
下面详细介绍本实施例中各模块的具体工作过程本实施例中运动估计子模块的具体工作过程为输入系统的原始视频流中的每一 个视频帧按照Y (亮度)、U(色度)和V(浓度)的顺序输入到时域分解模块的运动估计子 模块内进行运动估计。运动估计是基于宏块来进行的，随着输入的原始视频帧的不同大小， 来设置不同的初始宏块大小对于CIF(通用影像传输格式，大小为352X288)，使用大小为 32X32的宏块；对于QCIF (四分之一大小通用影像传输格式，大小为176 X 144)，使用大小 为16X16的宏块；对于4CIF(四倍大小通用影像传输格式，大小为704X576)，使用大小为 64X64的宏块。在具体进行运动估计的时候，在每一个初始宏块中，可以在16X16大小宏 块的整像素搜索、16X8大小宏块的半像素搜索、8X16大小宏块的半像素搜索和8X8大小 宏块的四分之一像素搜索等四种工作模式之中，来确定最优估计的运动矢量和最优的搜索 工作模式。最优估计的运动矢量可由最小化如下的拉格朗日率失真(R-D)代价函数来获取 其中失真函数为
代表运动矢量，R(mv)
代表传输mv所需的比特数，Seur和Sref分别代表当前正在进行运动估计的宏块和作为运动 估计计算参考所需的宏块。最优的搜索工作模式可由最小化如下的拉格朗日率失真(R-D)代价函数来获取 「mcoi J(mode, Xsad) = ( Σ dsadisi, mv) + Xsad χ R 其中m0de代表具体使用的搜索工作模式，R(mode)代表传输mode所需的比特数。本实施例中运动补偿时域滤波子模块的具体工作过程为在运动估计子模块得到 了运动矢量信息后，运动补偿时域滤波子模块对原始视频帧进行基于提升算法的时域小波 分解以实现可伸缩视频的时间分级。基于提升算法的时域小波分解方法包括分裂、预测和 更新三个阶段。在分裂阶段，原始视频帧被分解为奇数帧{F2i+1}和偶数帧{F2i}两组不相交 的集合；在预测阶段，奇数帧减去相邻偶数帧的预测得到一个时域高频帧；在更新阶段，偶 数帧加上该时域高频帧的更新，得到一个时域低频帧。所谓预测和更新过程，可以理解为就 是相邻的奇数帧和偶数帧之间的经过运动矢量补偿后的像素映射操作。在本实施例中，使 用5/3小波来进行基于提升算法的时域小波分解操作，具体分解过程如下1)分裂偶数帧 Ai = F2i，奇数帧 Bi = F2i+1 ；2)预测阶段高频帧 3)更新阶段低频帧 其中mva,b代表由Fa帧中的某一个宏块指向Fb帧中对应的宏块的运动矢量。本实施例中二维过完备小波分解子模块的具体工作过程为二维过完备小波分解 子模块首先对时域分解模块中输出的时域高频和低频帧进行处理。二维过完备小波分解和 合成过程如下所示 其中Ji1 [η]和\ [η]分别代表分解和合成端所需的低通滤波器，見[η]和运[η] 则代表对应的高通滤波器，符号*代表卷积。为了满足完美重构条件，高通滤波器刃[η]和 g, [η]需要满足馬[η] = {-l)nh3[l - η]^[η] = (~1)τ%[1 — η]。本实施例选取双正交“9_7”
滤波器组，即使用如表1所示的系数的滤波器组。表1 图2给出了二维过完备小波分解子模块的一个方向分解的示意图在滤波过程 中，首先在行方向上对输入的视频帧进行低通和高通滤波，得到L子带和H子带，然后在L 子带和H子带上进行列方向的低通和高通滤波，将图像分解到LL、LH、HL、HH四个子带中去； 其中LL子带包含了图像中最主要的低频能量，LH子带包含了基本垂直相位的高频系数， HL子带包含了基本水平相位的高频系数，HH子带包含了基本对角相位的高频系数。本实施例中相位一致性检测子模块的具体工作过程为二维过完备小波分解子模 块将视频帧分解到LL、LH、HL和HH四个子带内之后，相位一致性检测子模块对LH、HL和HH 三个高频子带进行基于二维Gabor小波的边界检测的相位一致性分布统计。本实施例选用 PeterKovesi的方法来计算相位一致性，即
,其中wd(x)表示权重因子，体现相位一致性的频率越多这个权重因子 越大，Adn(X)代表二维Gabor小波分量的方向d上的分量的模，相位敏感函数 Φ如(χ) = cos (“(χ)- ‘㈤)J sin-而(x))|,用于对点χ处的相位进行定位，Tdn表 示权重，在式中用来消除噪声对判决结果带来的影响，e是一个微小的常数，用来避免分母为零。本实施例中非均勻方向滤波器组设计子模块的具体工作过程为非均勻方向滤波器组设计子模块在得到了相位一致性检测子模块输出的相位一致性系数之后，根据设定的 初始方向分辨率r = 2_n和尺度S上所需的最终子带数目
将初 始的2n个方向区间中相位PC(X)分布最稀疏的两个相邻区间进行合并，每进行一次合并， 其对应的两个叶子节点就合并消失，这两个叶子节点所属的父节点变成了新的叶子节点， 并且新的区间的方向分辨率就是原来的两倍，直至最终Is个区间内的相位一致性分布接近 均勻为止。此时每个方向区间一一对应于二叉树结构中的一个叶子节点。为了清晰地说明 这个问题，图4 图7分别展示了测试图像Foreman的HH子带，将相位[_π/2，π/2]分解 成32个区间后每个区间内的相位一致性分布直方图，经过合并为8个子带后得到的近似均 勻的相位一致性分布直方图和对应的非均勻二叉树结构。在每一个尺度s=l，2，…内， 根据其第i个方向子带(O <i≤Is)的方向分辨率即2的该节点深度的幂次的倒 数)，使用五株采样扇形滤波器组或平行四边形滤波器组，得到适应于该视频帧的尺度s内 LH、HL和HH子带的非均勻二叉树结构的方向滤波器组，并将二叉树传入到后端的分解模式 编码子模块进行编码。当节点的深度是1或者2时，那么只需要采用五株采样扇形滤波器 组即可，图8 (a)和图8(b)分别给出了节点深度为1和2时候的扇形滤波器组实现图，该扇
形滤波器组分别采用
的五株采样矩阵；当节点的深度大于
或等于3时，那么则在采用五株采样扇形滤波器的基础上，再采用将滤波器组的通带往相 应方向(χ轴和y轴的正方向或负方向)进行推挤的平行四边形滤波器组，其中采样矩阵为
的平行四边形滤波器组将图像在纵坐标不变的情况下投影到和χ轴正方向夹
角为45度的方向上，采样矩阵为
的平行四边形滤波器组将图像在纵坐标不
变的情况下投影到和χ轴负方向夹角为45度的方向上，采样矩阵为
的平行四
边形滤波器组将图像在横坐标不变的情况下投影到和y轴正方向夹角为45度的方向上，采
样矩阵为
的平行四边形滤波器组将图像在横坐标不变的情况下投影到和y
轴负方向夹角为45度的方向上。在本实施例中，图9给出了使用基于测试视频序列Foreman 得到的适应于其中某一帧的非均勻二叉树结构的方向滤波器组实现图，其中包括了深度为 1、2、3的非均勻二叉树结构滤波器组的结点。 本实施例中空间分解子模块的具体工作过程为空间分解子模块在得到了非均勻 方向滤波器组设计子模块输出的非均勻二叉树结构的方向滤波器组信息之后，首先对该视 频帧进行总共k个尺度的二维普通小波变换，二维普通小波变换和二维过完备小波变换的 基本原理和方法相同，区别在于二维普通小波的滤波过程存在亚抽样和补零的步骤以消除 冗余和实现可伸缩视频的空间分级。本实施例选取双正交“9-7”滤波器组，图3是二维小 波变换单元的一个方向分解的示意图。空间分解子模块在对视频帧经过了 k个尺度的普通 小波变换后，得到3k+l个小波子带，然后在3k个高频子带中使用非均勻方向滤波器组进行
进一步的卷积滤波，最终连同低频子带一道得到
个子带。这些子带具有互相独立的尺度分辨率和方向分辨率。图10给出了测试视频序列Foreman中的某一帧分解得到的 子带的分布图。本实施例中熵编码模块的具体工作过程为在得到了空间分解子模块输出的多尺 度非均勻方向子带系数后，使用3-D ESCOT (优化截断的三维嵌入式子带编码)编码模块作 为熵编码模块对子带系数进行编码。该模块具体又可分为两个子模块位平面编码子模块 和算术编码子模块。位平面编码子模块首先将经过量化后的子带系数在长、宽和时间轴上 划分为独立的立方体编码块(64X64X4)进行独立编码，输出位平面上的数值D和对应的 上下文标记CX，它们再被送入算术编码子模块根据合理的信源概率模型和率失真优化控制 模块中的编码工作点参数子模块传输过来的码率参数进行有损压缩的算术编码。整个位平 面编码过程中使用了四种编码原语(即Zero Coding (零编码)、Sign Coding (符号编码)、 Magnitude Refinement Coding (量值改进编码)和 Run-Length Coding (游程编码))来 为位平面数值D生成上下文标记CX。在本实施例中，为突出子带的方向性，对Zero Coding 部分做了修改。由于每个编码块均自适应地使用了可能不同的方向分解模式，本发明针对 每一个编码块设置了新的Zero Coding上下文模型表。图11是实施例的四方向均勻分解 的示意图，表2给出了适应于图11中描述的四方向均勻分解模式的Zero Coding上下文模 型表。
本实施例中比特流多路复用器模块的具体工作过程为在得到了所需配置的不同 码率工作点参数条件下的可伸缩视频码流后，比特流多路(复用)器将它们简单地合并成 为一个总的码流。本实施例提出的图像的双多分辨率几何分解技术能够同时独立地控制尺度分辨 率和方向分辨率，自适应地针对不同的输入视频帧选取不同拓扑结构的方向滤波器组对图 像进行子带分解和发送处理，最终得到更为稀疏的子带系数。表2 实施效果依据以上步骤，采用测试视频序列harbOur_4cif_60. yuv (大小为4CIF，即704X576的4:2:0格式，帧率为60帧每秒(60Hz)的YUV文件)，总共编码90帧。本实施 例在微软亚洲研究院的WSVC(基于小波变换的可伸缩视频信息处理)参考软件Vidwav中 加入了双多分辨率几何分解模块，并替换了原有的小波分解模块，对该测试视频进行发送 和接收处理。具体设置参数如下时间可分级级别设置为5级(支持60Hz，30Hz，15Hz，7. 5Hz，3. 75Hz的帧率)， GOP (图像群组)大小设置为32 ；空间可分级级别设置为3级(支持4CIF，CIF, QCIF)；
使用拉格郎日乘子法来最优化运动矢量，其中拉格朗日乘数λ和搜索范围SR设 定为4CIF λ = 128，SR = 128，CIF λ = 32，SR = 64，QCIF λ = 16, SR = 32。对于4CIF，在512kbps 3072kbps的码率范围内，每隔256kbps设定一个工作点。 对于CIF，在128kbps 768kbps的码率范围内，每隔64kbps设定一个工作点。对于QCIF， 在32kbps 192kbps的码率范围内，每隔16kbps设定一个工作点。对输入视频进行5级小波分解，从最粗糙到最精细的4级小波高频子带上再将其 分解为1，2，4，8个方向子带。在解码器的后处理端中的消除振铃效应滤波器中，滤波器系数权重设置为0. 35， 衰减参数设定为3.0。使用了 PSNR (峰值信噪比)和SSIM(结构相似度)指标，对基于多尺度方向自适 应描述和基于小波变换的可伸缩视频编码方法获得的最终视频序列与原始的未经过发送 和接收处理的视频序列进行了比较。其中PSNR指标常用于衡量经过处理后的视频的客观 品质，数值越高其客观品质越好；SSIM指标用于衡量两幅图像的结构相似度，其值介于0 1之间，1表示完全相同，越接近1，表示结构相似度越高。当解码工作点为4CIF&512kbps时，本实施例系统和WSVC系统得到的PSNR分别 为25. 33dB 和 24. 18dB ；SSIM 分别为0. 737 和 0. 685 ；当解码工作点为4CIF&1024kbps时，本实施例系统和WSVC系统得到的PSNR分别 为28. 97dB 和 28. 65dB ；SSIM 分别为0. 875 和 0. 863 ；当解码工作点为4CIF&1536kbps时，本实施例系统和WSVC系统得到的PSNR分别 为30. 62dB 和 30. 37dB ；SSIM 分别为0. 909 和 0. 904 ；当解码工作点为4CIF&2048kbps时，本实施例系统和WSVC系统得到的PSNR分别 为31. 70dB 和 31. 51dB ；SSIM 分别为0. 927 和 0. 926 ；当解码工作点为CIF&128kbps时，本实施例系统和WSVC系统得到的PSNR分别为 25. 54dB 和 24. 58dB ；SSIM 分别为0. 796 和 0. 715 ；当解码工作点为CIF&256kbps时，本实施例系统和WSVC系统得到的PSNR分别为
28.22dB 和 27. 71dB ；SSIM 分别为0. 890 和 0. 855 ；当解码工作点为CIF&384kbps时，本实施例系统和WSVC系统得到的PSNR分别为
29.61dB 和 29. 22dB ；SSIM 分别为0. 919 和 0. 898 ；当解码工作点为CIF&512kbps时，本实施例系统和WSVC系统得到的PSNR分别为
30.57dB 和 30. 30dB ；SSIM 分别为0. 936 和 0. 922。由上述数据可知较之已有的WSVC系统，本实施例系统能够有效地提高视频的客 观质量，并且在结构上更加接近原始的视频序列。
权利要求
一种可伸缩视频稀疏信息处理系统，其特征在于，包括时域分解模块、双多分辨率几何分解模块、熵编码模块、比特流多路复用器模块和率失真优化控制模块，其中时域分解模块和双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模块相连传输双多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块相连传输配置的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计控制信息，率失真优化控制模块与熵编码模块相连传输编码控制信息。
2.根据权利要求1所述的可伸缩视频稀疏信息处理系统，其特征是，所述的时域分解 模块包括运动估计子模块、运动补偿时域滤波子模块和模式及运动矢量编码子模块，其 中运动估计子模块输入原始视频帧，运动估计子模块与运动补偿时域滤波子模块相连传 输基于宏块的运动矢量信息，运动估计子模块与模式及运动矢量编码子模块相连传输基于 宏块的运动矢量信息，运动补偿时域滤波子模块与模式及运动矢量编码子模块相连传输宏 块的最优化尺寸信息，运动补偿时域滤波子模块与率失真优化控制模块相连传输运动估计 控制信息，运动补偿时域滤波子模块与双多分辨率几何分解模块相连传输时域高频和时域 低频视频帧信息。
3.根据权利要求1所述的可伸缩视频稀疏信息处理系统，其特征是，所述的双多分辨 率几何分解模块包括二维过完备小波分解子模块、相位一致性检测子模块、非均勻方向滤 波器组设计子模块、空间分解子模块和分解模式编码子模块，其中二维过完备小波分解子 模块与时域分解模块相连传输时域高频和时域低频视频帧信息，二维过完备小波变换子模 块和相位一致性检测子模块相连传输二维过完备小波分解系数，相位一致性检测子模块和 非均勻方向滤波器组设计子模块相连传输相位一致性系数，非均勻方向滤波器组设计子模 块分别与空间分解子模块和分解模式编码子模块相连传输非均勻二叉树结构的方向滤波 器组信息，空间分解子模块和熵编码模块相连传输变换过后的非均勻方向分解系数信息， 空间分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息。
4.根据权利要求3所述的可伸缩视频稀疏信息处理系统，其特征是，所述的二维过完 备小波分解子模块包括一维行方向分解单元和一维列方向分解单元，其中一维行方向 分解单元与时域分解模块相连传输时域低频和时域高频视频帧信息，一维行方向分解单元 与一维列方向分解单元相连传输L子带和H子带，一维列方向分解单元与相位一致性检测 子模块相连传输LL子带、LH子带、HL子带和HH子带。
5.根据权利要求3所述的可伸缩视频稀疏信息处理系统，其特征是，所述的空间分解 子模块包括二维小波分解单元和卷积滤波单元，其中二维小波分解单元与时域分解单 元相连传输时域低频和时域高频视频帧信息，二维小波分解单元与卷积滤波单元相连传输 二维小波分解后的多尺度子带信息，卷积滤波单元与熵编码模块相连传输非云集方向分解 系数信息。
6.根据权利要求1所述的可伸缩视频稀疏信息处理系统，其特征是，所述的熵编码模 块包括位平面编码子模块和算术编码子模块，其中位平面编码子模块与双多分辨率几 何分解模块相连传输分均勻方向分解系数信息，位平面编码子模块与算术编码子模块相连 传输位平面数值和对应的上下文标志信息，算术编码子模块与比特流多路复用器相连传输 经过有损压缩后的二进制码流，位平面编码子模块与率失真优化控制模块相连传输熵编码的码率工作点参数。
7.根据权利要求1所述的可伸缩视频稀疏信息处理系统，其特征是，所述的率失真优 化控制模块包括运动估计参数控制子模块和编码工作点参数控制子模块，其中运动估 计参数控制子模块与时域分解模块相连传输运动估计控制信息，编码工作点参数控制子模 块与熵编码模块相连传输熵编码的码率工作点参数。
8.根据权利要求1所述的可伸缩视频稀疏信息处理系统，其特征是，所述的比特流多 路复用器模块将在不同码率工作点参数条件下编码处理生成的可伸缩视频码流进行简单合并。
全文摘要
一种信息处理技术领域的可伸缩视频稀疏信息处理系统，包括时域分解模块、双多分辨率几何分解模块、熵编码模块、比特流多路复用器模块和率失真优化控制模块，其中时域分解模块和双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模块相连传输双多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块相连传输配置的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计控制信息，率失真优化控制模块与熵编码模块相连传输编码控制信息。本发明兼容性强，压缩率大，编码效率高，码字开销小，可以获得更佳的视觉效果，具有广泛的应用性。
文档编号H04N7/50GK101848393SQ20101019492
公开日2010年9月29日 申请日期2010年6月8日 优先权日2010年6月8日
发明者朱凌晨, 熊红凯 申请人:上海交通大学