专利名称：视频图像质量增强的编解码装置与编解码方法
技术领域：
本发明涉及图像信息处理，特别是视频图像质量增强的编解码装置与编解 码方法。
技术背景视频编码技术经历了底层、中层和高层编码三个阶段。传统的压缩编码是 基于数据统计的、用统计概率模型来描述信源，消除图像数据的相关冗余，在低速率视频编码时有严重的局限性；后来根据人类的视觉、生理、心理特性研 究成果的拓展，提出了基于内容的(Content-based)编码，去掉的是图像/视频 信号内容的冗余，称为中层压缩编码方法；而基于语义的(Semantics-based) 方法称为高层压缩编码方法。近年来，随着3G、 IPTV、数字广播、互联网等的流媒体应用的不断发展， 对其视频质量的需求也越来越突出。可拍照手机常用于光线条件较差的地方， 如KTV、酒吧、音乐会或体育比赛现场。所谓视频图像质量增强技术就是无论光线和条件如何，使它都应该能够显 示出色彩逼真且清晰的图像。目前业界对提高视频图像质量的研究大致分为以下几个方面的成果对视频信号处理LSI的研究，通过数字技术在模拟电视中实现高图像质量；中小型液晶显示面板图像质量的新技术；嵌入式图像信号处理器，将图像传感器阵列与图像信号处理器内嵌在一起，能在各种光线条件下获得高质量图像； 高画质^L频信号处理产品；压缩域的图像增强，基于宏块MB的时间-空间的增强和平滑。 然而以上这些方法主要都是从应用的角度出发，通过预处理或者后处理技 术来力图使本来质量较差的视频图像有更加赏心悦目的效果，但是他们都没有考虑信源编解码的效率。因此，有必要提供一种既可以解决图像质量的增强问题，又考虑到了编码 器的效率的编解码装置及编解码方法。 发明内容本发明的目的是提供一种视频图像质量增强的编解码装置与编解码方法， 在使图像质量增强的同时，编码效率也得到了有效的控制。为了实现上述目的，本发明提供了一种视频图像质量增强的编码方法，其中，包括步骤A，根据视频图像质量选择增强处理技术，对增强处理组采用不同的 图像增强技术进行增强处理；步骤B,图像质量增强处理后，若编码器效率得到提高的情况下，编码器 基本层直接对增强后的增强图像组进行编码；否则，在基本层对原始图像增强 处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差， 并对所述质量残差的能量最小化表达进行编码。上述的编码方法，其中，所述步骤A具体包括步骤Al,将视频序列中属于同 一场景的视频序列组合作为增强处理组；步骤A2，确定增强处理组的视频图像质量；步骤A3,根据增强处理组的视频图像质量确定该增强处理组的增强处理 技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。上述的编码方法，其中，所述步骤B中，增强处理后的编码效率降低时 增强层的处理具体为获取增强处理组中每一帧图像增强后的质量增益；将增强处理组中第一帧以外的其他帧的质量增益与增强处理组中第一帧 的质量增益作残差，并用一个矢量集表示；通过能量最小化运算求得所述矢量集的一个坐标变换的标准正交基；将该标准正交基作为用户数据编码。上述的编码方法，其中，将该标准正交基采用位平面方法编码。为了更好的实现上述目的，本发明还提供了一种视频图像质量增强的编码 装置，其中，包括增强模块，用于根据视频图像质量选择增强处理技术对增强处理组进行增 强处理；编码器，用于在增强处理后的编码效率提高时，在基本层对增强后的增强 处理组进行编码,否则，在基本层对原增强处理组编码，在增强层，对增强后 的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化 表达进行编码。上述的编码装置，其中，所述增强模块具体包括视频场景分割模块，用于将视频序列中属于同一场景的视频序列组合作为 增强处理组；视频质量分析模块，用于确定增强处理组的视频图像质量； 增强处理技术选择及增强处理模块，用于根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进4于增强处理。上述的编码装置，其中，所述编码器的增强层具体包括质量增益获取模块，用于获取增强处理组中每一帧图像增强后的质量增益；质量增益残差获取模块，用于将增强处理组中第一帧以外的其他帧的质量 增益与增强处理组中第一帧的质量增益作残差，并用一个矢量集表示；标准正交基获取4莫块，用于通过能量最小化运算获取所述矢量集的一个坐 标变换的标准正交基；编码模块，用于将所述标准正交基作为用户数据编码。 上述的编码装置，其中，所述编码模块采用位平面方法编码。 为了更好的实现上述目的，本发明还提供了一种视频图像质量增强的解码方法，其中，包括基本层解码重建步骤，用于对基本层编码数据进行解码，重建基本层图像；质量增益解码步骤，用于对增强层编码数据进行坐标逆变换后获取增强处 理组中每一帧图像增强后的质量增益与增强处理组中第 一帧图像增强后的质 量增益的残差对应的图像；补偿步骤，用于利用该质量增益解码模块得到的图像作为补偿图像来对基本层图像进行补偿，获取增强后的图像。为了更好的实现上述目的，本发明还提供了 一种视频图像质量增强的解码装置，其中，包括基本层解码重建模块，用于对基本层编码数据进行解码，重建基本层图像； 质量增益解码才莫块，用于对增强层编码数据进^f于坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧图像增强后的质量增益的残差对应的图像；补偿模块，用于利用该质量增益解码模块得到的图像作为补偿图像来对基本层图像进行补偿，获取增强后的图像。上述的视频图像质量增强的解码装置，其中，基本层解码模块具体包括 形状解码模块，用于对编码码流的形状信息结合前一重构帧进行形状解码；运动解码;漠块，用于对编码码流中的运动信息进行运动解码后，结合形状 解码模块的输出进行运动补偿；紋理解码模块，用于对编码码流中的紋理信息结合形状解码模块的输出进 行解码操作；所述基本层图像重建及补偿模块根据运动解码模块和紋理解码模块的输 出重建基本层图像。本发明的装置和方法具有以下的有益效果1、 通过图像质量增强处理能有效地提高视频质量；2、 采用增强处理组作为处理单位，克服了单帧图像处理中信息量少、计 算量大的问题，得到计算量低、信息量大、质量最优的视频图像质量的增强；3、 编码器端，增强层的用户数据是一个标准正交基，然后针对基于该正 交基的能量最小矢量参数集的编码，不会增加太多的码字，提高了编码效率；4、 编码过程中，质量增益的信息已经包含在基本层或增强层当中，所以 在解码端不需要额外的后处理过程，降低了终端设备的计算复杂度、功耗。
图1为本发明的视频图像质量增强的编码方法的流程示意图； 图2为随时间变化的状态转移的视频模型的示意图；图3为本发明的视频图像质量增强的编码装置的结构示意图； 图4为本发明的编码器的结构示意图； 图5为本发明的解码器的结构示意图。
具体实施方式
本发明通过对质量较差的视频图像进行视频质量分析后确定相应的增强 处理手段，进而分析该增强处理手段的编码效率，根据编码效率采用对应的编 解码，在实现质量提高的同时考虑了系统的处理效率。如图l所示，本发明的视频图像质量增强的编码方法包括如下步骤视频模型确立步骤，建立用于增强处理的视频模型；视频场景分割步骤，将视频序列中属于同一场景的视频序列组合作为增强 处理组；后续的处理步骤均以增强处理组作为处理的基本单位。视频质量分析步骤，用于确定增强处理组的视频图像质量；增强处理技术选择及增强处理步骤，用于根据增强处理组的视频图像质量 确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型 对增强处理组进^f于增强处理；编码效率分析步骤，获取并判断增强处理后的增强处理组的第一编码效率 与不采用增强处理技术对增强处理组进行处理的第二编码效率之间的关系；编码步骤，在第一编码效率高于第二编码效率时，则直接在编码器基本层 对增强后的增强处理组进行编码，否则在基本层对原视频图像编码，在增强层， 对增强后的增强处理组与原始增强处理组的差值(即质量增益部分)使用改进 的编码方式编码。下面对每个步骤分别进行描述。视频模型确立步骤需要建立用于增强处理的视频模型，在此，可根据视频 的信息量大、相关性强的特点来建立该视频模型。如图2所示为1个随时间变化的状态转移的视频模型，其中，对于图像中 像素的集合或者区域，I-State表示没有参考图像的增强计算区域；P-State表示 有参考图像的增强计算区域；O-State表示不需做任何增强计算的区域，该像 素集合或区域与编码过程中Micro-Block的大小可以不一样，随时间的状态转 移与Micro-Block的编码类型也不一样，主要是通过场景分析来判定的。当然，图l仅仅是示出了一种视频模型，本发明也可以釆用其他的视频模 型来进行处理。视频模型的建立是为了利用视频与图像相比具有信息量大并且 相关性强的特点，从而降低3见频增强处理中的计算量和」提高视频编码的效率。 在可视电话的应用中，可以把现有的人脸模型或人体模型作为基于内容的视频 模型。本发明的视频图像质量增，强的编码方法中，包括如下的步骤 视频质量分析步骤，用于确定增强处理组的视频图像质量； 增强处理技术及增强处理步骤，用于根据增强处理组的视频图像质量确定 该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增 强处理组进行增强处理。下面就如何确定视频图像质量及如何根据视频图像质量确定该增强处理 组的增强处理技术进行详细说明。一般来讲，影响视频图像质量的有几个主要方面曝光不均、噪声、图像 模糊、色彩不鲜艳等。视频质量分析步骤就是分别针对影响图像质量的这几个 主要方面进行分析、判断，不同的方面分别采用不同的判断算法；而且、可以 才艮据一个增强组中的前一或两帧进行分析，从而得到一个质量增强组的图像质 量判断结果。例如通过^f莫糊聚类的算法，判断出一个增强组中第一帧如果有 曝光不足现象，就对整个增强組进行MSR( Multi-scale Rentix)曝光补偿增强 处理；如果第一帧中图像协方差过大，说明噪声较大，就对整个增强组进行降 噪处理。对于其它的图像质量方面的不足也可以采用对应的增强处理技术，在 此，该增强处理技术包括亮度、对比度增强，用直方图拉伸处理来增强视频的对比度和亮度； 缩放增强，通过对视频图^象的放大与缩小的增强处理，消除图像分辨率的 变化所带来的视频质量的下降；平滑去噪，选用中值滤波去除高频噪声；色彩增强，如蓝天、草原、皮肤等，用人们已经习惯的色彩代替由于采集 条件带来的色彩失真，从而得到令人赏心悦目的彩色视频图像；边缘增强及清晰度增强，用平滑、锐化和细化等技术来增强视频图像的清当然，该增强处理技术不仅仅限于以上的举例，还可以是曝光不均补偿处 理等其他的增强处理技术。具体的视频质量的增强过程可以用视频处理的离散模型表达为下式 G(x， y, t) = Z Z F(s, 7)H(x, y; s， 7)d— t = 1，…N其中，H(x;;:,//)为二维系统的脉冲响应，F(s,;/)是位于X-Y平面上"/;)坐 标处的脉冲的加权因子。在确定增强处理技术后，采用增强处理技术先对该增强处理组的第 一帧图 像增强，得到增强后的质量增益图像，然后利用图1的视频模型和得到的该质 量增益图像，对该增强处理组的其他视频序列进行增强处理，具体过程如下所 述在对增强处理组进行增强处理时，第 一帧做无任何参考信息的增强处理， 视为增强处理的I帧图像，得到质量的增益。然后利用视频模型求得增强处理 组的其他帧的质量增益，有的直接参考前一帧图像的增益，有的需要重新计算 增益等。编码效率分析步骤中可以利用编码成本判别函数，例如计算信息熵，根据 信息熵的增加或减少，计算、判断视频增强前后对图像编码效率的影响。编码步骤中根据增强处理的编码效率进行分别对待增强处理后如果编码 效率高，则直接在编码器基本层对增强后的增强处理组进行编码，增强层内容 为空，否则在基本层对原始增强处理组编码，在增强层，对增强后的增强处理 组与原始增强处理组的视频图像质量的增益使用改进的编码方式编码。该编码器在增强层具有最小的能量表达，其处理过程如下所述获取增强 后的增强处理组与原始增强处理组的质量残差；对上述的质量残差通过能量最 小化运算获取质量残差的能量最小化表达后进行编码。对于增强处理组中每一帧图像增强后的质量增益，与增强处理组中第一帧 的质量增益作残差，用一个矢量集来表示；然后通过能量最小化运算求得该矢 量集的一个坐标变换的标准正交基(利用该标准正交基得到的新坐标系将矢量 集进行坐标变换即可得到一个能量最小化的矢量表达)；编码时，把该标准正 交基作为用户数据采用位平面的方法编码，然后传输。本发明的视频图像质量增强的编码装置如图3所示，包括如下视频模型确立模块，用于建立增强处理的视频模型；视频场景分割模块，用于将视频序列中属于同一场景的视频序列组合作为增强处理组；后续的处理步骤均以增强处理组作为处理的基本单位。 视频质量分析模块，用于确定增强处理组的视频图像质量； 增强处理技术选择及增强处理模块，用于根据增强处理组的视频图像质量确定该增强处理組的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理；编码效率分析模块，获取并判断增强处理后的增强处理组的第 一编码效率与不采用增强处理技术对增强处理组进行处理的第二编码效率之间的关系； 编码模块，在第一编码效率高于第二编码效率时，则直接在编码器基本层对增强后的增强处理组进行编码，否则在基本层对原视频图像编码，在增强层，对增强后的增强处理组与原始增强处理组的差值(即质量增益部分)使用改进的编码方式编码。由于分别对每一个增强处理组进行视频图像质量的判定与分析，进而根据 视频图像质量确定采用的增强技术，因此，同一个序列的不同增强处理组最后 采用的增强技术是不同的，使本发明具有自适应性、可扩展性。下面对本发明的编码器进行详细描述。如图4所示，本发明的编码器包括2部分基本层编码模块和增强层编码 模块，其中基本层编码模块包括DCT单元、量化单元、逆量化单元、IDCT单元、基 本参考层获取单元、第一运动补偿单元和VLC，其中DCT单元将基本层的当前一帧与前一帧的预测图像的残差进行离散余弦 变换，量化单元对DCT单元的输出信号进行量化处理后发送给VLC处理后输 出基本层的比特流；逆量化单元、IDCT单元对量化单元的输出信号进行逆量化处理和反离散 余弦变换处理后，与第一运动补偿单元的输出(即参考预测图像)的和，发送 到基本层参考获取单元，得到当前帧的重建图像，由动补偿单元进行预测，得 到参考预测图像。增强层编码模块包括坐标变换单元、BP、 IBP,坐标逆变换单元、增强层参考获取单元，第二运动补偿单元，增强层的基本原理和过程与基本层相似， 其中坐标变换单元输出的是矢量参数集和能量的最小化表达结果，然后利用 BP方式编码输出增强层码流。本发明的解码装置如图5所示，包括基本层解码模块，用于对基本层编码模块发送的数据进行解码；质量增益解码模块，用于对增强层编码模块发送的数据进行坐标逆变换后 获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧的质 量增益作残差后得到的矢量集；基本层图像重建及补偿模块，用于根据基本层解码模块的输出重建基本层 图像后，利用该质量增益解码才莫块得到的矢量集作为补偿图像来对基本层图像 进行补偿获取增强后的图像输出。其中，基本层解码重建模块包括形状解码模块，用于对编码码流中的形状信息结合前一重构帧进行形状解码；运动解码模块，用于对编码码流中的运动信息进行运动解码后，结合形状解码模块的输出进行运动补偿；紋理解码模块，用于对编码码流中的紋理信息结合形状解码模块的输出进 行解码操作。.同时，基本层图像重建及补偿模块根据运动解码模块和紋理解码模块的输出重建基本层图像。本发明的视频图像质量增强的解码方法包括如下步骤 基本层解码重建步骤，对基本层编码模块发送的数据进行解码，重建基本层图像；质量增益解码模块，用于对增强层编码模块发送的数据进行坐标逆变换后 获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧的质 量增益作残差后得到的矢量集；补偿模块，用于利用该质量增益解码模块得到的矢量集作为补偿图像来对 基本层图像进行补偿获取增强后的图像输出。在图像需要放大缩小的视频增强处理的编解码的例子中在放大、缩小处理后，增强视频图像的质量，使在分辨率发生变化时也能保证图像的质量。基 本层的码流经过解码后得到原始分辨率的图像，经过上采样或下采样得到变分辨率的图像；然后通过增强层解码后的不同分辨率的增益图像进行补偿，得到质量增强的、放大或者缩小的图像。最后应该说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理 解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方 案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
权利要求
1. 一种视频图像质量增强的编码方法，其特征在于，包括步骤A，根据视频图像质量选择增强处理技术，对增强处理组采用不同的图像增强技术进行增强处理；步骤B，图像质量增强处理后，若编码器效率得到提高，编码器基本层直接对增强后的增强图像组进行编码；否则，在基本层对原始图像增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。
2. 根据权利要求1所迷的编码方法，其特征在于，所述步骤A具体包括 步骤Al,将视频序列中属于同 一场景的视频序列组合作为增强处理组； 步骤A2，确定增强处理组的视频图像质量；步骤A3,根据增强处理组的视频图像质量确定该增强处理组的增强处理 技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。
3. 根据权利要求1所述的编码方法，其特征在于，所述步骤B中，增强 处理后的编码效率降低时增强层的处理具体为获取增强处理组中每一帧图像增强后的质量增益；将增强处理组中第 一 帧以外的其他帧的质量增益与增强处理组中第 一 帧的质量增益作残差，并用一个矢量集表示；通过能量最小化运算求得所述矢量集的一个坐标变换的标准正交基； 将该标准正交基作为用户数据编码。
4. 根据权利要求3所述的编码方法，其特征在于，将该标准正交基采用 位平面方法编码。
5. —种视频图像质量增强的编码装置，其特征在于，包括 增强模块，用于根据视频图像质量选择增强处理技术对增强处理组进行增强处理；编码器，用于在增强处理后的编码效率提高时，在基本层对增强后的增强 处理组进行编码，否则，在基本层对原增强处理组编码，在增强层，对增强后 的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。
6. 根据权利要求5所述的编码装置，其特征在于，所述增强模块具体包括视频场景分割模块，用于将视频序列中属于同一场景的视频序列组合作为 增强处理组；视频质量分析模块，用于确定增强处理组的视频图像质量； 增强处理技术选择及增强处理模块，用于根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。
7. 根据权利要求5所述的编码装置，其特征在于，所述编码器的增强层 具体包括质量增益获取模块，用于获取增强处理组中每一帧图像增强后的质量增益；质量增益残差获取4莫块，用于将增强处理组中第一帧以外的其他帧的质量 增益与增强处理组中第一帧的质量增益作残差，并用一个矢量集表示；标准正交基获取模块，用于通过能量最小化运算获取所述矢量集的一个坐 标变换的标准正交基；编码模块，用于将所述标准正交基作为用户数据编码。
8. 根据权利要求7所述的编码装置，其特征在于，所述编码模块采用位 平面方法编;s马。
9. 一种视频图像质量增强的解码方法，其特征在于，包括 基本层解码重建步骤，用于对基本层编码数据进行解码，重建基本层图像； 质量增益解码步骤，用于对增强层编码数据进行坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧图像增强后的质 量增益的残差对应的图^f象；补偿步骤，用于利用该质量增益解码模块得到的图像作为补偿图像来对基 本层图像进行补偿，获取增强后的图像。
10. —种视频图像质量增强的解码装置，其特征在于，包括 基本层解码模块，用于对基本层编码数据进行解码；质量增益解码模块，用于对增强层编码数据进行坐标逆变换后获取增强处 理组中每一帧图像增强后的质量增益与增强处理组中第一帧图像增强后的质量增益的残差对应的图^^;基本层图像重建及补偿模块，用于根据基本层解码模块的输出重建基本层 图像后，利用该质量增益解码模块得到的矢量集作为补偿图像来对基本层图像 进行补偿获取增强后的图像输出。
11.根据权利要求10所述的视频图像质量增强的解码装置，其特征在于， 所述基本层解码模块具体包括形状解码模块，用于对编码码流的形状信息结合前一重构帧进行形状解码；运动解码模块，用于对编码码流中的运动信息进行运动解码后，结合形状 解码模块的输出进行运动补偿；紋理解码模块，用于对编码码流中的紋理信息结合形状解码模块的输出进 行解码操作；所述基本层图像重建及补偿模块根据运动解码模块和紋理解码模块的输 出重建基本层图像。
全文摘要
本发明公开了视频图像质量增强的编解码装置与编解码方法，其中的编码方法，包括步骤A，根据视频图像质量选择增强处理技术，对增强处理组采用不同的图像增强技术进行增强处理；步骤B，图像质量增强处理后，若编码器效率得到提高，编码器基本层直接对增强后的增强图像组进行编码；否则，在基本层对原始图像增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。本发明的装置和方法能有效地提高视频质量的同时提高了编码效率。
文档编号H04N7/26GK101272489SQ200710089640
公开日2008年9月24日 申请日期2007年3月21日 优先权日2007年3月21日
发明者辉 金 申请人:中兴通讯股份有限公司