基于时域相关性的高性能视频帧间编码方法及其转码器的制造方法
【专利摘要】本发明提供了一种基于时域相关性的高性能视频帧间编码方法及其转码器,主要包括编码方式划分和预测模式选择，在编码方式划分中，通过帧差法将当前帧与前一帧进行对比，得到当前编码块的运动特性，提前进行CU划分；在预测模式选择中，遍历由确定CU深度下的PU预测模式。本发明根据当前编码块与参考块之间的灰度值差进行条件判决，在进行编码之前提前确定当前编码单元的编码深度信息，减少帧间预测编码的次数，从而有效的降低了编码端的计算复杂度。实验结果表明，本发明在编码效率和峰值信噪比(PSNR)损失都很小的情况下，和HM9.0标准中的帧间预测方法相比，大大降低了编码时间。
【专利说明】基于时域相关性的高性能视频帧间编码方法及其转码器 【技术领域】
[〇〇〇1] 本发明涉及图像通信领域中的视频编码帧间模式技术问题，尤其是涉及一种高性 能视频编码帧间模式判定方法。 【背景技术】
[0002] 近年来，随着视频业务的飞速发展，人们对观看高清视频的需求也越来越高，目前 主流的视频压缩编码标准H. 264已经不能适应高数据量下的高清视频传输。在这种趋势 下，新一代视频压缩编码标准HEVC应运而生。HEVC最主要的目标是在压缩效率上获得显著 提高的同时减少50%左右的码率，但也由此带来了计算复杂度的提高。因此，如何在保证视 频编码质量的同时降低编码的计算复杂度成为了视频编码领域研究的热点。
[0003] 相对于H. 264, HEVC在编码性能上有了很大程度的提升，主要体现在以下几个方 面：（1)采用了更加灵活的编码结构来提高编码效率，它包括编码单元CU、预测单元PU和变 换单元TU，同时将宏块的大小从H. 264的16 X 16扩展到了 64X64,以便于更好的进行高分 辨率视频的压缩；（2)采用了更多的帧内预测方向，每种TO尺寸最多可达35种预测方向， 更广范围的PU尺寸和更多的PU帧内预测方向使得HEVC帧内预测比H. 264/AVC有了更高 的编码效率；（3)采用了更多的帧间预测模式，包含了对称TO模式和非对称PU模式，使得 HEVC有了更加精确的块匹配；(4)采用了更多尺寸和类型的正交变换，灵活的块结构，采样 点自适应偏移（SA0)，自适应环路滤波（ALF)和并行化设计等技术。
[0004] 目前学术界关于如何减低编码计算复杂度的帧间优化算法已有很多，并大多数已 经取得了良好的效果。在HEVC快速帧间算法的研究中，清华大学的张强等利用视频序列间 的纹理信息检测出相对平坦的区域以及随时间变化较稳定的区域来提前终止四叉树的CU 划分，从而达到减少帧间预测计算复杂度的目的。Bampi S等人提出了一种低复杂度下的运 动矢量合并算法，通过合并小尺寸PU的运动向量来计算更大块尺寸的进而减少运算复 杂度。上海大学的胡锦雯等根据当前编码单元CU的运动特征来采取不同的优化措施来减 少帧间预测时间。P.Helle等介绍了编码单元进行合并时的各种情况，并讨论了在不同情况 下如何更好的进行运动信息预测，在帧间预测中采用合并模式可以大大提高HEVC实时编 码的效率。
【发明内容】
[0005] 针对新一代视频压缩编码标准HEVC计算复杂度较高的特点，本发明利用视频序 列间时域上的相关性，提出了 一种基于时域相关性的高性能视频帧间编码方法，减少帧间 预测编码的次数，从而有效的降低了编码端的计算复杂度。
[0006] 本发明的基本思想是利用相邻帧之间的时域相关性，根据前后两帧中相同位置块 的灰度值差来确定两帧的相似程度，根据相似程度来快速确定CU的划分模式，从而减少预 测编码的遍历深度以及冗余的RDCost递归计算，进而达到减少计算复杂度的目的。
[0007] 本发明提供的基于时域相关性的高性能视频帧间编码方法，包括编码方式划分 和预测模式选择，在编码方式划分中，通过帧差法将当前帧与前一帧进行对比，得到当前编 码块的运动特性，提前进行CU划分；在预测模式选择中，遍历由确定CU深度下的PU预测模 式，减少不必要的率失真值计算。具体主要包括以下过程步骤：
[0008] (1)判断当前编码帧是否为第一帧，若为第一帧，跳过下面的全部步骤，直接进入 xCompressCU函数进行HM标准的四叉树递归划分；
[0009] (2)判断当前IXU是否为第一个IXU，若为第一个IXU，进入帧差处理函数，否则，跳 过步骤（3);
[0010] (3)进入帧差处理函数进行当前帧图像与前一帧图像的灰度值差，对帧差后的图 像进行自适应二值化处理，得到需要跟踪像素点的灰度值；
[0011] (4)判断当前IXU是否在边界上，若当前IXU在边界上，跳过下面的全部步骤，直接 进入xCompress⑶函数进行HM标准的四叉树递归划分，否则，以一个IXU为单位，遍历每个 LCU跟踪像素点的灰度值；
[0012] (5)根据设定的门限对当前LCU的运动剧烈程度进行判定，若当前LCU为运动剧烈 区域，则进入xCompress⑶函数进行HM标准的四叉树递归划分；否则，直接参考前一帧图像 对应位置LCU的划分情况，对当前编码的LCU按设定的深度进行划分；
[0013] (6)进入xCompress⑶，遍历由帧差法确定的⑶编码深度下的PU预测模式，完成 对视频编码帧间模式的判定。
[0014] 在本发明的上述技术方案中，对于在步骤（3)，最好对帧差后的图像进行自适应二 值化处理和滤波处理。
[0015] 在本发明的上述技术方案中，所述⑶编码深度优先考虑为0?3。
[0016] 在本发明的上述技术方案中，所述灰度值差为当前帧图像的灰度值与相邻的前一 帧图像的灰度值相减所得的差值。
[0017] 在本发明的上述技术方案中，若当前区域为非运动剧烈区域，在进入xCompress⑶ 函数之前确定CU编码的深度并进行深度划分。
[0018] 在本发明的上述技术方案中，所述运动剧烈区域为IXU像素值为255的像素点数 大于门限值的区域；所述门限值为根据自适应二值化阈值确定的值；所述门限值可按下述 方法确定：当阈值小于等于10时，门限值为10 ;当阈值为10 - 40时，门限值为5 ;当阈值大 于等于40时，门限值为0。
[0019] 根据本发明的上述方法可以编制执行上述基于时域相关性的高性能视频编码帧 间模式判决方法的视频编码器。
[0020] 本发明是基于以下思路分析而完成的：
[0021] 在视频序列中，如后两巾贞有1?度的相关性，后一巾贞延续了如一巾贞中的运动趋势，这 些相邻帧在背景区域上是基本相似的，这些背景区域可以视为图像中的静止区域。如果当 前帧相对于前一帧是静止状态的，则两帧之间对应位置的灰度差值会非常小，相反，如果当 前帧相对前一帧运动比较剧烈，则两帧之间对应位置的灰度差值会比较大。根据以上分析， 相邻两帧对应位置上的灰度值差可以反应一帧图像中的运动区域，因此可以将灰度值差作 为运动区域检测的判据。
[0022] 当得到一帧图像中每个像素点相对于前一帧图像对应位置的灰度值差后，再经过 二值化与滤波处理，可以检测出较为精确的相对运动区域。根据之前的说明，可以检测出图 像中运动较为剧烈的区域。考虑到每一帧图像由很多个像素点组成，如果穷尽考虑图像帧 中的每一个像素点，则需要处理的数据量也是巨大的。基于这种情况，本发明以一个LCU为 单位进行数据分析。由于一个IXU可以分为64个8X8大小的S⑶，因此，我们取每个SOT 块的中心像素点进行跟踪，对每个LCU跟踪64个像素点,保存这64个像素点的灰度值差， 为后来的CU划分提供依据。
[0023] 由于帧差后的二值图像也会存在一些检测误差，这里，设置一个门限来减少这些 误差，对一个IXU保存下来的64个灰度值差而言，如果灰度值为255的像素点数量大于这 个门限时，我们可以判定该LCU相对于前一帧对应位置的LCU为运动剧烈的，因此我们需要 用HM标准算法进行预测编码。如果小于这个门限，则该LCU相对于前一帧对应位置的LCU 为静止的，即我们假定的背景区域，因此可直接参照前一帧对应位置的LCU进行CU划分。
[0024] 最后，考虑到某些分辨率大小的视频序列在边界处的LCU不完整，在这里只参 考每帧图像中完整的IXU，即保证每个IXU中有64个像素点是可以被跟踪的。比如对于 416X240的视频序列，完整的IXU个数为6X3 = 18个。在实际的编码过程中，HM对这种 情况的处理是将边界不完整的IXU补全为一个IXU进行编码操作，即该分辨率下的实际IXU 个数为7X4 = 28个。由于边界上的IXU比较特殊，当编码的IXU为边界上的IXU时，不使 用帧差法快速划分出CU的深度信息，转而使用HM标准编码。
[0025] 相比HEVC视频编码标准，本发明的方法在编码效率和峰值信噪比（PSNR)损失都 很小的情况下，能在较大幅度降低视频编码的计算复杂度，大大降低编码时间。本发明的 方法是利用视频序列在相邻帧中时域相关性强的特点，发明了一种基于灰度值差的快速CU 划分算法，在编码当前CU时利用参考帧中对应位置处的CU作为参考，进行当前CU的快速 划分，根据帧差后的相关信息确定当前CU的编码深度，从而达到减少遍历编码层数，降低 计算复杂度的目的。通过本发明，可以合理的去除冗余度，同时也不会损失视频的信息量， 因此也基本不会造成视频压缩比和视频质量的下降。
[0026] 本发明方法改进的是整个视频编码计算过程中计算复杂度最关键的地方。在整个 视频编码过程中，CTU递归划分的计算复杂度所占的比例超过90%，本发明方法最关键的 是根据相邻两帧之间的时域相关性，根据当前编码块与参考块之间的灰度值差进行条件判 定，在进行编码之前提前确定当前编码单元的编码深度信息，减少帧间预测编码的次数，因 此，在计算复杂度方面，本发明方法着手的点为视频编码计算过程中最关键改进之处。
[0027] 本发明方法能在保持降低计算复杂度的基础上，不额外增加硬件实现成本。视频 编码技术很多情况下最终均要嵌入硬件设备，包括FPGA和DSP等，因此，对于改进方法的代 码运算代价和所需要的数据存储硬件代价要求均较高。本发明方法需要增加的代码很少， 主要包括几个判断语句，在硬件所需的存储器方面，由于本发明方法中判断的对象为前一 帧中对应位置CU分块的PU模式，而这些模式的信息原来就存储在数据流中，本发明方法并 未带来额外的数据存储要求，因此，若将本发明方法应用于硬件设备，对硬件设备的制造不 会增加额外的成本，同时还能节省功耗。 【专利附图】
【附图说明】
[0028] 图l_a?图l_e为对两幅图像进行巾贞差并处理后的不意图，其中图l_a、图l_b为 输入的原始图像，图1-c为帧差后的图像，图Ι-d为二值化后的图像，图Ι-e为滤波后的图 像；
[0029] 图2为一帧图像中IXU划分示意图；
[0030] 图3为本发明的基于帧差法的HEVC快速帧间编码的流程图；
[0031] 图4-a?图4-f为本发明方法与HEVC全编码的率失真曲线图，其中图4-a为 BQMall的率失真曲线；图4-b为BasketballDrill的率失真曲线；图4-c为FourPeople的 率失真曲线；图4-d为Johnny的率失真曲线；图4-e为BQTerrace的率失真曲线；图4-f) Cactus的率失真曲线。 【具体实施方式】
[0032] 下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例 只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟 悉人员根据上述
【发明内容】
，对本发明做出一些非本质的改进和调整进行具体实施，应仍属 于本发明的保护范围。
[0033] 本发明的快速帧间编码方法，与HM9. 0标准的帧间编码方法比较，比较过程如下：
[0034] 1、同时打开两个方法的程序并设置好相同的配置文件，参考软件选择HM9. 0,量化 步长（QP)值分别取22、27、32、37。本发明将与HEVC视频编码标准的参考软件算法HM9. 0 的方法进行比较。并对其三种视频编码性能：峰值信噪比（PSNR)、比特率以及编码时间（其 中PSNR体现视频的客观视频质量，视频编码时间体现编码的计算复杂度），进行比较分析， 比较性能的差距用以下三个指标进行评价：
【权利要求】
1. 一种基于时域相关性的高性能视频帧间编码方法，其特征在于主要包括以下过程步 骤： (1) 判断当前编码帧是否为第一帧，若为第一帧，跳过下面的全部步骤，直接进入 xCompressCU函数进行HM标准的四叉树递归划分； (2) 判断当前IXU是否为第一个LCU，若为第一个IXU，进入帧差处理函数，否则，跳过步 骤⑶； (3) 进入帧差处理函数确定当前帧图像与前一帧图像的灰度值差，对帧差后的图像进 行自适应二值化处理，得到需要跟踪像素点的灰度值； (4) 判断当前LCU是否在边界上，若当前LCU在边界上，跳过下面的全部步骤，直接进入 xCompress⑶函数进行HM标准的四叉树递归划分，否则，以一个IXU为单位，遍历每个IXU 跟踪像素点的灰度值； (5) 根据设定的门限对当前LCU的运动剧烈程度进行判定，若当前LCU为运动剧烈区 域，则进入xCompress⑶函数进行HM标准的四叉树递归划分；否则，直接参考前一帧图像对 应位置LCU的划分情况，对当前编码的LCU按设定的深度进行划分； (6) 进入xCompress⑶，遍历由帧差法确定的⑶编码深度下的PU预测模式，完成视频 帧间编码。
2. 如权利要求1所述的基于时域相关性的高性能视频帧间编码方法，其特征在于在步 骤（3)中对帧差后的图像进行自适应二值化处理和滤波处理。
3. 如权利要求2所述的基于时域相关性的高性能视频帧间编码方法，其特征在于所述 ⑶编码深度为〇?3。
4. 如权利要求3所述的基于时域相关性的高性能视频帧间编码方法，其特征在于所述 灰度值差为当前帧图像的灰度值与相邻的前一帧图像的灰度值相减所得的差值。
5. 如权利要求1至4之一所述的基于时域相关性的高性能视频帧间编码方法，其特征 在于若当前区域为非运动剧烈区域，在进入xCompress⑶函数之前确定⑶编码的深度进行 深度划分。
6. 如权利要求1至4之一所述的基于时域相关性的高性能视频帧间编码方法，其特征 在于所述运动剧烈区域为LCU像素值为255的像素点数大于门限值的区域。
7. 如权利要求5所述的基于时域相关性的高性能视频帧间编码方法，其特征在于所述 运动剧烈区域为IXU像素值为255的像素点数大于门限值的区域。
8. 如权利要求7所述的基于时域相关性的高性能视频帧间编码方法，其特征在于所述 门限值为根据自适应二值化阈值确定的值。
9. 如权利要求8所述的基于时域相关性的高性能视频帧间编码方法，其特征在于所述 门限值按下述方法确定：当阈值小于等于10时，门限值为10 ;当阈值为10 - 40时，门限值 为5 ;当阈值大于等于40时，门限值为0。
10. -种用于执行权利要求1?9之一所述基于时域相关性的高性能视频帧间编码方 法的视频编码器。
【文档编号】H04N19/105GK104113754SQ201410341864
【公开日】2014年10月22日 申请日期:2014年7月17日 优先权日:2014年7月17日
【发明者】何小海, 彭欣, 李向群, 何娟, 熊淑华, 滕奇志 申请人:四川大学