专利名称：帧内预测方法
技术领域：
本发明涉及一种帧内预测方法，尤其是一种能够有效提高运算速度的 帧内预测方法。
背景技术：
新一代^L频编码标准H. 264/AVC具有良好的网络性能，适用于交互和非交 互应用环境，自发布以来就受到很大的关注，其显著的优点是压缩效率高。 图l示出了H. 264/AVC标准的编码器框架图，其工作过程可根据数据流方向分 为前向通道和重建通道。当前帧F,、的编码，是对原始图像16 x 16像素的宏块 进行编码，宏块编码分为帧内编码和帧间编码，在帧内编码和帧间编码时， 预测宏块P都由重建帧获得。在帧内编码模式中，P由当前帧中的已编码宏块 经解码、重构，由重构宏块uF;预测得到，在帧间编码模式下，P由一个或多 个参考帧d经运动补偿预测得到。预测宏块P与当前宏块Fn的差值为残差宏 块D,，， Dn经变换、量化后得到一串变换参数X，参数X需要进行两方面的处理一是重排序和熵编码处理，整个过程没有反馈分量，故称为前向通道；二是反量化和逆变换处理，产生宏块Dn, D:与预测宏块P相加得到重构宏块uF" 重构宏块uF二再经过 一 系列处理得到重建的参考帧F二 ，用于下 一 帧的运动估 计，因此称为重建通道。H. 264/AVC性能的提高与其采用的一些新技术密不可 分，如采用基于空间域的帧内预测方法、变换采用整数离散余弦变换(Discrete Cosine Transform,以下简称DCT)、运动估计/运动补偿基于4x4像素块、重建通道采用环路滤波、新的熵编码方法等。其中基于空间域的帧内预测是H. 264/AVC性能提高的重要因素，帧内预测 利用图像的空间相关性，根据已解码重构的相邻像素块的信息预测当前块的 信息，得到当前块的预测块，然后对当前块和当前块的预测块的残差进行变 换、量化、编码，为了较好地表示当前块，H. 264/AVC采用率失真最优化(Rate Distortion Optization，以下简称RD0 )技术来最优化编码质量和最小化编 码位。H. 264/AVC标准中以16 x 16像素的宏块为单位， 一个宏块包括一个亮 度块和两个对应的色度块，其中亮度块为1个16 x 16的或者16个4 x 4 的，色度块为8x8的。对于4x4的亮度块，帧内预测有9种预测模式，这些预测模式为模式0: 垂直预观'J (vertical predict ion )模式模式1: 水平予贞观'J (horizontal prediction)模式模式2: DC预测(DC prediction)模式模式3: 45度方向预观'j (diagonal down/left prediction)模式 模式4: 135度方向子贞测(diagonal down/right predict ion )模式 才莫式5: 112. 5度方向预测(vertical- right predict ion)才莫式 模式6: 157. 5度方向予贞观寸(hor izontal-down prediction)模式 模式7: 67. 5度方向预观Hvertical- left prediction)模式 模式8: 22. 5度方向预测(horizonta卜up predict ion)模式 其中，除了DC预测模式，剩余的8种预测模式称为方向预测模式， 图2示出了参考像素和待预测的当前块像素的关系图，其中大写字母表示 的为参考像素，小写字母表示的是当前块像素。图3中的数字标明了各个 方向预测模式的指向。对于16xl6的亮度块，帧内预测有4种预测模式，这些预测模式为 垂直子贞观'J (vertical predict ion )模式 7j^平予贞观寸(horizontal prediction)才莫式DC预测(DC prediction)才莫式 平才反予贞观寸(plane prediction)才莫式对于8x8的色度块，帧内预测有4种预测模式，这些预测模式为DC预测(DC prediction)才莫式7JC平子贞测(horizontal prediction)才莫式垂直子贞测(vertical prediction)模式平板予贞测(plane prediction)模式从上述的分析可以看出如果M8表示色度块的预测模式的数量、M4 表示4 x 4亮度块的预测模式的数量、M16表示16 x 16亮度块的预测模式 的数量， 一个宏块中亮度块和色度块预测模式的组合数量为M8x (M4x 16+M16 )=592，即，为了确定一个宏块的帧内预测的最优模式，编码器需 要进行592次RDO的计算。因此，H. 264/AVC压缩率的提高是以计算复杂 度的增加为代价的，难以实时应用。发明内容本发明的目的是针对现有技术的缺陷，提供一种帧内预测方法，用以解 决现有帧内预测方法计算复杂度高的问题，提高帧内预测编码的速度，有利 于编码器的实时应用。本发明通过实施例提供了如下的技术方案一种帧内预测方法，包括步骤l:选取一个待预测的4 x 4像素亮度块作为当前块； 步骤2:判断所述当前块是否为中心块，若是，执行步骤3，否则，执 行步骤4;步骤3:计算所有预测模式下所述当前块的预测块和所述当前块的残 差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，执 行步骤5步骤4:将可用的预测模式作为候选预测模式，执行步骤5;步骤5:计算候选预测模式的率失真代价参数，选取率失真代价参数最 小的候选预测模式为所述当前块的最优预测模式。本发明实施例根据能量函数选择4 x 4像素亮度块的候选预测模式，通过 计算候选预测模式的率失真代价参数得到最优预测模式，而不是根据所有预 测模式的率失真代价参数得到最优预测模式，由于预测模式数量的减小，可 以减少率失真代价参数的计算量，提高运算速度，适用于实时编码。
图l为现有技术H. 264/AVC标准的编码器框架图； 图2为现有技术H. 264/AVC标准中参考像素与待预测的当前块像素关 系的示意图；图3为现有技术H. 264/AVC标准中方向预测模式的指向图； 图4为本发明帧内预测方法实施例一流程图； 图5为本发明帧内预测方法实施例二流程图。
具体实施方式
下面结合附图和具体实施例进一 步说明本发明的技术方案。 图4为本发明帧内预测方法实施例 一 流程图，该帧内预测方法包括 步骤41:选取一个待预测的4 x 4像素亮度块作为当前块； 步骤42:判断所述当前块是否为中心块，若是，执行步骤43,否则， 执行步骤44;步骤43:计算所有预测模式下所述当前块的预测块和所述当前块的残 差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，执 行步骤45;步骤44:将可用的预测模式作为候选预测模式，执行步骤45;步骤45:计算候选预测模式的率失真代价参数，选取率失真代价参数最小的候选预测模式为所述当前块的最优预测模式。图5为本发明帧内预测方法实施例二流程图，该帧内预测方法包括 步骤501:将一个16 x 16宏块划分为16个4 x 4亮度块，执行步骤502。 H. 264/AVC标准中以16 x 16像素的宏块为单位， 一个宏块包括一个亮度块 和两个色度块，亮度块是1个16 x 16的或16个4 x 4的，色度块是8x8的， 当前亮度块或色度块的像素值用与当前块相邻的上块和相邻的左块已经 解码重构的像素值按照多种预测模式预测编码。因为H. 264/AVC标准中的 变换是以4 x 4块为单位的，且4 x 4块在预测编码中占据很大的比例，因此， 本实施例针对4 x 4亮度块的预测编码进行改进，对16 x 16亮度块和8 x 8色 度块的预测编码方法不予改变。步骤502:选取一个待预测编码的4 x 4亮度块作为当前块，执行步骤 503。 4 x 4亮度块的帧内预测方法的预测模式包括8种方向预测和1种DC预 测。传统的H. 264/AVC标准中采用RDO技术进行亮度块的预测模式的选择包 括如下步骤(1) 对于4x4亮度块，分别计算9种预测模式下的率失真代价参数， 得到率失真代价参数的最小值及对应于率失真代价参数最小的预测模式。 率失真代价参数(RDCost )的计算公式为RDCost-SSD+l x bitrate,其 中RDCost为率失真代价参数；SSD为当前块与重构块的差值块的所有元素 的平方和，即重构残差的平方；义为量化参数(QP )的函数， ;i = 0.85x2(QP—12)/3; bitrate为熵编码后的码率，即预测编码后形成码流的 比特数。(2) 依照上述方法得到16个4 x 4亮度块的最小率失真代价参数，并 将这16个最小率失真代价参数相加，将相加之后的和作为4 x 4亮度块的率 失真代价参数。(3) 对于16 x 16亮度块，分别计算4种预测模式下的当前块与预测块的残差的hasmard变换后所有元素的和，即残差hasmard变换和(STAD )的 值，计算STAD值最小的预测模式的率失真代价参数，将该率失真代价参数 作为16 x 16亮度块的率失真代价参数.(4)比较(2) 、 (3)得到的率失真代价参数，选择最小的率失真 代价参数对应的预测模式作为帧内亮度块的预测模式。从上述(l)的率失真代价参数的公式可以看出，对当前4x4亮度块 的每种预测模式都要进行预编码，计算复杂度较大，为了降低计算复杂度， 可以简化RDO的计算或者减少用来计算RDO的预测模式，为了降低帧内编码 的复杂度同时较好地保持帧内编码的效率，本实施例采用减少用来计算 RDO预测模式的方法。步骤503:判断当前块是否为中心块，是则执行步骤504，否则，执行 步骤507。由于视频编码中采用从左至右、从上至下的顺序进行解码重构， 如果与当前块相邻的左块和相邻的上块均已解码时，称为左块和上块可 用，当左块已解码重构时，称为左块可用，当上块已解码重构时，称为上 块可用，当两者均未解码时，称为两者均不可用。当左块和上块均可用时， 当前块即为中心块，此时，对应于当前块有9种预测模式；当前块不为中 心块时，对应于当前块的预测模式称为可用预测模式，可用预测模式不足 9种，如只有左块可用时，可用预测模式为将水平预测模式(模式l) 、 DC 预测模式(模式2) 、 22.5度方向预测模式(模式8)，只有上块可用时， 可用预测模式为垂直预测模式(模式O) 、 DC预测模式(模式2) 、 45度方 向预测模式(模式3) 、 67. 5度方向预测(模式7)。步骤504:计算所有预测模式下的当前块与预测块的残差的能量函数， 执行步骤505。从上述分析可知，如果当前块为中心块时，其可用的预测 模式有9种，为了减少RDO计算的运算量，采用减少预测模式的方法。由于 自然的或合成的图像的大部分区域是由低频组成的，而大多数高频信息能 用O行程编码，且高频可以粗略地反映一个图像的紋理的复杂程度。在实际应用中，用解码的相邻块的信息按照当前块的紋理方向来预测当前块的 信息，然后对相应的残差进行能量函数的计算，本发明所定义的能量函数 是从多维的频域空间到 一 维的能量空间的映射，紋理残差块的dct变换的 高频分量反映了紋理残差的细节信息，为了突出纹理残差的细节信息，本 发明为高频分配较高的权值()可以放大高频系数的影响。由本发明 所述的dct能量函数的定义，紋理残差块细节越丰富(高频信息越多)， 其dct能量越大。本发明正是利用了能量函数的这一特征，选择紋理残差 块复杂度较小(能量较小、高频信息较少)的几种模式进行rdo的计算， 从而可以达到减少用来进行rdo计算的的才莫式数量，最终实现加快帧内编 码速度的目的。其中能量函数的计算公式为0> /j^=7义=7这里^cr是针对预测残差的dct变换的能量计算，"和A是当前块的 宽度和高度，"c:rO力是位于&力的dct系数，对于h. 264/avc的4 x 4的 亮度块，上式中权值函数对乂力(x = l,2".'/^ = l，2"." ), 定义如下X」=其中,w = 4， /2 = 4上式中的dct变换采用标准中的整数dct变换，公式如下所示:DCT =1 1 1 -1 —1 一l1 一2 2X2 1 1 -1 _1 一l1 _2 1a222了 a22277其中，《 =丄，6 =」丄，X为当前块与预测块的残差。步骤505:将不同预测模式下的重构残差的能量函数值按从小到大的 顺序排列，选取最小的四个能量值第一能量(El)、第二能量(E2)、第 三能量(E3)、第四能量(E4)及对应的第一预测模式(ml)、第二预测 模式(m2)、第三预测模式(m3)、第四预测模式(m4),执行步骤506。步骤506:根据下述的篩选原则，/人上述的四种预测才莫式ml、 m2、 m3、 m4中确定候选预测模式，执行步骤508。所述筛选原则包括步骤5061:判断E2是否大于"xEl，若是，执行步骤5062;否则， 执行步骤5063。步骤5062:候选预测模式为ml。步骤5Q63:判断E3是否大于"xEl，若是，执行步骤5064，否则执 行步骤5065。步骤5064:候选预测才莫式为ml和m2。步骤5065:判断E4是否大于"xEl,若是，执行步骤5066，否则执 行步骤5067。步骤5066:候选预测模式为ml、 m2和m3。步骤5067:判断E4是否小于"xEl，若是，执行步骤5068，否则， 执行步骤5069。步骤5068:候选预测模式为ml和m2。步骤5069:候选预测模式为ml、 m2、 m3和m4 。上述的","是常数，经过大量的试验，取"=1. 4和"=1. 05时编码效 果最佳。步骤507:将可用的预测模式作为候选预测模式，执行步骤508。当 只有与当前块相邻的左块可用时，可用预测模式为模式1、模式2、模式8; 当只有与当前块相邻的上块可用时，可用预测模式为模式O、模式2、模式3、模式7;当与当前块相邻的左块和上块均不可用时，候选预测模式 为DC预测模式。步骤508:对当前块各候选预测模式进行RDO计算，选取率失真代价 参数RDCost最小的候选预测模式为当前块的最优预测模式，执行步骤 509。即当前块的相邻左块和相邻上块均可用时，根据对能量函数确定的 候选预测模式进行RDO计算，得到的率失真代价参数最小的候选预测模式 为最优预测模式；当前块的相邻左块或相邻上块之一可用时，对可用的预 测模式进行RDO计算，得到的率失真代价参数最小的可用预测模式为最优 预测模式；当前块的相邻左块和相邻上块均不可用时，DC预测模式为最优 预测模式。步骤509:判断是否16个亮度块都作为当前块进行过上述计算，若是， 执行步骤510，否则，重复执行步骤502,直到所有的4 x 4亮度块都完成 预测编码。步骤510:将16个4 x 4亮度块的最小率失真代价参数相加，并将相 加后的和作为4x4亮度块的率失真代价参数RDCost4，执行步骤512。步骤511:计算16 x 16亮度块4种预测模式的率失真代价参数，得到 最小的率失真代价参数及对应于最小率失真代价参数的预测模式，其中最 小的率失真代价参数为16 x 16亮度块的率失真代价参数RDCost16,对应 于最小率失真代价参数的预测模式为16 x 16亮度块的最优预测模式，执 行步骤512。步骤512:比较4x4亮度块的率失真代价参数RDcost4和16 x 16亮 度块的率失真代价参数RDcostl6,若RDcost4<RDcostl6,执行步骤513, 否则，执行步骤514。步骤513:选取对应于各个4 x 4亮度块的最优预测模式作为16 x 16宏块的亮度块的最优预测模式。步骤514:选取对应于RDcostl6的16 x 16亮度块的最优预测模式作为16x 16宏块的亮度块的最优预测模式。本实施例，对H. 264/AVC标准中的4 x 4亮度块的帧内预测方法进行改 进，用残差的DCT变换得到的能量函数确定候选预测模式，对候选预测模 式进行RDO计算，而不是对所有的预测模式进行RDO计算，由于进行RDO计 算的预测模式数量减少，可以有效地减少RDO的运算量，有利于应用于实 时编码。最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解其依然可以对前述各实施例所记载的技术方案进行修 改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
权利要求
1、一种帧内预测方法，其特征在于，包括步骤1选取一个待预测的4×4像素亮度块作为当前块；步骤2判断所述当前块是否为中心块，若是，执行步骤3，否则，执行步骤4；步骤3计算所有预测模式下所述当前块的预测块和所述当前块的残差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，执行步骤5；步骤4将可用的预测模式作为候选预测模式，执行步骤5；步骤5计算候选预测模式的率失真代价参数，选取率失真代价参数最小的候选预测模式为所述当前块的最优预测模式。
2、 根据权利要求l所述的帧内预测方法，其特征在于，所述步骤2具体 为像素亮度块按从左至右、从上至下的顺序解码，当与所述当前块相邻 的左像素亮度块和上像素亮度块均已解码时，所述当前块为中心块。
3、 根据权利要求l所述的帧内预测方法，其特征在于，所述步骤3具体 包括步骤31:计算不同预测模式下的所述当前块的预测块；步骤32:根据不同预测模式下的所述当前块的预测块和所述当前块，得 到不同预测^t式下的所述当前块的预测块和所述当前块的残差；步骤33:对不同预测模式下的残差进行离散余弦变换得到不同预测模式 下的残差的能量函数；步骤34:将不同预测模式下的残差的能量函数按照能量值从小到大的顺 序排列，依次得到能量值较小的第一能量、第二能量、第三能量和第四能量， 并得到对应于所述第一能量的第一预测模式、对应于所述第二能量的第二预 测模式、对应于所述第三能量的第三预测模式和对应于所述第四能量的第四 预测模式；步骤35:根据所述第一能量、第二能量、第三能量和第四能量及所述第 一预测模式、第二预测模式、第三预测模式和第四预测模式确定候选预测模 式。
4、根据权利要求3所述的帧内预测方法，其特征在于，所述步骤33的计 算公式为<formula>formula see original document page 3</formula>其中，<formula>formula see original document page 3</formula>y为所述当前块的宽度方向的坐标，x为所述当前块的高度方向的坐标， Z为所述当前块的预测块与所述当前块的残差，DCTO;， ;c)为所述当前块的坐标为(y,x)的iXT系数，"=会》=^|。
5、根据权利要求3所述的帧内预测方法，其特征在于，所述步骤35具体 包括步骤351:判断所述第二能量是否大于所述第一能量的l. 4倍，若是， 则所述第一预测模式为候选预测模式，否则，执行步骤352;步骤352:判断所述第三能量是否大于所述第一能量的l. 4倍，若是， 则所述第一预测模式和第二预测模式为候选预测模式，否则，执行步骤 353;步骤353:判断所述第四能量是否大于所述第一能量的l. 4倍，若是， 则所述第一预测模式、第二预测模式和第三预测模式为候选预测模式，否 则，执行步骤354;步骤354:判断所述第四能量是否小于所述第一能量的l. 05倍，若是， 则所述第一预测模式和第二预测模式为候选预测模式，否则，所述第一预 测模式、第二预测模式、第三预测模式和第四预测模式为候选预测模式。
6、 根据权利要求l所述的帧内预测方法，其特征在于，所述步骤4具 体包括当与所述当前块相邻的上像素亮度块已解码时，将垂直预测模式、DC 预测模式、45度方向预测模式、67. 5度方向预测模式作为候选预测模式(将 各个模式换成背景技术中的具体模式名称)；当与所述当前块相邻的左像素亮度块已解码时，将水平预测模式、DC 预测模式、22. 5度方向预测模式作为候选预测模式；当与所述当前块相邻的上像素亮度块、左像素亮度块均未解码时，将 DC预测模式作为候选预测模式。
7、 根据权利要求l所述的帧内预测方法，其特征在于，还包括 步骤6:将16个4 x 4像素亮度块最优预测模式的率失真代价参数之和作为4 x 4像素亮度块的率失真代价参数；步骤7:计算16 x 16像素亮度块在不同预测模式下的残差hasmard变换 和的值；步骤8:将具有残差hasmard变换和的值最小的预测模式的率失真代价 参数作为16 x 16像素亮度块的率失真代价参数；步骤9:判断所述4 x 4像素亮度块的率失真代价参数是否小于所述16 x 16像素亮度块的率失真代价参数，若是，将对应于4x4像素亮度块的最 优预测模式作为像素亮度块的最优预测模式，否则，将对应于16xl6像素 亮度块的最优预测模式作为像素亮度块的最优预测模式。
全文摘要
本发明涉及一种帧内预测方法。该帧内预测方法包括选取一个待预测的4×4像素亮度块作为当前块；判断所述当前块是否为中心块，若是，计算所有预测模式下所述当前块的预测块和所述当前块的残差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，否则，将可用的预测模式作为候选预测模式；计算候选预测模式的率失真代价参数，选取率失真代价参数最小的候选预测模式为所述当前块的最优预测模式。本发明根据残差能量函数确定候选预测模式，通过计算候选预测模式的率失真代价参数确定最优预测模式，达到减少需要计算率失真代价参数的预测模式的数量，进而减小计算量的目的。
文档编号H04N7/26GK101222635SQ20081005677
公开日2008年7月16日 申请日期2008年1月24日 优先权日2008年1月24日
发明者冯会晓, 孙艳丰, 尹宝才, 施云惠, 李敬华 申请人:北京工业大学