编解码方法及装置、分像素插值处理方法及装置的制作方法

专利名称：编解码方法及装置、分像素插值处理方法及装置的制作方法
技术领域：
本发明涉及多媒体技术，特别涉及一种帧间预测编码方法、解码方法、编 码装置、解码装置，以及一种分像素插值处理方法和装置。
背景技术：
随着多媒体技术的发展和多媒体应用的迅速推广，视频图像压缩标准和技
术得到了广泛的关注，目前的视频编码标准，H.26x和MPEG-x(MPEG， Motion picture experts group,运动图4象专家组)以及由中国音一见频编解码技术标准工作 组制定的AVS ( Audio video Standard,音^L频编码标准)标准中的一见频标准都 是基于混合编码框架之上的。这种混合编码框架可以利用预测编码去除时域冗 余度、利用变换编码去除空域冗余度以及利用熵编码去除统计冗余度。
预测编码可分为帧内预测编码和帧间预测编码，其中基于运动补偿的帧间 预测编码是视频编码中的重要环节。帧间预测编码主要是利用运动补偿预测技 术来减小时间冗余度的。物体运动具有连续性，而数字视频图像则是数字化离 散的信号，在视频运动预测中，通常采用分像素插值技术来提高运动预测补偿 的准确性。如在AVS1-P7基准档次视频编码标准中采用1/4像素的运动补偿预 测。1/4像素插值过程分为两步进行，首先是对参考图像进行l/2像素插值，通 过插值滤波器F1、 F2将原图像在水平和垂直方向上进行插值，插值后的图像变 为原图像的4倍，然后通过插值滤波器F3进行l/4像素插值，得到大小为原图像 16倍的l/4像素插值参考图像。分像素插值技术大大改善了运动预测的准确程 度，进一步减小了当前编码图像和参考图像间的残差图像的能量。
如图l所示，为现有AVS亮度插值标准中，整数样本、1/2样本和1/4样 本的位置关系示意图，大写字母A-X表示图像中整数像素点的位置，小写字母 aa、 b、 j、 t、 hh、 bb、 cc、 dd、 h、 m、 ee、 ff、 gg表示1/2像素点的位置，小
写字母a、 c、 d、 e、 f、 g、 i、 k、 n、 p、 q、 r表示1/4像素点的位置。
AVS1-P7中亮度插值方法中，1/2样本位置的预测值水平方向通过8抽头 滤波器Fl(-l, 4， -12， 41，41,-12， 4， -1)/64,垂直方向通过4 4由头滤波器 F2(-l，5,5，-l)/8计算得到。1/4样本位置的预测值通过线性滤波器F3(1,1)/2计算 得到。
其中，1/2样本的计算过程如下
1/2样本6:首先用8抽头滤波器F!对水平方向上最近的8个整数样本滤 波，得到中间值6，= (-C+4D-12E+41F+41G-12H+4I-J);最终的预测值 6=Clipl((6，+32) 6);
1/2样本&首先用F2对垂直方向上最近的4个整数样本滤波，得到中间 值/z=("+5F+5iV-5);最终的预测值/z=Clipl((/z+4) 3);
1/2样本_/:首先用F2在垂直方向上对最近的4个1/2样本最终预测值滤波， 得到中间值 j'，=(-aa+56+5";z),其中aa=Clipl(( a，+32) 6)， r=Clipl((f，+32)》6), /^=Clipl((M，+32) 6)。标记为f，和W的1/2样本 中间值可用F,对水平方向滤波得到(与6'的计算过程相同)。最终的预测值 y'=Clipl((/，+4) 3)。
1/4样本的计算过程如下
1/4样本a: a=(F+6+l) l,其中6是相应位置1/2样本的最终预测值，F 是整数样本值；
1/4样本c: c=(G+6+l) l,其中6是相应位置1/2样本的最终预测值，G 是整数样本值；
1/4样本A J=(F+/z+l) l，其中/z是相应位置1/2样本的最终预测值，F 是整数样本值；
1/4样本""=(N+/2+l) l,其中/2是相应位置1/2样本的最终预测值，N 是整数样本值；
1/4样本/: /=(/2+/+1)>>1,其中/2和j'是相应位置1/2样本的最终预测值；
1/4样本A: h(>H7'+l) l,其中m和y是相应位置1/2样本的最终预测值； 1/4样本/:戶(Z)+y+l)》1，其中6和J是相应位置1/2样本的最终预测值； 1/4样本？ ？=(汁乂+1) 1,其中f和y是相应位置1/2样本的最终预测值； 1/4样本e, g， 和 e = (F+/ + 1 ) 1; g = (G+_/ + 1 )》1; p = (N+_/ + 1 )》1; r = (0+y+ 1) 1;
其中F, G， N和O是整数样本值，乂是相应位置l/2样本的最终预测值。 H.264中的1/4像素插值过程和AVS类似，其1/2像素插值采用 一个6抽
头滤波器F《1， -5， 20， 20, -5， l)/32, 1/4像素插值滤波器采用2抽头滤波
器F2(1，1)/2。
无论是AVS还是H.264标准，其插值过程中仅仅使用了图像的水平和垂 直插值方向，对于图^f象内容的紋理分布不同于水平方向或垂直方向的图像的插 值精度较低，因此造成编码率低。

发明内容
本发明4是供一种帧间预测编码方法、解码方法、编码装置、解码装置，以 解决现有技术中仅仅使用图像的水平和垂直插值方向时导致的编码率低的问
题；
本发明还提供一种分像素插值处理方法和装置，以解决现有技术中分像素 参考样本值精度较低的问题。
为解决上述技术问题，本发明实施例提供如下技术方案 一种帧间预测编码方法，包括如下步骤
根据设定的至少两种插值模式对待编码图像块的整像素样本分别进行分 像素插值，获取各插值模式对应的分像素参考样本值，其中任意两种插值模式中至少有一级分像素样本的插值方向不相同；
从参考帧中搜索定位帧间最优整像素匹配参考块对应的整像素位置信息， 从备分像素参考样本值中搜索定位帧间最优分像素匹配参考块对应的各分像 素位置信息；
在所述整像素位置信息和各分像素位置信息中选择最优位置信息，并根据 该最优位置信息和对应的最优匹配参考块编码所述待编码图像块。
其中，当所述最优位置信息为一个分像素位置信息时，在进行编码时，将 该最优位置信息对应的分像素参考样本值的插值模式指示信息编码到码流中。
其中，对每一个待插值的分像素，在插值方向上划一条穿过待插值分像素 位置的直线，根据其它样本到该直线的垂直距离，从垂直距离最短的样本开始， 按照垂直距离由短到长的顺序选择相应数量的插值样本计算该待插值分像素 的预测值。
其中，对每一个待插值的分像素，在插值方向上划一条穿过待插值分像素 位置的直线，根据其它样本到该直线的垂直距离，从垂直距离最短的样本开始， 按照垂直距离由短到长的顺序选择相应数量的插值样本计算该待插值分像素 的预测值。
其中，对每一个待插值的分像素，先根据该待插值的分像素与其它样本之 间的直线距离，从直线距离最短的样本开始，按照直线距离由短到长的顺序选 择的备选插值样本，再在插值方向上划一条穿过待插值分像素位置的直线，根 据所有备选插值样本到该直线的垂直距离，从垂直距离最短的备选插值样本开始，按照垂直距离由短到长的顺序选择相应数量的插值样本计算该待插值分像 素的预测值。
一种帧间预测编码装置，包括第一存储单元，用于緩存参考帧图像样本 值；所述装置还包括
第二存储单元，用于存储设定的至少两种插值模式中，各插值模式中每一 个待插值分像素对应的 一组插值样本的位置信息；
分像素插值单元，用于根据设定的至少两种插值模式，分别利用第二存储 单元中存储的插值模式对应的分像素插值样本的位置信息对第一存储单元中
緩存的整像素样本进行插值；
运动估计单元，用于才艮据运动估计方法，在参考帧中进行整像素搜索，定 位最优整像素匹配参考块，得到对应的整像素位置信息；并根据运动估计方法， 在每一个分像素参考样本值中定位最优分像素匹配参考块，分别得到对应的分 像素位置信息；
选择单元，用于选择在所述整像素位置信息和各分像素位置信息中选择最 优的位置信息；
编码单元，用于才艮据述最优位置信息对应的参考样本值对当前宏块进行编 码，并输出编码后的码流。
进一步，当所述最优位置信息为一个分像素位置信息时，所述编码单元还 将该最优位置信息对应的分像素参考样本值的插值模式指示信息编码到码流 中。
进一步，所述的装置还包括
整像素样本搜索单元，用于从第一存储单元中存储的参考帧图像样本值中 搜索出待编码图像块的参考图像块整像素样本。
基于同一技术构思，本发明还提供一种解码方法，包括如下步骤 接收视频码流并从码流中解析出帧间最优匹配参考块对应的最优位置信台.
在根据最优位置信息确定出待解码图像块的帧间最优匹配参考块为分像
素最优匹配参考块时，从所述码流中解析出插值模式指示信息；
根据插值模式指示信息对应的各分像素插值样本的位置信息和所述最优
位置信息计算当前待解码图像块的帧间预测样本值；
根据所述待解码图像块的帧间预测样本值解码重建所述图像块。
其中，当确定所述图像块的帧间最优匹配参考块是整像素最优匹配参考块
时，则根据整像素样本解码重建所述图像块。
以及一种解码装置，包括接收单元，用于接收待解码的码流；所述解码装
置还包括
判断单元，用于判断所述码流中当前待解码图像块的帧间最优匹配参考块 是整像素最优匹配参考块或分像素最优匹配参考块，并输出判断结果；
解析单元，用于在待解码图像块的帧间最优匹配参考块是分像素最优匹配 参考块时，从码流中解析出插值模式指示信息；
存储单元，用于存储设定的至少两种插值模式中，各插值模式中每一个待 插值分像素对应的 一组插值样本的位置信息；
解码单元，用于在待解码图像块的帧间最优匹配参考块为整像素最优匹配 参考块时，根据整像素样本解码重建当前块图像；
或者，在待解码图像块的帧间最优匹配参考块为分像素最优匹配参考块 时，在码流中解析出插值模式指示信息；并根据插值模式指示信息对应的各分 像素插值样本的位置信息和所述最优位置信息计算当前待解码宏块的帧间预 测样本值；然后解码重建当前图像块。
本发明还提供一种分像素插值方法，包括如下步骤
根据设定的至少两个插值方向分别获得待插值分像素的各备选预测值；
对比所有备选预测值，并选择其中的最优值作为所述待插值的分像素样本 的预测值。
以及一种分像素插值处理装置，包括
存储器，用于存储每一个待插值分像素在设定的各插值方向上分别对应的 一组插值样本的位置信息；
第一单元，用于根据设定的至少两个插值方向分别获得待插值分像素的各 备选预测值；
第二单元，对比所述第一单元获得的所有备选预测值，选择其中的最优值 作为所述待插值的分像素样本的预测值。
本发明实施例提供的帧间预测编解码技术方案，考虑到图像紋理分布方向 对分像素参考样本精度的影响，通过调整插值方向的方法，对待编码图像块的 整像素样本分别进行多次分像素插值，得到多组不同精度的分像素参考样本 值，然后从整像素样本值和各分像素参考样本值中选择精度最高的参考样本 值，参照该精度最高的参考样本值进行编码，与其它样本值相比，该精度最高 的参考样本值的插值方向最符合图像块的紋理分布特性，因此与位于参考帧中
的参考图像块的差异应该最小，所以提高了编码端的编码率；
本发明实施例提供的分像素插值技术方案，对于每一个待插值的分像素设 定至少两个不同的插值方向，并在每一个插值方向上计算出对应的预测值，然 后从所有的预测值中选择最优值作为待插值的分像素样本的最优预测值，从而 提高了分像素参考样本值的精度。


图1为AVS标准中，整数样本、1/2样本和1/4样本的位置关系示意图2为本发明实施例所述的插值方向示意图3为本发明实施中，使用4抽头滤波器计算1/2分像素样本预测值时， 根据相关性选择插值样本的示意图4为本发明实施例中，对整帧参考图像进行分像素插值时，编码端的帧 间预测编码过程示意图5为本发明实施例中，对整帧参考图像进行分像素插值时， 一种编码端 的主要结构示意图6为本发明实施例中，对参考帧图像中的参考宏块进行分像素插值时， 编码端的帧间预测编码过程示意图7为本发明实施例中，对参考帧图像中的参考宏块进行分像素插值时， 一种编码端的主要结构示意图8为本发明实施例中，解码端进行解码时的主要流程示意图9为本发明实施例中， 一种解码端的主要结构示意图IO为本发明实施例中， 一种分像素插值处理装置的主要结构示意图。
具体实施例方式
本发明实施例为提高编码端的编码率，考虑到图像紋理分布方向对分像素 参考样本精度的影响，通过调整插值方向的方法，对待编码图像块的整像素样 本分别进行多次分像素插值，得到多组不同精度的分像素参考样本值，然后从 整像素样本值和各分像素参考样本值中选择精度最高的参考样本值，参照该精
度最高的参考样本值进行编码，与其它样本值相比，该精度最高的参考样本值 的插值方向最符合图像块的紋理分布特性，因此与位于参考帧中的参考图像块 的差异应该最小，所以提高了编码端的编码率。
本发明实施例中，每次调整分像素插值方向时，可以对每一级分像素的插 值方向全部进行调整，也可以只调整其中部分级别或一个级别分像素的插值方 向，每一种调整策略可以获得不同精度的分像素参考样本值。例如在每一次 分像素插值时，改变1/2像素的插值方向，保持其他级别像素的插值方向不变。
插值方向除现有的水平方向和垂直方向外，可以是其它任何一个方向，例 如图2所示，分别和水平方向成30。、 45°、 60°、 120°、 135°和150°夹角的任 何一个方向。
对于任何一个插值方向，可以根据插值样本与待插值分像素的相关性来选 择，相关性主要表现在两个方面
一、如果用一条穿过该待插值分像素的直线来表示插值方向，则插值样本 到该直线的垂直距离反映了插值样本与待插值分像素在紋理分布特性的相关 性，该垂直距离越近则相关性越高，反之，该垂直距离越大则相关性越低；
因此，根据该第一个相关性因素，对每一个待插值的分像素，可以在插值 方向上划一条穿过待插值分像素位置的直线，根据其它样本到该直线的垂直距 离，从垂直距离最短的样本开始，按照垂直距离由短到长的顺序选择相应数量的插值样本计算该待插值分像素的预测值。
二、其次，插值样本与该待插值分像素之间的直线距离反映了插值样本与 待插值分像素在图像连续性方面的相关性，该直线距离越近则相关性越高，反 之该直线距离越大则相关性越低。
因此，根据第二个相关性因素，对每一个待插值的分像素，可以根据该待 插值的分像素与其它样本之间的直线距离，从直线距离最短的样本开始，按照 直线距离由短到长的顺序选择相应数量的插值样本计算该待插值分像素的预 测值。
上述两个相关性也可以综合考虑，例如对每一个待插值的分像素，先根据 该待插值的分像素与其它样本之间的直线距离，从直线距离最短的样本开始， 按照直线距离由短到长的顺序选择的备选插值样本，再在插值方向上划一条穿 过待插值分像素位置的直线，根据所有备选插值样本到该直线的垂直距离，从 垂直距离最短的备选插值样本开始，按照垂直距离由短到长的顺序选择相应数 量的插值样本计算该待插值分像素的预测值。
可以优先选择整像素样本作为插值样本，选出的插值样本可以全部分布在 插值方向的一侧，也可以分布在插值方向的两侧，并不限定每一侧分布的具体 数量。
当然，也可以根据其它相关性因素选择插值样本，例如图像的边界特性等， 插值样本的选择方法并不限定本发明的保护范围。
根据插值样本的选择方法，在确定插值方向和插值滤波器后，可以为每一 个待插值的分像素选出一组相应数量的插值样本，并将每一个待插值分像素对 应的插值样本的位置信息分组保存到编码端和解码端备用。
下面以具体实施例并结合附图详细说明本发明。
为方便描述，本实施例将每一次分像素插值时各像素的插值方向的组合定 义为一种插值模式，设定的插值模式越多，得到的参考样本值的精度可能越高。
本实施例定义如下三种插值模式，分别为
一、模式o-.
1/2样本的计算过程如下
1/2样本6:首先用F!对水平方向上最近的4个整数样本滤波，得到中间值 6 -(-E+5F+5G-H);最终的预测值6=<:^1((6+4) 3);
1/2样本/2:首先用F,对垂直方向上最近的4个整数样本滤波，得到中间值 /2=(-」+5F+5iV-5);最终的预测值/^Clipl((/2+4^〉3);
1/2样本》首先用F,在水平或垂直方向上对最近的4个l/2样本中间值滤波， 得到中间值产(-^/十5/2+5m-ee)，或者,(-aa+56+5t-M)。其中aa、 /^和f是相应位 置l/2样本中间值(用F!在水平方向滤波得到)，必、ee和w是相应位置l/2样本 中间值(用F,在垂直方向滤波得到)。最终的预测值乂=<:11口1((/+32)>>6)。采用 水平方向或垂直方向滤波得到的值相同。
1/4样本的计算过程如下
1/4样本o: "=(F+6+l) l，其中6是相应位置l/2样本的最终预测值，F是整 数样本值；
1/4样本c: c=(G+6+l) l,其中6是相应位置1/2样本的最终预测值，G 是整数样本值；
1/4样本c/: c/=(F+/rH) l,其中/z是相应位置1/2样本的最终预测值，F 是整数样本值；
1/4样本"w=(N+/7+l) l,其中/z是相应位置1/2样本的最终预测值，N 是整数样本值；
1/4样本/: /=(/2+/+1)>>1 ，其中A和j'是相应位置1/2样本的最终预测值； 1/4样本A:: ^=(/ +/+1)>>1 ，其中m和/是相应位置1/2样本的最终预测值； 1/4样本/:戶(6+/+1) 1 ，其中6和j'是相应位置1/2样本的最终预测值； 1/4样本《g=(H:/+l) l,其中f和y'是相应位置1/2样本的最终预测值；
1/4样本e， g, ; 和7-: e = (F+/ + 1 ) 1;
g = (G + / + 1) 1; p = (N + 乂 + 1) 1; r = (O + + 1) 1;
其
中F、 G、 N和O是整数样本值，y是相应位置l/2样本的最终预测值。
二、模式l:
例如图3所示，对于1/2样本b，粗实线标识b与其它样本之间的垂直距 离，粗虚线标识b与其它样本之间的直线距离。使用4抽头滤波器计算1/2分 像素样本预测值时，根据相关性原则并优先选择整像素样本，在和水平方向成 45。夹角的插值方向上，可以选择N、 F、 G和B四个整像素样本作为插值样本 计算1/2样本b的预测值，选择M、 N、 G和F四个整像素样本作为插值样本 计算1/2样本h的预测值，选择W、 N、 G和V四个整像素样本作为插值样本 计算1/2样本j的预测值，其他1/2分像素样本的插值样本选择方法相同。
则1/2样本的计算过程如下
6=(-N+5F+5G-B);最终的预测值6=Clipl((6+4) 3); /z=(-M+5N+5F-G);最终的预测值/z=Clipl((/i+4) 3); 产(-W+5N+5G-V),最终的预测值7'=Clipl((/+4) 3); 1/4样本的计算过程和模式1相同。
模式2:
参照图3所示，仍然根据相关性原则并优先选择整像素样本，选择出计算 每一个1/2样本的插值样本。 则1/2样本的计算过程如下
6=(-A+5F+5G-0);最终的预测值6=Clipl((6+4) 3); / =(-￡+5F +5N-0);最终的预测值/z=Clipl((/2+4) 3); /=(-U+5F+50-X)，最终的预测值j'=Clipl((/+4) 3); 1/4样本的计算过程和模式1相同。
分别完成上述三个模式的分像素插值后，获得三组分像素参考样本值，即
模式0样本值、模式1样本值、模式2样本值。
基于获得的三组分像素参考样本值，下面以l个参考帧的宏块级帧间预测 编码为例说明编码端的编码过程，对于待编码图像块为一个子块的处理方式完 全相同。
如图4所示，该实施例中分像素插值是对整帧参考图像进行的，编码端的 编码过程主要包括如下步骤
5401、 分别根据设定的插值模式对整帧参考图像的整像素样本进行分像素 插值，得到各插值模式下的分像素参考样本值，即插值模式O的分像素参考样 本值、插值模式1的分像素参考样本值、插值模式2的分像素参考样本值；
各插值模式的参考样本值中的每一个分像素预测值的具体计算过程如前 所述，这里不再赘述。
5402、 才艮据运动估计方法，在参考帧中进行整像素搜索，定位帧间最优整 像素匹配参考块，得到对应的整像素位置信息，该整像素位置信息中包括一组 运动矢量MV;
根据运动估计方法，在每一个分像素参考样本值中定位帧间最优分像素匹 配参考块，分别得到对应的分像素位置信息，各分像素位置信息分别包括根据 对应参考样本计算出的最优运动矢量MVo, MVp MV2;
5403、 从整像素位置信息和所有分像素位置信息中选择最优位置信息； 本发明实施例中，通常可以根据已有的图像失真度判断准则在不同的插值
精度间进行最优选择，如SAD ( Sum of Absolute Difference)或者率失真最优准 则RDO(Rate-Distortion Optimization)来进行判断。SAD准则是一种衡量图像差 异程度的方法，是当前待编码图像块和参考帧中的参考图像块对应的位置像素 值差值取绝对值的累加和，SAD值越大说明当前编码块和参考块之间的差异越 大，反之，则差异小，最小SAD值对应的参考样本值即为精度最高的参考样本 值。
5404、 根据所述最优位置信息对应的最优匹配参考块对当前宏块进行编码，输出编码后的码流。
如果帧间最优匹配块是最优整像素匹配参考块，则解码端不需要分像素参 考样本，则不用在码流中传递最优位置信息使用的插值模式指示信息，如果帧
间最优匹配块是其中 一个分像素匹配参考块，则将对应的插值模式指示信息记 录到码流中，供解码端解码使用。
如图5所示， 一种编码端的主要结构包括
第一存储单元501，用于緩存参考帧图像样本值；
第二存储单元502，用于存储设定的至少两种插值模式中，各插值模式中 每一个待插值分像素对应的一组插值样本的位置信息；
根据不同的插值模式，该第二存储单元502中可以包括相应数量的存储子 单元，每一个存储子单元分别存储每一种插值模式下各分像素插值样本的位置 信息，例如图5中所示的第一存储子单元5021、第二存储子单元5022......第N存储子单元502n。
分像素插值单元503,用于根据设定的至少两种插值模式，分别利用第二 存储单元502中存储的插值模式对应的分像素插值样本的位置信息对第一存储 单元中緩存的整^f象素样本进行插值；
同样根据不同的插值模式，该分像素插值单元503中可以包括相应数量的 插值子单元，每一个插值子单元分别用于执行一种插值模式的分像素插值处 理，例如图5中所示的第一插值子单元5031、第二插值子单元5032......第N插值子单元503n。
运动估计单元504,用于根据运动估计方法，在参考帧中进行整像素搜索， 定位帧间最优整像素匹配参考块，得到对应的整像素位置信息，该整像素位置 信息中包括一组运动矢量MV;
并根据运动估计方法，在每一个分像素参考样本值中定位帧间最优分像素 匹配参考块，分别得到对应的分像素位置信息，各分像素位置信息分别包括根 据对应参考样本计算出的最优运动矢量MV()， MV,, MV2;
选择单元505,用于选择最优的位置信息；
编码单元506，用于才艮据所述选择单元505选出的最优位置信息对应的匹 配参考块对当前宏块进行编码，输出编码后的码流。
如果最优匹配参考块是整像素匹配参考块，则解码端不需要分像素参考样 本，则不用在码流中传递最优位置信息使用的插值模式指示信息，如果最优匹 配参考块是其中 一个分像素匹配参考块，则将对应的插值模式指示信息编码到 码流中，供解码端解码使用，最优位置信息可以携带在宏块头信息中。
如图6所示，如果对参考帧中的参考宏块进行分像素插值，则编码端的编 码过程主要包括如下步骤
5601、 在参考帧中搜索待编码宏块的参考宏块整像素样本；
5602、 分别根据设定的插值模式对参考宏块整像素样本进行分像素插值， 得到各模式下的分像素参考样本值，即插值模式O的分像素参考样本值、插值 模式1的分像素参考样本值、插值模式2的分像素参考样本值；
5603、 根据运动估计方法，在参考帧中进行整像素搜索，定位最优整像素 匹配参考块，得到对应的整像素位置信息，该整像素位置信息中包括一组运动 矢量MV;
根据运动估计方法，在每一个分像素参考样本值中定位最优分像素匹配参 考块，分别得到对应的分像素位置信息，各分像素位置信息分别包括根据对应 参考样本计算出的最优运动矢量MVo, MV,， MV2;
5604、 从整像素位置信息和所有分像素位置信息中选择最优位置信息；
5605、 根据所述最优位置信息对应的参考样本值对当前宏块进行编码，输 出编码后的码流。
如果最优匹配块是整像素匹配参考块，则解码端不需要参考分像素参考样 本值，则不用在码流中传递最优位置信息使用的插值模式指示信息，如果最优 匹配块是其中 一个分^f象素匹配参考块，则将对应的插值;漠式指示信息记录到码 流中，供解码端解码时使用。
如图7所示，除图5所示的结构外，编码端的结构中还包括
整像素样本搜索单元507，用于从第一存储单元501中存储的参考帧图像样
本值中搜索出待编码宏块的参考宏块整像素样本，后续处理基于该参考宏块整 像素样本进行。
如图8所示，解码端的解码该宏块的过程包括如下步骤
5801、 解码端接收视频码流，从码流解析出最优匹配参考块的最优位置信 息，最优位置信息可以携带在宏块头信息中；
5802、 根据最优位置信息判断该宏块的帧间最优匹配参考块是整像素级还 是分像素级，如果待解码宏块的帧间最优匹配参考块是整像素匹配参考块时， 则执行步骤S806直接根据整像素样本解码重建当前宏块图像，完成当前宏块 解码。
如果帧间最优匹配参考块是分像素匹配参考块，则执行步骤S803:
S803 、在码流中解析出对应的插值模式指示信息；
5804、 根据插值模式指示信息和对应最优位置信息计算当前待解码宏块的 帧间预测样本值；
5805、 根据该当前待解码宏块的帧间预测样本值解码重建当前宏块图像。 完成当前宏块的解码后，如果还有待解码宏块，则继续执行下一个宏块的解码。
如图9所示，解码端的主要结构包括 接收单元901 ，用于接收编码端发送的码流；
判断单元902,用于判断待解码宏块的帧间最优匹配块是整像素级还是分 像素级，并输出判断结果；
解析单元903,用于在待解码宏块的帧间最优匹配块是分像素级时，从码 流中解析出对应的插值模式指示信息；
存储单元904,用于存储各插值模式中，每一个待插值分像素对应的一组 插值样本的位置信息；
解码单元905,用于在待解码宏块的帧间最优匹配参考块是整像素匹配参 考块时，直接根据整像素样本重建当前图像块。
或者，待解码宏块的帧间最优匹配参考块是分像素匹配参考块时，根据插 值模式指示信息从存储单元904中获取相应的插值样本位置信息，并和对应最 优位置信息计算当前待解码宏块的帧间预测样本后，根据该帧间预测样本值解 码重建当前宏块。
基于同一发明构思，本发明还提供一种分像素插值方法，对于每一个待插 值的分像素，都可以基于本发明实施例提供的技术构思，设定至少两个不同的 插值方向，并在每一个插值方向上，选择一组与待插值的分像素样本相关的插 值样本，计算出每一组插值样本对应的预测值，并从所有的预测值中选择最优 值作为所述待插值的分像素样本的最优预测值。
对于每一个待插值的分像素，插值样本的选择方法和前述的编码方法中的
选择方法一样，这里不再重述，举例说明如下
对如图l所示的图像进行插值时，按照前面所述的插值原则，还可以有不 同于图3的插值样本点取值方式。
以b点插值为例，当插值滤波器位四抽头插值滤波器时，对于45。方向还 可以由下列式子计算得到
6=(_m+5F+5G-V);最终的预测值6=Clipl((6+4) 3);
ZK-W+5j+5G-V);最终的预测值Z =Clipl((Z>+4) 3);
卜(-M+5F+5B-V);最终的预测值6=Clipl((6+4) 3);
此时的插值滤波器还可以选用其它任意形式的系数組合，如
Z>=(-W+3N+8G-2V);最终的预测值6=Clipl((6+4) 3);
6=(-M+9F+9G-V);最终的预测值Z>=Clipl((Z>+8)〉>4);
6=(M+7F+7G + V);最终的预测值6=Clipl(0+8)>〉4);
如上扩展还可以应用于6抽头、8抽头等对称和非对称插值滤波器。
上述方法可以提高每一个样本预测值的精度，因此也提高了整个分像素参考样本值的精度，依据该分像素参考样本值进行编码时，同样可以提高编码率。 当需要衡量当前编码块中 一个像素点和参考块的一个参考样本点之间的
差异时，可以通过AD (Absolute Difference)值来衡量。率失真最优准则RDO 相对于SAD判断，除了考虑图像的失真程度外，还考虑了编码图像所用的码 率，从而使得在当前块编码过程中选择最优编码模式时兼顾图像失真度和码率 的双重因素，从而取得更好的编码效率，当然RDO方法的计算复杂度也要高 于SAD方法。
如图10所示，相应的分像素插值处理装置中可以包括以下单元
存储器1001，用于存储每一个待插值分像素在设定的各插值方向上分别对
应的 一组插值样本的位置信息；
第 一单元1002 ，根据设定的至少两个插值方向分别获得待插值分像素的各
备选预测值；
第二单元1003,对比第一单元1002获得的所有备选预测值，选择其中的 最优值作为所述待插值的分像素样本的预测值。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种帧间预测编码方法，其特征在于，包括如下步骤根据设定的至少两种插值模式对待编码图像块的整像素样本分别进行分像素插值，获取各插值模式对应的分像素参考样本值，其中任意两种插值模式中至少有一级分像素样本的插值方向不相同；从参考帧中搜索定位帧间最优整像素匹配参考块对应的整像素位置信息，从各分像素参考样本值中搜索定位帧间最优分像素匹配参考块对应的各分像素位置信息；在所述整像素位置信息和各分像素位置信息中选择最优位置信息，并根据该最优位置信息和对应的最优匹配参考块编码所述待编码图像块。
2、 如权利要求1所述的方法，其特征在于，当所述最优位置信息为一个 分像素位置信息时，在进行编码时，将该最优位置信息对应的分像素参考样本 值的插值模式指示信息编码到码流中。
3、 如权利要求1所述的方法，其特征在于，根据每一个待插值的分像素 与其它样本之间的直线距离，从直线距离最短的样本开始，按照直线距离由短 到长的顺序选择相应数量的插值样本计算该待插值分像素的预测值。
4、 如权利要求1所述的方法，其特征在于，对每一个待插值的分像素， 在插值方向上划一条穿过该待插值分像素位置的直线，根据其它样本到该直线 的垂直距离，从垂直距离最短的样本开始，按照垂直距离由短到长的顺序选择 相应数量的插值样本计算该待插值分像素的预测值。
5、 如权利要求1所述的方法，其特征在于，对每一个待插值的分像素， 先根据该待插值的分像素与其它样本之间的直线距离，从直线距离最短的样本 开始，按照直线距离由短到长的顺序选择的备选插值样本，再在插值方向上划 一条穿过待插值分像素位置的直线，根据所有备选插值样本到该直线的垂直距 离，从垂直距离最短的备选插值样本开始，按照垂直距离由短到长的顺序选择 相应数量的插值样本计算该待插值分像素的预测值。
6、 如权利要求3、 4或5所述的方法，其特征在于，在插值方向的一侧选 择所述插值样本；或者分别在插值方向的两侧选择所述插值样本。
7、 如权利要求6所述的方法，其特征在于，优先选择整像素样本作为所 述插值样本。
8、 如权利要求1所述的方法，其特征在于，所述待编码图像块为宏块或 子块。
9、 如权利要求2所述的方法，其特征在于，所述的插值模式指示信息携 带在图像块的块头信息中。
10、 一种帧间预测编码装置，包括第一存储单元，用于緩存参考帧图像 样本值；其特征在于，所述装置还包括第二存储单元，用于存储设定的至少两种插值模式中，各插值模式中每一 个待插值分像素对应的一组插值样本的位置信息；分像素插值单元，用于根据设定的至少两种插值模式，分别利用第二存储 单元中存储的插值模式对应的分像素插值样本的位置信息对第一存储单元中 緩存的整像素样本进行插值；运动估计单元，用于根据运动估计方法，在参考帧中进行整像素搜索，定位帧间最优整像素匹配参考块，得到对应的整像素位置信息；并在每一个分像 素参考样本值中定位帧间最优分像素匹配参考块，分别得到对应的分像素位置化息5选择单元，用于在所述整像素位置信息和各分像素位置信息中选择最优位 置信息；编码单元，用于根据所述最优位置信息对应的最优匹配参考块对当前图像 块进行编码。
11、 如权利要求io所述的装置，其特征在于，当所述最优位置信息为一 个分像素位置信息时，所述编码单元还将该最优位置信息对应的分像素参考样 本值的插值模式指示信息编码到码流中。
12、 如权利要求11所述的装置，其特征在于，所述的装置还包括 整像素样本搜索单元，用于从第一存储单元中存储的参考帧图像样本值中搜索出待编码图像块的参考图像块整像素样本。
13、 如权利要求ll所述的装置，其特征在于，所述第二存储单元中可以包 括相应数量的存储子单元，每一个存储子单元分别用于存储一种插值模式下各 分像素插值样本的位置信息。
14、 如权利要求ll所述的装置，其特征在于，所述分像素插值单元中可以 包括相应数量的插值子单元，每一个插值子单元分别用于执行一种插值模式的 分像素插值处理。
15、 一种解码方法，其特征在于，包括如下步骤接收视频码流并从码流中解析出帧间最优匹配参考块对应的最优位置信自 在根据最优位置信息确定出待解码图像块的帧间最优匹配参考块为分像 素最优匹配参考块时，从所述码流中解析出插值模式指示信息；根据插值模式指示信息对应的各分像素插值样本的位置信息和所述最优 位置信息计算当前待解码图像块的帧间预测样本值；根据所述待解码图像块的帧间预测样本值解码重建所述图像块。
16、 如权利要求15所述的方法，其特征在于，所述方法还包括当确定 所述图像块的帧间最优匹配参考块是整像素最优匹配参考块时，则根据整像素 样本解码重建所述图像块。
17、 如权利要求15所述的方法，其特征在于，所述图像块为宏块或子块。
18、 一种解码装置，包括接收单元，用于接收待解码的码流；其特征在于， 所述解码装置还包括判断单元，用于判断所述码流中当前待解码图像块的帧间最优匹配参考块 是整像素最优匹配参考块或分像素最优匹配参考块，并输出判断结果；解析单元，用于在待解码图像块的帧间最优匹配参考块是分像素最优匹配 参考块时，从码流中解析出插值模式指示信息；存储单元，用于存储设定的至少两种插值模式中，各插值模式中每一个待 插值分像素对应的 一组插值样本的位置信息；解码单元，用于在待解码图像块的帧间最优匹配参考块为整像素最优匹配 参考块时，根据整像素样本解码重建当前图像块；或者，在待解码图像块的帧间最优匹配参考块为分像素最优匹配参考块 时，根据所述插值模式指示信息对应的各分像素插值样本的位置信息和所述最 优位置信息计算当前待解码图像块的帧间预测样本值，并根据该帧间预测样本 值解码重建当前图像块。
19、 一种分像素插值方法，其特征在于，包括如下步骤 根据设定的至少两个插值方向分别获得待插值分像素的各备选预测值；对比所有备选预测值，并选择其中的最优值作为所述待插值的分像素样本 的预测值。
20、 一种分像素插值处理装置，其特征在于，包括存储器，用于存储每一个待插值分像素在设定的各插值方向上分别对应的 一组插值样本的位置信息；第一单元，用于根据设定的至少两个插值方向分别获得待插值分像素的各 备选预测值；第二单元，对比所述第一单元获得的所有备选预测值，选择其中的最优值 作为所述待插值的分像素样本的预测值。
全文摘要
本发明公开一种帧间预测编码方法、解码方法、编码装置、解码装置，以及一种分像素插值处理方法和装置。本发明提供的帧间预测编解码技术方案，考虑到图像纹理分布方向对分像素参考样本精度的影响，通过调整插值方向的方法，对待编码图像块的整像素样本分别进行多次分像素插值，得到多组不同精度的分像素参考样本值，然后从整像素样本值和各分像素参考样本值中选择精度最高的参考样本值，所以提高了编码端的编码率。本发明提供的分像素插值技术方案，对于每一个待插值的分像素设定至少两个不同的插值方向并计算出对应的预测值，然后从所有的预测值中选择最优值作为待插值的分像素样本的最优预测值，从而提高了分像素参考样本值的精度。
文档编号H04N7/32GK101198063SQ20061016213
公开日2008年6月11日 申请日期2006年12月5日 优先权日2006年12月5日
发明者周建同, 曾鹏鑫, 林四新, 熊联欢, 胡昌启, 谢清鹏 申请人:华为技术有限公司