专利名称：空间运动向量预测的方法及其装置的制作方法
技术领域：
本发明关于视频编码，尤其关于运动向量预测相关的编码技术。
背景技术：
在视频编码系统中，利用空间及时间冗余(spatial and temporal redundancy)使用空间及时间预测来减少欲传输的信息。空间及时间预测利用分别来自相同的图像和参考图像的解码像素来产生预测以用于当前要编码的像素。在传统编码系统中，必须传输空间及时间预测相关的边信息(side information),这会占用压缩视频(compressed video)数据的一些带宽。尤其在低比特率(low-bitrate)应用中，用于时间预测的运动向量的传输往往会占据了大部分的压缩视频数据。为进一步减少运动向量相关的比特率，近年来在视频编码领域中使用了一种称为运动向量预测(motion vector prediction, MVP)的技术。运动向量预测技术利用邻近的运动向量之间空间及时间上的统计冗余(statisticredundancy)。在高性能视频编码(HEVC)发展中，一种名为高级运动向量预测(Advanced MotionVector Prediction，A MVP)的技术目前正被考虑。高级运动向量预测技术使用明确的(explicit)预测信号来指示从运动向量预测候选集(candidate set)中选出的运动向量预测候选。运动向量预测候选集包含空间运动向量预测候选及时间候选，空间运动向量预测候选包含从当前块(current block)的三个各自的邻近群组(neighboring group)中选出的三个候选。所提出的用于高级运动向量预测的空间运动向量预测候选集也包含三个空间候选和一个时间运动向量预测候选的中值。高级运动向量预测技术仅考虑与当前块具有相同参考图像列表及相同参考图像索引的运动向量(motion vector)来作为可用的(available)空间运动向量预测候选。如果具有相同参考图像列表及相同参考图像索引的运动向量不可用，则高级运动向量预测技术寻找来自群组中下一相邻块(neighboringblock)的可用运动向量。有需要发展一种能提高相邻块的运动向量预测候选可用性的运动向量预测机制。改善的运动向量预测机制会产生较小的运动向量残余量(residue),从而可提高编码效率。此外，期望运动向量预测机制允许基于解码信息在解码器得到预测，如此便没有附加的边信息必须被传输。
发明内容本发明提供一种基于来自空间相邻块的运动向量，为图像中的当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法。依据本发明一实施例，为当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法包含步骤:接收该空间相邻块的一第一参考图像列表中的一第一参考图像相关的一第一运动向量以及一第二参考图像列表中的一第二参考图像相关的一第二运动向量；以及依据一优先级顺序基于该第一运动向量、该第二运动向量、该第一参考图像、该第二参考图像、以及一所选择的参考图像，为当前块决定一所选择的参考图像列表中的该所选择的参考图像相关的运动向量预测或至少一个运动向量预测候选或运动向量或至少一个运动向量候选。该第一参考图像列表及该第二参考图像列表可以是列表O及列表1，反之亦然，以及该所选择的参考图像列表可以是列表O或列表I。根据本发明一实施例，优先级顺序是预定义的，以及根据本发明另一实施例，优先级顺序依据自适应机制来被决定。当使用预定义顺序时，与预定义优先级顺序相关的信息可被包含于序列头、图像头或片图片头中。自适应机制可基于从包含先前块的重建过的运动向量的统计量、该当前块的分区类型、该运动向量的相关性、该运动向量的方向、以及该运动向量的距离的一组中选择出来的标准。依据本发明实施例，运动向量预测或运动向量预测候选或运动向量或运动向量候选是基于该第一运动向量及/或该第二运动向量的一比例版本，或该第一运动向量及/或该第二运动向量的该比例版本及非比例版本的一组合。依据本发明另一实施例，运动向量预测或至少一个运动向量预测候选或运动向量或运动向量候选的获得是基于第一情况及第二情况，其中该第一情况与该第一运动向量是否存在及该第一参考图像是否与该所选择的参考图像相同有关，以及该第二情况与该第二运动向量是否存在及该第二参考图像是否与该所选择的参考图像相同有关。此外，运动向量预测候选集或运动向量候选集可基于第一运动向量及第二运动来得到。
图1为依据现有技术的B片编码中直接模式的运动向量比例的示意图；图2为依据现有技 术的基于第一先前B帧的协同定位运动向量的B片编码中的运动向量比例；图3为基于高级运动向量预测中相邻块的运动向量的空间运动向量预测的相邻块配置的示意图，该高级运动向量预测正在被考虑用于ffiVC标准；图4为基于具有预定义顺序的相邻块b的参考图像(refLO, refLl)及运动向量(mvLO, mvLl)，用于当前块的空间运动向量预测候选推导的范例；图5A-B为决定列表0空间运动向量预测候选(refL0b，mvL0b)以用于当前块的范例，该空间运动向量预测候选来自具有预定义顺序的相邻块b ；图6为基于具有预定义顺序的相邻块的参考图像(refLO, mvLl)及运动向量(mvLO, mvLl)，用于当前块的空间运动向量预测候选集推导的范例；图7A-B为决定列表0空间运动向量预测候选集KrefOLOb, mv0L0b)，(ref ILOb, mvlL0b)}以用于当前块的范例，该空间运动向量预测候选集来自具有预定义顺序的相邻块b ;图8为基于具有预定义顺序的相邻块的参考图像(refLO, mvLl)及运动向量(mvLO, mvLl)，用于当前块的空间运动向量预测候选推导的范例；图9为基于来自具有预定义顺序的相邻块b的比例及非比例运动向量，决定列表O空间运动向量预测候选(refLOb, mvLOb)以用于当前块的范例；图10为基于具有预定义顺序的相邻块b的参考图像(refLO, refLl)及比例和非比例运动向量(mvLO，mvLl)，用于当前块的空间运动向量预测候选集推导的范例；图11为基于来自具有预定义顺序的相邻块b的比例及非比例运动向量，决定列表O空间运动向量预测候选集{(refOLOb, mvOLOb)，(ref ILOb, mvlLOb)}以用于当前块的范例。
具体实施方式在视频编码系统中，利用空间及时间冗余使用空间及时间预测降低比特率来传输或储存。空间预测利用来自相同图像的解码像素来产生预测以用于欲编码的当前像素。空间预测通常操作在逐块(block by block)基础上，例如在H.264/AVC帧内编码(Intracoding)中用于亮度(luminance)信号的16X 16或4X4的块。在视频序列中，相邻图像通常携带(bear )极大的相似性，并且仅仅使用图像差异能有效减少与静态背景区域相关的传输信息(transmitted information)。然而,在视频序列中的移动目标(moving object)会导致大量的残余量并会要求更高的比特率来编码该残余量。因此，常常使用运动补偿预测(Motion Compensated Prediction, MCP)来利用视频序列中的时间相关性(temporalcorrelation)。运动补偿预测可在正向预测(forward prediction)方式中被使用，其中使用显示顺序中当前图像之前的一个或多个解码图像来预测当前图像块。除了正向预测外，反向预测(backward prediction)也可被使用以提升运动补偿预测的性能。反向预测利用显示顺序中当前图像之后的一个或多个解码图像。自2003年最终确定的H.264/AVC第一版以来，正向预测及反向预测已经分别被扩展到列表(list) O预测及列表I预测，其中列表O和列表I都可包含显示顺序中当前图像之前或/及之后的多个参考图像。以下描述默认(default)参考图像列表配置。对于列表0，当前图像之前的参考图像具有比当前图像之后的参考图像较低的(lower)参考图像索引。对于列表1，当前图像之后的参考图像具有比当前图像之前的参考图像较低 的参考图像索引。对于列表O和列表I两者，在应用先前的规则后，时间距离(temporal distance)被看作为如下:更靠近当前图像的参考图像具有较低的参考图像索引(index)。为了说明列表O及列表I参考图像配置，提供以下范例，其中当前图像为图像5且图像O, 2,4,6及8为参考图像，数字表不显不顺序。具有升序(ascending)参考图像索引且从索引等于O开始的列表O参考图像为4, 2,0,6及8。具有升序参考图像索引且从索引等于O开始的列表I参考图像为6,8,4, 2及O。具有索引O的第一参考图像被称为协同定位(co-located)图像，且在此例中图像5为当前图像，图像6为列表I协同定位图像，图像4为列表O协同定位图像。当在列表O协同定位图像或列表I协同定位图像中的块(block)具有与当前图像中的当前块相同的块位置时，其被称为列表O或列表I协同定位块(co-located block),或称为列表O或列表I中的协同定位块。用于早期视频标准如MPEG-1，MPEG-2及MPEG-4的运动估计模式的单元主要是基于宏块(macroblock)。对于H.264/AVC，16X16宏块可被分割为16 X 16、16 X 8、8 X 16及8 X 8的块以用于运动估计。此外，8X8的块可被分割为8X8、8X4、4X8及4X4的块以用于运动估计。对于发展中的高性能视频编码标准(High Efficiency Video Coding,HEVC),用于运动估计/补偿模式的单元被称为预测单元(Prediction Unit, PU),其中预测单元从最大的块大小中分层次地分割出来。在H.263/AVC标准中，运动补偿预测类型被选择以用于每一片(slice)。运动补偿预测仅限于列表O预测的片被称为P-片。对于B-片，除列表O预测外，运动补偿预测也包含列表I预测。在视频编码系统中，运动向量和编码残余量被传输至解码器以用于在解码器端重建视频。此外，在具有灵活的参考图像结构的系统中，与所选择的参考图像相关的信息也必须被传输。运动向量的传输会需要全部带宽的显著部分，尤其是在低比特率应用中或在运动向量与较小块或较高运动精度相关的系统中。为进一步降低与运动向量相关的比特率，近年来在视频编码领域已经使用一种称为运动向量预测(MVP)的技术。在本发明揭露中，MVP也可指运动向量预测(Motion Vector Predictor)且当没有歧义时可以使用这样的缩写。运动向量预测技术利用邻近运动向量之间空间上及时间上的统计冗余(stati sticredundancy)o当使用运动向量预测时，用于当前运动向量的预测(predictor)被选择且运动向量残余量(亦即，运动向量及预测之间的差异)被传输。运动向量预测机制可被应用在闭合回路(closed-loop)设置中，其中可在解码器基于解码信息得到预测且无附加的边信息必须被传输。或者，可在比特流中明确地传输边信息以告知解码器考虑被选择的运动向量预测。在H.264/AVC标准中，除了传统的帧内及帧间模式，用于P片中宏块的也有跳跃(SKIP)模式。由于没有量化误差信号、运动向量，也没有参考索引参数要被传输，SKIP是一种实现大规模压缩的非常有效的方式。用于跳跃模式中16X 16宏块所需要的唯一信息是一个信号以指示跳跃模式正在被使用，所以实现了减少大量的比特率的目的。用于重建SKIP宏块的运动向量类似于用于宏块的运动向量预测。一个好的运动向量预测机制可导致更多的(more)零运动向量残余量及零量化预测误差。所以，一个好的运动向量预测机制可增加SKIP编码块的数量并提高编码效率。在H.264/AVC标准中，支持帧间预测的四种不同类型以用于B片，包括列表O、列表1、双预测性(b1-predictive)及直接(DIRECT)预测，其中列表0和列表I指的是分别使用参考图像群组0及群组I的预测。对于双预测性模式，预测信号由运动补偿列表0及列表I预测信号的加权平均值形成。直接预测模式从先前传输的语法元素(syntax element)来推测且可为列表0或列表I预测或双预测性。因此，在直接模式中无须传输用于运动向量的信息。在无量化误差信号被传输的情况下，直接宏块模式被称为B跳跃模式且该块可被有效地编码。再者，一个好的运动向量预测机制可导致更多的零运动向量残余量及较小的预测误差。因此，一个好的运动向量预测机制可增加DIRECT编码块的数量并提高编码效率。在正在发展的HEVC中，H.264/AVC运动向量预测的一些改善正在被考虑。在本揭露中，揭露了一种基于来自空间相邻块的运动向量来获得运动向量预测候选以用于当前块的系统及方法。用于当如块的运动向量由列表0参考图像及列表I参考图像相关的空间相邻块的运动向量来预测。这些运动向量被视为用于当前块的预测候选且这些候选按照优先级顺序(priority order)被排列。具有较高优先级顺序的候选会被视为在具有较低优先级顺序的候选之前的预测。基于优先级的运动向量预测推导(derivation)的优势在于增加空间运动向量预测候选的可用性，而不需要附加的边信息。在H.264/AVC标准中，时间直接模式被用于B片，其中用于B片中当前块的运动向量从第一列表I参考图像中协同定位块的运动向量获得，如图1所示。用于时间直接模式的运动向量推导在“Direct Mode Coding for Bipredictive Slices in theH.264Standard，，(Tourapis et al., in IEEE Trans, on Circuits and Systems for VideoTechnology, Vol.15, N0.1, pp.119-126，Jan.2005)中有描述。用于第一列表 I 参考的协同定位块120的运动向量表示为M7。用于当前块110的运动向量表示为关于列表O参考图像及列表I参考图像的及胃。当前图像及列表O参考图像之间的时间距离(temporal distance)表示为TDb且列表O参考图像及列表I参考图像之间的时间距离表示为TDd。用于当前块的运动向量可根据下式导出:
权利要求
1.一种获取运动向量相关信息的方法，用于基于来自一空间相邻块的运动向量为一图像中的一当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选，其特征在于，该方法包含: 接收该空间相邻块的一第一参考图像列表中的一第一参考图像相关的一第一运动向量以及一第二参考图像列表中的一第二参考图像相关的一第二运动向量；以及 依据一优先级顺序基于该第一运动向量、该第二运动向量、该第一参考图像、该第二参考图像、以及一所选择的参考图像，为该当前块决定一所选择的参考图像列表中的该所选择的参考图像相关的该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选。
2.如权利要求1所述的方法，其特征在于，该优先级顺序为一预定义的优先级顺序。
3.如权利要求2所述的方法，其特征在于，与该预定义优先级顺序相关的信息包含于一序列头、一图像头或一片图片头中。
4.如权利要求1所述的方法，其特征在于，该优先级顺序是依据一自适应机制被决定。
5.如权利要求4所述的方法，其特征在于，该自适应机制是基于从一组数据选出的标准，该组数据包含先前块的重建过的运动向量的统计量、该当前块的分区类型、该运动向量的相关性、该运动向量的方向、以及该运动向量的距离。
6.如权利要求1所述的方法，其特征在于，该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选是基于该第一运动向量及/或该第二运动向量的一比例版本或一非比例版本，或该第一运动向量及/或该第二运动向量的该比例版本及非比例版本的一组合。
7.如权利要求1 所述的方法，其特征在于，该决定该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选是基于一第一,清况及一第二情况，其中该第一情况与该第一运动向量是否存在及该第一参考图像是否与该所选择的参考图像相同有关，以及该第二情况与该第二运动向量是否存在及该第二参考图像是否与该所选择的参考图像相同有关。
8.如权利要求1所述的方法，其特征在于，该至少一个运动向量预测候选或该至少一个运动向量候选包含一运动向量预测候选集或一运动向量候选集，该运动向量预测候选集或该运动向量候选集具有与该第一参考图像相关的一第一运动向量预测候选或一第一运动向量候选及与该第二参考图像相关的一第二运动向量预测候选或一第二运动向量候选。
9.如权利要求8所述的方法，其特征在于，该第一运动向量预测候选或该第一运动向量候选是依据该第一运动向量的可用性来决定，以及该第二运动向量预测候选或该第二运动向量候选是依据该第二运动向量的可用性来决定。
10.如权利要求9所述的方法，其特征在于，如果该第一参考图像与该所选择的参考图像不相同，该第一运动向量预测候选或该第一运动向量候选是基于该第一运动向量的一比例版本，以及如果该第二参考图像与该所选择的参考图像不相同，该第二运动向量预测候选或该第二运动向量候选是基于该第二运动向量的一比例版本。
11.一种获取运动向量相关信息的装置，用于基于来自一空间相邻块的运动向量为一图像中的一当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选，其特征在于，该装置包含:一接收装置，用以接收该空间相邻块的一第一参考图像列表中的一第一参考图像相关的一第一运动向量以及一第二参考图像列表中的一第二参考图像相关的一第二运动向量；以及 一决定装置，用以依据一优先级顺序基于该第一运动向量、该第二运动向量、该第一参考图像、该第二参考图像、以及一所选择的参考图像，为该当前块决定一所选择的参考图像列表中的该所选择的参考图像相关的该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选。
12.如权利要求11所述的装置，其特征在于，该优先级顺序为一预定义的优先级顺序。
13.如权利要求12所述的装置，其特征在于，与该预定义优先级顺序相关的信息包含于一序列头、一图像头或一片图片头中。
14.如权利要求11所述的装置，其特征在于，该优先级顺序是依据一自适应机制被决定。
15.如权利要求14所述的装置，其特征在于，该自适应机制是基于从一组数据选出的标准，该组数据包含先前块的重建过的运动向量的统计量、该当前块的分区类型、该运动向量的相关性、该运动向量的方向、以及该运动向量的距离。
16.如权利要求11所述的装置，其特征在于，该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选是基于该第一运动向量及/或该第二运动向量的一比例版本或一非比例版本，或该第一运动向量及/或该第二运动向量的该比例版本及非比例版本的一组合。
17.如权利要求11所述的装置，其特征在于，该决定装置是基于一第一情况及一第二情况来决定该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选，其中该第一情况与该第一运动向量是否存在及该第一参考图像是否与该所选择的参考图像相同有关，以及该第二情况与该第二运动向量是否存在及该第二参考图像是否与该所选择的参考图像相同有关。
18.如权利要求11所述的装置，其特征在于，该至少一个运动向量预测候选或该至少一个运动向量候选包含一运动向量预测候选集或一运动向量候选集，该运动向量预测候选集或该运动向量候选集具有与该第一参考图像相关的一第一运动向量预测候选或一第一运动向量候选及与该第二参考图像相关的一第二运动向量预测候选或一第二运动向量候选。
19.如权利要求18所述的装置，其特征在于，该第一运动向量预测候选或该第一运动向量候选是依据该第一运动向量的可用性来决定，以及该第二运动向量预测候选或该第二运动向量候选是依据该第二运动向量的可用性来决定。
20.如权利要求19所述的装置，其特征在于，如果该第一参考图像与该所选择的参考图像不相同，该第一运动向量预测候选或该第一运动向量候选是基于该第一运动向量的一比例版本，以及如果该第二参考图像与该所选择的参考图像不相同，该第二运动向量预测候选或该第二运动向量候选是基于该第二运动向量的一比例版本。
全文摘要
本发明提供一种为当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法。在视频编码系统中，利用空间及时间冗余使用空间及时间预测来降低欲传输或储存的信息。运动向量预测更用于保存运动向量编码相关的比特率。用于当前HEVC的正在发展中的运动向量预测技术仅考虑与当前块具有相同参考列表及相同参考图像索引的运动向量，来作为可用的空间运动向量预测候选。有需要发展一种运动向量预测机制，基于来自空间相邻块的运动向量，能提高运动向量预测候选的可用性。相应地，提供一种基于与相邻块的列表0及列表1中的参考图像相关的运动向量，决定用于当前块的运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法。改善的运动向量预测机制可减少运动向量残余量从而提高编码效率。此外，运动向量预测机制是基于优先级顺序，所以可在解码器使用解码信息来得到预测，而不需要边信息。
文档编号H04N7/26GK103202014SQ201180045693
公开日2013年7月10日 申请日期2011年4月26日 优先权日2010年11月23日
发明者林建良, 蔡玉宝, 黄毓文, 雷少民 申请人:联发科技股份有限公司