动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码 ...的制作方法
【专利摘要】预测运动矢量候选生成部（120）基于与编码对象预测块相同图片内的与编码对象预测块相邻的第1已编码预测块、和与编码对象预测块不同图片内的位于编码对象预测块相同或周边位置的第2已编码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中。预测运动矢量候选生成部（120）为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定第1已编码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量。
【专利说明】动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
【技术领域】
[0001]本发明涉及动图像编码及解码技术，特别涉及利用了运动补偿预测的动图像编码及解码技术。
【背景技术】
[0002]作为动图像的压缩编码方式的代表，有MPEG - 4AVC / H.264标准。在MPEG —4AVC / H.264中，采用了运动补偿，S卩，将图片分割成多个矩形块，将已经编码、解码了的图片作为参照图片，预测相对于参照图片的运动。将该通过运动补偿来预测运动的方法称作帧间预测。在MPEG — 4AVC / H.264的帧间预测中，可使用多个图片作为参照图片，从这多个参照图片中针对每块选择最适合的参照图片进行运动补偿。因此，各个参照图片被分配参照索引，通过该参照索引来确定参照图片。对于B图片，可以从已编码、已解码的参照图片中最多选择2个用于帧间预测。将基于这2个参照图片的预测区别为主要作为前向预测来使用的LO预测(列表O预测)、和主要作为后向预测来使用的LI预测(列表I预测)。
[0003]进而，还定义了同时使用LO预测和LI预测这两个帧间预测的双预测。在双预测的情况下，进行双向的预测，并对LO预测、LI预测各自的帧间预测出的信号乘以加权系数，加上偏置值后进行重叠，生成最终的帧间预测信号。用于加权预测的加权系数和偏置值被按图片单位对各列表的每个参照图片设定代表值、进行编码。在关于帧间预测的编码信息中，针对每个块，有区别LO预测、LI预测、双预测的预测模式，针对每个块的每个参照列表，有用于确定参照图片的参照索引、表示块的移动方向、移动量的运动矢量，对这些编码信息进行编码、解码。
[0004]在进行运动补偿的动图像编码方式中，为削减在各块中生成的运动矢量的码量，针对运动矢量进行预测处理。在MPEG - 4AVC / H.264中，利用编码对象的运动矢量与周围的相邻块的运动矢量有较强的相关这一特点，进行基于周围的相邻块的预测，由此导出预测运动矢量，并导出作为编码对象的运动矢量与预测运动矢量的差分的差分运动矢量，通过对该差分运动矢量进行编码来削减码量。
[0005]具体来说，如图48的(a)所示那样，基于周围的相邻块A，B, C的运动矢量导出中央值作为预测运动矢量，通过取运动矢量与该预测运动矢量的差分来削减运动矢量的码量(非专利文献I)。但是，在如图48的(b)那样，编码对象块与相邻块的形状不同的情况下，左邻有多个相邻块时，将其中最靠上的块作为预测块，上方有多个相邻块时，将其中最靠左的块作为预测块，在如图48的(c)、(d)那样，编码对象块被按16X8像素或8X16像素分割的情况下，不是取周围的相邻块的运动矢量的中央值，而是根据运动补偿块的配置，针对如图48的(c)、(d)的白箭头所示那样被分割的每个区域，决定参照目标预测块，基于所决定的预测块的运动矢量来实施预测。
[0006]〔在先技术文献〕
[0007]〔非专利文献〕[0008]〔非专利文献 I〕IS0/IEC14496-10Information technology—Coding ofaudio-visual objects—PartlO:Advanced Video Coding
【发明内容】
[0009]〔发明所要解决的课题〕
[0010]但在非专利文献I所记载的方法中，仅能得到一个预测矢量，故根据图像的不同，有时预测运动矢量的预测精度降低、编码效率不佳。
[0011]在这样的状况下，本
【发明者】认识到在使用运动补偿预测的图像编码方式中，需要进一步压缩编码信息，削减整体的码量。
[0012]本发明是鉴于这样的状况研发的，其目的在于提供一种通过导出预测运动矢量的候选，来谋求削减差分运动矢量的码量、提高编码效率的动图像编码及解码技术。此外，另一目的在于提供一种通过导出编码信息的候选，来谋求削减编码信息的码量、提高编码效率的动图像编码及解码技术。
[0013]〔用于解决课题的手段〕
[0014]为解决上述课题，本发明一个方案的动图像编码装置是一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:预测运动矢量候选生成部(120、121)，基于与编码对象预测块相同图片内的与上述编码对象预测块相邻的第I已编码预测块、和与上述编码对象预测块不同图片内的位于上述编码对象预测块相同或周边位置的第2已编码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中；预测运动矢量选择部(124)，从上述预测运动矢量候选列表中选择预测运动矢量；以及编码部(109)，对表示上述所选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。上述预测运动矢量候选生成部(120、121)在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已编码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定:条件1.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量；条件2.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量；条件3.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在不同的参照图片的运动矢量；条件4.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在不同的参照图片的运动矢量；所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
[0015]本发明的另一方案是动图像编码方法。该方法是一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码方法，其特征在于，包括:预测运动矢量候选生成步骤，基于与编码对象预测块相同图片内的与上述编码对象预测块相邻的第I已编码预测块、和与上述编码对象预测块不同图片内的位于上述编码对象预测块相同或周边位置的第2已编码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中；预测运动矢量选择步骤，从上述预测运动矢量候选列表中选择预测运动矢量；以及编码步骤，对表示上述所选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。在上述预测运动矢量候选生成步骤中，在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已编码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定:条件1.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量；条件2.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量；条件3.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在不同的参照图片的运动矢量；条件4.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在不同的参照图片的运动矢量；所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
[0016]本发明一个方案的动图像解码装置是一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:预测运动矢量候选生成部(220、221)，基于与解码对象预测块相同图片内的与上述解码对象预测块相邻的第I已解码预测块、和与上述解码对象预测块不同图片内的位于上述解码对象预测块相同或周边位置的第2已解码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中；解码部(202)，解码出表示应选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息；以及预测运动矢量选择部(223)，基于所解码出的表示上述应选择的预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选择预测运动矢量。上述预测运动矢量候选生成部(220、221)在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已解码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定:条件1.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量；条件2.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量；条件3.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在不同参照图片的运动矢量；条件4.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在不同参照图片的运动矢量；所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
[0017]本发明的再一个方案是动图像解码方法。该方法是一种对编码比特串进行解码的动图像解码方法，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码方法的特征在于，包括:预测运动矢量候选生成步骤，基于与解码对象预测块相同图片内的与上述解码对象预测块相邻的第I已解码预测块、和与上述解码对象预测块不同图片内的位于上述解码对象预测块相同或周边位置的第2已解码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中；解码步骤，解码出表示应选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息；以及预测运动矢量选择步骤，基于所解码出的表示上述应选择的预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选择预测运动矢量。在上述预测运动矢量候选生成步骤中，在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已解码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定:条件1.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量；条件2.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量；条件3.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在不同参照图片的运动矢量；条件4.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在不同参照图片的运动矢量；所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
[0018]此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、导出机程序等间变换后的方案，作为本发明的实施方式也是有效的。
[0019]〔发明效果〕
[0020]通过本发明，能导出多个预测运动矢量，并从这多个预测运动矢量中选择最佳的预测运动矢量，削减差分运动矢量的产生码量，提高编码效率。此外，通过本发明，能导出多个编码信息的候选，并从这多个编码信息中选择最佳的运动信息，削减要传送的编码信息的产生码量，提高编码效率。
【专利附图】
【附图说明】
[0021]图1是表示执行实施方式的运动矢量的预测方法的动图像编码装置的构成的功能块图。
[0022]图2是表示执行实施方式的运动矢量的预测方法的动图像解码装置的构成的功能块图。
[0023]图3是说明编码块的图。
[0024]图4是说明预测块的形状的种类的图。
[0025]图5是说明预测块组的图。
[0026]图6是说明预测块组的图。
[0027]图7是说明预测块组的图。
[0028]图8是说明预测块组的图。
[0029]图9是说明预测块组的图。
[0030]图10是说明与运动矢量的预测方法相关的片级别的比特流的句法的图。
[0031]图11是说明与运动矢量的预测方法相关的预测块级别的比特流的句法的图。
[0032]图12是表示图1的差分运动矢量导出部的详细构成的功能块图。
[0033]图13是表示图2的运动矢量导出部的详细构成的功能块图。
[0034]图14是说明图1的差分运动矢量导出部的动作的流程图。
[0035]图15是说明图2的运动矢量导出部的动作的流程图。[0036]图16是说明运动矢量的预测方法的流程图。
[0037]图17是说明预测运动矢量的候选导出方法的流程图。
[0038]图18是说明预测运动矢量的候选导出方法的流程图。
[0039]图19是说明预测运动矢量的候选导出方法的流程图。
[0040]图20是说明预测运动矢量的候选导出方法的流程图。
[0041]图21是说明预测运动矢量的候选导出方法的流程图。
[0042]图22是说明运动矢量的缩放方法的流程图。
[0043]图23是说明运动矢量的缩放的图。
[0044]图24是说明预测运动矢量的候选导出方法的流程图。
[0045]图25是说明预测运动矢量的候选导出方法的流程图。
[0046]图26是说明预测运动矢量的候选导出方法的流程图。
[0047]图27是说明预测运动矢量的候选导出方法的流程图。
[0048]图28是说明预测运动矢量的候选导出方法的流程图。
[0049]图29是说明预测运动矢量的候选导出方法的流程图。
[0050]图30是说明向预测运动矢量候选列表的预测运动矢量候选登录方法的流程图。
[0051]图31是说明向预测运动矢量候选列表的预测运动矢量候选登录方法的流程图。
[0052]图32是说明向预测运动矢量候选列表的预测运动矢量候选登录方法的流程图。
[0053]图33是说明向预测运动矢量候选列表的预测运动矢量候选登录方法的流程图。
[0054]图34是说明向预测运动矢量候选列表的预测运动矢量候选登录方法的流程图。
[0055]图35是说明向预测运动矢量候选列表的预测运动矢量候选登录方法的流程图。
[0056]图36是说明向预测运动矢量候选列表的预测运动矢量候选登录方法的流程图。
[0057]图37是说明混合模式下的周边的预测块的图。
[0058]图38是表示图1的帧间预测信息推定部的详细构成的功能块图。
[0059]图39是表示图2的帧间预测信息推定部的详细构成的功能块图。
[0060]图40是说明混合模式的动作的流程图。
[0061]图41是说明混合模式的动作的流程图。
[0062]图42是说明混合模式的动作的流程图。
[0063]图43是说明混合模式的动作的流程图。
[0064]图44是说明混合模式的动作的流程图。
[0065]图45是说明混合模式的动作的流程图。
[0066]图46是说明混合模式的动作的流程图。
[0067]图47是说明混合模式的动作的流程图。
[0068]图48是说明以往的预测运动矢量的导出方法的图。
【具体实施方式】
[0069]在实施方式中，关于动图像的编码，特别为提高将图片分割成矩形块、在图片间按块单位进行运动补偿的动图像编码中的编码效率，基于已编码的周围的块的运动矢量导出多个预测运动矢量，并导出编码对象块的运动矢量与所选择的预测运动矢量的差分矢量进行编码，由此削减码量。或者，通过利用已编码的周围的块的编码信息来推定编码对象块的编码信息，由此削减码量。此外，在动图像的解码的情况下，基于已解码的周围的块的运动矢量导出多个预测运动矢量，并根据从编码流中解码出的差分矢量和所选择的预测运动矢量来导出解码对象块的运动矢量，进行解码。或者，通过利用已解码的周围的块的编码信息，来推定解码对象块的编码信息。
[0070]图1是表示实施方式的动图像编码装置的构成的功能块图。实施方式的动图像编码装置具有图像存储器101、运动矢量检测部102、差分运动矢量导出部103、帧间预测信息推定部104、运动补偿预测部105、预测方法决定部106、残差信号生成部107、正交变换?量化部108、第I编码比特串生成部109、第2编码比特串生成部110、多路化部111、逆量化?逆正交变换部112、解码图像信号重叠部113、编码信息保存存储器114、以及解码图像存储器115。
[0071]图像存储器101暂时保存被按拍摄/显示时间顺序供给的编码对象的图像信号。图像存储器101将所保存的编码对象的图像信号按预定的像素块单位提供给运动矢量检测部102、预测方法决定部106、及残差信号生成部107。此时，按拍摄/显示时间顺序保存的图像被按编码顺序重排，并按像素块单位从图像存储器101输出。
[0072]运动矢量检测部102在从图像存储器101供给的图像信号与从解码图像存储器115供给的解码图像(参照图片)间，通过块匹配等，按各预测块单位检测各预测块尺寸、各预测模式的运动矢量 ，并将所检测出的运动矢量提供给运动补偿预测部105、差分运动矢量导出部103、及预测方法决定部106。在此，预测块是进行运动补偿的单位，详细情况将在后文叙述。
[0073]差分运动矢量导出部103使用存储在编码信息保存存储器114中的已被编码的图像信号的编码信息，导出多个预测运动矢量的候选，登录到后述的MVP列表中，并从MVP列表中所登录的多个预测运动矢量的候选中选择最佳的预测运动矢量，根据运动矢量检测部102检测到的运动矢量与预测运动矢量导出差分运动矢量，将所导出的差分运动矢量提供给预测方法决定部106。除这些编码信息外，在如后述那样针对每个预测块切换用于加权预测的加权参数的情况下，还将所选择的预测块的加权预测的加权参数(要对运动补偿图像信号乘的加权系数值和要加的加权偏置值)提供给预测方法决定部106。此外，将用于确定从MVP列表所登录的预测运动矢量的候选中选择的预测运动矢量的MVP索引提供给预测方法决定部106。差分运动矢量导出部103的详细构成和动作将在后文叙述。
[0074]帧间预测信息推定部104推定混合模式的帧间预测信息。所谓混合模式，并非对该预测块的预测模式、参照索引(用于从参照列表所登录的多个参照图像中确定用于运动补偿预测的参照图像的信息)、运动矢量等帧间预测信息进行编码，而是利用已编码的相邻的被帧间预测出的预测块、或不同图像的被帧间预测出的预测块的帧间预测信息的模式。利用编码信息保存存储器114中所存储的已被编码的预测块的编码信息，导出多个混合的候选(帧间预测信息的候选)，登录到后述的混合候选列表中，并从混合候选列表所登录的多个混合候选中选择最佳的混合候选，将所选择的混合候选的预测模式、参照索引、运动矢量等帧间预测信息提供给运动补偿预测部105，并将用于确定所选择的混合候选的混合索引提供给预测方法决定部106。除这些编码信息外，在如后述那样针对各预测块切换加权参数的情况下，将所选择的混合候选的加权预测的加权参数也提供给运动补偿预测部105。此外，将用于确定所选择的混合候选的混合索引提供给预测方法决定部106。当然，除这些编码信息外，所选择的已编码的预测块的量化的量化参数等编码信息也能作为预测值来使用，在进行预测的情况下，将要预测的编码信息提供给预测方法决定部106。帧间预测信息推定部104的详细构成和动作将在后面叙述。
[0075]运动补偿预测部105使用由运动矢量检测部102和帧间预测信息推定部104检测出的运动矢量，基于参照图片，通过运动补偿预测来生成预测图像信号，并将预测图像信号提供给预测方法决定部106。此外，在主要作为前向预测而使用的LO预测、和主要作为后向预测而使用的LI预测中，进行单向预测。在双预测的情况下，进行双向的预测，对主要作为前向预测而使用的LO预测、主要作为后向预测而使用的LI预测各自所帧间预测出的信号分别适应性地乘以权重系数，并加上偏置值后进行重叠，生成最终的预测图像信号。由用于加权预测的加权系数、偏置值所构成的加权参数可以按图片单位来切换，也可以按片单位来切换，还可以按预测块单位来切换。在按图片单位或片单位来切换该加权参数的情况下，按图片单位或片单位、针对各列表的每个参照图片分别设定代表值进行编码。在按预测块单位进行切换的情况下，针对预测块单位设定加权参数进行编码。
[0076]预测方法决定部106通过评价差分运动矢量的码量、运动补偿预测信号与图像信号之间的畸变量等，来从多个预测方法中决定最佳的预测块尺寸(关于预测块尺寸，将参照图4在后面描述)、预测模式、是否混合(merge)模式等预测方法，将包含表示所决定的预测方法的信息、及与所决定的预测方法相应的差分运动矢量等的编码信息提供给第I编码比特串生成部109。此外，将根据需要进行加权预测时所使用的加权参数、进行量化/逆量化时所使用的量化参数的编码信息的预测值也提供给第I编码比特串生成部109。
[0077]进而，预测方法决定部106将包含表示所决定的预测方法的信息、及与所决定的预测方法相应的运动矢量等的编码信息保存在编码信息保存存储器114中。此外，将根据需要而从预测方法决定部106供给的加权预测的加权参数保存在编码信息保存存储器114中。预测方法决定部106将与所决定的预测模式相应的运动补偿预测图像信号提供给残差信号生成部107和解码图像信号重叠部113。
[0078]残差信号生成部107进行要编码的图像信号与预测信号的减法运算，生成残差信号，提供给正交变换.量化部108。
[0079]正交变换.量化部108根据量化参数对残差信号进行正交变换及量化，生成被正交变换、量化了的残差信号，提供给第2编码比特串生成部110和逆量化.逆正交变换部
112。进而，正交变换.量化部108将量化参数保存在编码信息保存存储器114中。
[0080]第I编码比特串生成部109除序列(sequence)、图片、片(slice)、编码块单位的信息外，还将与针对各预测块分别由预测方法决定部106决定的预测方法相应的编码信息编码。具体来说，将判别是否为帧间预测的参数、帧间预测时的判别是否为混合模式的参数、混合模式时的混合索引、非混合模式时的预测模式、MVP索引、差分运动矢量的相关信息等编码信息按照后述的规定的句法规则进行编码，生成第I编码比特串，提供给多路化部
111。此外，在混合模式的情况下、若后述的混合候选列表中所登录的混合候选为I个，则混合索引mergeldx能确定为O,故不进行编码。同样,在非混合模式的情况下、若后述的MVP列表中所登录的预测运动矢量的候选为I个，则MVP索引mergeldx能确定为0，故不进行编码。
[0081]在此，对MVP索引进行编码时，越是在MVP列表中优先顺位高(即索引编号小)的MVP索引，越分配码长较短的符号，进行可变长度编码。同样，在对混合索引进行编码时，越是在混合列表中优先顺位高(即索引编号小)的混合索引，越分配码长较短的符号，进行可变长度编码。
[0082]此外，在按预测块单位适应性地切换加权预测的情况下，若非混合模式，则将从预测方法决定部106供给的加权预测的加权参数也编码。将量化的量化参数编码信息的预测值与实际所使用的值的差分编码。
[0083]第2编码比特串生成部110按照规定的句法(syntax)规则对被正交变换及量化后的残差信号进行熵编码，生成第2编码比特串，提供给多路化部111。在多路化部111中，按照规定的句法规则对第I编码比特串和第2编码比特串进行多路化，输出比特流。
[0084]逆量化?逆正交变换部112对从正交变换?量化部108供给来的被正交变换、量化了的残差信号进行逆量化及逆正交变换，导出残差信号，提供给解码图像信号重叠部113。解码图像信号重叠部113将与预测方法决定部106的决定相应的预测信号和在逆量化?逆正交变换部112中被逆量化及逆正交变换后的残差信号进行重叠，生成解码图像，保存在解码图像存储器115中。此外，有时对解码图像施以使编码所引起的块畸变等畸变减少的滤波处理后，再保存在解码图像存储器115中。在该情况下，根据需要而将用于识别ALF或去块滤波器(deblocking filter)等后滤波器(post filter)的信息的标志(flag)等所预测出的编码信息保存在编码信息保存存储器114中。
[0085]图2是表示与图1的动图像编码装置对应的实施方式的动图像解码装置的构成的功能块图。实施方式的动图像解码装置报考分离部201、第I编码比特串解码部202、第2编码比特串解码部203、运动矢量导出部204、帧间预测信息推定部205、运动补偿预测部206、逆量化.逆正交变换部207、解码图像信号重叠部208、编码信息保存存储器209、以及解码图像存储器210。
[0086]图2的动图像解码装`置的解码处理是与图1的动图像编码装置内部所设的解码处理对应的处理，故图2的运动补偿预测部206、逆量化.逆正交变换部207、解码图像信号重叠部208、编码信息保存存储器209、及解码图像存储器210的各构成分别具有与图1的动图像编码装置的运动补偿预测部105、逆量化.逆正交变换部112、解码图像信号重叠部
113、编码信息保存存储器114、及解码图像存储器115的各构成对应的功能。
[0087]提供给分离部201的比特流被按规定的句法规则分离，分离出的编码比特串被提供给第I编码比特串解码部202、第2编码比特串解码部203。
[0088]第I编码比特串解码部202将供给来的编码比特串解码，得到序列、图片、片、编码块单位的信息、以及预测块单位的编码信息。具体来说，将判别是否为帧间预测的参数、判别是否为帧间预测的参数、混合模式时的混合索引、非混合模式时的预测模式、MVP索引、差分运动矢量等相关编码信息按后述的规定的句法规则进行解码，将编码信息提供给运动矢量导出部204或帧间预测信息推定部205、和运动补偿预测部206，并将其保存在编码信息保存存储器209中。此外，在混合模式的情况下，若后述的混合候选列表中所登录的混合候选为I个，则混合索引mergeldx能确定为O,故在编码比特串中没有被编码,使mergeldx为O。因此，在混合模式的情况下，在第I编码比特串解码部202中，被提供由帧间预测信息推定部205导出的混合候选列表中所登录的混合候选的数量。同样地、在非混合模式的情况下，若后述的MVP列表中所登录的预测运动矢量的候选为I个，则MVP索引MVPIdx能确定为O，故未被编码，使MVPIdx为O。因此，在非混合模式的情况下，在第I编码比特串解码部202中，被提供由运动矢量导出部204导出的MVP列表中所登录的预测运动矢量候选的数量。
[0089]第2编码比特串解码部203将供给来的编码比特串解码而导出被正交变换、量化了的残差信号，将被正交变换、量化了的残差信号提供给逆量化.逆正交变换部207。
[0090]在解码对象预测块为非混合模式时，运动矢量导出部204使用编码信息保存存储器209中所存储的已被解码的图像信号的编码信息，导出多个预测运动矢量的候选，登录到后述的MVP列表中，并从MVP列表内所登录的多个预测运动矢量的候选中选择与在第I编码比特串解码部202中被解码供给的编码信息相应的预测运动矢量，基于在第I编码比特串解码部202中被解码出的差分矢量和所选择的预测运动矢量导出运动矢量，提供给运动补偿预测部206，并提供给编码信息保存存储器209。进而，将由运动矢量导出部204导出的MVP列表中所登录的预测运动矢量候选的数量提供给第I编码比特串解码部202。关于运动矢量导出部204的详细构成和动作，将在后面描述。
[0091]帧间预测信息推定部205在解码对象预测块为混合模式时，推定混合模式的帧间预测信息。使用编码信息保存存储器114中所存储的已解码的预测块的编码信息，导出多个混合的候选而登录到后述的混合候选列表中，并从混合候选列表中所登录的多个混合候选中选择与由第I编码比特串解码部202解码并供给的混合索引对应的混合候选，将所选择的混合候选的预测模式 、参照索引、预测运动矢量等帧间预测信息提供给运动补偿预测部206，并保存于编码信息保存存储器209。进而，将由帧间预测信息推定部205导出的混合候选列表中所登录的混合候选的数量提供给第I编码比特串解码部202。除这些编码信息外，在如后述那样针对各预测块分别切换加权参数的情况下，将所选择的混合候选的加权预测的加权参数也提供给运动补偿预测部206。此外，除所选择的已编码的预测块的这些编码信息外，还能将量化的量化参数的帧间预测信息以外的编码信息也作为预测值来使用，在进行预测的情况下，还能将要进行预测的编码信息提供给预测方法决定部106。帧间预测信息推定部205的详细构成和动作将在后面叙述。
[0092]运动补偿预测部206使用由运动矢量导出部204导出的运动矢量,基于参照图片，通过运动补偿预测生成预测图像信号，并将预测图像信号提供给解码图像信号重叠部208。此外，在双预测的情况下，对LO预测、LI预测的两个运动补偿预测图像信号适应性地乘以权重系数后进行重叠，生成最终的预测图像信号。
[0093]逆量化?逆正交变换部207对由第I编码比特串解码部202解码出的被正交变换、量化了的残差信号进行逆正交变换和逆量化，得到被逆正交变换、逆量化后的残差信号。
[0094]解码图像信号重叠部208通过将由运动补偿预测部206运动补偿预测出的预测图像信号和被逆量化?逆正交变换部207逆正交变换、逆量化后的残差信号重叠，来解码出解码图像信号，保存到解码图像存储器210中。在保存到解码图像存储器210中时，也有时对解码图像施以用于减少编码所引起的块畸变等的滤波处理后，在保存到解码图像存储器210 中。
[0095]实施方式的运动矢量的预测方法在图1的动图像编码装置的差分运动矢量导出部103和图2的动图像解码装置的运动矢量导出部204中被实施。
[0096]在说明运动矢量的预测方法的实施例前，先定义在本实施例中使用的用语。[0097](关于编码块)
[0098]在实施方式中，如图3所示那样，将画面内按任意的同一尺寸的正方矩形单位进行均等分割。将该单位定义为树块(tree block)，作为用于确定图像内的编码/解码对象块(在编码中为编码对象块、在解码中为解码对象块)的地址管理的基本单位。树块可根据画面内的纹理、为使编码处理最佳化而根据需要将树块内阶层地地进行4分割，使之成为块尺寸较小的块。将该块定义为编码块，作为进行编码及解码时的处理的基本单位。树块也是最大尺寸的编码块。将不能对编码块进一步进行4分割的最小尺寸的编码块称作最小编码块。
[0099](关于预测块)
[0100]在将画面内分割成块进行运动补偿的情况下，越使运动补偿的块尺寸更小，越能进行更精细的预测，故采取了从几种块形状及尺寸中选择最佳者、将编码块内部分割来进行运动补偿的处理。将该进行运动补偿的单位称作预测块。如图4所示，将不对编码块内部进行分割就视为I个预测块的情况(图4的(a))定义为2Nx2N分割，将水平方向2分割而成为2个预测块的情况(图4的(b))定义为2NxN分割,将垂直方向进行分割而成为2个预测块的情况(图4的(c))定义为Nx2N分割，将通过水平和垂直的均等分割而成为2个预测块的情况(图4的(d))定义为NxN分割。
[0101]在编码块内部，为确定各预测块，将从O开始的编号分配给编码块内部所存在的预测块。将该编号定义为预测块索引puPartldx。记述在图4的编码块的各预测块中的数字表示该预测块的预测块索引puPar11 dx。
[0102](关于预测块组)
[0103]将由多个预测块构成的组定义为预测块组。图5是说明编码/解码对象的预测块和在同一图片内相邻于该编码/解码对象的预测块的预测块组的图。图9是说明编码/解码对象的预测块和在时间上不同的图片中与编码/解码对象的预测块处于同一位置或其附近位置的已编码/已解码的预测块组的图。使用图5、图6、图7、图8、图9来说明本发明的预测块组。
[0104]将由编码/解码对象的预测块、和在同一图片内相邻于该编码/解码对象的预测块的左侧的预测块Al、相邻于编码/解码对象的预测块的左下方的预测块A0、以及相邻于编码/解码对象的预测块的左上方的预测块A2 (与后述的预测块B2相同)所构成的第I预测块组定义为左侧相邻的预测块组。
[0105]此外，如图6所示那样，在编码/解码对象的预测块的左侧相邻的预测块的尺寸比编码/解码对象的预测块大的情况下，也按照上述条件，只要左侧相邻的预测块A在该编码/解码对象的预测块的左侧相邻，就作为预测块Al，只要在编码/解码对象的预测块的左下方相邻，就作为预测块A0，只要在编码/解码对象的预测块的左上方相邻，就作为预测块A2。
[0106]此外，如图7所示那样，在编码/解码对象的预测块的左侧相邻的预测块的尺寸比编码/解码对象的预测块小、且存在多个的情况下，仅将其中最下方的预测块AlO作为左侧相邻的预测块Al而包含于左侧相邻的预测块组中。但是，也可以仅将其中最上方的预测块A12作为左侧相邻的预测块Al而包含于左侧相邻的预测块组中，还可以将最下方的预测块AlO和最上方的预测块A12都包含于左侧相邻的预测块组中，还可以将左侧相邻的所有预测块A10、A11、A12都包含于左侧相邻的预测块组中。将由编码/解码对象的预测块、和在同一图片内相邻于该编码/解码对象的预测块的上侧的预测块B1、相邻于编码/解码对象的预测块的右上方的预测块B0、以及相邻于编码/解码对象的预测块的左上方的预测块B2 (与预测块A2相同)构成的第2预测块组定义为上侧相邻的预测块组。
[0107]此外，在如图8所示那样，相邻于编码/解码对象的预测块的上侧的预测块的尺寸比编码/解码对象的预测块大的情况下，也按照上述条件，只要上侧相邻的预测块B相邻于该编码/解码对象的预测块的上侧，就作为预测块BI，只要相邻于编码/解码对象的预测块的右上方，就作为预测块B0，只要相邻于编码/解码对象的预测块的左上方，就作为预测块B2。
[0108]此外，如图7所示那样，在编码/解码对象的预测块的上侧相邻的预测块的尺寸较小、且存在多个的情况下，仅将其中最右方的预测块BlO作为上侧相邻的预测块BI而包含于上侧相邻的预测块组中。但是，也可以仅将其中最左方的预测块B12作为上侧相邻的预测块BI而包含于上侧相邻的预测块组中，还可以将最右方的预测块BlO和最左方的预测块B12都包含于左侧相邻的预测块组中，还可以将上侧相邻的预测块全都包含于上侧相邻的预测块组中。
[0109]此外，关于右上方相邻的预测块A2 / B2，分别被包含在左侧相邻的预测块组中和上侧相邻的预测块组，在针对左侧相邻的预测块组进行说明时为预测块A2，在针对上侧相邻的预测块组进行说明时为预测块B2。
[0110]在本实施方式中，使左上方相邻的预测块所属于左侧相邻的预测块组和上侧相邻的预测块组两者中，从而增加了探索预测运动矢量的候选的机会。在进行并行处理的情况下，最大处理量不増加，但在重视串行处理中的处理量削减的情况下，可以使左上方相邻的预测块仅所属于某一方的组中。
[0111]如图9所示，在与编码/解码对象的预测块时间上不同的图片中，将由与编码/解码对象的预测块处于同一位置或其附近位置的已编码/已解码的预测块组T0，Tl，T2，T3，及T4所构成的第3预测块组定义为不同时间的预测块组。
[0112](关于参照列表)
[0113]在进行编码及解码时，从各参照列表LX的参照索引指定参照图片进行参照。准备有LO和LI，X内有O或I。将参照参照列表LO中所登录的参照图片的帧间预测称为LO预测(Pred —L0)，将参照参照列表LI中所登录的参照图片的运动补偿预测称为LI预测(Pred —LI)。LO预测主要用于前向预测，LI预测主要作为后向预测来使用，在P片仅使用LO预测，在B片能使用LO预测、LI预测、将LO预测和LI预测进行平均或加权相加的双预测(Pred —BI)。在以后的处理中，以对于输出带有后缀LX的值、针对LO预测和LI预测分别进行处理为前提。
[0114](关于P0C)
[0115]POC作为与要被编码的图像建立关联的变量，被设定按输出顺序每次增加I的值。通过POC的值，能判别是否为相同图像、判别输出顺序上的前后关系、判别图像间的距离。例如，在2个图像的POC具有相同值的情况下，能判断为是相同图像。在2个图像的POC具有不同值的情况下，能判定POC值较小的图像是先被输出的图像，2个图像的POC的差表示帧间距离。[0116]使用附图来说明实施方式的运动矢量的预测方法。运动矢量的预测方法在编码和解码中都按构成编码块的预测块单位来实施。在运动补偿的图像间编码(帧间预测)被选择的情况下，对于编码，在利用从编码对象的运动矢量导出要编码的差分运动矢量时所使用的已编码的运动矢量来导出预测运动矢量时被实施，对于解码，在利用导出解码对象的运动矢量时所使用的已解码运动矢量来导出预测运动矢量时被实施。
[0117](关于句法)
[0118]首先，说明由具备本实施例的运动矢量预测方法的动图像编码装置编码的动图像比特流的编码和解码的共通规则句法。
[0119]图10表示按本发明所生成的比特流的片单位记述在片头(slice header)中的第I句法模式(syntax pattern)。在按片单位进行运动补偿的图像间预测(巾贞间预测)的情况下、即片类型为P (单向预测)或B (双向预测)的情况下,设置第I标志mv — competition—temporal — flag,该第 I 标志 mv — competition — temporal — flag 表不在巾贞间预测的非混合模式的预测块中，是否不仅利用同一图片内相邻的周围预测块的运动矢量、还使用时间方向上不同的图片中的与处理对象预测块处于同一位置或附近的预测块的运动矢量来进行运动矢量的预测，而在帧间预测的混合模式的预测块中，表示是否不仅利用同一图片内相邻的周围预测块的编码信息、还利用时间方向上不同的图片中的与处理对象预测块处于同一位置或附近的预测块的编码信息来进行帧间预测。
[0120]进而，设置有第2 标志 mv — temporal — high — priority — flag,该第 2 标志mv — temporal — high — priority — flag 在 mv — competition — temporal — flag 为真(I)的情况下，在帧间预测的非混合模式的预测块中，表示时间方向上不同的图片中的与处理对象预测块处于同一位置或附近的预测块的运动矢量的候选是否提高优先顺位后被登录在后述的MVP列表中，而在帧间预测的混合模式的预测块中，表示时间方向上不同的图片中的与处理对象预测块处于同一位置或附近的混合候选是否提高优先顺位后被登录在后述的混合候选列表中。该值可以为简化后述的判定处理而固定为真(I)或假(0)，但为提高编码效率，通过针对各帧分别适应性地变更而进一步削减码量。
[0121]在编码/解码对象图片与最近的参照图片间的距离较近的情况下，将mv —temporal — high — priority — flag设定为真(I),在编码/解码对象图像与参照图片间的距离较远的情况下，将其设定为假(0)，由此能削减后述的MVP索引、或混合索引的码量。因为在该距离比较小的情况下，能判定来自不同时间的MVP的候选或混合的候选比较适合作为候选。例如，在帧率为30Hz的情况下，若编码/解码对象图片与最近的参照图片间的距离在X巾贞以内(X= I?3程度),则将mv — temporal — high — priority — flag设定为真(1)，若编码/解码对象图像与参照图片间的距离比X帧大，则将其设定为假(0)，由此能削减后述的MVP索引、或混合索引的码量。在该距离较小的情况下，帧间预测的可靠性比距离较大时要高，判断为适合作为候选。通过根据序列的内容来变更该阈值X，能进一步削减码量。在运动较大、较复杂的序列的情况下，减小阈值X来降低时间方向的MVP候选或混合候选的优先顺位，由此能提高编码效率。或者，也能基于编码处理过程中的统计量来控制优先顺位。在编码处理时分别累计已编码的选择数，在时间方向上不同的图片中的与处理对象预测块处于同一位置的预测块的运动矢量的候选或混合候选比同一图片内左或上方相邻的周围预测块的运动矢量多的情况下，将后续的编码对象图像的mv — temporal —high — priority — flag设定为真(I),在比其少的情况下,若编码/解码对象图像与参照图片间的距离较远则将之设定为假(0)，由此能削减后述的MVP索引、或混合索引的码量。
[0122]进而,在片类型为B的情况下,设置第3标志collocated — from— 10 — flag,其表示在导出时间方向的预测运动矢量的候选或混合候选时所使用的时间方向上不同的图片colPic要使用被登录在包含处理对象预测块的图片的LO的参照列表或LI的参照列表的哪一者中的参照图像。
[0123]进而,设置第4标志mv — list — adaptive — idx — flag,在片类型为P (单向预测)或B (双向预测)的情况下，表示是否针对各预测块适应性地变更后述的MVP列表、或混合候选列表内的登录顺序。
[0124]以上句法要素可以设置在用于记述按图片单位设定的句法要素的图片参数集中。
[0125]此外，第 I 标志 mv — competition — temporal — flag、第 2 标志 mv — temporal—high — priority — flag、第 3 标志 collocated — from — 10 — flag、第 4 标志 mv —list — adaptive — idx — flag可以按非混合模式的运动矢量预测用和混合模式用而分别准备独立的不同标志，分别独立地进行控制。
[0126]图11表示预测块单位所记述的句法模式。在预测块的预测模式PredMode的值表示图像间预测(帧间预测)的MODE — INTER的情况下、设置表示是否为混合模式的merge —flag [x0] [y0]。在此，x0、yO是表示预测块的左上方像素在亮度信号的画面内的位置的索引，merge — flag [χθ] [y0]是表示是否为位于画面内的(x0, y0)的预测块的混合模式的标志。
[0127]其次,在merge — f Iag[x0][y0]为I的情况下,表示是混合模式,在NumMergeCand超过I的情况下，设置作为要参照的预测运动矢量的候选列表的混合列表的索引的句法要素merge —Idx [χθ] [y0]。这里，χθ、y0是表示预测块的左上方像素在画面内的位置的索引，merge — Idx [χθ] [y0]是位于画面内的(χθ, y0)的预测块的混合索引。函数NumMergeCand表示混合候选的数量，将在后文进行说明。之所以该混合列表的索引的句法要素merge — Idx [χθ] [y0]仅在混合候选数NumMergeCand大于I时被编码,是因为若预测运动矢量的候选总数为1，则该I个候选成为混合候选，不传送merge —Idx [χθ] [y0]也能确定要参照的混合候选。
[0128]另一方面,在merge— flag [χθ] [y0]为O的情况下,表示非混合模式,在片类型为B的情况下,设置用于识别巾贞间预测模式的句法要素inter — pred — flag [χθ] [y0]。针对各参照列表LX (X = O或1)，分别设置用于确定参照图片的参照图片索引的句法要素ref _ idx _ LX [χθ] [y0]、和由运动矢量检测求得的预测块的运动矢量与预测运动矢量的差分运动矢量的句法要素mvd —LX [χθ] [y0] [j]。在此，X以0或I表示预测方向，排列的索引χθ表示预测块的X坐标、y0表示预测块的y坐标、j表示差分运动矢量的分量、j = O表示X分量、j = I表示y分量。其次,若预测运动矢量的候选总数超过I,则设置作为要参照的预测运动矢量的候选列表的MVP列表的索引的句法要素MVP _ idx _ LX [χθ][y0]。这里，χθ、y0是表示预测块的左上方像素在画面内的位置的索引，MVP—idx —LX[x0] [y0]是位于画面内的(x0，y0)的预测块的列表LX的MVP索引。后缀LX表示参照列表，准备有LO和LI这两者，X为O或I。函数NumMVPCand (LX)表示按预测方向LX (X为O或I)导出预测块的预测运动矢量的候选总数的函数，将在后文说明。该MVP列表的索引MVP—idx — LX [xO] [yO]根据运动矢量的预测方法,在预测运动矢量的候选总数NumMVPCand(LX)大于I的情况下被编码。这是因为若预测运动矢量的候选总数为1，则该I个候选成为预测运动矢量，故不传送MVP—idx —LX [xO] [yO]也能确定要参照的预测运动矢量的候选。
[0129](编码中的运动矢量的预测)
[0130]基于上述句法，说明在对动图像的比特流进行编码的动图像编码装置中，实施方式的运动矢量的预测方法的动作。运动矢量的预测方法在按片单位进行基于运动补偿的图像间预测的情况下、即片类型为P片(单向预测片)或B片(双向预测片)的情况下，片中的预测块的预测模式被适用于图像间预测(MODE — INTER)的预测块。
[0131]图12是表示图1的动图像编码装置的差分运动矢量导出部103的详细构成的图。图12的粗框线所包围的部分表示了差分运动矢量导出部103。
[0132]此外，由其内部的粗虚线包围的部分表示后述的运动矢量的预测方法的动作部，在与实施方式的动图像编码装置对应的动图像解码装置中也同样设置，使得编码和解码中得到不相矛盾的同一判定结果。以下，使用该图来说明编码中的运动矢量的预测方法。
[0133]差分运动矢量导出部103包括预测运动矢量候选生成部120、预测运动矢量登录部121、预测运动矢量候选相同判定部122、预测运动矢量候选码量导出部123、预测运动矢量选择部124、以及运动矢量减法部125。
[0134]该差分运动矢量导出部103中的差分运动矢量导出处理分别导出在按编码对象块所选择的帧间预测方法中使用的运动矢量的差分运动矢量。具体来说，编码对象块为LO预测的情况下、导出LO的运动矢量的差分运动矢量，在编码对象块为LI预测的情况下、导出LI的运动矢量的差分运动矢量。在编码对象块为双预测的情况下、LO预测和LI预测都被进行，分别导出LO的运动矢量的差分运动矢量、及LI的运动矢量的差分运动矢量。
[0135]预测运动矢量候选生成部120针对每个参照列表(L0、LI)，基于上侧相邻的预测块组(在与编码对象预测块相同图片内、相邻于该预测块的左侧的预测块组:图5的A0，A1，A2)、左侧相邻的预测块组(在与编码对象预测块相同图片内、相邻于该预测块的上侧的预测块组:图5的B0，BI, B2)、不同时间的预测块组(在与编码对象预测块时间上不同的图片内、位于与该预测块相同位置或其附近位置的已编码的预测块组:图9的T0，T1，T2，T3)这三个预测块组，针对各预测块组分别导出I个运动矢量mVLXA、mVLXB、mVLXCol，作为预测运动矢量候选而提供给预测运动矢量登录部121。以下，将mvLXA及mvLXB称为空间的运动矢量、将mvLXCol称为时间的运动矢量。在导出该预测运动矢量候选时，使用被保存在编码信息保存存储器114中的已编码的预测块的预测模式、各个参照列表的参照索引、参照图片的P0C、运动矢量等编码信息。
[0136]这些预测运动矢量的候选mvLXA、mvLXB、mvLXCoI有时也根据编码对象图像的POC与参照图片的POC关系而通过缩放导出。
[0137]预测运动矢量候选生成部120针对各预测块组、按预定的顺序、对各个预测块组内的预测块进行后述的条件判定，选择最先符合条件的预测块的运动矢量，作为预测运动矢量的候选 mvLXA、mvLXB> mvLXCol。
[0138]在从左侧相邻的预测块组导出预测运动矢量时，按左侧相邻的预测块组的从下至上的顺序(从图5的AO起按A0，A1，A2顺序)对各预测块进行后述的条件判定，在从上侧相邻的预测块组导出预测运动矢量时，按上侧相邻的预测块组的从右至左的顺序(从图5的BO起按B0，B1，B2顺序)对各预测块进行后述的条件判定，在从不同时间的预测块组导出预测运动矢量时，从图9的TO起按T0，Tl，T2，T3顺序对各预测块进行后述的条件判定，分别选择最先符合条件的预测块的运动矢量，将预测运动矢量的候选作为mvLXA、mvLXB、mvLXCoI。
[0139]S卩、在左侧的相邻预测块组中，最靠下的预测块优先顺位最高，从下向上赋以优先顺位，在上侧的相邻预测块组中，最靠右的预测块优先顺位最高，从右向左赋以优先顺位。在不同时间的预测块组中，TO的预测块优先顺位最高，按T0，Tl，T2，T3顺序被赋以优先顺位。将该预测块的位置所决定的优先顺位记为优先顺位A。
[0140](空间预测块的条件判定的循环(loop)的说明)
[0141]对左侧的相邻预测块组及上侧的相邻预测块组的各相邻预测块，按下述的条件判定1、2、3、4的优先顺序适用各自的条件判定。但仅后述的方法5为例外,是按条件判定1、3、2、4的优先顺序适用各自的条件判定。
[0142]条件判定1:在与编码/解码对象预测块的差分运动矢量导出对象的运动矢量相同的参照列表中，在相邻预测块中也进行使用了相同参照索引、即参照帧的预测。
[0143]条件判定2:虽然是与编码/解码对象预测块的差分运动矢量导出对象的运动矢量不同的参照列表，但在相邻预测块中进行使用了相同参照帧的预测。
[0144]条件判定3:在与编码/解码对象预测块的差分运动矢量导出对象的运动矢量相同的参照列表中，在相邻预测块中进行使用了不同参照帧的预测。
[0145]条件判定4:在与编码/解码对象预测块的差分运动矢量导出对象的运动矢量不同的参照列表中，在相邻预测块中进行使用了不同参照帧的预测。
[0146]将该优先顺位记为优先顺位B。在满足这些条件中的任一者的情况下，判断为该预测块中存在符合条件的运动矢量，不再进行后续的条件判定。此外，在符合条件判定I或条件判定2的条件的情况下，相应的相邻预测块的运动矢量是对应于相同参照帧的，故直接作为预测运动矢量的候选，但在符合条件判定3或条件判定4的条件的情况下，相应的相邻预测块的运动矢量是对应于不同参照帧的，故基于该运动矢量通过缩放导出后作为预测运动矢量的候选。在非并行、而是串行地处理各相邻预测块的条件判定的情况下，在第二个进行的预测块组的条件判定中(左侧的相邻预测块组的条件判定在先的情况下、在上侧的相邻预测块组的条件判定中)，若该预测块组的预测运动矢量的候选与在之前的预测块组所决定的预测运动矢量的候选为相同值，则可以不采用该预测运动矢量的候选，进入下面的条件判定。通过像这样进行下面的条件判定，能防止预测运动矢量的候选的减少。
[0147]作为空间预测块的扫描的循环方式，可以根据上述四个条件判定的前进方式来设定下述的4种方法。根据各种方法的不同，预测矢量的相应度和最大处理量也不同，考虑这些地从这些方法中选择并设定。下面仅针对方法1，使用图17?21的流程图来详细说明，对于其它方法2?4，本领域技术人员能够基于实施方法I的步骤适当设计实施方法2?4的步骤，故省略详细的说明。在此说明动图像编码装置中的空间预测块的扫描的循环处理，但在动图像解码装置中当然也能进行同样的处理。
[0148]方法1:
[0149]在4个条件判定中，针对每个预测块分别进行I个条件判定，若不满足条件，则转移到相邻的预测块的条件判定。针对每个预测块循环4周条件判定后结束。[0150]具体来说，按以下的优先顺序进行条件判定。(N为A或B)
[0151]1.预测块NO的条件判定I 0?同参照列表、相同参照帧)
[0152]2.预测块NI的条件判定I 0?同参照列表、相同参照帧)
[0153]3.预测块N2的条件判定I 0?同参照列表、相同参照帧)
[0154]4.预测块NO的条件判定2 (不同参照列表、相同参照帧)
[0155]5.预测块NI的条件判定2 (不同参照列表、相同参照帧)
[0156]6.预测块N2的条件判定2 (不同参照列表、相同参照帧)
[0157]7.预测块NO的条件判定3 (相同参照列表、不同参照帧)
[0158]8.预测块NI的条件判定3 (相同参照列表、不同参照帧)
[0159]9.预测块N2的条件判定3 (相同参照列表、不同参照帧)
[0160]10.预测块NO的条件判定4 (不同参照列表、不同参照帧)
[0161]11.预测块NI的条件判定4 (不同参照列表、不同参照帧)
[0162]12.预测块N2的条件判定4 (不同参照列表、不同参照帧)
[0163]通过方法1，容易选择使用了相同参照帧的未被缩放的预测运动矢量，故具有差分运动矢量的码量减小的可能性变高这样的效果。
[0164]方法2:
[0165]以使用了相同预测帧的未被缩放的预测运动矢量的判定为优先，在4个条件判定中针对每个预测块进行2个条件判定，若不满足条件，则移到相邻的预测块的条件判定。在最初的周次中，进行条件判定I和条件判定2的条件判定，在下一预测块的周次中进行条件判定3和条件判定4的条件判定。
[0166]具体来说，按以下的优先顺序进行条件判定。(N为A或B)
[0167]1.预测块NO的条件判定I (相同参照列表、相同参照帧)
[0168]2.预测块NO的条件判定2 (不同参照列表、相同参照帧)
[0169]3.预测块NI的条件判定I (相同参照列表、相同参照帧)
[0170]4.预测块NI的条件判定2 (不同参照列表、相同参照帧)
[0171]5.预测块N2的条件判定I 0?同参照列表、相同参照帧)
[0172]6.预测块N2的条件判定2 (不同参照列表、相同参照帧)
[0173]7.预测块NO的条件判定3 (相同参照列表、不同参照帧)
[0174]8.预测块NO的条件判定4 (不同参照列表、不同参照帧)
[0175]9.预测块NI的条件判定3 (相同参照列表、不同参照帧)
[0176]10.预测块NI的条件判定4 (不同参照列表、不同参照帧)
[0177]11.预测块N2的条件判定3 (相同参照列表、不同参照帧)
[0178]12.预测块N2的条件判定4 (不同参照列表、不同参照帧)
[0179]通过方法2，与方法I 一样，容易选出使用了相同参照帧的未被缩放的预测运动矢量，故具有差分运动矢量的码量减小的可能性变高这样的效果。此外，由于条件判定的周次数最大为2次，故在考虑向硬件的安装时，对预测块的编码信息的存储器访问次数会比方法I减少，复杂性降低。
[0180]方法3:
[0181]在最初的周次中，针对每个预测块进行条件判定I的条件判定，若不满足条件，则移到相邻的预测块的条件判定。在下一周次中，针对每个预测块按条件判定2、条件判定3、条件判定4的顺序进行条件判定后，移向相邻。
[0182]具体来说，按以下的优先顺序进行条件判定。(N为A或B)
[0183]1.预测块NO的条件判定I (相同参照列表、相同参照帧)
[0184]2.预测块NI的条件判定I 0?同参照列表、相同参照帧)
[0185]3.预测块N2的条件判定I (相同参照列表、相同参照帧)
[0186]4.预测块NO的条件判定2 (不同参照列表、相同参照帧)
[0187]5.预测块NO的条件判定3 (相同参照列表、不同参照帧)
[0188]6.预测块NO的条件判定4 (不同参照列表、不同参照帧)
[0189]7.预测块NI的条件判定2 (不同参照列表、相同参照帧)
[0190]8.预测块NI的条件判定3 (相同参照列表、不同参照帧)
[0191]9.预测块NI的条件判定4 (不同参照列表、不同参照帧)
[0192]10.预测块N2的条件判定2 (不同参照列表、相同参照帧)
[0193]11.预测块N2的条件判定3 (相同参照列表、不同参照帧)
[0194]12.预测块N2的条件判定4 (不同参照列表、不同参照帧)`[0195]通过方法3，在相同参照列表中容易选出使用了相同参照帧的未被缩放的预测运动矢量，故具有差分运动矢量的码量减小的可能性变高这样的效果。此外，由于条件判定的周次数为最大2次，故在考虑向硬件的安装时、对预测块的编码信息的存储器访问次数会比方法I减少，复杂性被降低。
[0196]方法4:
[0197]使相同预测块的条件判定优先、在I个预测块内进行4个条件判定，在不符合所有条件的情况下，判断为该预测块中不存在符合条件的运动矢量，进行下面的预测块的条件判定。
[0198]具体来说，按以下的优先顺序进行条件判定。(N为A或B)
[0199]1.预测块NO的条件判定I (相同参照列表、相同参照帧)
[0200]2.预测块NO的条件判定2 (不同参照列表、相同参照帧)
[0201]3.预测块NO的条件判定3 (相同参照列表、不同参照帧)
[0202]4.预测块NO的条件判定4 (不同参照列表、不同参照帧)
[0203]5.预测块NI的条件判定I 0?同参照列表、相同参照帧)
[0204]6.预测块NI的条件判定2 (不同参照列表、相同参照帧)
[0205]7.预测块NI的条件判定3 (相同参照列表、不同参照帧)
[0206]8.预测块NI的条件判定4 (不同参照列表、不同参照帧)
[0207]9.预测块N2的条件判定I 0?同参照列表、相同参照帧)
[0208]10.预测块N2的条件判定2 (不同参照列表、相同参照帧)
[0209]11.预测块N2的条件判定3 (相同参照列表、不同参照帧)
[0210]12.预测块N2的条件判定4 (不同参照列表、不同参照帧)
[0211]通过方法4，条件判定的周次数最大为I次，故考虑向硬件的安装时，对预测块的编码信息的存储器访问次数会比方法1、方法2、方法3减少，复杂性降低。
[0212]方法5:[0213]同方法4 一样，使相同预测块的条件判定优先，在I个预测块内进行4个条件判定，在不符合所有条件的情况下，判定该预测块内不存在符合条件的运动矢量，进行下面的预测块的条件判定。但是，在预测块内的条件判定中，方法4是使相同参照帧更加优先的，而方法5是使相同参照列表优先。
[0214]具体来说，按以下的优先顺序进行条件判定。(N为A或B)
[0215]1.预测块NO的条件判定I 0?同参照列表、相同参照帧)
[0216]2.预测块NO的条件判定3 (相同参照列表、不同参照帧)
[0217]3.预测块NO的条件判定2 (不同参照列表、相同参照帧)
[0218]4.预测块NO的条件判定4 (不同参照列表、不同参照帧)
[0219]5.预测块NI的条件判定I 0?同参照列表、相同参照帧)
[0220]6.预测块NI的条件判定3 (相同参照列表、不同参照帧)
[0221]7.预测块NI的条件判定2 (不同参照列表、相同参照帧)
[0222]8.预测块NI的条件判定4 (不同参照列表、不同参照帧)
[0223]9.预测块N2的条件判定I 0?同参照列表、相同参照帧)
[0224]10.预测块N2的条件判定3 (相同参照列表、不同参照帧)
[0225]11.预测块N2的条`件判定2 (不同参照列表、相同参照帧)
[0226]12.预测块N2的条件判定4 (不同参照列表、不同参照帧)
[0227]通过方法5，与方法4相比能进一步减少预测块的参照列表的参照次数，通过削减对存储器的访问次数、条件判定等的处理量，能降低复杂性。此外，同方法4 一样，条件判定的周次数最大为I次，故考虑了向硬件的安装时，对预测块的编码信息的存储器访问次数比方法1、方法2、方法3减少，复杂性降低。
[0228]接下来，预测运动矢量登录部121评价预测运动矢量的候选mvLXA、mvLXB、mvLXCol的优先顺位，安与优先顺位相应的顺序保存到MVP列表MVPlistLX中。关于该保存到MVP列表MVPlistLX中的步骤，后面再详细说明。
[0229]接下来，预测运动矢量候选相同判定部122从MVP列表MVPlistLX所保存的预测运动矢量的候选中判定具有相同运动矢量值的矢量，针对被判定具有相同运动矢量值的预测运动矢量的候选，留下一个，将其它的从MVP列表MVPlistLX中删除，以使得预测运动矢量的候选不重复，来更新MVP列表MVPlistLX。预测运动矢量候选相同判定部122将更新后的MVP列表MVPlistLX提供给预测运动矢量候选码量导出部123和预测运动矢量选择部124。
[0230]另一方面，在图1的运动矢量检测部102中针对每个预测块检测运动矢量mv。该运动矢量IW同更新后的MVP列表MVPlistLX的预测运动矢量的候选一起被输入到预测运动矢量候选码量导出部123。
[0231]预测运动矢量候选码量导出部123导出运动矢量mv与MVP列表MVPlistLX中所保存的各预测运动矢量的候选MVPlistLX [ i ]的差分、即各个差分运动矢量，针对MVP列表MVPlistLX的各要素分别导出将这些差分运动矢量编码时的码量，提供给预测运动矢量选择部124。
[0232]预测运动矢量选择部124将MVP列表MVPlistLX所登录的各要素中、预测运动矢量的各候选的码量最小的预测运动矢量的候选MVPlistLX [i]选为预测运动矢量MVP，当在MVP列表MVPlistLX中成为最小产生码量的预测运动矢量的候选存在多个时，选择MVP列表MVPlistLX中的索引i较小的编号所表示的预测运动矢量的候选MVPlistLX [i]作为最佳预测运动矢量MVP。将所选择的预测运动矢量MVP提供给运动矢量减法部125。进而，将与该选择的预测运动矢量MVP对应的MVP列表中的索引i作为LX (X = O或I)的MVP索引MVP _ Idx而输出。
[0233]此外，预测运动矢量选择部124根据需要，将MVP — Idx指示的MVP列表中的预测块所使用的编码信息也输出给图1的预测方法决定部106。在此输出的编码信息包括加权预测的加权参数、量化的量化参数等。
[0234]最后,运动矢量减法部125通过使运动矢量mv减去所选择的预测运动矢量MVP来导出差分运动矢量mvd,输出差分运动矢量mvd。
[0235]mvd = mv — MVP
[0236]返回图1，运动补偿预测部105参照被保存在解码图像存储器115中的解码图像，根据从运动矢量检测部102供给的运动矢量mv来进行运动补偿，得到运动补偿预测信号，提供给预测方法决定部106。
[0237]预测方法决定部106决定预测方法。针对各个预测模式分别导出码量和编码畸变，决定成为最少产生码量和编码畸变的预测块尺寸和预测模式。表示从差分运动矢量导出部103的运动矢量减法部125供给来的差分运动矢量mvd和从预测运动矢量选择部124供给来的预测运动矢量的索引MVP — Idx被进行编码，导出运动信息的码量。进而，导出将从运动补偿预测部105供给的运动补偿预测信号与从图像存储器101供给的编码对象的图像信号的预测残差信号编码后的预测残差信号的码量。导出运动信息的码量和预测残差信号的码量相加后的总产生码量，作为第I评价值。
[0238]此外，将这样的差分图像编码后，为畸变量评价而解码，通过表示与编码所产生的元图像的误差的比率，来导出编码畸变。针对各运动补偿分别比较总产生码量和编码畸变，决定成为最少产生码量和编码畸变的预测块尺寸和预测模式。对于与所决定的预测块尺寸的预测模式相应的运动矢量mv，进行上述的运动矢量的预测方法，表示预测运动矢量的索引被编码为由预测块单位的第2句法模式表示的标志MVP—idx —LX [i]。此外，关于此处所导出的产生码量，希望是仿真编码过程后的结果，但也可以简单地近似或概算。
[0239](解码中的运动矢量的预测)
[0240]基于上述句法，在对被编码了的动图像的比特流进行解码的动图像解码装置中，说明本发明的运动矢量的预测方法的动作。
[0241]首先，说明在第I编码比特串解码部202中被解码的比特流的各标志。图10是按由本发明的动图像编码装置生成、并被第I编码比特串解码部202解码的比特流的片单位，记述在片头中的第I句法模式。从记述在比特流的片头中的标志中，解码出第I标志mv —competition — temporal — flag,该第 I 标志 mv — competition — temporal — flag 在片类型为P或B的情况下、在帧间预测的非混合模式的预测块中，表示是否不仅利用同一图片内相邻的周围预测块的运动矢量，还利用时间方向上不同的图片中的与处理对象预测块处于同一位置或其附近的预测块的运动矢量来进行运动矢量的预测，而在帧间预测的混合模式的预测块中，表示是否不仅利用同一图片内相邻的周围预测块的编码信息、还利用时间方向上不同的图片中的与处理对象预测块处于同一位置或附近的预测块的编码信息来进行巾贞间预测；在mv — competition — temporal — flag为真(I)的情况下，在巾贞间预测的非混合模式的预测块中，不仅利用同一图片内相邻的周围预测块的运动矢量、还利用时间方向上不同的图片中与处理对象预测块处于同一位置或附近的预测块来进行运动矢量的预测，而在帧间预测的混合模式的预测块中，不仅利用同一图片内相邻的周围预测块的编码信息、还利用时间方向上不同的图片中与处理对象预测块处于同一位置或附近的预测块的编码信息来进行巾贞间预测。进而，在mv — competition — temporal — flag为真(I)的情况下，解码出第2标志mv — temporal — high — priority — flag进行判定,该第2标志mv — temporal — high — priority — flag在巾贞间预测的非混合模式的预测块中，表示时间方向上不同的图片中的与处理对象预测块处于同一位置的预测块的运动矢量的候选是否提高优先顺位后登录于后述的混合候选列表中，在其为真(I)的情况下，时间方向上不同的图片中与处理对象预测块处于同一位置的预测块的运动矢量及混合候选提高优先顺位地分别登录到MVP列表及混合候选列表中。
[0242]进而，在片类型为B的情况下,解码出第3标志collocated — from— 10 — flag,该第3标志collocated — from— 10 — flag表示使用在导出时间方向的预测运动矢量的候选、或混合候选时所使用的时间方向上不同的图片colPic被登录在包含有处理对象预测块的图片的LO的参照列表或LI的参照列表的哪一者中的参照图像，判别使用包含有处理对象预测块的图片的参照图片的列表中的LO或LI的哪一者。
[0243]进而，在片类型为P或B的情况下,解码出第4标志mv — list — adaptive — idx—flag,该第4标志mv — list — adaptive — idx — flag表示是否针对各预测块分别自适应地变更后述的MVP列表、或混合候选列表内的登录顺序，由此判别是否针对各预测块分别自适应地变更MVP列表、或混合候选列表内的登录顺序。
[0244]此外，以上的句法要素也可以设置成记述按图片单位设定的句法要素的图片参数集。
[0245]此外，第 I 标志 mv — competition — temporal — flag、第 2 标志 mv — temporal—high — priority — flag、第 3 标志 collocated — from — 10 — flag、第 4 标志 mv —list — adaptive — idx — flag分别按非混合模式的运动矢量预测用和混合模式用而准备独立的单独标志，能分别独立地进行控制。
[0246]图11是按由本发明的动图像编码装置生成、由第I编码比特串解码部202解码的比特流的预测块单位来记述的第2句法模式。表示按预测块单位记述的句法模式。在帧间预测的情况下(表示预测块是否为帧间预测的预测模式PredMode为表示帧间预测的MODE—INTER的情况下),表示是否为混合模式的merge — flag [xO] [yO]被解码。在此，xO、yO是表示画面内的预测块的左上像素的位置的索引，merge —flag [xO] [yO]是表示位于画面内的(x0，yO)位置的预测块是否为混合模式的标志。
[0247]接下来，在merge — flag [xO] [yO]为I的情况下，若混合模式的候选总数NumMergeCand超过I,则作为要参照的预测运动矢量的候选列表的混合列表的索引的句法要素merge —Idx [xO] [yO]被解码。在此，xO、yO是表示画面内的预测块的左上像素的位置的索引，merge — Idx [xO] [yO]是位于画面内的(xO, yO)位置的预测块的混合索引。
[0248]另一方面，在merge — flag [xO] [yO]为O的情况下,针对各参照列表LX (X = O或1)，分别解码出在运动矢量检测中求得的预测块的运动矢量与预测运动矢量的差分运动矢量的句法要素mvd —LX [xO] [yO] [j]。在此，X以0或I表示预测方向，排列的索引xO表示预测块的X坐标、yO表示预测块的I坐标、j表示差分运动矢量的分量，j = O表示X分量、j = I表示y分量。接下来，若预测运动矢量的候选的总数超过I，则解码出作为要参照的预测运动矢量的候选列表的MVP列表的索引的句法要素MVP _ idx _ LX [xO] [yO]。在此，xO、yO是表示画面内的预测块的左上像素的位置的索引，MVP—idx —LX [xO] [yO]是位于画面内的(xO，yO)位置的预测块的列表LX的MVP索引。后缀LX表示参照列表，准备有LO和LI的两个，X为O或I。函数NumMVPCand (LX)表示按预测方向LX (X为O或I)导出预测块的预测运动矢量的候选总数的函数，将在后文说明。该MVP列表的索引MVP—idx — LX [xO] [yO]通过运动矢量的预测方法,在预测运动矢量的候选总数NumMVPCand(LX)大于I时被解码。这是因为，若预测运动矢量的候选总数为1，则该I个成为预测运动矢量，故无需传送MVP _ idx _LX [xO] [yO]也能确定要参照的预测运动矢量的候选。
[0249]在实施方式的运动矢量的预测方法被实施的情况下，在图2的动图像解码装置的运动矢量导出部204中执行处理。图13是表示与实施方式的动图像编码装置对应的图2的动图像解码装置的运动矢量导出部204的详细构成的图。图13的粗框线所包围的部分表示了运动矢量导出部204。进而,其内部的用粗虚线包围的部分表示后述的运动矢量的预测方法的动作部，在对应的动图像编码装置中也同样被设置，以使得在编码和解码中得到不相矛盾的同一判定结果。以下使用该图来说明解码中的运动矢量的预测方法。
[0250]运动矢量导出部204包括预测运动矢量候选生成部220、预测运动矢量登录部221、预测运动矢量候选相同判定部222、预测运动矢量选择部223及运动矢量加法部224。
[0251]规定运动矢量导出部204中的预测运动矢量候选生成部220、预测运动矢量登录部221及预测运动矢量候选相同判定部222分别进行与编码侧的差分运动矢量导出部103中的预测运动矢量候选生成部120、预测运动矢量登录部121及预测运动矢量候选相同判定部122相同的动作，从而能够在编码侧及解码侧得到编码和解码不相矛盾的相同的预测运动矢量的候选。
[0252]预测运动矢量候选生成部220进行与图12的编码侧的预测运动矢量候选生成部120相同的处理。预测运动矢量候选生成部220从编码信息保存存储器209读出解码后被记录在编码信息保存存储器209中的、与解码对象块处于同一图片内的相邻于解码对象块的已解码的预测块、及不同图片内的与解码对象块处于同一位置或其附近位置的已解码的预测块等的运动矢量。基于从编码信息保存存储器209读出的已解码的其它块的运动矢量，生成至少I个以上的预测运动矢量的候选mvLXA、mvLXB、mvLXCol,提供给预测运动矢量登录部221。这些预测运动矢量的候选mvLXA、mvLXB、mvLXCol有时也通过根据参照索引进行缩放而导出。此外，预测运动矢量候选生成部220进行与图12的编码侧的预测运动矢量候选生成部120相同的处理，故在图12的编码侧的预测运动矢量候选生成部120中说明的用于导出预测运动矢量的方法1、2、3、4、5的条件判定，在预测运动矢量候选生成部220中也能适用，在此省略详细说明。
[0253]接下来，预测运动矢量登录部221进行与图12的编码侧的预测运动矢量登录部121相同的处理。预测运动矢量登录部221评价预测运动矢量的候选mvLXA、mvLXB、mvLXCol的优先顺位，并按与优先顺位相应的顺序保存到MVP列表MVPlistLX中。关于保存到该MVP列表MVPlistLX中的步骤，将在后文详细说明。[0254]接下来，预测运动矢量候选相同判定部222进行与图12的编码侧的预测运动矢量候选相同判定部122相同的处理。预测运动矢量候选相同判定部222从MVP列表MVPl istLX所保存的预测运动矢量的候选中判定具有同一运动矢量值的候选，并针对被判定为具有同一运动矢量值的预测运动矢量的候选，只保留一个，将其它的从MVP列表MVPlistLX中删除，以使得预测运动矢量的候选不重复，来更新MVP列表MVPlistLX。更新后的MVP列表MVPlistLX被提供给预测运动矢量选择部223。
[0255]另一方面，在第I编码比特串解码部202中被解码后的差分运动矢量mvd被输入到运动矢量加法部224。在被编码有表示预测运动矢量的索引的MVP —Idx的情况下，在第I编码比特串解码部202中解码出的预测运动矢量的索引MVP — Idx被输入到预测运动矢量选择部223。
[0256]这样，预测运动矢量选择部223被输入MVP列表MVPlistLX中剩下的预测运动矢量的候选，在被编码有表示预测运动矢量的索引的MVP — Idx的情况下，还被输入解码后的预测运动矢量的索引MVP — Idx。
[0257]预测运动矢量选择部223首先判定留在MVP列表MVPlistLX中的预测运动矢量的候选是否为I个，在是I个的情况下，取出留在MVP列表MVPlistLX中的预测运动矢量的候选作为预测运动矢量MVP。若MVP列表MVPlistLX中留有多于I个的预测运动矢量的候选，则在第I编码比特串解码部202中解码后的预测运动矢量的索引MVP— Idx被读入，从MVP列表MVPlistLX取出与被读入的索引MVP — Idx对应的预测运动矢量的候选。将所取出的预测运动矢量的候选作为预测运动矢量MVP提供给运动矢量加法部224。
[0258]最后，运动矢量加法部224将第I编码比特串解码部202所解码供给的差分运动矢量mvd和预测运动矢量MVP相加,从而导出运动矢量mv,并输出运动矢量mv。
[0259]mv = MVP + mvd
[0260]如上这样针对每个预测块导出运动矢量。使用该运动矢量，通过运动补偿生成预测图像，并与从比特流中解码出的残差信号相加，由此生成解码图像。
[0261]关于动图像编码装置的差分运动矢量导出部103、动图像解码装置的运动矢量导出部204的处理步骤，分别使用图14、图15的流程图来进行说明。图14是表示动图像编码装置的差分运动矢量导出处理步骤的流程图，图15是表示动图像解码装置的运动矢量导出处理步骤的流程图。
[0262]首先，参照图14说明编码侧的处理步骤。在编码侧，由差分运动矢量导出部103中的预测运动矢量候选生成部120、预测运动矢量登录部121、及预测运动矢量候选相同判定部122导出预测运动矢量的候选，将导出的预测运动矢量的候选追加到MVP列表中，并删除不需要的预测运动矢量的候选，由此构建MVP列表(S101)。
[0263]接下来，由预测运动矢量候选码量导出部123导出作为运动矢量mv与MVP列表MVPlistLX中所保存的各预测运动矢量的候选MVPlistLX [i]的差分的各个差分运动矢量，并针对MVP列表MVPlistLX的各要素分别导出编码这些差分运动矢量时的码量，由预测运动矢量选择部124在MVP列表MVPlistLX内所登录的各要素中选择各预测运动矢量的候选的码量最小的预测运动矢量的候选MVPlistLX [i]，作为预测运动矢量MVP，若MVP列表MVPlistLX中成为最小产生码量的预测运动矢量的候选存在多个，则将MVP列表MVPlistLX中的索引i较小的编号所表示的预测运动矢量的候选MVPlistLX [i]选为最佳预测运动矢量MVP。将所选择的预测运动矢量MVP提供给运动矢量减法部125。进而，将与该选择的预测运动矢量MVP对应的MVP列表中的索引i作为LX (X = O或I)的MVP索引MVP — Idx而输出(S102)。
[0264]接下来,运动矢量减法部125通过导出运动矢量mv与所选择的预测运动矢量MVP的差分，来导出差分运动矢量mvd,并输出差分运动矢量mvd (S103)。
[0265]mvd = mv — MVP
[0266]下面参照图15说明解码侧的处理步骤。在解码侧也如前述那样，同编码侧一样由运动矢量导出部204中的预测运动矢量候选生成部220、预测运动矢量登录部221、及预测运动矢量候选相同判定部222导出预测运动矢量的候选，将导出的预测运动矢量的候选追加到MVP列表中，并删除不需要的预测运动矢量的候选，由此构建MVP列表(S201)。
[0267]接下来，由预测运动矢量选择部223首先判定MVP列表MVPlistLX中剩下的预测运动矢量的候选是否为I个，若为I个，则取出MVP列表MVPlistLX中剩下的预测运动矢量的候选作为预测运动矢量MVP。若MVP列表MVPlistLX中剩有多于I个的预测运动矢量的候选，则在第I编码比特串解码部202中解码后的预测运动矢量的索引MVP — Idx被读入，从MVP列表MVPl istLX取出与所读入的索引MVP — Idx对应的预测运动矢量的候选(S202 )。
[0268]接下来，由运动矢量加法部224将第I编码比特串解码部202所解码并供给的差分运动矢量mvd和预测运动矢量MVP相加,从而导出运动矢量mv,输出运动矢量mv (图15的 S203)。
[0269]mv = MVP + mvd
[0270]使用图16的流程图详细说明在图14的SlOl及图15的S201中共通的预测运动矢量的导出及MVP列表构建方法的处理步骤。
[0271]首先，说明在动图像编码装置及动图像解码装置中共通的运动矢量的预测方法。
[0272](运动矢量的预测方法)
[0273]实施方式的预测运动矢量的导出及MVP列表构建方法是按预测块单位、在图16所示的各过程中针对每个参照列表LX (X为O或I)被实施的。预测模式PredMode为MODE—INTER (巾贞间预测),表示巾贞间预测方法的标志inter — pred — flag [xO] [yO]为Pred
—LO (L0预测)或Pred —BI (双预测)时，导出参照列表LO用的预测运动矢量的候选，并构建MVP列表。这里，x0、y0是表示画面内的预测块的左上像素的位置的索引，inter _pred — flag [xO] [yO]是表示位于画面内的(xO, yO)位置的预测块的巾贞间预测方法的标志。inter — pred — flag [xO] [yO]为 Pred — LI (LI 预测)或 Pred — BI (双预测)时，导出参照列表LI用的预测运动矢量的候选,并构建MVP列表。S卩，inter — pred — flag[xO] [yO]为Pred —BI (双预测)时，导出参照列表LO用和参照列表LI用各自的预测运动矢量的候选，构建MVP列表。图16是表示在动图像编码装置的差分运动矢量导出部103及动图像解码装置的运动矢量导出部204中具有共通的功能的预测运动矢量候选生成部120及220、预测运动矢量登录部121及221、以及预测运动矢量候选相同判定部122及222的处理流程的流程图。以下按顺序说明各过程。
[0274]输出表示能否导出并使用基于左侧相邻的预测块的预测运动矢量的候选的标志availableFlagLXA、及运动矢量 mvLXA、参照图片的 POCpocLXA (图 16 的 S301)。设 LO 时 X为0，L1时X为1(以下同样)。接下来，导出表示能否导出并使用基于上侧相邻的预测块的预测运动矢量的候选的标志availableFlagLXB、及运动矢量mvLXB、参照图片的POCpocLXB(图16的S302)。图16的S301和S302的处理是共通的，稍后使用图17?22的流程图详细说明用于导出表示能否利用的标志availableFlagLXN、及运动矢量mvLXN、参照图片的POCpocLXN (N为A或B、以下同样)的共通的导出处理步骤。
[0275]接下来，输出表示能否导出并使用时间的预测运动矢量的候选的标志availableFlagLXCol、及运动矢量mvLXCol、表示是否交叉的标志mvXCrossFlag (图16的S303)。稍后使用图24?29和图22的流程图详细说明它们的导出处理步骤。
[0276]接下来，生成MVP列表MVPlistLX，追加预测矢量的候选mvLXN (N为A、B或Col、以下同样K图16的S304)。稍后使用图30?36的流程图详细说明它们的导出处理步骤。
[0277]接下来，若在MVP列表MVPlistLX内、多个运动矢量具有相同值，则除最小顺序的运动矢量外消除这些运动矢量(图16的S305)。
[0278]接下来，回到图15，若MVP列表MVPlistLX内的要素数NumMVPCand(LX)为1，则将最终的MVP索引MVPIdx置为0，此外的情况下使MVPIdx为MVP —idx —LX [xP, yP](图15的S202)。在此，xP、yP是表示画面内的预测块的左上像素的位置的索引，MVP—idx —LX [xP] [yP]是位于画面内的(xP，yP)位置的预测块的列表LX (L0或LI)的MVP索引。后缀LX表示参照列表，准备有LO和LI的2个，X为O或I。
[0279]接下来，LX的MVP列表内的第MVPIdx个登录的运动矢量MVPlistLX [MVPIdx]被分配为最终的列表LX的预测运动矢量MVPLX (图15的S203)。
[0280][从左侧或上侧相邻的I个以上的预测块分别导出预测运动矢量的候选(图16的S30US302)]
[0281]该处理中的输入是作为编码/解码对象预测块的起始的左上像素在编码/解码对象图像内的坐标(xP，yP)、以及编码/解码对象预测块的宽度NPSW和高度NPSH、预测块的各参照列表的参照索引refldxLX (X为O或I)。后缀LX表示参照列表，准备有LO和LI的两个，X为O或I。参照列表L0、L1是用于为从多个参照图片的候选中按块单位参照任意图片进行运动补偿而管理多个参照图片的列表，参照索引refldxLX是为指定参照图片而针对各参照列表分别分配给各参照图片的索引。
[0282]该处理中的输出是左侧或上侧相邻的预测块的运动矢量mvLXN、及表示预测块组N的参照列表LX的编码信息是否有效的标志availableFlagLXN，后缀X为表示参照列表的O或1，N为表示相邻的预测块组的区域的A (左侧)或B (上侧)。
[0283]如图5、图6、图7、图8所示，从为对同一图片内的编码块内部进行运动补偿而定义的预测块(图12中O处理对象O预测块)的相邻周围的预测块中，导出预测运动矢量的候选。
[0284]图5表示处理对象预测块和与之相邻的预测块。关于预测运动矢量的候选，分别从由处理对象预测块的左侧相邻的预测块Ak (k = 0，1，2)构成的预测块组A、和由上方相邻的预测块Bk (k = 0，1，2)构成的预测块组B选出预测运动矢量的候选。
[0285]使用图17的流程图，说明图16的S301及S302的处理步骤、即基于左侧及上侧相邻的预测块组N导出预测运动矢量的候选mvLXN的导出方法。后缀X为表示参照列表的O或1，N为表示相邻的预测块组的区域的A (左侧)或B (上侧)。
[0286]在图17中，分别按以下步骤，使变量N = A而基于编码/解码对象预测块的左侧相邻的I个以上的预测块导出预测运动矢量的候选，使变量N = B而基于上侧相邻的I个以上的预测块导出预测运动矢量的候选。
[0287]首先，确定相邻于编码/解码对象预测块的预测块，在各个预测块Nk(k = 0,1,2)能使用的情况下，取得编码信息(S1101、S1102、S1103)。对于编码/解码对象预测块的左侧相邻的预测块组(N = A)的情况，确定左下相邻的预测块A0、左相邻的预测块Al、左上相邻的预测块A2来取得编码信息，对于编码/解码对象预测块的上侧相邻的预测块组(N =B)的情况，确定右上相邻的预测块B0、上相邻的预测块B1、左上相邻的预测块B2来取得编码信息(S1101、S1102、S1103)。此外，当相邻的预测块Nk位于包含编码/解码对象预测块的片的内侧时能够使用，在位于外侧时不能使用。
[0288]接下来，将表示是否从预测块组N选出预测运动矢量的标志availableFlagLXN设定为0，将代表预测块组N的运动矢量mvLXN设定为(0，0)，将表示代表预测块组N的运动矢量未被缩放的标志MvXNNonScale设定为O (S1104、S1105、S1106)。
[0289]接下来，进行图18所示的流程图的处理(S1107)。在预测块组N的相邻预测块NO、NUN2中，搜索在编码/解码对象预测块中成为当前对象的参照列表LX和在相同参照列表LX中具有相同参照索引的运动矢量。
[0290]图18是表示图17的步骤S1107的处理步骤的流程图。针对相邻的预测块Nk (k=0，1，2)，按1^为0，1，2的顺序分别进行以下处理(S1201~S1210)。在N为A的情况下按从下至上的顺序，在N为B的情况下按从右向左的顺序分别进行以下处理。
[0291]在相邻的预测块N k能使用(S1202的YES)、预测块Nk的编码模式PredMode并非帧内(MODE — INTRAXS1203的YES)、相邻的预测块Nk的predFlagLX(表示是否为LX预测的标志)为I的情况下(S1204的YES)，对相邻的预测块Nk的参照索引refldxLX [xNk] [yNk]与处理对象预测块的索引refldxLX进行比较(S1205)。若两者的参照索引相同(S1205的YES)，则将标志 availableFlagLXN 设定为 I (S1206)、将 mvLXN 设定为与 mvLXN[xNk][yNk]相同的值(S1207)，将 refldxN 设定为与 refIdxLX [xNk] [yNk]相同的值(S1208)、将 IistN设定为LX (S1209)，将表示未被缩放的标志MvXNNonScale设定为I (S1210)。
[0292]在本实施方式中，表示未被缩放的标志MvXNNonScale为1、即未被缩放地导出的运动矢量mvLXN，是基于参照与编码/解码对象预测块的运动矢量相同的参照图片的预测块的运动矢量而预测出的运动矢量，判定作为编码/解码对象预测块的预测运动矢量的候选比较合适。另一方面,标志MvXCross为O、即通过缩放而导出的运动矢量mvLXN,是基于参照与编码/解码对象预测块的运动矢量不同的参照图片的预测块的运动矢量而预测出的运动矢量，判定较不适合作为编码/解码对象预测块的预测运动矢量的候选。即，将表示未被缩放的标志MvXNNonScale作为判定是否适合当作预测运动矢量的候选的判断指标之一来使用。
[0293]另一方面，在不符合这些条件的情况下(S1202的NO，S1203的NO，S1204的NO，或S1205的NO的情况下)，将k增加1，进行下一相邻预测块的处理(S1202~S1209)，反复执行直到availableFlagLXN变成1、或N2的处理结束。
[0294]接下来，回到图17的流程图，在availableFlagLXN为O时(S1108的YES)进行图19所示的流程图的处理(S1109)。在预测块组N的相邻预测块NO、N1、N2中，搜索在与编码/解码对象预测块中作为当前对象的参照列表LX相反的参照列表LY (Y = ! X:作为当前对象的参照列表为LO时、相反的参照列表为LI，作为当前对象的参照列表为LI时、相反的参照列表为L0)中具有相同参照POC的运动矢量的预测块。
[0295]图19是表示图17的步骤S1109的处理步骤的流程图。针对相邻的预测块Nk (k=0，1，2)，按1^为0，1，2的顺序分别进行以下处理(S1301~S1310)。在N为A的情况下按从下至上的顺序、在N为B的情况下按从右向左的顺序分别进行以下处理。
[0296]在相邻的预测块Nk能使用(S1302的YES)、预测块Nk的编码模式PredMode并非帧内(MODE — INTRAXS1303的YES)、相邻的预测块Nk的predFlagLY(表示是否为LY预测的标志)为I的情况下(S1304的YES)，对与相邻的预测块Nk的作为当前对象的参照列表LX相反的参照列表 LY 的参照图片 RefPiclistY [refIdxLY [xNk] [yNk]]的 POCRefPicOrderCnt(currPic,refIdxLY [xNk] [yNk],LY)和处理对象的预测块的LX的参照图片RefPiclistX[refldxLX]的 P0CRefPic0rderCnt(currPic, refIdxLX, LX)进行比较(S1305)。在两者的参照图片的POC相同的情况下(S1305的YES )，将标志avai lab I eFlagLXN设定为I (S1306 )、将mvLXN 设定为与 mvLXN[xNk][yNk]相同的值(S1307)、将 ref IdxN 设定为与 ref IdxLY[xNk][yNk]相同的值(S1308)、将IistN设定为LY(S1309)、将表示未被缩放的标志MvXNNonScale设定为I (S1310)。
[0297]另一方面，在不符合这些条件的情况下(S1302的NO，S1303的NO，S1304的NO，或S1305的NO的情况下)，使k增加1，进行下一相邻预测块的处理(S1302~S1309)，反复执行直到availableFlagLXN成为1、或N2的处理结束。
[0298]接下来，回到图17的流程图，在avai I ab I eFlagLXN为O时(S1110的YES )，进行图20所示的流程图的处理(S1111)。在预测块组N的相邻预测块NO、N1、N2中，搜索在与编码/解码对象预测块中作为当前对象的参照列表LX相同的参照列表LX中具有不同的参照POC的运动矢量的预测块。
`[0299]图20是表示图17的步骤Sllll的处理步骤的流程图。针对相邻的预测块Nk (k=0，1，2)，按1^为0，1，2的顺序分别进行以下处理(S1401~S1409)。在N为A的情况下按从下至上的顺序、在N为B的情况下按从右向左的顺序分别进行以下处理。
[0300]在相邻的预测块Nk能使用(S1402的YES)、预测块Nk的编码模式PredMode并非帧内(MODE — INTRA) (S1403的YES)、相邻的预测块Nk的predFlagLX (表示是否为LX预测的标志)为I的情况下(S1404的YES)，将标志availableFlagLXN设定为I (S1405)、将mvLXN 设定为与 mvLXN[xNk][yNk]相同的值(S1406)、将 refldxN 设定为与 refIdxLX[xNk][yNk]相同的值(S1407)、将 IistN 设定为 LX (S1408)。
[0301]另一方面，在不符合这些条件的情况下(S1402的NO，S1403的NO，或S1404的NO的情况下)，使k增加1，进行下一相邻预测块的处理(S1402~S1408)，反复执行直到availableFlagLXN成为1、或N2的处理结束。
[0302]接下来，回到图17的流程图，在avai I ab I eFlagLXN为O时(S1112的YES )，进行图21所示的流程图的处理(S1113)。(在预测块组N的相邻预测块NO、N1、N2中，搜索在与编码/解码对象预测块中作为当前对象的参照列表LX相反的参照列表LY (Y = ! X:作为当前对象的参照列表为LO时、相反的参照列表是LI，作为当前对象的参照列表为LI时、相反的参照列表为L0)中具有不同的参照POC的运动矢量的预测块)
[0303]图21是表示图17的步骤S1113的处理步骤的流程图。针对相邻的预测块Nk (k=0，1，2)，按1^为0，1，2的顺序分别进行以下处理(S1501~S1509)。在N为A的情况下按从下至上的顺序、在N为B的情况下按从右向左的顺序分别进行以下处理。
[0304]在相邻的预测块Nk能使用(S1502的YES)、预测块Nk的编码模式PredMode并非帧内(MODE — INTRA) (S1503的YES)、相邻的预测块Nk的predFlagLY (表示是否为LY预测的标志)为I的情况下(S1504的YES)，将标志availableFlagLXN设定为I (S1505)、将mvLXN 设定为与 mvLXN[xNk][yNk]相同的值(S1506)、将 refldxN 设定为与 refIdxLY[xNk][yNk]相同的值(S1507)、将 IistN 设定为 LY (S1508)。
[0305]另一方面，在不符合这些条件的情况下(S1502的NO，S1503的NO，或S1504的NO的情况下)，使k增加1，进行下一相邻预测块的处理(S1502~S1508)，反复执行直到availableFlagLXN成为1、或N2的处理结束。
[0306]接下来，回到图17的流程图，在availableFlagLXN为I时(S1114的YES)，进行图22所示的mvLXN的缩放处理(SI115)。
[0307]图22是表示图17的步骤SI 115的运动矢量的缩放处理步骤的流程图。图23是用具体例子说明运动矢量的时间方向的缩放的图。如果要参照的预测块的参照列表1istN白勺参照图片 RefPiclistN [refldxLN]的 POCRefPicOrderCnt (currPic, refldxN, IistN)与 LX 的参照图片 RefPiclistX [refldxLX]的 POCRefPicOrderCnt (currPic, refldxLX,LX)不相等(S1601的YES)，则原样保持mvLXN的值(S1602)，若并非如此(S1601的NO)，则通过下式进行缩放处理。
[0308]mvLXN = tb / td * mvLXN
[0309]td是当前的编码/解码对象图像的POCPicOrderCnt (currPic)与相邻预测块的参照列表1istN所参照的参照图片RefPiclistN [refldxN]的POCRefPicOrderCnt(currPic, refldxN, IistN)的差。
`[0310]td = PicOrderCnt (currPic) — RefPicOrderCnt (currPic, refldxN, IistN)
[0311]tb是当前的编码/解码对象图像的POCPicOrderCnt (currPic)与当前的编码/解码对象图像的参照列表LX所参照的参照图片的POC的差。
[0312]tb = PicOrderCnt (currPic) — RefPicOrderCnt (currPic, refldxLX, LX)
[0313][导出时间方向的预测运动矢量的候选(图16的S303)]
[0314]该处理中的输入是作为编码/解码对象预测块的起始的左上像素在编码/解码对象图像内的坐标(xP，yP)、以及编码/解码对象预测块的宽度NPSW和高度NPSH、预测块的各参照列表的参照索引refldxLX (X为O或I)。后缀LX表示参照列表，准备有LO和LI的两个，X为O或I。参照列表L0、L1是为从多个参照图片的候选中按块单位参照任意图片进行运动补偿而管理多个参照图片的列表，参照索引refldxLX是为指定参照图片而针对各参照列表分别分配给各参照图片的索引。
[0315]该处理中的输出是与预测块同位置的其它图片的预测块的运动矢量mvLXCol、以及表示预测块组Col的参照列表LX的编码信息是否有效的标志availableFlagLXCol，后缀X为表示参照列表的O或I。
[0316]图24是说明图16的步骤S303的处理步骤的流程图。
[0317]首先，通过slice — type 和 collocated — from — 10 — flag 导出成为基准的图片 colPic (图 24 的 S2101)。[0318]图25是说明图24的步骤S2101的基准图片colPic的导出处理步骤的流程图。在slice — type 为 B、图 10 的第 3 标志 collocated — form — 10 — flag 为 O 的情况下(图25的S2201的YES、S2202的YES),RefPiclistl [O]、即参照图片列表1的参照索引为O的图片成为colPic (图25的S2203)。若并非如此(图25的S2201的N0、S2202的N0、S2204^ NO),RefPiclistO [O]、即参照图片列表O的参照索引为O的图片成为colPic (图25的S2205)。
[0319]接下来回到图24的流程图，导出预测块colPu，取得编码信息(图24的S2102)。
[0320]图26是说明图24的步骤S2102的预测块colPu的导出处理步骤的流程图。
[0321]首先，将在colPic内位于与处理对象预测块同一位置的右下方(外侧)的预测块设定为colPu (图26的S2301)。该预测块相当于图9的预测块TO。
[0322]然后，取得预测块CoIPu的编码信息。在预测块CoIPu的PredMode为MODE _INTRA、或不可使用的情况下(图26的S2303、S2304)，将在colPic内位于与处理对象预测块同一位置的左上方(内侧)的预测块设定为colPu (图26的S2305)。该预测块相当于图9的预测块Tl。此外，虽然未图示，但在预测块colPu的PredMode为MODE—INTRA、或不可使用的情况下，按图9的预测块T2、T3的顺序搜索能使用的PredMode并非MODE _ INTRA的预测块。
[0323]接下来回到图24的流程图，导出mvLXCol和availableFlagLXCol (图24的S2103)。
[0324]图27是说明图2 4的步骤S2103的帧间预测信息的导出处理的流程图。
[0325]在预测块colPu的PredMode为MODE — INTRA、或不可使用的情况下(图27的S2401 的 NO、S2402 的 NO),使 availableFlagLXCol 为 O、使 mvLXCol 为(0，0)(图 27 的S2403、S2404)，结束处理。
[0326]在预测块colPu能使用，PredMode并非MODE — INTRA的情况下(图27的S2401的YES、S2402 的 YES)，按以下步骤导出 mvCol 和 refIdxCoI。
[0327]在预测块colPu的LO预测标志PredFlagLO [xPCol] [yPCol]为O的情况下(图27的S2405的YES)，预测块colPu的预测模式为Pred —LI，故将运动矢量mvCol和参照索引refldxCol分别设定为作为良预测块colPu的LI的运动矢量的MvLl [xPCol] [yPCol]和 LI 的参照索引 RefIdxLl [xPCol] [yPCol](图 27 的 S2406、S2407)。
[0328]进而，确认所设定的运动矢量mvCol是否横穿了包含编码/解码对象预测块的图片，并设定 MvlCross (图 27 的 S2408)。
[0329]下面参照图29说明运动矢量MV的交叉(cross)判定。
[0330]图29是说明用于确认colPu的运动矢量mvCol是否横穿了包含编码/解码对象预测块的图片地指示参照图像的确认处理的流程图。在基准图片colPic的POCPicOrderCnt (colPic)比编码 / 解码对象图片的 POCPicOrderCnt (currPic)小、mvCoI指示的参照图片的POCRefPicOrderCnt (colPic，RefldxColLX，LX)比编码/解码对象图片的POCPicOrderCnt (currPic)大的情况下(图27的S2601的YES)，由于是将编码/解码对象图片夹在中间、基准图片colPic处于过去、参照图片处于未来,故判定运动矢量mvCol横穿了包含编码/解码对象预测块的图片地指示参照图像，使MvXCross为I (图27的S2602)。若并非如此(图 27 的 S2601 的 NO)、基准图片 colPic 的 POCPicOrderCnt(colPic)比编码/解码对象图片的POCPicOrderCnt (currPic)大、mvCol指示的参照图片的POCRefPicOrderCnt (colPic，RefldxColLX，LX)比编码 / 解码对象图片的 POCPicOrderCnt(currPic)小的情况下(图27的S2603的YES)，由于是将编码/解码对象图片夹在中间、基准图片colPic位于未来、参照图片位于过去,故判定运动矢量mvCol横穿包含编码/解码对象预测块的图片地指示参照图像，使MvXCross为I (图27的S2602)。在不符合以上条件的情况下(图27的S2601的N0、S2603的NO)，判定运动矢量mvCol没有横穿包含编码/解码对象预测块的图片地指示参照图像，使MvXCross为O (图27的S2604)。
[0331]再次回到图27 JfMvCross设定为MvlCross的值(图27的S2409)。
[0332]在本实施方式中，标志MvXCross为1、即基准图片colPic的colPu的运动矢量mvCol横穿包含编码/解码对象预测块的图片地指示参照图像的情况下，判定该运动矢量mvCol作为编码/解码对象预测块的预测运动矢量的候选比较合适。另一方面，在标志MvXCross为O、即基准图片colPic的colPu的运动矢量mvCol未横穿包含编码/解码对象预测块的图片地指示参照图像的情况下，判定该运动矢量mvCol并不较适合作为编码/解码对象预测块的预测运动矢量的候选。即，将标志MvXCross作为判定是否适合当作预测运动矢量的候选的判断指标之一来使用。在预测块colPu的LI预测标志PredFlagLl[xPCol][yPCol]不为O的情况下(图27的S2410的YES)，由于预测块colPu的预测模式为Pred —BI，故从两个运动矢量中选择一者(图27的S2415)。
[0333]图28是说明预测块colPu的预测模式为Pred — BI时的预测块的帧间预测信息的取得处理方法的流程图。
[0334]运动矢量mvCol和参照索引refldxCol分别设定为作为预测块colPu的LO的运动矢量的 MvLO [xPCol] [yPCol]和 LO 的参照索引 RefIdxLO [xPCol] [yPCol](图 27 的S2411、S2412)。
`[0335]首先，对RefldxColLX 设定 LO 的参照索引 RefIdxLO [xPCol] [yPCol](图 28 的S2502)，确认LO的运动矢量是否横穿包含编码/解码对象预测块的图片后设定MvOCross(图 28 的 S2503)。进而，对 RefldxColLX 设定 LI 的参照索引 RefIdxLl [xPCol] [yPCol](图28的S2502)，确认LI的运动矢量是否横穿包含编码/解码对象预测块的图片后设定MvlCross (图 28 的 S2503)。
[0336]在MvOCross为 O 且MvlCross 为 I 的情况下(图 28 的 S2505 的 YES)、或者MvOCross与MvlCross相等、参照索引列表为LI的情况下(图28 ^ S2506的YES)，选择LI的帧间预测信息，运动矢量mvCol、参照索引refldxCol、列表listCol、MvCross分别设定为MvLl[xPCol] [yPCol]>RefIdxColLl及 L1、MvOCross。
[0337]在并非如此的情况下(图28的S2505的NO、S2506的NO)，选择LO的帧间预测信息，运动矢量mvCol、参照索引refldxCol、列表listCol、MvCross分别设定为MvL0[xPCol][yPCol]、RefIdxColLO 及 LO、MvOCross。
[0338]回到图27，取得帧间预测信息后将availableFlagLXCol置为I (图27的S2416)。
[0339]然后回到图24的流程图，在availableFlagLXCol为I的情况下(图24的S2104的YES)，根据需要缩放mvLXCol。在该mvLXCol的缩放中使用与在图22中说明过的方法同样的方法(图24的S2105)。
[0340][将预测运动矢量的候选追加到MVP列表中(图16的S304)][0341]将在图16的S301、S302、及S303中导出的预测运动矢量的候选mvLXN (N = A,B,Col)追加到MVP列表MVPlistLX中(S304)。图30是表示向MVP列表追加预测运动矢量的候选的追加处理步骤的流程图。在本实施方式中，赋以优先顺位，从优先顺位高者起向MVP列表MVPlistLX中登录预测运动矢量的候选，由此削减MVP索引MVP — idx —LX[x0][y0]的码量。通过将优先顺位高的要素配置在MVP列表的前方，来削减码量。例如，在MVP列表MVPlistLX的要素为3个的情况下，通过使MVP列表的索引O为“O”、使索引I为“10”、使索引2为“11”，表示索引O的码量成为I比特，对索引O登录认为发生频率较高的要素，从而削减码量。
[0342]MVP列表MVPl istLX形成列表构造，设有将表示MVP列表内部的所在的索引和与索引对应的预测运动矢量的候选作为要素来保存的存储区域。索引的数字从O开始，在MVP列表MVPlistLX的存储区域内保存预测运动矢量的候选。在以后的处理中，将登录在MVP列表MVPlistLX中的索引i的预测运动矢量的候选用MVPlistLX [i]来表示，通过进行排列标记来与MVP列表MVPlistLX相区别。
[0343]在按各片、序列或图片而编码的标志mv — temporal — high — priority — flag为 l、mv —list —adaptive —idx —flag 为 0 的情况下(S3101 的 YES、S3102 的 NO)，与基于左相邻或上相邻的预测块的预测运动矢量的候选mvLXA、mvLXB相比，基于不同时间的图片的同一位置或其附近的预测块的预测运动矢量的候选mvLXCol被优先，按图31所示的流程图的处理步骤，将预测运动矢量的候选登录在MVP列表中(S3104)。
[0344]此外，在 mv — temporal — high — priority — flag 为 0、mv — list — adaptive—idx —flag为0的情况下(S3101的N0、S3103的NO)，与基于不同时间的图片的同一位置或其附近的预测块的预测运动矢量的候选mvLXCol相比，基于左相邻或上相邻的预测块的预测运动矢量的候选mvLXA、mvLXB被优先，按图32所示的流程图的处理步骤，将预测运动矢量的候选登录在MVP列表中(S3105)。
[0345]此夕卜，在 mv — temporal—high — priority — flag 为 l>mv — list — adaptive—idx _ flag为I的情况下(S3101的YES、S3102的YES)，被判定为可靠性较高的预测运动矢量的候选被优先，并且与基于左相邻或上相邻的预测块的预测运动矢量的候选mvLXA、mvLXB相比，基于不同时间的图片的同一位置或其附近的预测块的预测运动矢量的候选mvLXCol被优先，按图33所示的流程图的处理步骤，将预测运动矢量的候选登录在MVP列表中(S3106)。
[0346]此外，在 mv — temporal — high — priority — flag 为 0、mv — list — adaptive
—idx _ flag为I的情况下(S3101的NO、S3103的YES)，被判定可靠性较高的预测运动矢量的候选被优先，并且与基于不同时间的图片的同一位置或其附近的预测块的预测运动矢量的候选mvLXCol相比，基于左相邻或上相邻的预测块的预测运动矢量的候选mvLXA、mvLXB被优先，按图34所示的流程图的处理步骤，将预测运动矢量的候选登录在MVP列表中(S3107)。
[0347]如前所述，为提高编码效率，按各帧或片自适应地变更第2标志mv — temporal —high — priority — flag的值地进行编码。在编码/解码对象图片与最近的参照图片之间的距离较近的情况下，使mv — temporal — high — priority — flag为真(I),在编码/解码对象图像与参照图片间的距离较远的情况下，使其为假(0)，由此能削减MVP索引的码量。在该距离比较小的情况下，判定来自不同时间的MVP的候选比较适合作为候选。例如，在帧率为30Hz的情况下，若编码/解码对象图片与最近的参照图片间的距离在X帧以内(X=I ?3 程度),则将 mv — temporal — high — priority — flag 设定为真(I),若编码 /解码对象图像与参照图片间的距离比X帧大，则将之设定为假(0)，来削减MVP索引的码量。通过根据序列的内容设定该阈值X，能更加削减码量。若是运动较大、较复杂的序列，则通过减小阈值来降低时间方向的MVP候选的优先顺位，由此能提高编码效率。
[0348]图31是表示在按各片、序列或图片而编码的标志mv — temporal — high —priority — flag 为 l、mv — list — adaptive — idx — flag 为 0 时(S3101 的 YES、S3102的NO)、向MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤的流程图。
[0349]首先，在availableFlagLXCol 为 I 的情况下(S3201 的 YES)，在 MVP 列表MVPlistLX 的起始登录 mvLXCol (S3202)。
[0350]接下来，在availableFlagLXA为I的情况下(S3203的YES)，在MVP列表MVPlistLX 的最后登录 mvLXA (S3204)。
[0351]接下来，在availableFlagLXB为I的情况下(S3205的YES)，在MVP列表MVPlistLX 的最后登录 mvLXB (S3206)。
[0352]图32是表示在按各片、序列或图片而编码的标志mv — temporal — high —priority — flag 为 1、mv — list — adaptive — idx — flag 为 0 时(S3101 的 NO、S3103的NO)、向MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤的流程图。
[0353]首先，在availableFlagLXA 为 I 的情况下(S3301 的 YES)，在 MVP 列表 MVPlistLX的起始登录mvLXA (S3302)。
[0354]接下来，在availableFlagLXB为I的情况下(S3303的YES)，在MVP列表MVPlistLX 的最后登录 mvLXB (S3304)。
[0355]接下来，在availableFlagLXCol 为 I 的情况下(S3305 的 YES)，在 MVP 列表MVPlistLX 的最后登录 mvLXCol (S3306)。
[0356]图33是表示在按各片、序列或图片而编码的标志mv — temporal — high —priority — flag 为 l、mv — list — adaptive — idx — flag 为 I 时(S3101 的 YES、S3102的YES)、向MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤的流程图。
[0357]首先，在availableFlagLXCol 为 1、且MvCross 为 I 的情况下(S3401 的 YES、S3402的 YES)，在 MVP 列表 MVPlistLX 的起始登录 mvLXCol (S3403)。
[0358]接下来,在availableFlagLXA 为 1、且MvXANonScale 为 I 的情况下(S3404 的 YES、S3405 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXA (S3406)。
[0359]接下来，在availableFlagLXB 为 1、且MvXBNonScale 为 I 的情况下(S3407 的 YES、S3408 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXB (S3409)。
[0360]接下来，在availableFlagLXCol 为 1、且 MvCross 为 O 的情况下(S3410 的 YES、S3411 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXCol (S3412)。
[0361]接下来，在availableFlagLXA 为 1、且MvXANonScale 为 O 的情况下(S3413 的 YES、S3414 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXA (S3415)。
[0362]接下来，在availableFlagLXB 为 1、且MvXBNonScale 为 O 的情况下(S3417 的 YES、S3416 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXB (S3418)。[0363]图34是表示在按各片、序列或图片而编码的标志mv — temporal — high —priority — flag 为 0、mv — list — adaptive — idx — flag 为 I 时(S3101 的 NO、S3103的YES)，向MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤的流程图。
[0364]首先，在availableFlagLXA 为 1、且 MvXANonScale 为 I 的情况下(S3501 的 YES、S3502 的 YES)，在 MVP 列表 MVPlistLX 的起始登录 mvLXA (S3503)。
[0365]接下来，在availableFlagLXB 为 1、且MvXBNonScale 为 I 的情况下(S3504 的 YES、S3505 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXB (S3506)。
[0366]接下来，在availableFlagLXCol 为 1、且 MvCross 为 I 的情况下(S3507 的 YES、S3508 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXCol (S3509)。
[0367]接下来，在availableFlagLXA 为 1、且MvXANonScale 为 O 的情况下(S3510 的 YES、S3511 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXA (S3512)。
[0368]接下来，在availableFlagLXB 为 1、且MvXBNonScale 为 O 的情况下(S3513 的 YES、S3514 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXB (S3515)。
[0369]接下来，在availableFlagLXCol 为 1、且 MvCross 为 O 的情况下(S3516 的 YES、S3517 的 YES)，在 MVP 列表 MVPlistLX 的最后登录 mvLXCol (S3518)。
[0370]在图30的向MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤中，在mv — temporal — high — priority — flag为I时，将时间性的运动矢量mvLXCol优先登录在MVP列表的前方,在mv — temporal — high — priority — flag为0时，空间性的运动矢量mvLXA、mvLXB优先登录在MVP列表的前方，由此削减码量。
[0371]在图33及图34的向MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤中，判定从标志MvCross为1、即横穿包含编码/解码对象预测块的图片地指示参照图像的colPu的运动矢量mvCol导出的预测运动矢量的候选,与从标志MvCross为O、即没有横穿包含编码/解码对象预测块的图片地指示参照图像的colPu的运动矢量mvCol导出的预测运动矢量的候选相比，多具有接近编码/解码对象的运动矢量的值、差分运动矢量的值多会变小，通过将预测块Col的预测运动矢量提高优先顺位而登录在MVP列表的前方，来削减码量。即，根据不同时间的图像的预测块Col的编码信息的值，变更优先顺位，变更向混合候选列表中登录的顺序，由此削减码量。
[0372]此外，在预测块N(N为A或B)中，判定从MvXNNonScale为I的运动矢量预测出的预测运动矢量的候选比从MvXNNonScale为O的运动矢量预测出的预测运动矢量的候选更适合作为编码/解码对象预测块的预测运动矢量的候选，多具有接近编码/解码对象的运动矢量的值、差分运动矢量的值多会减小，通过将其优先登录到MVP列表中，来削减码量。
[0373]当然，也可以不按图33及图34、而是按图35及图36的处理步骤登录预测运动矢量的候选。
[0374]图35是表示在按各片、序列或图片而编码的标志mv — temporal — high —priority — flag 为 l、mv — list — adaptive — idx — flag 为 I 时(S3101 的 YES、S3102的YES)、向第2MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤的流程图。
[0375]首先，在availableFlagLXCol为1、且在不同时间的预测块组中右下的预测块被选择的情况下(S3601的YES、S3602的YES)，在MVP列表MVPlistLX的起始登录mvLXCol(S3603)。[0376]接下来，在availableFlagLXA为1、且在左相邻的预测块组中左下或左方的预测块被选择的情况下(S3604的YES、S3605的YES)，在MVP列表MVPlistLX的最后登录mvLXA(S3606)。
[0377]接下来，在availableFlagLXB为1、且在上相邻的预测块组中右上或上方的预测块被选择的情况下(S3607的YES、S3608的YES)，在MVP列表MVPlistLX的最后登录mvLXB(S3609)。
[0378]接下来，在availableFlagLXCol为1、且在不同时间的预测块组中中央的预测块被选择的情况下(S3610的YES、S3611的YES)，在MVP列表MVPlistLX的最后登录mvLXCol(S3612)。
[0379]接下来，在availableFlagLXA为1、且在左相邻的预测块组中左上的预测块被选择的情况下(S3613的YES、S3614的YES)，在MVP列表MVPlistLX的最后登录mvLXA(S3615)。
[0380]接下来，在availableFlagLXB为1、且在上相邻的预测块组中左上的预测块被选择的情况下(S3617的YES、S3616的YES)，在MVP列表MVPlistLX的最后登录mvLXB(S3618)。
[0381]图36是表示在按各片、序列或图片而编码的标志mv — temporal — high —priority — flag 为 0、mv — list — adaptive — idx — flag 为 I 时(S3101 的 NO、S3103的YES)、向第2MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤的流程图。
[0382]首先，在availableFlagLXA为1、且在左相邻的预测块组中左下或左方的预测块被选择的情况下(S3701的YES、S3702的YES)，在MVP列表MVPlistLX的起始登录mvLXA(S3703)。
[0383]接下来，在availableFlagLXB为1、且在上相邻的预测块组中右上或上方的预测块被选择的情况下(S3704的YES、S3705的YES)，在MVP列表MVPlistLX的最后登录mvLXB(S3706)。
[0384]接下来，在availableFlagLXCol为1、且在不同时间的预测块组中右下的预测块被选择的情况下(S3707的YES、S3708的YES)，在MVP列表MVPlistLX的最后登录mvLXCol(S3709)。
[0385]接下来，在availableFlagLXA为1、且在左相邻的预测块组中左上的预测块被选择的情况下(S3710的YES、S3711的YES)，在MVP列表MVPlistLX的最后登录mvLXA(S3712)。
[0386]接下来，在availableFlagLXB为1、且在上相邻的预测块组中左上的预测块被选择的情况下(S3713的YES、S3714的YES)，在MVP列表MVPlistLX的最后登录mvLXB(S3715)。
[0387]接下来，在availableFlagLXCol为1、且在不同时间的预测块组中中央的预测块被选择的情况下(S3716的YES、S3717的YES)，在MVP列表MVPlistLX的最后登录mvLXCol(S3718)。
[0388]在图35及图36的向MVP列表MVPlistLX登录预测运动矢量的候选的登录处理步骤中，在不同时间的预测块组内、基于右下的预测块的运动矢量预测出的预测运动矢量的候选与在不同时间的预测块组中基于中央的预测块的运动矢量预测出的预测运动矢量的候选相比，多具有接近编码对象的运动矢量的值，判定为差分运动矢量的值多会减小，将之优先登录到MVP列表中，由此来削减码量。在左相邻的预测块组中，基于左下或左方的预测块的运动矢量预测出的预测运动矢量的候选与基于左上的预测块的运动矢量预测出的预测运动矢量的候选相比，多具有接近编码对象的运动矢量的值，判定为差分运动矢量的值多会减小，通过将之优先登录到MVP列表中，来削减码量。在上相邻的预测块组中，基于右上或上方的预测块的运动矢量预测出的预测运动矢量的候选与基于左上的预测块的运动矢量预测出的预测运动矢量的候选相比，多具有接近编码对象的运动矢量的值，判定差分运动矢量的值多会减小，通过将之优先登录到MVP列表中，来削减码量。
[0389][删除MVP列表中的具有相同值的预测运动矢量的候选(图16的S305)]
[0390]在预测运动矢量的候选的MVP列表MVPlistLX中，若存在具有相同运动矢量值的预测运动矢量的候选，则除MVP列表MVPlistLX中具有最小的索引的预测运动矢量的候选夕卜，将其它全部都删除。删除处理结束后，MVP列表MVPlistLX中空出了已删除的预测运动矢量的候选的保存区域，故以索引O为基准，按索引从小到大的预测运动矢量候选的顺序填充。例如，在索引1、4的预测运动矢量的候选被删除，索引0、2及3保留的情况下，索引O原样不变，将索引2的预测运动矢量的候选移动到索引I的保存区域，将索引3的预测运动矢量的候选移动到索引2的保存区域，这样更新MVP列表MVPlistLX。
[0391]关于步骤S301、S302、S303,既可以切换处理顺序，还能并行地进行处理。
[0392]下面说明混合模式。
[0393]以上叙述了动图像编码装置的差分运动矢量导出部103和动图像解码装置的运动矢量导出部204的预测运动矢量的导出方法、以及预测运动矢量列表的构建方法，但在动图像编码装置的帧间预测信息推定部104、及动图像解码装置的帧间预测信息推定部205的混合模式下也进行同样的处理。
[0394]如前所述，混合模式并非对该预测块的预测模式、参照列表索引、运动矢量等帧间预测信息进行编码/解码，而是利用已编码的相邻的被帧间预测出的预测块、或不同图像的被帧间预测出的预测块的帧间预测信息的模式。
[0395]图37是说明混合模式下的相邻的预测块的位置的图。混合模式以左相邻的预测块A、上相邻的预测块B、右上相邻的预测块C、左下相邻的预测块D、以及使用图9说明的不同时间的同一位置或其附近的预测块Col (T0?T3的一者)的5个预测块为候选。动图像编码装置的帧间预测信息推定部104、及动图像解码装置的帧间预测信息推定部205按在编码侧和解码侧共通的规定顺序将这5个候选登录于混合候选列表，动图像编码装置的帧间预测信息推定部104决定用于确定混合候选列表的要素的混合索引后，经由第I编码比特串生成部进行编码，动图像解码装置的帧间预测信息推定部205被提供由第I编码比特串解码部202解码后的混合索引，从混合候选列表中选择与该混合索引相应的预测块，并利用该选择的预测块的预测模式、参照索引、运动矢量等帧间预测信息进行运动补偿预测。
[0396]图38是表示图1的动图像编码装置的帧间预测信息推定部104的详细构成的图。此外，图39是表示图2的动图像解码装置的帧间预测信息推定部205的详细构成的图。
[0397]图38和图39的粗框线包围的部分分别表示了帧间预测信息推定部104和帧间预测信息推定部205。
[0398]此外，其内部的粗虚线包围的部分表示了后述的帧间预测信息推定方法的动作部，在实施方式的与动图像编码装置对应的动图像解码装置中也同样设置，以使得得到在编码和解码中不矛盾的同一判定结果。
[0399]帧间预测信息推定部104包括混合候选生成部130、混合候选登录部131、混合候选相同判定部132、以及编码信息选择部133。
[0400]帧间预测信息推定部205包括混合候选生成部230、混合候选登录部231、混合候选相同判定部232、以及编码信息选择部233。
[0401]图40是表示在动图像编码装置的帧间预测信息推定部104及动图像解码装置的帧间预测信息推定部205中具有共通的功能的混合候选的导出及混合候选列表的构建处理的流程的流程图。以下按顺心说明各过程。
[0402]在动图像编码装置的帧间预测信息推定部104的混合候选生成部130及动图像解码装置的帧间预测信息推定部205的混合候选生成部230中，针对每个列表导出来自周围相邻的预测块A，B, C，D的成为混合候选的预测块，并输出表示能否利用的标志availableFlagN、以及运动矢量mvLXN、参照索引refIdxLXN、表示是否进行LN预测的LN预测标志predFlagLXN (N = A，B, C，D)(图40的S401)。此外，假定在LO时X为O、在LI时X为I (以下同样)。使用图41的流程图在后详细说明用于导出表示能否利用的标志availableFlagLXN、及运动矢量 mvLXN、参照索引 refldxLXN、LN 预测标志 predFlagLXN (N为A，B, C，D、以下同样)的共通的导出处理步骤。
[0403]接下来，导出不同时间的混合候选。在使用不同时间的混合候选的编码信息进行帧间预测的情况下，为进行双预测，导出LO和LI的2个编码信息。首先，在动图像编码装置的帧间预测信息推定部104的混合候选生成部130及动图像解码装置的帧间预测信息推定部205的混合候选生成部230中，决定并输出不同时间的混合候选的参照索引refldxLXCol(图40的S402)。这里，在L0、L1中，分别检查已编码的周围的预测块的编码信息，将其中最多发生的参照索引的值设定为参照索引refldxLXCol的值。若最多发生的参照索引存在相同数量，则将参照索引值较小的设定为参照索引refldxLXCol的值，若不存在参照索引(不能利用周围的预测块、或帧内预测模式的情况下)，则使参照索引refldxLXCol的值为O。
[0404]接下来，在动图像编码装置的帧间预测信息推定部104的混合候选生成部130及动图像解码装置的帧间预测信息推定部205的混合候选生成部230中，导出来自不同时间的图像的预测运动矢量的候选，输出表示能否利用的标志availableFlagCol、表示是否交叉的标志mvCrossFlag、以及运动矢量mvLXCol (图40的S403)。这些导出处理步骤是与使用图24?29和图22的流程图说明过的同样的方法。但在混合模式下的基于图22的MV的缩放中，是根据在步骤S402中导出的参照索引refldxLXCol而导出的。
[0405]接下来，在动图像编码装置的帧间预测信息推定部104的混合候选登录部131及动图像解码装置的帧间预测信息推定部205的混合候选登录部231中，生成混合候选列表mergeCandlist,追加预测矢量的候选mvLXN (N为A、B、C、D或Col,以下同样)(图40的S404)。使用图42?45的流程图稍后详细说明这些登录处理步骤。
[0406]接下来，在动图像编码装置的帧间预测信息推定部104的混合候选相同判定部132及动图像解码装置的帧间预测信息推定部205的混合候选相同判定部232中，在混合候选列表mergeCandlist内、若混合候选相同的参照索引的运动矢量具有相同值,则除最小顺序的混合候选外去除该运动矢量(图40的S405)。[0407][从周边的预测块导出混合的候选(图40的S401)]
[0408]使用图41的流程图说明作为图40的S401的处理步骤的、基于周边相邻的预测块组N的预测块N的导出方法。后缀X为表示参照列表的O或1，N为表示相邻的预测块组的区域的A (左侧)、B (上侧)、C (右上)或D (左下)。
[0409]在图40中，使变量N = A、检查编码/解码对象的预测块的左侧相邻的预测块，使变量N = B、检查上侧相邻的预测块，使变量N = C检查右上侧相邻的预测块，使N = D、检查左下侧相邻的预测块后，分别按以下步骤导出预测运动矢量的候选(S4101?S4110)。
[0410]首先，确定与编码/解码对象预测块相邻的预测块，在能利用各个预测块N的情况下，取得编码信息(S4102)。
[0411]在相邻的预测块N不能利用(S4103的YES)、或预测块N的编码模式PredMode为帧内(MODE — INTRA)的情况下(S4104 的 YES)，将标志 availableFlagN 设定为 O (S4105)，将 mvLXN 设定为(0，O) (S4106)。
[0412]另一方面，在相邻的预测块N能利用(S4103的NO)、预测块N的编码模式PredMode非帧内(MODE —INTRA)的情况下(S4104 的 NO)，将标志 availableFlagN 设定为 1(S4107)，并取得预测块N的帧间预测信息。S卩、预测块N的运动矢量mvLXN、参照索引refldxLX[xN, yN]、表示是否进行基于LX的预测的标志predFlagLX [xN, yN]分别被分配给mvLXN、refldxLXN、predFlagLXN (S4108、S4109、S4110)。这里，X 是 O 和 1，取得 LO 和 LI 的帧间预测信息。此外，在进行加权预测、按预测块单位设定加权系数的情况下，还取得加权系数。此外，在进行交错(interlace)编码、并按预测块单位切换帧模式和场模式的情况下，还取得帧/场的切换模式。此外，还能取得帧间预测信息以外的量化参数等。
[0413]针对N = A，B，C，D反复执行以上步骤S4102?S4110的处理(S4101?S4111)。
[0414][将预测块的候选追加到混合候选列表中(图40的S404)]
[0415]下面说明将使用图37、图9说明过的成为混合候选的预测块的候选追加到混合候选列表的方法。图42是表示向混合候选列表追加成为混合候选的预测块的候选的追加处理步骤的流程图。在本实施方式中，赋于优先顺位，从优先顺位高者起，向混合候选列表mergeCandlist登录预测运动矢量的候选，由此削减混合索引merge — Idx [xO] [yO]的码量。通过将优先顺位高的要素配置在混合候选列表的前方，来削减码量。例如，在混合候选列表mergeCandlist的要素为5个的情况下，通过使混合候选列表的索引O为“O”、索引I为“10”、索引2为“110”、索引3为“1110”、索引4为“11110”，表示索引O的码量成为I比特，对索引O登录认为发生频率高的要素，由此削减码量。
[0416]混合候选列表mergeCandlist呈列表构造,设有将表示混合候选列表内部的所在的混合索引、和与索引对应的预测运动矢量的候选作为要素来保存的存储区域。混合索引的数字从O开始,在混合候选列表mergeCandlist的存储区域内保存预测运动矢量的候选。在以后的处理中，已登录在混合候选列表mergeCandlist中的成为混合索引i的混合候选的预测块用mergeCandlist [i]来表示,通过进行排列标记来与混合候选列表mergeCandlist 相区别。
[0417]在按各片、序列或图片而编码的标志mv — temporal —high — priority — flag为 1、mv_ list _ adaptive — idx _ flag 为 0 的情况下(S4201 的 YES、S4202 的 NO)，与右上或左下相邻的预测块C、D相比，不同时间的图片的同一位置或其附近的预测块Col被优先，按图43所示的流程图的处理步骤，成为混合候选的预测块被登录于混合候选列表
(54204)。
[0418]此外，在mv — temporal — high — priority — flag 为 0、mv — list — adaptive
—idx —flag为0的情况下(S4201的NO、S4203的NO)，与基于不同时间的图片的同一位置或其附近的预测块的成为混合候选的预测块Col相比，右上或左下相邻的预测块C、D被优先，按图44所示的流程图的处理步骤，成为混合候选的预测块被登录于混合候选列表
(54205)。
[0419]此外，在mmv — list — adaptive — idx — flag 为 I 的情况下(S4202 的 YES、S4203的YES)，被判定可靠性较高的成为混合候选的预测块被优先，按图45所示的流程图的处理步骤，成为混合候选的预测块被登录于混合候选列表(S4206)。
[0420]如前所述,第2标志mv — temporal — high — priority — flag的值为提高编码效率而被按帧或片自适应变更地编码。在编码/解码对象图片与最近的参照图片之间的距离较近时，将mv — temporal — high — priority — flag设定为真(I),在编码/解码对象图像与参照图片之间的距离较远时，将之设定为假(0)，由此能够削减混合索引的码量。在该距离比较小的情况下，判定来自不同时间的混合候选作为候选比较合适。例如，在帧率为30Hz的情况下，若编码/解码对象图片与最近的参照图片之间的距离在X帧以内(X = I?3程度)，则将mv — temporal — high — priority — flag设定为真(I),若编码/解码对象图像与参照图片之间的距离大于X帧，则设定为假(0)，由此削减混合索引的码量。通过根据序列的内容来设定该阈值X，能更加削减码量。若是运动较大、较复杂的序列，则通过减小阈值、降低时间方向的混合候选的优先顺位，能提高编码效率。
[0421]图43是表示在按各片、序列或图片编码的标志mv — temporal —high — priority—flag 为 l、mv — list — adaptive — idx — flag 为 0 的情况下(S4201 的 YES、S4202 的NO),向混合候选列表mergeCandlist登录成为混合候选的预测块的登录处理步骤的流程图。
[0422]首先，在availableFlagA为I的情况下(S4301的YES)，在混合候选列表mergeCandlist的起始登录预测块A作为混合候选(S4302)。
[0423]接下来，在availableFlagB为I的情况下(S4303的YES),在混合候选列表mergeCandlist的最后登录预测块B作为混合候选(S4304)。
[0424]接下来，在availableFlagCol为I的情况下(S4305的YES),在混合候选列表mergeCandlist的最后登录预测块Col作为混合候选(S4306)。
[0425]接下来，在availableFlagC为I的情况下(S4307的YES),在混合候选列表mergeCandlist的最后登录预测块C作为混合候选(S4308)。
[0426]接下来，在availableFlagD为I的情况下(S4309的YES),在混合候选列表mergeCandlist的最后登录预测块D作为混合候选(S4310)。
[0427]图44是表示在按各片、序列或图片而编码的标志mv — temporal — high —priority — flag 为 l、mv — list — adaptive — idx — flag 为 0 的情况下(S4201 的 NO、S4203的NO),向混合候选列表mergeCandlist登录成为混合候选的预测块的登录处理步骤的流程图。
[0428]首先，在availableFlagA为I的情况下(S4401的YES)，在混合候选列表mergeCandlist的起始登录预测块A作为混合候选(S4402)。
[0429]接下来，在availableFlagB为I的情况下(S4403的YES)，在混合候选列表mergeCandlist的最后登录预测块B作为混合候选(S4404)。
[0430]接下来，在availableFlagC为I的情况下(S4405的YES)，在混合候选列表mergeCandlist的最后登录预测块C作为混合候选(S4406)。
[0431]接下来，在availableFlagD为I的情况下(S4407的YES),在混合候选列表mergeCandlist的最后登录预测块D作为混合候选(S4408)。
[0432]接下来，在availableFlagCol为I的情况下(S4409的YES),在混合候选列表mergeCandlist的最后登录预测块Col作为混合候选(S4410)。
[0433]图45是表示在按各片、序列或图片编码的标志mv — temporal —high — priority—flag 为 0 或 l、mv — list — adaptive — idx — flag 为 I 的情况下(S4201 的 YES、S4202的YES),向混合候选列表mergeCandlist登录成为混合候选的预测块的登录处理步骤的流程图。
[0434]首先，在availableFlagA为I的情况下(S4501的YES)，在混合候选列表mergeCandlist的起始登录预测块A作为混合候选(S4502)。
[0435]接下来，在availableFlagB为I的情况下(S4503的YES),在混合候选列表mergeCandlist的最后登录预测块B作为混合候选(S4504)。
[0436]接下来，在availableFlagCol 为 1、且 MvXCross 为 I 的情况下(S4505 的 YES、S4506的YES ),在混合候选列表mergeCandl ist的最后登录预测块Co I作为混合候选(S4507)。
[0437]接下来，在availableFlagC为I的情况下(S4508的YES),在混合候选列表mergeCandlist的最后登录预测块C作为混合候选(S4509)。
[0438]接下来，在availableFlagD为I的情况下(S4510的YES),在混合候选列表mergeCandlist的最后登录预测块D作为混合候选(S4511)。
[0439]接下来，在availableFlagCol 为 1、且 MvXCross 为 O 的情况下(S4511 的 YES、S4513的YES),在混合候选列表mergeCandlist的最后登录预测块Col作为混合候选(S4514)。
[0440]在图42的向混合候选列表mergeCandlist登录预测运动矢量的候选的登录处理步骤中，在mv — temporal — high — priority — flag为I时，与右上或左下相邻的预测块C、D相比,将时间性的预测块Col优先登录到混合候选列表的前方,在mv — temporal —high — priority — flag为0时,将右上或左下相邻的预测块C、D比时间性的预测块Col优先地登录到混合候选列表的前方，由此削减混合索引的码量。
[0441]在图45的向混合候选列表mergeCandlist登录预测块的候选的登录处理步骤中，判定标志MvCross为1、即使用基于横穿包含编码/解码对象预测块的图片地指示参照图像的colPu的运动矢量mvCol而导出的运动矢量的混合候选，比标志MvCross为O、即使用基于未横穿包含编码/解码对象预测块的图片地指示参照图像的colPu的运动矢量mvCol而导出的运动矢量的混合候选，更适合作为混合候选，在MvCross为I时，提高时间性的预测块Col的优先顺位而登录到混合候选列表的前方，在MvCross为O时，降低时间性的预测块Col的优先顺位而登录到混合候选列表的后方，由此来削减码量。即，根据不同时间的图像的预测块Col的编码信息的值来变更优先顺位，变更登录到混合候选列表的顺序，由此来削减码量。
[0442]此外，在混合模式下，左相邻的预测块A和上相邻的预测块B多数情况下会与编码/解码对象预测块一体地运动，故在能取得帧间预测信息的情况下，将其比其它预测块C、D、Col更优先地登录到混合候选列表的前方。
[0443]此外，也可以不按图45的处理步骤、而是按图46的处理步骤登录混合候选。
[0444]图46是表示在按各片、序列或图片编码的标志mv — temporal —high — priority—flag 为 0 或 l、mv — list — adaptive — idx — flag 为 I 的情况下(S4202 的 YES、S4203的YES),向混合候选列表mergeCandlist登录成为混合候选的预测块的登录处理步骤的流程图。
[0445]首先，在availableFlagA 为 1、predFlagLOA 和 predFlagLlA 都为 I 的情况下(S4601的YES、S4602的YES),在混合候选列表mergeCandlist的起始登录双预测的预测块A作为混合候选(S4603)。
[0446]接下来，在availableFlagB 为 1、predFlagLOB 和 predFlagLIB 都为 I 的情况下(S4604的YES、S4605的YES)，在混合候选列表mergeCandlist的最后登录双预测的预测块B作为混合候选(S4606)。
[0447]接下来，在availableFlagA 为 UpredFlagLOA 和 predFlagLlA 的某一者为 O 的情况下(S4607的YES、S4608的YES)，在混合候选列表mergeCandlist的最后登录非双预测的预测块A作为混合候选(S4609 )。
[0448]接下来，在availableFlagB 为 UpredFlagLOB 和 predFlagLIB 的某一者为 O 的情况下(S4610的YES、S4611的YES),在混合候选列表mergeCandlist的最后登录非双预测的预测块B作为混合候选(S4612 )。
[0449]接下来，在availableFlagC 为 1、predFlagLOC 和 predFlagLIC 都为 I 的情况下(S4613的YES、S4614的YES)，在混合候选列表mergeCandlist的最后登录双预测的预测块C作为混合候选(S4615)。
[0450]接下来，在availableFlagD 为 1、predFlagLOD 和 predFlagLID 都为 I 的情况下(S4616的YES、S4617的YES)，在混合候选列表mergeCandlist的最后登录双预测的预测块D作为混合候选(S4618)。
[0451]接下来，在availableFlagCol为I的情况下(S4619的YES),在混合候选列表mergeCandlist的最后登录预测块Col作为混合候选(S4620)。
[0452]接下来，在availableFlagC 为 UpredFlagLOC 和 predFlagLIC 的某一者为 O 的情况下(S4621的YES、S4622的YES)，在混合候选列表mergeCandlist的最后登录非双预测的预测块C作为混合候选(S4623)。
[0453]接下来,在availableFlagD 为 UpredFlagLOD 和 predFlagLID 的某一者为 O 的情况下(S4624的YES、S4625的YES)，在混合候选列表mergeCandlist的最后登录非双预测的预测块C作为混合候选(S4626)。
[0454]在图46的向混合候选列表mergeCandlist登录预测块的候选的登录处理步骤中，判定周围相邻的预测块N (N为A，B, C，D)的预测标志predFlagLON和predFlagLIN都为
1、即使用双预测进行运动补偿的混合候选，比周围相邻的预测块N (N为A，B, C，D)的预测标志predFlagLON和predFlagLIN的某一者为O、即使用非双预测的LO预测、LI预测等单向预测进行运动补偿的混合候选，更适合作为混合候选，提高进行双预测的混合候选的优先顺位而登录到混合候选列表的前方，并降低未进行双预测的混合候选的优先顺位而登录到混合候选列表的后方，由此来削减码量。即，根据周围相邻的预测块N的编码信息的值来变更优先顺位，变更登录到混合候选列表的顺序，由此来削减码量。
[0455]当然，也可以不按图45、图46，而是按照图47的处理步骤，根据编码/解码对象图像与混合候选的参照图像的距离，来赋予优先顺位地登录混合候选。
[0456]图47是表示在按各片、序列或图片编码的标志mv — temporal—high — priority—flag 为 0 或 l、mv — list — adaptive — idx — flag 为 I 的情况下(S4202 的 YES、S4203的YES),向混合候选列表mergeCandlist登录成为混合候选的预测块的登录处理步骤的流程图。
[0457]首先，导出编码/解码对象图像的POC与在预测块A的帧间预测中使用的参照图片的POC的差分的绝对值，作为帧间预测图像间距离distA (S4701)。同样地、分别导出编码/解码对象图像的POC与在预测块B、C、D、Col的帧间预测中使用的参照图片的POC的差分的绝对值，作为帧间预测图像间距离distB，distC，distD，distCol (S4701?S4705)。在预测块N (N = A，B，C，D或Col)为双预测的情况下，导出LO用的帧间预测图像间距离和LI用的帧间预测图像间距离，选择较小者作为帧间预测图像间距离distN (N = A，B，C，D或Col)。在预测块N (N = A，B，C，D或Col)为LO预测或LI预测的情况下，导出所使用的LO用的帧间预测图像间距离或LI用的帧间预测图像间距离，选择较小者作为帧间预测图像间距离 distN (N = A, B, C, D 或 Col)。
[0458]此外，在预测块N (N = A，B，C，D或Col)不能利用的情况下及帧内预测的情况下，将中贞间预测图像间距离distN (N = A, B, C, D或Col)设定为distN所能取的最大值。
[0459]接下来,根据导出的预测块A, B, C, D, Col的巾贞间预测图像间距离distA, distB,distC, distD, distCol的值,在混合候选列表mergeCandlist中追加混合候选A, B, C, D,Col (S4706 ?S4720)。
[0460]首先，从所导出的预测块A，B的帧间预测图像间距离distA，distB的值较小的预测块起，依次向混合候选列表mergeCandlist追加混合候选A, B (S4706?S4708)。
[0461]对预测块A的帧间预测图像间距离distA的值与预测块B的帧间预测图像间距离distB的值进行比较(S4706),若distA在distB以下,贝U按预测块A, B的顺序追加到混合候选列表mergeCandlist中(S4707)。S卩，追加预测块A后、在其后方追加预测块B。若distB的值比distA的值小,贝U按预测块B, A的顺序追加到混合候选列表mergeCandlist中(S4708)。
[0462]接下来,从所导出的预测块C,D, Col的巾贞间预测图像间距离distC, distD, Col的值较小的预测块起，依次向混合候选列表mergeCandlist追加混合候选C,D,Col (S4709?S4720)。
[0463]在图47的向混合候选列表mergeCandlist登录预测块的候选的登录处理步骤中，判定包含编码/解码对象预测块的图片与混合候选的参照图片的距离较小的混合候选，比包含编码/解码对象预测块的图片与混合候选的参照图片的距离较大的混合候选更适合作为混合候选，将距离小的混合候选的优先顺位提高得比距离大的混合候选的优先顺位高地登录到混合候选列表的前方，由此削减码量。即，根据周围相邻的预测块N的编码信息的值而变更优先顺位，变更登录到混合候选列表的顺序，由此来削减码量。
[0464]此外，在混合模式下，也可以确认成为混合候选的预测块的编码信息，按从多到少的顺序赋予优先顺位。
[0465]此外，在混合模式下，也可以确认成为混合候选的预测块的大小，按从大到小的顺序赋予优先顺位。
[0466]回到图38，在动图像编码装置的帧间预测信息推定部104的编码信息选择部133中，从已登录于混合候选列表的混合候选中选择最佳的候选，输出混合索引及与混合索引对应的编码息。
[0467]在最佳的候选的选择中，可采用与预测方法决定部106同样的方法。针对各个混合候选分别导出码量和编码畸变，确定成为最少产生码量和编码畸变的编码信息。针对各个混合候选分别进行混合索引merge — Idx的编码，导出编码信息的码量。进而，针对各个混合候选，分别以与运动补偿预测部105同样的方法，导出对根据各混合候选的编码信息分别运动补偿后的运动补偿预测信号、与从图像存储器101供给的编码对象的图像信号的预测残差信号进行编码后的预测残差信号的码量。导出编码信息(混合索引)的码量与预测残差信号的码量相加后的总产生码量，作为第I评价值。
[0468]此外，在将这样的差分图像编码后，为评价畸变量而解码，通过表示编码所产生的与元图像的误差的比率，来导出编码畸变。针对每个混合候选比较这些总产生码量和编码畸变，由此确定成为最少产生码量和编码畸变的编码信息。与所确定的编码信息对应的混合索引，被作为按预测块单位的第2句法模式表示的标志merge — Idx来编码。此外，此处导出的产生码量优选是仿真编码过程后的结果，但也可以简易地近似或概算。
[0469]另一方面，在图39中，在动图像编码装置的帧间预测信息推定部205的编码信息选择部233中，从已登录于混合候选列表的混合候选中选择与所提供的混合索引对应的编码信息，提供给运动补偿预测部206，并保存在编码信息保存存储器209中。
[0470]如上所述，根据实施方式的运动矢量的预测方法，将图片分割成矩形块，为提高在图片间按块单位进行运动推定、补偿的动图像编码中的运动矢量的编码效率，基于已编码的预测块的运动矢量进行预测，并对处理对象块的运动矢量与其预测值的差分矢量进行编码，由此能够削减码量。此时，得到的多个预测运动矢量被赋予优先顺位地登录到预测运动矢量列表中，但如在本实施例中说明过的那样，也可以根据优先顺位变更登录顺序，还可以在按既定的顺序登录后、在列表内根据优先顺位而重排，这些都包含在本发明中。例如，暂时对预测运动矢量列表的索引O登录基于左侧相邻的第I预测块组A导出的预测运动矢量、对索引I登录基于上侧相邻的第2预测块组B导出的预测运动矢量、对索引2登录基于不同时间的第3预测块组C导出的预测运动矢量，之后根据需要而按照优先顺位进行重新排序。
[0471]此外，根据实施方式的运动矢量的预测方法，将图片分割成矩形块，为提高在图片间按块单位进行运动推定、补偿的动图像编码中的编码信息的编码效率，利用已编码的块的编码信息，由此能够削减码量。此时，得到的多个成为混合候选的预测块被赋予优先顺位地登录到混合候选列表中，但如在本实施例中说明过的那样，也可以根据优先顺位而变更登录顺序，还可以在按既定的顺序登录后、在列表内根据优先顺位而重新排序，这些也包含在本发明内。例如，暂时在混合候选列表的索引为O的位置登录混合候选A、在索引为I的位置登录混合候选B、在索引为2的位置登录混合候选Col、在索引为3的位置登录混合候选C、在索引为4的位置登录混合候选D后，之后根据需要而按照优先顺位重新排序。另夕卜，关于登录到混合候选列表的混合候选的信息，具体来说，可以是该混合候选的全部编码信息本身，也可以是能参照混合候选的编码信息的存储器的指针或地址信息。
[0472]作为本发明的动图像编码装置的其它实施方式，有以下方案。
[0473]一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:
[0474]预测运动矢量候选生成部，基于与编码对象预测块相同图片内的与上述编码对象预测块相邻的已编码预测块、和与上述编码对象预测块不同图片内的位于上述编码对象预测块相同或周边位置的已编码预测块的任一者进行预测，生成多个预测运动矢量的候选；
[0475]上述预测运动矢量候选生成部在将各预测运动矢量的候选登录到预测运动矢量候选列表中时，按图片或片单位、变更优先顺位地登录到预测运动矢量候选列表中。
[0476]一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:
[0477]预测运动矢量候选生成部，基于与编码对象块相同图片内的与上述编码对象块相邻的已编码块、和与编码对象块不同图片内的位于与上述编码对象块相同或周边位置的已编码块的任一者进行预测，生成多个预测运动矢量的候选；
[0478]上述预测运动矢量候选生成部在将各预测运动矢量的候选登录到预测运动矢量候选列表中时，按块单位、变更优先顺位地登录到预测运动矢量候选列表中。
[0479]一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:
[0480]帧间预测信息生成部，基于包含与编码对象块相同图片内的与上述编码对象块相邻的已编码块和与编码对象块不同图片内的位于上述编码对象块相同或周边位置的已编码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0481]上述帧间预测信息生成部在将各混合候选登录到预测混合候选列表中时，按图片或片单位、变更优先顺位地登录到混合候选列表中。
[0482]一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:
[0483]帧间预测信息生成部，基于包含与编码对象块相同图片内的与上述编码对象块相邻的已编码块、和与编码对象块不同图片内的位于上述编码对象块相同或周边位置的已编码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0484]上述帧间预测信息生成部在将各混合候选登录到预测混合候选列表中时，按块单位、变更优先顺位地登录到混合候选列表中。
[0485]一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:
[0486]帧间预测信息生成部，基于包含与编码对象块相同图片内的与上述编码对象块相邻的已编码块、和与编码对象块不同图片内的位于上述编码对象块相同或周边位置的已编码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0487]上述帧间预测信息生成部在将各混合候选登录到混合候选列表中时，若来自空间方向的混合候选是按双预测被帧间预测的，则提高来自上述空间方向的混合候选的优先顺位地登录到混合候选列表中。
[0488]一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:
[0489]帧间预测信息生成部，基于包含与与编码对象块相同图片内的与上述编码对象块相邻的已编码块、和与编码对象块不同图片内的位于上述编码对象块相同或周边位置的已编码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0490]上述帧间预测信息生成部在将各混合候选登录到混合候选列表中时，将编码对象图像与参照图像间的距离较短的混合候选比其它混合候选提高优先顺位地登录到混合候选列表中。
[0491]一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:
[0492]预测运动矢量候选生成部，基于与编码对象块相同图片内的与上述编码对象块相邻的已编码块、和与编码对象块不同图片内的位于上述编码对象块相同或周边位置的已编码块的任一者进行预测，生成多个预测运动矢量的候选；
[0493]上述预测运动矢量候选生成部在按空间方向扫描预测块时，针对左侧的相邻预测块组、和上侧的相邻预测块组的各相邻预测块，按以下优先顺序进行条件判定:
[0494]1.在与按编码对象预测块选择的编码模式相同的参照列表中、是否存在相同参照帧的运动矢量，
[0495]2.在与按编码对象预测块选择的编码模式不同的参照列表中、是否存在相同参照帧的运动矢量，
[0496]3.在与按编码对象预测块选择的编码模式相同的参照列表中，是否存在不同参照中贞的运动矢量，以及
[0497]4.在与按编码对象预测块选择的编码模式不同的参照列表中，是否存在不同参照帧的运动矢量。
[0498]动图像编码装置的特征在于，在上述空间方向的预测块的扫描中，第I条件判定针对最初的预测块结束后，依次推进至相邻的预测块进行相同的条件判定，之后，针对第2、第3、第4条件判定分别一边推进预测块一边进行相同的条件判定。
[0499]动图像编码装置的特征在于，在上述空间方向的预测块的扫描中，在4个条件判定中的第I和第2条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定，然后在第3和第4条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定。
[0500]动图像编码装置的特征在于，在上述空间方向的预测块的扫描中，在4个条件判定中的第I条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定，然后在第2、第3、第4条件判定针对最初的预测块结束后，依次前进到相邻的预测块进行相同的条件判定。
[0501]动图像编码装置的特征在于，在上述空间方向的预测块的扫描中，针对最初的预测块若不符合4个条件判定的每一者，则判定该预测块中不存在符合条件的运动矢量，依次推进至相邻的预测块判定是否符合4个条件判定的任一者。
[0502]作为本发明的动图像解码装置其它实施方式，有以下方案。
[0503]一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:
[0504]预测运动矢量候选生成部，基于与解码对象块相同图片内的与上述解码对象块相邻的已解码块、和与解码对象块不同图片内的位于上述解码对象块相同或周边位置的已解码块任一者进行预测，生成多个预测运动矢量的候选；
[0505]上述预测运动矢量候选生成部在将各预测运动矢量的候选登录到预测运动矢量候选列表中时，按图片或片单位、变更优先顺位地登录到预测运动矢量候选列表中。
[0506]一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:
[0507]预测运动矢量候选生成部，基于与解码对象块相同图片内的与上述解码对象块相邻的已解码块、和与解码对象块不同图片内的位于上述解码对象块相同或周边位置的已解码块的任一者进行预测，生成多个预测运动矢量的候选；
[0508]上述预测运动矢量候选生成部在将各预测运动矢量的候选登录到预测运动矢量候选列表中时，按块单位、变更优先顺位地登录到预测运动矢量候选列表中。
[0509]一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:
[0510]帧间预测信息生成部，基于包含与解码对象块相同图片内的与上述解码对象块相邻的已解码块、和与解码对象块不同图片内的位于上述解码对象块相同或周边位置的已解码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0511]上述帧间预测信息生成部在将各混合候选登录到预测混合候选列表中时，按图片或片单位、变更优先顺位地登录到混合候选列表中。
[0512]一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:
[0513]帧间预测信息生成部，基于包含与解码对象块相同图片内的与上述解码对象块相邻的已解码块、和与解码对象块不同图片内的位于上述解码对象块相同或周边位置的近邻的已解码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0514]上述帧间预测信息生成部在将各混合候选登录到预测混合候选列表中时，按块单位、变更优先顺位地登录到混合候选列表中。
[0515]一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:
[0516]帧间预测信息生成部，基于包含与解码对象块相同图片内的与上述解码对象块相邻的已解码块、和与解码对象块不同图片内的位于上述解码对象块相同或周边位置的已解码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0517]上述帧间预测信息生成部在将各混合候选登录到混合候选列表中时，若来自空间方向的混合候选是按双预测被帧间预测的、则提高上述来自空间方向的混合候选的优先顺位地登录到混合候选列表中。
[0518]一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:
[0519]帧间预测信息生成部，基于包含与解码对象块相同图片内的与上述解码对象块相邻的已解码块、和与解码对象块不同图片内的位于上述解码对象块相同或周边位置的已解码块的任一者的帧间预测信息的编码信息，生成多个作为包含帧间预测信息的编码信息的混合候选；
[0520]上述帧间预测信息生成部在将各混合候选登录到混合候选列表中时，提高编码对象图像与参照图像间的距离较短的混合候选的优先顺位地登录到混合候选列表中。
[0521]一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括:
[0522]预测运动矢量候选生成部，基于与解码对象块相同图片内的与上述解码对象块相邻的已解码块、和与解码对象块不同图片内的位于上述解码对象块相同或周边位置的已解码块的任一者进行预测，生成多个预测运动矢量的候选；
[0523]上述预测运动矢量候选生成部在按空间方向扫描预测块时，针对左侧的相邻预测块组、和上侧的相邻预测块组的各相邻预测块，按以下优先顺序进行条件判定:
[0524]1.在与按解码对象预测块选择的编码模式相同的参照列表中，是否存在相同参照帧的运动矢量，
[0525]2.在与按解码对象预测块选择的编码模式不同的参照列表中，是否存在相同参照帧的运动矢量，
[0526]3.在与按解码对象预测块选择的编码模式相同的参照列表中，是否存在不同参照中贞的运动矢量，以及
[0527]4.在与按解码对象预测块选择的编码模式不同的参照列表中，是否存在不同参照帧的运动矢量。
[0528]动图像解码装置的特征在于，在上述空间方向的预测块的扫描中，在第I条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定，之后，针对第
2、第3、第4条件判定，一边依次推进预测块一边进行相同的条件判定。[0529]动图像解码装置的特征在于，在上述空间方向的预测块的扫描中，在4个条件判定中的第I和第2条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定，然后在第3和第4条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定。
[0530]动图像解码装置的特征在于，在上述空间方向的预测块的扫描中，在4个条件判定中的第I条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定，然后在第2、第3、第4条件判定针对最初的预测块结束后，依次推进到相邻的预测块进行相同的条件判定。
[0531]动图像解码装置的特征在于，在上述空间方向的预测块的扫描中，针对最初的预测块若不符合4个条件判定的每一者，则判定该预测块中不存在符合条件的运动矢量，依次推进到相邻的预测块判定是否符合4个条件判定的任一者。
[0532]以上所述的实施方式的动图像编码装置所输出的动图像的编码流具有特定的数据格式，以使得能根据实施方式中采用的编码方法进行解码，与动图像编码装置对应的动图像解码装置能解码该特定的数据格式的编码流。
[0533]为在动图像编码装置和动图像解码装置之间传输编码流，在使用有线或无线的网络的情况下，也可以将编码流变换成适合于通信路径的传送方式的数据形式来进行传送。在该情况下，设置将动图像编码装置输出的编码流变换成适于通信路径的传送方式的数据形式的编码数据并发送于网络的动图像发送装置、和从网络接收编码数据并恢复成编码流提供给动图像解码装置的动图像接收装置。
[0534]动图像发送装置包括用于缓存动图像编码装置输出的编码流的存储器、对编码流进行打包的包处理部、以及介由网络发送打包后的编码数据的发送部。动图像接收装置包括介由网络接收被打包了的编码数据的接收部、缓存所接收到的编码数据的存储器、以及对编码数据进行包处理而生成编码流、并`提供给动图像解码装置的包处理部。
[0535]以上涉及编码及解码的处理当然可以作为使用了硬件的传送、存储、接收装置来实现，还可以通过被存储于ROM (只读存储器)或闪速存储器等中的固件、导出机等的软件来实现。既能将该固件程序、软件程序记录到导出机等可读取的记录介质中来提供，也可以通过有线或无线的网络从服务器提供，还可以作为地面波或卫星数字广播的数据广播来提供。
[0536]以上基于实施方式说明了本发明。实施方式仅是例示，本领域技术人员当理解其各构成要素和各处理过程的组合能有各种各样的变形例，且这样的变形例也包含在本发明的范围内。
[0537]〔标号说明〕
[0538]101图像存储器、102运动矢量检测部、103差分运动矢量导出部、104帧间预测信息推定部、105运动补偿预测部、106预测方法决定部、107残差信号生成部、108正交变换?量化部、109第I编码比特串生成部、110第2编码比特串生成部、111多路化部、112逆量化.逆正交变换部、113解码图像信号重叠部、114编码信息保存存储器、115解码图像存储器、120预测运动矢量候选生成部、121预测运动矢量登录部、122预测运动矢量候选相同判定部、123预测运动矢量候选码量导出部、124预测运动矢量选择部、125运动矢量减法部、130混合候选生成部、131混合候选登录部、132混合候选相同判定部、133编码信息选择部、201分离部、202第I编码比特串解码部、203第2编码比特串解码部、204运动矢量导出部、205帧间预测信息推定部、206补偿预测部、207逆量化.逆正交变换部、208解码图像信号重叠部、209编码信息保存存储器、210解码图像存储器、220预测运动矢量候选生成部、221预测运动矢量登录部、222预测运动矢量候选相同判定部、223预测运动矢量选择部、224运动矢量加法部、230混合候选生成部、231混合候选登录部、232混合候选相同判定部、233编码信息选择部。
[0539]〔工业可利用性〕
[0540]本发明能适用于利用了运动补偿预测的动图像编码及解码技术。
【权利要求】
1.一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码装置，其特征在于，包括:预测运动矢量候选生成部，基于与编码对象预测块相同图片内的与上述编码对象预测块相邻的第I已编码预测块、和与上述编码对象预测块不同图片内的位于上述编码对象预测块相同或周边位置的第2已编码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中，预测运动矢量选择部，从上述预测运动矢量候选列表中选择预测运动矢量，以及编码部，对表示上述所选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码；其中，上述预测运动矢量候选生成部在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已编码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定:条件1.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量，条件2.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量，条件3.在与按编码对 象预测块而选择的编码模式相同的参照列表中、存在不同的参照图片的运动矢量，条件4.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在不同的参照图片的运动矢量；所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
2.如权利要求1所述的动图像编码装置，其特征在于，上述预测运动矢量候选生成部在针对上述条件1、2的条件判定中，当发现与条件一致的预测块时，将该预测块的运动矢量直接作为预测运动矢量的候选。
3.一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码方法，其特征在于，包括:预测运动矢量候选生成步骤，基于与编码对象预测块相同图片内的与上述编码对象预测块相邻的第I已编码预测块、和与上述编码对象预测块不同图片内的位于上述编码对象预测块相同或周边位置的第2已编码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中，预测运动矢量选择步骤，从上述预测运动矢量候选列表中选择预测运动矢量，以及编码步骤，对表示上述所选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码；其中，在上述预测运动矢量候选生成步骤中，在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已编码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定:条件1.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量，条件2.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量，条件3.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在不同的参照图片的运动矢量，条件4.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在不同的参照图片的运动矢量；所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
4.如权利要求3所述的动图像编码方法，其特征在于，上述预测运动矢量候选生成步骤在针对上述条件1、2的条件判定中，当发现与条件一致的预测块时，将该预测块的运动矢量直接作为预测运动矢量的候选。
5.一种按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像进行编码的动图像编码程序，其特征在于，使导出机执行以下步骤:预测运动矢量候选生成步骤，基于与编码对象预测块相同图片内的与上述编码对象预测块相邻的第I已编码预测块、和与上述编码对象预测块不同图片内的位于上述编码对象预测块相同或周边位置的第2已编码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中，`预测运动矢量选择步骤，从上述预测运动矢量候选列表中选择预测运动矢量，以及编码步骤，对表示上述所选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码；其中，在上述预测运动矢量候选生成步骤中，在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已编码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定:条件1.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量，条件2.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量，条件3.在与按编码对象预测块而选择的编码模式相同的参照列表中、存在不同的参照图片的运动矢量，条件4.在与按编码对象预测块而选择的编码模式不同的参照列表中、存在不同的参照图片的运动矢量；所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
6.如权利要求5所述的动图像编码程序，其特征在于，上述预测运动矢量候选生成步骤在针对上述条件1、2的条件判定中，当发现与条件一致的预测块时，将该预测块的运动矢量直接作为预测运动矢量的候选。
7.一种对编码比特串进行解码的动图像解码装置，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码装置的特征在于，包括: 预测运动矢量候选生成部，基于与解码对象预测块相同图片内的与上述解码对象预测块相邻的第I已解码预测块、和与上述解码对象预测块不同图片内的位于上述解码对象预测块相同或周边位置的第2已解码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中， 解码部，解码出表示应选择的预测运动矢量在上述预测运动矢量候选列表中的位置的?目息，以及 预测运动矢量选择部，基于所解码出的表示上述应选择的预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选择预测运动矢量； 其中，上述预测运动矢量候选生成部在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已解码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定: 条件1.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量， 条件2.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量， 条件3.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在不同参照图片的运动矢量， 条件4.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在不同参照图片的运动矢量； 所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
8.如权利要求7所述的动图像解码装置，其特征在于， 上述预测运动矢量候选生成部在针对上述条件1、2的条件判定中，当发现与条件一致的预测块时，将该预测块的运动矢量直接作为预测运动矢量的候选。
9.一种对编码比特串进行解码的动图像解码方法，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码方法的特征在于，包括: 预测运动矢量候选生成步骤，基于与解码对象预测块相同图片内的与上述解码对象预测块相邻的第I已解码预测块、和与上述解码对象预测块不同图片内的位于上述解码对象预测块相同或周边位置的第2已解码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中， 解码步骤，解码出表示应选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息，以及 预测运动矢量选择步骤，基于所解码出的表示上述应选择的预测运动矢量的位置的信息，从上述预测运动矢量 候选列表中选择预测运动矢量；其中，在上述预测运动矢量候选生成步骤中，在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已解码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定: 条件1.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量， 条件2.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量， 条件3.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在不同参照图片的运动矢量， 条件4.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在不同参照图片的运动矢量； 所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
10.如权利要求9所述的动图像解码方法，其特征在于， 上述预测运动矢量候选生成步骤在针对上述条件1、2的条件判定中，当发现与条件一致的预测块时，将该预测块的运动矢量直接作为预测运动矢量的候选。
11.一种对编码比特串进 行解码的动图像解码程序，所述编码比特串是按将动图像的各图片分割后的块单位、利用运动补偿对上述动图像编码后的编码比特串，该动图像解码方法的特征在于，使导出机执行以下步骤: 预测运动矢量候选生成步骤，基于与解码对象预测块相同图片内的与上述解码对象预测块相邻的第I已解码预测块、和与上述解码对象预测块不同图片内的位于上述解码对象预测块相同或周边位置的第2已解码预测块的任一者的运动矢量进行预测，导出多个预测运动矢量的候选，将导出的预测运动矢量的候选登录到预测运动矢量候选列表中， 解码步骤，解码出表示应选择的预测运动矢量在上述预测运动矢量候选列表中的位置的信息，以及 预测运动矢量选择步骤，基于所解码出的表示上述应选择的预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选择预测运动矢量； 其中，在上述预测运动矢量候选生成步骤中，在为得到所设定数量的预测运动矢量的候选而赋予优先顺序地判定上述第I已解码预测块内的哪个预测块的运动矢量将成为用于导出预测运动矢量的候选的运动矢量时，针对左侧的相邻块组及上侧的相邻块组的各相邻块组，分别对预定顺序的各预测块按如下规则进行以下各条件的判定: 条件1.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在相同参照图片的运动矢量， 条件2.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在相同参照图片的运动矢量， 条件3.在与按解码对象预测块而选择的编码模式相同的参照列表中、存在不同参照图片的运动矢量， 条件4.在与按解码对象预测块而选择的编码模式不同的参照列表中、存在不同参照图片的运动矢量； 所述规则为:首先，针对条件1、2，按该条件1、2的优先顺序对各预测块进行所述判定，然后针对条件3、4，按该条件3、4的优先顺序对各预测块进行所述判定。
12.如权利要求11所述的动图像解码程序，其特征在于， 上述预测运动矢量候选生成步骤在针对上述条件1、2的条件判定中，当发现与条件一致的预测块时，将该预测块的运动矢量直接作为预测运动矢量的候选。
【文档编号】H04N19/52GK103563386SQ201280026093
【公开日】2014年2月5日 申请日期:2012年5月30日 优先权日:2011年5月31日
【发明者】中村博哉, 西谷胜义, 福岛茂, 上田基晴 申请人:Jvc建伍株式会社