运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图...的制作方法
运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图 ...的制作方法
【专利摘要】运动图像编码装置（100）具备帧内/帧间预测部（107），该帧内/帧间预测部（107）对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与编码对象图片不同的图片中并且在时间使邻接的1个以上的对应块，向列表选择性地追加对应块的运动矢量时，通过对时间上邻接的对应块的第1运动矢量进行缩放处理，计算第2运动矢量，判定第2运动矢量是否包含在规定的大小的范围内，如果第2运动矢量包含在规定的大小的范围内，则将第2运动矢量追加到列表中。
【专利说明】运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编解码装置
【技术领域】
[0001]本发明涉及将多个图片按每个块进行编码的运动图像编码方法、以及将多个图片按每个块进行解码的运动图像解码方法。
【背景技术】
[0002]在H.264的帧间预测解码中，B切片(slice)等中包含的2方向参照块，通过参照与包含有解码对象块的图片不同的图片中包含的2个图像数据，对解码对象块的图像数据进行预测解码。
[0003]另外，在H.264中，存在被称为直接模式的、用于制作预测图像的运动矢量的导出模式(非专利文献I的8.4.1.2.1节、3.45节等)。
[0004]在H.264的直接模式中，存在以下的(S)和(T) 2个模式。
[0005](T)(虽然时间上不同)将在空间上位于同一位置的co_located块(Col_Blk)的运动矢量mvCol以规定的比进行缩放处理而利用的时间直接模式(temporal mode)。
[0006](S)(虽然在时间上是同一显示时刻的图片)利用与空间上不同位置的块的运动矢量有关的数据(运动数据:运动数据)的空间直接模式(special direct mode)。
[0007]在先技术文献
[0008]非专利文献
[0009]非专利文献1:1TU-T H.264 03/2010
[0010]非专利文献2:WD4:Working Draft4of High-Efficiency Video Coding JointCollaborative Team on Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino,IT，14_22July，2011、Document:JCTVC-F803_d2
[0011]发明的概要
[0012]发明所要解决的课题
[0013]但是，在上述的时间直接模式中，在缩放处理时需要乘法计算。因此，在缩放处理后，在编码侧或解码侧处理的运动矢量的比特精度范围可能会变大，所以编码侧或解码化侧的负荷增加。
【发明内容】
[0014]在此，本发明提供一种削减处理负荷并能够保持编码效率的运动图像编码方法及运动图像解码方法等。
[0015]解决课题所采用的手段
[0016]本发明的一个方式的运动图像编码方法，是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤:追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0017]此外，本发明的一个方式的运动图像解码方法，是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤:追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0018]另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
[0019]发明的效果
[0020]根据本发明，能够在削减处理负荷的同时保持编码效率。
【专利附图】
【附图说明】
[0021]图1是说明在解码对象块(Curr_Blk)的解码中参照的2张图片的图。
[0022]图2A是说明参照图片列表(RefPicListO)的图。
[0023]图2B是说明参照图片列表(RefPicListl)的图。
[0024]图3是对于CurrBlk的参照图片列表RefPicListO和RefPicListl说明picNum的图。
[0025]图4是说明在(T)的时间直接模式(temporal mode)中利用的信息的图。
[0026]图5A是用于说明时间直接模式(temporal mode)中的缩放处理的图，是简化说明co-located块、运动矢量mvLOCol的图。
[0027]图5B是用于说明时间直接模式(temporal mode)中的缩放处理的图，是说明缩放处理的概念的图。
[0028]图6是以与非专利文献I中记载的导出式的关系来示出STEPl~3的图。
[0029]图7是说明(S)的空间直接模式(special direct mode)的图。
[0030]图8是表示实施方式I的运动图像编码装置的构成的框图。
[0031]图9是说明实施方式I的运动图像编码装置中的动作的流程图。
[0032]图10是说明帧内/帧间预测部所设定的合并候选块[I…6]的图。
[0033]图11是说明合并候选列表(mergeCandList)的概念的图。
[0034]图12是表示在由帧内/帧间预测部进行的重复判定中判定为重复的例子的图。[0035]图13是说明取得合并候选块[i]的运动数据的处理的流程图。
[0036]图14是说明由帧内/帧间预测部进行的缩放处理的一例的流程图。
[0037]图15是说明由帧内/帧间预测部进行的缩放处理的其他例的流程图。
[0038]图16是表示实施方式I的运动图像解码装置的构成的框图。
[0039]图17是说明实施方式I的运动图像解码装置中的动作的流程图。
[0040]图18是用于说明合并候选列表(mergeCandList)的更新处理的图，Ca)是表示初始化生成的合并候选列表(mergeCandList)的图，(b)是表示更新处理后的合并候选列表(mergeCandList)的图。
[0041 ]图19A是说明HEVC中的运动预测矢量mvpLX的图。
[0042]图19B是说明运动预测矢量mvpLX的候选列表mvpListLX CmvpListLO和mvpListLl)的图。
[0043]图20是说明预测候选块群或预测候选块的图。
[0044]图21是实现内容分发服务的内容供给系统的整体结构图。
[0045]图22是数字广播用系统的整体结构图。
[0046]图23是表示电视机的结构例的模块图。
[0047]图24是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0048]图25是表示作为光盘的记录介质的构造例的图。
[0049]图26A是表示便携电话的一例的图。
[0050]图26B是表示便携电话的结构例的模块图。
[0051]图27是表示复用数据的结构的图。
[0052]图28是示意地表示各流在复用数据中怎样被复用的图。
[0053]图29是更详细地表示在PES包序列中视频流怎样被保存的图。
[0054]图30是表示复用数据的TS包和源包的构造的图。
[0055]图31是表示PMT的数据结构的图。
[0056]图32是表示复用数据信息的内部结构的图。
[0057]图33是表示流属性信息的内部结构的图。
[0058]图34是表示识别影像数据的步骤的图。
[0059]图35是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0060]图36是表示切换驱动频率的结构的图。
[0061]图37是表示识别影像数据、切换驱动频率的步骤的图。
[0062]图38是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0063]图39A是表示将信号处理部的模块共用的结构的一例的图。
[0064]图39B是表不将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0065](成为本发明的基础的见解)
[0066]图1是说明在解码对象块(Curr_Blk)的解码中参照的2张图片的图。在图中，“300”~“304”是图片编号(PicNum)，是将显示顺序PicOrderCnt ()的值从小到大排列的图。解码对象块是包含在图片编号302 (CurrPic)中的块。在该例中，解码对象块参照存在于显示顺序前方的PicNum301的图片和存在于显示顺序后方的PicNum304的图片的图像数据。以下，箭头通例如该例所示，箭头的根部表示参照的一侧(解码对象侧)的图片，箭头的头部表示在解码中利用的(被参照的)一侧的图片。
[0067]以下，在说明书和附图中将解码对象块以黑方块表示并简单记为Curr_Blk。此外，箭头通例如该例所示，箭头的根部表示参照的一侧的(解码对象侧)的图片，箭头的头部表示在解码中利用的(被参照的)一侧的图片。此外，设PicNum302的图片是包含解码对象块的图片(解码对象图片)。
[0068]图2A及图2B是说明2个参照图片列表(RefPicListO及RefPicListl)的图。
[0069]用于确定第I个参照图片的列表是图2A所示的参照图片列表O (RefPicListO)。用于确定第2个参照图片的列表是图2B所示的参照图片列表l(RefPicListl)。参照图片列表是如下的列表:不是以“302”等值较大的picNum、而是能够仅以“O”或“I”这样的小的索引值(refldxLO和refldxLl)来表示解码对象块参照哪个参照图片。作为切片中的各个块的解码对象块(Curr_Blk)参照哪个图片由该列表中的索引的值给出。
[0070]在包含有解码对象块的B切片的解码时，将列表初期值化(生成)。
[0071]参照图片列表RefPicListO和RefPicListl以索引的低位(索引值较小的编号)所示的图片编号PicNum不同的方式排列。将参照图片列表分别以解码对象图片的picNum302为界而分为前半部分和后半部分，在参照图片列表O的前半部分按降序(301，300…)分配。此外，在参照图片列表1 的前半部分按升序(303，304…)分配。
[0072]例如，从码串对于参照图片列表O及参照图片列表1分别以最小的“O”赋予索引的值时，对图片302决定以下的2个参照图片。
[0073]作为第I个参照图片，决定作为RefPicListO [O]的值的前I个图片301。作为第2个参照图片，决定作为RefPicListl [O]的值的后I个图片303。
[0074]在图1所示的例子中，第I个索引为refldxLO = 0，参照图片301，第2个索引为refIdxLl = 1，参照图片 304。
[0075]图3是说明对于图片302中包含的CurrBlk的参照图片列表RefPicLiStO和RefPicListl使refldxLO及refldxLl的值从“O”开始增加的情况下所示出的picNum的图。从解码对象图片(picNum302)来看,各列表的索引的值(refldxLO的值和refldxLl的值)越增加，由索引的值确定的图片离解码对象图片越远。
[0076]特别是，在表示第2个参照的RefPicListl中，在列表的索引的较小值的部分，按照以 CurrPic 图片 302 之后(greater than PicOrderCnt (CurrPic)的图片(对于已解码且保持在存储器中的图片)降序设定的规则保持索引(将其称为Rulel)。按照该Rulel，由RefPicListl [0]确定的图片成为图中以虚线圆示出的picNum303。
[0077]如上述那样，在说明书和附图中，如果没有特别说明，将第I个参照图片列表省略为RefPicLi StO，将该列表中的索引省略为refldxLO。将第2个参照图片列表省略为RefPicLis11，将该列表中的索引省略为refldxLl (详细情况请参照图中的说明及非专利文献 I 的 8.2.4.2.3 节 8.2.4Decoding process for reference picture listsconstruction)。[0078]接下来,依次说明H.264的(T)时间直接模式(temporal mode)及(S)空间直接模式(special direct mode)。
[0079]图4是说明在(T)的时间直接模式(temporal mode)中利用的信息的图。
[0080]图中阴影所示的块是“(虽然时间上不同)在空间上位于同一位置的co_located块(Col_Blk)”。时间位置由图3中说明的第2个参照列表IRefPicListl的索引的值“O”确定而成为图片303。在基于前述的Rulel初始化的RefPicListl列表中，除了参照存储器中在时间上不存在后方的图片等特别情况之外，索引值“O”所示的图片(RefPicListl [0]的值)成为参照存储器中存在的显示时间上最接近的后方的图片。
[0081]接着，时间直接模式使用以阴影表示的Col_Blk的“运动数据”导出以黑方块表示的解码对象块Curr_Blk的运动矢量mvLO、mvLl。运动数据中包含以下信息。
[0082](i) Col_Blk 所参照的参照图片 refldxLO [refidx]。
[0083]Col_Blk 作为参照图片，参照图片 picNum301 (RefPicListO [I]的值)。
[0084](ii)与参照图片有关的运动矢量mvLOCol。
[0085]在图中，图片picNum301中的虚线箭头是在Col_Blk的解码时使用的第I个运动矢量 mvLOCol。
[0086]以下，在说明书和附图中，虚线箭头表示运动矢量。运动矢量mvLOCol是表示在Col_Blk的解码时使用的col_Blk的预测图像的运动矢量。
[0087]图5A及图5B是说明时间直接模式(temporal mode)中的缩放处理的图。
[0088]缩放处理是将运动矢量mvLOCol的值以与参照图片的距离之差的比进行缩放，从而导出解码对象块Curr_Blk的运动矢量mvLO和运动矢量mvLl的处理。
[0089]图5A是将图1?4的参照构造、co-located块、运动矢量mvLOCol简化说明的图。
[0090]图5B是说明缩放处理的概念的图。
[0091]缩放处理简单地说，可以认为是图5B所示那样的三角形DEF与三角形ABC的相似。
[0092]三角形DEF是与Col_Blk有关的三角形。
[0093]点D是Col_Blk的位置。点E是Col_Blk所参照的图片的位置。点F是以点E为基点的运动矢量mvLOCol所指示的坐标。
[0094]三角形ABC是与Curr_Blk有关的三角形。
[0095]点A是作为解码对象的块Curr_Blk的位置。点B是该块Curr_Blk所参照的图片的位置。点C是将要导出的矢量所指示的坐标。
[0096]首先，在STEPl 中导出 ScaleFactor, ScaleFactor 是(I)从 Curr_Blk 到 Curr_Blk所参照的图片的相对距离(tb)与(2)从Col_Blk到Col_Blk所参照的图片的相对距离(tx)的比。例如，在该图中，ScaleFactor 是 tb = 302 — 301 = I 与 tx = 303 — 301 = 2 的比(tb/tx),0.5 (1/2)为缩放比(相似比为1:2)。这相当于三角形ABC与三角形DEF的相似比为1/2。
[0097]ScaleFactor = tb/tx = (302 — 301) / (303 — 301)
[0098]= 1/2...(STEPl)
[0099]在STEP2中，将以原先给出的边EF为长度的矢量EF乘以所得到的缩放比，求得矢量BC。该矢量BC是第I个矢量(mvLO)。[0100]mvLO = ScaleFactorXmvLOCol...(STEP2)
[0101]在STEP3中，使用在STEP2中导出的mvLO和使方向反转的mvLOCo I，导出作为导出对象的另I个矢量mvLl。
[0102]mvLl = mvLO — mvLOCol...(STEP3)
[0103]图6 是通过与非专利文献 I 的 8.4.L 2.3 节 Derivation process for temporaldirect luma motion vector and reference index prediction mode 中记载的导出式的关系来示出步骤STEPl?3的图。
[0104]图7是说明2个直接模式中的另一方的(S)空间直接模式(special direct mode)的图。
[0105]在该模式中，对于与解码对象块(Curr_Blk)中包含的运动补偿单位块邻接的块N(例如邻接块A、邻接块B、邻接块C)，取得与前述的运动矢量有关的数据(运动数据)(在此指的是(运动矢量mvLXN、参照索引refldxLXN)的值的组。以下相同)。
[0106]在与运动矢量有关的数据(以下也称为运动数据)中，将具备包含参照索引(refldxLXN)的值最小的“O”的自然数(minPositive值)的块的运动数据(refIdxL0、Ll和与其对应的mvL0、mvLl)直接使用(非专利文献8-186,187式)。具体地说,通过以下的计算分别导出refldxLO和LI。
[0107]refldxLO = MinPositive (refIdxLOA, MinPositive (refIdxLOB, refIdxLOC))(8-186)
[0108]refldxLl = MinPositive (refIdxLlA, MinPositive (refIdxLlB, refIdxLlC))(8-187)
[0109]在该空间直接模式中，对于运动矢量mvLO或mvLl，为了将包含从同一图片到参照图片的距离(refIdxL0、Ll)的“motiondata”成组地利用，参照邻接块所利用的参照图片即可，原则上不需要像时间直接模式那样对mvLO或mvLl进行缩放。
[0110]如以上那样，对于(T)时间直接模式,在使用ScaleFactor (DistScaleFactor)的运动矢量mvLO的导出中，需要将ScaleFactor与mvLOCol相乘的计算。因此，例如将在解码侧处理的运动矢量的大小的范围限制为能够以某比特精度表示的范围的情况下，在编码侧需要控制运动矢量的生成，以使时间直接的相乘后的运动矢量的大小收敛在上述范围内，编码侧的处理负荷增加。
[0111]此外，在以往的H.264中，使用(T)时间直接模式还是使用(S)空间直接的切换，以切片为单位仅能进行I次。
[0112]在HEVC中，比起H.264中的切片单位的空间直接模式及时间直接模式，正在研究能够实现灵活的运动矢量的导出方法的指定的、被称为合并模式的模式。通过与该新的HEVC的合并模式的组合，在限制上述运动矢量的大小的范围的情况下，期望削减处理负荷与保持编码效率之间的适当的平衡。
[0113]在此，本发明的一个方式的运动图像编码方法，是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤:追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0114]由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以某比特精度表示的范围内。
[0115]此外，也可以是，在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述对应块的运动矢量追加到所述列表。
[0116]此外，也可以是，在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
[0117]此外，也可以是，所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片，在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表，在所述选择步骤中，从所述合并候选列表选择为了进行所述编码对象块的编码而使用的运动矢量及确定信息，在所述编码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息来生成所述编码对象块的预测图像，从而对所述编码对象块进行编码。
[0118]此外，也可以是，所述列表是预测运动矢量候选列表，在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围内，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表中，在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述编码对象块的编码而使用的预测运动矢量，在所述编码步骤中，进行包含如下的编码的所述编码对象块的编码:使用在所述选择步骤中选择的所述预测运动矢量，对所述编码对象块的运动矢量进行编码。
[0119]此外，在所述追加步骤中，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表中。
[0120]此外，也可以是，所述规定的大小的范围由运动矢量的比特精度决定，所述比特精度使用由简表(profile)或级别(level)规定的值、或者向头附加的值。
[0121]此外，本发明的一个方式的运动图像解码方法，是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤:追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0122]由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够由某比特精度表示的范围内。
[0123]此外，也可以是，在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量追加到所述列表中。
[0124]此外，也可以是，所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
[0125]此外，也可以是，所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片，在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表，在所述选择步骤中，从所述合并候选列表选择为了进行所述解码对象块的解码而使用的运动矢量及确定信息，在所述解码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息，生成所述解码对象块的预测图像，从而对所述解码对象块进行解码。
[0126]此外，也可以是，所述列表是预测运动矢量候选列表，在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表，在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述解码对象块的解码而使用的预测运动矢量，在所述解码步骤中，进行包括如下解码在内的所述解码对象块的解码:使用在所述选择步骤中选择的所述预测运动矢量，对所述解码对象块的运动矢量进行解码。
[0127]此外，也可以是，在所述追加步骤中，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表中。
[0128]此外，也可以是，所述规定的大小的范围由运动矢量的比特精度决定，所述比特精度使用由简表或级别规定的值、或者向头附加的值。
[0129]另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
[0130]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0131]另外，以下说明的实施方式都只是整体或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等只是一例，不意图限定本发明。此外，以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素来说明。
[0132](实施方式I)
[0133]图8是表示实施方式I的运动图像编码装置的构成的框图。
[0134]如图8所示，运动图像编码装置100主要具备:差分部101、变换部102、量化部103、熵编码部110、逆量化部104、逆变换部105、加法部106、存储器109、帧内/帧间预测部107、以及编码控制部108。[0135]差分部101输出残差信号，该残差信号是输入图像信号与预测图像信号的差分。
[0136]变换部102对残差信号进行从图像区域向频率区域的变换。量化部103对变换为频率区域的残差信号进行量化处理，输出已量化残差信号。
[0137]熵编码部110对已量化残差信号及解码控制信号进行熵编码，输出已编码比特流。
[0138]逆量化部104对已量化残差信号进行逆量化处理。逆变换部105对逆量化处理后的残差信号进行从频率区域向图像区域的变换，输出已复原残差信号。
[0139]加法部106将已复原残差信号和预测图像信号相加，成为解码图像信号。
[0140]帧内/帧间预测部107将解码图像信号以帧或块等规定的单位保存到存储器109中，并且接受编码控制部108的指示，生成向差分部101及加法部106供给的预测图像信号(基于解码图像信号和运动矢量导出的像素值)并输出。
[0141]此外，帧内/帧间预测部107导出在编码.解码过程中以合并模式利用的运动矢量的候选列表、即合并候选列表(mergeCandList)。这时,巾贞内/巾贞间预测部107对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向合并候选列表选择性地追加对应块的运动矢量。此外，帧内/帧间预测部107通过对时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定第2运动矢量是否包含在规定的大小的范围内，如果第2运动矢量包含在规定的大小的范围内，则将第2运动矢量作为对应块的运动矢量追加到合并候选列表。此外，帧内/帧间预测部107从合并候选列表选择为了进行编码对象块的编码而使用的运动矢量。即，本实施方式的缩放处理主要在帧内/帧间预测部107中执行。另外，在本实施方式的运动图像编码装置100中，追加部及选择部相当于帧内/帧间预测部107。此外，在本实施方式的运动图像编码装置100中，编码部相当于差分部101、变换部102、量化部103、以及熵编码部110等。
[0142]编码控制部108决定图中的各处理部，并且在试验的基础上决定将图片以怎样的控制参数进行编码(该控制参数与解码控制信号对应)，特别是提供给帧内/帧间预测部107。试验例如通过以缩短图中的虚线所示的已编码比特流的比特长为目的的函数等来进行，决定为了进行某图像数据的编码的控制参数(例如帧间预测、帧内预测的区别等)并输出。输出信号中的运动矢量索引留待后述。
[0143]编码控制部108在前述试验的结果为良好的情况下，为了将使用了本实施方式的缩放处理的情况作为值来表示，决定后述的合并索引(mergejdx)并包含在解码控制信号中输出。此外，这种情况下的已量化残差信号成为通过使用本实施方式的缩放方法生成的预测图像信号而导出的值。
[0144]图9是说明实施方式I的运动图像编码装置中的动作的流程图。
[0145]在此，说明在判定为编码控制部108对编码对象块进行(I)帧间编码(M0DE_INTER)、并且利用(2)合并模式(MergeMODE)(或者得到利用合并模式时的结果)的情况下的合并模式编码动作。
[0146]HEVC的合并模式在概念上与通过H.264导入的直接模式相同。关于运动矢量的导出，不是与H.264的直接模式同样地利用码串，而是在空间(S)或时间(T)上利用其他块的
运动矢量。[0147]与H.264的直接模式相比，具有以下的主要区别。
[0148](a)处理单位:能够通过比切片单位更细致的PreduicitionUnit (PU)单位的merge_flag来切换是否利用合并模式。
[0149](b)选择单位:不是2中择I地指定利用(S)空间直接还是利用(T)时间直接，而是能够从更多的候选值通过mergejdx来指定。具体地说，导出在编码.解码过程中以合并模式利用的运动矢量的候选列表、即合并候选列表(mergeCandList)。通过从该列表中的码串指定的索引的值(merge」dx的值),确定使用哪个运动矢量候选。
[0150]合并模式的处理开始后，编码控制部108将mergejdx的值及i的值设置为“O”(步骤S101)。在此，i是用于区别候选的方便起见的候选编号。
[0151]帧内/帧间预测部107对候选块[I…N]设定以下2个类型的块(步骤S102)。在此，设N = 6。
[0152](S)候选块[L...(N-1)]是用于空间直接的I个以上的候选，通过候选块的位置来区别[I…5]。
[0153](t)候选块[N]是用于时间直接的候选。追加(append)到空间直接的情况的入口值“6”相当于CoJocated块的索引。使用图10在后面说明。
[0154]步骤S103以后是如下的循环:编码控制部108将确定候选的编号i增量(步骤S103),决定输出精度高的目的函数的运动矢量导出模式。
[0155]帧内/帧间预测部107判定候选块[i]是否能够在存储器上利用(available,可)(步骤S104)。例如，对于位于编码对象块的下方向的块等、不是已编码(解码)的块(未保持在存储器中的块)，判定为无法利用。
[0156]判定的结果为无法利用的情况下(在步骤S104中为“否”:not available,不可)，将merge_idx的值保持为当前的值,并转移到下一候选i (回到步骤S103)。
[0157]判定的结果为能够利用的情况下(步骤S104中为“是” available，可)，进入下一步骤。
[0158]帧内/帧间预测部107判定候选块[i]的运动数据(mvLO, mvLl, refldxLO,refldxLl的组，以下相同)是否与过去的候选块[I…(i 一 I)]的已试验的运动数据(mvLO,refldxLO，mvLl，refldxLl)重复(步骤S105)。该判定使用图12在后面说明。
[0159]判定的结果为重复的情况下(步骤S105中为“是”:duplicated),将merge_idx的值保持当前的值，并且转移到下一候选i (返回步骤S103)。
[0160]判定的结果为不重复、即新的运动数据的情况下(在步骤S105中为“否”:notduplicated)，进入下一步骤。另外，通过能否利用的判定处理(步骤S104)和是否重复的判定处理(步骤S105)所得到的,是关于运动矢量的合并候选列表(mergeCandLis),使用图11在后面说明。
[0161]接着,帧内/帧间预测部107取得或导出候选块[i]的运动数据(mvLO,refldxLO,mvLl,refldxLl)(步骤S106)。在此,候选块[i]是以时间直接为前提的Colocated块的情况下，使用图14进行后述的缩放处理。
[0162]另外，在本实施方式中，在步骤S106中，候选块[i]是以时间直接为前提的Colocated块的情况下，使用图14进行后述的缩放处理，但是不限于此。例如也可以想到，在步骤S102中，将Colocated块追加到候选块时，预先使用图14取得实施了后述的缩放处理的运动数据(mvLO, refldxLO, mvLl, refIdxLl),在步骤S105中，将与过去的候选块重复的运动数据不追加到候选块中(图17)。由此，能够将重复的运动数据更多地从候选块省去，能够削减处理及改善编码效率。
[0163]使用决定的运动数据，在编码控制部108的控制下，使用编码装置整体试验帧间编码(步骤S107)。编码控制部108例如得到熵编码部110的输出结果的比特流[i]。
[0164]编码控制部108例如根据着眼于比特流长(压缩效率)或处理延迟等的目的，判定当前的候选[i]的结果是否比过去的候选[I…(1- O]的结果更优越(是否示出规定的目的函数的最大值(或最小值))(步骤S108)。
[0165]该判定的结果，比过去的候选[I…(i 一 I)]的结果优越的情况下(步骤S108为“是”:better candidate),将当前时点的merge_idx的值作为实际在编码.解码中预定使用的mergejdx的编号保持(步骤S109)。简单地说，是将输出了更符合目的的结果的情况的有效入口编号merge_idx预先存储为dummy_merge_idx的变量的处理。
[0166]帧内/帧间预测部107设本次的候选i作为入口编号是有效的，并转移到下一入口，因此将mergejdx的值增量(步骤SI 10)。
[0167]编码控制部108判定是否对全部候选块进行了试验(步骤S111)。
[0168]判定的结果为对全部块完成了处理(作为在步骤S102中设定的最后的候选块[N]的、(t)时间直接用的cojocated块中的试验已进行)的情况下(步骤Slll为“是”)，进入
下一步骤。
[0169]判定的结果为仍残留有候选块的情况下(步骤Slll中为“否”)，使候选编号i增加，并进行下一候选的试验。
[0170]将输出了规定的目的函数的最大值(或最小值)的du_y_merge_idx决定为作为实际向编码列输出的索引编号的合并索引(mergejdx)(步骤S112)。
[0171]以上是利用合并模式的情况的编码动作。
[0172]图10是说明在步骤S102中由帧内/帧间预测部107设定的合并候选块[Ρ..6]的图。
[0173]候选块包括(S)在空间上邻接的I个以上的块(图中(S)邻接空间块[L...(N —O]和(t)在时间上邻接的I个块(图中(t) Co_located块[N]。
[0174]合并候选列表中的merge_idx的索引值较小的、换言之最初列举的候选入口(或多个入口)是空间上邻接的块。空间上邻接指的是，在图中的(SI)水平方向或(S2)垂直方向的某一个邻接。
[0175]另外，邻接这一概念的单位是应用同一运动矢量的运动数据的单位、即PU。即，是否是与包含编码对象块Curr_Blk的CurrentPU邻接的PU。在图中，块BO~B2是在垂直方向上邻接的块的例子，包含各个块的I3U成为邻接的PU，利用其运动数据(mvLO，refldxLO,mvLl, refldxLl)。在图中，块A0、Al...是在水平方向上邻接的块的例子。
[0176]在合并候选列表的末尾，merge_idx的索引值最大、换言之最后入口的候选入口是在时间方向上邻接的块。在该图中，是由Current块的参照图片列表LI (没有的情况下，为L0)的索引值O指定的图片中存在的CoJocated块。
[0177]图11是说明通过步骤S103以后的处理生成的合并候选列表(mergeCandList)的概念的图。图中左侧的i (I…6)相当于步骤S103等的候选编号i。[0178]i = [Ρ..5]的入口对应于(s)空间上邻接的I个以上的块(图10的AO…B2)。i=6的入口对应于(t)时间上邻接的I个块(图10 (t) Co_located块[N]。
[0179]候选1...6中的有效的入口编号是merge_idx。在图中，i = 3、5表示是Duplicatedmotion vectors。这表示,在步骤S105中，帧内/帧间预测部107是被判定为候选块[i]的运动数据(mvL0、mvLl, refldxLO, refldxLl的组，以下相同)与过去的候选块[I…(i —O]的已试验的运动数据(mvLO, refldxLO, mvLl, refldxLl)重复的入口。
[0180]图12是表示在步骤105的重复判定中判定为重复的例子的图。是说明运动数据是候选之上的入口的值重复的运动数据的情况的说明的图。
[0181]相对于CurrentPU在上方向BI的位置邻接的块的运动数据实际上对于包含BO及BN的I个PU定义I个的情况下，与候选编号3或5对应的BO及BN的块的运动数据的值成为重复的运动数据，从列表删除入口。因此，如图11所示，mergeCandList能够成为将merge_idx的最大值压缩为“2”的列表。
[0182]图13是说明在步骤S106中执行的、取得合并候选块[i]的运动数据(mvLO，refldxLO, mvLl, refldxLl)的处理的流程图。
[0183]处理开始后，编码控制部108判定邻接块[i]的邻接方向(步骤S201)。
[0184]判定的结果,邻接方向为空间方向(在图11的表中，i为I...5的值)的情况下,将包含有候选块[i]的PU的 运动数据直接决定为编码对象块的运动数据(步骤S202)。
[0185]判定的结果，邻接方向为时间方向(在图11的表中，i为6)的情况下，将作为候选块[6]的colocateBlok (Col_Blk)的mvLOCol通过基于乘法的时间直接缩放处理进行缩放(步骤S203)。
[0186]使用图14说明该缩放处理。
[0187]图14是说明步骤S203的缩放处理的流程图。
[0188]首先，帧内/帧间预测部107如图6的STEP I的算式所示，使用编码对象图片currPicOrField、编码对象块所参照的参照图片picO、包含有co-located块的图片picl、以及co-located块所参照的参照图片picO的显示顺序的值,计算DistScaleFactor(步骤S301)。然后，帧内/帧间预测部107如图6的STEP2的算式所示，通过将co-located块的运动矢量mvCol与DistScaleFactor相乘,计算运动矢量mvLO (步骤S302)。接着，帧内/帧间预测部107判定所计算出的运动矢量mvLO的水平成分及垂直成分的大小是否收敛在能够以某比特精度表示的大小的范围内(步骤S303)。该判定的结果，收敛在范围内的情况下(步骤S303为“是”)，帧内/帧间预测部107作为具备所计算出的运动矢量mvLO的合并块候选追加到合并候选列表mergeCandList (步骤S304)。另一方面,未收敛在范围内的情况下(步骤S303中为“否”)，帧内/帧间预测部107将从co-located块计算的合并块候选作为“不可”，不追加到合并候选列表mergeCandList中(步骤S305)。
[0189]这样，缩放处理后的运动矢量的值超过能够以某比特精度表示的值的范围的情况下，不将具备该运动矢量的合并块候选追加到合并候选列表，由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以某比特精度表示的范围内。例如，作为某比特精度，假定为16bit时，缩放处理后的运动矢量mvLO的水平成分或垂直成分的值不满足一 32768以上+ 32767以下的情况下，不将具备运动矢量mvLO的合并块候选追加到合并候选列表。由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以16bit精度表示的范围内。
[0190]另外，在本实施方式中，举出了运动矢量的水平成分、垂直成分都收敛在16bit精度的例子，但是不限于此。例如，想要将水平成分收敛在16bit精度、将垂直成分收敛在14bit精度的情况下，也可以构成为，判定缩放处理后的运动矢量mvLO的水平成分的值是否为一 32768以上+ 32767以下、运动矢量mvLO的垂直成分的值是否为一 8192以上8191以下，不满足其中某一个的情况下，不将具备运动矢量mvLO的合并块候选追加到合并候选列表。由此，能够将运动矢量的大小的范围分别按水平成分和垂直成分限制在一定范围以内。
[0191]此外，在本实施方式中，作为通过缩放计算而计算的运动矢量的例子，示出了使用参照图片列表LO的运动矢量mvLO的例子，但是不限于此，在计算参照图片列表LI的运动矢量mvLl的情况下也能够应用。
[0192]此外，在本实施方式中，在步骤S302中将co-located块的运动矢量mvCol与DistScaleFactor相乘而计算mvLO,在mvLO的水平成分或垂直成分的某一个超过了能够以某比特精度表示的范围的情况下，不将从co-located块计算的合并块候选追加到合并候选列表，但是不限于此，例如，co-located块为2方向预测的情况下等，也可以构成为，对mvCol设置co-located块所具备的另一方的运动矢量,通过从步骤S302到步骤S305的处理，计算合并块候选。由此，能够抑制从co-located块计算的合并块候选的减少,能够提高编码效率。
[0193]此外，在本实施方式中，在步骤S305中，运动矢量mvLO的水平成分或垂直成分的某一个超过了能够以某比特精度表示的范围的情况下，不将从co-located块计算的合并块候选追加到合并候选列表，但是不限于此。例如也可以是，如图15的步骤S401所示，将运动矢量mvLO的水平成分或垂直成分的值缩减(clip)为能够以某比特精度表示的大小，作为具备缩减后的运动矢量的合并块候选追加到合并候选列表。例如也可以是，作为某比特精度假定了 16bit精度的情况下，缩放处理后的运动矢量的水平成分的值超过+ 32767的情况下，作为缩减后的运动矢量的水平成分使用+ 32767，计算合并块候选。此外，例如也可以是，缩放处理后的运动矢量的水平成分的值低于一 32768的情况下，作为缩减后的运动矢量的水平成分使用一 32768来计算合并块候选。
[0194]此外，在本实施方式中，示出了固定为某比特精度而限制运动矢量的大小的例子，但是不限于此。例如也可以是，向序列参数组(SPS)、图片参数组(PPS)及切片头等的头部附加限制运动矢量的大小的标志及其比特精度，以序列、图片及切片单位切换运动矢量的限制值。此外，也可以通过简表或级别等设定运动矢量的比特精度，根据简表或级别来切换运动矢量的限制值。
[0195]接着，说明从通过本实施方式I的运动图像编码装置编码的比特流将运动图像复原的运动图像解码装置。
[0196]图16是表示本实施方式I的运动图像解码装置的构成的框图。
[0197]运动图像解码装置200将输入的已编码比特流解码，将缓存到存储器(解码图片存储器)中的已解码图像信号以规定的定时按显示顺序输出。
[0198]如图16所示，运动图像解码装置200主要具备:熵解码部201、逆量化部202、逆变换部203、加法部204、存储器207、帧内/帧间预测部205、以及解码控制部206。同一名称的各部的功能与图8所示的运动图像编码装置内的各处理部对应。
[0199]熵解码部201对输入的已编码比特流进行熵解码处理，输出已量化残差信号及解码控制信号等。
[0200]逆量化部202对通过熵解码处理得到的已量化残差信号进行逆量化处理。逆变换部203对通过逆量化处理得到的已量化残差信号进行从频率区域向图像区域的变换，输出已复原残差信号。
[0201]加法部204将已复原残差信号和预测图像信号相加，成为解码图像信号。
[0202]帧内/帧间预测部205将解码图像信号以帧或块等规定的单位保存到存储器207中，并接受解码控制部206的指示，生成向加法部204供给的预测图像信号(基于解码图像信号和运动矢量导出的像素值)并输出。
[0203]与运动图像编码装置100同样，本实施方式的缩放处理在帧内/帧间预测部205中执行。另外，在本实施方式的运动图像解码装置200中，追加部及选择部相当于帧内/帧间预测部205。此外，在本实施方式的运动图像解码装置200中，解码部相当于熵解码部201、逆量化部202、逆变换部203、及加法部204等。
[0204]解码控制部206从由熵解码部201解析的解码控制信息，得到图中的各处理部、以及将图片以怎样的控制参数进行解码。在编码比特流中的解码控制信息中，包含在图9的步骤S112中决定的合并索引(merge_idx)。
[0205]图17是说明实施方式I的运动图像解码装置中的动作的流程图。
[0206]在此，说明解码控制部206根据解码控制信号的信息判定为“解码对象块(Curr_Blk)(或包含有解码对象块的预测单位I3U块)是被帧间编码的块(M0DE_INTER)、并且利用MergeMODE的情况的动作。
[0207]此外，帧内/帧间预测部205在本地生成图11中说明的合并候选列表(mergeCandList)。本地指的是,帧内/帧间预测部205通过与运动图像编码装置100的动作同样的方法，与来自编码比特流的信息无关地生成该列表。
[0208]图中的i = I…6与图11的定义相同。
[0209]帧内/帧间预测部205对候选块编号i = I...6分别进行步骤S501~步骤S505的处理。帧内/帧间预测部205判定候选块编号i (步骤S501)。候选块编号i = L...5的情况下，帧内/帧间预测部205对于空间邻接块取得运动数据(步骤S502)。
[0210]候选块编号i = 6的情况下,帧内/帧间预测部205使用colocated块的运动数据，通过与图13的步骤S203同样的方法进行缩放处理(步骤S503)。
[0211]接着，帧内/帧间预测部205判定由步骤S502或步骤S504得到的运动数据的值是否与mergeCandList中的上位的入口的数据重复(步骤S504)。
[0212]判定的结果为重复的情况下(步骤S504为“是”)，进入下一候选块编号i。
[0213]判定的结果为不重复的情况下(步骤S504中为“否”)，帧内/帧间预测部205在合并候选列表(mergeCandList)的末尾追加运动数据(步骤S505)。
[0214]这样,通过步骤S501~步骤S505,初始化生成合并候选列表(mergeCandList)。
[0215]接着，帧内/帧间预测部205在满足规定的条件的情况下，进行合并候选列表(mergeCandList)的更新处理(步骤S506)。例如,更新处理如图18所示,按照与编码侧默认地(implicit)共用的规则。图18 (a)是表示初始化生成的合并候选列表(mergeCandList)的图，图18 (b)是表示更新处理后的合并候选列表(mergeCandList)的图。在图18 (b)所示的例中，合并索引(merge_idx)的值将“O”的候选(mvLO_A, ref O)和“ I ”的候选(mvLl_B,refO)组合，生成合并索引(merge_idx)的值为 “2” 的候选(mvL0_A, refO, mvLl_B, refO)。
[0216]以下使用该列表进行运动矢量mvLO、mvLl的合并模式选择处理。
[0217]通过熵解码部201对merge_Idx进行熵解码,巾贞内/巾贞间预测部205接受该merge_Idx的值(步骤S507)。
[0218]巾贞内/巾贞间预测部205从合并候选列表的候选选择I个在由merge_Idx的值确定的合并模式下利用的运动数据运动数据(步骤S508)。
[0219]最后，取得所选择的运动数据motion data (mvLO, refldxLO, mvLl, refldxLl)中的运动矢量mvL0、mvLl所示的位置的像素数据(pixelsLO和pixelsLl),使用这些像素数据导出预测图像信号(步骤S509 )。
[0220]这样，缩放处理后的运动矢量的值超过了能够以某比特精度表示的值的范围的情况下，不将具备该运动矢量的合并块候选追加到合并候选列表，由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以某比特精度表示的范围内。
[0221]另外，在本实施方式中，在图14的步骤S302中的缩放处理后，判定所计算出的运动矢量是否为能够以某比特精度表示的大小的范围内，但是不限于此。例如也可以是，在图17的步骤S508中，判定通过mergejdx选择的运动矢量mvLO是否为能够以某比特精度表示的范围，如果在该范围外吗，则进行缩减以收敛在范围内。
[0222]此外，在本实施方式中，示出了使用非专利文献2中研究的HEVC的合并模式，将缩放处理后的运动矢量的大小的范围限制在能够以某比特精度表示的范围，但是同样地，对于计算非专利文献2中研究的HEVC的AMVP的预测运动矢量候选的方式也能够应用。
[0223]图19A是说明非专利文献2的HEVC中的运动预测矢量mvpLX的图，图19B是说明运动预测矢量mvpLX的候选列表mvpListLX CmvpListLO和mvpListLl)的图。
[0224]如图19A所示,运动预测矢量mvpLX为了求出与通过运动检测导出的运动矢量mvLX的差分、即运动差分矢量mvdLX而使用。然后,对该运动差分矢量mvdLX进行编码。图19B中mvp_idx_10的值与编码后的(在解码侧提取)mvp_idx_lX的值对应。由该索引的值(O, I, 2)决定的mvpListLXN[mvp_idx_lX]的运动数据成为运动预测矢量mvp (predictor)。图中的N表示在空间上或时间上将哪个位置的块的运动矢量的值作为运动矢量的预测值使用。
[0225]图20是说明基于图19B所示的N的值(A、B、Col)的预测候选块群或预测候选块的图。图中涂黑的块是编码(解码)对象块CurrBlk。是图片编号picNum302中的块。图中施加阴影的块是虽然位于与解码对象块Curr_Blk (或包含有该块的预测单位块)大致相同的空间坐标位置(X，y )、但是存在于PicNum不同(时间不同)的图片的所谓Co_located块(Col_Blk)。在该例中，Col_Blk位于与picNum302不同的picNum303。在HEVC中，将这些位置 A，B, Col 的位置的块 N_Blk (A_Blk，B_Blk，Col_Blk)的运动矢量 mvLOA，mvLOB,mvLOCol或(mvLlA, mvLIB, mvLlCol)与被称为DiscScaleFactor的比率相乘，从而作为运动预测矢量mvpLO, mvpLl而用于预测候选。
[0226]在本实施方式中，这时，判定通过相乘计算出的预测运动矢量是否收敛在能够以某比特精度表示的范围，如果未收敛在该范围内，则不追加到预测运动矢量候选的列表。由此，能够将根据预测运动矢量或编码对象块的运动矢量和预测运动矢量计算出的差分运动矢量的大小的范围收敛在能够以某比特精度表示的范围内。另外，也可以是，如果通过相乘计算出的预测运动矢量未收敛在能够以某比特精度表示的范围内，则将进行了缩减以收敛在该范围内的预测运动矢量追加到预测运动矢量候选的列表。
[0227]以上基于实施方式说明了本发明的I个或多个方式的运动图像编码装置及运动图像解码装置，但是本发明不限于该实施方式。只要不脱离本发明的主旨，对本实施方式施加了本领域技术人员能够想到的各种变形而得到的方式、以及将不同实施方式中的构成要素组合而构造的方式，也包含在本发明的I个或多个方式的范围内。
[0228]另外，在上述各实施方式中，各构成要素由专用的硬件构成，或者也可以通过执行适于各构成要素的软件程序来实现。各构成要素可以通过由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此，实现上述各实施方式的运动图像编码装置或运动图像解码装置等的软件是如下的程序。
[0229]S卩，该程序使计算机执行运动图像编码方法，该运动图像编码方法是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤:追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0230]或者，该程序使计算机执行运动图像解码方法，该运动图像解码方法是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤:追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0231](实施方式2)
[0232]通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0233]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0234]图21是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0235]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl07 ?exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。
[0236]但是，内容供给系统exlOO并不限定于图21那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl07?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0237]照相机exll3是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。
[0238]在内容供给系统exlOO中，通过将照相机exll3等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0239]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0240]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0241]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。[0242]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0243]另外，并不限定于内容供给系统exlOO的例子，如图22所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0244]此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0245]图23是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0246]此外，电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机eX300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0247]首先，对电视机eX300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0248]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0249]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
[0250]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图24中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0251]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
[0252]在图25中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0253]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0254]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图23所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0255]图26A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
[0256]进而，使用图26B对便携电话exl 14的结构例进行说明。便携电话exl 14对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
[0257]电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0258]便携电话exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
[0259]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o
[0260]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
[0261]复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
[0262]在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
[0263]此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
[0264]这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
[0265]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
[0266](实施方式3)
[0267]也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG - 2、MPEG4-AVC、VC — I等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。[0268]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0269]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0270]图27是表示复用数据的结构的图。如图27所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG - 2、MPEG4-AVC、VC — I等标准的运动图像编码方法或装置编码。音频流由杜比AC —
3,Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。
[0271 ] 包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011， 对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0272]图28是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0273]图29更详细地表示在PES包序列中怎样保存视频流。图29的第I段表示视频流的视频帧序列。第2段表示PES包序列。如图29的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp)?
[0274]图30表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图30下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。
[0275]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0276]图31是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
[0277]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0278]复用数据信息文件如图32所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
[0279]复用数据信息如图32所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0280]流属性信息如图33所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
[0281]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0282]此外，在图34中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此夕卜，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4-AVC、VC — I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
[0283]这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
[0284](实施方式4)
[0285]在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图35中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0286]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0287]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0288]此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0289]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0290]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0291]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0292](实施方式5)[0293]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4-AVC、VC — I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0294]为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图36表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0295]更具体地讲，驱动频率切换部ex803由图35的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图35的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图38所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0296]图37表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4-AVC、VC — I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0297]进而，通过与驱动频率的切换连动而变更对LSIeX500或包括LSIeX500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。[0298]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0299]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4-AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4_AVC、VC — I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4-AVC、VC — I等的标准的影像数据的情况相比，将停止时间设定得短。
[0300]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0301](实施方式6)
[0302]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0303]为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4-AVC、VC — I等的标准的解码处理部一部分共用的结构。图39A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4-AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4-AVC标准的解码处理部ex902，关于不对应于MPEG4-AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4-AVC标准所特有的处理内容，使用专用的解码处理部。
[0304]此外,用图39B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0305]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0306]工业实用性
[0307]本发明的运动图像编码方法及运动图像解码方法能够应用于所谓的多媒体数据，在限制运动矢量的大小的范围的情况下，能够削减处理负荷并且保持编码效率，例如作为使用便携电话、DVD装置、及个人计算机等的储存、传送、通信等中的运动图像编码方法及运动图像解码方法是有用的。
[0308]符号的说明
[0309]100运动图像编码装置
[0310]101差分部
[0311]102变换部
[0312]103量化部
[0313]104、202 逆量化部
[0314]105,203 逆变换部
[0315]106、204 加法部
[0316]107、205帧内/帧间预测部
[0317]108编码控制部
[0318]109、207 存储器
[0319]110熵编码部
[0320]200运动图像解码装置
[0321]201熵解码部
[0322]206解码控制部
【权利要求】
1.一种运动图像编码方法，是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤: 追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量； 选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及 编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码； 在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
2.如权利要求1所述的运动图像编码方法， 在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述对应块的运动矢量追加到所述列表。
3.如权利要求1所述的运动图像编码方法， 在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
4.如权利要求1~3中任一项所述的运动图像编码方法， 所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片， 在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表， 在所述选择步骤中，从所述合并候选列表选择为了进行所述编码对象块的编码而使用的运动矢量及确定信息， 在所述编码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息来生成所述编码对象块的预测图像，从而对所述编码对象块进行编码。
5.如权利要求1~3中任一项所述的运动图像编码方法， 所述列表是预测运动矢量候选列表， 在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围内，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表， 在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述编码对象块的编码而使用的预测运动矢量， 在所述编码步骤中，进行包含如下的编码的所述编码对象块的编码:使用在所述选择步骤中选择的所述预测运动矢量，对所述编码对象块的运动矢量进行编码。
6.如权利要求5所述的运动图像编码方法，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表。
7.如权利要求1~6中任一项所述的运动图像编码方法， 所述规定的大小的范围由运动矢量的比特精度决定， 所述比特精度使用由简表或级别规定的值、或者向头附加的值。
8.—种运动图像解码方法，是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤: 追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选 择性地追加所述对应块的运动矢量； 选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及 解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码； 在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
9.如权利要求8所述的运动图像解码方法， 在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量追加到所述列表。
10.如权利要求8所述的运动图像解码方法， 所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
11.如权利要求8~10中任一项所述的运动图像解码方法， 所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片， 在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表， 在所述选择步骤中，从所述合并候选列表选择为了进行所述解码对象块的解码而使用的运动矢量及确定信息， 在所述解码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息，生成所述解码对象块的预测图像，从而对所述解码对象块进行解码。
12.如权利要求8~10中任一项所述的运动图像解码方法， 所述列表是预测运动矢量候选列表， 在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表， 在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述解码对象块的解码而使用的预测运动矢量， 在所述解码步骤中，进行包括如下解码在内的所述解码对象块的解码:使用在所述选择步骤中选择的所述预测运动矢量，对所述解码对象块的运动矢量进行解码。
13.如权利要求12所述的运动图像解码方法， 在所述追加步骤中，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表。
14.如权利要求8~13中任一项所述的运动图像解码方法， 所述规定的大小的范围由运动矢量的比特精度决定， 所述比特精度使用由简表或级别规定的值、或者向头附加的值。
15.一种运动图像编码装置，是将多个图片按每个块进行编码的运动图像编码装置，具备: 追加部，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量； 选择部，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及 编码部，使用在所述选择部中选择的所述运动矢量，对所述编码对象块进行编码； 在所述追加部中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
16.一种运动图像解码装置，是将多个图片按每个块进行解码的运动图像解码装置，具备: 追加部，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量； 选择部，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及 解码部，使用在所述选择部中选择的所述运动矢量，对所述解码对象块进行解码； 在所述追加部中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
17.—种运动图像编解码装置，具备: 权利要求15所述的运动图像编码装置；以及 权利要求16所述的运动图像解码装置。
【文档编号】H04N19/52GK103650507SQ201280033794
【公开日】2014年3月19日 申请日期:2012年12月11日 优先权日:2011年12月16日
【发明者】杉尾敏康, 西孝启, 柴原阳司, 谷川京子, 笹井寿郎, 松延彻, 寺田健吾 申请人:松下电器产业株式会社
【专利摘要】运动图像编码装置（100）具备帧内/帧间预测部（107），该帧内/帧间预测部（107）对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与编码对象图片不同的图片中并且在时间使邻接的1个以上的对应块，向列表选择性地追加对应块的运动矢量时，通过对时间上邻接的对应块的第1运动矢量进行缩放处理，计算第2运动矢量，判定第2运动矢量是否包含在规定的大小的范围内，如果第2运动矢量包含在规定的大小的范围内，则将第2运动矢量追加到列表中。
【专利说明】运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编解码装置
【技术领域】
[0001]本发明涉及将多个图片按每个块进行编码的运动图像编码方法、以及将多个图片按每个块进行解码的运动图像解码方法。
【背景技术】
[0002]在H.264的帧间预测解码中，B切片(slice)等中包含的2方向参照块，通过参照与包含有解码对象块的图片不同的图片中包含的2个图像数据，对解码对象块的图像数据进行预测解码。
[0003]另外，在H.264中，存在被称为直接模式的、用于制作预测图像的运动矢量的导出模式(非专利文献I的8.4.1.2.1节、3.45节等)。
[0004]在H.264的直接模式中，存在以下的(S)和(T) 2个模式。
[0005](T)(虽然时间上不同)将在空间上位于同一位置的co_located块(Col_Blk)的运动矢量mvCol以规定的比进行缩放处理而利用的时间直接模式(temporal mode)。
[0006](S)(虽然在时间上是同一显示时刻的图片)利用与空间上不同位置的块的运动矢量有关的数据(运动数据:运动数据)的空间直接模式(special direct mode)。
[0007]在先技术文献
[0008]非专利文献
[0009]非专利文献1:1TU-T H.264 03/2010
[0010]非专利文献2:WD4:Working Draft4of High-Efficiency Video Coding JointCollaborative Team on Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino,IT，14_22July，2011、Document:JCTVC-F803_d2
[0011]发明的概要
[0012]发明所要解决的课题
[0013]但是，在上述的时间直接模式中，在缩放处理时需要乘法计算。因此，在缩放处理后，在编码侧或解码侧处理的运动矢量的比特精度范围可能会变大，所以编码侧或解码化侧的负荷增加。
【发明内容】
[0014]在此，本发明提供一种削减处理负荷并能够保持编码效率的运动图像编码方法及运动图像解码方法等。
[0015]解决课题所采用的手段
[0016]本发明的一个方式的运动图像编码方法，是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤:追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0017]此外，本发明的一个方式的运动图像解码方法，是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤:追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0018]另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
[0019]发明的效果
[0020]根据本发明，能够在削减处理负荷的同时保持编码效率。
【专利附图】
【附图说明】
[0021]图1是说明在解码对象块(Curr_Blk)的解码中参照的2张图片的图。
[0022]图2A是说明参照图片列表(RefPicListO)的图。
[0023]图2B是说明参照图片列表(RefPicListl)的图。
[0024]图3是对于CurrBlk的参照图片列表RefPicListO和RefPicListl说明picNum的图。
[0025]图4是说明在(T)的时间直接模式(temporal mode)中利用的信息的图。
[0026]图5A是用于说明时间直接模式(temporal mode)中的缩放处理的图，是简化说明co-located块、运动矢量mvLOCol的图。
[0027]图5B是用于说明时间直接模式(temporal mode)中的缩放处理的图，是说明缩放处理的概念的图。
[0028]图6是以与非专利文献I中记载的导出式的关系来示出STEPl~3的图。
[0029]图7是说明(S)的空间直接模式(special direct mode)的图。
[0030]图8是表示实施方式I的运动图像编码装置的构成的框图。
[0031]图9是说明实施方式I的运动图像编码装置中的动作的流程图。
[0032]图10是说明帧内/帧间预测部所设定的合并候选块[I…6]的图。
[0033]图11是说明合并候选列表(mergeCandList)的概念的图。
[0034]图12是表示在由帧内/帧间预测部进行的重复判定中判定为重复的例子的图。[0035]图13是说明取得合并候选块[i]的运动数据的处理的流程图。
[0036]图14是说明由帧内/帧间预测部进行的缩放处理的一例的流程图。
[0037]图15是说明由帧内/帧间预测部进行的缩放处理的其他例的流程图。
[0038]图16是表示实施方式I的运动图像解码装置的构成的框图。
[0039]图17是说明实施方式I的运动图像解码装置中的动作的流程图。
[0040]图18是用于说明合并候选列表(mergeCandList)的更新处理的图，Ca)是表示初始化生成的合并候选列表(mergeCandList)的图，(b)是表示更新处理后的合并候选列表(mergeCandList)的图。
[0041 ]图19A是说明HEVC中的运动预测矢量mvpLX的图。
[0042]图19B是说明运动预测矢量mvpLX的候选列表mvpListLX CmvpListLO和mvpListLl)的图。
[0043]图20是说明预测候选块群或预测候选块的图。
[0044]图21是实现内容分发服务的内容供给系统的整体结构图。
[0045]图22是数字广播用系统的整体结构图。
[0046]图23是表示电视机的结构例的模块图。
[0047]图24是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0048]图25是表示作为光盘的记录介质的构造例的图。
[0049]图26A是表示便携电话的一例的图。
[0050]图26B是表示便携电话的结构例的模块图。
[0051]图27是表示复用数据的结构的图。
[0052]图28是示意地表示各流在复用数据中怎样被复用的图。
[0053]图29是更详细地表示在PES包序列中视频流怎样被保存的图。
[0054]图30是表示复用数据的TS包和源包的构造的图。
[0055]图31是表示PMT的数据结构的图。
[0056]图32是表示复用数据信息的内部结构的图。
[0057]图33是表示流属性信息的内部结构的图。
[0058]图34是表示识别影像数据的步骤的图。
[0059]图35是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0060]图36是表示切换驱动频率的结构的图。
[0061]图37是表示识别影像数据、切换驱动频率的步骤的图。
[0062]图38是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0063]图39A是表示将信号处理部的模块共用的结构的一例的图。
[0064]图39B是表不将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0065](成为本发明的基础的见解)
[0066]图1是说明在解码对象块(Curr_Blk)的解码中参照的2张图片的图。在图中，“300”~“304”是图片编号(PicNum)，是将显示顺序PicOrderCnt ()的值从小到大排列的图。解码对象块是包含在图片编号302 (CurrPic)中的块。在该例中，解码对象块参照存在于显示顺序前方的PicNum301的图片和存在于显示顺序后方的PicNum304的图片的图像数据。以下，箭头通例如该例所示，箭头的根部表示参照的一侧(解码对象侧)的图片，箭头的头部表示在解码中利用的(被参照的)一侧的图片。
[0067]以下，在说明书和附图中将解码对象块以黑方块表示并简单记为Curr_Blk。此外，箭头通例如该例所示，箭头的根部表示参照的一侧的(解码对象侧)的图片，箭头的头部表示在解码中利用的(被参照的)一侧的图片。此外，设PicNum302的图片是包含解码对象块的图片(解码对象图片)。
[0068]图2A及图2B是说明2个参照图片列表(RefPicListO及RefPicListl)的图。
[0069]用于确定第I个参照图片的列表是图2A所示的参照图片列表O (RefPicListO)。用于确定第2个参照图片的列表是图2B所示的参照图片列表l(RefPicListl)。参照图片列表是如下的列表:不是以“302”等值较大的picNum、而是能够仅以“O”或“I”这样的小的索引值(refldxLO和refldxLl)来表示解码对象块参照哪个参照图片。作为切片中的各个块的解码对象块(Curr_Blk)参照哪个图片由该列表中的索引的值给出。
[0070]在包含有解码对象块的B切片的解码时，将列表初期值化(生成)。
[0071]参照图片列表RefPicListO和RefPicListl以索引的低位(索引值较小的编号)所示的图片编号PicNum不同的方式排列。将参照图片列表分别以解码对象图片的picNum302为界而分为前半部分和后半部分，在参照图片列表O的前半部分按降序(301，300…)分配。此外，在参照图片列表1 的前半部分按升序(303，304…)分配。
[0072]例如，从码串对于参照图片列表O及参照图片列表1分别以最小的“O”赋予索引的值时，对图片302决定以下的2个参照图片。
[0073]作为第I个参照图片，决定作为RefPicListO [O]的值的前I个图片301。作为第2个参照图片，决定作为RefPicListl [O]的值的后I个图片303。
[0074]在图1所示的例子中，第I个索引为refldxLO = 0，参照图片301，第2个索引为refIdxLl = 1，参照图片 304。
[0075]图3是说明对于图片302中包含的CurrBlk的参照图片列表RefPicLiStO和RefPicListl使refldxLO及refldxLl的值从“O”开始增加的情况下所示出的picNum的图。从解码对象图片(picNum302)来看,各列表的索引的值(refldxLO的值和refldxLl的值)越增加，由索引的值确定的图片离解码对象图片越远。
[0076]特别是，在表示第2个参照的RefPicListl中，在列表的索引的较小值的部分，按照以 CurrPic 图片 302 之后(greater than PicOrderCnt (CurrPic)的图片(对于已解码且保持在存储器中的图片)降序设定的规则保持索引(将其称为Rulel)。按照该Rulel，由RefPicListl [0]确定的图片成为图中以虚线圆示出的picNum303。
[0077]如上述那样，在说明书和附图中，如果没有特别说明，将第I个参照图片列表省略为RefPicLi StO，将该列表中的索引省略为refldxLO。将第2个参照图片列表省略为RefPicLis11，将该列表中的索引省略为refldxLl (详细情况请参照图中的说明及非专利文献 I 的 8.2.4.2.3 节 8.2.4Decoding process for reference picture listsconstruction)。[0078]接下来,依次说明H.264的(T)时间直接模式(temporal mode)及(S)空间直接模式(special direct mode)。
[0079]图4是说明在(T)的时间直接模式(temporal mode)中利用的信息的图。
[0080]图中阴影所示的块是“(虽然时间上不同)在空间上位于同一位置的co_located块(Col_Blk)”。时间位置由图3中说明的第2个参照列表IRefPicListl的索引的值“O”确定而成为图片303。在基于前述的Rulel初始化的RefPicListl列表中，除了参照存储器中在时间上不存在后方的图片等特别情况之外，索引值“O”所示的图片(RefPicListl [0]的值)成为参照存储器中存在的显示时间上最接近的后方的图片。
[0081]接着，时间直接模式使用以阴影表示的Col_Blk的“运动数据”导出以黑方块表示的解码对象块Curr_Blk的运动矢量mvLO、mvLl。运动数据中包含以下信息。
[0082](i) Col_Blk 所参照的参照图片 refldxLO [refidx]。
[0083]Col_Blk 作为参照图片，参照图片 picNum301 (RefPicListO [I]的值)。
[0084](ii)与参照图片有关的运动矢量mvLOCol。
[0085]在图中，图片picNum301中的虚线箭头是在Col_Blk的解码时使用的第I个运动矢量 mvLOCol。
[0086]以下，在说明书和附图中，虚线箭头表示运动矢量。运动矢量mvLOCol是表示在Col_Blk的解码时使用的col_Blk的预测图像的运动矢量。
[0087]图5A及图5B是说明时间直接模式(temporal mode)中的缩放处理的图。
[0088]缩放处理是将运动矢量mvLOCol的值以与参照图片的距离之差的比进行缩放，从而导出解码对象块Curr_Blk的运动矢量mvLO和运动矢量mvLl的处理。
[0089]图5A是将图1?4的参照构造、co-located块、运动矢量mvLOCol简化说明的图。
[0090]图5B是说明缩放处理的概念的图。
[0091]缩放处理简单地说，可以认为是图5B所示那样的三角形DEF与三角形ABC的相似。
[0092]三角形DEF是与Col_Blk有关的三角形。
[0093]点D是Col_Blk的位置。点E是Col_Blk所参照的图片的位置。点F是以点E为基点的运动矢量mvLOCol所指示的坐标。
[0094]三角形ABC是与Curr_Blk有关的三角形。
[0095]点A是作为解码对象的块Curr_Blk的位置。点B是该块Curr_Blk所参照的图片的位置。点C是将要导出的矢量所指示的坐标。
[0096]首先，在STEPl 中导出 ScaleFactor, ScaleFactor 是(I)从 Curr_Blk 到 Curr_Blk所参照的图片的相对距离(tb)与(2)从Col_Blk到Col_Blk所参照的图片的相对距离(tx)的比。例如，在该图中，ScaleFactor 是 tb = 302 — 301 = I 与 tx = 303 — 301 = 2 的比(tb/tx),0.5 (1/2)为缩放比(相似比为1:2)。这相当于三角形ABC与三角形DEF的相似比为1/2。
[0097]ScaleFactor = tb/tx = (302 — 301) / (303 — 301)
[0098]= 1/2...(STEPl)
[0099]在STEP2中，将以原先给出的边EF为长度的矢量EF乘以所得到的缩放比，求得矢量BC。该矢量BC是第I个矢量(mvLO)。[0100]mvLO = ScaleFactorXmvLOCol...(STEP2)
[0101]在STEP3中，使用在STEP2中导出的mvLO和使方向反转的mvLOCo I，导出作为导出对象的另I个矢量mvLl。
[0102]mvLl = mvLO — mvLOCol...(STEP3)
[0103]图6 是通过与非专利文献 I 的 8.4.L 2.3 节 Derivation process for temporaldirect luma motion vector and reference index prediction mode 中记载的导出式的关系来示出步骤STEPl?3的图。
[0104]图7是说明2个直接模式中的另一方的(S)空间直接模式(special direct mode)的图。
[0105]在该模式中，对于与解码对象块(Curr_Blk)中包含的运动补偿单位块邻接的块N(例如邻接块A、邻接块B、邻接块C)，取得与前述的运动矢量有关的数据(运动数据)(在此指的是(运动矢量mvLXN、参照索引refldxLXN)的值的组。以下相同)。
[0106]在与运动矢量有关的数据(以下也称为运动数据)中，将具备包含参照索引(refldxLXN)的值最小的“O”的自然数(minPositive值)的块的运动数据(refIdxL0、Ll和与其对应的mvL0、mvLl)直接使用(非专利文献8-186,187式)。具体地说,通过以下的计算分别导出refldxLO和LI。
[0107]refldxLO = MinPositive (refIdxLOA, MinPositive (refIdxLOB, refIdxLOC))(8-186)
[0108]refldxLl = MinPositive (refIdxLlA, MinPositive (refIdxLlB, refIdxLlC))(8-187)
[0109]在该空间直接模式中，对于运动矢量mvLO或mvLl，为了将包含从同一图片到参照图片的距离(refIdxL0、Ll)的“motiondata”成组地利用，参照邻接块所利用的参照图片即可，原则上不需要像时间直接模式那样对mvLO或mvLl进行缩放。
[0110]如以上那样，对于(T)时间直接模式,在使用ScaleFactor (DistScaleFactor)的运动矢量mvLO的导出中，需要将ScaleFactor与mvLOCol相乘的计算。因此，例如将在解码侧处理的运动矢量的大小的范围限制为能够以某比特精度表示的范围的情况下，在编码侧需要控制运动矢量的生成，以使时间直接的相乘后的运动矢量的大小收敛在上述范围内，编码侧的处理负荷增加。
[0111]此外，在以往的H.264中，使用(T)时间直接模式还是使用(S)空间直接的切换，以切片为单位仅能进行I次。
[0112]在HEVC中，比起H.264中的切片单位的空间直接模式及时间直接模式，正在研究能够实现灵活的运动矢量的导出方法的指定的、被称为合并模式的模式。通过与该新的HEVC的合并模式的组合，在限制上述运动矢量的大小的范围的情况下，期望削减处理负荷与保持编码效率之间的适当的平衡。
[0113]在此，本发明的一个方式的运动图像编码方法，是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤:追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0114]由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以某比特精度表示的范围内。
[0115]此外，也可以是，在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述对应块的运动矢量追加到所述列表。
[0116]此外，也可以是，在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
[0117]此外，也可以是，所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片，在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表，在所述选择步骤中，从所述合并候选列表选择为了进行所述编码对象块的编码而使用的运动矢量及确定信息，在所述编码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息来生成所述编码对象块的预测图像，从而对所述编码对象块进行编码。
[0118]此外，也可以是，所述列表是预测运动矢量候选列表，在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围内，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表中，在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述编码对象块的编码而使用的预测运动矢量，在所述编码步骤中，进行包含如下的编码的所述编码对象块的编码:使用在所述选择步骤中选择的所述预测运动矢量，对所述编码对象块的运动矢量进行编码。
[0119]此外，在所述追加步骤中，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表中。
[0120]此外，也可以是，所述规定的大小的范围由运动矢量的比特精度决定，所述比特精度使用由简表(profile)或级别(level)规定的值、或者向头附加的值。
[0121]此外，本发明的一个方式的运动图像解码方法，是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤:追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0122]由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够由某比特精度表示的范围内。
[0123]此外，也可以是，在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量追加到所述列表中。
[0124]此外，也可以是，所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
[0125]此外，也可以是，所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片，在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表，在所述选择步骤中，从所述合并候选列表选择为了进行所述解码对象块的解码而使用的运动矢量及确定信息，在所述解码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息，生成所述解码对象块的预测图像，从而对所述解码对象块进行解码。
[0126]此外，也可以是，所述列表是预测运动矢量候选列表，在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表，在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述解码对象块的解码而使用的预测运动矢量，在所述解码步骤中，进行包括如下解码在内的所述解码对象块的解码:使用在所述选择步骤中选择的所述预测运动矢量，对所述解码对象块的运动矢量进行解码。
[0127]此外，也可以是，在所述追加步骤中，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表中。
[0128]此外，也可以是，所述规定的大小的范围由运动矢量的比特精度决定，所述比特精度使用由简表或级别规定的值、或者向头附加的值。
[0129]另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
[0130]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0131]另外，以下说明的实施方式都只是整体或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等只是一例，不意图限定本发明。此外，以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素来说明。
[0132](实施方式I)
[0133]图8是表示实施方式I的运动图像编码装置的构成的框图。
[0134]如图8所示，运动图像编码装置100主要具备:差分部101、变换部102、量化部103、熵编码部110、逆量化部104、逆变换部105、加法部106、存储器109、帧内/帧间预测部107、以及编码控制部108。[0135]差分部101输出残差信号，该残差信号是输入图像信号与预测图像信号的差分。
[0136]变换部102对残差信号进行从图像区域向频率区域的变换。量化部103对变换为频率区域的残差信号进行量化处理，输出已量化残差信号。
[0137]熵编码部110对已量化残差信号及解码控制信号进行熵编码，输出已编码比特流。
[0138]逆量化部104对已量化残差信号进行逆量化处理。逆变换部105对逆量化处理后的残差信号进行从频率区域向图像区域的变换，输出已复原残差信号。
[0139]加法部106将已复原残差信号和预测图像信号相加，成为解码图像信号。
[0140]帧内/帧间预测部107将解码图像信号以帧或块等规定的单位保存到存储器109中，并且接受编码控制部108的指示，生成向差分部101及加法部106供给的预测图像信号(基于解码图像信号和运动矢量导出的像素值)并输出。
[0141]此外，帧内/帧间预测部107导出在编码.解码过程中以合并模式利用的运动矢量的候选列表、即合并候选列表(mergeCandList)。这时,巾贞内/巾贞间预测部107对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向合并候选列表选择性地追加对应块的运动矢量。此外，帧内/帧间预测部107通过对时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定第2运动矢量是否包含在规定的大小的范围内，如果第2运动矢量包含在规定的大小的范围内，则将第2运动矢量作为对应块的运动矢量追加到合并候选列表。此外，帧内/帧间预测部107从合并候选列表选择为了进行编码对象块的编码而使用的运动矢量。即，本实施方式的缩放处理主要在帧内/帧间预测部107中执行。另外，在本实施方式的运动图像编码装置100中，追加部及选择部相当于帧内/帧间预测部107。此外，在本实施方式的运动图像编码装置100中，编码部相当于差分部101、变换部102、量化部103、以及熵编码部110等。
[0142]编码控制部108决定图中的各处理部，并且在试验的基础上决定将图片以怎样的控制参数进行编码(该控制参数与解码控制信号对应)，特别是提供给帧内/帧间预测部107。试验例如通过以缩短图中的虚线所示的已编码比特流的比特长为目的的函数等来进行，决定为了进行某图像数据的编码的控制参数(例如帧间预测、帧内预测的区别等)并输出。输出信号中的运动矢量索引留待后述。
[0143]编码控制部108在前述试验的结果为良好的情况下，为了将使用了本实施方式的缩放处理的情况作为值来表示，决定后述的合并索引(mergejdx)并包含在解码控制信号中输出。此外，这种情况下的已量化残差信号成为通过使用本实施方式的缩放方法生成的预测图像信号而导出的值。
[0144]图9是说明实施方式I的运动图像编码装置中的动作的流程图。
[0145]在此，说明在判定为编码控制部108对编码对象块进行(I)帧间编码(M0DE_INTER)、并且利用(2)合并模式(MergeMODE)(或者得到利用合并模式时的结果)的情况下的合并模式编码动作。
[0146]HEVC的合并模式在概念上与通过H.264导入的直接模式相同。关于运动矢量的导出，不是与H.264的直接模式同样地利用码串，而是在空间(S)或时间(T)上利用其他块的
运动矢量。[0147]与H.264的直接模式相比，具有以下的主要区别。
[0148](a)处理单位:能够通过比切片单位更细致的PreduicitionUnit (PU)单位的merge_flag来切换是否利用合并模式。
[0149](b)选择单位:不是2中择I地指定利用(S)空间直接还是利用(T)时间直接，而是能够从更多的候选值通过mergejdx来指定。具体地说，导出在编码.解码过程中以合并模式利用的运动矢量的候选列表、即合并候选列表(mergeCandList)。通过从该列表中的码串指定的索引的值(merge」dx的值),确定使用哪个运动矢量候选。
[0150]合并模式的处理开始后，编码控制部108将mergejdx的值及i的值设置为“O”(步骤S101)。在此，i是用于区别候选的方便起见的候选编号。
[0151]帧内/帧间预测部107对候选块[I…N]设定以下2个类型的块(步骤S102)。在此，设N = 6。
[0152](S)候选块[L...(N-1)]是用于空间直接的I个以上的候选，通过候选块的位置来区别[I…5]。
[0153](t)候选块[N]是用于时间直接的候选。追加(append)到空间直接的情况的入口值“6”相当于CoJocated块的索引。使用图10在后面说明。
[0154]步骤S103以后是如下的循环:编码控制部108将确定候选的编号i增量(步骤S103),决定输出精度高的目的函数的运动矢量导出模式。
[0155]帧内/帧间预测部107判定候选块[i]是否能够在存储器上利用(available,可)(步骤S104)。例如，对于位于编码对象块的下方向的块等、不是已编码(解码)的块(未保持在存储器中的块)，判定为无法利用。
[0156]判定的结果为无法利用的情况下(在步骤S104中为“否”:not available,不可)，将merge_idx的值保持为当前的值,并转移到下一候选i (回到步骤S103)。
[0157]判定的结果为能够利用的情况下(步骤S104中为“是” available，可)，进入下一步骤。
[0158]帧内/帧间预测部107判定候选块[i]的运动数据(mvLO, mvLl, refldxLO,refldxLl的组，以下相同)是否与过去的候选块[I…(i 一 I)]的已试验的运动数据(mvLO,refldxLO，mvLl，refldxLl)重复(步骤S105)。该判定使用图12在后面说明。
[0159]判定的结果为重复的情况下(步骤S105中为“是”:duplicated),将merge_idx的值保持当前的值，并且转移到下一候选i (返回步骤S103)。
[0160]判定的结果为不重复、即新的运动数据的情况下(在步骤S105中为“否”:notduplicated)，进入下一步骤。另外，通过能否利用的判定处理(步骤S104)和是否重复的判定处理(步骤S105)所得到的,是关于运动矢量的合并候选列表(mergeCandLis),使用图11在后面说明。
[0161]接着,帧内/帧间预测部107取得或导出候选块[i]的运动数据(mvLO,refldxLO,mvLl,refldxLl)(步骤S106)。在此,候选块[i]是以时间直接为前提的Colocated块的情况下，使用图14进行后述的缩放处理。
[0162]另外，在本实施方式中，在步骤S106中，候选块[i]是以时间直接为前提的Colocated块的情况下，使用图14进行后述的缩放处理，但是不限于此。例如也可以想到，在步骤S102中，将Colocated块追加到候选块时，预先使用图14取得实施了后述的缩放处理的运动数据(mvLO, refldxLO, mvLl, refIdxLl),在步骤S105中，将与过去的候选块重复的运动数据不追加到候选块中(图17)。由此，能够将重复的运动数据更多地从候选块省去，能够削减处理及改善编码效率。
[0163]使用决定的运动数据，在编码控制部108的控制下，使用编码装置整体试验帧间编码(步骤S107)。编码控制部108例如得到熵编码部110的输出结果的比特流[i]。
[0164]编码控制部108例如根据着眼于比特流长(压缩效率)或处理延迟等的目的，判定当前的候选[i]的结果是否比过去的候选[I…(1- O]的结果更优越(是否示出规定的目的函数的最大值(或最小值))(步骤S108)。
[0165]该判定的结果，比过去的候选[I…(i 一 I)]的结果优越的情况下(步骤S108为“是”:better candidate),将当前时点的merge_idx的值作为实际在编码.解码中预定使用的mergejdx的编号保持(步骤S109)。简单地说，是将输出了更符合目的的结果的情况的有效入口编号merge_idx预先存储为dummy_merge_idx的变量的处理。
[0166]帧内/帧间预测部107设本次的候选i作为入口编号是有效的，并转移到下一入口，因此将mergejdx的值增量(步骤SI 10)。
[0167]编码控制部108判定是否对全部候选块进行了试验(步骤S111)。
[0168]判定的结果为对全部块完成了处理(作为在步骤S102中设定的最后的候选块[N]的、(t)时间直接用的cojocated块中的试验已进行)的情况下(步骤Slll为“是”)，进入
下一步骤。
[0169]判定的结果为仍残留有候选块的情况下(步骤Slll中为“否”)，使候选编号i增加，并进行下一候选的试验。
[0170]将输出了规定的目的函数的最大值(或最小值)的du_y_merge_idx决定为作为实际向编码列输出的索引编号的合并索引(mergejdx)(步骤S112)。
[0171]以上是利用合并模式的情况的编码动作。
[0172]图10是说明在步骤S102中由帧内/帧间预测部107设定的合并候选块[Ρ..6]的图。
[0173]候选块包括(S)在空间上邻接的I个以上的块(图中(S)邻接空间块[L...(N —O]和(t)在时间上邻接的I个块(图中(t) Co_located块[N]。
[0174]合并候选列表中的merge_idx的索引值较小的、换言之最初列举的候选入口(或多个入口)是空间上邻接的块。空间上邻接指的是，在图中的(SI)水平方向或(S2)垂直方向的某一个邻接。
[0175]另外，邻接这一概念的单位是应用同一运动矢量的运动数据的单位、即PU。即，是否是与包含编码对象块Curr_Blk的CurrentPU邻接的PU。在图中，块BO~B2是在垂直方向上邻接的块的例子，包含各个块的I3U成为邻接的PU，利用其运动数据(mvLO，refldxLO,mvLl, refldxLl)。在图中，块A0、Al...是在水平方向上邻接的块的例子。
[0176]在合并候选列表的末尾，merge_idx的索引值最大、换言之最后入口的候选入口是在时间方向上邻接的块。在该图中，是由Current块的参照图片列表LI (没有的情况下，为L0)的索引值O指定的图片中存在的CoJocated块。
[0177]图11是说明通过步骤S103以后的处理生成的合并候选列表(mergeCandList)的概念的图。图中左侧的i (I…6)相当于步骤S103等的候选编号i。[0178]i = [Ρ..5]的入口对应于(s)空间上邻接的I个以上的块(图10的AO…B2)。i=6的入口对应于(t)时间上邻接的I个块(图10 (t) Co_located块[N]。
[0179]候选1...6中的有效的入口编号是merge_idx。在图中，i = 3、5表示是Duplicatedmotion vectors。这表示,在步骤S105中，帧内/帧间预测部107是被判定为候选块[i]的运动数据(mvL0、mvLl, refldxLO, refldxLl的组，以下相同)与过去的候选块[I…(i —O]的已试验的运动数据(mvLO, refldxLO, mvLl, refldxLl)重复的入口。
[0180]图12是表示在步骤105的重复判定中判定为重复的例子的图。是说明运动数据是候选之上的入口的值重复的运动数据的情况的说明的图。
[0181]相对于CurrentPU在上方向BI的位置邻接的块的运动数据实际上对于包含BO及BN的I个PU定义I个的情况下，与候选编号3或5对应的BO及BN的块的运动数据的值成为重复的运动数据，从列表删除入口。因此，如图11所示，mergeCandList能够成为将merge_idx的最大值压缩为“2”的列表。
[0182]图13是说明在步骤S106中执行的、取得合并候选块[i]的运动数据(mvLO，refldxLO, mvLl, refldxLl)的处理的流程图。
[0183]处理开始后，编码控制部108判定邻接块[i]的邻接方向(步骤S201)。
[0184]判定的结果,邻接方向为空间方向(在图11的表中，i为I...5的值)的情况下,将包含有候选块[i]的PU的 运动数据直接决定为编码对象块的运动数据(步骤S202)。
[0185]判定的结果，邻接方向为时间方向(在图11的表中，i为6)的情况下，将作为候选块[6]的colocateBlok (Col_Blk)的mvLOCol通过基于乘法的时间直接缩放处理进行缩放(步骤S203)。
[0186]使用图14说明该缩放处理。
[0187]图14是说明步骤S203的缩放处理的流程图。
[0188]首先，帧内/帧间预测部107如图6的STEP I的算式所示，使用编码对象图片currPicOrField、编码对象块所参照的参照图片picO、包含有co-located块的图片picl、以及co-located块所参照的参照图片picO的显示顺序的值,计算DistScaleFactor(步骤S301)。然后，帧内/帧间预测部107如图6的STEP2的算式所示，通过将co-located块的运动矢量mvCol与DistScaleFactor相乘,计算运动矢量mvLO (步骤S302)。接着，帧内/帧间预测部107判定所计算出的运动矢量mvLO的水平成分及垂直成分的大小是否收敛在能够以某比特精度表示的大小的范围内(步骤S303)。该判定的结果，收敛在范围内的情况下(步骤S303为“是”)，帧内/帧间预测部107作为具备所计算出的运动矢量mvLO的合并块候选追加到合并候选列表mergeCandList (步骤S304)。另一方面,未收敛在范围内的情况下(步骤S303中为“否”)，帧内/帧间预测部107将从co-located块计算的合并块候选作为“不可”，不追加到合并候选列表mergeCandList中(步骤S305)。
[0189]这样，缩放处理后的运动矢量的值超过能够以某比特精度表示的值的范围的情况下，不将具备该运动矢量的合并块候选追加到合并候选列表，由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以某比特精度表示的范围内。例如，作为某比特精度，假定为16bit时，缩放处理后的运动矢量mvLO的水平成分或垂直成分的值不满足一 32768以上+ 32767以下的情况下，不将具备运动矢量mvLO的合并块候选追加到合并候选列表。由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以16bit精度表示的范围内。
[0190]另外，在本实施方式中，举出了运动矢量的水平成分、垂直成分都收敛在16bit精度的例子，但是不限于此。例如，想要将水平成分收敛在16bit精度、将垂直成分收敛在14bit精度的情况下，也可以构成为，判定缩放处理后的运动矢量mvLO的水平成分的值是否为一 32768以上+ 32767以下、运动矢量mvLO的垂直成分的值是否为一 8192以上8191以下，不满足其中某一个的情况下，不将具备运动矢量mvLO的合并块候选追加到合并候选列表。由此，能够将运动矢量的大小的范围分别按水平成分和垂直成分限制在一定范围以内。
[0191]此外，在本实施方式中，作为通过缩放计算而计算的运动矢量的例子，示出了使用参照图片列表LO的运动矢量mvLO的例子，但是不限于此，在计算参照图片列表LI的运动矢量mvLl的情况下也能够应用。
[0192]此外，在本实施方式中，在步骤S302中将co-located块的运动矢量mvCol与DistScaleFactor相乘而计算mvLO,在mvLO的水平成分或垂直成分的某一个超过了能够以某比特精度表示的范围的情况下，不将从co-located块计算的合并块候选追加到合并候选列表，但是不限于此，例如，co-located块为2方向预测的情况下等，也可以构成为，对mvCol设置co-located块所具备的另一方的运动矢量,通过从步骤S302到步骤S305的处理，计算合并块候选。由此，能够抑制从co-located块计算的合并块候选的减少,能够提高编码效率。
[0193]此外，在本实施方式中，在步骤S305中，运动矢量mvLO的水平成分或垂直成分的某一个超过了能够以某比特精度表示的范围的情况下，不将从co-located块计算的合并块候选追加到合并候选列表，但是不限于此。例如也可以是，如图15的步骤S401所示，将运动矢量mvLO的水平成分或垂直成分的值缩减(clip)为能够以某比特精度表示的大小，作为具备缩减后的运动矢量的合并块候选追加到合并候选列表。例如也可以是，作为某比特精度假定了 16bit精度的情况下，缩放处理后的运动矢量的水平成分的值超过+ 32767的情况下，作为缩减后的运动矢量的水平成分使用+ 32767，计算合并块候选。此外，例如也可以是，缩放处理后的运动矢量的水平成分的值低于一 32768的情况下，作为缩减后的运动矢量的水平成分使用一 32768来计算合并块候选。
[0194]此外，在本实施方式中，示出了固定为某比特精度而限制运动矢量的大小的例子，但是不限于此。例如也可以是，向序列参数组(SPS)、图片参数组(PPS)及切片头等的头部附加限制运动矢量的大小的标志及其比特精度，以序列、图片及切片单位切换运动矢量的限制值。此外，也可以通过简表或级别等设定运动矢量的比特精度，根据简表或级别来切换运动矢量的限制值。
[0195]接着，说明从通过本实施方式I的运动图像编码装置编码的比特流将运动图像复原的运动图像解码装置。
[0196]图16是表示本实施方式I的运动图像解码装置的构成的框图。
[0197]运动图像解码装置200将输入的已编码比特流解码，将缓存到存储器(解码图片存储器)中的已解码图像信号以规定的定时按显示顺序输出。
[0198]如图16所示，运动图像解码装置200主要具备:熵解码部201、逆量化部202、逆变换部203、加法部204、存储器207、帧内/帧间预测部205、以及解码控制部206。同一名称的各部的功能与图8所示的运动图像编码装置内的各处理部对应。
[0199]熵解码部201对输入的已编码比特流进行熵解码处理，输出已量化残差信号及解码控制信号等。
[0200]逆量化部202对通过熵解码处理得到的已量化残差信号进行逆量化处理。逆变换部203对通过逆量化处理得到的已量化残差信号进行从频率区域向图像区域的变换，输出已复原残差信号。
[0201]加法部204将已复原残差信号和预测图像信号相加，成为解码图像信号。
[0202]帧内/帧间预测部205将解码图像信号以帧或块等规定的单位保存到存储器207中，并接受解码控制部206的指示，生成向加法部204供给的预测图像信号(基于解码图像信号和运动矢量导出的像素值)并输出。
[0203]与运动图像编码装置100同样，本实施方式的缩放处理在帧内/帧间预测部205中执行。另外，在本实施方式的运动图像解码装置200中，追加部及选择部相当于帧内/帧间预测部205。此外，在本实施方式的运动图像解码装置200中，解码部相当于熵解码部201、逆量化部202、逆变换部203、及加法部204等。
[0204]解码控制部206从由熵解码部201解析的解码控制信息，得到图中的各处理部、以及将图片以怎样的控制参数进行解码。在编码比特流中的解码控制信息中，包含在图9的步骤S112中决定的合并索引(merge_idx)。
[0205]图17是说明实施方式I的运动图像解码装置中的动作的流程图。
[0206]在此，说明解码控制部206根据解码控制信号的信息判定为“解码对象块(Curr_Blk)(或包含有解码对象块的预测单位I3U块)是被帧间编码的块(M0DE_INTER)、并且利用MergeMODE的情况的动作。
[0207]此外，帧内/帧间预测部205在本地生成图11中说明的合并候选列表(mergeCandList)。本地指的是,帧内/帧间预测部205通过与运动图像编码装置100的动作同样的方法，与来自编码比特流的信息无关地生成该列表。
[0208]图中的i = I…6与图11的定义相同。
[0209]帧内/帧间预测部205对候选块编号i = I...6分别进行步骤S501~步骤S505的处理。帧内/帧间预测部205判定候选块编号i (步骤S501)。候选块编号i = L...5的情况下，帧内/帧间预测部205对于空间邻接块取得运动数据(步骤S502)。
[0210]候选块编号i = 6的情况下,帧内/帧间预测部205使用colocated块的运动数据，通过与图13的步骤S203同样的方法进行缩放处理(步骤S503)。
[0211]接着，帧内/帧间预测部205判定由步骤S502或步骤S504得到的运动数据的值是否与mergeCandList中的上位的入口的数据重复(步骤S504)。
[0212]判定的结果为重复的情况下(步骤S504为“是”)，进入下一候选块编号i。
[0213]判定的结果为不重复的情况下(步骤S504中为“否”)，帧内/帧间预测部205在合并候选列表(mergeCandList)的末尾追加运动数据(步骤S505)。
[0214]这样,通过步骤S501~步骤S505,初始化生成合并候选列表(mergeCandList)。
[0215]接着，帧内/帧间预测部205在满足规定的条件的情况下，进行合并候选列表(mergeCandList)的更新处理(步骤S506)。例如,更新处理如图18所示,按照与编码侧默认地(implicit)共用的规则。图18 (a)是表示初始化生成的合并候选列表(mergeCandList)的图，图18 (b)是表示更新处理后的合并候选列表(mergeCandList)的图。在图18 (b)所示的例中，合并索引(merge_idx)的值将“O”的候选(mvLO_A, ref O)和“ I ”的候选(mvLl_B,refO)组合，生成合并索引(merge_idx)的值为 “2” 的候选(mvL0_A, refO, mvLl_B, refO)。
[0216]以下使用该列表进行运动矢量mvLO、mvLl的合并模式选择处理。
[0217]通过熵解码部201对merge_Idx进行熵解码,巾贞内/巾贞间预测部205接受该merge_Idx的值(步骤S507)。
[0218]巾贞内/巾贞间预测部205从合并候选列表的候选选择I个在由merge_Idx的值确定的合并模式下利用的运动数据运动数据(步骤S508)。
[0219]最后，取得所选择的运动数据motion data (mvLO, refldxLO, mvLl, refldxLl)中的运动矢量mvL0、mvLl所示的位置的像素数据(pixelsLO和pixelsLl),使用这些像素数据导出预测图像信号(步骤S509 )。
[0220]这样，缩放处理后的运动矢量的值超过了能够以某比特精度表示的值的范围的情况下，不将具备该运动矢量的合并块候选追加到合并候选列表，由此，能够将在编码侧及解码侧处理的运动矢量的大小的范围始终限制在能够以某比特精度表示的范围内。
[0221]另外，在本实施方式中，在图14的步骤S302中的缩放处理后，判定所计算出的运动矢量是否为能够以某比特精度表示的大小的范围内，但是不限于此。例如也可以是，在图17的步骤S508中，判定通过mergejdx选择的运动矢量mvLO是否为能够以某比特精度表示的范围，如果在该范围外吗，则进行缩减以收敛在范围内。
[0222]此外，在本实施方式中，示出了使用非专利文献2中研究的HEVC的合并模式，将缩放处理后的运动矢量的大小的范围限制在能够以某比特精度表示的范围，但是同样地，对于计算非专利文献2中研究的HEVC的AMVP的预测运动矢量候选的方式也能够应用。
[0223]图19A是说明非专利文献2的HEVC中的运动预测矢量mvpLX的图，图19B是说明运动预测矢量mvpLX的候选列表mvpListLX CmvpListLO和mvpListLl)的图。
[0224]如图19A所示,运动预测矢量mvpLX为了求出与通过运动检测导出的运动矢量mvLX的差分、即运动差分矢量mvdLX而使用。然后,对该运动差分矢量mvdLX进行编码。图19B中mvp_idx_10的值与编码后的(在解码侧提取)mvp_idx_lX的值对应。由该索引的值(O, I, 2)决定的mvpListLXN[mvp_idx_lX]的运动数据成为运动预测矢量mvp (predictor)。图中的N表示在空间上或时间上将哪个位置的块的运动矢量的值作为运动矢量的预测值使用。
[0225]图20是说明基于图19B所示的N的值(A、B、Col)的预测候选块群或预测候选块的图。图中涂黑的块是编码(解码)对象块CurrBlk。是图片编号picNum302中的块。图中施加阴影的块是虽然位于与解码对象块Curr_Blk (或包含有该块的预测单位块)大致相同的空间坐标位置(X，y )、但是存在于PicNum不同(时间不同)的图片的所谓Co_located块(Col_Blk)。在该例中，Col_Blk位于与picNum302不同的picNum303。在HEVC中，将这些位置 A，B, Col 的位置的块 N_Blk (A_Blk，B_Blk，Col_Blk)的运动矢量 mvLOA，mvLOB,mvLOCol或(mvLlA, mvLIB, mvLlCol)与被称为DiscScaleFactor的比率相乘，从而作为运动预测矢量mvpLO, mvpLl而用于预测候选。
[0226]在本实施方式中，这时，判定通过相乘计算出的预测运动矢量是否收敛在能够以某比特精度表示的范围，如果未收敛在该范围内，则不追加到预测运动矢量候选的列表。由此，能够将根据预测运动矢量或编码对象块的运动矢量和预测运动矢量计算出的差分运动矢量的大小的范围收敛在能够以某比特精度表示的范围内。另外，也可以是，如果通过相乘计算出的预测运动矢量未收敛在能够以某比特精度表示的范围内，则将进行了缩减以收敛在该范围内的预测运动矢量追加到预测运动矢量候选的列表。
[0227]以上基于实施方式说明了本发明的I个或多个方式的运动图像编码装置及运动图像解码装置，但是本发明不限于该实施方式。只要不脱离本发明的主旨，对本实施方式施加了本领域技术人员能够想到的各种变形而得到的方式、以及将不同实施方式中的构成要素组合而构造的方式，也包含在本发明的I个或多个方式的范围内。
[0228]另外，在上述各实施方式中，各构成要素由专用的硬件构成，或者也可以通过执行适于各构成要素的软件程序来实现。各构成要素可以通过由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此，实现上述各实施方式的运动图像编码装置或运动图像解码装置等的软件是如下的程序。
[0229]S卩，该程序使计算机执行运动图像编码方法，该运动图像编码方法是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤:追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0230]或者，该程序使计算机执行运动图像解码方法，该运动图像解码方法是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤:追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量；选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码；在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
[0231](实施方式2)
[0232]通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0233]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0234]图21是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0235]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl07 ?exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。
[0236]但是，内容供给系统exlOO并不限定于图21那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl07?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0237]照相机exll3是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。
[0238]在内容供给系统exlOO中，通过将照相机exll3等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0239]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0240]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0241]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。[0242]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0243]另外，并不限定于内容供给系统exlOO的例子，如图22所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0244]此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0245]图23是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0246]此外，电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机eX300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0247]首先，对电视机eX300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0248]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0249]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
[0250]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图24中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0251]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
[0252]在图25中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0253]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0254]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图23所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0255]图26A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
[0256]进而，使用图26B对便携电话exl 14的结构例进行说明。便携电话exl 14对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
[0257]电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0258]便携电话exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
[0259]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o
[0260]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
[0261]复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
[0262]在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
[0263]此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
[0264]这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
[0265]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
[0266](实施方式3)
[0267]也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG - 2、MPEG4-AVC、VC — I等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。[0268]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0269]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0270]图27是表示复用数据的结构的图。如图27所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG - 2、MPEG4-AVC、VC — I等标准的运动图像编码方法或装置编码。音频流由杜比AC —
3,Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。
[0271 ] 包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011， 对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0272]图28是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0273]图29更详细地表示在PES包序列中怎样保存视频流。图29的第I段表示视频流的视频帧序列。第2段表示PES包序列。如图29的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp)?
[0274]图30表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图30下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。
[0275]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0276]图31是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
[0277]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0278]复用数据信息文件如图32所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
[0279]复用数据信息如图32所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0280]流属性信息如图33所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
[0281]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0282]此外，在图34中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此夕卜，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4-AVC、VC — I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
[0283]这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
[0284](实施方式4)
[0285]在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图35中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0286]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0287]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0288]此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0289]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0290]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0291]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0292](实施方式5)[0293]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4-AVC、VC — I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0294]为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图36表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0295]更具体地讲，驱动频率切换部ex803由图35的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图35的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图38所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0296]图37表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4-AVC、VC — I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0297]进而，通过与驱动频率的切换连动而变更对LSIeX500或包括LSIeX500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。[0298]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0299]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4-AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4_AVC、VC — I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4-AVC、VC — I等的标准的影像数据的情况相比，将停止时间设定得短。
[0300]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0301](实施方式6)
[0302]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0303]为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4-AVC、VC — I等的标准的解码处理部一部分共用的结构。图39A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4-AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4-AVC标准的解码处理部ex902，关于不对应于MPEG4-AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4-AVC标准所特有的处理内容，使用专用的解码处理部。
[0304]此外,用图39B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0305]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0306]工业实用性
[0307]本发明的运动图像编码方法及运动图像解码方法能够应用于所谓的多媒体数据，在限制运动矢量的大小的范围的情况下，能够削减处理负荷并且保持编码效率，例如作为使用便携电话、DVD装置、及个人计算机等的储存、传送、通信等中的运动图像编码方法及运动图像解码方法是有用的。
[0308]符号的说明
[0309]100运动图像编码装置
[0310]101差分部
[0311]102变换部
[0312]103量化部
[0313]104、202 逆量化部
[0314]105,203 逆变换部
[0315]106、204 加法部
[0316]107、205帧内/帧间预测部
[0317]108编码控制部
[0318]109、207 存储器
[0319]110熵编码部
[0320]200运动图像解码装置
[0321]201熵解码部
[0322]206解码控制部
【权利要求】
1.一种运动图像编码方法，是将多个图片按每个块进行编码的运动图像编码方法，包括以下步骤: 追加步骤，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量； 选择步骤，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及 编码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述编码对象块进行编码； 在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
2.如权利要求1所述的运动图像编码方法， 在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述对应块的运动矢量追加到所述列表。
3.如权利要求1所述的运动图像编码方法， 在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
4.如权利要求1~3中任一项所述的运动图像编码方法， 所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片， 在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表， 在所述选择步骤中，从所述合并候选列表选择为了进行所述编码对象块的编码而使用的运动矢量及确定信息， 在所述编码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息来生成所述编码对象块的预测图像，从而对所述编码对象块进行编码。
5.如权利要求1~3中任一项所述的运动图像编码方法， 所述列表是预测运动矢量候选列表， 在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围内，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表， 在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述编码对象块的编码而使用的预测运动矢量， 在所述编码步骤中，进行包含如下的编码的所述编码对象块的编码:使用在所述选择步骤中选择的所述预测运动矢量，对所述编码对象块的运动矢量进行编码。
6.如权利要求5所述的运动图像编码方法，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表。
7.如权利要求1~6中任一项所述的运动图像编码方法， 所述规定的大小的范围由运动矢量的比特精度决定， 所述比特精度使用由简表或级别规定的值、或者向头附加的值。
8.—种运动图像解码方法，是将多个图片按每个块进行解码的运动图像解码方法，包括以下步骤: 追加步骤，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选 择性地追加所述对应块的运动矢量； 选择步骤，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及 解码步骤，使用在所述选择步骤中选择的所述运动矢量，对所述解码对象块进行解码； 在所述追加步骤中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
9.如权利要求8所述的运动图像解码方法， 在所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则对所述第2运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量追加到所述列表。
10.如权利要求8所述的运动图像解码方法， 所述追加步骤中，如果所述第2运动矢量不包含在所述规定的大小的范围内，则不将所述第2运动矢量追加到所述列表。
11.如权利要求8~10中任一项所述的运动图像解码方法， 所述列表是具有确定信息的合并候选列表，该确定信息用于确定所述对应块的所述运动矢量、以及由所述对应块参照的图片， 在所述追加步骤中，除了所述对应块的所述运动矢量，还将所述确定信息追加到所述合并候选列表， 在所述选择步骤中，从所述合并候选列表选择为了进行所述解码对象块的解码而使用的运动矢量及确定信息， 在所述解码步骤中，使用在所述选择步骤中选择的所述运动矢量及所述确定信息，生成所述解码对象块的预测图像，从而对所述解码对象块进行解码。
12.如权利要求8~10中任一项所述的运动图像解码方法， 所述列表是预测运动矢量候选列表， 在所述追加步骤中，还判定通过对所述空间上邻接的对应块的第3运动矢量进行缩放处理而计算出的第4运动矢量是否包含在规定的大小的范围，如果所述第4运动矢量包含在所述规定的大小的范围内，则将所述第4运动矢量作为预测运动矢量的候选追加到所述预测运动矢量候选列表， 在所述选择步骤中，从所述预测运动矢量候选列表选择为了进行所述解码对象块的解码而使用的预测运动矢量， 在所述解码步骤中，进行包括如下解码在内的所述解码对象块的解码:使用在所述选择步骤中选择的所述预测运动矢量，对所述解码对象块的运动矢量进行解码。
13.如权利要求12所述的运动图像解码方法， 在所述追加步骤中，如果所述第4运动矢量不包含在所述规定的大小的范围内，则对所述第4运动矢量进行缩减以收敛在所述规定的大小的范围内，并将缩减后的运动矢量作为所述预测运动矢量的候选追加到所述预测运动矢量候选列表。
14.如权利要求8~13中任一项所述的运动图像解码方法， 所述规定的大小的范围由运动矢量的比特精度决定， 所述比特精度使用由简表或级别规定的值、或者向头附加的值。
15.一种运动图像编码装置，是将多个图片按每个块进行编码的运动图像编码装置，具备: 追加部，对于包含在编码对象图片中并且与编码对象块在空间上邻接的、或者包含在与所述编码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量； 选择部，从所述列表选择为了进行所述编码对象块的编码而使用的运动矢量；以及 编码部，使用在所述选择部中选择的所述运动矢量，对所述编码对象块进行编码； 在所述追加部中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
16.一种运动图像解码装置，是将多个图片按每个块进行解码的运动图像解码装置，具备: 追加部，对于包含在解码对象图片中并且与解码对象块在空间上邻接的、或者包含在与所述解码对象图片不同的图片中并且在时间上邻接的I个以上的对应块的每一个，向列表选择性地追加所述对应块的运动矢量； 选择部，从所述列表选择为了进行所述解码对象块的解码而使用的运动矢量；以及 解码部，使用在所述选择部中选择的所述运动矢量，对所述解码对象块进行解码； 在所述追加部中，通过对所述时间上邻接的对应块的第I运动矢量进行缩放处理，计算第2运动矢量，判定所计算出的所述第2运动矢量是否包含在规定的大小的范围内，如果所述第2运动矢量包含在所述规定的大小的范围内，则将所述第2运动矢量作为所述对应块的运动矢量追加到所述列表中。
17.—种运动图像编解码装置，具备: 权利要求15所述的运动图像编码装置；以及 权利要求16所述的运动图像解码装置。
【文档编号】H04N19/52GK103650507SQ201280033794
【公开日】2014年3月19日 申请日期:2012年12月11日 优先权日:2011年12月16日
【发明者】杉尾敏康, 西孝启, 柴原阳司, 谷川京子, 笹井寿郎, 松延彻, 寺田健吾 申请人:松下电器产业株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1
- 一种颜色滤波阵列图像的编解码方法、装置和系统的制作方法
- 支持多个层的图像编码和解码方法以及使用该方法的装置的制造方法
- 图像编码设备、图像编码方法和程序、以及图像解码设备、图像解码方法和程序的制作方法
- 使用运动场的图像序列编码/解码的制作方法
- 图像编码方法、图像解码方法、图像编码装置及图像解码装置的制造方法
- 图像编码装置、图像编码方法、图像解码装置和图像解码方法
- 图像预测编码方法及装置、图像预测解码方法及装置的制造方法
- 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序的制作方法
- 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序的制作方法
- 图像编码方法和装置以及图像解码方法和装置的制造方法
- 图像编码、解码方法及装置的制造方法
- 图像块的编码和解码方法、对应的设备和数据流的制作方法
- 编码和解码图像的方法、编码和解码设备、计算机程序的制作方法
- 图像编码装置、图像编码方法和程序、图像解码装置以及图像解码方法和程序的精度信息 ...的制作方法
- 编码/解码图像的方法和使用其的设备的制造方法
- 支持多个层的用于编码/解码图像的方法和设备的制造方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码、解码方法及装置的制造方法
- 图像编码、解码方法及装置的制造方法
- 图像块的编码和解码方法、对应的设备和数据流的制作方法
- 编码和解码图像的方法、编码和解码设备、计算机程序的制作方法
- 图像编码装置、图像编码方法和程序、图像解码装置以及图像解码方法和程序的精度信息 ...的制作方法
- 编码/解码图像的方法和使用其的设备的制造方法
- 支持多个层的用于编码/解码图像的方法和设备的制造方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码、解码方法及装置的制造方法