执行运动矢量预测的方法、编码和解码方法及其装置制造方法

执行运动矢量预测的方法、编码和解码方法及其装置制造方法
【专利摘要】提供了一种为图片中的当前块执行运动矢量预测的方法，所述方法包括：为具有当前运动矢量和当前参考图片的当前块得到用于运动矢量预测值候选的候选列表的运动矢量预测值候选，以及基于候选列表得到运动矢量预测值，其中，所述得到运动矢量预测值候选包括：选择当前块的相邻块或对应位置的块的运动矢量，所述运动矢量具有相关的参考图片，以及基于当前参考图片的类型和/或所述相关的参考图片的类型，决定是否缩放所述运动矢量以产生运动矢量预测值候选，和/或是否将所述运动矢量包括在候选集合表中。另外，提供了一种包括运动矢量预测的编码方法和解码方法，及相应的编码装置和解码装置。
【专利说明】执行运动矢量预测的方法、编码和解码方法及其装置

【技术领域】
[0001]本发明涉及一种执行运动矢量预测的方法，一种包括运动矢量预测的编码方法和解码方法，及其编码和解码装置。本发明可以应用于任何多媒体数据编码中，更具体地，应用于支持用于运动矢量预测处理的不同类型的参考图片的影像(或图像)编码中。

【背景技术】
[0002]诸如HEVC (高效视频编码)、MVC (多视点视频编码)或SVC (可缩放视频编码)之类的最近的视频编码方案支持使用在前编码的参考图片的图片间预测。参考图片的分类可以不同，例如取决于它们的与目标图片的图片顺序计数(POC)距离、用于SVC的观看层和用于3D影像和MVC的观看id。然而，传统编码方案将相同的运动矢量预测应用于所有类型的参考图片，不管其观看id、观看层如何，它们是短期还是长期参考图片。例如，在指向长期参考图片(LTRP)的运动矢量(MV)上执行基于POC的缩放可以导致具有极大或极小量值的缩放的运动矢量。在此情况下，运动矢量预测处理的准确度和效率变为次优的。
[0003]HEVC支持空间运动矢量预测和时间运动矢量预测。在空间运动矢量预测中，使用在前编码的相邻PU的运动矢量预测目标预测单元(PU)的运动矢量。目标和相邻PU都位于当前目标图片内。在时间运动矢量预测中，使用对应位置的块的运动矢量预测目标预测单位(PU)的运动矢量。对应位置的块位于在前编码的对应位置的图片内，使用指向参考图片(其可以称为对应位置的参考图片)的运动矢量编码对应位置的块。术语对应位置的通常表示在对应位置的图片内的对应位置的PU的坐标与当前目标图片内目标的坐标相同。但由于HEVC中可变编码单元和预测单元尺寸，当前与对应位置的可能没有极好地对齐(即它们的坐标可能不是准确的相同)，将预定选择方案用于选择对应位置的PU。
[0004]可以基于运动矢量的某些特性，例如在目标图片与其相应参考图片之间的其时间距离(即图片顺序计数(POC)值差)，通过缩放相邻或对应位置的的运动矢量来获得运动矢量预测值(MVP)。例如，可以按照POC距离缩放对应位置的PU的运动矢量，以按照以下等式为当前PU产生时间MVP:
[0005]MVP = (tb/td) *nmv
[0006]其中:
[0007]MVP =从对应位置的块/PU的运动矢量得到的时间运动矢量预测值；
[0008]nmv =对应位置的块/HJ的运动矢量；
[0009]tb =从当前图片到由目标块/PU参考的参考图片的有符号的POC距离/差；
[0010]td =从对应位置的图片到由对应位置的块/I3U参考的参考图片的有符号的POC距离/差。
[0011]通常，在空间预测中，为了得到“td”，目标图片是当前图片，且其参考图片是对应位置的参考图片。在时间预测中，为了得到“tb”，目标图片是对应位置的图片，其参考图片是对应位置的参考图片。对于空间预测和时间预测两者，为了得到“tb”，目标图片是当前图片，且其参考图片是当前参考图片(即由目标PU参考的，来自RefListO或者来自RefListl)ο
[0012]引用列表
[0013]非专利文献
[0014]NPL I JS0/IEC 14496-10，“MPEG_4Part 1Advanced Video Coding”


【发明内容】

[0015]技术问题
[0016]如在【背景技术】中所述的，传统编码方案将相同的运动矢量预测应用于所有类型的参考图片，即，在不考虑所涉及的参考图片的类型的情况下，执行缩放。例如，传统基于POC的缩放方案不考虑运动矢量预测中所涉及的参考图片是否是长期参考图片。在指向长期参考图片的运动矢量上执行基于POC的缩放可以导致具有极大或极小量值的缩放的运动矢量(即MVP)。这是因为在长期参考图片(LTRP)与参考LTRP的PU之间的POC距离可以很大。在此情况下，运动矢量预测处理的准确度和效率变为不准确的且次优的。
[0017]问题的解决
[0018]本发明的实施方式寻找提供用于在考虑所涉及的参考图片的类型的情况下执行运动矢量预测的方法和装置。具体地，根据本发明的实施方式，基于所涉及的参考图片的类型来决定是否缩放运动矢量以便产生运动矢量预测值候选和/或是否将运动矢量包括在运动矢量预测值候选的候选列表中。因此，能够改进运动矢量预测处理的效率，因为减少或去除了不必要的或不希望有的缩放步骤(即导致产生错误的运动矢量预测值的缩放)，。
[0019]根据实施方式，在空间运动矢量预测中，当以下任意一个条件为真时，禁用基于POC的运动矢量缩放:
[0020]-当前(即目标)PU参考预定类型的参考图片，或者
[0021]-相邻I3U参考预定类型的参考图片。
[0022]根据另一个实施方式，在时间运动矢量预测中，当以下任意一个条件为真时，禁用基于POC的运动矢量缩放:
[0023]-当前(即目标)PU参考预定类型的参考图片，或者
[0024]-对应位置的PU参考预定类型的参考图片。
[0025]例如，预定类型的参考图片可以是长期参考图片。在一个实施方式中，当禁用基于POC的运动矢量缩放时，在需要用于空间或时间运动矢量预测的可用运动矢量候选时，将相邻或对应位置的PU的运动矢量直接视为空间或时间运动矢量预测值。
[0026]在某些实施方式中，取决于所涉及的参考图片的类型，可以将空间或时间运动矢量候选直接设定为不可用(即从候选列表中排除)。
[0027]根据本发明的第一方面，提供了一种为图片中的当前块执行运动矢量预测的方法，所述方法包括:
[0028]为具有当前运动矢量和当前参考图片的当前块得到用于运动矢量预测值候选的候选列表的运动矢量预测值候选，以及
[0029]基于来自候选列表的选择的运动矢量预测值候选得到运动矢量预测值，
[0030]其中，所述得到运动矢量预测值候选包括:
[0031]选择当前块的相邻块或对应位置的块的运动矢量，所述运动矢量具有相关的参考图片，以及基于当前参考图片的类型和/或所述相关的参考图片的类型，决定是否缩放所述运动矢量以产生运动矢量预测值候选，和/或是否将所述运动矢量包括在候选列表中。
[0032]优选地，所述决定包括确定是当前参考图片还是所述相关的参考图片具有预定类型。
[0033]所述方法可以进一步包括如果当前参考图片或者所述相关的参考图片具有预定类型，就将所述运动矢量排除在候选列表的包括之外。
[0034]所述方法可以进一步包括如果当前参考图片或者所述相关的参考图片具有预定类型，就缩放所述运动矢量以产生运动矢量预测值候选。
[0035]如果当前参考图片或者所述相关的参考图片具有预定类型，所述方法可以决定不缩放所述运动矢量，并复制所述运动矢量以产生运动矢量预测值候选。
[0036]所述方法可以进一步包括如果当前参考图片和所述相关的参考图片具有相同类型，就缩放所述运动矢量以产生运动矢量预测值候选。
[0037]优选地，预定类型的参考图片是长期参考图片、视图间参考图片、和/或层间参考图片。
[0038]根据本发明的第二方面，提供了一种编码方法，用于编码图片的当前块以产生编码比特流，所述编码方法包括根据本文前述的本发明的第一方面的为当前块执行运动矢量预测的方法。
[0039]根据本发明的第三方面，提供了一种解码方法，用于从编码比特流解码图片的当前块，所述解码方法包括根据本文前述的本发明的第一方面的为当前块执行运动矢量预测的方法。
[0040]根据本发明的第四方面，提供了一种编码装置，用于编码图片的当前块以产生编码比特流，所述编码装置包括:
[0041]运动矢量预测单元，用于为具有当前运动矢量和当前参考图片的当前块得到用于运动矢量预测值候选的候选列表的运动矢量预测值候选，以及用于基于来自候选列表的选择的运动矢量预测值候选得到运动矢量预测值；
[0042]控制单元，用于接收当前块的相邻块或对应位置的块的运动矢量，所述运动矢量具有相关的参考图片，以及用于基于当前参考图片的类型和/或所述相关的参考图片的类型，决定是否缩放所述运动矢量以产生运动矢量预测值候选，和/或是否将所述运动矢量包括在候选列表中；
[0043]帧间预测单元，用于基于得到的运动矢量预测值产生预测块；及
[0044]编码单元，用于基于当前块和预测块产生编码比特流，
[0045]其中，所述控制单元被配置为将表示所述决定的信号输出到所述运动矢量预测单元，以便基于所述信号得到所述运动矢量预测值候选。
[0046]根据本发明的第五方面，提供了一种解码装置，用于从编码比特流解码图片的当前块，所述解码装置包括:
[0047]运动矢量预测单元，用于为具有当前运动矢量和当前参考图片的当前块得到用于运动矢量预测值候选的候选列表的运动矢量预测值候选，以及用于基于来自候选列表的选择的运动矢量预测值候选得到运动矢量预测值；
[0048]控制单元，用于接收当前块的相邻块或对应位置的块的运动矢量，所述运动矢量具有相关的参考图片，以及用于基于当前参考图片的类型和/或所述相关的参考图片的类型，决定是否缩放所述运动矢量以产生运动矢量预测值候选，和/或是否将所述运动矢量包括在候选列表中；
[0049]解码单元，用于从编码比特流解码当前块；及
[0050]帧间预测单元，用于基于得到的运动矢量预测值产生预测块，所述预测块用于重构当前块，
[0051]其中，所述控制单元被配置为将表示所述决定的信号输出到所述运动矢量预测单元，以便基于所述信号得到所述运动矢量预测值候选。
[0052]根据本发明的第六方面，提供了一种计算机程序产品，包含在非暂时性计算机可读储存介质中，包括可由计算处理器执行的指令，以执行根据本文前述的本发明的第一方面的方法。
[0053]发明的有利效果
[0054]本发明的实施方式追求由于更准确的运动矢量预测的编码效率/解码效率。还减小了运动矢量预测处理的复杂性，因为去除了不必要的或不希望有的缩放步骤。

【专利附图】

【附图说明】
[0055]图1示出了示例性最大编码单元(LCU)；
[0056]图2示出了根据本发明实施方式的例示在编码影像比特流中的参考图片分类参数的示例性位置的图示；
[0057]图3示出了根据本发明实施方式的例示在编码影像比特流中的参考图片分类参数的示例性位置的图示；
[0058]图4示出了根据本发明实施方式的例示在编码影像比特流中的参考图片分类参数的示例性位置的图示；
[0059]图5示出了根据本发明实施方式的例示预测模式类型参数的示例性位置的编码影像比特流的分解图；
[0060]图6示出了根据本发明实施方式的针对图片中的当前块执行运动矢量预测的方法的流程图；
[0061]图7示出了根据本发明实施方式的在执行运动矢量预测的方法中得到运动矢量预测值候选的方法的流程图；
[0062]图8示出了在时间运动预测中的不同块与图片之间的总体相互关系；
[0063]图9示出了根据本发明第一实施方式的例示对影像/图像进行编码的方法的流程图；
[0064]图10示出了根据本发明第一实施方式的例示对经编码的影像/图像进行解码的方法的流程图；
[0065]图11示出了根据本发明第二实施方式的例示对影像/图像进行编码的方法的流程图；
[0066]图12示出了根据本发明第二实施方式的例示对经编码的影像/图像进行解码的方法的流程图；
[0067]图13示出了根据本发明第三实施方式的例示对影像/图像进行编码的方法的流程图；
[0068]图14示出了根据本发明第三实施方式的例示对经编码的影像/图像进行解码的方法的流程图；
[0069]图15示出了根据本发明第四实施方式的例示对影像/图像进行编码的方法的流程图；
[0070]图16示出了根据本发明第四实施方式的例示对经编码的影像/图像进行解码的方法的流程图；
[0071]图17示出了根据本发明第五实施方式的例示对影像/图像进行编码的方法的流程图；
[0072]图18示出了根据本发明第五实施方式的例示对经编码的影像/图像进行解码的方法的流程图；
[0073]图19示出了根据本发明第六实施方式的例示对影像/图像进行编码的方法的流程图；
[0074]图20示出了根据本发明第六实施方式的示出对经编码的影像/图像进行解码的方法的流程图；
[0075]图21示出了根据本发明实施方式的显示影像/图像编码装置的示例性结构的模块图；
[0076]图22示出了根据本发明实施方式的显示影像/图像解码装置的示例性结构的模块图；
[0077]图23显示了实现内容分发服务的内容供给系统的整体结构图；
[0078]图24显示了数字广播用系统的整体结构图；
[0079]图25显示了示出电视机的结构例的模块图；
[0080]图26显示了示出对作为光盘的记录介质进行信息的读写的信息再现/记录单元的结构例的模块图；
[0081]图27显示了作为光盘的记录介质的构造例；
[0082]图28A显示了便携电话的示例；
[0083]图28B是显示便携电话的结构例的模块图；
[0084]图29示出了复用数据的结构；
[0085]图30示意地显示了各流在复用数据中怎样被复用；
[0086]图31更详细地显示了怎样在PES包流中保存影像流；
[0087]图32显示了复用数据的TS包和源包的结构；
[0088]图33显示了 PMT的数据结构；
[0089]图34显示了复用数据信息的内部结构；
[0090]图35显示了流属性信息的内部结构；
[0091]图36显示了识别影像数据的步骤；
[0092]图37显示了实现根据各实施方式的动态图片编码方法及动态图片解码方法的集成电路的结构例；
[0093]图38显示了切换驱动频率的结构；
[0094]图39显示了识别影像数据和切换驱动频率的步骤；
[0095]图40显示了将影像数据标准与驱动频率建立了对应的查找表的一例；
[0096]图41A是显示将信号处理单元的模块共用的结构的一例的图；及
[0097]图41B是显示将信号处理单元的模块共用的结构的另一例的图。

【具体实施方式】
[0098]最近的影像编码标准(例如高效视频编码(HEVC))将输入图片分割为称为最大编码单元(IXU)的方块。图1中示出了示例性IXU 102。IXU 102包括编码单元(⑶)104，其可以编码为帧内预测块(示出为阴影块)106或者帧间预测块(示出为无阴影的块)108。⑶104可以进一步包括一个或多个预测单元(PU)llO，每一个PU 110都可以用于执行空间预测或时间预测。如果以帧内模式编码⑶104，⑶104的每一个PU 110都可以具有其自身的空间预测方向。另一方面，如果以帧间模式编码⑶104，⑶104中的每一个PU 110都可以具有其自身的运动矢量及相关的参考图片。
[0099]在HEVC中，预测编码运动矢量。对于具有当前运动矢量和当前参考图片的当前块(例如PU) 110，可以从当前块的空间上相邻或时间上位置对应的块(例如PU)的运动矢量为(MVP候选的)候选列表得到运动矢量预测值(MVP)候选。可以基于运动矢量的某些特性，例如在目标图片与其相应的参考图片之间的时间距离(P0C值差)，通过缩放相邻或对应位置的PU的运动矢量来获得MVP候选。例如，可以按照POC距离缩放相邻I3U的运动矢量来为当前PU产生空间MVP候选，以便包括在候选列表中。随后将按照本领域中已知的预定选择方案，从候选列表中选择适合于当前PU的MVP。
[0100]如在【背景技术】中所述的，参考图片的分类可以不同，取决于例如它们的与目标图片的图片顺序计数(POC)距离、用于SVC的观看层和用于3D影像和MVC的观看id。然而，传统编码方案将相同的运动矢量预测应用于所有类型的参考图片，不管其观看id、观看层如何，它们是短期还是长期参考图片。例如，在指向长期参考图片(LTRP)的运动矢量上执行基于POC的缩放可以导致具有极大或极小量值的缩放的运动矢量。在此情况下，运动矢量预测处理的准确度和效率变为次优。
[0101]本发明的实施方式设法提供在考虑涉及的参考图片的类型的情况下用于执行运动矢量预测的方法和装置。具体地，根据本发明的实施方式，基于所涉及的参考图片的类型来决定是否缩放运动矢量以便产生运动矢量预测值候选和/或是否将运动矢量包括在运动矢量预测值候选的候选列表中。因此，能够改进运动矢量预测处理的效率，因为减少或去除了不必要的或不希望有的缩放步骤(即导致产生错误的运动矢量预测值的缩放)。
[0102]图2至4示出了根据本发明实施方式的例示在编码影像比特流200中的参考图片分类参数202的示例性位置的图示。图2显示了根据实施方式的位于编码影像比特流200的序列头部204的参考图片分类参数202。序列头部204是编码影像比特流200的头部(例如多个图片206)。图3显示了根据另一个实施方式的位于编码影像比特流200的图片206的图片头部208的参考图片分类参数202。图片头部208是图片206的头部(例如多个片210)。图4显示了根据再一个实施方式的位于图片206中的片210的片头部212的参考图片分类参数202。片头部212是片210的头部。
[0103]图5示出了根据实施方式的显示预测模式类型参数302的示例性位置的编码影像比特流200的分解图。预测模式类型参数302表示用于编码当前块(例如编码单元104或预测单元110)的预测模式(是否使用帧间预测模式)。在这个实施方式中，预测模式类型参数302位于编码单元头部304中(即，编码单元104的头部)。如分解图中所示的，每一个片210都包括片头部212和相关片数据214，相关片数据214包括多个编码单元104。
[0104]现在将根据如图6和7中所示的本发明的实施方式来说明为图片的当前块执行运动矢量预测的方法S600。作为第一步骤S602，为具有当前运动矢量和当前参考图片的当前块得到候选列表的(即运动矢量预测值候选的)运动矢量预测值候选。随后，在步骤S604中，基于来自候选列表的选择的运动矢量候选为当前块得到运动矢量预测值。得到运动矢量预测值候选的以上步骤S604包括步骤S702和步骤S704，在步骤702中，选择当前块的相邻块或对应位置的块的运动矢量，该运动矢量具有相关的参考图片，在步骤704中，基于当前参考图片的类型和/或相关的参考图片的类型来决定是否缩放所述运动矢量以便产生运动矢量预测值候选和/或是否将所述运动矢量包括候选集合中。
[0105]根据本发明的实施方式，提供了一种用于编码图片的当前块以产生编码比特流200的编码方法和一种用于从编码比特流200解码当前块的解码方法，它们包括为当前块执行运动矢量预测的方法S400。为了清楚和举例说明的目的，以下稍后将说明示例性的编码和解码方法。
[0106]相应地，减少或去除了导致产生错误的运动矢量预测值的不必要的或不希望有的缩放步骤，从而改进了运动矢量预测处理的效率。
[0107]图8示出了在当前图片802中的当前块(例如，PU)804、当前参考图片806或807、对应位置的图片810中的对应位置的块808和对应位置的参考图片812之间的总体相互关系。如图8中所不的，当如或目标块804具有当如运动矢量和相关当如参考图片806或807。当前参考图片806或807指代由当前块802参考以便执行帧间预测处理的参考图片。当前参考图片是来自于RefListl806还是RefList0807可以由与当前块802相关的标志(例如collocated_from_10_flag)814来指示。例如,RefList0807可以由具有值“I”的标志814来指示，RefList 1806可以由具有值“O”的标志814来指示。在这个示例中，基于当前块804的对应位置的块808的运动矢量来预测当前运动矢量808 (即得到运动矢量预测值)。对应位置的块808的运动矢量指向参考图片812，其可以称为对应位置的参考图片。
[0108]依据图8，可以如下说明用以得到对应位置的参考图片812的示例性步骤。
[0109]作为第一步骤,基于标志814(例如collocated_from_10_flag)来选择参考图片列表(RefListl806或者RefList0807)。例如，可以依据片头部212或者片类型来以信号发送标志814。所选参考图片列表包括一个或多个参考图片及其各自的参考索引。例如，从指定用于时间运动矢量预测的对应位置的图片810的参考索引的相同片头部212来解析信号(例如，collocated_ref_idx)816。因此，可以基于表示对应位置的图片810的参考索引的信号816来确定对应位置的图片810。基于本领域中已知的预定选择技术来选择/得到对应位置的图片810内的对应位置的块808，因而无需在此详细说明。随后可以从对应位置的块808取回包括参考图片类型和对应位置的运动矢量的对应位置的参考图片812的信息。
[0110]为了清楚和举例说明的目的，现在将根据本发明实施方式进一步详细说明涉及运动矢量预测的对影像/图像进行编码和解码的示例性方法。
[0111]图9示出了根据本发明第一实施方式的例示在编码影像/图像中所包含的示例性步骤的流程图S900。
[0112]作为第一步骤S902，确定参考图片分类，以区分或者识别所涉及的参考图片的类型。接下来在步骤S904处，将参考图片分类参数202写入编码影像比特流200的头部。例如，如图2所示的，参考图片分配参数可以位于序列头部204、图片头部208、或者片头部202。在步骤S906执行运动估计处理，以便选择对应于样本的当前或目标块的当前参考图片和当前运动矢量。随后，在步骤S908，按照本领域技术人员已知的预定选择方案选择样本的帧间预测相邻块，因而无需在此说明。帧间预测相邻块具有运动矢量和由该运动矢量指向的相关的参考图片。为了简单，相邻块的运动矢量和参考图片可以分别称为相邻运动矢量和相邻参考图片。在步骤S910，从相邻块取回与相邻参考图片有关的信息，包括其参考图片类型和相邻运动矢量。在步骤S912，做出当前参考图片和相邻参考图片之一是否是特定或预定类型的参考图片的决定/判断。
[0113]在第一实施方式中，如果当前参考图片和相邻参考图片之一具有参考图片的预定类型，在步骤S914，就从用于当前块的帧间预测的多个可用运动矢量候选中排除相邻运动矢量。即，决定不将相邻运动矢量包括在用于当前块的运动矢量预测值候选的候选列表中。否则，如果确定当前参考图片和相邻参考图片的至少之一不具有参考图片的预定类型，就在步骤S916对相邻运动矢量执行基于POC的缩放以产生MVP候选，并在步骤S918将MVP候选包括在候选列表中。
[0114]在优选实施方式中，在步骤S912,如果当如参考图片和相邻参考图片两者具有相同的参考图片类型(包括两个参考图片都具有参考图片的预定类型的情况)，方法于是前进到步骤S916。S卩，在步骤S916，对相邻运动矢量执行基于POC的缩放以产生MVP候选，并在步骤S918将MVP候选包括在候选列表中。
[0115]在步骤S920，从多个可用MVP候选(即候选列表)中选择MVP。在步骤S922，基于MVP和当前运动矢量，得到差量运动矢量。在步骤S324，将得到的差量运动矢量和指示当前参考图片的参考索引写入编码影像比特流200中。在步骤S926，使用当前运动矢量来编码当前块。
[0116]例如，在本文所述的实施方式中，预定类型的参考图片可以是长期参考图片、视图间参考图片和/或层间参考图片。视图间参考图片的示例是存在于不同视图(例如3D视图)间的参考图片。层间参考图片的示例是存在于不同质量层(例如SNR可分级)、不同分辨率层(例如空间可分级)和使用不同影像编码解码器编码的不同层(例如，使用MPEG2/AVC编码的一层和使用HEVC编码的另一层)间的参考图片。典型地，编码影像层包括基础层和一个或多个增强层。
[0117]图10示出了根据本发明第一实施方式的例示对经编码的影像/图像进行解码中所包括的示例性步骤的流程图S1000。
[0118]作为第一步骤S1000，从编码影像比特流的头部解析参考图片分类参数202，其区分或识别参考图片的类型。接下来，在步骤S1004，从编码影像比特流200解析差量运动矢量和指示当前参考图片的参考索引(在本文前述的编码方法的步骤S924处写入编码影像比特流200中)。随后，在步骤S1006，按照本领域技术人员已知的预定选择方案选择样本的帧间预测相邻块，因而无需在此说明。帧间预测相邻块具有运动矢量和由该运动矢量指向的相关的参考图片。为了简单，相邻块的运动矢量和参考图片可以分别称为相邻运动矢量和相邻参考图片。在步骤S1008，从相邻块取回与相邻参考图片有关的信息，包括其参考图片类型和相邻运动矢量。在步骤S1010，做出当前参考图片和相邻参考图片之一是否是特定或预定类型的参考图片的决定/判断。
[0119]在第一实施方式中，以与本文前述的编码方法相同的方式，如果当前参考图片和相邻参考图片之一具有参考图片的特定类型，则在步骤S1012从用于当前块的帧间预测的多个可用运动矢量预测值候选中排除相邻运动矢量。即，决定不将相邻运动矢量包括在用于当前块的运动矢量预测值候选的候选列表中。否则，如果确定当前参考图片和相邻参考图片的至少其中之一不具有参考图片的预定类型，则在步骤S1014，对相邻运动矢量执行基于POC的缩放，以产生运动矢量预测值(MVP)候选，并在步骤S1016将MVP候选包括在候选列表中。
[0120]在优选实施方式中，如果当前参考图片和相邻参考图片两者都具有相同的参考图片类型(包括两个参考图片都是特定类型的参考图片的情况)，方法就前进到步骤S1014。即，在步骤S1014，对相邻运动矢量执行基于POC的缩放以产生运动矢量预测值(MVP)候选，并在步骤S1016将MVP候选包括在候选列表中。
[0121]在步骤S1018，从多个可用运动矢量候选(即候选列表)中选择预测的位运动矢量。在步骤1020，基于预测的运动矢量和解析的差量运动矢量来得到当前运动矢量。在步骤S1022，使用当前运动矢量来解码当前块。
[0122]图11示出了根据本发明第二实施方式的例示包含在对影像/图像进行编码中的示例性步骤的流程图S1100。
[0123]第一实施方式和第二实施方式的编码方法大致相同，除了与步骤SI 114、SI 116和S1118相关的内容以外。为了清楚并且避免不必要的重复，不必说明第二实施方式与第一实施方式相同或相似的步骤(即，S1102、S1104、S1106、S1108、S1110、S1112、S1120、S1122、S1124 和 S1126)。
[0124]在第二实施方式中，如果当前参考图片和相邻参考图片之一具有参考图片的预定类型，则在步骤S1114直接复制相邻运动矢量以产生MVP候选，即无需运动矢量缩放。否则，如果确定当前参考图片和相邻参考图片的至少其中之一不具有参考图片的预定类型，就在步骤SI 116对相邻运动矢量执行基于POC的缩放以产生MVP候选。在第二实施方式中，对于任一情况，都在步骤SI 118将MVP候选(即由步骤SI 114复制的运动矢量或者由步骤SI 116缩放的运动矢量)包括在候选列表中。
[0125]在优选实施方式中，如果当前参考图片和相邻参考图片具有相同的参考图片类型(包括两个参考图片都是特定类型的参考图片的情况)，则方法前进到步骤S1116。S卩，在步骤S1116对相邻运动矢量执行基于POC的缩放以产生MVP候选。
[0126]随后的步骤(即S1120、S1122、S1124和S1126)分别与第一实施方式中所述的步骤S920、S922、S924和S926相同，因而无需再次重复。
[0127]图12示出了根据本发明第二实施方式的例示包含在对经编码的影像/图像进行解码的示例性步骤的流程图S1200。
[0128]第一实施方式和第二实施方式的解码方法大致相同，除了与步骤S1212、S1214和S216相关的内容以外。为了清楚并且避免不必要的重复，不必说明第二实施方式与第一实施方式相同或相似的解码步骤(即，S1202、S1204、S1206、S1208、S1210、S1218、S1220和S1222)。
[0129]在第二实施方式中如果当前参考图片和相邻参考图片之一具有参考图片的预定类型，则在步骤S1212直接复制相邻运动矢量以产生MVP候选，即无需运动矢量缩放。否则，如果确定当前参考图片和相邻参考图片的至少其中之一不具有参考图片的预定类型，就在步骤S1214对相邻运动矢量执行基于POC的缩放以产生MVP候选。在第二实施方式中，对于任一情况，都在步骤S1216将MVP候选(即由步骤S1212复制的运动矢量或者由步骤S1214缩放的运动矢量)包括在候选列表中。
[0130]在优选实施方式中，如果当前参考图片和相邻参考图片具有相同的参考图片类型(包括两个参考图片都是特定类型的参考图片的情况)，则方法前进到步骤S1214。S卩，在步骤S1214对相邻运动矢量执行基于POC的缩放以产生MVP候选。
[0131]随后的步骤(即S1218、S1220和S1222)分别与第一实施方式中所述的步骤S1018、S1020和S1022相同，因而无需再次重复。
[0132]图13示出了根据本发明第三实施方式的例示包含在对影像/图像进行编码中的示例性步骤的流程图S1300。
[0133]第三实施方式涉及时间运动矢量预测，而第一实施方式涉及空间运动矢量预测。因此，第三实施方式的编码方法与第一实施方式的编码方法大致相同，除了与对应位置的块808、对应位置的图片810和对应位置的参考图片812相关的内容(与相邻块、相邻图片和相邻参考图片相比)以外。
[0134]作为第一步骤S1302，确定参考图片分类，以区分或者识别所涉及的参考图片的类型。接下来在步骤S1304处，将参考图片分类参数写入编码影像比特流200的头部。在步骤S1306执行运动估计处理，以便选择对应于样本的当前块或目标块的当前参考图片和当前运动矢量。随后，在步骤S1310按照本领域技术人员已知的预定选择方案来选择对应位置的块808，因而无需在此说明。如图8所示的，对应位置的图片810内的对应位置的块808具有运动矢量和由该运动矢量指向的相关的参考图片812。为了简单，对应位置的块的运动矢量和参考图片可以分别称为对应位置的运动矢量和对应位置的参考图片812。在步骤S1312，从对应位置的块取回与对应位置的参考图片有关的信息，包括其参考图片类型和对应位置的运动矢量。在步骤S1314，做出当前参考图片和对应位置的参考图片之一是否是特定类型的参考图片或预定类型的参考图片的决定/判断。
[0135]在第三实施方式中，如果当前参考图片或对应位置的参考图片之一具有参考图片的预定类型，则在步骤S1316从用于当前块的帧间预测的多个可用运动矢量候选中排除对应位置的运动矢量。否则，如果确定当前参考图片和对应位置的参考图片的至少其中之一不具有参考图片的预定类型，就在步骤S1318对相邻运动矢量执行基于POC的缩放以产生运动矢量预测值(MVP)候选，并在步骤S1320将MVP候选包括在候选列表中。
[0136]在优选实施方式中，在步骤S1314，如果当前参考图片和对应位置的参考图片具有相同的参考图片类型(包括两个参考图片都是特定类型的参考图片的情况)，则方法前进到步骤S1318。S卩，在步骤S1318对对应位置的运动矢量执行基于POC的缩放以产生MVP候选，并在步骤S1320将MVP候选包括在候选列表中。
[0137]在步骤S1322，从多个可用运动矢量候选(即候选列表)中得到或选择MVP。在步骤S1324，基于MVP和当前运动矢量得到差量运动矢量。在步骤S1326，将得到的差量运动矢量和指示当前参考图片的参考索引写入编码影像比特流200中。在步骤S1328，使用当前运动矢量来编码当前块。
[0138]图14示出了根据本发明第三实施方式的例示包含在对经编码的影像/图像进行解码中的示例性步骤的流程图S1400。
[0139]如本文前述的，第三实施方式涉及时间运动矢量预测，而第一实施方式涉及空间运动矢量预测。因此，第三实施方式的解码方法与第一实施方式的解码方法大致相同，除了与对应位置的块808、对应位置的图片810和对应位置的参考图片812相关的内容(与相邻块、相邻图像和相邻参考图片相比)以外。
[0140]作为第一步骤S1402，从编码影像比特流200的头部解析参考图片分类参数202，其区分或识别参考图片的类型。接下来，在步骤S1404，从编码影像比特流200解析差量运动矢量和指示当前参考图片的参考索引(在本文前述的编码方法的步骤S1326处写入编码影像比特流200中)。随后，在步骤S1408，按照本领域技术人员已知的预定选择方案选择帧间预测对应位置的块，因而无需在此说明。对应位置的图片内810的对应位置的块808具有运动矢量和由该运动矢量指向的相关的参考图片812。为了简单，对应位置的块808的运动矢量和参考图片可以分别称为对应位置的运动矢量和对应位置的参考图片812。在步骤S1410，从对应位置的块取回与对应位置的参考图片有关的信息，包括其参考图片类型和对应位置的运动矢量。在步骤S1412，做出当前参考图片和对应位置的参考图片之一是否为特定类型的参考图片或预定类型的参考图片的决定/判断。
[0141]在第三实施方式中，以与本文前述的编码方法相同的方式，如果当前参考图片和对应位置的参考图片之一具有参考图片的特定类型，则在步骤S1414从用于当前块的帧间预测的多个可用运动矢量预测值候选中排除对应位置的运动矢量。
[0142]在优选实施方式中，如果当前参考图片和对应位置的参考图片具有相同的参考图片类型(包括两个参考图片都是特定类型的参考图片的情况)，方法就前进到步骤S1416。即，在步骤S1416，对对应位置的运动矢量执行基于POC的缩放以产生MVP候选，并在步骤S1418将MVP候选包括在候选列表中。
[0143]在步骤S1420，从多个可用运动矢量候选中选择MVP。在步骤1422，基于MVP和解析的差量运动矢量，得到当前运动矢量。在步骤S1424，使用当前运动矢量来解码当前块。
[0144]图15示出了根据本发明第四实施方式的例示包含在对影像/图像进行编码中的示例性步骤的流程图S1500。
[0145]第四实施方式的编码方法与第三实施方式的编码方法大致相同，除了与步骤S1516、S1518和S1520相关的内容以外。为了清楚并且避免不必要的重复，不必说明第四实施方式与第三实施方式相同或相似的步骤(即，S1502、S1504、S1506、S1510、S1512、S1514、S1522、S1524、S1526 和 S1528)。
[0146]在第四实施方式中，在步骤S1514，如果当前参考图片和对应位置的参考图片之一具有参考图片的预定类型，则在步骤S1516直接复制对应位置的运动矢量以产生MVP候选，即无需运动矢量缩放。否则，如果确定当前参考图片和对应位置的参考图片的至少其中之一不具有参考图片的预定类型，则在步骤S1518对对应位置的运动矢量执行基于POC的缩放，以产生MVP候选。在第四实施方式中，对于任一种情况，在步骤S1520，都将MVP候选(即由步骤S1516复制的运动矢量或者由步骤S1518缩放的运动矢量)包括在候选列表中。
[0147]在优选实施方式中，如果当前参考图片和对应位置的参考图片具有相同的参考图片类型(包括两个参考图片都是特定类型的参考图片的情况)，则方法前进到步骤S1518。即，在步骤S1518，对对应位置的运动矢量执行基于POC的缩放以产生MVP候选。
[0148]随后的步骤(即S1522、S1524、S1526和S1528)分别与第三实施方式中所述的步骤S1322、S1324、S1326和S1328相同，因而无需再次重复。
[0149]图16示出了根据本发明第四实施方式的例示包含在对经编码的影像/图像进行解码中的示例性步骤的流程图S1600。
[0150]第四实施方式的解码方法与第三实施方式的解码方法大致相同，除了与步骤S1614、S1616和S1618相关的内容以外。为了清楚并且避免不必要的重复，不必说明第四实施方式与第三实施方式相同或相似的步骤(即，S1602、S1604、S1608、S1610、S1612、S1620、S1622 和 S1624)。
[0151]在第四实施方式中，在步骤S1612，如果当前参考图片和对应位置的参考图片之一具有参考图片的特定类型，则在步骤S1614直接复制对应位置的运动矢量以产生MVP候选，即无需运动矢量缩放。否则，如果确定当前参考图片和对应位置的参考图片的至少其中之一不具有参考图片的预定类型，则在步骤S1616对对应位置的运动矢量执行基于POC的缩放，以产生MVP候选。在第四实施方式中，对于任一情况，在步骤S1618，都将MVP候选(即由步骤S1614复制的运动矢量或者由步骤S1616缩放的运动矢量)包括在候选列表中。
[0152]在优选实施方式中，如果确定当前参考图片和对应位置的参考图片具有相同的参考图片类型(包括两个参考图片都是特定类型的参考图片的情况)，方法就前进到步骤S1616。S卩，在步骤S1416，对对应位置的运动矢量执行基于POC的缩放以产生MVP候选。
[0153]随后的步骤(即S1620、S1622和S1624)分别与第三实施方式中所述的步骤S1420、S1422和S1424相同，因而无需再次重复。
[0154]图17示出了根据本发明第五实施方式的例示包含在对影像/图像进行编码中的示例性步骤的流程图S1700。
[0155]第五实施方式涉及称为合并模式的运动矢量预测类型，例如，在合并模式中编码预测单元。因此，第五实施方式的编码方法与第三实施方式的编码方法相同，除了与步骤S1706中的当前图片的选择(其基于用于合并模式编码预测单元的)相关的内容以外，并且无需确定将要写入到编码影像比特流200中的差量运动矢量。
[0156]具体地，在步骤S1706，按照用于合并模式编码预测单元的预定参考图片选择方案来选择当前参考图片(代替第三实施方式中的步骤S1506)。方法随后以与第三实施方式中所述的相同的方式进行。然而，在从多个可用运动矢量候选中选择MVP的步骤S1722后，在S1724中，使用MVP编码样本的块(代替第三实施方式的得到差量运动矢量的步骤S1324)。
[0157]图18示出了根据本发明第五实施方式的例示包含在对经编码的影像/图像进行解码中的示例性步骤的流程图S1800。
[0158]如本文前述的，第五实施方式涉及称为合并模式的运动矢量预测类型，例如，在合并模式中编码预测单元。因此，第五实施方式的解码方法与第三实施方式的解码方法相同，除了与步骤S1804中的当前图片的选择(其基于用于合并模式编码预测单元的)相关的内容以外，并且无需解析来自编码影像比特流200的差量运动矢量。
[0159]具体地，在步骤S1804，按照用于合并模式编码预测单元的预定参考图片选择方案来选择当前参考图片(代替第三实施方式中的步骤S1404)。方法随后以与第三实施方式中所述的相同的方式进行。然而，在从多个可用运动矢量候选中选择MVP的步骤S1820后，在S1822中，使用选择的MVP重构样本的块(代替第三实施方式的基于解析的差量运动矢量得到当前运动矢量的步骤S1422)。
[0160]图19示出了根据本发明第六实施方式的例示包含在对影像/图像进行编码中的示例性步骤的流程图S1900。
[0161]第六实施方式也涉及称为合并模式的运动矢量预测类型，例如，在合并模式中编码预测单元。具体地，第六实施方式的编码方法与第四实施方式的编码方法相同，除了与步骤S1906中的当前图片的选择(其基于用于合并模式编码预测单元的)相关的内容以外，并且无需确定要写入到编码影像比特流200中的差量运动矢量。
[0162]具体地，在步骤S1906，按照用于合并模式编码预测单元的预定参考图片选择方案来选择当前参考图片(代替第四实施方式中的步骤S1506)。方法随后以与第四实施方式中所述的相同的方式进行。然而，在从多个可用运动矢量候选中选择MVP的步骤S1922后，在S1924中，使用MVP编码样本的当前块(代替第四实施方式的得到差量运动矢量的步骤S1524)。
[0163]图20示出了根据本发明第六实施方式的例示包含在对经编码的影像/图像进行解码中的示例性步骤的流程图S2000。
[0164]如本文前述的，第六实施方式也涉及称为合并模式的运动矢量预测类型，例如，在合并模式中编码预测单元。具体地，第六实施方式的解码方法与第四实施方式的解码方法相同，除了与步骤S2004中的当前图片的选择(其基于用于合并模式编码预测单元的)相关的内容以外，并且无需解析来自编码影像比特流200的差量运动矢量。
[0165]具体地，在步骤S2004，按照用于合并模式编码预测单元的预定参考图片选择方案来选择当前参考图片(代替第四实施方式中的步骤S1604)。方法随后以与第四实施方式中所述的相同的方式进行。然而，在从多个可用运动矢量候选中选择MVP的步骤S2020后，在S2022中，使用选择的MVP重构样本的块(代替第四实施方式的基于解析的差量运动矢量得到当前运动矢量的步骤S1622)。
[0166]图21示出了根据本发明实施方式的显示影像/图像编码装置2100的示例性结构的模块图。
[0167]影像编码装置2100被配置为在逐块的基础上编码输入影像/图像比特流，以便产生编码输出比特流200。如图21所示的，影像编码装置2100可以包括变换单元2101、量化单元2102、逆量化单元2103、逆变换单元2104、块存储器2105、图像/帧存储器2106、帧内预测单元2107、帧间预测单元2108、熵编码单元2109、控制单元2130、运动矢量预测单元2131和写入单元2136。
[0168]现在将说明示例性操作流程。将输入影像输入到加法器，将相加值输出到变换单元2101。变换单元2101将相加值变换为频率系数，并将产生的频率系数输出到量化单元2102。量化单元2102量化输入的频率系数，并将产生的量化值输出到逆量化单元2103和熵编码单元2109。熵编码单元2109编码从量化单元2102输出的量化值，并输出编码比特流 200。
[0169]逆量化单元2103逆量化从量化单元2102输出的样本值，并将频率系数输出到逆变换单元2104。逆变换单元2104在频率系数上执行逆频率变换，以便将频率系数变换为比特流的样本值，并将产生的样本值输出到加法器。加法器将从逆变换单元2104输出的比特流的样本值加到从帧间/帧内预测单元2107、2108输出的预测的影像/图像值，并将产生的相加值输出到块存储器2105或者图片存储器2106用于进一步的预测。帧间/帧内预测单元2107、2108在存储于块存储器2105中的重构影像/图像内进行搜索或者从帧存储器2110中的重构的影像/图像进行搜索，并估计影像/图像区域，所述影像/图像区域例如是最类似于用于预测的输入影像/图像。帧间预测单元2107基于从运动矢量预测单元2131输出的得到的或选择的运动矢量来执行预测处理，以产生预测的影像/图像值(即，预测块或者块或者用于当前块的预测样本)。
[0170]控制单元2130接收用于得到MVP的参数(例如，collocated_from_10_flag和collocated_ref_idx)和用于得到所涉及的参考图片的参考图片分类的参数(例如，所涉及的参考图片的POC信息)。根据本发明的实施方式，如本文前述的，基于所涉及的参考图片的类型，控制单元2130被配置为决定是否缩放运动矢量以产生运动矢量预测值候选，以便包括在候选集合中，和/或是否将运动矢量包括在候选集合中。控制单元2130随后将表示所述决定的信号2133输出到运动矢量预测单元2131。
[0171]运动矢量预测单元2131被配置为为具有当前运动矢量和当前参考图片的当前块得到用于(运动矢量预测值候选的)候选列表的运动矢量预测值候选。运动矢量预测单元2131还被配置为基于来自候选列表的选择的运动矢量候选得到运动矢量预测值2134。运动矢量预测单元2130随后将表示得到的运动矢量预测值的信号输出到帧间预测单元2131，以便执行运动矢量预测。写入单元2136被配置为将表示来自运动矢量预测单元2131的当前参考图片的参考索引2137和来自控制单元2130的参考图片分配参数2138写入到输出编码比特流200。
[0172]图22示出了根据本发明实施方式的显示影像解码装置2200的示例性结构的模块图。
[0173]影像解码装置2200被配置为在逐块的基础上解码输入编码比特流并输出影像/图像。如图22中所示的，影像解码装置2200包括熵解码单元2201、逆量化单元2202、逆变换单元2203、块存储器2204、图片/帧存储器2205、帧内预测单元2206、帧间预测单元2207、运动矢量预测单元2210、控制单元2212和解析单元2212。
[0174]将输入编码比特流输入到熵解码单元2201。在将输入编码比特流输入到熵解码单元2201后，熵解码单元2201解码输入编码比特流，并将解码值输出到逆量化单元2202。逆量化单元2202相反地量化解码值，并将频率系数输出到逆变换单元2203。逆变换单元2203在频率系数上执行逆向频率变换，将频率系数变换为样本值，并将产生的像素值输出到加法器。加法器将产生的像素值加到从帧内/帧间预测单元2206、2207输出的预测的影像/图像值(即，预测块或块或用于当前块的预测样本)，并将产生的值输出到显示器，且将产生的值输出到块存储器2204或图片存储器308用于进一步的预测。另外，帧内/帧间预测单元2206、2207在存储于块存储器2204中的影像/图像内或者从帧存储器22050中的重构影像/图像进行搜索，并估计影像/图像区域，其例如最类似于用于预测的解码影像/图像。帧间预测单元2207基于从运动矢量预测单元2210输出的得到的或选择的运动矢量2211来执行预测处理，以产生预测的影像/图像值。
[0175]解析单元2214被配置为解析参考图片分类参数309、剩余样本的块、差量运动矢量和指示来自编码影像比特流200的当前参考图片的参考索引。
[0176]运动矢量预测单元2210被配置为为具有当前运动矢量和当前参考图片的当前块得到用于(运动矢量预测值候选的)候选列表的运动矢量预测值候选。运动矢量预测单元2210还被配置为基于候选列表得到运动矢量预测值。运动矢量预测单元2210随后将表示得到的运动矢量预测值的信号输出到帧间预测单元2211，以便执行运动矢量预测。
[0177]控制单元2212被配置为从多个可用参考图片中选择参考图片，选择参考图片内的样本块，且接收当前块的相邻块或对应位置的块的运动矢量。运动矢量具有相关的参考图片(即由运动矢量所指向的)。控制单元2212还被配置为基于当前参考图片的类型和/或所述相关的参考图片的类型，决定是否缩放所述运动矢量以产生运动矢量预测值候选，和/或是否将所述运动矢量包括在候选集合中。控制单元2210将表示所述决定的信号2214输出到运动矢量预测单元2210，以便基于信号2214得到运动矢量预测值候选。
[0178]因此，改进了根据本文前述的本发明实施方式的运动矢量预测处理的效率，因为减少或去除了不必要的或不希望有的缩放步骤(即导致产生不准确的运动矢量预测值的缩放)。
[0179](实施方式A)
[0180]通过将用来实现上述各实施方式所示的动态图片编码方法(图像编码方法)或动态图片解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质可以是任何存储介质，例如磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0181]进而，这里说明在上述各实施方式中示出的动态图片编码方法(图像编码方法)或动态图片解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0182]图23示出了实现内容分发服务的内容供给系统exlOO的整体结构。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、ex107、exl08、exl09、exllO。
[0183]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站exl06?exllO分别连接着诸如计算机exlll、个人数字助理(PDA) exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。
[0184]但是，内容供给系统exlOO的结构并不限定于图23那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl06?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线通信等直接相互连接。
[0185]照相机exll3能够进行数字摄像，例如数字摄影照相机等。照相机exll6能够进行数字摄影，也能够捕获静态图像，例如数字照相机等。此外，便携电话exll4是满足诸如全球移动通信系统(GSM)(注册商标)、码分多址(CDMA)、宽带一码分多址(W - CDMA)、长期演进(LTE)、和高速分组接入(HSPA)的标准的任何便携电话机。可替换地，便携电话exll4可以是个人手持电话系统(PHS)。
[0186]在内容供给系统exlOO中，流媒体服务器exl03经由电话网exl04、基站exl09连接到照相机exll3等，流媒体服务器exl03能够进行现场演出的图像的分发等。在这个分发中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送编码的内容。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机exlll、PDAexll2、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0187]摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以在照相机exll3与流媒体服务器exl03之间分担进行编码处理。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以在客户端与流媒体服务器exl03之间分担进行解码处理。此外，并不限于照相机exll3，也可以将由照相机exll6捕获的静止图像及摄影数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03进行，也可以相互分担进行。
[0188]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSI ex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图片编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(CD — ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的动态图片数据发送。此时的动态图片数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0189]此外，流媒体服务器exl03由多个服务器或多个计算机组成，可以分散数据，并将分散的数据处理、记录、或分发数据。
[0190]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。换句话说，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码，并再现解码的数据，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0191]另外，并不限定于内容供给系统exlOO的例子，如图24所示，在数字广播用系统ex200中也能够实施上述各实施方式的至少动态图片编码装置(图像编码装置)或动态图片解码装置(图像解码装置)的至少之一。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向广播卫星ex202传送或发送。该影像数据是通过上述各实施方式中说明的动态图片编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该复用数据的广播卫星ex202发出广播用的电波。于是，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波。接着，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将解码数据再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0192]此外,读取器/记录器ex218可以(i)将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或(i)将记录介质ex215中的影像数据编码，再根据情况，将编码数据与音乐信号复用而获得的数据写入记录介质ex215中。读取器/记录器ex218中也能够安装上述各实施方式所示的动态图片解码装置或动态图片编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图片解码装置，将影像信号用电视机的监视器ex219显示。也可以不是在机顶盒、而在电视机ex300内装入动态图片解码装置。
[0193]图25示出了使用在上述各实施方式中说明的动态图片解码方法及动态图片编码方法的电视机(接收机)ex300。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者提供对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/调解单元ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理单元ex306中编码的影像数据、声音数据复用的复用/分离单元ex303。
[0194]此外，电视机eX300进一步具备:具有将声音数据、影像数据分别解码、或将声音数据、影像数据编码的声音信号处理单元ex304和影像信号处理单元ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理单元ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示单元ex308的输出单元ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入单元ex312等的接口单元ex317。进而，电视机ex300具有合并控制各部的控制单元ex310、对各部供给电力的电源电路单元ex311。接口单元ex317也可以除了操作输入单元ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽单元ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0195]首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制单元ex310的控制，将由调制/调解单元ex302解调的复用数据用复用/分离单元ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理单元ex304解码，将分离的影像数据用影像信号处理单元ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出单元ex309朝向外部输出。在输出单元ex309输出影像信号和声音信号时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制单元ex310的控制，由声音信号处理单元ex304将声音信号编码，由影像信号处理单元ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离单元ex303复用，向外部输出得到的信号。在复用/分离单元ex303复用声音信号、影像信号时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是在电视机ex300中共用一个以上的缓冲器。进而，也可以在例如调制/调解单元ex302或复用/分离单元ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0196]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0197]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
[0198]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录单元ex400的结构表示在图26中。信息再现/记录单元ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头 ex401 对作为光盘的记录介质 ex215 的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录单元ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现调解单元ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制单元ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制单元ex407进行信息再现/记录单元eX400整体的控制。上述的读出及写入的处理由系统控制单元ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录单元ex402、再现调解单元ex403、伺服控制单元ex406协调动作、一边通过光头θχ401进行信息的记录再现来实现。系统控制单元ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0199]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。
[0200]图27示出了作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽，在信息轨道ex230中，预先通过导引槽的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现数据的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录单元ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0201]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0202]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图片。另夕卜，车载导航仪ex211的结构可以考虑例如在图25所示的结构中添加GPS接收单元的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0203]图28A示出了使用在上述实施方式中说明的动态图片解码方法和动态图片编码方法的便携电话exll4。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄动态影像、静止图像的照相机单元ex365、显示将由照相机单元ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示单元ex358。便携电话exll4还具有包含操作键单元ex366的主体部、用来进行声音输出的扬声器等的声音输出单元ex357、用来进行声音输入的麦克风等的声音输入单元ex356、保存拍摄到的影像、静止图片、录音的声音、或者接收到的影像、静止图片、邮件等的编码后的数据或者解码后的数据的存储器单元ex367、和作为用于以与存储器单元ex367同样方式保存数据的记录介质的接口单元的插槽单元ex364。
[0204]进而，使用图28B对便携电话exll4的结构例进行说明。便携电话exll4对于合并控制具备显示单元ex358及操作键单元ex366的主体部的各部的主控制单元ex360,将电源电路单元ex361、操作输入控制单元ex362、影像信号处理单元ex355、照相机接口单元ex363、IXD (Liquid Crystal Display:液晶显示器)控制单元ex359、调制/调解单元ex352、复用/分离单元ex353、声音信号处理单元ex354、插槽单元ex364、存储器单元ex367经由同步总线ex370相互连接。
[0205]电源电路单元ex361如果通过用户的操作使通话结束键或电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0206]便携电话exll4基于具有CPU、ROM及RAM等的主控制单元ex360的控制，在语音通话模式时，将由声音输入单兀ex356集音的声音信号通过声音信号处理单兀ex354变换为数字声音信号。随后，将数字声音信号用调制/调解单元ex352进行波谱扩散处理，由发送/接收单元ex351对数据实施数字模拟变换处理及频率变换处理后经由天线ex350发送得到的数据。此外，便携电话exll4在语音通话模式时，发送/接收单元ex351将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理。随后，调制/调解单元ex352对数据进行波谱逆扩散处理，通过声音信号处理单元ex354变换为模拟声音数据后，将其经由声音输出单元ex357输出。
[0207]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键单元ex366等的操作输入的电子邮件的文本数据经由操作输入控制单元ex362向主控制单元ex360送出。主控制单元ex360将文本数据用调制/调解单元ex352进行波谱扩散处理，由发送/接收单元ex351对得到的数据实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送数据。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并将得到的数据输出到显示单元ex350。
[0208]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理单元ex355将从照相机单元ex365供给的影像信号通过上述各实施方式所示的动态图片编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离单元ex353。相反地，声音信号处理单元ex354对通过照相机单元ex365拍摄影像、静止图像等的过程中用声音输入单元ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离单元ex353。
[0209]复用/分离单元ex353通过规定的方式，对从影像信号处理单元ex355供给的编码后的影像数据和从声音信号处理单元ex354供给的编码后的声音数据进行复用，将其产生的复用数据用调制/调解单元(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收单元ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送产生的数据。
[0210]在数据通信模式时接收到链接到主页等的动态图片文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离单元ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理单元ex355供给，并将编码后的声音数据向声音信号处理单元ex354供给。影像信号处理单元ex355通过与上述各实施方式所示的动态图片编码方法相对应的动态图片解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制单元ex359从显示单元ex358显示例如链接到主页的动态图片文件中包含的影像、静止图像。另夕卜，声音信号处理单兀ex354对声音信号进行解码,从声音输出单兀ex357输出声音。
[0211]此外，上述便携电话exll4等的终端与电视机ex300同样，除了(i)具有编码器、解码器两者的收发型终端以外，还可以考虑(ii)只有编码器的发送终端、(iii)只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，作为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但复用数据也可以通过除声音数据之外复用了与影像关联的字符数据等而获得，不是复用数据而是影像数据本身也可以。
[0212]这样，将在上述各实施方式中的动态图片编码方法和动态图片解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的有利效果。
[0213]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形和修正。
[0214](实施方式B)
[0215]也可以通过将(i)在上述各实施方式中示出的动态图片编码方法或动态图片编码装置、与(ii)依据MPEG - 2,MPEG 一 4AVC和VC — I等不同的标准的动态图片编码方法或动态图片编码装置根据需要而适当切换，来生成影像数据。
[0216]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0217]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0218]图29示出了复用数据的结构。如图29所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在图像上的通常的影像，所谓副影像，是在主影像中用较小的图像显示的影像。此外，交互图形流表示通过在图像上配置GUI部件而制作的对话图像。视频流通过在上述各实施方式中示出的动态图片编码方法或装置、依据以往的MPEG —2>MPEG - 4AVC和VC — I等标准的动态图片编码方法或装置编码。音频流由杜比AC — 3、Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的标准编码。
[0219]包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0220]图30示意地表示复用数据怎样被复用。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0221]图31更详细地表示在PES包序列中怎样保存视频流。图31的第I段表示视频流的视频巾贞序列。第2段表示PES包序列。如图31的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为影像显现单元的I图片、B图片、P图片按每个图片被分割并保存到各PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的显现时间戳(PTS) (Presentat1n Time-Stamp)及作为图片的解码时刻的解码时间戳(DTS) (DecodingTime-Stamp)。
[0222]图32表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包。上述PES包分别被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包。源包写入到复用数据中。在TP_Extra_Header中记载有Arrival_Time_Stamp (ATS)等信息。ATS表示该TS包向PID滤波器的转送开始时刻。在复用数据中，源包如图32下段所示排列。从复用数据的开头起递增的号码被称作源包号(SPN)。
[0223]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有 PAT(Program Associat1n Table) > PMT(Program Map Table) > PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为O。PMT存储复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息。PMT还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等信息。PCR为了取得作为ATS的时间轴的ATC(Arrival TimeClock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0224]图33详细地说明PMT的数据构造。PMT头配置在PMT的开头。PMT头记述了包含在该PMT中的数据的长度等。在PMT头后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载在描述符中。在描述符之后，配置有多条关于包含在复用数据中的各流的流信息。每一条流信息由说明用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)等的信息的流描述符构成。流描述符的数量等于复用数据中的流的数量。
[0225]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0226]复用数据信息文件如图34所示，是复用数据的管理信息。复用数据信息文件与复用数据一对一地对应，每一个文件由复用数据信息、流属性信息以及入口映射构成。
[0227]复用数据信息如图34所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示后述的系统目标解码器将复用数据向PID滤波器转送的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS。再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0228]流属性信息如图35所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、音频流支持哪种语言、采样频率是多少等的信息。视频流属性信息和音频流属性信息用于在播放器再现信息之前的解码器的初始化中。
[0229]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图片编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，分配表示是通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据的唯一信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0230]此外，在图36中表示本实施方式的动态图片解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图片编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图片编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图片解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG — 4AVC、VC — I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图片解码方法进行解码。
[0231]这样，通过在流类型、或视频流属性信息中分配新的唯一值，能够判断是否能够通过在上述各实施方式中示出的动态图片解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置。所以能够不发生错误地进行信息解码。此外，将在本实施方式中示出的动态图片编码方法或装置、或者动态图片解码方法或装置用在上述任何设备、系统中。
[0232](实施方式C)
[0233]在上述各实施方式中示出的动态图片编码方法及装置、动态图片解码方法及装置典型地可以由集成电路或大规模集成(LSI)电路的形式实现。作为LSI的一例，图37表示I芯片化的LSI ex500的结构。LSI ex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路单元ex505通过在电源电路单元ex505是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0234]例如在进行编码处理的情况下，LSI ex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512等的控制单元ex501的控制,通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被接收的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制单元ex501的控制，将储存的数据根据处理量及传送到信号处理单元ex507的速度分为多个数据部。随后，在信号处理单元ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。此外，在信号处理单元ex507中，有时还进行将编码的声音数据和编码的影像数据复用的处理，从流I/0ex506向外部输出。将该输出的复用数据向基站exl07发送、或写入到记录介质ex215中。另外，在复用数据集时，可以暂时将数据储存到缓冲器ex508中以使数据集同步。
[0235]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0236]此外，在上述中，假设控制单元ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512等,但控制单元ex510的结构并不限定于该结构。例如，也可以是信号处理单元ex507还具备CPU的结构。通过在信号处理单元ex507的内部中也设置另一个CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502充当信号处理单元ex507、或作为信号处理单元ex507的一部分的例如声音信号处理单元的结构。在这样的情况下，控制单元ex501为具备具有信号处理单元ex507或其一部分的CPUex502的结构。
[0237]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0238]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器等实现。也可以利用在LSI制造后能够编程的现场可编程门阵列(FPGA)、或能够重构LSI的连接及设定的可重构处理器。
[0239]进而，随着半导体技术的进步，会出现代替LSI的集成电路化的全新技术。则当然也可以使用该技术进行功能模块的集成化。有可能是本发明的生物技术的应用。
[0240](实施方式D)
[0241]在将通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG — 4AVC、VC — I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0242]为了解决该问题，电视机ex300、LSIex500等的动态图片解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图38表示本实施方式的结构ex800。驱动频率切换单元ex803在影像数据是通过在上述各实施方式中示出的动态图片编码方法或装置生成的情况下，将驱动频率设定得高。并且，驱动频率切换单元ex803对执行在上述各实施方式中示出的动态图片解码方法的解码处理单元ex801指示将影像数据解码。在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图片编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，驱动频率切换单元ex803对依据以往的标准的解码处理单元ex802指示将影像数据解码。
[0243]更具体地讲，驱动频率切换单元ex803由图37的CPUex502和驱动频率控制单元ex512构成。此外，执行在上述各实施方式中示出的动态图片解码方法的解码处理单元ex801、以及依据以往的标准的解码处理单元ex802对应于图37的信号处理单元ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制单元ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理单元ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式B中记载的识别信息。关于识别信息，并不限定于在实施方式B中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图40所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0244]图39表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理单元ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的动态图片编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制单元ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制单元ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG - 2、MPEG — 4AVC、VC — I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制单元ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制单元ex512中，设定为与影像数据是通过在上述各实施方式中示出的动态图片编码方法或装置生成的数据的情况相比更低的驱动频率。
[0245]进而，通过与驱动频率的切换连动而变更对LSIeX500或包括LSIeX500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
[0246]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG - 4AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0247]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据的情况下，将对LSIeX500或包括LSIeX500的装置施加的电压设定得高，在识别信息表示是依据以往的MPEG - 2、MPEG 一 4AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在识别信息表示是依据以往的MPEG — 2、MPEG 一4AVC、VC — I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动在给定时间暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图片编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动在给定时间暂停。在此情况下，可以考虑与识别信息表示是依据以往的MPEG - 2、MPEG 一4AVC、VC -1等的标准的影像数据的情况相比，将停止时间设定得短。
[0248]这样，根据影像数据所依据的标准来切换驱动频率，由此能够改善节电效果。此夕卜，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0249](实施方式E)
[0250]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理单元ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理单元ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0251]为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图片解码方法的解码处理单元、和依据以往的MPEG - 2、MPEG — 4AVC、VC — I等的标准的解码处理单元一部分共用的结构。图41A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图片解码方法和依据MPEG - 4AVC标准的动态图片解码方法在熵编码、逆量化、解块滤波器、运动补偿预测等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG - 4AVC标准的解码处理单元ex902。相反，关于本发明的一个方式所特有的其他的处理内容，使用专用的解码处理单元ex901。特别是，例如本发明在逆量化方面具有特征，因此可以考虑例如对于逆量化使用专用的解码处理单元ex901，对于除此之外的熵解码、解块滤波、运动补偿中的某一个或者全部的处理，共用解码处理单元。关于解码处理单元的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图片解码方法的解码处理单元，关于MPEG - 4AVC标准所特有的处理内容，使用专用的解码处理单元。
[0252]此外，用图41B的exlOOO表示将处理一部分共用的另一例。在该例中，采用支持本发明的一个方式所特有的处理内容的专用的解码处理单元exlOOl、和支持其他的以往标准所特有的处理内容的专用的解码处理单元exl002、和支持在本发明的一个方式的动态图片解码方法和其他的以往标准的动态图片解码方法中共通的处理内容的共用的解码处理单元exl003的结构。这里,专用的解码处理单元exl001、exl002并不一定分别是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0253]这样，对于在本发明的一个方式的动态化解码方法和以往的标准的动态图片解码方法中共通的处理内容，共用解码处理单元，由此能够减小LSI的电路规模并且降低成本。
[0254]本领域技术人员会意识到，在不脱离宽泛说明的本发明的精神或范围的情况下，可以对如具体实施例中描述的本发明做出许多变化和/或修改。因此，这些实施例在所有方面都应认为是说明性而非限制性的。
【权利要求】
1.一种为图片中的当前块执行运动矢量预测的方法，所述方法包括: 为具有当前运动矢量和当前参考图片的所述当前块得到用于运动矢量预测值候选的候选列表的运动矢量预测值候选，以及 基于来自所述候选列表的选择的运动矢量预测值候选得到运动矢量预测值， 其中，所述得到所述运动矢量预测值候选包括: 选择所述当前块的相邻块或对应位置的块的运动矢量，所述运动矢量具有相关的参考图片，以及 基于所述当前参考图片的类型和/或所述相关的参考图片的类型来决定是否缩放所述运动矢量以产生所述运动矢量预测值候选，和/或是否将所述运动矢量包括到所述候选列表中。
2.根据权利要求1所述的方法，其中，所述决定包括确定是所述当前参考图片还是所述相关的参考图片具有预定类型。
3.根据权利要求2所述的方法，进一步包括如果所述当前参考图片或所述相关的参考图片具有预定类型，则将所述运动矢量排除在所述候选列表的包括之外。
4.根据权利要求2所述的方法，进一步包括如果所述当前参考图片或所述相关的参考图片具有预定类型，则缩放所述运动矢量以产生所述运动矢量预测值候选。
5.根据权利要求2所述的方法，其中，如果所述当前参考图片或所述相关的参考图片具有预定类型，则决定不缩放所述运动矢量，并复制所述运动矢量以产生运动矢量预测值候选。
6.根据权利要求2所述的方法，进一步包括如果所述当前参考图片和所述相关的参考图片具有相同的类型，则缩放所述运动矢量以产生所述运动矢量预测值候选。
7.根据权利要求2至6中任意一项所述的方法，其中，所述预定类型的参考图片是长期参考图片、视图间参考图片、和/或层间参考图片。
8.一种编码方法，用于对图片的当前块进行编码以产生编码比特流，所述编码方法包括根据权利要求1至7中的任意一项来为所述当前块执行运动矢量预测的方法。
9.一种解码方法，用于从编码比特流解码图片的当前块，所述解码方法包括根据根据权利要求1至7中的任意一项来为所述当前块执行运动矢量预测的方法。
10.一种编码装置，用于对图片中的当前块进行编码以产生编码比特流，所述编码装置包括: 运动矢量预测单元，所述运动矢量预测单元用于为具有当前运动矢量和当前参考图片的所述当前块得到用于运动矢量预测值候选的候选列表的运动矢量预测值候选，且所述运动矢量预测单元用于基于来自所述候选列表的选择的运动矢量预测值候选得到运动矢量预测值； 控制单元，所述控制单元用于接收所述当前块的相邻块或对应位置的块的运动矢量，所述运动矢量具有相关的参考图片，且所述控制单元用于基于所述当前参考图片的类型和/或所述相关的参考图片的类型，决定是否缩放所述运动矢量以产生所述运动矢量预测值候选，和/或是否将所述运动矢量包括在所述候选列表中； 帧间预测单元，所述帧间预测单元用于基于所得到的运动矢量预测值来产生预测块；以及 编码单元，所述编码单元用于基于所述当前块和所述预测块来产生所述编码比特流，其中，所述控制单元被配置为将表示所述决定的信号输出到所述运动矢量预测单元，从而基于所述信号得到所述运动矢量预测值候选。
11.一种解码装置，用于从编码比特流解码图片中的当前块，所述解码装置包括: 运动矢量预测单元，所述运动矢量预测单元用于为具有当前运动矢量和当前参考图片的当前块得到用于运动矢量预测值候选的候选列表的运动矢量预测值候选，且所述运动矢量预测单元用于基于来自所述候选列表的选择的运动矢量预测值候选来得到运动矢量预测值； 控制单元，所述控制单元用于接收所述当前块的相邻块或对应位置的块的运动矢量，所述运动矢量具有相关的参考图片，且所述控制单元用于基于所述当前参考图片的类型和/或所述相关的参考图片的类型，决定是否缩放所述运动矢量以产生所述运动矢量预测值候选，和/或是否将所述运动矢量包括在所述候选列表中； 解码单元，所述解码单元用于从编码比特流解码所述当前块；以及帧间预测单元，所述帧间预测单元用于基于所得到的运动矢量预测值来产生预测块，所述预测块用于重构所述当前块， 其中，所述控制单元被配置为将表示所述决定的信号输出到所述运动矢量预测单元，从而基于所述信号得到所述运动矢量预测值候选。
12.—种计算机程序产品，具体化于非暂时性计算机可读储存介质中，所述计算机程序产品包括能够由计算处理器执行的指令，用以执行根据权利要求1至9中任意一项所述的方法。
【文档编号】H04N19/61GK104272743SQ201380023759
【公开日】2015年1月7日 申请日期:2013年5月7日 优先权日:2012年5月9日
【发明者】林宗顺, 乃苏孟德, 西孝启, 笹井寿郎, 柴原阳司, 杉尾敏康, 谷川京子, 松延彻, 寺田健吾 申请人:松下电器（美国）知识产权公司