使用时间运动矢量预测对视频进行编码和解码的方法和装置制造方法

使用时间运动矢量预测对视频进行编码和解码的方法和装置制造方法
【专利摘要】一种用于利用时间运动矢量预测将视频编码成经编码的视频比特流的方法，所述方法包括：确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值；以及将所述标志写入子图片单元的头部或图片的头部；其中，如果标志指示使用了时间运动矢量预测，那么所述方法还包括：创建包括多个运动矢量预测符的运动矢量预测符的第一列表，所述多个运动矢量预测符包括：从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符；针对所述子图片单元中的预测单元，从第一列表中选择运动矢量预测符；以及将第一参数写入经编码的视频比特流来指示从第一列表中所选择的运动矢量预测符，其中，如果标志指示未使用时间运动矢量预测，那么所述方法还包括：创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表；以及针对子图片单元中的预测单元从第一列表中选出运动矢量预测符。将第二参数写入经编码的视频比特流来指示从第二列表中所选择的运动矢量预测符。此外，提供了用于对经编码的视频进行解码的方法以及用于对视频进行编码和解码的相应装置。
【专利说明】使用时间运动矢量预测对视频进行编码和解码的方法和装

【技术领域】
[0001] 本发明涉及使用时间运动矢量预测对视频进行编码的方法和对视频进行解码的 方法，及其装置。本发明可以应用于任何多媒体数据编码，更具体地说，本发明可以应用于 利用用于图片间预测的时间运动矢量预测来对图像和视频内容进行编码。

【背景技术】
[0002] 诸如H. 264/MPEG-4AVC以及即将到来的HEVC (高效视频编码）的视频编码方案根 据之前编码/解码的参考图片使用图片间（或者简称"间"）预测来执行对图像/视频内容 的编码/解码，以便利用跨越时间上连续的图片的信息冗余。
[0003] 在经编码的视频比特流中，用于预测单元（例如采样的MXN块）的图片间预测处 理的参考图片通过使用参考索引而被识别或参考。参考索引是包括一个或多个参考图片的 有序列表（称为参考图片列表）的索引。每一个参考索引与参考图片列表中的参考图片唯 一地相关联。也就是说，参考索引是用于对多个参考图片彼此进行区分的值。
[0004] 上述编码方案支持运动矢量的时间预测（即，运动矢量预测或MVP)，由此采样的 目标块的运动矢量是根据共置的参考图片中的一个或多个之前编码的采样块的运动矢量 进行预测的。时间运动矢量预测通过利用时间上相邻的运动矢量之间的信息冗余，进一步 降低了与运动矢量相关联的比特速率。共置的参考图片是使用预先确定的方案在可用参考 图片之中选择的，例如，在预先确定的参考图片列表（例如参考图片列表〇)中选择第一参 考图片作为共置的参考图片。
[0005] 在需要跨越有损环境传输视频的应用中，当共置的参考图片丢失或包含错误时， 时间运动矢量预测易受运动矢量的错误预测影响。在处于发展中的HEVC标准中，公开了 一种用于禁用某一子图像单元（例如，切片）的时间运动矢量预测的技术。JCTVC-G398， "High-level Syntax:Marking process for non-TMVP pictures"，ITU-T SG16WP3和 ISO/ IEC JTC1/SC29/WG11第七次会议的视频编码联合协作小组（JCT-VC)，日内瓦，CH，2011年 11月。在该技术中，有必要在图片参数集（PPS)中引入用于将解码器图片缓冲器（DPB)中 的图片标记为"未用于时间运动矢量预测"的标记标志。当子图片单元指的是具有等于"真 (TRUE) "的标记标志的PPS时，该标记处理由解码器执行。
[0006] 参考文献列表
[0007] 非专利文献
[0008] NPL1:IS0/IEC14496-10,"MPEG-4PartlOAdvanced Video Coding"
[0009] NPL2 ：JCTVC-G398, ^High-level Syntax:Marking process for non-TMVP pictures' ITU-T SG16WP3和IS0/IEC JTC1/SC29/WG11第七次会议的视频编码联合协作小 组（JCT-VC)，日内瓦，CH，2011 年 11 月。


【发明内容】

[0010] 技术问题
[0011] 如【背景技术】中所述，在用于禁用某些切片的时间运动矢量预测的公开技术中，有 必要在图片参数集（PPS)中引入标记标志用于将解码器图片缓冲器（DPB)中的图片标记为 "不用于时间运动矢量预测"。与该技术相关联的一个主要问题是：当调用标记处理的切片 丢失或包含错误时，解码器不能执行预期的标记处理。从而，失去了随后的编码器与解码器 之间的同步。因此用于禁用时间运动矢量预测的上述技术不是鲁棒的。
[0012] 问题的解决方案
[0013] 本发明寻求提供具有提升的容错性的用于利用时间运动矢量预测对视频进行编 码和解码的方法和装置。具体而言，以不容易受错误影响的方式来启用/禁用针对子图片 单元（例如，切片）的时间运动矢量预测。例如，根据本发明的实施例，消除由解码器执行 的上述标记处理（即，用于将参考图片标记为"不用于时间运动矢量预测"）。
[0014] 根据本发明的第一方案，提供了一种利用时间运动矢量预测将视频编码成经编码 的视频比特流的方法，所述方法包括：
[0015] 确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢 量预测的标志的值；
[0016] 将所述标志写入所述子图片单元的头部或所述图片的头部；并且
[0017] 其中，如果所述标志指示使用了时间运动矢量预测，那么所述方法还包括：
[0018] 创建包括多个运动矢量预测符（predictor)的运动矢量预测符的第一列表，所述 多个运动矢量预测符包括：从来自共置的参考图片的至少一个运动矢量推导出的至少一个 时间运动矢量预测符；
[0019] 针对所述子图片单元中的预测单元，从所述第一列表中选择运动矢量预测符；以 及
[0020] 将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运 动矢量预测符。
[0021] 优选地，如果所述标志指示未使用时间运动矢量预测，那么所述方法还包括：
[0022] 创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测 符的第二列表；
[0023] 针对所述子图片单元中的预测单元，从所述第二列表中选择运动矢量预测符；以 及
[0024] 将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运 动矢量预测符。
[0025] 在一个实施例中，所述标志的值是基于所述图片的时间层确定的。
[0026] 优选地，如果确定所述图片的所述时间层是最低层或基层，那么设置所述标志的 值来指示未使用时间运动矢量预测，否则，设置所述标志的值来指示使用了时间运动矢量 预测。
[0027] 在另一个实施例中，所述标志的值是基于所述图片的图片顺序计数（P0C)值确定 的。
[0028] 优选地，如果确定所述图片的所述P0C值大于解码器图片缓冲器（DPB)中的参考 图片的任意P0C值，那么设置所述标志的值来指示未使用时间运动矢量预测，否则，设置所 述标志的值来指示使用了时间运动矢量预测。
[0029] 在又一个实施例中，所述标志的值是基于所述图片中的图片间子图片单元的子图 片单元类型确定的。
[0030] 优选地，如果所述子图片单元类型是预测性（P)类型，那么设置所述标志的值来 指示未使用时间运动矢量预测，否则，设置所述标志的值来指示使用了时间运动矢量预测。
[0031] 在又一个实施例中，所述标志的值是基于包含所述子图片单元的所述图片是否是 随机接入点（RAP)图片来确定的。
[0032] 优选地，如果所述图片是RAP图片并且所述子图片单元属于所述图片的非基层， 那么设置所述标志的值来指示未使用时间运动矢量预测，否则，设置所述标志的值来指示 使用了时间运动矢量预测。
[0033] 优选地，将所述标志写入所述子图片单元的所述头部。
[0034] 优选地，所述方法还包括：将一个或多个参数写入所述子图片单元的头部，以便指 定在用于子图片单元的图片间预测的一个或多个参考图片列表中的参考图片的顺序。
[0035] 优选地，所述方法还包括：
[0036] 使用所选择的运动矢量预测符来执行运动补偿的图片间预测以便产生所述预测 单元；
[0037] 从原始采样块中减去所述预测单元以便产生剩余采样块；以及
[0038] 将与预测单元相对应的剩余采样块编码成所述经编码的视频比特流。
[0039] 在一个实施例中，所述第二列表包括比所述第一列表少一个的运动矢量预测符， 并且除了所述时间运动矢量预测符，所述第一和第二列表的所述运动矢量预测符是相同 的。
[0040] 优选地，所述第一和第二参数在所述经编码的视频比特流中是使用不同的预先确 定的比特表示来表示的。
[0041] 在另一个实施例中，所述第一和第二列表包括相同的预先确定的数量的运动矢量 预测符，并且所述第二列表包括并不存在于所述第一列表中且是在未使用来自任何参考图 片的运动矢量的情况下推导出的的运动矢量预测符。
[0042] 优选地，所述标志用于指示：针对独立于所述图片中的其它子图片单元的子图片 单元的所述图片间预测，使用还是未使用时间运动矢量预测。
[0043] 优选地，所述子图片单元是图片切片。
[0044] 根据本发明的第二方案，提供了一种利用时间运动矢量预测对经编码的视频比特 流进行解码的方法，所述方法包括：
[0045] 对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析；以及 [0046] 确定所述标志指示使用还是未使用时间运动矢量预测；
[0047] 其中，如果所述标志指示使用了时间运动矢量预测，那么所述方法还包括：
[0048] 创建包括多个运动矢量预测符的运动矢量预测符的第一列表，所述多个运动矢量 预测符包括：从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量 预测符；
[0049] 对来自所述经编码的视频比特流的第一参数进行解析，所述第一参数指示针对所 述子图片单元中的预测单元从所述第一列表中所选择的运动矢量预测符。
[0050] 优选地，如果所述标志指示未使用时间运动矢量预测，那么所述方法还包括：
[0051] 创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测 符的第二列表；以及
[0052] 对来自所述经编码的视频比特流的第二参数进行解析，所述第二参数指示针对所 述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。
[0053] 根据本发明的第三方案，提供了一种利用时间运动矢量预测将视频编码成经编码 的视频比特流的装置，所述装置包括：
[0054] 控制单元，其可操作用于：确定用于指示针对图片的子图片单元的图片间预测使 用还是未使用时间运动矢量预测的标志的值；
[0055] 写单元，其可操作用于：将具有所述值的标志写入所述子图片单元的头部或所述 图片的头部；
[0056] 运动矢量预测单元；以及
[0057] 图片间预测单元，其用于：基于从所述运动矢量预测单元选择的运动矢量预测符 来执行图片间预测，
[0058] 其中，所述运动矢量预测单元被配置为：接收所述标志，并且基于所述标志是第一 值，所述运动矢量预测单元可操作用于：创建包括多个运动矢量预测符的运动矢量预测符 的第一列表，所述多个运动矢量预测符包括：从来自共置的参考图片的至少一个运动矢量 推导出的至少一个时间运动矢量预测符，以及针对所述子图片单元中的预测单元，从所述 第一列表中选择运动矢量预测符；以及
[0059] 所述写单元还可操作用于：将第一参数写入所述经编码的视频比特流来指示从所 述第一列表中所选择的运动矢量预测符。
[0060] 优选地，当所述标志是第二值时，所述运动矢量预测单元可操作用于：创建包括多 个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表；以及针 对所述子图片单元中的预测单元，从所述第一列表中选择运动矢量预测符；以及
[0061] 所述写单元还可操作用于：将第二参数写入所述经编码的视频比特流来指示从所 述第二列表中所选择的运动矢量预测符。
[0062] 根据本发明的第四方案，提供了一种利用时间运动矢量预测对经编码的视频比特 流进行解码的装置，所述装置包括：
[0063] 解析单元，其可操作用于：对来自经编码的视频的子图片单元的头部或者图片的 头部的标志进行解析；以及确定所述标志指示使用还是未使用时间运动矢量预测；
[0064] 运动矢量预测单元；以及
[0065] 图片间预测单元，其用于：基于从所述运动矢量预测单元中所选择的运动矢量预 测符来执行图片间预测；
[0066] 其中，所述运动矢量预测单元被配置为：接收所述标志，并且基于所述标志是第一 值，所述运动矢量预测单元可操作用于：创建包括多个运动矢量预测符的运动矢量预测符 的第一列表，所述多个运动矢量预测符包括：从来自共置的参考图片的至少一个运动矢量 推导出的至少一个时间运动矢量预测符；以及
[0067] 所述解析单元还可操作用于：对来自所述经编码的视频比特流的第一参数进行解 析，所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动 矢量预测符。
[0068] 优选地，当所述标志是第二值时，所述运动矢量预测单元可操作用于：创建包括多 个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表；以及 [0069] 所述解析单元还可操作用于：对来自所述经编码的视频比特流的第二参数进行解 析，所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动 矢量预测符。
[0070] 本发明的有利效果
[0071] 本发明的实施例提供了具有图片间预测的提升的容错性的、用于使用时间运动矢 量预测对视频进行编码和解码的方法和装置。例如，这些实施例还可以导致图片间预测的 提升的灵活性和编码效率，因为可以针对同一个图片中的多个子图片单元来独立地启用和 禁用时间运动矢量预测。

【专利附图】

【附图说明】
[0072] 图1描绘了根据本发明的实施例的示例性经编码的视频比特流的分解示意图；
[0073] 图2描绘了示出根据本发明的实施例的对视频进行编码的方法的流程图；
[0074] 图3描绘了用于对输入视频/图像比特流进行编码的示例性装置的示意性框图；
[0075] 图4描绘了示出根据本发明的实施例的对经编码的视频进行解码的方法的流程 图；
[0076] 图5描绘了用于对输入的经编码的比特流进行解码的示例性装置的示意性框图；
[0077] 图6描绘了示出一组示例性图片的不同时间层的图；
[0078] 图7描绘了示出根据第一实施例确定时间运动矢量预测使用标志的值的方法的 流程图；
[0079] 图8描绘了示出根据第二实施例确定时间运动矢量预测使用标志的值的方法的 流程图；
[0080] 图9描绘了示出根据第三实施例确定时间运动矢量预测使用标志的值的方法的 流程图；
[0081] 图10描绘了 NAL单元流的图表示，即，用于经编码的视频比特流的一系列NAL单 元；
[0082] 图11利用多个切片描绘了包含多个视图/层的示例性RAP图片的图表示；
[0083] 图12描绘了示出根据第四实施例确定时间运动矢量预测使用标志的值的方法的 流程图；
[0084] 图13示出了用于实现内容分配服务的内容提供系统的总体配置；
[0085] 图14示出了数字广播系统的总体配置；
[0086] 图15示出了说明电视机的配置示例的框图。
[0087] 图16示出了说明从作为光盘的记录介质上读取信息以及在其上写入信息的信息 复制/记录单元的配置示例的框图；
[0088] 图17示出了作为光盘的记录介质的配置的示例；
[0089] 图18A示出了蜂窝电话的示例；
[0090] 图18B是示出蜂窝电话的配置示例的框图；
[0091] 图19示出了复用数据的结构；
[0092] 图20示意性地示出了在复用数据中每个流是怎样被复用的；
[0093] 图21更加详细地示出了视频流怎样存储在PES分组的流中；
[0094] 图22示出了 TS分组的结构和在复用数据中的源分组；
[0095] 图23示出了 PMT的数据结构；
[0096] 图24示出了复用数据信息的内部结构；
[0097] 图25示出了流属性信息的内部结构；
[0098] 图26示出了用于识别视频数据的步骤；
[0099] 图27示出了用于实现根据每一实施例的运动图片编码方法和运动图片解码方法 的集成电路的配置的示例；
[0100] 图28示出了用于在驱动频率之间进行切换的配置；
[0101] 图29示出了用于识别视频数据以及在驱动频率之间进行切换的步骤；
[0102] 图30示出了在其中视频数据标准与驱动频率相关联的查找表的示例；
[0103] 图31A是示出用于对信号处理单元的模块进行共享的配置的示例的图；
[0104] 图31B是示出用于对信号处理单元的模块进行共享的配置的另一个示例的图。

【具体实施方式】
[0105] 根据本发明的示例性实施例，提供了使用时间运动矢量预测（TMVP)对视频进行 编码的方法和对视频进行解码的方法，及其装置。具体而言，以不易受错误影响的方式来启 用/禁用针对子图片单元（例如，切片）的时间运动矢量预测。为了实现该目标，根据本发 明的优选实施例，将标志引入到图片的头部中或者更优选地引入到子图片单元的头部中， 以用于指示针对子图片单元的图片间（或简称为"间"）预测是否使用了时间运动矢量预 测。该标志还可以被称为时间运动矢量预测使用标志。在本发明的另外的方面中，在各个 实施例中公开了用于确定/决定标志的值的优选技术。
[0106] 为了清楚和简单起见，现在将对本发明的示例性实施例进行进一步的详细描述， 由此子图片单元是图片的切片。本领域的技术人员将明白的是：切片分割仅是用于将图片 划分成多个子图片分区的一种可能的方法。因此，下文中描述的本发明的实施例不局限于 子图片单元是切片。例如，诸如拼贴、熵片和波阵面分割单元的其它子图片分割方法都在本 发明的范围之内。
[0107] 图1是根据本发明的实施例的示例性经编码的视频比特流100的分解示意图。经 编码的视频比特流100包括头部110和与头部110相关联的多个图片112。通常将图片112 分割成多个子图片单元（例如，切片）114。每一个切片114包括切片头部116和与切片头 部116相关联的切片数据118。切片数据118包括多个图片间预测类型的预测单元120。
[0108] 在如图1中所示的示例性实施例中，用于指示针对切片114的图片间预测是否使 用了时间运动矢量预测的标志122优选位于切片头部116中。因此，可以独立于同一图片 112中的其它切片114来启用和禁用每一个切片114的时间运动矢量预测。切片头部116 还包括：用于规定一个或多个参考图片列表中的参考图片的顺序的参考图片列表排序参数 124。这些参数124确定用于与切片头部116相关联或相对应的切片114的图片间预测的 参考图片列表中的参考图片的有效或最终顺序。这些参数124可以规定要在一个或多个初 始参考图片列表上执行的重新排序过程，或者可以规定在不进行重新排序的情况下使用初 始参考图片列表。如图1中所不，标志122优选位于与参考图片列表排序参数124相同的 切片头部116中。运动矢量预测符选择参数126位于每一个预测单元120中，用于在可用 于预测单元120的图片间预测的多个运动矢量预测符中选择运动矢量预测符。
[0109] 在另一个实施例中，参考图片列表排序参数124和时间运动矢量预测使用标志 122位于在同一图片112中的多个切片114之间共享的头部（未示出）中。例如，图片级别 头部110可以是HEVC编码方案中的适应参数集合（APS)或公共切片片段头部。
[0110] 如同前文中所解释的，切片分割仅是用于将图片划分成多个子图片分区的一种可 能的方法。可以使用其它可能的子图片分割方法，例如，拼贴、熵片和波阵面分割单元。在 这些其它的子图片分割方法中，如前文中所述，位于切片头部116中的参数124和标志122 反而可以位于子图片单元的头部中。
[0111] 图2描绘了示出根据本发明的实施例的对视频进行编码的方法200的流程图。在 步骤S202中，将一个或多个参数（即，参考图片列表排序参数）124写入切片114的头部 116中，以规定用于切片124的图片间预测的一个或多个参考图片列表中的参考图片的顺 序。这些参考图片列表中的一个参考图片列表（例如参考图片列表0)中预先确定的位置 (例如第一图片）指示共置的参考图片。在步骤S204中，确定指示针对切片124的图片间 预测是否使用了时间运动矢量的标志122的值。将在后文根据本发明的各个实施例描述用 于确定标志122的值的多种技术。随后在步骤S206中，将标志122写入切片114的头部 116中。在步骤S208中，对标志122的值进行分析或判断以便确定标志122指示使用还是 未使用时间运动矢量预测。例如，具有值"〇"的标志122可以指示未使用时间运动矢量预 测，而具有值" 1"的标志122可以指示使用了时间运动矢量预测，或者反之亦然。
[0112] 如果标志122指示使用了时间运动矢量预测，那么在步骤S210中，创建运动矢量 预测符的列表（第一列表），其包括多个运动矢量预测符，其中包括从来自共置的参考图 片的至少一个运动矢量推导出的至少一个时间运动矢量预测符。仅通过示例的方式，多个 运动矢量可以包括：至少一个时间运动矢量预测符，从空间相邻的预测单元/块（即，空间 运动矢量预测符）推导出的一个或多个运动矢量，以及零运动矢量。在步骤S212中，从运 动矢量预测符的列表中选出运动矢量预测符用于切片124中的采样的目标块（即预测单 元）120。在步骤214中，将参数（即，运动矢量预测符选择参数）（例如，第一参数）126写 入经编码的视频比特流100 (即，写入切片114的预测单元120)，以用于指示从运动矢量预 测符的列表中选出的运动矢量预测符。
[0113] 另一方面，如果标志122指示未使用时间运动矢量预测，那么在步骤S216中，创建 包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的列表（例 如，第二列表）。在步骤S218中，从运动矢量预测符的列表中选出运动矢量预测符用于切片 124中的采样的目标块（即预测单元）。在步骤S220中，将参数（即，运动矢量预测符选择 参数）（例如，第二参数）写入经编码的视频比特流100 (即，写入与切片头部116相关联的 切片数据118的每一个预测单元120)，以用于指示从运动矢量预测符的列表中选出的运动 矢量预测符。
[0114] 在步骤S214或步骤S220之后，使用所选择的运动矢量预测符针对切片214执行 经运动补偿的图片间预测来产生预测采样块。随后，在步骤S226中，从原始采样块中减去 预测采样块来产生剩余采样块。因此，在步骤S226中，将与目标块相对应的剩余采样块编 码成经编码的视频比特流100。
[0115] 因此，在本发明的上述实施例中，用于指示是否使用了时间运动矢量预测的标志 122能够独立于同一个图片112中的其它切片114来控制一个切片114。因此，与第一切片 114相对应的标志122在同一图片112中的第二或其它切片中并不确定是否使用了时间运 动矢量预测。另外，在上述实施例中，消除了如【背景技术】中所述的对在解码器图片缓冲器 (DPB)中的参考图片进行的标记处理。这导致提升了图片间预测的灵活性和编码效率。
[0116] 在本发明的实施例中，运动矢量预测符的第一和第二列表包括不同数量的运动矢 量预测符。优选地，第二列表包括的运动矢量预测符比第一列表少一个。在第一和第二列表 二者中，不同于时间运动矢量预测符的运动矢量预测符可以是相同或等效的。这可以增加 编码效率，因为编码器具有更多选择来从包括时间运动矢量预测符的列表（即，第一列表） 中选择最佳的候选者。因为未使用时间运动矢量预测，所以第二列表可以提供更好的容错 性。在经编码的视频比特流100中，第一和第二参数表示所选择的运动矢量预测符可以使 用不同的比特表示，例如，使用在算术编码二值化或可变长度码中具有不同最大值的截短 的一元表示。
[0117] 在本发明的另一个实施例中，第一和第二列表包括相同数量的运动矢量预测符。 第二列表包括不存在于第一列表中的另一个唯一预先确定的运动矢量预测符，而不是时间 运动矢量预测符。这可以增加编码效率，因为编码器具有更多选择来从包括唯一预先确定 的运动矢量预测符的列表（即，第二列表）中选择最佳的候选者。由于候选时间运动矢量 预测符的最大数量对于第一和第二列表来说是相同的，因此，这降低了对用于指示所选择 的运动矢量预测符的索引参数进行的解析过程的复杂度。唯一的运动矢量预测符是在没有 时间依赖性（即，未使用来自任何参考图片的运动矢量）的情况下推导出的。仅通过示例的 方式，唯一的运动矢量预测符可以是来自预先确定的相邻位置的空间运动矢量预测符。作 为另一个示例，唯一的运动矢量预测符可以是零运动矢量预测符。
[0118] 现在下面将描述根据本发明的实施例的用于对视频进行编码的示例性装置300。
[0119] 图3描绘了用于基于逐块对输入视频/图像比特流302进行编码以便生成经编码 的视频比特流304的示例性装置300的示意性框图。装置300包括：可操作用于将输入数 据变换成频率系数的变换单元306 ;可操作用于对输入数据进行量化的量化单元308 ;可操 作用于对输入数据进行反量化的反量化单元310 ;可操作用于对输入数据进行反频率变换 的反变换单元312 ;可操作用于存储诸如视频和图像的数据的块存储器314和图片存储器 316 ;可操作用于执行图片内预测的图片内预测单元318 ;可操作用于执行图片间预测的图 片间预测单元320 ;可操作用于将输入数据编码成经编码的视频比特流304的熵编码单元 322;可操作用于决定针对目标切片的图片间预测是否使用时间运动矢量预测的控制单元 324 ;运动矢量预测单元330 ;以及可操作用于将数据写入经编码的视频比特流304的写单 元 328。
[0120] 为了清晰起见，现在将对通过如图3中所示的装置300的示例性数据流进行描述。 将输入视频302输入加法器，并且向变换单元306输出相加的值305。变换单元306将相加 的值305变换成频率系数，并且向量化单元308输出所产生的频率系数307。量化单元308 对输入的频率系数307进行量化，并且向反量化单元310和熵编码单元322输出所产生的 经量化的值309。熵编码单元322对从量化单元308输出的经量化的值309进行编码，并且 输出经编码的视频比特流304。
[0121] 反量化单元310对从量化单元308输出的经量化的值309进行反量化，并且向反 变换单元312输出频率系数311。反变换单元312对频率系数311进行反频率变换以便将 频率系数变换成比特流的采样值，并且向加法器输出所产生的采样值313。加法器将从反变 换单元314输出的比特流的采样值313加上从图片内预测单元318或图片间预测单元320 输出的预测的视频/图像值319,并且向块存储器105或图片存储器106输出所产生的相 加的值315用于进一步的预测。图片内预测单元318或图片间预测单元320在存储在块存 储器314或图片存储器316中的重构的视频/图像中进行搜索，并且估计例如与输入视频 /图像最相似的视频/图像区域用于预测。
[0122] 控制单元324做出关于针对目标切片的图片间预测是否使用了时间运动矢量预 测的决定，并且向运动矢量预测单元330和写单元322输出指示该决定的信号325。随后将 根据本发明的各个实施例来对用于决定/确定是否使用了时间运动矢量预测（即，确定标 志122的值）的多种技术进行描述。基于该决定，图片间预测单元320在使用或未使用时 间运动矢量预测符的情况下执行图片间预测。具体而言，运动矢量预测单元330被配置为： 接收标志122,并且如果标志是第一值（例如，" 1"），那么运动矢量预测单元330可操作用 于创建运动矢量预测符的第一列表，其包括多个运动矢量预测符，其中包括从来自共置的 参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符，以及针对子图片单 元中的预测单元从第一列表中选出运动矢量预测符。写单元328还可操作用于：将第一参 数写入经编码的视频比特流来指示从第一列表中选出的运动矢量预测符331。另一方面，如 果标志122是第二值（例如，"0"），那么运动矢量预测单元330可操作用于：创建包括多个 运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表；以及针对 子图片单元中的预测单元，从第二列表中选出运动矢量预测符。在这种情况下，写单元328 还可操作用于：将第二参数写入经编码的视频比特流304来指示从第二列表中选出的运动 矢量预测符331。写单元328还可操作用于：将表示具有指示是否使用了时间运动矢量预 测的第一值或第二值（例如，"〇"或"1"）的标志122的数据326写入经编码的视频比特流 304(例如，子图片单元的头部或图片的头部）。
[0123] 图4描绘了示出根据本发明的实施例的对经编码的视频进行解码的方法400的流 程图。具体而言，方法400可操作用于：对根据如图2中所示的上述对视频进行编码的方 法进行编码的经编码的视频比特流100进行解码。在步骤S402中，对来自切片114的头部 116的一个或多个参数（即，参考图片列表排序参数）进行解析，以规定用于切片114的图 片间预测的一个或多个参考图片列表中的参考图片的顺序。如上文所提到的，在这些参考 图片列表中的一个参考图片列表（例如参考图片列表〇)中的预先确定的位置（例如第一 图片）指示共置的参考图片。在步骤S404中，对来自头部116的标志（即，时间运动矢量 预测标志）122进行解析，标志122指示针对切片118的图片间预测是否使用了时间运动矢 量预测。在步骤S406中，对标志122的值进行分析或判断以便确定标志122指示使用还是 未使用时间运动矢量预测。
[0124] 如果标志122指示使用了时间运动矢量预测，那么在步骤S408中，仓ij建运动矢量 预测符的列表（第一列表），其包括多个运动矢量预测符，其中包括从来自共置的参考图片 的至少一个运动矢量推导出的至少一个时间运动矢量预测符。仅通过示例的方式，多个运 动矢量可以包括：至少一个时间运动矢量预测符，从空间相邻的预测单元/块（即，空间运 动矢量预测符）推导出的一个或多个运动矢量，以及零运动矢量。在步骤S410中，对来自 经编码的视频比特流1〇〇(即，根据切片114的预测单元120)的参数（即，运动矢量预测符 选择参数）（例如，第一参数）126进行解析，其指示针对切片114中的采样的目标块（即预 测单元120)从运动矢量预测符的列表中选出的运动矢量预测符。
[0125] 另一方面，如果标志122指示未使用时间运动矢量预测，那么在步骤S412中，创建 包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的列表（例 如，第二列表）。在步骤S414中，对来自经编码的视频比特流100 (即，根据切片114的预测 单元120)对参数（即，运动矢量预测符选择参数）（例如，第二参数）进行解析，其指示针 对切片114中的采样的目标块（即预测单元120)从运动矢量预测符的列表中选出的运动 矢量预测符。
[0126] 在步骤S410或步骤S414之后，在步骤S416中，使用所选择的运动矢量预测符执 行经运动补偿的图片间预测来产生预测采样块。随后，在步骤S418中，从经编码的视频比 特流100中解码出剩余采样块。此后，在步骤S420中，将预测采样块和剩余采样块加在一 起以产生与目标块相对应的重构采样块。
[0127] 现在下面将描述根据本发明的实施例的用于对经编码的视频进行解码的示例性 装置500。
[0128] 图5描绘了用于基于逐块对输入经编码的比特流502进行解码并且例如向显示器 输出视频/图像504的示例性装置500的示意性框图。装置500包括：可操作用于对输入 经编码的比特流502进行解码的熵解码单元506 ;可操作用于对输入数据进行反量化的反 量化单元508 ;可操作用于对输入数据进行反频率变换的反变换单元510 ;可操作用于存储 诸如视频和图像的数据的块存储器512和图片存储器514;用于执行图片内预测的图片内 预测单元516 ;用于执行图片间预测的图片间预测单元518 ;运动矢量预测单元522 ;以及 可操作用于对输入经编码的比特流502进行解析并输出各个参数520、521的解析单元503。
[0129] 为了清晰起见，现在将对通过如图5中所示的装置500的示例性数据流进行描述。 将输入经编码的比特流502输入到熵解码单元506。在经编码的比特流502输入到熵解码单 元506之后，熵解码单元506对输入经编码的比特流502进行解码，并且将经解码的值507 输出到反量化单元508。反量化单元508对经解码的值507进行反量化，并且向反变换单元 510输出频率系数509。反变换单元510对频率系数509进行反频率变换以便将频率系数 509变换成采样值511，并且向加法器输出所产生的采样值511。加法器将所产生的采样值 511加上从图片内预测单元516或图片间预测单元518输出的预测的视频/图像值519,并 且向例如显示器以及向块存储器512或图片存储器514输出所产生的值504以用于进一步 的预测。此外，图片内预测单元516或图片间预测单元518在存储于块存储器512或图片 存储器514中的视频/图像中进行搜索，并且估计例如与经解码的视频/图像最相似的视 频/图像区域用于预测。
[0130] 另外，解析单元506对来自切片或图片的头部用于指示针对目标切片的图片间预 测是否使用了时间运动矢量预测的标志122进行解析，并且向运动矢量预测单元522输出 所解析的数据520。图片间预测单元518可操作用于：基于标志122的值和来自运动矢量 预测单元522的所选择的运动矢量预测符，在使用或未使用时间运动矢量预测符的情况下 执行图片间预测。具体而言，运动矢量预测单元522被配置为：接收包含标志122的数据 520,并且如果标志是第一值（例如，"1"），那么运动矢量预测单元522可操作用于创建运 动矢量预测符的第一列表，其包括多个运动矢量预测符，其中包括从来自共置的参考图片 的至少一个运动矢量推导出的至少一个时间运动矢量预测符。如果标志是第二值（例如， "0"），那么运动矢量单元522可操作用于：创建包括多个运动矢量预测符而没有任何时间 运动矢量预测符的运动矢量预测符的第二列表。解析单元503还可操作用于：对来自经编 码的视频比特流502的第一或第二参数进行解析，所述第一或第二参数指示针对子图片单 元中的预测单元从第二列表选出的运动矢量预测符，并且向运动矢量预测单元522输出所 解析的数据521。
[0131] 如上文所提到的，现在将根据本发明的各个实施例来对用于决定/确定是否使用 了时间运动矢量预测（即，确定标志122的值）的多种技术进行描述。
[0132] 根据第一实施例，标志122的值是基于当前图片的时间层确定的。图6描绘了示 出一组图片例如在组大小/结构被配置为4时的不同时间层的图。在该示例中，存在三个 时间层，即，时间层"0"602、时间层"1"604和时间层"2"606。具有为0、4和8的图片顺 序计数（P0C)值的图片位于时间层"0"602中，具有为2和6的P0C值的图片位于时间层 "1"604中，而具有为1、3、5和7的P0C值的图片位于时间层"2"606中。时间层 和"2"分别与时间ID0、1和2相关联或者由时间ID0、1和2表示。相应地，时间层"0"602 中的图片具有与其相关联的时间ID "0"，时间层"1"604中的图片具有与其相关联的时间 ID1，而时间层"2"606中的图片具有与其相关联的时间ID2。
[0133] 图7描绘了示出根据第一实施例的用于确定标志122的值的方法700的流程图。 在步骤S702中，基于与当前图片相关联的时间ID来确定当前图片的时间层。随后，在步骤 S704中，分析或判断所确定的时间层是否是最低层或基层（即，是否时间ID = 0)。如果时 间层是最低层，那么在步骤S706中，将标志122设置为指示未使用时间运动矢量预测的值 (例如，"0"）。另一方面，如果时间层不是最低层，那么在步骤S708中，将标志122设置为 指示使用了时间运动矢量预测的值（例如，"1"）。这是因为，在典型的编码结构中，较高的 时间ID图片通常参考具有时间ID = 0的图片。在当具有时间ID = 0的图片丢失或包含 错误时的情况下，错误将被传播到参考具有时间ID = 0的图片的任何图片。该错误传播可 能继续并且影响使用具有时间ID = 0的时间运动矢量图片的所有随后图片的重构。因此， 该实施例通过未使用具有时间ID = 0的时间运动矢量图片而提升了容错性。
[0134] 根据第二实施例，标志122的值是基于当前图片的P0C值确定的。图8描绘了示 出根据第二实施例的用于确定标志122的值的方法800的流程图。在步骤S802中，获得或 确定当前图片的P0C值和DPB中的所有参考图片的P0C值。在步骤S804中，分析并判断当 前图片的P0C值是否大于DPB中的参考图片的任意P0C值。如果是，那么在步骤S806中， 将标志122设置为指示未使用时间运动矢量预测的值（例如，"0")。否则，在步骤S808中， 将标志122设置为指示使用了时间运动矢量预测的值（例如，"1"）。这是因为较高质量的 图片（例如，时间层〇图片）只参考相同或更高质量的图片。在该实施例中，鉴于包含在存 储有多个参考图片的经解码的图片缓冲器中的参考图片的P0C值识别出较高质量的图片。 出于与上述第一实施例相似的原因，随后的图片通常参考较高质量的图片。因此，为了防止 错误传播或使其最小化，并且提升容错性，针对较高质量的图片禁用标志122。
[0135] 根据第三实施例，标志122的值是基于当前图片中的间切片的切片类型确定的。 间切片是使用图片间预测来编码或解码的切片。图9描绘了示出根据第三实施例的用于确 定标志122的值的方法900的的流程图。在步骤902中，确定当前图片中的间切片的切片 类型。随后，分析并判断切片类型是否是P切片（即，预测型切片）。如果是，那么在步骤 S906中，将标志122设置为指示未使用时间运动矢量预测的值（例如，"0")。另一方面，如 果确定的切片类型不是P切片（例如，其是双向预测型或B切片），那么在步骤S908中，将 标志122设置为指示使用了时间运动矢量预测的值（例如，"1"）。其原因是因为P切片使 用单向前向预测。因此，为了防止错误传播或使其最小化，并且提升容错性，针对P切片禁 用标志122。
[0136] 根据第四实施例，标志122的值是基于图片是否是随机接入点（RAP)图片确定的。 RAP图片是在不必执行解码顺序中在该RAP图片之前的任意图片的解码过程的情况下，其 本身及解码顺序中随后的图片能够被正确解码的图片。例如，HEVC规范规定了 RAP图片作 为对其每一个切片片段具有范围为7至12 (包含边界）的NAL单元类型（S卩，nal_unit_ type)的经编码的图片。图10描绘了 NAL单元流的图表示，S卩，用于经编码的视频比特流的 一系列NAL单元102。如本领域技术人员已知的，NAL(网络抽象层）对经编码的视频的视 频编码层（VCL)表示进行格式化，并以适合于通过各种传输层或存储介质传送的方式来提 供头部信息。每个NAL单元102包括其后跟随有数据段106的头部104。头部104包括用 来指示NAL单元102中的数据的类型的参数，并且数据段106包含由头部104所指示的数 据。例如，图10示出了三个NAL单元：包含参数集（如由NAL单元类型108所指示的）的 第一 NAL单元、包含基视图/层（如由NAL单元类型110所指示的）的第二NAL单元、以及 包含非基视图/层（如由NAL单元类型112所指示的）的第三NAL单元。每一个NAL单元 的头部104还包括：如图7中示出的第一实施例中描述的时间ID。
[0137] 图11使用多个切片描绘了包含多个视图/层的示例性RAP图片1100的图表示。 如图所示，RAP图片1100包括在基层（图片内视图）1104中的多个切片1102和非基层（图 片间视图）1110中的多个切片1106。
[0138] 图12描绘了示出根据第四实施例的用于确定标志122的值的方法1200的流程 图。在步骤S1202中，对图片进行分析以确定或获得指定切片的NAL单元类型的图片的每 一个切片的参数。随后，在步骤S1204中，基于所获得的参数来确定或判断包含当前切片的 图片是否是RAP图片，以及当前切片是否属于图片的非基视图/层。图片是否是RAP图片 1100可以通过以下来确定：对图片中的每一个NAL单元或切片1002的头部1004中的NAL 单元类型1008、1010、1012的值进行分析。如同上面所提到的，RAP图片1100是在不执行 解码顺序中在该RAP图片1100之前的任意图片的解码过程的情况下，其本身及解码顺序中 随后的图片能够被正确解码的图片。例如，HEVC规范规定了 RAP图片作为对其每一个切片 片段具有范围为7至12(包含边界）的NAL单元类型的经编码的图片。因此，在该示例中， 如果图片中的每一个NAL单元1002的NAL单元类型1008、1010、1012在范围7至12之间 (包括边界），那么确定该图片是RAP图片1100。当前切片是否是图片的非基层可以通过 对当前切片的NAL单元类型1008、1010、1012的检查来确定。例如，NAL单元类型1012指 示相关联的切片1006属于非基层，并且NAL单元类型1010指示相关联的切片1006属于基 层。然而，本领域技术人员将明白的是，可以基于依赖于视频编码方案的其它参数来识别非 基层。例如，在当前的HEVC多视图HEVC工作草案中，当前切片是否是图片的非基层是通 过层ID确定的。如果图片是RAP图片1100并且当前切片属于图片的非基层，那么在步骤 S1206中，将标志122设置为指示未使用时间运动矢量预测的值（例如，"0"）。否则，在步 骤S1208中，将标志122设置为指示使用了时间运动矢量预测的值（例如，" 1")。其原因是 因为使用时间运动矢量预测的益处在于从时间上改进运动矢量预测，也就是说，根据在时 间上不同的其它图片进行预测。然而，如果内图片和间图片在当前图片的相同时间之内，则 使用时间运动矢量预测是无益的。因此，为了提升编码/解码效率，针对属于RAP图片1100 的非基（或图片间视图）层的切片1106禁用标志122。
[0139] (实施例A)
[0140] 在各个实施例中描述的处理可以通过在记录介质中记录用于实现各个实施例中 描述的运动图片编码方法（图象编码方法）和运动图片解码方法（图像解码方法）的配置 的程序，而在独立的计算机系统中简单地实现。记录介质可以是诸如磁盘、光盘、磁光盘、1C 卡和半导体存储器的任何记录介质，只要程序可以被记录。
[0141] 下文中，将对在各个实施例中描述的运动图片编码方法（图象编码方法）和运动 图片解码方法（图像解码方法）的应用以及使用它们的系统进行描述。系统具有以下特 征：具有包括使用图像编码方法的图像编码装置和使用图像解码方法的图像解码装置的图 像编码和解码装置。可以根据情况适当改变系统中的其它配置。
[0142] 图13示出了用于实现内容分配服务的内容提供系统exlOO的总体配置。用于 提供通信服务的区域被划分成期望大小的小区，并且基站exl06、exl07、exl08、exl09和 exllO(它们是固定无线站）置于各个小区中。
[0143] 内容提供系统exlOO分别经由互联网exlOl、互联网服务提供商exl02、电话网络 exl04、以及基站exl06至exllO连接到诸如计算机exlll、个人数字助理（PDA) exll2、摄像 机exll3、蜂窝电话exll4和游戏机exll5的各个设备。
[0144] 但是，内容提供系统exlOO的配置并不局限于图13中示出的配置，并且这些元件 中的任意元件连接的组合是可接受的。另外，每一个设备可以直接连接到电话网络exl04， 而不是经由基站exl〇6至exllO (它们是固定无线站）。另外，这些设备可以经由短距离无 线通信等彼此互连。
[0145] 摄像机exll3 (例如数字摄像机）能够拍摄视频。照相机exll6 (例如数码照相 机）能够捕捉静止图像和视频。另外，蜂窝电话exll4可以是满足诸如全球移动通信系统 (GSM)(注册商标）、码分多址（CDMA)、宽带码分多址（W-CDMA)、长期演进（LTE)以及高速分 组接入（HSPA)标准中的任意标准的蜂窝电话。或者，蜂窝电话exll4可以是个人手持电话 系统（PHS)。
[0146] 在内容提供系统exlOO中，流服务器exl03经由电话网络exl04和基站exl09连 接到摄像机exll3和其它设备，其能够对直播节目等的图像进行分发。这这样的分发中，如 同上面在各个实施例中所描述的，对用户使用摄像机exll3捕捉的内容（例如，音乐直播节 目的视频）进行编码（即，摄像机用作根据本发明的一方案的图像编码装置），并且将经编 码的内容发送到流服务器exl〇3。另一方面，当客户端进行请求时，流服务器exl03向客户 端进行对所发送的内容数据的流分发。客户端包括能够对上述经编码的数据进行解码的计 算机exlll、PDA exX112、摄像机exll3、蜂窝电话exll4、游戏机exll5。已接收到分发的数 据的各个设备对经编码的数据进行解码和重现（即，用作根据本发明的一方案的图像解码 装置）。
[0147] 捕捉的数据可以由摄像机exll3或发送数据的流服务器exl03进行编码，或者编 码过程可以在摄像机exll3与流服务器exl03之间共享。类似地，分发的数据可以由客户端 或流服务器exl〇3进行解码，或者解码过程可以在客户端与流服务器exl03之间共享。另 夕卜，不仅是由摄像机exll3捕捉的而且由照相机exll6捕捉的静止图像和视频的数据可以 通过计算机exlll发送到流服务器exl〇3。编码过程可以由照相机exll6、计算机exlll或 流服务器exl03来执行，或者在它们之间共享。
[0148] 另外，编码和解码过程可以由通常包括在各个计算机exlll和设备中的LSI ex500来执行。LSI eX500可以被配置为具有单个芯片或多个芯片。用于对视频进行编码 和解码的软件可以被集成到计算机exlll等可读的某种类型的记录介质（诸如CD-ROM、软 盘和硬盘）中，并且可以使用软件来执行编码和解码过程。另外，当蜂窝电话exll4配备有 摄像机时，可以发送由摄像机获得的视频数据。视频数据是由包括在蜂窝电话exll4中的 LSIex500编码的数据。
[0149] 另外，流服务器exl03可以包括服务器和计算机，并且可以分散数据并对分散的 数据进行处理、记录或分发数据。
[0150] 如上所述，客户端可以接收并在内容提供系统exlOO中重现经编码的数据。换句 话说，客户端可以接收并解码由用户发送的信息，并在内容提供系统exlOO中对经解码的 数据进行实时重现，从而使得并不具有任何特定权利和设备的用户可以实现个人广播。
[0151] 除了内容提供系统exlOO的示例以外，在各个实施例中描述的运动图片编码装置 (图像编码装置）和运动图片解码装置（图像解码装置）中的至少一个可以在图14中所示 的数字广播系统ex200中实现。更具体地说，广播站ex201经由无线电波向广播卫星ex202 传送或发送通过将音频数据等复用到视频数据上所获得的复用数据。视频数据是由在各 个实施例中描述的运动图片编码方法编码的数据（即，由根据本发明的一方案的图像编码 装置编码的数据）。当接收到复用数据时，广播卫星ex202发送无线电波来进行广播。然 后，具有卫星广播接收功能的家用天线ex204接收该无线电波。接下来，诸如电视机（接收 机） eX300和机顶盒（STB) ex217的设备对所接收的复用数据进行解码，并重现经解码的数 据（即，用作根据本发明的一方案的图像解码装置）。
[0152] 另外，读取器/记录器ex218(i)对记录在诸如DVD和BD的记录介质ex215上的复 用数据进行读取和解码，或者（i)对记录介质ex215中的视频信号进行编码，并且在某些情 况下，写入通过将音频信号复用到经编码的数据上而获得的数据。读取器/记录器ex218可 以包括如在各个实施例中所示的运动图片解码装置或运动图片编码装置。在这种情况下， 重现的视频信号在监视器ex219上显示，并且可以由使用其上记录了复用数据的记录介质 ex215的另一个设备或系统重现。也有可能在连接到有线电视的线缆ex203或卫星和/或 地面广播的天线ex204的机顶盒ex217中实现运动图片解码装置，以便在电视机ex300的 监视器ex219上显示视频信号。运动图片解码装置可以不在机顶盒而是在电视机ex300中 实现。
[0153] 图15示出了使用在各个实施例中描述的运动图片编码方法和运动图片解码方法 的电视机（接收机）ex300。电视机ex300包括：调谐器ex301，其通过接收广播的天线ex204 或线缆ex203等获得或提供通过将音频数据复用到视频数据上而获得的复用数据；调制/ 解调单元ex3〇2,其将所接收到的复用数据进行解调或者将数据调制成要供应到外部的复 用数据；以及复用/解复用单元ex303,其将调制的复用数据解复用成视频数据和音频数 据，或者将由信号处理单元ex306编码的视频数据和音频数据复用成数据。
[0154] 电视机ex300还包括：信号处理单元ex306,其包括分别对音频数据和视频数据进 行编码以及对音频数据和视频数据进行解码的音频信号处理单元ex304和视频信号处理 单元ex305(其用作根据本发明的方案的图像编码装置和图像解码装置）；以及输出单元 ex309,其包括提供经解码的音频信号的扬声器ex307和显示经解码的视频信号的显示器 单元ex308 (例如显示器）。另外，电视机ex300包括接口单元ex317,其包括接收用户操作 的输入的操作输入单元ex312。另外，电视机ex300包括：对电视机ex300的总体各个组成 元件进行控制的控制单元ex310,以及向各个元件供电的电源电路单元ex311。除了操作输 入单元ex312以外，接口单元ex317可以包括：连接到诸如读取器/记录器ex218的外部设 备的桥ex313 ;用于能够附接诸如SD卡的记录介质ex216的槽单元ex314 ;连接到诸如硬盘 的外部记录介质的驱动器ex315 ;以及连接到电话网络的调制解调器ex316。在本文中，记 录介质ex216可以使用用于存储的非易失性/易失性半导体存储器元件来进行电记录。电 视机ex300的组成元件通过同步总线彼此连接。
[0155] 首先，将描述电视机ex300对通过天线ex204等从外部获得的复用数据进行解码 并且重现经解码的数据的配置。在电视机ex300中，当用户通过远程控制器ex220等操作 时，复用/解复用单元ex303在包括CPU的控制单元ex310的控制下对由调制/解调单元 ex302解调的复用数据进行解复用。另外，使用各个实施例中描述的解码方法，在电视机 ex300中，音频信号处理单元ex304对解复用的音频数据进行解码，并且视频信号处理单元 ex305对解复用的视频数据进行解码。输出单元ex309分别向外部提供经解码的视频信号 和音频信号。当输出单元ex309提供视频信号和音频信号时，信号可以暂时存储在缓冲器 ex318和ex319及其它中，从而信号被彼此同步地重现。另外，电视机ex300可以不通过广 播等读取复用数据，而是从诸如磁盘、光盘和SD卡的记录介质ex215和ex216读取。接下 来，将描述电视机ex300对音频信号和视频信号进行编码，并且向外发送数据或将数据写 到记录介质上的配置。在电视机ex300中，当用户通过远程控制器ex220等操作时，在使用 各个实施例中描述的编码方法的控制单元ex310的控制下，音频信号处理单元ex304对音 频信号进行编码，并且视频信号处理单元ex305对视频信号进行编码。复用/解复用单元 ex303对经编码的视频信号和音频信号进行复用，并向外部提供所产生的信号。当复用/解 复用单元ex303对视频信号和音频信号进行复用时，信号可以暂时存储在缓冲器ex320和 ex321及其它中，从而信号被彼此同步地重现。在本文中，缓冲器ex318、ex319、ex320和 ex321可以是如图所示的多个，或者可以在电视机ex300中共享至少一个缓冲器。另外，数 据可以存储在缓冲器中，从而避免例如，调制/解调单元ex302与复用/解复用单元ex303 之间的系统上溢和下溢。
[0156] 另外，电视机ex300可以包括这样的配置：用于从麦克风或摄像机接收AV输入 (不同于从广播或记录介质获得音频和视频数据的配置），并且可以对所获得的数据进行 编码。虽然在本说明书中，电视机ex300可以编码、复用并向外部提供数据，但其可以仅能 够接收、解码并向外部提供数据，而不能够编码、复用并向外部提供数据。
[0157] 另外，当读取器/记录器ex218从记录介质读取数据或者在记录介质上写入数据 时，电视机ex300和读取器/记录器ex218中的一个可以对复用数据进行解码或编码，并且 电视机ex300和读取器/记录器ex218可以共享解码或编码。
[0158] 作为示例，图16示出了当从光盘读取数据或者在光盘上写入数据时信息重现/记 录单元ex400的配置。信息重现/记录单元ex400包括要在下文中描述的组成元件ex401、 ex402、ex403、ex404、ex405、ex406 和 ex407。光学头 ex401 在是光盘的记录介质 ex215 的 记录表面中照射激光点以用于写入信息，并检测来自记录介质ex215的记录表面的反射光 来读取信息。调制记录单元ex402电驱动包括在光学头ex401中的半导体激光器，并且根据 所记录的数据对激光进行调制。重现解调单元ex403对通过使用包括在光学头ex401中的 光检器电检测来自记录表面的反射光而获得的重现信号进行放大，并通过对记录在记录介 质ex215上的信号分量进行分离来对重现信号进行解调以便重现必要信息。缓冲器ex404 暂时保持要被记录在记录介质ex215上的信息以及从记录介质ex215重现的信息。盘式电 动机ex405旋转记录介质ex215。伺服控制单元ex406将光学头ex401移动到预先确定的 信息轨道，同时控制盘式电动机ex405的旋转驱动以便跟随激光点。系统控制单元ex407 控制整个信息重现/记录单元ex400。读和写过程可以通过以下部件实现：使用存储在缓 冲器ex404中的各种信息并且在必要时生成和添加新的信息的系统控制单元ex407,以及 通过调制记录单元ex402,重现解调单元ex403,和通过光学头ex401记录并重现信息同时 以协调的方式操作的伺服控制单元ex406。例如，系统控制单元ex407包括微处理器，并且 通过使计算机执行用于读和写的程序来执行处理。
[0159] 虽然在本说明书中光学头ex401照射激光点，但其可以使用近场光来执行高密度 记录。
[0160] 图17示出了是光盘的记录介质ex215。在记录介质ex215的记录表面上，螺旋地 形成引导槽，并且信息轨道ex230根据引导槽的形状的变化事先记录用于指示盘上的绝对 位置的地址信息。地址信息包括：用于确定是用于记录数据的单元的记录块ex231的位置 的信息。在记录和重现数据的装置中重现信息轨道ex230并读取地址信息可以导致记录块 的位置的确定。另外，记录介质ex215包括：数据记录区域ex233、内圆周区域ex232和外圆 周区域ex234。数据记录区域ex233是用于记录用户数据的区域。在数据记录区域ex233 内部和外部的内圆周区域ex232和外圆周区域ex234分别用于除了记录用户数据以外的特 定用途。信息重现/记录单元400从记录介质ex215的数据记录区域ex233读取和在其上 写入经编码的音频、经编码的视频数据、或者通过对经编码的音频和视频数据进行复用而 得到的复用数据。
[0161] 虽然在本说明书中作为示例描述了具有层的光盘（诸如DVD和BD)，但光盘并不局 限于此，并且可以是具有多层结构并能够被记录在不同于表面的部分上的光盘。另外，光盘 可具有用于多维记录/重现（例如在光盘的相同部分中使用具有不同波长的光的颜色对信 息进行记录）、以及用于从各个角度记录具有不同的层的信息的结构。
[0162] 另外，在数字广播系统ex200中，具有天线ex205的汽车ex210可以从卫星ex202 等接收数据，并且在显示设备（例如设置在汽车ex210中的汽车导航系统ex211)上再现视 频。在这里，汽车导航系统ex211的配置将是例如包括来自图15中所示的配置的GPS接收 单元的配置。对于计算机exlll、蜂窝电话exl 14等的配置来说也是如此。
[0163] 图18A示出了使用在实施例中描述的运动图片编码方法和运动图片解码方法的 蜂窝电话exll4。蜂窝电话exll4包括：用于通过基站exllO来发送和接收无线电波的天线 ex350 ;能够捕捉运动和静止图像的摄像机单元ex365 ;以及用于显示数据（例如由摄像机 单元ex365捕捉的或者由天线ex350接收的经解码的视频）的显示器单元ex358 (例如液晶 显示器）。蜂窝电话exl 14还包括：包括操作键单元ex366的主体单元；用于音频输出的音 频输出单兀ex357(例如扬声器）；用于音频输入的音频输入单兀ex356(例如麦克风）；用 于存储捕捉到的视频或静止图像、录制的音频、接收到的视频的经编码或解码的数据、静止 图片、电子邮件等的存储器单元ex367 ;以及槽单元ex364,其是用于以与存储器单元ex367 相同的方式存储数据的记录介质的接口单元。
[0164] 接下来，将参考图18B来描述蜂窝电话exll4的配置的示例。在蜂窝电话exll4 中，被设计为对包括显示器单元ex358以及操作键单元ex366的主体的各个单元进行总体 控制的主控制单元ex360经由同步总线ex370相互连接到电源电路单元ex361、操作输入控 制单元ex362、视频信号处理单元ex355、摄像机接口单元ex363、液晶显示器（IXD)控制单 元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、槽单 元ex364以及存储器单元ex367。
[0165] 当呼叫结束键或电源键通过用户的操作接通时，电源电路单元ex361向各个单元 提供来自电池组的电力，从而激活手机exl 14。
[0166] 在蜂窝电话exl 14中，在包括CPU、ROM和RAM的主控制单元ex360的控制下，音 频信号处理单元ex354将由音频输入单元ex356在语音通话模式中收集到的音频信号转换 成数字音频信号。然后，调制/解调单元ex352对数字音频信号进行扩频处理，并且发送和 接收单元ex351对数据进行数模转换和频率转换，以便经由天线ex350发送所产生的数据。 另外，在蜂窝电话exll4中，发送和接收单元ex351对由天线ex350在语音通话模式中接收 到的数据进行放大，并对数据进行频率转换和模数转换。然后，调制/解调单元ex352对数 据进行反扩频处理，并且音频信号处理单元ex354将其转换成模拟音频信号，以便经由音 频输出单元ex357来对其进行输出。
[0167] 另外，当在数据通信模式中发送电子邮件时，通过对主体的操作键单元ex366等 进行操作而输入的电子邮件的文本数据经由操作输入控制单元ex362送出到主控制单元 ex360。主控制单元ex360使调制/解调单元ex352对文本数据进行扩频处理，并且发送 和接收单元ex351对所产生的数据进行数模转换和频率转换，以便经由天线ex350向基站 exllO发送数据。当接收到电子邮件时，对所接收的数据执行与用于发送电子邮件的处理基 本相反的处理，并向显示器单元ex358提供所产生的数据。
[0168] 当在数据通信模式中发送视频、静止图像或视频和音频时，视频信号处理单元 ex355使用各个实施例中所示的运动图片编码方法对从摄像机单元ex365提供的视频信号 进行压缩和编码（即，用作根据本发明的方案的图像编码装置），并向复用/解复用单元 ex353发送经编码的视频数据。相反，在摄像机单元ex365捕捉视频、静止图像等期间，音频 信号处理单元ex354对由音频输入单元ex356收集的音频信号进行编码，并向复用/解复 用单元ex353发送经编码的音频数据。
[0169] 复用/解复用单元ex353使用预先确定的方法，对从视频信号处理单元ex355提 供的经编码的视频数据以及从音频信号处理单元ex354提供的经编码的音频数据进行复 用。然后，调制/解调单元（调制/解调电路单元）ex352对复用数据进行扩频处理，并且 发送和接收单元ex351对数据进行数模转换和频率转换，以便经由天线ex350来发送所产 生的数据。
[0170] 当在数据通信模式中接收链接到网页的视频文件等时，或者当接收附有视频和/ 或音频的电子邮件时，为了对经由天线ex350接收到的复用数据进行解码，复用/解复用 单元ex353将复用数据解复用成视频数据比特流和音频数据比特流，并且通过同步总线 ex370向视频信号处理单元ex355提供经编码的视频数据以及向音频信号处理单元ex354 提供经编码的音频数据。视频信号处理单元ex355使用与各个实施例中示出的运动图片编 码方法相对应的运动图片解码方法对视频信号进行解码（即，用作根据本发明的方案的图 像解码装置），然后显示器单元ex358经由IXD控制单元ex359显示例如包括在链接到网页 的视频文件中的视频和静止图像。另外，音频信号处理单元ex354对音频信号进行解码，并 且音频输出单元ex357提供音频。
[0171] 另外，与电视机ex300类似，例如蜂窝电话exll4的终端可能具有3种类型的实现 配置，其不仅包括（i)包括编码装置和解码装置二者的发送和接收终端，还包括（ii)仅包 括编码装置的发送终端以及（iii)仅包括解码装置的接收终端。虽然在本说明书中，数字 广播系统θχ200接收并发送通过将音频数据复用到视频数据上获得的复用数据，但复用数 据可以并不是通过将音频数据复用而是通过将与视频相关的字符数据复用到视频数据上 而获得的，并且可以不是复用数据，而是视频数据本身。
[0172] 因此，在每一个实施例中的运动图片编码方法和运动图片解码方法可以用于所描 述的设备和系统中的任意一个。因此，可以获得在每一个实施例中描述的优点。
[0173] 另外，本发明并不局限于这些实施例，并且在不脱离本发明的范围的前提下，各种 修改和修订是可能的。
[0174] (实施例B)
[0175] 可以通过根据需要在下列各项之间进行切换来生成视频数据：（i)在各个实施例 中示出的运动图片编码方法或运动图片编码装置以及（ii)符合不同标准（诸如MPEG-2、 MPEG-4AVC和VC-1)的运动图片编码方法或运动图片编码装置。
[0176] 在本文中，当生成符合不同标准的多个视频数据并随后对其进行解码时，需要选 择解码方法以符合不同的标准。然而，由于无法检测要解码的多个视频数据中的每一个视 频数据符合哪种标准，因此存在无法选择合适的解码方法的问题。
[0177] 为了解决该问题，通过将音频数据等复用到视频数据上而获得的复用数据具有包 括用来指示视频数据所符合的标准的识别信息的结构。将在下文中描述包括在各个实施例 中示出的运动图片编码方法中以及通过运动图片编码装置生成的视频数据的复用数据的 这种特定结构。复用数据是MPEG-2传输流格式的数字流。
[0178] 图19示出了复用数据的结构。如图19中所示，复用数据可以通过对视频流、音 频流、展示图形流（PG)和交互图形流中的至少一个进行复用来获得。视频流表示电影的 主要视频和次要视频，音频流（IG)表示主要音频部分和要与主要音频部分相混合的次要 音频部分，并且展示图形流表示电影的字幕。在本文中，主要视频是要显示在屏幕上的正常 视频，而次要视频是要显示在主要视频中的较小窗口上的视频。另外，交互图形流表示通 过在屏幕上布置组件而生成的交互屏幕。视频流是在各个实施例中示出的运动图片 编码方法中或通过运动图片编码装置进行编码的，或者通过符合常规标准（诸如MPEG-2、 MPEG-4AVC和VC-1的）运动图片编码方法或运动图片编码装置进行编码的。音频流是根据 诸如杜比AC-3、杜比数字增强版、MLP、DTS、DTS-HD和线性PCM的标准编码的。
[0179] 包括在复用数据中的每一个流是通过PID识别的。例如，0x1011被分配给用于电 影的视频的视频流，0x1100至0x111F被分配给音频流，0x1200至0xl21F被分配给展示图 形流，0x1400至0xl41F被分配给交互图形流，OxlBOO至OxlBlF被分配给用于电影的次要 视频的视频流，并且OxlAOO至OxlAlF被分配给用于要与主要音频相混合的次要音频的音 频流。
[0180] 图20示意性地示出了数据是如何进行复用的。首先，将由视频帧组成的视频流 ex235和由音频帧组成的音频流ex238分别变换成PES分组ex236的流和PES分组ex239 的流，并进一步变换成TS分组ex237和TS分组ex240。类似地，将展示图形流ex241的数 据和交互图形流ex244的数据分别变换成PES分组ex242的流和PES分组ex245的流，并 进一步变换成TS分组ex243和TS分组ex246。将这些TS分组复用成流以便获得复用数据 ex247〇
[0181] 图21更加详细地示出了视频流怎样存储在PES分组的流中。图21中的第一栏示 出了视频流中的视频帧流。第二栏示出了 PES分组的流。如同由图21中标注为yyl、yy2、 yy3和yy4的箭头所指示的，视频流被划分成作为I图片、B图片、和P图片的图片，这些图 片中的每一个图片均是视频展示单元，并且这些图片存储在PES分组中的每一个中的有效 载荷中。每一个PES分组具有PES头部，并且PES头部存储用来指示图片的显示时间的展 示时间戳（PTS)，以及用来指示图片的解码时间的解码时间戳（DTS)。
[0182] 图22示出了最终写到复用数据上的TS分组的格式。每一个TS分组是188字节的 固定长度分组，其包括具有信息（诸如用于识别流的PID)的4字节TS头部以及用于存储数 据的184字节的TS有效载荷。对PES分组进行划分并分别将其存储在TS有效载荷中。当 使用BD ROM时，赋予每一个TS分组4个字节的TP_Extra_Header，从而造成192字节的源 分组。向复用数据上写入源分组。TP_Extra_Header存储诸如Arrival_Time_Stamp(ATS) 的信息。ATS示出向PID滤波器传输每一个TS分组的传输开始时间。源分组如图22的底 部所示布置在复用数据中。从复用数据的头部递增的数量被称为源分组数量（SPN)。
[0183] 包括在复用数据中的每一个TS分组不仅包括音频、视频、字幕等的流，还包括节 目关联表（PAT)、节目映射表（PMT)以及节目时钟参考（PCR)。PAT示出复用数据中使用的 PMT中的PID所指示的内容，并且PAT的PID本身登记为零。PMT存储包括在复用数据中的 音频、视频、字幕等的流的PID以及与PID相对应的这些流的属性信息。PMT还具有与复用 数据相关的各种描述符。这些描述符具有例如用来显示是否允许复制复用数据的复制控制 信息的信息。PCR存储与示出何时将PCR分组传输到解码器的ATS相对应的STC时间信息， 以便实现到达时间时钟（ATC)(其是ATS的时间轴）与系统时间时钟（STC)(其是PTS和 DTS的时间轴）之间的同步。
[0184] 图23详细地示出了 PMT的数据结构。PMT头部布置在PMT的顶部。PMT头部描述 包括在PMT中的数据的长度等。与复用数据相关的多个描述符布置在PMT头部之后。在描 述符中描述了诸如复制控制信息的信息。在描述符之后，布置了与包括在复用数据中的流 相关的多条流信息。每条流信息包括分别描述信息（诸如用于识别流的压缩编解码器的流 类型、流PID以及流属性信息（如帧速率或纵横比））的流描述符。流描述符在数量上与复 用数据中的流的数量相等。
[0185] 当复用数据记录在记录介质等上时，其与复用数据信息文件一起记录。
[0186] 每个复用数据信息文件是如图24中所示的复用数据的管理信息。复用数据信息 文件与复用数据一一对应，并且每一个文件均包括复用数据信息、流属性信息以及条目映 射。
[0187] 如图24中所示，复用数据信息包括系统速率、重现开始时间和重现结束时间。系 统速率指示下面要描述的系统目标解码器向PID滤波器传输复用数据的最大传输速率。包 括在复用数据中的ATS的间隔设置为不高于系统速率。重现开始时间在复用数据的头部处 指示视频帧中的PTS。将一个帧的间隔添加到复用数据末尾处的视频帧中的PTS，并且将 PTS设置为重现结束时间。
[0188] 如图25中所示，对于包括在复用数据中的每一个流的每一个PID，一条属性信息 被登记在流属性信息中。依赖于对应的流是视频流、音频流、展示图形流还是交互图形流， 每一条属性信息具有不同的信息。每条视频流属性信息携带包括哪种压缩编解码器用于对 视频流进行压缩、以及包括在视频流中的各条图片数据的分辨率、纵横比和帧速率的信息。 每条音频流属性信息携带包括哪种压缩编解码器用于对音频流进行压缩、音频流中包括多 少条信道、音频流支持哪种语言以及采样频率为多高的信息。视频流属性信息和音频流属 性信息用于在播放器对信息进行回放之前对解码器进行初始化。
[0189] 在本文的实施例中，要使用的复用数据是包括在PMT中的流类型的。另外，当复用 数据记录在记录介质上时，使用包括在复用数据信息中的视频流属性信息。更具体地，在各 个实施例中描述的运动图片编码方法或运动图片编码装置包括：用于向包括在PMT的流类 型或视频流属性信息分配指示通过各个实施例中的运动图片编码方法或运动图片编码装 置生成的视频数据的唯一信息的步骤或单元。使用该配置，由各个实施例中描述的运动图 片编码方法或运动图片编码装置生成的视频数据可以与符合另一标准的视频数据区分开。
[0190] 另外，图26示出了根据本文实施例的运动图片解码方法的步骤。在步骤exSIOO 中，包括在PMT中的流类型或者包括在复用数据信息中的视频流属性信息是从复用数据获 得的。接下来，在步骤exSIOl中，确定流类型或视频流属性信息是否指示复用数据是通过 各个实施例中的运动图片编码方法或运动图片编码装置生成的。当确定流类型或视频流属 性信息指示复用数据是通过各个实施例中的运动图片编码方法或运动图片编码装置生成 的，那么在步骤exS102中，通过各个实施例中的运动图片解码方法执行解码。另外，当流 类型或视频流属性信息指示符合常规标准（诸如MPEG-2、MPEG-4AVC和VC-1)，那么在步骤 exS103中，通过符合常规标准的运动图片解码方法执行解码。
[0191] 从而，向流类型或视频流属性信息分配新的唯一值使得能够确定各个实施例中描 述的运动图片解码方法或运动图片解码装置是否可以执行解码。甚至当输入符合不同标准 的复用数据时，可以选择合适的解码方法或装置。因此，可以在没有任何错误的情况下对信 息进行解码。另外，本文的实施例中的运动图片编码方法或装置、或者运动图片解码方法或 装置可以用于上述设备和系统。
[0192] (实施例C)
[0193] 各个实施例中的运动图片编码方法、运动图片编码装置、运动图片解码方法和运 动图片解码装置中的每一个通常以集成电路或大规模集成（LSI)电路的形式来实现。作为 LSI的示例，图27示出了被制成一个芯片的LSI ex500的配置。LSI ex500包括下面将要 描述的元件 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508 以及 ex509,并且这些 元件通过总线ex510彼此连接。当电源电路单元ex505开启时，电源电路单元ex505通过 向各个元件供电而激活。
[0194] 例如，当进行编码时，在包括CPU ex502、存储器控制器ex503、流控制器ex504和 驱动频率控制单元ex512的控制单元ex501的控制下，LSI ex500通过AV 10 ex509从麦克 风exl 17、摄像机exl 13等接收AV信号。所接收的AV信号暂时存储在外部存储器ex511 (例 如SDRAM)中。在控制单元ex501的控制下，根据处理量和要向信号处理单元ex507发送的 速度将存储的数据划分成数据部分。然后，信号处理单元ex507对音频信号和/或视频信 号进行编码。在本文中，视频信号的编码是各个实施例中描述的编码。另外，信号处理单元 ex507有时对经编码音频数据和经编码视频数据进行复用，并且流10 ex506向外部提供复 用数据。所提供的复用数据被发送到基站exl07或写到记录介质ex215上。当数据集合被 复用时，数据应该暂时存储在缓冲器ex508中，从而使得数据集合彼此同步。
[0195] 虽然存储器ex511是LSI ex500外部的元件，但其可以包括在LSI ex500中。缓 冲器ex508不局限于一个缓冲器，而是可以由多个缓冲器组成。另外，LSI ex500可以被制 成一个芯片或多个芯片。
[0196] 另外，虽然控制单元ex501包括CPU ex502、存储器控制器ex503、流控制器ex504、 驱动频率控制单元ex512,但控制单元eX501的配置并不局限于此。例如，信号处理单元 ex507还可以包括CPU。信号处理单元ex507中包括另一个CPU可以提升处理速度。另外， 作为另一个示例，CPU ex502可以用作或者是信号处理单元ex507的一部分，并且例如，可 以包括音频信号处理单元。在这种情况下，控制单元ex501包括信号处理单元ex507或者 包括信号处理单元ex507的一部分的CPU ex502。
[0197] 本文中使用的名称是LSI，但也可以根据集成度的不同将其称为1C、系统LSI、超 级LSI、超大规模LSI。
[0198] 此外，实现集成的方法不限于LSI，并且特殊电路或通用处理器等也可以实现集 成。可以在制造 LSI之后进行编程的现场可编程门阵列（FPGA)、或者允许LSI的连接或配 置的重新配置的可重新配置的处理器可以用于相同的目的。
[0199] 在未来，随着半导体技术的进步，全新的技术可能会取代LSI。可以使用这样的技 术来集成功能块。本发明有可能应用于生物技术。
[0200] (实施例D)
[0201] 当对在各个实施例中描述的运动图片编码方法中或通过运动图片编码装置生成 的视频数据进行解码时，与对符合常规标准（诸如MPEG-2、MPEG-4AVC和VC-1)的视频数据 进行解码相比，很可能增加了处理量。因此，与对符合常规标准的视频数据进行解码所使用 的CPU ex502的驱动频率相比，需要将LSI ex500设置为较高的驱动频率。然而，当驱动频 率设置地较高时，存在功耗增加的问题。
[0202] 为了解决该问题，诸如电视机ex300和LSI ex500的运动图片解码装置被配置为： 确定视频数据所符合的标准，并且根据所确定的标准在驱动频率之间进行切换。图28示出 了本实施例中的配置ex800。当视频数据通过各个实施例中描述的运动图片编码方法或运 动图片编码装置生成时，驱动频率切换单元ex803将驱动频率设置为较高的驱动频率。然 后，驱动频率切换单元ex803指示执行各个实施例中描述的运动图片解码方法的解码处理 单元ex801对视频数据进行解码。当视频数据符合常规标准时，与通过各个实施例中描述 的运动图片编码方法或运动图片编码装置生成的视频数据的驱动频率相比，驱动频率切换 单元ex803将驱动频率设置为较低的驱动频率。然后，驱动频率切换单元ex803指示符合 常规标准的解码处理单元ex802对视频数据进行解码。
[0203] 更具体地，驱动频率切换单元ex803包括图27中的CPU ex502和驱动频率控制单 元ex512。在本文中，执行各个实施例中描述的运动图片解码方法的解码处理单元ex801以 及符合常规标准的解码处理单元ex802中的每一个与图27中的信号处理单元ex507相对 应。CPU ex502确定视频数据所符合的标准。然后，驱动频率控制单元ex512基于来自CPU ex502的信号来确定驱动频率。另外，信号处理单元ex507基于来自CPU ex502的信号对视 频数据进行解码。例如，实施例B中描述的识别信息很可能用于识别视频数据。识别信息 并不局限于实施例B中所描述的，而是可以是任意信息，只要该信息指示视频数据所符合 的标准。例如，当可以基于用于确定视频数据用于电视机或磁盘等的外部信号来确定视频 数据所符合的标准时，可以基于这样的外部信号而做出所述确定。另外，CPU ex502例如基 于如图30中所示的视频数据的标准与驱动频率相关联的查找表来选择驱动频率。可以通 过将查找表存储在缓冲器ex508中以及LSI的内部存储器中，并且通过CPU ex502参考查 找表来选择驱动频率。
[0204] 图29示出了用于执行本文的实施例中的方法的步骤。首先，在步骤exS200中，信 号处理单元ex507从复用数据获得识别信息。接下来，在步骤exS201中，CPU ex502基于 识别信息来确定视频数据是否是通过各个实施例中描述的编码方法和编码装置生成的。当 视频数据是由各个实施例中描述的运动图片编码方法和运动图片编码装置生成的时，在步 骤exS202中，CPU ex502向驱动频率控制单元ex512发送用于将驱动频率设置为较高驱动 频率的信号。然后，驱动频率控制单元ex512将驱动频率设置为较高的驱动频率。另一方 面，当识别信息指示视频数据符合常规标准（诸如MPEG-2、MPEG-4AVC和VC-1)时，在步骤 exS203中，CPU ex502向驱动频率控制单元ex512发送用于将驱动频率设置为较低驱动频 率的信号。然后，与视频数据是通过各个实施例中描述的运动图片编码方法和运动图片编 码装置生成的情况相比，驱动频率控制单元ex512将驱动频率设置为较低的驱动频率。
[0205] 另外，连同驱动频率的切换，可以通过改变施加于LSI ex500或包括LSI ex500的 装置的电压来提升功率节省效果。例如，当将驱动频率设置得较低时，与驱动频率设置得较 高情况下的电压相比，施加于LSI ex500或包括LSI ex500的装置的电压很可能设置为较 低的电压。
[0206] 另外，对于用于设置驱动频率的方法来说，当用于解码的处理量较大时，可以将驱 动频率设置较高，并且当用于解码的处理量较小时，可以将驱动频率设置较低。因此，设置 方法不局限于上述那些方法。例如，当与用于对由各个实施例中描述的运动图片编码方法 和运动图片编码装置生成的视频数据进行解码的处理量相比，用于对符合MPEG-4AVC的视 频数据进行解码的处理量较大时，驱动频率很可能以与上述设置相反的顺序来设置。
[0207] 另外，用于设置驱动频率的方法并不局限于用于将驱动频率设置较低的方法。例 如，当识别信息指示视频数据是由各个实施例中描述的运动图片编码方法和运动图片编码 装置生成的，那么施加于LSI ex500或包括LSI ex500的装置的电压很可能设置得较高。 当识别信息指示视频数据符合常规标准（诸如MPEG-2、MPEG-4AVC和VC-1)时，施加于LSI ex500或包括LSI ex500的装置的电压很可能设置得较低。作为另一个示例，当识别信息 指示视频数据是由各个实施例中描述的运动图片编码方法和运动图片编码装置生成的，那 么CPU ex502的驱动很可能并不需要暂停。当识别信息指示视频数据符合常规标准（诸 如MPEG-2、MPEG-4AVC和VC-1)时，CPU ex502的驱动很可能在给定的时间暂停，因为CPU ex502具有额外的处理容量。甚至，当识别信息指示视频数据是由各个实施例中描述的运动 图片编码方法和运动图片编码装置生成的时，在CPU ex502具有额外的处理容量的情况下， CPU ex502的驱动很可能在给定的时间暂停。在这样的情况下，与识别信息指示视频数据符 合常规标准（诸如MPEG-2、MPEG-4AVC和VC-1)的情况相比，暂停时间很可能设置的较短。
[0208] 因此，可以通过根据视频数据所符合的标准在驱动频率之间进行切换来提升功率 节省效果。另外，当LSI ex500或包括LSI ex500的装置使用电池驱动时，在具有功率节省 效果的情况下可以延长电池寿命。
[0209] (实施例E)
[0210] 存在将符合不同标准的多个视频数据提供给设备和系统（诸如电视机和蜂窝电 话）的情况。为了能够对符合不同标准的多个视频数据进行解码，LSI eX500的信号处理 单元ex507需要符合不同的标准。然而，LSI eX500的电路规模增加和成本增加的问题随 着符合各个标准的信号处理单元ex507的相应使用而出现。
[0211] 为了解决该问题，构想了以下配置：用于实现各个实施例中描述的运动图片解码 方法的解码处理单元与符合常规标准（诸如MPEG-2、MPEG-4AVC和VC-1)的解码处理单元 部分共享。图31A中的ex900示出了该配置的示例。例如各个实施例中描述的运动图片解 码方法与符合MPEG-4AVC的运动图片解码方法具有部分为公共的处理细节，诸如熵编码、 反量化、去块滤波和运动补偿预测。待共享的处理细节很可能包括使用符合MPEG-4AVC的 解码处理单元ex902。相反，专用解码处理单元ex901很可能用于对本发明的方案特有的其 它处理。例如，由于本发明的方案尤其以反量化为特征，因此专用解码处理单元ex901用于 反量化。否则，很可能针对熵解码、去块滤波和运动补偿中的一个或者这些处理中的全部对 解码处理单元进行共享。可以针对要共享的处理来对用于实现各个实施例中描述的运动图 片解码方法的解码处理单元进行共享，并且专用解码处理单元可以用于对MPEG-4AVC的专 用解码处理单元特有的处理。
[0212] 另外，图31B中的exlOOO示出了部分共享处理的另一个示例。该示例使用包括下 列各项的配置：支持对本发明的某个方案特有的处理的专用解码处理单元exlOOl，支持另 一个常规标准特有的处理的专用解码处理单元exl002,以及支持在根据本发明的方案的运 动图片解码方法与常规运动图片解码方法之间共享的处理的解码处理单元exl003。在本文 中，专用解码处理单元exlOOl和exl002不一定分别专门针对根据本发明的方案的处理和 常规标准的处理，并且可以是能够实现一般处理的解码处理单元。另外，本文的实施例的配 置可以由LSI ex500实现。
[0213] 因此，通过针对要在根据本发明的方案的运动图片解码方法与符合常规标准的运 动图片解码方法之间共享的处理来共享解码处理单元，减小LSI的电路的规模和降低成本 是可能的。
[0214] 本领域技术人员将明白的是：在不脱离宽泛描述的本发明的精神或范围的前提 下，可以对具体实施例中示出的本发明进行多种变化和/或修改。因此，本文的实施例应该 在各个方面被认为是说明性的而非限制性的。
[0215] 工业实用性
[0216] 本发明适用于对音频、静止图像和视频进行编码的编码装置，以及对由编码装置 编码的数据进行解码的解码装置。例如，本发明适用于诸如音频设备、蜂窝电话、数码摄像 机、BD记录器以及数字电视机的各种视听设备。
【权利要求】
1. 一种利用时间运动矢量预测将视频编码到经编码的视频比特流中的方法，所述方法 包括： 确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预 测的标志的值； 将具有所述值的标志写入所述子图片单元的头部或所述图片的头部；并且 其中，如果所述标志指示使用了时间运动矢量预测，那么所述方法还包括： 创建包括多个运动矢量预测符的运动矢量预测符的第一列表，所述多个运动矢量预测 符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测 符； 针对所述子图片单元中的预测单元，从所述第一列表中选择运动矢量预测符；以及 将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢 量预测符。
2. 根据权利要求1所述的方法，其中，如果所述标志指示未使用时间运动矢量预测，则 所述方法还包括： 创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的 第二列表； 针对所述子图片单元中的预测单元，从所述第二列表中选择运动矢量预测符；以及 将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢 量预测符。
3. 根据权利要求1或2所述的方法，其中，所述标志的值是基于所述图片的时间层确定 的。
4. 根据权利要求3所述的方法，其中，如果确定所述图片的所述时间层是最低层或基 层，那么设置所述标志的值来指示未使用时间运动矢量预测，否则，设置所述标志的值来指 示使用了时间运动矢量预测。
5. 根据权利要求1或2所述的方法，其中，所述标志的值是基于所述图片的图片顺序计 数（POC)值确定的。
6. 根据权利要求5所述的方法，其中，如果确定所述图片的所述POC值大于解码器图片 缓冲器（DPB)中的参考图片的任意POC值，那么设置所述标志的值来指示未使用时间运动 矢量预测，否则，设置所述标志的值来指示使用了时间运动矢量预测。
7. 根据权利要求1或2所述的方法，其中，所述标志的值是基于所述图片中的图片间子 图片单元的子图片单元类型确定的。
8. 根据权利要求7所述的方法，其中，如果所述子图片单元类型是预测性（P)类型，那 么设置所述标志的值来指示未使用时间运动矢量预测，否则，设置所述标志的值来指示使 用了时间运动矢量预测。
9. 根据权利要求1或2所述的方法，其中，所述标志的值是基于包含所述子图片单元的 所述图片是否是随机接入点（RAP)图片来确定的。
10. 根据权利要求9所述的方法，其中，如果所述图片是RAP图片并且所述子图片单元 属于所述图片的非基层，那么设置所述标志的值来指示未使用时间运动矢量预测，否则，设 置所述标志的值来指示使用了时间运动矢量预测。
11. 根据权利要求1至10中任意一项所述的方法，其中，所述标志被写入所述子图片单 元的头部。
12. 根据权利要求1至11中任意一项所述的方法，其中所述方法还包括：将一个或多 个参数写入所述子图片单元的头部，以便指定在用于子图片单元的图片间预测的一个或多 个参考图片列表中的参考图片的顺序。
13. 根据权利要求1至12中任意一项所述的方法，其中，所述方法还包括： 使用所选择的运动矢量预测符来执行运动补偿的图片间预测以便产生所述预测单 元； 从原始采样块中减去所述预测单元以便产生剩余采样块；以及 将与预测单元相对应的剩余采样块编码到所述经编码的视频比特流中。
14. 根据权利要求1至13中任意一项所述的方法，其中，所述第二列表包括比所述第一 列表少一个的运动矢量预测符，并且除了所述时间运动矢量预测符，所述第一列表和第二 列表的所述运动矢量预测符是相同的。
15. 根据权利要求1至14中任意一项所述的方法，其中，所述第一参数和第二参数在所 述经编码的视频比特流中是使用不同的预先确定的比特表示来表示的。
16. 根据权利要求1至13中任意一项所述的方法，其中，所述第一列表和第二列表包括 相同的预先确定的数量的运动矢量预测符，并且所述第二列表包括并不存在于所述第一列 表中且是在未使用来自任何参考图片的运动矢量的情况下推导出的运动矢量预测符。
17. 根据权利要求1至16中任意一项所述的方法，其中，所述标志用于指示：针对独立 于所述图片中的其它子图片单元的子图片单元的所述图片间预测，使用还是未使用时间运 动矢量预测。
18. 根据权利要求1至17中任意一项所述的方法，其中，所述子图片单元是图片的切 片。
19. 一种利用时间运动矢量预测对经编码的视频比特流进行解码的方法，所述方法包 括： 对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析；以及 确定所述标志指示使用还是未使用时间运动矢量预测； 其中，如果所述标志指示使用了时间运动矢量预测，那么所述方法还包括： 创建包括多个运动矢量预测符的运动矢量预测符的第一列表，所述多个运动矢量预测 符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测 符； 对来自所述经编码的视频比特流的第一参数进行解析，所述第一参数指示针对所述子 图片单元中的预测单元从所述第一列表中所选择的运动矢量预测符。
20. 根据权利要求19所述的方法，其中，如果所述标志指示未使用时间运动矢量预测， 则所述方法还包括： 创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的 第二列表；以及 对来自所述经编码的视频比特流的第二参数进行解析，所述第二参数指示针对所述子 图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。
21. -种利用时间运动矢量预测将视频编码成经编码的视频比特流的装置，所述装置 包括： 控制单元，其可操作用于：确定用于指示针对图片的子图片单元的图片间预测使用还 是未使用时间运动矢量预测的标志的值； 写单元，其可操作用于：将具有所述值的标志写入所述子图片单元的头部或所述图片 的头部； 运动矢量预测单元；以及 图片间预测单元，其用于：基于从所述运动矢量预测单元中所选择的运动矢量预测符 来执行图片间预测， 其中，所述运动矢量预测单元被配置为：接收所述标志，并且基于所述标志是第一值， 所述运动矢量预测单元可操作用于：创建包括多个运动矢量预测符的运动矢量预测符的第 一列表，所述多个运动矢量预测符包括：从来自共置的参考图片的至少一个运动矢量推导 出的至少一个时间运动矢量预测符，以及针对所述子图片单元中的预测单元，从所述第一 列表中选择运动矢量预测符；以及 所述写单元还可操作用于：将第一参数写入所述经编码的视频比特流来指示从所述第 一列表中所选择的运动矢量预测符。
22. 根据权利要求21所述的装置，当所述标志是第二值时，所述运动矢量预测单元可 操作用于：创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测 符的第二列表；以及针对所述子图片单元中的预测单元，从所述第一列表中选择运动矢量 预测符；以及 所述写单元还可操作用于：将第二参数写入所述经编码的视频比特流来指示从所述第 二列表中所选择的运动矢量预测符。
23. -种利用时间运动矢量预测对经编码的视频比特流进行解码的装置，所述装置包 括： 解析单元，其可操作用于：对来自经编码的视频的子图片单元的头部或者图片的头部 的标志进行解析；以及确定所述标志指示使用还是未使用时间运动矢量预测； 运动矢量预测单元；以及 图片间预测单元，其用于：基于从所述运动矢量预测单元中所选择的运动矢量预测符 来执行图片间预测； 其中，所述运动矢量预测单元被配置为：接收所述标志，并且基于所述标志是第一值， 所述运动矢量预测单元可操作用于：创建包括多个运动矢量预测符的运动矢量预测符的第 一列表，所述多个运动矢量预测符包括：从来自共置的参考图片的至少一个运动矢量推导 出的至少一个时间运动矢量预测符；以及 所述解析单元还可操作用于：对来自所述经编码的视频比特流的第一参数进行解析， 所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢 量预测符。
24. 根据权利要求23所述的装置，其中，当所述标志是第二值时，所述运动矢量预测单 元可操作用于：创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量 预测符的第二列表；以及 所述解析单元还可操作用于：对来自所述经编码的视频比特流的第二参数进行解析， 所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢 量预测符。
【文档编号】H04N19/44GK104094604SQ201380005801
【公开日】2014年10月8日 申请日期:2013年1月16日 优先权日:2012年1月20日
【发明者】乃苏孟德, 袁明亮, 林宗顺, 孙海威, 温觉觉, 西孝启, 笹井寿郎, 柴原阳司, 杉尾敏康, 谷川京子, 松延彻, 寺田健吾 申请人:松下电器（美国）知识产权公司