用于3d视频编码的装置、方法和计算机程序的制作方法_3

文档序号:8208079阅读:来源:国知局
在H. 264/AVC中,封闭G0P 从IDR访问单元开始。作为结果,封闭G0P结构与开放G0P结构比较而言具有更多错误恢 复可能性,然而代价是可能压缩效率降低。开放G0P编码结构由于在选择参考图片时的更 大灵活性而在压缩时潜在地更高效。
[0107] H. 264/AVC的比特流语法指示特定图片是否为用于任何其它图片的帧间预测的参 考图片。任何编码类型(I、P、B、SP)的图片可以是在H. 264/AVC中的参考图片或者非参考 图片。NAL单元报头指示NAL单元的类型和在NAL单元中包含的编码的分片是参考图片还 是非参考图片的部分。
[0108] 有用于指定高效率视频编码(HEVC)标准的正在进行的视频编码标准化项目。 HEVC的关键定义、比特流和编码结构以及概念中的许多关键定义、比特流和编码结构以及 概念与H. 264/AVC的关键定义、比特流和编码结构以及概念相同或者相似。在这一节中描 述HEVC的一些关键定义、比特流和编码结构以及概念作为其中可以实施一些实施例的视 频编码器、解码器、编码方法、解码方法和比特流结构的示例。本发明的方面不限于ffiVC,而 是更确切地说,对于本发明可以在其之上被部分地或者完全地实现的一个可能基础给出描 述。
[0109] 与H. 264/AVC相似地,HEVC比特流由多个访问单元构成,每个访问单元包括与图 片关联的编码的数据。每个访问单元被划分成NAL单元,从而包括一个或者多个VCL NAL 单元(即编码的分片NAL单元)和零个或者更多非VCL NAL单元,例如参数集NAL单元或 者补充增强信息(SEI)NAL单元。每个NAL单元包括NAL单元报头和NAL单元有效载荷。 在草案HEVC标准中,两字节NAL单元报头用于所有指定的NAL单元类型。NAL单元报头的 第一字节包含一个保留位、一位指示nal_ref_idc (主要地指示在这一访问单元中携带的 图片是参考图片还是非参考图片)和六位NAL单元类型指示。NAL单元报头的第二字节包 括用于时间级的三位temporal_id指示和在草案HEVC标准中需要具有等于1的值的五位 保留字段(称为r eserved_〇ne_5bitS)。预计五位保留字段被诸如将来可伸缩和3D视频 扩展之类的扩展所使用。预计这些五位将携带关于可伸缩性分级的信息,比如quality_id 等、dependencyjd等、任何其它类型的层标识符、视图顺序索引等、视图标识符、与SVC的 priority_id-如果从比特流去除大于指定标识符值的所有NAL单元,贝U priority_id指 示有效子比特流提取-相似的标识符。不失一般性,在一些示例实施例中,从:reserved_ one_5bits的值推导变量Layerld例如如下:Layerld = reserved_one_5bits - 1。
[0110] 在草案ffiVC标准中,定义用于图片分割的一些关键定义和概念如下。定义分割为 将集划分成子集,从而集的每个元素确切地在子集之一中。
[0111] 可以将视频图片划分成覆盖图片的区域的编码单元(CU)。编码单元由定义用于 在编码单元内的采样的预测过程的一个或者多个预测单元(PU)和定义用于在编码单元中 的采样的预测误差编码过程的一个或者多个变换单元(TU)构成。编码单元可以由具有从 可能编码单元大小的预定义集可选择的大小的采样方块构成。具有最大允许大小的编码单 元可以命名为最大编码单元(LCU),并且视频图片可以被划分成非重叠最大编码单元。最 大编码单元可以例如通过递归地拆分最大编码单元和所得编码单元来进一步拆分成更小 编码单元的组合。每个所得编码单元可以具有至少一个预测单元和与它关联的至少一个变 换单元。每个预测单元和变换单元分别可以进一步被拆分成更小的预测单元和变换单元, 以便增加预测过程和预测误差编码过程的粒度。每个预测单元具有与它关联的预测信息, 该预测信息定义什么种类的预测将应用于在该预测单元内的像素(例如用于帧间预测的 预测单元的运动矢量信息和用于帧内预测的预测单元的帧内预测方向性信息)。相似地, 每个变换单元与如下信息关联,该信息描述用于在变换单元内的采样的预测误差解码过程 (包括例如DCT系数信息)。可以在编码单元级用信号发送,预测误差编码是否应用于每个 编码单元。在无与编码单元关联的预测误差残值的情况下,可以认为无用于编码单元的变 换单元。可以在比特流中用信号发送将图像划分成编码单元以及将编码单元划分成预测单 元和变换单元,从而允许解码器再现这些单元的既定结构。
[0112] 包括H. 264/AVC和HEVC的许多混合视频编码解码器在两个阶段中对视频信息进 行编码。在第一阶段中,预测在某个图片区域或者"块"中的像素或者采样值。例如可以通 过运动补偿机制预测这些像素或者采样值,这些运动补偿机制涉及到发现和指示在先前编 码的视频帧之一中的与正在编码的块密切对应的区域。此外,可以通过涉及到发现和指示 空间区域关系的空间机制预测像素或者采样值。
[0113] 使用来自先前编码的图像的图像信息的预测方式还可以称为帧间预测方法,这些 帧间预测方法还可以称为时间预测和运动补偿。使用在相同图像内的图像信息的预测方式 还可以称为帧内预测方法。
[0114] 第二阶段是对在预测的像素或者采样块与原有像素或者采样块之间的误差进行 编码的阶段。这可以通过使用指定的变换对像素或者采样值的差值进行变换来实现。这一 变换可以是离散余弦变换(DCT)或者其变体。在变换差值之后,变换的差值被量化和熵编 码。
[0115] 通过变化量化过程的保真性,编码器可以控制在像素或者采样表示的准确性(即 图片的可视质量)与所得编码的视频表示的大小(例如文件大小或者传输比特率)之间的 平衡。
[0116] 解码器通过应用与编码器为了形成像素或者采样块的预测的表示而使用的预测 机制相似的预测机制(使用由编码器创建的并且在图像的压缩表示中存储的运动或者空 间信息)和预测误差解码(预测误差编码的的逆操作,以在空间域中恢复量化的预测误差 信号)来重构输出视频。
[0117] 在应用像素或者采样预测和误差解码过程之后,解码器组合预测和预测误差信号 (像素或者采样值)以形成输出视频帧。
[0118] 解码器(和编码器)还可以应用附加滤波过程,以便在传递输出视频用于显示和 /或存储为用于在视频序列中的即将来临的图片的预测参考之前,改善输出视频的质量。
[0119] 在包括H. 264/AVC和HEVC的许多视频编码解码器中,运动信息用与每个运动补偿 的图像块关联的运动矢量来指示。这些运动矢量中的每个运动矢量表示在待编码(在编码 器侧中)或者待解码(在解码器侧中)的图片中的图像块和在先前编码或者解码的图片之 一中的预测源块的位移。H. 264/AVC和HEVC如同许多其它视频压缩标准将图片划分成矩形 网格,对于这些矩形中的每个矩形,指示在参考图片之一中的相似块用于帧间预测。预测块 的位置被编码为运动矢量,该运动矢量指示预测块与正在编码的块比较的定位。为了高效 地表示运动矢量,它们可以相对于块专属预测的运动矢量来差分地编码。在许多视频编码 解码器中,以预定义的方式、例如通过计算相邻块的编码或者解码的运动矢量的中值来创 建预测的运动矢量。用于创建运动矢量预测的另一方式是从相邻块和/或在时间参考图片 中的共同定位的块生成候选预测的列表并且用信号发送选择的候选作为运动矢量预测符。 除了预测运动矢量值之外,还可以预测先前编码/解码的图片的参考索引。可以从相邻块 和/或从在时间参考图片中的共同定位的块预测参考索引。另外,许多高效率视频编码解 码器采用常称为合并化/合并模式的附加运动信息编码/解码机制,其中预测和使用所有 运动场信息--该运动场信息包括运动矢量和用于每个可用参考图片列表的对应参考图 片索引--而无任何修改/校正。相似地,使用相邻块和/或在时间参考图片中的共同定 位的块的运动场信息来执行预测运动场信息,并且在用可用相邻/共同定位的块的运动场 信息填充的运动场候选列表之中用信号发送使用的运动场信息。
[0120] 可以使用以下因素中的一个或者多个因素来表征帧间预测过程。
[0121] 运动矢量表示的准确度。例如运动矢量可以具有四分之一像素准确度,并且可以 使用有限冲激响应(FIR)滤波器来获得在分数像素定位中的采样值。
[0122] 用于帔间预测的块分割。包括H. 264/AVC和HEVC的许多编码标准允许选择块-- 对于该块应用运动矢量以用于在编码器中的运动补偿一的大小和形状,并且在比特流中 指示选择的大小和形状,从而解码器可以再现在编码器中完成的运动补偿预测。
[0123] 用于帔间预测的参考图片数目。帧间预测的源是先前解码的图片。包括H. 264/ AVC和HEVC的许多编码标准实现存储用于帧间预测的多个参考图片和在块基础上选择使 用的参考图片。例如可以在H. 264/AVC中在宏块或者宏块分割基础上和在HEVC中在PU或 者⑶基础上选择参考图片。诸如H. 264/AVC和HEVC之类的许多编码标准在比特流中包括 语法结构,这些语法结构使解码器能够创建一个或者多个参考图片列表。指向参考图片列 表的参考图片索引可以用来指示多个参考图片中的哪个参考图片用于特定块的帧间预测。 参考图片索引可以在一些帧间编码模式中由编码器编码到比特流中,或者它可以在一些其 它帧间编码模式中(由编码器和解码器)例如使用邻近块来推导。
[0124] 运动矢量预测。为了在比特流中高效地表示运动矢量,运动矢量可以相对于块专 属预测的运动矢量来差分地编码。在许多视频编码解码器中,以预定义的方式、例如通过计 算相邻块的编码或者解码的运动矢量的中值来创建预测的运动矢量。用于创建运动矢量预 测的另一方式是从相邻块和/或在时间参考图片中的共同定位的块生成候选预测的列表 并且用信号发送选择的候选作为运动矢量预测符。除了预测运动矢量值之外,还可以预测 先前编码/解码的图片的参考索引。通常从相邻块和/或在时间参考图片中的共同定位的 块预测参考索引。通常跨分片边界禁用对运动矢量的差分编码。
[0125] 多假设运动补偿预测。H. 264/AVC和HEVC实现在P分片(本文中称为单预测分 片)中使用单个预测块或者将两个运动补偿预测块的线性组合用于还称为B分片的双预测 分片。在B分片中的个体块可以被双预测、单预测或者帧内预测,并且在P分片中的个体块 可以被单预测或者帧内预测。用于双预测图片的参考图片不限于按照输出顺序的后续图片 和先前图片,而是可以使用任何参考图片。
[0126] 在诸如H. 264/AVC和HEVC之类的许多编码标准中,为P和SP分片构造称为参考 图片列表〇的一个参考图片列表,并且为B分片构造列表0和列表1这两个参考图片列表。 对于B分片,即使用于预测的参考图片可以具有与彼此或者当前图片的任何解码或者输出 顺序关系,在向前方向上的预测可以是指从在参考图片列表0中的参考图片预测,而在向 后方向上的预测可以是指从在参考图片列表1中的参考图片预测。在一些实施例中,在回 放或者输出顺序中比当前图片更早的参考图片根据递减顺序被放入列表〇中,而比当前图 片更晚的参考图片根据递增顺序被放入列表1中。参考图片可以根据在参考图片与当前图 片之间的距离来排序。
[0127] 由于多视图视频向编码解码器提供利用视
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1