三维视频编码的摄像机参数发信的方法和装置的制造方法_2

文档序号:9713965阅读:来源:国知局
间运动预测来预测其运动时,如图5所示,用于视角间运动预 测的视差矢量代表当前图像和视角间参考图像之间相应的运动。运种类型的运动矢量被称 为视角间预测运动矢量、块被称为DV-MCP块。图5为DV-MCP块的示例,其中,DV-MCP块510的 运动信息是从视角间参考图像中的相应块520来预测的。相应块520的位置是由视差矢量 530来指定的。用于DV-MCP块的视差矢量代表当前图像和视角间参考图像之间的相应的运 动。相应块520的运动信息522被用来预测在当前视角中的当前块510的运动信息512。
[0016] 为了指出MCP块是否是DV-MCP编码,W及存储视差矢量W进行视角间运动参数预 测,两变量用来表示每一块的运动矢量信息:
[0017] -dvMcpFlag,和
[0018] -dvMcpDisparity〇
[0019]当dvMcpFlag等于I ,dvMcpDisparity设置为表明视差矢量是用于视角间运动参数 预测。在AMVP模式和合并模式的候选名单的建设过程(construction process)中,如果是 由视角间运动参数预测生成候选,则dvMcpFlag设置为1,否则设置为0。如果在上述空间和 时间上的相邻块中没有找到DCP编码块和DV-MCP编码块,那么零矢量可W用来作为默认的 视差矢量。
[0020] 通过从深度图提取更精确的视差矢量(在本发明中简称为精确视差矢量)W提高 NBDV的方法被用于当前的3D-肥VC中。在同一存取单元中的编码深度图上的深度块被首次 检索并用作当前块的虚拟深度。具体说来,精确视差矢量是从虚拟深度块的像素子集的最 大视差转换而来的,虚拟深度块由使用NBDV导出的视差矢量来定位。运种用于视差矢量推 导的编码工具称为深度导向的NBDV(Depth-〇riented NBDV,DoNBDV)。再次,如果没有精确 视差矢量可W由DoNBDV得到,零矢量可W作为默认的视差矢量。估计视差矢量可从图5所不 的虚拟深度提取。总的流程如下:
[0021] 1.使用估计的视差矢量,估计的视差矢量为当前3D-mM中的NBDV,在编码的纹理 视角中定位相应的块。
[0022] 2.使用当前块(编码单元)的编码视角中的相应深度作为虚拟深度。
[0023] 3.从上一步获取的虚拟深度中的最大值提取视角间运动预测的视差矢量(即,精 确视差矢量)。
[0024] 视角合成预测(View synthesis prediction,VSP)是一种将视频信号之间的视角 间冗余(inter-view redundancy)从不同视点中移除的技术,其中合成信号被用作为参考 W预测当前图像。在3D-HEVC测试模型中,HTM-7.0,存在得到视差矢量预测器的过程,称为 相邻块视差矢量(NBDV)。得到的视差矢量,然后用于提取参考视角的深度图像中的深度块。 如图3所示的获得虚拟深度的过程可W应用于VSP,W在编码视角中定位相应的深度块。所 提取的深度块可W具有与当前预测单元(prediction unit,PU)相同的大小,它将被用来为 当前预测单元做后向变形(backward warping)。此外,变形操作可W在子预测单元(Siib-PU)级别精度进行,如2x2的块或4x4的块,如图6所示。
[0025] 在图6中,视角1中的当前纹理块610将被处理。预测视差矢量640用于从当前块的 同位位置610'定位视角间参考纹理块650。在编码视角中相应于纹理块650的同位深度块 630可被识别。编码后的深度块630然后作为当前块的虚拟深度块630',用于执行后向变形。 当前块610分为四个子块。虚拟深度块也分为四个子块。针对每个子块可W选择最大深度 值,W转换为子块的视差矢量。因此,如图6所示的四个箭头,可得到四个转换的视差矢量。 四个视差矢量用于后向变形的子预测单元块(SUb-PU block)中的所有像素。合成的子块然 后用于当前块的预测。目前,水平视差矢量是从选定的深度值转换的。后向VSP(backward VSP,BVSP)技术应用于纹理分量编码。
[0026] 在当前的实现,BVSP作为新合并模式候选W发信BVSP预测的使用。在运样一种方 式,BVSP块可W为无任何残差的跳跃块(skipped block),或具有残差信息编码的合并块 (Merge block)。
[0027] 如上所述,编码工具(如DoNBDV和VSP)将深度值转换为用W预测的一个或多个视 差矢量。运种深度导向的编码工具需要用于深度的摄像机参数W进行视差转换。例如,视差 值,D可W使用深度值的线性函数从深度转换得到,d:
[0029] 上述转换需要摄像机参数Zfar、Znear、焦距f和平移UW及数据的精度,用于深度 数据的比特深度(BitDepth)。上面的转换可W简化为:
[0030] D= (d*Dispa;rityScale+Dispa;rityOffset<<BitDepth) +
[0031 ] (l?(log2Div-l)))?log2Div (2)
[0032] 其中,DisparityScale是比例因子,DisparityOff set是偏移值,对于典型的深度 数据BitDepth等于8, log2Div是移位参数(shift parameter),移位参数取决于所需的视差 矢量精度。根据方程(2)的简化转换使用算术移位代替除法运算。
[0033] 遵从可适性视频编码之中编码基础层与增强层的存在,可W提高视频的可扩展 性,=维视频编码系统将不同视角中的每一个纹理/深度序列分为不同的"层"。每一层都有 层标识符"LayerIcT。在HTM-7.0(基于测试模型版本7的3D-皿VC)中,只有当层是非深度层 时,摄像机参数被编码。如果只有深度层被编码或在纹理层之前深度层被编码,对于深度导 向的编码工具摄像机参数将不可用。此外,在HTM-7.0中,摄像机参数被发送至序列参数集 合(sequence parameter set,SPS),序列参数集合只记录单个层的信息而不知道不同层之 间的关系。区分深度层和非深度层的信息存储在视频参数集合(video parameter set, VPS)中,当深度标记VpsDepthhFlag来自于dimension_id时,运仅在VPS中可用。 化sDepthhFlag[nuh_laye;r_id]说明具有层id为nuh_laye;r_id的深度标记。表1为根据HTM-7.0在SPS中摄像机参数信号的语法的示例。如表1所示,cp_in_slice_heade;r_flag控制摄 像机参数是否将在SPS扩展或片段头(slice segment header)中。如果cp_in_slice_ heade;r_flag为0,摄像机参数(即,cp_scale[i]、cp_off [i]、cp_inv_scale_plus_scale[i] 和cp_inv_off_plus_off[i])将被包含在SPS扩展中。否则,摄像机参数将被包含在片段头 中。在HTM-7.0中,VPS和片段头之间存在摄像机参数的冗余。表2为根据3D肥VC测试模型3 在片段头中摄像机参数的语法的示例。同样,在同一视角中的纹理层和深度层之间存在摄 像机参数的冗余。在某些情况下,需要开发技术,W解决不可用的摄像机参数和摄像机参数 冗余的问题。



【发明内容】

[0039] -种=维视频编码和解码方法,根据控制标记自适应地将摄像机参数合并到视频 比特流中。可W根据与多个深度导向的编码工具相关的多个个别控制标记(individual control flags)的组合推导所述控制标记。在运种情况下,所述控制标记可仅使用或操作、 独占或操作、与操作或其他逻辑操作来从所述多个个别控制标记推导。与多个深度导向的 编码工具相关的多个个别控制标记W视频比特流的序列层级、视角层级、图像层级或片段 层级被发信。另外,控制标记也可W在视频比特流中被发信。
[0040] 另一个控制标记可W合并在视频比特流中,W指出当前层是否需要摄像机参数, 如果其它控制标记指出所述当前层需要所述摄像机参数,所述控制标记的值被设置为指出 所述摄像机参数发信于所述当前层。在另一个实施例中,所述控制标记是基于另一个控制 标记和多个个别控制标记的组合推导的。其它控制标记用来指出为当前层发信摄像机参数 的需要,多个个别控制标记与多个深度导向的编码工具相关。在运种情况下,其它控制标记 可W W视频比特流的序列层级、视角层级、图像层级或片段层级被发信。在又一个实施例 中,控制标记被深度导向的编码工具所限制,如果任何所述深度导向的编码工具被启用,所 述控制标记被限制W指出所述摄像机参数发信于所述当前层。
[0041] 所述控制标记是基于从编码工具组中选择的深度导向的编码工具推导的,所述编 码工具组包括视角合成预测(VSP)和深度导向的相邻块视差矢量(DoN抓V)。控制标记还可 W基于深度导向的编码工具而推导,深度导向的编码工具使用摄像机参数将深度值转换成 视差值。在视频比特流中的摄像机参数可W合并在视频比特流的序列层级、视角层级、图象 层级或片段层级。
[0042] -种=维视频编码和解码方法,该方法使用第一标记和第二标记W自适应地控制 视频比特流中的每一层或每一视角的摄像机参数的存在和位置。第一标记指出视频比特流 中的每一层或每一视角的摄像机参数是否存在。第二标记指出在视频流中每一层或每一视 角的摄像机参数的位置。在一个实施例中,所述摄像机参数位于片段头,所述摄像机参数的 位置是从所述第一标记和所述第二标记的逻辑组合推导的。多个第二标记用于为所述每一 层或每一视角指出所述视频比特流中的多个摄像机参数的位置。如果选定的视角不存在所 述摄像机参数,所述选定的视角的所述第一标记被推断为0。
[0043] 在另一个实施例中,相同视角顺序索引的所有层中的所述第一标记、所述第二标 记和所述摄像机参数都是相同的。如果所述摄像机参数发信于与当前层具有相同视角顺序 索引的先前层,或所述第一标记指出在与所述当前层具有所述相同视角顺序索引的所述先 前层中存在所述摄像机参数,所述当前层的所述第一标记被设置为指出所述当前层中不存 在所述摄像机参数。在运种情况下,所述当前层的所述摄像机参数继承具有所述相同视角 顺序索引的所述先前层的所述摄像机参数。
【附图说明】
[0044] 图1为合并视差补偿预测作为可选择的运动补偿预测的3D视频编码的示意图。
[0045] 图2为利用先前编码的信息或来自相邻视角的残差信息的3D视频编码的示意图。
[0046] 图3为虚拟深度推导的示意图,其中虚拟深度是用来转换深度为视差。
[0047] 图4A-4B为在HTM-3.1中分别为当前块导出视差矢量的当前块的空间上的相邻块 和时间上的相邻块示意图。
[004引图5为从运动补偿预测(mot ion-compensated predict ion ,DV-MCP)块推导视差的 示意图,其中相应的块的位置是由视差矢量指定的。
[0049] 图6为在子块上操作的向后视角合成预测(ba
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1