三维视频编码的摄像机参数发信的方法和装置的制造方法
【专利说明】H维视频编码的摄像机参数发信的方法和装置 巧001]相关申请的交叉引用
[0002] 本申请要求下列申请的优先权:2013年7月19日递交的申请号为61/856，321，名称 为维视频编码的摄像机参数发信"的美国临时案；2013年7月30日递交的申请号为61/ 859，797，名称为维视频编码的自适应摄像机参数发信"的美国临时案;2013年7月31日 递交的申请号为6 1/860, 707,名称为维视频编码的摄像机参数发信的限制 (Restriction)"的美国临时案;2013年10月14日递交的申请号为61/890,366,名称为"立维 视频编码的摄像机参数发信的约束(Constraints)"的美国临时案;2013年10月15日递交的 申请号为61/891，201，名称为维视频编码的摄像机参数发信"的美国临时案;2013年10 月30日递交的申请号为61/897,364,名称为维视频编码的基于视角顺序索引的摄像机 参数发信"的美国临时案。在此合并参考运些申请案的申请标的。
技术领域
[0003] 本发明有关于S维（three-dimensional，3D)视频编码。特别是，本发明有关于S 维视频编码中的=维编码工具的摄像机参数发信。
【背景技术】
[0004] =维电视一直是近几年的技术趋势，意图给观众带来非常好的观看体验。目前已 经开发出了多种支持=维观看的技术。其中，对于=维电视应用程序而言，多视角视频 (multi-view video)是关键技术之一。传统的视频是二维(2D)媒体，仅为观众提供从摄像 机的角度看到的单一视角（single view)。然而，多视角视频能够提供动态场景的任意视点 (arbitraiy viewpoints)，并提供给观众W真实感。
[000引多视角视频通常是通过使用多个摄像机同时捕获一个场景而产生的，其中多个摄 像机都被设置在适当的位置，W使每个摄像机从一个视点捕捉场景。因此，多个摄像头捕捉 到相应于多个视角的多个视频序列。为了提供更多的视角，更多的摄像头已被用来产生与 多个视角相关的大量的视频序列。因此，多视角视频将需要很大的存储空间W存储和/或需 要高带宽W传输。因此，在该领域中多视角视频编码技术已经已被开发出来，W减少所需的 存储空间或传输带宽。
[0006] -个简单的方法是，简单地将传统的视频编码技术分别适用于每个单一视角视频 序列，并忽略多个不同视角之间的任何相关。运样的编码系统将是非常低效的。为了提高多 视角视频编码的效率，多视角视频编码利用视角间冗余（inter-view redundancy)。多种3D 编码工具正在W扩展现有视频编码标准的方式来开发中。例如，标准开发活动已扩展 H. 264/先进视频编码（advanced video coding,AVC)和高效视频编码化igh efficien巧 video coding,肥VC)至多视角视频编码(multi-view video coding,MVC)和3D编码。
[0007] 用于3D-HEVC和3D-AVC的各种已开发或正在开发的3D编码工具如下。
[0008] 分享相邻视角的先前编码的纹理信息（previously coded texture information)，被称为视差补偿预测化 i spar ity-Compensated Predict ion, DCP)的技术已 被列入3D-HTM，作为运动补偿预测（motion-compensated prediction，MCP)的另一种编码 工具。MCP是指利用相同视角的先前编码图像的图像间预测（inter-pic化re prediction)， 而DCP指使用相同存取单元中其他视角的先前编码图像的图像间预测。图I为合并MCP和DCP 的3D视频编码系统的示意图。用于DCP的矢量（110)被称为视差矢量(disparity vector, DV)，运是模拟MCP中使用的运动矢量(motion vector,MV)。图I说明了与MCP相关的S个运 动矢量（120、130和140)。此外，DCP块的视差矢量也可W由来自于相邻块或时间轴上同位块 (temporal collocated blocks)有利用视角间参考图像的视差矢量预测器（disparity vector predicto;r，DVP)候选来预测。在当前的3D-HTM中，当为合并/跳跃模式(Merge/Skip modes)获得视角间合并模式候选（inter-view Merge candidate)时，如果相应的块的运动 信息不可用或无效，视角间合并模式候选被视差矢量所取代。
[0009] 视角间残差预测（Inter-view residual prediction)是另一个用于3D-HTM的编 码工具。如图2所示，为了分享相邻视角的先前编码的残差信息，当前预测块（即，预测单元 (prediction unit, PU))的残差信号，可W通过视角间图像中的相应的块的残差信号来预 。相应的块可W通过各自的视差矢量来定位。相应于特定摄像机位置的视频图像和深度 图（depth map)是由视角标识符（view identifier)来指出（indicate)的（例如，图2中的 V0、V1和V2)。属于相同摄像机位置的所有视频图像和深度图，都与相同的视角索引（view index)(即，视角顺序索引）相关。视角顺序索引用于指定存取单元内的编码顺序，W及在易 于出错的环境（error-prone environment)中检测丢失的视角。存取单元包括相应于相同 时刻（same time instant)的所有视频图像和深度图。在存取单元中，视角索引等于0的视 频图像和存在的相关深度图会最先编码，接下来是视角索引等于1的视频图像和深度图，W 此类推。视角索引等于0的视角（即，图2中的VO)也被称为基本视角或独立视角。基本视角视 频图像可W不依赖其他视角而使用常规的肥VC视频编码器来进行编码。
[0010] 在图2中可W看到，对于当前块，运动矢量预测器(MVP)/视差矢量预测器(DVP)可 W从视角间图像中的视角间块（inter-view block)来得到。在下面，视角间图像中的视角 间块可W简写为视角间块。得到的候选被称为视角间候选（inter-view candidate),可作 为视角间MVP和DVP。基于其他视角中先前编码的运动信息，编码工具编码当前块(例如，当 前的预测单元）的运动信息，被称为视角间运动参数预测。此外，在相邻视角中的相应的块 被称为视角间块，视角间块使用从当前图像的当前块的深度信息得到的视差矢量来定位。
[0011] 图2所示的实施例相应的视角编码顺序为从VO(即，基础视角巧IjVl,再到V2。在当 前图像中被编码的当前块是V2。根据HTM3.1，在先前编码视角中的参考块的所有运动矢量 可W被视为视角间候选，即使视角间图像不在当前图像的参考图像列表中。在图2中，帖 210、220和230分别相应于在时间tl来自于视角V0、V1和V2的视频图像或深度图。块232是当 前视角中的当前块，块212和块222分别为视角VO和Vl中的同位当前块（col located current block)。对于视角VO中的同位当前块212,视差矢量216用于定位视角间同位块 214。同样，对于视角Vl中的同位当前块222,视差矢量226用于定位视角间同位块224。
[0012] 在3D系统中，在参考视角中的深度图可W在相依视角（dependent view)中的纹理 图像之前被编码。因此，对于后续的纹理和深度编码，编码的深度信息变得有用。例如，对于 具有视角V〇、Vl和V2的系统，纹理和深度成分的处理顺序可W是1'0、00、1'1^2、01和02，其中 "T"代表纹理，"护代表深度。在视角VO中的深度图之后，基本视角（即，VO)中的纹理图像第 一个被编码。对于相依视角，在深度图之后，纹理图像第一个被编码。因此，在视角O中的编 码深度图可用来推导在视角1中将被编码的纹理帖的视差矢量。图3为使用虚拟深度将深度 转换为视差的技术的实施例。当前块(current block,CB)310的预测视差矢量340被确定。 参考视角中的视角间参考纹理块350可使用预测视差矢量340通过当前块310的同位位置 310'来定位。当前块310相应的深度块330是从与视角间参考纹理块350同位的编码DO中取 得的。为获得当前块的视差矢量，检索到的块330被用作虚拟深度块330'。与虚拟深度块 330'相关的深度值，然后被使用并被转换成视差。例如，在虚拟深度块330'中的最大值可W 用来转换为各种视角间编码工具的视差矢量。
[0013] 在当前的3D-HEVC中，用于视差补偿预测(DCP)的视差矢量明确传输的方式或隐式 推导的方式，与关于先进运动矢量预测（advanced motion vector prediction,AMVP)和合 并模式步骤中的运动矢量推导相类似。目前，除了用于视差补偿预测的视差矢量，用于其它 的编码工具的视差矢量可使用如下所述的相邻块视差矢量（neighboring block disparity vector,NBDV)处理或深度导向的相邻块视差（depth oriented neigliboring block disparity,DoNBDV)处理来导出。
[0014] 在当前的3D-皿VC中，视差矢量可W作为帖间模式（Inter mode)的DVP候选或合 并/跳跃模式的合并模式候选。得到的视差矢量也可W被用来作为视角间运动预测和视角 间残差预测的偏移矢量(off set vector)。当作为偏移矢量，视差矢量是从如图4所不的至 间和时间上的相邻块获得的。多个空间和时间上的相邻块被确定，W及时间和空间上的相 邻块的视差矢量的可用性根据预定顺序被检查。基于相邻(空间和时间上)块的视差矢量推 导的运种编码工具称为相邻块视差矢量(Nei曲boring Block DV，NBDV)。如图4A所示，空间 上的相邻块集合包括当前块的左下角的斜对角位置(即A0)、相邻于当前块的左底部的位置 (即A1)、当前块的左上角的斜对角位置（即B2)、当前块的右上角的斜对角位置（即B0)、W及 相邻于当前块的右顶部的位置（即B1)。如图4B所示，时间上的相邻块集合包括在时间参考 图像中的当前块的中屯、位置（即Bctr)和当前块的右下角的斜对角位置（即RB)。代替中屯、位 置，在时间参考图像中，当前块中的其他位置(例如，右边较低的块)也可W使用。换句话说， 与当前块同位的任何块都可W包含在时间上的相邻块集合中。一但块被确定为具有视差矢 量，检查过程将被终止。对于如图4A所示的空间上的相邻块的范例捜索顺序是A1、B1、B0、 A0、B2。对于如图4B所示的时间上的相邻块的范例捜索顺序是BR、Bctr。在目前的实践中，两 个同位的图像将被检查。
[0015] 如果在相邻块集合（即如图4A和图4B所示的空间和时间上的相邻块）中没有DCP编 码块，视差信息可W从另一个名为DV-MCP的编码工具得到。在运种情况下，当空间上的相邻 块是MCP编码块、W及通过视角