3d视频编码中简化的视图合成预测的方法
【专利说明】3D视频编码中简化的视图合成预测的方法
[0001] 【相关申请的交叉引用】
[0002] 本发明主张申请于2013年7月19日，序列号为PCT/CN2013/079668,标题为 "Simplified View Syndesis Prediction for 3D Video Coding"的PCT专利申请的优先 权。将此PCT专利申请W参考的方式并入本文中。 【技术领域】
[0003] 本发明设及S维视频编码。特别地，本发明设及与3D视频编码中视图合成预测 (view synthesis prediction,VSP)相关联的深度数据访问的方法。 【【背景技术】】
[0004] =维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验 (viewing e邱erience)。各种技术都被开发出来W使S维观看成为可能。其中，多视图视频 (multi-view video)是S维电视应用中的一个关键技术。现有的视频是二维（two-dimensional) 介质， 二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。 然而，多视图视频可W提供动态场景的任意视角，并为观看者提供真实的感觉。
[0005] 通常，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相 机都被合适地定位，W使每个照相机从一个视角捕捉场景。因此，多个相机将捕捉对应多个 视图的多个视频序列。为了提供更多的视图，需要使用更多的相机来产生具有与视图相关 联的大量视频序列的多视图视频。因此，多视图视频将需要大量的存储空间来存储和/或需 要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来W减少所需要的存 储空间或传送带宽。
[0006] -个直接方法可W简单地应用于现有的视频编码技术，使每个单个视图视频序列 独立且忽视不同视图中的任何关联。运样的编码系统将是非常低效的。为了提高多视图视 频编码效率，多视图视频编码利用视图间冗余。通过扩展现存的视频编码标准，各种3D编码 工具已经被开发出来或正在被开发。例如，有标准开发活动W扩展多视图视频编码(multiview video coding, MVC)W 及 3D 编码的H.264/高级视频编码 （advanced video coding, AVC)W及高效视频编码化igh efficien巧 video coding,肥VC)。
[0007] 用于3D-HEVCW及3D-AVC的各种已被开发出来或正在被开发的3D编码工具综述如 下。
[000引为了共享邻近视图的先前已编码的纹理信息，一种被称为视差补偿预测 (Disparit^Compensated Prediction，DCP)的技术被包括到基于肥VC的S维视频编码的 测试模型（test Model for t虹ee-dimensional video coding based on 肥VC，3D-HTM) 中W作为动补偿预测（motion-compensated predict ion, MCP)的备选编码工具。MCP是关于 使用相同视图中先前已编码图片的图片间预测，而DCP是关于相同存取单元中其它视图的 先前已编码图片的图片间预测。图1所示为结合MCPW及DCP的3D视频编码系统的示例。用于 DCP的向量110被称为视差向量（disparity vector，DV)，其模拟用于MCP的运动向量 (motion vector,MV)。图I显示了与MCP相关联的S个MV120、130W及 140。此外，DCP块的DV 还可由视差向量预测（disparity vector predictor,DVP)候选来预测，DVP候选是由也使 用视图间参考图片的相邻块或时间对应块导出。于当前3D-HTM中，当导出用于合并/跳过模 式的视图间合并候选时，如果对应块的运动信息是不可用的或无效的，视图间合并候选由 DV来替代。
[0009] 视图间运动预测（Inter-view motion prediction)用于共享参考视图的先前已 编码运动信息。为了导出附属视图中当前块的候选运动参数，用于当前块的DV首先被导出， 且接着，通过将DV增加到当前块的位置，参考视图中已编码图片中的预测块被定位。如果预 测块是使用MCP来编码，相关的运动参数可用作当前视图中当前块的候选运动参数。已导出 DV还可被直接用作用于DCP的候选DV。
[0010]视图间残差预测（Inter-view residual prediction)是被用于3D-HTM的另一编 码工具。为了共享邻近视图的先前已编码的残差信息，当前预测块（即，预测单元 (prediction unit,PU))的残差信号可由视图间图片中的对应块的残差信号来预测。对应 块可由相应DV来定位。对应于特定照相机位置的视频图片W及深度图由视图标识符（即， V0、V1 W及V2)来指示。属于相同照相机位置的所有视频图片W及深度图通过相同视图Id (即，视图标识符)被关联。视图标识符被用于在存取单元中指定编码顺序，且于易出错环境 中检测丢失的视图(miSSing View)。存取单元包括对应于相同时刻的所有视频图片W及深 度图。于存取单元中，如果存在视图Id等于0的深度图，则视图Id等于0的视频图片及相关的 深度图首先被编码，接下来是视图Id等于1的视频图片W及深度图等。视图Id等于0(即，VO) 的视图也被称作基础视图或独立视图。基础视图视频图片可使用现有的肥VC视频编码器不 依赖于其它视图被编码。
[0011] 对于当前块，运动向量预测（motion vector predictor, MVP)/视差向量预测 (disparity vector predictor,DVP)可W从视图间图片的视图间块导出。在下文中，视图 间图片的视图间块被简称为视图间块。已推导出的候选被称为视图间候选，其可W是视图 间MVP或DVP。基于其它视图中先前已编码的运动信息来编码当前块(例如，当前PU)的运动 信息的编码工具被称为视图间运动参数预测（inter-view motion parameter prediction)。此外，相邻视图的对应块被称为视图间块，且视图间块使用从当前图片中的 当前块的深度信息导出的视差向量来定位。
[0012] 视图合成预测（View Synthesis Prediction,VSP)是一种移除来自不同视角的视 频信号中的视图间冗余的技术，于VSP中，合成信号被用作为预测当前图片的参考。于3D-肥VC测试模型HTM-7.0中，存在一过程来导出视差向量预测，被称为相邻块视差向量 (Nei曲boring Block Disparity Vector,NBDV)。接着，已导出视差向量被用于获取参考视 图的深度图像中的深度块。导出虚拟深度的过程可被应用于VSPW定位已编码视图的对应 深度块。已获取的深度块可具有与当前PU相同的大小，且接着将被用于对当前PU执行后向 扭曲（backward wa巧ing)。此外，扭曲操作可被执行于子PU级别精度，例如2x2、4x4、8x4或 作8块。
[0013] 于当前实现中，VSP仅被用于纹理分量编码。VSP预测也被增加 W作为新的合并候 选来显示VSP预测的使用。W运样的方式，VSP块可W是没有任何残差的跳过块（skipped block),或具有已编码残差信息的合并块。于本申请中，为方便起见，基于VSP的合并候选的 还可被称为VSP合并候选。
[0014]当图片作为B图片被编码，且当前块被表示为VSP预测时，下文的步骤被应用W确 定VSP的预测方向：
[001引-从NBDV获取已导出视差向量的视图索引ref ViewIdxNBDV;
[0016]-获取与具有视图索引refViewIdxNBDV的参考图片相关联的参考图片列表 RefPicListNBDV(RefPicListO或RefPicListl);
[0017]-检查具有视图索引ref ViewIdx的视图间参考图片的可用性，视图索引 refViewIdx不等于参考图片列表中除RefPicListNBDV之外的refViewIdxNBDV;
[0018] O如果运样的不同视图间参考图片被找到，则应用双向VSP。来自视图索引 refViewIdxNBDV的深度块被用作为当前块的深度信息(在纹理第一编码顺序的情况下），且 两个不同视图间参考图片(来自每个参考图片列表中的一个)经由后向扭曲过程被访问，且 进一步加权W获得最终后向VSP预测子；
[0019] O否则，单向（uni-direction)VSP被应用到RefPicListNBDVW作为用于预测的参 考图片列表。
[0020] 当图片作为P图片被编码，且当前预测块使用VSP时，单向VSP被应用。
[0021] VSP被用作用于下述模块的通用DCP候选：时间合并候选导出，用于深度编码的运 动参数继承，深度方向的相邻块视差向量（depth oriented neighboring block disparity vector, DoNBDV)，自适应运动向量预测（adaptive motion vector prediction，AMVP)，W及解块滤波器(deblocking filter) eVSP合并候选的导出检查属于 所选择空间相邻组的空间相邻块W确定是否组中的任何空间相邻块被编码为VSP模式。如 图2所示，当前块210的五个空间相邻块(80、81、82、40^及41)属于用于￥5?合并候选的导出 的组。当前块可W是编码单元(cod