三维视频编码中降低复杂性的视图间残差预测的方法
【专利说明】三维视频编码中降低复杂性的视图间残差预测的方法
[0001]【相关申请的交叉引用】
[0002] 本发明主张申请于2013年6月11日，序列号为61/833,747,标题为"A Scheme for Inter-view Residual Prediction Supporting Identical Motion Checking for 3D Video Coding"的美国临时专利申请，以及申请于2013年12月27日，序列号为 61/921，147,标题为 "A Scheme for Inter-view Residual Prediction for 3D Video Coding"的美国临时专利申请的优先权。将以上美国临时专利申请以参考的方式并入本文 中。 【技术领域】
[0003] 本发明涉及三维以及多维视频编码。特别地，本发明涉及使用高级残差预测的视 频编码。 【【背景技术】】
[0004] 三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体 验（viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中，多 视图视频（multi-view video)是三维电视应用中的一个关键技术。现有的视频是二维 (two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个 视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。三维 视频格式还可包括与对应纹理（texture)图片相关的深度图（depth map)。深度图也必须 被编码以呈现出三维视图或多维视图。
[0005] 在本领域中，已经揭露了各种用于提高三维视频编码的编码效率的技术。也有一 些开发活动对编码技术进行标准化。例如，国际标准化组织（International Organization for Standardization，ISO)中的 IS0/IEC JTC1/SC29/WG11 工作组开发了基于三维视频编 码标准的高效视频编码（High Efficiency Video Coding，HEVC)(命名为3D-HEVC)。于 3D编码中，因为所有相机是从不同的视角来捕捉相同的场景，所以多视图视频包含了大量 的视图间冗余。为了共享邻近视图的先前已编码残差信息，视图间图片中的当前块（PU) 的残差信号可以通过对应块的残差信号来预测，其中，对应块是由视差向量（disparity vector，DV)来定位的。
[0006] 图1所示为根据3D-HEVC (HTM-9. 0)的当前设计的高级残差预测（advanced residual prediction，ARP)的示例，其中，使用时间预测的当前视图中的残差信号是 通过参考视图中的残差预测信号来预测。ARP的主要过程如下所述，用于当前预测单元 (prediction unit，PU)使用时间预测（即，参考图片为时间参考图片）的情形：
[0007] 1.当前视图Vc的参考图片140的时间参考块CurrRef 142是通过使用运动向量 (被称为mvLX，X = 0或1)的当前块Curr 112的位置以及当前视图Vc的当前图片110中 当前块的参考索引来定位。
[0008] 2.对应于当前块Curr 112的参考视图的参考图片120中的对应块Base 122是通 过使用当前块Curr 112的已推导DV的当前块Curr 112的位置来定位。
[0009] 3.用于参考视图Vr中对应块Base 122的时间参考块BaseRef 152是通过重使用 (re-using)当前块Curr 112的时间运动信息（即，mvLX以及参考索引）来定位。
[0010] 4.为了减少存储器存取的带宽，根据当前3D-HEVC(HTM-9.0)标准，当权重因 子（weighting factor)不为0时，于执行运动补偿之前，来自当前块的运动向量mvLX朝 (toward)固定参考图片缩放。具体地，固定参考图片被定义为每个参考图片列表的第一时 间参考图片。
[0011] 5.当前PU/块的时间残差信号的残差预测因子可被计算以作为参考视图中这两 个块之间的差值（即，Base - BaseRef)。换句话说，当前残差（Curr - CurrRef)是通过残差 预测因子（Base-BaseRef)来预测。
[0012] 图2所示为用于使用时间预测的PU/块编码的ARP推导的示例。
[0013] 1.当前时间预测残差（图中标示为：当前残差）210形成于当前块Curr 112以及 对应时间参考块CurrRef 142之间。
[0014] 2.残差预测信号（图中标示为：基础残差）220形成于参考视图的对应信号Base 122以及对应时间参考块BaseRef 152之间。
[0015] 3.最终残差（final residual)是从当前残差与残差预测信号之间的差值来推 导。
[0016] 在当前PU使用视图间预测（即，参考图片为视图间参考图片），而不是使用时间预 测时，ARP的主要过程可如图3所示来描述。
[0017] 1.参考视图Vr中参考视图图片320的视图间参考块Base 322是由当前视图Vc 中当前图片310的当前块Curr312的视差运动向量330来定位。
[0018] 2.参考视图中视图间参考块Base 322的时间参考块BaseRef 352是使用时间运 动向量mvLX以及参考索引来定位，其中，LO运动信息首先被使用；如果LO运动信息不可 用，则使用Ll运动信息。
[0019] 3.当前视图中的对应参考块CurrRef 342通过重新使用当前块312的视差运动向 量330从参考视图中视图间参考块Base 322的时间参考块BaseRef 352的位置来定位。
[0020] 4.为了减小存储器存取的带宽，于当前3D-HEVC(HTM_9.0)中，当权重因子不为0 时，于执行运动补偿之前，来自视图间参考块Base 322的运动向量mvLO (或mvLl)朝固定 参考图片缩放。固定图片被定义为每个参考图片列表的第一时间参考图片。然而，当来自 Base的mvLO是无效的，则来自Base的mvLl将被使用。如果来自Base的的mvLO以及mvLl 都是无效的，零向量将被使用，且参考图片将被设置为当前块的预测方向的第一时间参考 图片（列表O(LO)或列表1(Ll))。如果视图间参考块Base 322没有LO MV，或用于视图间 参考块Base 322的列表0预测是视图间视差补偿预测，来自视图间参考块Base 322的运 动向量可能是无效的。
[0021] 5.当前PU/块的视图间残差信号的残差预测因子可以计算为参考时间内，即，另 一存取单元，这两个块之间的差值（CurrRef - BaseRef)。
[0022] 图4所示为使用视图间预测用于PU/块的ARP推导的示例。
[0023] 1.当前视图间预测残差（图中标示为：当前残差）410形成于当前块Curr 312以 及视图间参考块Base 322之间。
[0024] 2.残差预测信号（图中标示为：残差预测）420形成于当前视图的对应参考块 CurrRef 342以及参考视图中视图间参考块Base 322的时间参考块BaseRef 352之间。
[0025] 3.最终残差是从当前残差以及残差预测信号之间的差值来推导。
[0026] 图5示出了使用时间预测的用于PU/块ARP推导的图示示例。块510表示当前视 图（即，视图1)的当前块，块520以及块530分别指于时间Tj的参考视图（视图0)中当 前块510的表示，以及时间Ti的来自相同视图（视图1)的当前块510的时间预测。运动 向量550是指相同视图中时间Ti时从当前块510到块530的运动。因为视图1的当前块 510以及视图0的对应块520表示两个不同视图中相同对象的投影，这两个块会共享相同运 动信息。因此，通过应用运动向量550( 即，MV 560 =MV 550)的运动信息，时间Tj的视图 0的对应块520的时间Ti的视图0的时间预测块540可以从视图0的对应块520来定位。 接着，对应块520的残差（即，540)由一个权重因子相乘，且与对应块（即，520) -起使用 以形成当前块（即，510)的预测因子。
[0027] 图6所示为用于当前视图Vl中当前图片610的当前块612的具有两个不同运动 向量（L0 MV 640以及LI MV 650)的ARP双向预测模式的示例。当前视图的当前图片的当 前HJ 612的运动信息被应用于参考视图VO的参考图片660中的对应块662。接着，根据当 前PU的LO以及Ll运动信息通过执行运动补偿产生预测残差信号。第一残差产生于对应 块662以及使用LO MV的参考视图VO中参考图片670的LO参考块672之间。第二残差产 生于对应块662以及使用LI MV的参考视图VO中参考图片680的LO参考块682之间。于 LO以及Ll预测信号产生期间，只执行一个修剪操作（clipping operation)。LO以及Ll运 动补偿预测信号分别通过内插过程产生，而不需要任何修剪操作。接着，将已内插的信号与 通过ARP产生的预测残差信号相加。于最后的阶段，LO以及Ll预测信号被相加后再执行 一个修剪操作，并作为最终结果被输出。根据当前3D-HEVC(即，HTM-9.0)的ARP方案，在 当前PU为单向预测（uni-prediction) PU时，于LO或列表预测信号产生期间，两个修剪操 作被应用。LO或Ll运动补偿预测信号首先通过内插过程并接着通过修剪操作（修剪为输 入比特深度的有限范围）来产生。接着，将已修剪信号