三维视频编码的运动向量产生方法及装置制造方法
【专利摘要】本发明提供一种运动向量预测器(Motion?Vector?Predictor,MVP)的产生方法和装置，用于三维视频编码中的跳过模式或合并模式。在一实施例中，所述方法包含：针对已选择区块确定MVP候选集合，并由MVP列表中选择一个MVP以用于所述区块的运动向量编码。所述MVP候选集合可包含与多个相邻区块有关的多个空间MVP候选和一个视点间候选，且所述MVP列表由所述MVP候选集合中选择。所述MVP列表可由仅有的一个MVP候选或多个MVP候选构成。若使用仅有的一个MVP候选，则无需将与所述MVP候选有关的MVP指针并入对应于所述三维视频编码的视频比特流中。所述MVP候选也可以是根据预定顺序的所述MVP候选集合中的第一个可用的MVP候选。
【专利说明】三维视频编码的运动向量产生方法及装置
[0001]相关案的交叉引用
[0002]本发明要求主张2012年4月24日提出的编号为61/637，749且命名为“Direct/Skip mode with explicit signaling of the MVP index in 3D Video Coding(三维视频编码中运动向量预测指针的显式信令的直接/跳过模式)”美国临时专利申请，以及2012 年 4 月 27 日提出的编号为 61/639，593 且命名为“The methods for MVP derivat1nin 3D Video Coding(三维视频编码中的运动向量预测器产生方法)”的美国临时申请案，以及2012年7月18日提出的编号为61/672，792且命名为“Method of mot1n vectorderivat1n for video coding(视频编码的运动向量产生方法)”的美国临时申请案的优先权。这些美国临时申请的全部内容在此引用并合并参考。
【技术领域】
[0003]本发明是有关于视频编码，更具体地，本发明是有关于三维(Three-Dimens1nal, 3D)视频编码中的运动向量预测器的产生(derivat1n)。
【背景技术】
[0004]3D电视(Televis1n，TV)成为近年来的技术发展趋势，其目标在于为观看者带来美好的(sensat1nal)观看体验。各种技术已开发促使3D的实现。在这些技术中，尤其多视点(mult1-view)视频是3DTV应用的关键技术。传统视频为二维(Two-Dimens1nal, 2D)媒体，仅为观看者提供来自相机(camera)的视角(perspective)的场景的单一视点(view)。然而，多视点视频能够提供任意视角(viewpoint)的动态场景，并为观看者提供逼真的感受。
[0005]多视点视频通常通过同时使用多个相机捕捉一个场景而创建，其中，该多个相机适当摆放以令每个相机由一个视角捕捉该场景。相应地，该多个相机会捕捉多个视频序列。为了提供更多的视点，更多的相机用来产生具有与该多个视点有关的大量视频序列的多视点视频。相应地，多视点视频会需要用于储存的大量存储空间和/或用于传送的高带宽。因此，在本领域中，开发多视点视频编码技术以减少所需的传输带宽的存储空间。一种直接的方法是可简单将传统的视频编码技术独立地应用于每个单一视点的视频序列，并忽略不同视点之间的任何关联。为了改善多视点视频编码效率，典型的多视点视频编码总是使用视点间(inter-view)冗余。
[0006]运动向量预测是一种重要的视频编码技术，是对当前区块的运动向量(Mot1nVector1MV)进行预测性编码以改善编码效率。运动向量预测产生运动向量预测器(Mot1nVector Predictors, MVPs)，以对当前区块的MV进行编码。MVP的产生是基于已进行过编码的视频数据，以便在解码器端可执行相同的产生过程。在一些情形中，MVP可以与当前的MV相同。可发出指示此情况的指示直接模式(Direct mode)的信号，从而无需为该区块传送用于MV的运动(mot1n)信息。此外,对于已选择的MVP,预测残差(residual predict1nerrors)可能很小或可能为O。可发出指示跳过模式(Skip mode)的信号，从而无需为该区块传送运动信息或残留信号(residual signal)。运动预测技术也可应用于三维视频编码。由于所有的相机从不同视角捕捉同一个场景，多视点视频会包含大量视点间冗余。视点间运动预测用于在多种模式中编码的运动向量的视点间MVP候选(candidate)的产生,多种模式例如帧间模式(inter mode)、H.264/AVC中的跳过模式和直接模式、先进的运动向量预测器(Advanced Mot1n Vector Predictor, AMVP)模式、HEVC 中的合并模式(Merge mode)和跳过模式。
[0007]在三维视频编码的标准发展过程中，出现一种基于深度的向量预测(Depth-based
Mot1n Vector Predict1n, D-MVP)方法，使用可用的(available)深度地图数据(depth
map data)，以用于有关的纹理(texture)数据的编码/解码。该技术能够增强纹理编码效率。该技术可应用于当深度地图数据在纹理数据之前进行编码时。在纹理先编码的结构(texture-first coding structure)情形中，可用的基础视点(base view)的深度地图数据可被相关视点(dependent view)所使用。D-MVP工具由两部分构成:方向分离
(direct1n-separated)的运动向量预测和用于跳过模式和直接模式的基于深度的MV补m
\-ΖΧ ο
[0008]方向分离的MVP。基于H.264/AVC的传统媒体被限制为运动向量候选的相同预测方向。因此，方向分离的MVP根据预测方向，即时域(temporal)或视点间的，来分离所有可用的相邻区块。与方向分离的MVP产生操作有关的较佳流程图如图1A所示。该操作的输入包括与区块Cb、A、B和C有关的运动数据110，以及与区块Cb有关的深度地图120，其中区块Cb为共位(collocated)色度(chroma)区块，区块A、B和C为与当前区块有关的空间上的(spatial)相邻区块，如图1B所示。若与区块C有关的运动向量不可用，则使用与区块D有关的运动向量。若当前色度区块Cb使用视点间参考图像(即步骤112的“否”路径)，则任何不使用视点间预测的相邻区块被标记为MVP产生不可用(unavailable)(步骤114)。类似地，若当前色度区块Cb使用时域预测(即步骤112地“是”路径)，则任意使用视点间参考帧的相邻区块标记为MVP产生不可用(步骤132)。
[0009]若相邻区块没有运动向量候选可用，则用于视点间预测的默认的“zero_MV”MVP(即，在步骤 116 中,mvy = O, mvx = 0)将被 mvy = O 和 mvx = D(cb)所替代，其中，办(./))为根据式⑴的与当前区块Cb的纹理有关的平均视差(disparity):
[0010]D(Cb) = (I / #).Σ/D(ch(0)(I)
[0011]其中，i为区块Cb内的像素指针(index)，且N为区块Cb的深度地图中的像素总数。然后，提供时域运动向量预测器134或视点间运动向量预测器116以用于MV编码(步骤 118)。
[0012]用于跳过模式和直接模式的基于深度的MV补偿。在跳过模式和直接模式中的基于深度的运动补偿(Depth-based Mot1n Competit1n, DMC)的操作流程图分别如图2A和图2B所示。操作的输入包括与区块A、B和C有关的运动数据210，以及与区块Cb有关的深度地图和区块A、B和C有关的深度地图220。区块Cb、A、B和C的区块配置如图1B所示。在跳过模式中，纹理数据区块{A，B，C}的运动向量ImvJ根据其预测方向被分离进入各自的时域群组和视点间群组(步骤212)。对时域运动向量(步骤214)和视点间运动向量(步骤222)分别(separately)执行DMC。
[0013]对于在给定群组(时域或视点间)中的每个运动向量mVi，产生运动补偿深度区块(Kctsmvi),其中，运动向量Iiivi应用于位置d(cb),以由运动向量Hivi所指向的参考深度地图中获取深度区块。然后，根据式(2)，估计d(cb)与d(cb，mVi)之间的相似性:
[0014]SAD(Iiivi) = SAD (d (cb, mvj), d (cb)) (2)
[0015]实现在给定群组中的绝对差(absolute differences)之和(SAD)最小的运动向量HlVi被选择作为在特定方向上该群组的最佳预测器(IWPto)，即
[0016](3)
—
[0017]在时域方向上的预测器(即Hivptmp)与在视点间方向上的预测器(即Iwpinter)竞争(compete)。根据式(4)，可确定实现最小SAD的预测器可来确定(步骤232)，以用于跳过模式:
F0018] mvpOpt =轉 n*1 (Smrnptmp).SADi mypMer))(4)
[0019]最后，若最佳MVP mvp_指另一视点(视点间预测)，则对最佳MVP应用以下检查。在最佳MVP对应于“Zero-MV”的情形中，最佳MVP被“视差_MV”预测器所替代(步骤234)，且“视差-MV”预测器的产生如式(I)所示。如步骤236所示，最终MVP用于跳过模式。
[0020]用于B片段(slices)的直接模式的MVP产生的流程图如图2B所示，类似于跳过模式的MVP产生流程图。然而，DMC是对两个参考图像(picture)列表(B卩，列表O和列表I)分别执行(步骤242)。因此，对于每个预测方向(时域或视点间)，DMC分别产生列表O和列表I的两个预测器OwpOdir和mvpldir)(步骤244和步骤254)。根据式(5)，计算得出与预测器mvpOdir和mvpldir有关的双向(b1-direct1n)补偿区块(步骤246和步骤256):
[0021]触,.卜叠，0*.)-?-些”金).(5)
2
[0022]根据式(2)，分别计算每个方向上的此双向补偿区块和区块Cb之间的SAD值。然后，根据式(4),由可用的mvpintOT和mvptmp中选取用于直接模式的MVP (步骤262)。若最佳MVP mvp_指另一视点(即，对应于视点间预测的MVP)，则对最佳MVP应用以下检查。若最佳MVP对应于“Zero-MV”，则每个参考列表中的“Zero-MV”替换为“视差-MV”预测器(步骤264)，且“视差-MV”预测器的产生如(I)所示。如步骤266所示，最终MVP用于直接模式。
[0023]基于D-MVP的用于跳过模式和直接模式的MVP的产生具有很高的计算密集性(computat1nally intensive)。例如，与当前区块Cb的纹理有关的平均视差的计算如式(I)所示，其中，需要执行超过N个深度数据的加和。还需要执行如式(2)至式(5)所示的各种进一步操作。亟需开发简化的MVP产生机制，以用于三维视频编码中的跳过模式和直接模式。
【发明内容】
[0024]本发明提供一种MVP产生方法及装置，用于三维视频编码中的跳过模式、直接模式或合并模式。在一实施例中，该方法包含针对图像中的已选择区块确定MVP候选集合，并由MVP列表中选择一个MVP以用于所述区块的运动向量编码。所述MVP候选集合可包含至少一个与多个相邻区块有关的空间MVP候选和所述已选择区块的一个视点间候选，以及所述MVP列表由所述MVP候选集合中选取。所述MVP列表可由仅有的一个MVP候选或多个MVP候选所构成。若使用仅有的一个MVP候选时，无需将与所述MVP候选有关的MVP指针并入对应于三维视频编码的视频比特流中。当使用仅有的一个MVP时，所述MVP候选可以是根据预定顺序的MVP候选集合中的第一个可用的MVP候选。当使用两个或更多个MVP候选来形成MVP列表时，会在视频比特流中包括MVP指数，以用于指示所选择的MVP候选。所述相邻区块可包含左侧相邻区块，上方相邻区块及右上方相邻区块。若所述右上方相邻区块没有可用的运动向量，则可在候选集合中包括左上方相邻区块。所述视点间候选可基于与所述已选择区块有关的产生视差值而产生，其中，所述产生视差值将所述已选择区块映射至指针区块(或称为对应区块)，并将与所述指针区块(或称为对应区块)有关的运动向量用作所述视点间候选。所述产生视差值可基于与所述相邻区块有关的视差向量，所述已选择区块的深度数据，或者与所述多个相邻区块有关的所述视差向量和所述已选择区块的所述深度数据的组合而产生的。在此，所述已选择区块的所述深度数据可以是所述已选择区块的真实深度数据或由其它视点扭曲(warp)的虚拟深度数据。
【专利附图】
【附图说明】
[0025]图1A所示为与D-MVP产生操作有关的较佳流程图。
[0026]图1B所示为用于D-MVP产生操作的空间相邻区块和共位区块的配置。
[0027]图2A所示为在跳过模式中的DMC产生操作的较佳流程图。
[0028]图2B所示为在直接模式中的DMC产生操作的较佳流程图。
[0029]图3所示为3D视频编码中与MVP候选产生有关的空间相邻区块，时域共位区块及视点间共位区块的示例。
[0030]图4所示为基于当前视点中的当前区块的中心点，覆盖参考视点中对应点的区块的MV及相邻区块的DV而产生视点间MVP (Inter-view MVP, IMVP)的示例。
【具体实施方式】
[0031]在本发明中，MVP由与空间上的相邻区块及对应区块(或所谓的共位区块)有关的运动向量所产生。在一实施例中，最终MVP可从根据预定顺序的MVP候选集合中选取。在此情形中，已选取的运动向量预测/视差矢量预测(Mot1n Vector Predict1n/DisparityVector Predict1n, MVP/DVP)指针已明确指示，以便解码器可确定的已选择的MVP/DVP。候选集合包含与图1B所示的相邻区块A、B和C有关的运动向量或视差向量。当移除任何冗余的候选和不可用的候选之后，例如对应于帧内编码的(Intra-coded)相邻区块的情形，编码器在MVP候选集合中选择一个MVP，并将已选择MVP的指针发送至解码器。若在移除冗余的候选之后仅剩一个候选，则无需发送MVP指针。若候选集合为空(即，没有可用的候选)，则添加默认候选，如0，其中，参考图像指针可设置为O。对于解码器端的跳过模式和直接模式，运动补偿是基于由MVP指针所指示或推断得出(即，在移除冗余的MVP候选后剩余单个MVP候选或没有剩余MVP)的已选择MVP的运动信息来执行的。运动信息可包括帧间预测模式(即，单向预测或双向预测)，预测方向(或所谓的预测维度)(即，时域预测，视点间预测，或虚拟参考帧预测)，以及参考指针。
[0032]MVP指针编码。用于已选择MVP指针的二进制码字(binarizat1n codewords)可使用一元码(unary) 二进制操作,截断一元码(truncated unary) 二进制操作,连接一元码(concatenated unary), k 阶指数哥伦布(k_th order Exp-Go1mb) 二进制操作，或定长(fixed-length) 二进制操作。表1显示使用截断一元码操作的MVP指针的二进制表格的示例。
[0033]
【权利要求】
1.一种运动向量预测器的产生方法，用于三维视频编码，所述方法包含: 针对图像中的已选择区块确定运动向量预测器候选集合，其中，所述运动向量预测器候选集合包含至少一个空间运动向量预测器候选，所述空间选择运动向量预测器候选由所述已选择区块的多个相邻区块和一个视点间候选所产生；以及 由运动向量预测器列表中选择一个运动向量预测器以用于所述区块的运动向量编码，其中，所述运动向量预测器列表选自所述运动向量预测器候选集合。
2.根据权利要求1所述的方法，其特征在于，所述运动向量预测器列表由仅有的一个运动向量预测器候选构成。
3.根据权利要求2所述的方法，其特征在于，在对应于所述三维视频编码的视频比特流中，不包括与仅有的所述运动向量预测器候选有关的运动向量预测器指针。
4.根据权利要求2所述的方法，其特征在于，仅有的所述运动向量预测器候选是根据预定顺序的运动向量预测器候选集合中的第一个可用的运动向量预测器。
5.根据权利要求1所述的方法，其特征在于，所述运动向量预测器列表由两个或多于两个运动向量预测器候选所构成。
6.根据权利要求5所述的方法，其特征在于，在对应于所述三维视频编码的视频比特流中，包括与由所述运动向量预测器列表中选择的所述运动向量预测器有关的运动向量预测器指针。
7.根据权利要求1所述的方法，其特征在于，所述多个相邻区块包含左侧相邻区块，上方相邻区块，和右上方相邻区块。
8.根据权利要求7所述的方法，其特征在于，若所述右上方相邻区块没有可用的运动向量，则所述多个相邻区块更包含左上方相邻区块。
9.根据权利要求1所述的方法，其特征在于，所述视点间候选是基于与所述已选择区块有关的产生视差值而产生的，其中，所述产生视差值将所述已选择区块映射至指针区块，且与所述指针区块有关的运动向量用作所述视点间候选。
10.根据权利要求9所述的方法，其特征在于，所述产生视差值是基于与所述多个相邻区块有关的视差向量，所述已选择区块的深度数据，或者与所述多个相邻区块有关的所述视差向量和所述已选择区块的所述深度数据的组合所产生的。
11.根据权利要求10所述的方法，其特征在于，所述已选择区块的所述深度数据是所述已选择区块的真实深度数据或从其它视点扭曲的虚拟深度数据。
12.根据权利要求9所述的方法，其特征在于，所述产生视差值是基于所述已选择区块的中心点、点(0，0)、点(7，7)上的所述深度数据，或者所述已选择区块的平均深度值所产生的。
13.根据权利要求9所述的方法，其特征在于，若与所述多个相邻区块有关的所述视差向量均不可用，则使用所述已选择区块的所述深度数据产生所述产生视差值。
14.根据权利要求9所述的方法，其特征在于，所述指针区块与基础视点图像有关。
15.一种运动向量预测器的产生装置，用于三维视频编码，所述装置包含: 针对图像中的已选择区块确定运动向量预测器候选集合的装置，其中，所述运动向量预测器候选集合包含至少一个空间运动向量预测器候选，所述空间选择运动向量预测器候选由所述已选择区块的多个相邻区块和一个视点间候选所产生；以及 由运动向量预测器列表中选择一个运动向量预测器以用于所述区块的运动向量编码的装置，其中，所述运动向量预测器列表选自所述运动向量预测器候选集合。
16.一种视点间候选的产生方法，用于三维视频编码中的运动向量编码，所述方法包含: 基于与图像中的已选择区块的至少一相邻区块有关的视差向量，产生视差值； 若所述视差向量不可用，基于所述已选择区块的深度数据，产生所述视差值；以及 基于已产生的所述视差值，确定所述视点间候选； 其中，已产生的所述视差值将所述已选择区块映射至指针区块，且与所述指针区块有关的运动向量用作所述视点间候选。
17.根据权利要求16所述的方法，其特征在于，所述已选择区块的所述深度数据是所述已选择区块的真实深度数据或来自其它视点的虚拟深度数据。
18.根据权利要求16所述的方法，其特征在于，已产生的所述视差值是基于所述已选择区块的中心点、点(O，O)或点(7，7)上的所述深度数据，或者所述已选择区块的平均深度值来产生的。
【文档编号】H04N19/593GK104170389SQ201380015321
【公开日】2014年11月26日 申请日期:2013年4月9日 优先权日:2012年4月24日
【发明者】林建良, 陈渏纹, 蔡玉宝, 黄毓文, 雷少民 申请人:联发科技股份有限公司