专利名称：一种多视点视频编码视点间预测快速选择方法
技术领域：
本发明涉及数字视频编码领域，具体涉及一种多视点视频编码视点间预测快速选择方法。
背景技术：
多视点视频(Multiview Video, MV)是利用不同位置的摄像头对同一场景进行拍摄得到的视频数据，它包含了丰富的视觉信息，可以应用于3D电视、自由视点电视、视频监控、虚拟现实等领域。多视点视频编码(Multiview Video Coding, MVC)对多视点视频数据进行高效的压缩，以解决其巨大数据量的存储和传输的问题。联合视频工作组(Joint VideoTeam, JVT)已完成对多视点视频编码的标准化，将其作为H. 264/AVC的第四个增修案(JAL ITU-T and IS0/IEC JTC 1, Advanced video coding forgeneric audiovisual services，即“面向音视频服务的高级视频编码”，ITU-TRecommendation H. 264 and ISO/ IEC 14496 (MPEG-4 AVC)，2010)。为了提高编码压缩效率，多视点视频编码的宏块帧间模式不仅采用传统单视点视频编码的时域预测来减少时间方向上的数据冗余，还采用其特有的视点间预测来降低视点方向上的数据冗余(见A. Vetro, T. ffiegand, and G. J. Sullivan, Overview of the stereo and multiview video coding extensions of theH. 264/AVC standard，即“H. ^4/AVC关于立体视频和多视点视频的扩展概述”，Proceeding of IEEE, vo 1. 99，pp. 6沈-642，2011)。视点间预测可以有效降低视点方向的数据冗余，但由于每个帧间模式都要进行视点间预测，显著增加了单个视点的计算量。因此，视点间预测的增加了多视点视频编码的整体计算复杂度，阻碍了其实际应用。另外，视点间预测被选为最终预测方向的宏块比例比时域预测被选为最终预测方向的宏块比例要少(见P.Merkle， A. Smolic,K. MiiilIer, and Τ· Wiegand,Efficient prediction structuresfor multiview video coding，S卩“多视点视频编码的高效预测结构”，IEEETransactions on Circuits and Systems for Video Technology，vol. 17，no. 11，pp. 1461-1473，Nov. 2007)。因此，帧间模式可以有选择的进行视点间预测，不需要对所有帧间模式都进行视点间预测。综上所述，视点间预测的选择方法对多视点视频编码的实际应用具有重要的意义。现有的多视点视频编码帧间预测选择方法主要是利用各个视点视频数据的运动信息(见L. Q. Shen，Z. Liu，S. Liu，Z. y. Zhang，and P. An. Selective disparity estimation and variable size motion estimation based onmotion homogeneity for multi-view coding,即“基于运动同质性的多视点编码视差估计和可变尺寸运动估计选择算法”，IEEE Transactions onBroadcasting，vol. 55，no. 4，pp. 761-766，Dec. 2009，以及见 L. S. Young， S.K.Mu and C.K. Dong, An object-based mode decision algorithm formulti-view video coding，即“基于物体分割的多视点视频编码模式分析算法”，IEEE International Symposium on Multimedia, pp. 74-81，Dec. 2008)。在多视点视频编码结构中，非锚定帧既可以进行时域预测又可以进行视点间预测，而锚定帧只进行视点间预测(见A. Vetro, p. Pandit, H. Kimata,A.Smolic and Y. K. Wang,Joint Multiview Video Model (JMVM)8. O,
4即“多视点视频编码校验模型 8. 0”，IS0/IEC JTC1/SC29/WG11 and ITU-T Q6/SG16，Doc. JVT-AA207, Apr. 2008)。利用运动信息选择视点间预测的方法，由于需要利用时域预测得到的运动信息，因此不适用于锚定帧，同时也容易受到运动噪声的影响。视点间预测是通过视差估计来实现当前视点中的物体在邻近视点中的预测，而物体在两个视点间的视差的大小是由摄像头与物体之间的距离来决定。在多视点视频采集系统中，除了可以得到各个视点的视频数据，还可以得到各个视点对应的深度信息，用于实现视频+深度的编码方式 (JAL K. Muller, P. Merkle, and Τ. ffiegnad,3-D videorepresentation using depth maps, 即“基于深度图的三维视频表示”，Proceeding of IEEE, vol. 99,pp. 643-656, Apr. 2011 ；以及见 J. Zhang, Μ· Hannuksela, and H. Li, Joint multiview video plus depth coding,艮口 “多视点视频和深度联合编码”，IEEE International Conference on Image Processing, PP. 2865-2868, Sep. 2010)。视点的深度信息反映了视点中的物体与摄像头之间的距离，深度信息的纹理差异反映了视差的变化。因此多视点视频编码可以利用深度信息的纹理特征来选择是否进行不同尺寸帧间模式的视点间预测。由于每帧都有深度信息，相应的视点间预测选择方法同时适用于锚定帧和非锚定帧。
发明内容
为了克服现有的多视点视频编码帧间预测选择方法的准确率较低、计算量较大、 编码率失真性能较差的不足，本发明提供了一种多视点视频编码视点间预测快速选择方法，可以准确选择视点间预测，减少多视点视频编码的计算量，并保持良好的编码率失真性能。为了解决上述技术问题采用的技术方案为一种多视点视频编码视点间预测快速选择方法，所述选择方法包括以下步骤(1)输入多视点视频数据和深度信息；(2)宏块帧内模式的估计，所述的帧内模式包括htral6xl6、Intra8x8和 Intra4x4 ；(3)宏块帧间模式划分活跃性计算利用步骤⑵中得到的最佳帧内模式，来计算宏块的帧间模式划分活跃性 PartitionActivity,如式(I)所示
fl, if Modelntra == Intra4x411 Intra8x8,、PartitionActivityin) = \(I)式(I)中，η是宏块索引，1代表宏块的帧间模式划分活跃性高，0代表宏块的帧间模式划分活跃性低，Modelntea是宏块的最佳帧内模式；当宏块的最佳帧内模式为htra4X4 或htral6X16，则宏块的帧间模式划分活跃性高，否则宏块的帧间模式划分活跃性低；
(4)宏块在16χ16、16χ8、8χ16、8χ8划分方式下的深度信息纹理复杂度计算, 宏块深度信息在^^划分下的纹理复杂度D印thDevWxH计算如式(II)所示
B WxHDepthDevwxu
(")=Σ Σ \Depth(i,j) - DepthANG{j)\(II)
y=i '=I式(II)中，W划分块的水平分辨率，H是划分块的竖直分辨率，B是宏块在WxH划
5分方式下划分块的个数，j是宏块深度信息划分块的索引，i是第j个划分块中的深度信息索引；DepthAVG(j)是第j个划分块的平均深度值，Depth (i, j)是第j个划分块中的第i个深度值；(5)宏块中每个小尺寸帧间模式的视点间预测选择，所述的小尺寸帧间模式包括 Interl6x8, Inter8xl6 禾口 Inter8x8 ；所述的小尺寸帧间模式中的Interl6X8模式的视点间预测的选择如式(III)所
示
权利要求
1. 一种多视点视频编码视点间预测快速选择方法，其特征在于所述选择方法包括以下步骤(1)输入多视点视频数据和深度信息；(2)宏块帧内模式的估计，所述的帧内模式包括htral6xl6、Intra8x8和htra4x4；(3)宏块帧间模式划分活跃性计算利用步骤⑵中得到的最佳帧内模式，来计算宏块的帧间模式划分活跃性 PartitionActivity,如式(I)所示
全文摘要
一种多视点视频编码视点间预测快速选择方法，包括以下步骤(1)输入多视点视频数据和深度信息；(2)宏块帧内模式估计；(3)宏块帧间模式划分活跃性计算；(4)宏块在16x16、16x8、8x16、8x8划分方式下的深度信息纹理复杂度计算；(5)宏块中每个小尺寸帧间模式的视点间预测选择。本发明方法适用于多视点视频编码的视点间预测的选择，可以降低多视点编码的计算整体计算量，同时保持编码率失真性能。
文档编号H04N7/26GK102387368SQ201110305779
公开日2012年3月21日 申请日期2011年10月11日 优先权日2011年10月11日
发明者俞立, 朱威, 郑雅羽, 陈朋 申请人:浙江工业大学