专利名称：一种多视点视频对象提取方法
技术领域：
本发明涉及一种视频对象提取技术，尤其是涉及一种多视点视频编码中基于深度信息的对象提取方法。
背景技术：
视频对象是通过视频对象的分割提取获得的，它不仅是实现基于内容的视频编码的前提条件，也是实现基于内容的视频检索和交互式多媒体应用所必需的，可以实现对视觉信息的主观描述、合成、交互。因此，视频对象提取技术在视频编码、模式识别、视频检索等领域有着广泛的应用。传统的视频对象提取主要利用视频的时空、颜色、纹理等信息，而在立体视频和多视点视频中，除上述信息外，深度信息对视频对象的提取也十分有用。在基于深度和颜色的联合分割中，由于深度分割不能够精确地确定所要分割对象的边界轮廓，而颜色分割则可以得到可靠的分割对象的边界轮廓，因此视频对象的分割是通过在一个深度平面上的颜色分割部分的融合来完成的。但是，这种基于深度和颜色的联合分割方法所耗费的时间依赖于视频内容的复杂程度，通常要比基于主动轮廓的分割方法花费更多的时间，并且不精确的深度分割对最终的分割结果有很大的影响。基于主动轮廓的分割方法是一种基于边界的分割方法，这类方法通常是首先选取恰当的初始轮廓，并且使用梯度信息来定位对象边界， 属于半自动的分割方法。然而，基于主动轮廓的分割方法对初始轮廓的选择过于敏感，如果一些边界点偏离了视频对象的轮廓，其分割结果就会受到严重影响。结合运动几何空间的对象分割方法是通过引入运动几何空间(MGQ的概念构建的一种快速、新颖的无监督语义立体视频对象分割方法，这种方法的优势在于计算量小、处理速度快，同时又能得到整体上较为理想的分割结果。然而，这种结合运动几何空间的对象分割方法在某些对象轮廓区域的分割结果质量不佳，所以需要用其它方法进行判别选择。综上所述，现有的视频对象提取方法存在的问题主要有对象区域的分割不精确， 也即没有完全符合人眼视觉特性；分割代价花费过大，也即计算量大、分割时间长。
发明内容
本发明所要解决的技术问题是提供一种面向多视点图像视频压缩与传输的多视点视频对象提取方法，其能够快速分割并提取到精准的视频对象，符合人眼视觉特性。本发明解决上述技术问题所采用的技术方案为一种多视点视频对象提取方法， 其特征在于包括以下步骤①定义多视点视频中当前正在处理的视点为当前视点，定义当前视点的彩色视频序列中t时刻的彩色视频帧为当前彩色视频帧，记为Ct，定义当前视点的深度视频序列中对应的t时刻的深度视频帧为当前深度视频帧，记为Dt ；②采用帧间差分运算计算当前彩色视频帧Ct的帧差图，记为K ‘ t，,[1, if \Ct (χ, y)-Ct, (χ, y)| > Threshoidm
A二；二k-滅:，然后对当前彩色视频巾贞⑶巾贞差图K' t
进行NXN块化，得到当前彩色视频帧Ct的二值运动区域图，记为Kt，其中，K' t(x,y)表示当前彩色视频帧Ct的帧差图K' t中坐标位置为(X，y)的像素点的像素值，Ct (X，y)表示当前彩色视频帧Ct中坐标位置为(X，y)的像素点的像素值，CV1U, y)表示当前视点的彩色视频序列中t-Ι时刻的彩色视频帧Cw中坐标位置为(x，y)的像素点的像素值，“| |”为取绝对值符号，Thresholdm为第一判定阈值，1 ^ χ ^ W, 1 ^ y ^ H, W表示多视点视频的彩色视频序列中的彩色视频帧和深度视频序列中的深度视频帧的宽度，H表示多视点视频的彩色视频序列中的彩色视频帧和深度视频序列中的深度视频帧的高度，N为一常数，1 X 1
<NXN < WXH ；③对当前彩色视频帧Ct提取纹理边缘，得到当前彩色视频帧Ct的二值纹理区域图，记为st，将当前彩色视频帧Ct的二值纹理区域图St中坐标位置为(X，y)的像素点的像素值记为St (X，y)，如果St (X，y) = 1，则表示当前彩色视频帧Ct中坐标位置为(x, y)的像素点属于纹理区域，如果St (x，y) =0，则表示当前彩色视频帧Ct中坐标位置为(x，y)的像素点属于非纹理区域，其中，1 ^ x^ff,l ^y ^H5④采用最大类间方差法分割当前彩色视频帧Ct，得到当前彩色视频帧Ct的二值背
fl, if Ct (χ, y) > Threshold ο 景对象区域图，记为队他叫0，lf Ct^yXThresholdp，其中，。t "表示当前彩色
视频帧Ct的二值背景对象区域图Ot中坐标位置为(X，y)的像素点的像素值，1 ^ X ^ W, 1 ^ y ^ H, Thresholds为采用最大类间方差法得到的亮度分割阈值；⑤对当前深度视频帧Dt进行前背景区域划分，得到当前彩色视频帧Ct的粗略前背
fl, if Dt (χ, y) > ThresholdΓ]
景区域图，记为F' t，F/(x,_y)= ‘ /nT1 ,，然后对当前彩色视频巾贞Ct的⑥将当前彩色视频帧Ct的二值纹理区域图St、当前彩色视频帧Ct的二值背景对象区域图Ot以及当前彩色视频帧Ct的粗略前背景区域图F' t相融合，得到当前彩色视频帧Ct的粗略掩膜，记为It，然后对当前彩色视频帧Ct的粗略掩膜It进行NXN块化和形态学的膨胀、腐蚀处理，得到当前彩色视频帧Ct的精细掩膜，记为Pt，其中，N为一常数，1X1
<NXN < WXH ；⑦对当前彩色视频帧Ct的精细掩膜Pt与当前彩色视频帧Ct的二值运动区域图Kt 进行或操作，然后对或操作后得到的图像与当前彩色视频帧Ct的前背景区域图Ft进行与操作，得到当前彩色视频帧Ct粗略的对象掩膜，记为ROI' t，ROI' t = (Pt U Kt) η Ft，再去除当前彩色视频帧Ct粗略的对象掩膜ROI' t中的小块连通区域，得到当前彩色视频帧Ct最终的对象掩膜，记为ROIt,其中，“ U，，表示或操作，“ η，，表示与操作。所述的步骤③中对当前彩色视频帧Ct提取纹理边缘，得到当前彩色视频帧Ct的二值纹理区域图St的具体过程为③-1、采用Sobel算子计算当前彩色视频帧Ct的梯度图像，记为Gt ；③-2、根据当前彩色视频帧Ct的梯度图像Gt，获取当前彩色视频帧Ct的二值纹理
f 1, if Gt (X，y) > Threshold！ [θ, if Gt (X，y) < Thresholdl
Ct的二值纹理区域图St中坐标位置为(x，y)的像素点的像素值，如果St (x，y) = 1，则表示当前彩色视频帧Ct中坐标位置为(x，y)的像素点属于纹理区域，如果St (x，y) =0，则表示当前彩色视频帧Ct中坐标位置为(X，y)的像素点属于非纹理区域，Gt (X，y)表示当前彩色视频帧Ct的梯度图像Gt中坐标位置为(X，y)的像素点的像素值，x^ff,l ^y ^H, Threshold1为第三判定阈值，TZw^k衅=kx χΟΓ，Ic1为加权系数，(？广χ为当前彩色视频帧
区域图，记为StJi(XJ) =
，其中，St (X，y)表示当前彩色视频帧
Ct的梯度图像Gt中所有像素点的像素值的最大值。
所述的步骤③-2中的加权系数冬=Ix
G
αη
其中，Gmax禾日GW分别表
示当前彩色视频帧Ct的梯度图像Gt中所有像素点的像素值的最大值和平均
值，
权利要求
1. 一种多视点视频对象提取方法，其特征在于包括以下步骤①定义多视点视频中当前正在处理的视点为当前视点，定义当前视点的彩色视频序列中t时刻的彩色视频帧为当前彩色视频帧，记为Ct，定义当前视点的深度视频序列中对应的 t时刻的深度视频帧为当前深度视频帧，记为Dt ；②采用帧间差分运算计算当前彩色视频帧Ct的帧差图，记为K‘ t， 1，if \Ct (χ, y)-Ct (χ, y)\ > Thresholds尖二二k-滅:，然后对当前彩色视频巾贞Q _差图K' t进行NXN块化，得到当前彩色视频帧Ct的二值运动区域图，记为Kt，其中，K' t(x,y)表示当前彩色视频帧Ct的帧差图K' t中坐标位置为(X，y)的像素点的像素值，Ct (X，y)表示当前彩色视频帧Ct中坐标位置为(X，y)的像素点的像素值，CV1U, y)表示当前视点的彩色视频序列中t-Ι时刻的彩色视频帧Cw中坐标位置为(x，y)的像素点的像素值，“| |”为取绝对值符号，Thresholdm为第一判定阈值，1 ^ χ ^ W, 1 ^ y ^ H, W表示多视点视频的彩色视频序列中的彩色视频帧和深度视频序列中的深度视频帧的宽度，H表示多视点视频的彩色视频序列中的彩色视频帧和深度视频序列中的深度视频帧的高度，N为一常数，1 X 1 < NXN < WXH ；③对当前彩色视频帧Ct提取纹理边缘，得到当前彩色视频帧Ct的二值纹理区域图，记为St，将当前彩色视频帧Ct的二值纹理区域图St中坐标位置为(x，y)的像素点的像素值记为St (X，y)，如果St (X，y) = 1，则表示当前彩色视频帧Ct中坐标位置为(x, y)的像素点属于纹理区域，如果St (x，y) =0，则表示当前彩色视频帧Ct中坐标位置为(x，y)的像素点属于非纹理区域，其中，④采用最大类间方差法分割当前彩色视频帧Ct，得到当前彩色视频帧Ct的二值背景fl, if Ct (χ, y) > Threshold R 只樣_掘3战0力(X，少)=|0，lfCt^y)<ThreshJp，其中，Ot(X, y)表示当前彩色视频帧Ct的二值背景对象区域图Ot中坐标位置为(X，y)的像素点的像素值，1 ^ X ^ W, 1 ^ y ^ H, Thresholds为采用最大类间方差法得到的亮度分割阈值；⑤对当前深度视频帧Dt进行前背景区域划分，得到当前彩色视频帧Ct的粗略前背景fl, if Dt (χ, y) > Threshold,区域图，记为F' t,F;(x^y) = \' ； fa ，然后对当前彩色视频帧Ct的粗[0, if Dt (χ, y) < Thresholad略前背景区域图F' t进行NXN块化，得到当前彩色视频帧Ct的前背景区域图，记为Ft，其中，Ft' (x, y)表示当前彩色视频帧Ct的粗略前背景区域图Ft'中坐标位置为(X，y)的像素点的像素值，Dt (X，y)表示当前深度视频帧Dt中坐标位置为(X，y)的像素点的像素值，Threshold,为第二判定阈值，TZ^MoWd = k2 xD;ve ,k2为对当前深度视频帧Dt的前背1 W H景区域进行划分的视觉加权值，0. 85 ^ k2 ^ 1. 5, Dr =——Σ Σ Dt(x,y) , 1 ^ χ ^ W,W Xn X=Iy=I1 彡 y 彡 H，N 为一常数，1X1 < NXN < WXH ；⑥将当前彩色视频帧Ct的二值纹理区域图St、当前彩色视频帧Ct的二值背景对象区域图Ot以及当前彩色视频帧Ct的粗略前背景区域图F' t相融合，得到当前彩色视频帧Ct 的粗略掩膜，记为It，然后对当前彩色视频帧Ct的粗略掩膜It进行NXN块化和形态学的膨胀、腐蚀处理，得到当前彩色视频帧Ct的精细掩膜，记为Pt，其中，N为一常数，IXKNXN < WXH ；⑦对当前彩色视频帧Ct的精细掩膜Pt与当前彩色视频帧Ct的二值运动区域图Kt进行或操作，然后对或操作后得到的图像与当前彩色视频帧Ct的前背景区域图Ft进行与操作， 得到当前彩色视频帧Ct粗略的对象掩膜，记为ROI' t,R0I' t= (Pt U Kt) η Ft，再去除当前彩色视频帧Ct粗略的对象掩膜ROI' t中的小块连通区域，得到当前彩色视频帧Ct最终的对象掩膜，记为ROIt,其中，“ U，，表示或操作，“ η，，表示与操作。
2.根据权利要求1所述的一种多视点视频对象提取方法，其特征在于所述的步骤③中对当前彩色视频帧Ct提取纹理边缘，得到当前彩色视频帧Ct的二值纹理区域图St的具体过程为③-1、采用Sobel算子计算当前彩色视频帧Ct的梯度图像，记为Gt ；③-2、根据当前彩色视频帧Ct的梯度图像Gt，获取当前彩色视频帧Ct的二值纹理区域 f 1, if Gt (X，y) > Thresholdl [θ, if Gt (X，y) < Thresholdl二值纹理区域图St中坐标位置为(X，y)的像素点的像素值，如果St(X，y) = 1，则表示当前彩色视频帧Ct中坐标位置为(X，y)的像素点属于纹理区域，如果St (X，y) = 0，则表示当前彩色视频帧Ct中坐标位置为(X，y)的像素点属于非纹理区域，Gt (X，y)表示当前彩色视频帧Ct的梯度图像Gt中坐标位置为(X，y)的像素点的像素值，x^ff,l ^y ^H, Threshold1为第三判定阈值，Γ/^Μο/Α =kx χΟΓ，Ic1为加权系数，(？广χ为当前彩色视频帧 Ct的梯度图像Gt中所有像素点的像素值的最大值。
3.根据权利要求2所述的一种多视点视频对象提取方法，其特征在于所述的步骤③-2‘‘‘ 、和^jav分别表示当前彩色视频帧Ct的梯度图像Gt中图，记为 St，&(x,_y) =，其中，St(x，y)表示当前彩色视频帧Ct的中的加权系数矣=(χ#，其中，ρ所有像素点的像素值的最大值和平均值，I =2.2,i/AB< OAVoandBav < 0.031,ifAB< 0.\%andBav > 0.03 1.5, /0Λ%<ΑΒ<0Λ% 1.9, if ^B >0.1%ΔB = (Bmax-Bmin) XlOO %, β腿=max</^aGl\<k<K\B— = min ·广aG\<k<K\Bav = j8max^mm，K表示当前视点的彩色视频序列中用于计算Tα所采用的彩色视频帧的帧数，Gfax和Gf分别表示用于计算Ta所采用的K帧彩色视频帧中的第k帧彩色视频帧Ck的梯度图像(\中所有像素点的像素值的最大值和平均值，KKSK' , K'表示当前视点的彩色视频序列中包含的彩色视频帧的总帧数，max{}为取最大值函数，min{}为取最小值函数。
4.根据权利要求1至3中任一项所述的一种多视点视频对象提取方法，其特征在于所述的步骤②、步骤⑤和步骤⑥中NXN块化的具体过程为令Image表示要进行NXN块化的W H二值图像，该二值图像的宽度为W，该二值图像的高度为H;然后将Image划分成jXj个互不重叠的尺寸为NXN的图像块；再对Image中的每个NXN的图像块逐一进行以下处理， 完成NXN块化的操作，得到NXN块化后的二值图像定义Image中当前正在处理的NXN 的图像块为当前图像块，如果当前图像块中像素值为1的像素点的个数大于等于块化阈值 Thresholde,则将当前图像块中所有像素点的像素值置为1 ；如果当前图像块中像素值为1 的像素点的个数小于块化阈值Thresholde,则将当前图像块中所有像素点的像素值置为O。
5.根据权利要求4所述的一种多视点视频对象提取方法，其特征在于所述的步骤⑥的具体过程为⑥-1、对当前彩色视频帧Ct的二值纹理区域图St与当前彩色视频帧Ct的二值背景对象区域图Ot进行或操作，然后对或操作后得到的图像与当前彩色视频帧Ct的粗略前背景区域图F' t进行与操作，得到当前彩色视频帧Ct的粗略掩膜，记为It，It= (StUOt) HF' t， 其中，“ U ”表示或操作，“ η，，表示与操作；⑥-2、依次对当前彩色视频帧Ct的粗略掩膜It进行8X8块化和形态学的膨胀、腐蚀处理；⑥-3、依次对经过步骤⑥-2处理后得到的图像再进行16X16块化和形态学的膨胀、腐蚀处理，得到当前彩色视频帧Ct的精细掩膜，记为Pt。
全文摘要
本发明公开了一种多视点视频对象提取方法，其通过纹理边缘检测、最大类间方差法提取多视点视频中的彩色视频帧的纹理信息和亮度信息，并利用多视点视频中的彩色视频帧对应的深度视频帧，采用前背景分割法获取彩色视频帧的前背景信息，然后将纹理信息、亮度信息和前背景信息相融合得到彩色视频帧的精细掩膜，最后通过运动信息和深度信息进一步地修正得到彩色视频帧最终的对象掩膜，由于本发明方法有效利用了多视点视频的纹理、亮度、深度、运动等多种信息，通过发掘它们之间各自的特性，取长补短，将多种信息有机地融合在一起，因此能够快速分割并提取得到符合人眼视觉感知的精准的视频对象，能够较好地满足多视点视频编码对对象提取方法的要求。
文档编号H04N5/14GK102420985SQ201110386288
公开日2012年4月18日 申请日期2011年11月29日 优先权日2011年11月29日
发明者周晓亮, 彭宗举, 李福翠, 蒋刚毅, 邵枫, 郁梅 申请人:宁波大学