快速的半自动多视图深度修复方法
【技术领域】
[0001] 本发明设及视频序列深度修复方法，尤其设及一种对已知摄像机参数和初始深度 信息的视频序列的深度修复方法。
【背景技术】
[0002] 基于图像的立体重建（stereo Reconstruction)是计算机视觉、图形学领域中一 个非常重要的问题，主要研究如何从对物体或场景拍摄的多幅图像中恢复出物体或场景的 =维信息。场景的深度信息在视频立体化、=维模型获取、虚拟现实、视频编辑、自动导航W 及基于图像的绘制等领域中有广泛应用。
[0003] 虽然多视图立体视觉已经研究出了多种方法，但是由于种种原因，从自然像或者 视频序列中自动地获取准确的稠密深度信息问题仍然没有完全被解决。也有一些交互式的 基于图像的建模方法被提出，但该些方法只能够修复特定的静态物体（植物、树或者城市 建筑等）、或者相对简单的模型，该些方法明显不满足许多应用对高精度几何的需求。
[0004] 近年来的一些研究工作已经证明；基于相对粗趟的深度也能够创造出很好的立体 效果，比如；J. J. Koenderink, A. J. van Doom, A. M. L. Kappers, andj. T. Todd. "Ambiguity and the (mental eye，in pictorial relief". Perception, 30(4):431C 448,2000. W 及 P. Harman, J. Flack, S. Fox, and M. Dowley. Rapid 2d to Sdconversion. In in Stereoscopic Displays and Virtual RealitySystems IX, Andrew, pages 78 - 86,2002.， 还有 M. Guttmann, L. Wolf, and D. Cohen - or. Semi - automaticstereo extraction from video footage. In ICCV, 2009.等。因此很多借助简单的用户交互来生成视觉上可接受 的深度信息的方法被相继提出，Varekamp等人提出了一种半自动的方法；先修改关键帖深 度，然后关键帖之间的深度通过传播获得。还有一些研究者提出了基于目标跟踪的2D转3D 的办法，他们通常使用交互式的分割方法（即惰性枢图），把一些关键帖中的前景物体从背 景中分离出来，同时假设前景和北京的深度都为常量，并手动设置关键帖的前、背景深度， 然后每一帖的物体轮廓被跟踪传递，深度也就在每一帖之间得到了传递。总之，该些方法生 成的深度或许能够用于立体视频的合成，但对应高质量的3D建模还不够。
[0005] 目前也有许多交互式的视频分割技术。大部分的分割方法认为背景是已经知 道的，从而简化分割。后来 Bai 等人在 X.Bai,J. Wang, D. Simons, and G.Sapiro. Video snapcut: "robust video object cutout using localized classifiers".ACMTrans. Graph. , 28(3), 2009.中提出了 一种能够处理复杂场景视频序列的、鲁椿的交互式视频 分割系统，在该个系统中，第一次提出在背景边缘构造一系列局部分类器的方法，然后 将该些分类器顺序传递到其他帖来完成目标物体的提取。Price等人在B. L. Price, B. L.Price, and S.Cohen. Livecut: "Learning - based interactive video segmentation by evaluation of multi -pie propagated cues". In ICCV, pages 779 - 786, 2009.中 提出了一种结合各种线索构建相似目标分割的框架。最经，Zhong等人在F.化ong，X. Qin,Q. Peng, and X. Meng. "Discontinuity - aware video object cutout". ACM Trans. Graph.，31 (6) : 175, 2012.中提出了一种双向的传播策略，并用基于学习的方法整合不同的 分类器。然而，该写方法通常被设计用来处理运动的物体，没有对处理静态物体、深度修复 做相应的优化。
【发明内容】
[0006] 本发明目的是弥补全自动深度恢复技术的不足，提供一种快速的半自动多视图深 度修复方法。
[0007] 快速的半自动多视图深度修复方法步骤如下：
[000引 1)对视频序列，利用structure-from-motion技术，得到相机的参数信息；利用多 视图深度恢复技术，得到稠密的初始深度信息。
[0009] 2)用户在关键帖上画几笔，将深度错误的区域分割出来，自动得到对应区域在相 邻一系列参考帖的的分割结果。
[0010] 如对分割出来的区域，利用用户提供的先验信息，自适应调节参数，重新计算（优 化）深度。
[0011] 4)重复步骤2)?3)的交互操作，直至得到几乎没有错误的深度；
[0012] 本发明的有益效果是：
[0013] 1.现有的基于视差的深度恢复方法在存在遮挡、反光W及无纹理区域的例子中表 现不佳，生成的深度会存在大量瑕疵。我们的方法通过加入几何约束来对具有瑕疵的深度 进行修复，获得具有时空一致性的结果。
[0014] 2.现有的区域跟踪与分割方法在存在遮挡的情况下无法分割出被遮挡的区域，而 我们的方法通过加入遮挡边缘的跟踪成功地解决了上述问题，获得较好结果。
【附图说明】
[0015] 图1 (a)为带有很明显遮挡边缘的源图像；
[0016] 图1化）为遮挡区域放大后的图像；
[0017] 图Uc)为另一帖上对应区域，红色区域为不再被遮挡的区域；
[001引 图2(a)为S张源图像；
[0019] 图2化）为普通算法的分割结果；
[0020] 图2(c)为本发明对遮挡处理后的分割效果；
[0021] 图3(a)为带分割结果的源图像；
[0022] 图3化）为原始深度；
[0023] 图3 (C)为带有遮挡处理的深度结果；
[0024] 图3 (d)为带有遮挡处理还带有平面拟合的深度结果；
[0025] 图4 (a)为是一示例；
[0026] 图4(b)是（a)对应的深度图；
[0027] 图4(c)是将几何原型与图中物体手工对应后的结果；
[002引图4(d)是将几何原型根据对应点关系进行刚性变换后的结果；
[0029] 图4(e)是直接根据系数的对应点关系进行形变后的结果；
[0030] 图4(f)是添加了圆形对称关系后进行形变的结果；
[003。 图4(g)是进行时空一致性变换后的深度结果；
[003引图4化）是（g)对应的S角形网格。
【具体实施方式】
[0033] 本发明目的是弥补全自动深度恢复技术的不足，提供一种快速的半自动多视图深 度修复方法。
[0034] 快速的半自动多视图深度修复方法步骤如下：
[00对 1)对视频序列，利用structure-from-motion技术，得到相机的参数信息；利用多 视图深度恢复技术，得到稠密的初始深度信息。
[0036] 2)用户在关键帖上画几笔，将深度错误的区域分割出来，自动得到对应区域在相 邻一系列参考帖的的分割结果。
[0037] 扣对分割出来的区域，利用用户提供的先验信息，自适应调节参数，重新计算（优 化）深度。
[003引 4)重复步骤2)?3)的交互操作，直至得到几乎没有错误的深度；
[0039] 步骤2)中对分割区域的求解，W及分割结果的传递处理如下：
[0040] 1)根据用户画出的前景、背景，采样像素，建立相应的颜色高斯混合模型，然后，使 用全局优化算法（如Graph Cut、Belief Propagation)解能量方程；
[0041]
【主权项】
1. 一种快速的半自动多视图深度修复方法，其特征在于可以修复具有瑕疵的深度数 据，所述方法包括如下步骤：1)摄像机参数恢复；2)多视图深度恢复；3)瑕疵区域的交互 式分割；4)基于几何先验的瑕疵修复。
2. 根据权利要求1所述的一种快速的半自动多视图深度修复方法，其特征在于所述的 步骤3)具体为：用户首先利用笔刷画出前景像素和背景像素，前景像素即瑕疵区域，背景 像素即无瑕疵区域，利用前景像素与背景像素进行建模，分割出周边瑕疵区域，并将分割结 果自动传递到下一帧处，分割使用马尔科夫随机场进行建模分析，并且利用全局优化算法 GraphCut或BeliefPropagation求解能量方程。
3. 如权利要求2所述方法，其特征在于所述的马尔科夫随机场进行建模分析具体为： 根据用户画出的前景像素和背景像素，采样像素，建立相应的颜色高斯混合模型，然后，使 用全局优化算法GraphCut或BeliefPropagation求解能量方程：
其中ax指像素x的标记，Es(ax，ay)为平滑项，表示相邻像素间差异的惩罚 值，为平滑项的权重，N(x)表示像素x的一环邻域，Ed(ax)为数据项，定义为：
其中一表示像素x的RGB颜色值，a，只能取两个值， 当像素x属于前景区域时，ax= 1，否则ax= 0,F和B分别表示前景和背景的高斯混合 模型，Pc；(Ix|F)和Pc;(Ix|B)是通过相应高斯混合模型计算所得到的概率，如果分割结果不准 确，用户可以使用背景刷工具来改善分割结果； 对于相邻的像素x和y，其平滑项Es (ax，ay)定义如下： Es (ax，ay) = |ax-ay | ?exp(_ 0 | |Ix_Iy