一种时域一致性保持的双目立体视频场景融合方法
【专利摘要】一种时域一致性保持的双目立体视频场景融合方法，步骤如下：1、立体视频A的运动对象轮廓传播与提取；2、时域一致的运动对象与动态场景时差融合变形；3、时域一致的运动对象与动态场景颜色融合，利用中值坐标融合方法，对运动对象与动态场景进行颜色融合。本发明提出的方法，简单有效，利用少量的用户交互，就可以提取出时域一致的、左右目对应一致的立体视频运动对象；发掘了多种约束条件，以指导运动对象与动态场景的视差融合变形，使得运动对象符合动态场景的透视规则。并且，运动对象的变形结果平滑一致，可以有效避免“抖动”现象的发生。
【专利说明】一种时域一致性保持的双目立体视频场景融合方法
【技术领域】
[0001]本发明是一种新型的时域一致性保持的双目立体视频场景融合方法，属于视频图像处理、双目立体视觉【技术领域】。
【背景技术】
[0002]随着3D影视技术的发展，双目视频图像的编辑方法近年来受到了越来越多的关注。然而，将现有的2D视频图像编辑方法扩展到双目视频图像上，由于要处理视差等额外信息，使之成为一个较难的问题。
[0003]双目立体视频场景融合是指，给定两段双目立体视频，将立体视频A的运动对象，融入立体视频B的动态场景，并保持颜色、视差和时域一致性，得到双目立体视频场景融合结果。
[0004]计算机视觉和计算机图形学领域对于2D视频图像编辑方法与双目视频图像编辑方法已有较多文献，我们不试图尽列所有方法。重点介绍视频时域一致性编辑的相关工作，也会涉及视频图像场景融合方法和双目图像编辑方法。
[0005]普通单目视频编辑方法近年来已经有较多的研究。2002年，Chuang等人将双向光流应用到三分图在视频帧间的传播算法中。2009年，Bai等人利用一组局部分类器配合光流算法得到了时域一致性方面更优的结果。2010年，Bai等人又将颜色流应用到视频对象精准提取的三分图传播步骤中。这些方法对于普通单目视频编辑有较好的效果。但是，这些蒙版(mask)传播方法并不能直接应用到双目立体视频编辑方法中。2008年Sand等人提出了一种实用的长期跟踪方法。2009年Lee等人利用尺度不变特征转换(即SIFT)流场，提出了一种视频去抖算法。Bhat等人2010年将光流算法应用到了多种梯度域视频编辑算法中。2012年，Chen等人将局部线性结构保持的思想应用到了视频编辑传播中。这些时域一致的视频编辑算法主要关注对象跟踪和内容编辑，本发明的目标是同时编辑双目立体视频对象的形状和颜色。
[0006]视频图像场景融合方法是一种经典的视频图像编辑方法。2003年P6rez等人提出泊松融合方法通过求解泊松方程将融合区域无缝的融入新场景中。2009年Jia等人利用精准对象提取进一步提高了泊松融合的效果。2009年Farbman等人利用中值坐标大大提高了融合速率。2010年Xie等人将中值坐标融合扩展到了单目视频融合上。Chen等人2013年利用光流将中值坐标融合扩展到了视频合成上。这些方法并没有保持提取运动对象的时域一致性。
[0007]双目视频图像编辑方法同样与本发明的工作相关。Lo等人2010年提出了一种名为“广告牌”的双目图像对象场景合成方法。Luo等人2012年提出了一种迭代的双目图像场景融合方法，能够同时调整形变与颜色。2012年Niu等人提出了一种根据用户交互和视差图的双目图像变形方法。这些方法都是针对双目图像的编辑操作。2008年Wang等人，2006年Weng等人分别提出了一种图像变形方法。2010年Lang等人提出了一种视频重定位(video retargeting)方法,该方法利用光流保证了巾贞间的变形传播。
【发明内容】
[0008]本发明的目的是提出一种新型的时域一致性保持的双目立体视频场景融合方法。为完成本发明的目的，本发明采用的技术方案是:首先提取立体视频A的运动对象。利用SIFT特征匹配算法，将立体视频A左目第一帧的指定运动对象的轮廓，自动传播到立体视频A右目第一帧的相应运动对象，然后建立立体视频A的左目运动对象与右目运动对象之间的特征匹配关系，在SIFT流、左右目对象轮廓形变的联合约束下，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象；然后，将立体视频A的运动对象放置到立体视频B的动态场景中，进行时域一致的运动对象与动态场景的视差融合变形。利用泊松融合等融合方法，得到运动对象与动态场景的融合后视差图序列，根据融合后视差图，指导运动对象变形；最后，利用中值坐标融合等融合方法，对运动对象与动态场景进行时域一致的颜色融合。其具体步骤如下所述。
[0009]本发明一种时域一致性保持的双目立体视频场景融合方法，包括如下步骤:
[0010]步骤S100，立体视频A的运动对象轮廓传播与提取:用户采用画笔式等交互方式，选定立体视频A左目第一帧的运动对象的轮廓，将立体视频A左目第一帧的运动对象的轮廓，自动传播到右目第一帧的相应运动对象；以此为基准，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象；(注:本发明中，如不经特别说明，左目、右目的处理顺序可以交替，为表意清楚，本发明中， 均以左目为例)
[0011]步骤S200，时域一致的运动对象与动态场景时差融合变形:用户指定立体视频A的运动对象置入立体视频B的动态场景的位置，将立体视频A的运动对象区域的视差图，与立体视频B的视差图进行融合，并根据融合后的视差图，对运动对象进行时域一致的变形，以符合动态场景的透视规则；
[0012]步骤S300，时域一致的运动对象与动态场景颜色融合:利用中值坐标融合方法，对运动对象与动态场景进行颜色融合。
[0013]其中，在步骤SlOO中所述的“立体视频A的运动对象轮廓传播与提取”，其作法包含以下步骤:
[0014]步骤S110，对立体视频A，分别计算其各帧左右目之间的SIFT流场，计算其左目/右目视频前后帧之间的SIFT流场；对于立体视频A左目第一帧和右目第一帧，计算其SIFT特征匹配点对，并使用随机抽样一致(即RANSAC)方法去除误匹配；
[0015]步骤S120，用户通过画笔等交互方式，在立体视频A左目第一帧上，选定运动对象的大致轮廓；WSl 10步骤中的落在运动对象轮廓内的SIFT匹配点，以及运动对象轮廓的采样点为网格顶点，对运动对象进行三角剖分，得到立体视频A左目第一帧的运动对象网格，利用Luo等人提出的方法，通过SIFT特征点匹配与三角网格畸变约束，将网格从立体视频A左目第一帧，传播到右目第一帧；
[0016]步骤S130，将立体视频A左目/右目第一帧的运动对象网格，传播到立体视频A的其余各帧的运动对象上，完成运动对象的提取；令丨7:^ = 4扔分别代表当前帧已知的左目/右目运动对象的三角网格的所有三角形的集合，W1(I)U^ R L分别代表当前对应网格的所有顶点的集合，那么，运动对象轮廓的传播就是求取左目/右目下一帧运动对象的三角网格{(;? = ￡，/?}的顶点集合{彳(/);? = /?，￡}的所有顶点的坐标；本发明通过最小化如下能
量方程，完成运动对象的轮廓传播；
[0017]E= λ ^1+ λ 2Ε2+ λ 3Ε3+ λ 4Ε4
[0018]式中，E代表总体能量，E1代表帧间特征点对应约束能量，E2代表三角网格畸变约束能量，E3代表左右目网格的关联关系约束能量，E4代表纵向对齐约束能量，λ P λ 2、λ 3、λ 4代表各个能量项的权重；
[0019]能量方程包含四个能量项，分别代表四种约束条件，其中，E1为帧间特征点对应约束能量，通过SIFT流，我们可以将当前帧的网格顶点传播到相应的帧上，本发明选取可信度较高的顶点进行传播，满足能量项:
[0020]
【权利要求】
1.一种时域一致性保持的双目立体视频场景融合方法，其特征在于:它包括如下步骤: 步骤S100，立体视频A的运动对象轮廓传播与提取:用户采用画笔式等交互方式，选定立体视频A左目第一帧的运动对象的轮廓，将立体视频A左目第一帧的运动对象的轮廓，自动传播到右目第一帧的相应运动对象；以此为基准，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象； 步骤S200，时域一致的运动对象与动态场景时差融合变形:用户指定立体视频A的运动对象置入立体视频B的动态场景的位置，将立体视频A的运动对象区域的视差图，与立体视频B的视差图进行融合，并根据融合后的视差图，对运动对象进行时域一致的变形，以符合动态场景的透视规则； 步骤S300，时域一致的运动对象与动态场景颜色融合:利用中值坐标融合方法，对运动对象与动态场景进行颜色融合。
2.根据权利要求1所述的一种时域一致性保持的双目立体视频场景融合方法，其特征在于:在步骤SlOO中所述的“立体视频A的运动对象轮廓传播与提取”，其作法包含以下步骤: 步骤S110，对立体视频A，分别计算其各帧左右目之间的SIFT流场，计算其左目/右目视频前后帧之间的SIFT流场；对于立体视频A左目第一帧和右目第一帧，计算其SIFT特征匹配点对，并使用随机抽样一致即RANSAC方法去除误匹配； 步骤S120，用户通过画笔等交互方式，在立体视频A左目第一帧上，选定运动对象的大致轮廓；WSl 10步骤中的落在运动对象轮廓内的SIFT匹配点，以及运动对象轮廓的采样点为网格顶点，对运动对象进行三角剖分，得到立体视频A左目第一帧的运动对象网格，利用Luo人提出的方法，通过SIFT特征点匹配与三角网格畸变约束，将网格从立体视频A左目第一中贞，传播到右目第一帧; 步骤S130，将立体视频A左目/右目第一帧的运动对象网格，传播到立体视频A的其余各帧的运动对象上，完成运动对象的提取；令丨7；';i = L?/?丨分别代表当前帧已知的左目/右目运动对象的三角网格的所有三角形的集合，=足分别代表当前对应网格的所有顶点的集合，那么，运动对象轮廓的传播就是求取左目/右目下一帧运动对象的三角网格 = 的顶点集合{v,U0;i =足M的所有顶点的坐标；本发明通过最小化如下能量方程，完成运动对象的轮廓传播；
E= λ ^1+ λ 2Ε2+ λ 3Ε3+ λ 4Ε4 式中，E代表总体能量，E1代表帧间特征点对应约束能量，E2代表三角网格畸变约束能量，E3代表左右目网格的关联关系约束能量，E4代表纵向对齐约束能量，ApAyApA4R表各个能量项的权重； 能量方程包含四个能量项，分别代表四种约束条件，其中，E1为帧间特征点对应约束能量，通过SIFT流，我们将当前帧的网格顶点传播到相应的帧上，选取可信度较高的顶点进行传播，满足能量项:
3.根据权利要求1所述的一种时域一致性保持的双目立体视频场景融合方法，其特征在于:在步骤S200中所述的“时域一致的运动对象与动态场景视差融合变形”，其作法包含以下步骤: 步骤S210，计算立体视频A和立体视频B的每一帧的视差图；利用泊松融合及其他融合方法，将立体视频A的运动对象对应区域的视差图，与立体视频B的视差图进行融合，得到融合后视差图序列，表示为D=W1, d2, d3...}; 步骤S220，利用Luo人提出的基于视角感知变形的方法，对第一帧的运动对象与动态场景进行视差融合变形，将其结果作为初始解； 步骤S230，对于剩余帧的运动对象与动态场景，自动进行时域一致的视差调整与变形；假定第i帧的运动对象变形结果已知，令别为第i帧左目/右目运动对象的对应三角网格的顶点集合，第i+Ι帧和第i+2帧的运动对象变形结果通过最小化如下能量方程实现:
N= Y Λ+ y N22+ y 3Ν3 式中，N代表总体能量，N1代表视差对应一致约束能量，N2代表放置位置约束能量，N3代表运动对象网格畸变约束能量，h、Y2、Y3代表各个能量项的权重； 能量方程包含三个能量项，分别代表三种约束条件，其中，N1是视差对应一致约束能量，用来约束运动对象网格各顶点的视差尽量与融合后视差图的对应位置的视差保持一致；
4.根据权利要求1所述的一种时域一致性保持的双目立体视频场景融合方法，其特征在于:在步骤S300中所述的“时域一致的运动对象与动态场景颜色融合”，其作法为:利用中值坐标融合方法，计算运动对象网格内部顶点，相对于网格边界顶点的中值坐标；通过中值坐标以及运动对象边界点所对应像素，与动态场景对应位置的像素的颜色差值，计算运动对象内部顶点的颜色差值；对于非顶点的像素点的颜色差值，通过其所在的三角形网格面片的三个顶点的颜 色差值，进行线性插值得到；将颜色差值与运动对象原像素颜色值相加，得到颜色融合结果。
【文档编号】G06T7/20GK103761734SQ201410008677
【公开日】2014年4月30日 申请日期:2014年1月8日 优先权日:2014年1月8日
【发明者】陈小武, 邹冬青, 赵沁平, 丁峰 申请人:北京航空航天大学