一种时空连续的视频背景修复方法
【技术领域】
[0001] 本发明属图像处理技术领域，尤其涉及一种时空连续的视频背景修复方法。
【背景技术】
[0002] 随着视频拍摄设备的普及，网络和终端上的视频数据大幅增加。然而受客观环境 的影响，很多视频中存在冗余的物体，影响了主题的表达和背景的完整。去除不必要的物体 并修复相应背景区域，往往能够改善视频的观赏体验。例如，普通用户拍摄的影片中有时存 在不必要的路人，可采用修复技术进行去除。此外，背景修复技术可以扩展原始视频的应用 领域，比如，在三维街景地图项目中，利用背景修复可以去除摄影车拍摄的街道视频内不必 要的行人和车辆，从而更好地重建出街道建筑物。
[0003] 对复杂运动的摄像机所拍摄视频进行背景修复是困难的。首先由于相机的旋转运 动，不同帧之间背景的存在投影变换，修复过程必须弥补这种视角上的差异。其次，背景内 的一些区域深度变化不连续严重，导致简单的方法难以准确描述其运动。最后，室外拍摄环 境下，当摄像机旋转时，视频的修复结果中常存在光照不连续，需要进行调节。针对视频内 缺失的数据部分，人们已经提出了多种修复方法。但是其中相当一部分方法仅适用于摄像 机静止或者与场景平行运动的情况。其余的方法虽然可用于复杂运动的摄像机所拍视频， 但是大多利用单应关系，仅适用于场景构成简单的情况。为了满足实际需求，当前迫切需要 一种适用范围广，效果显著的视频背景修复方法。
【发明内容】
[0004] 本发明为了解决上述的技术问题，提出了运动场引导的视频背景修复方法。本发 明的技术方案是：一种时空连续的视频背景修复方法，其特征在于，包括下述步骤：
[0005] 步骤1，由用户指定输入视频V中需要去除的前景物体Q，当去除的前景物体Q 从其他前景物体Qx后侧运动时，还需要用户交互式标记出Qx;
[0006] 步骤2,令? =V-Q-Qx，?表示视频V中可用于修复缺失部分的已知部分，计 算?的正反双向运动场；
[0007] 步骤3,构建运动场的时空金字塔，在最底层上，通过最小化以下能量方程，计算缺 失部分双向运动场的初始值：
[0009] 其中，P和Q表示时空域的像素立方体，Q为目标立方体，包含至少一个未知像素， 位于Q及其边界附近区域内，P为源立方体，不含未知像素；D(P，Q)表示运动场内像素 立方体之间的距离；
[0010] 步骤4,将时空金字塔最底层的缺失部分双向运动场的初始值传播到上层，从第二 层开始，通过最小化以下能量方程，计算缺失部分双向运动场的精细值：
[0012] 表示空洞Q周围的已知区域，N?,和N表示和Q区域内像素立方体的 总数，P为前后两项的权重控制参数，D(P，Q)与D(Q，P)均为运动场像素立方体间的距离；
[0013] 步骤5,在步骤2至4计算出的完整双向运动场的引导下，逐一利用临近帧修复当 前帧，得到当前帧的若干局部解；
[0014] 步骤6,对于当前帧匕内任一缺失像素p，从步骤5得到的局部解集合中选择候选 点{p1，p2,...，pn}，然后进行基于马尔科夫随机场的优化，得到全局解，该过程通过以下能 量方程最小化：
[0015] 2pEp(L(p)) +a5：上q(L(p)，L(q))
[0016] 其中函数L(p)和L(q)是像素p和q到它最终选择的候选点序号的映射，q为p 的四邻域点，a为前后两项权重的控制参数，Ep (L(p))为数据项，衡量利用pUp)修复像素p 的能量代价。Eftq(L(p)，L(q))为连续项，衡量利用pUp)和pUq)修复相邻像素p，q的能量代 价；
[0017] 步骤7,重复执行步骤5、步骤6的修复过程f次；
[0018] 步骤8,从步骤7修复之后的视频中，每隔(2帧选出一个关键帧；调整关键帧修复 区域的光照；
[0019] 步骤9,将关键帧光照调整结果传播到非关键帧，完成整个视频的光照调节。
[0020] 优选的，所述的步骤3中还包括如下步骤：
[0021 ] 步骤3. 1，构建原始视频运动场的时空金字塔；
[0022] 步骤3. 2,从最底层开始首次修复，逐个为目标立方体Q匹配最近邻P，当目标像素 块内已知像素个数比例超过60%时对其进行匹配，否则在此次循环中跳过，匹配时只考虑 立方体内已知像素之间的差异并求和；运动场内像素立方体之间的距离采用如下度量：
[0024] k和￡表示P和Q内所有进行对比的像素，mjP%表示对应位置的光流的齐次坐 标；
[0025] 步骤3. 3,将匹配得到的P复制到Q的位置，但仅保留与目标立方体中未知位置对 应的光流值，在下次循环中，将该位置光流视为已知；
[0026] 步骤3. 4,循环重复步骤3. 2和3. 3,直至空洞内全部像素被填充光流；
[0027]步骤3. 5,首次修复结束后，将最底层运动场分成相互重叠的像素立方体，完整计 算源立方体与目标立方体之间的距离，匹配之后将源立方体完整复制至目标立方体，对于 重叠的位置，其最终光流由下式确定：
[0029] 式中叫表示像素k处的最终光流，《4表示复制过来的第i个源立方体在像素k处 的光流。权值CO1=S1X1, .V,.=CX1X-D(AP1V2fTj)衡量目标像素块与源像素块之间的相 似性，D(Q\P1)为像素块Q1与P1之间的距离，od为所有D(Q^pi)的中值，A1衡量目标像 素块Q1距离空洞边缘的远近程度，首先计算每个目标像素块中心位置距离空洞边缘的距离 UQ1)，然后计算相应的权值為=exP(-L(0')/2cr/)，〇1为所有UQ1)的中值；
[0030] 上述过程多次迭代，当前后两次结果差异小于阈值15,或迭代次数达到预设值20 时停止，得到缺失部分双向运动场的初始值。
[0031] 优选的，所述的步骤4中还包括如下步骤：
[0032] 步骤4. 1，将最底层的结果传播到相邻的上一层，形成初始值；
[0033] 步骤4. 2,将当前层内运动场分成相互重叠的像素立方体；
[0034] 步骤4.3,对步骤4中公式的前后两项交替迭代优化，优化过程采用步骤3.5中 的方法，优化前一项时，搜索每个目标立方体0cD的最近邻源立方体/>c 〇'，计算两者之 间的距离D(Q，P);优化后一项时，为每个源立方体搜索其最近邻目标立方体并计算距离 D(P1Q)；
[0035] 步骤4. 4,若有上一层，则将当前层运动场修复结果传播到上一层运动场，得到缺 失部分双向运动场的精细值。
[0036] 优选的，所述的步骤5中还包括如下步骤：
[0037] 步骤5. 1，将当前帧ft分解为互相重叠的二维像素块，将含有缺失像素的像素块称 为目标像素块，针对每一个目标像素块T，依据正向光流，找到其在ft+1中对应的像素块S;
[0038] 步骤5. 2,将S的颜色值复制到T的位置，得到一个局部解ftt+1，局部解中像素点p 的最终颜色值为所有重叠在该点的颜色值的加权平均，权值cok在每个源像素块上满足高 斯函数，且该高斯函数中的参数〇 = 10000 ;
[0039] 步骤5. 3,依据反向光流所表示的对应关系，按照步骤5. 1-5. 2所述方法，用ft+1修 复ft，得到另一个局部解};
[0040] 步骤5. 4,对于ft所有的临近帧ftt+1iG[-r，r]，重复步骤5. 1到5. 3, 一共得到 4r个局部解，r为临近帧区间的半径；4r由每隔临近帧得到两个局部解，构成局部解集合 U t Ji：' I O
[0041] 优选的，所述的步骤6中还包括如下步骤：
[0042] 步骤6. 1，设p为仁内某一缺失像素，为p选择n个候选点{p\P2, . . .，pn}，其中， n< 4r;每个候选点都来源于内某一局部解，且与p坐标值相同；选择时，依据以 由近到远的对称顺序，从fti和ft+1开始，向ft ,和ft+1的方向选择，其中i> 0 ;
[0043]步骤6. 2,为每个像素p提供一个初始值I(p)，I(p)为所有局部解在p处颜色值 的加权平均，首先对空洞的掩膜进行膨胀，选出当前帧空洞附近的一块参考区域EV(ft)，对 EV(ft)内的所有像素，分别依据光流对应关系找到它在临近帧内的对应