专利名称：基于反馈控制的平面视频立体化方法
技术领域：
本发明涉及计算机图像处理领域，特别涉及一种基于反馈控制的平面视频立体化方法。
背景技术：
立体视频作为当前影视作品的一种重要表现形式，显示效果层次分明、色彩鲜艳且具有很强的视觉冲击力，随着近年来立体影视作品在全球范围内取得的成功，立体视频在终端显示、机器人导航、航空航天、军事训练、医疗教育、游戏传媒等领域具有广阔的 市场前景和商业价值，被广泛认为是影视行业未来发展的主要方向。与原有的平面视频制作相比，立体视频的制作需要能够呈现出层次分明的场景深度信息，使得影视作品具有很强的视觉冲击力，给人以身临其境的视觉享受。现有的立体视频制作技术主要有三种，一种是使用立体摄像机进行拍摄制作立体视频，另一种是利用三维建模软件制作立体视频，还有一种是利用平面视频立体化技术将平面视频转换为立体视频，其中，第一种制作技术成本高且对设备校准、拍摄环境、后期制作的要求也高，第二种制作技术需要专业人员花费大量精力对场景、对象进行建模，经济成本和时间成本令人望而却步，第三种制作技术成本比前两种技术低很多，且可将任何一组现有的立体视频转换为对应的立体视频。平面视频立体化技术的关键点在于如何高效的生成相应的深度图序列。现有技术中，通过人机交互，利用图像分割算法，人工的给图像中的物体赋予深度值以获取平面图像序列深度。目前，存在的问题是需要大量的人工操作，使得深度图的制作周期较长，制作成本较高。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。为达到上述目的，本发明的实施例提出一种基于反馈控制的平面视频立体化方法，包括以下步骤S1:读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到所述关键帧的前景对象；S2 :通过闭环反馈控制的方式生成所述关键帧前景对象的标记线，并将所述标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复所述非关键帧的前景对象；以及S3 :对所述关键帧的前景对象和所述非关键帧的前景对象进行统一的深度赋值以获得所述平面视频帧序列的深度图序列，并对所述深度图序列进行深度双向合成以获得最终的深度图序列。根据本发明实施例的基于反馈控制的平面视频立体化方法，一方面只在少数的关键帧上进行人机交互操作，提高了效率且保证了深度图的准确性，另一方面采用闭环反馈控制方式，进一步提高了效率。本发明的一个实例中，所述步骤SI包括接收用户选定的所述平面视频中存在镜头切换或关键动作变化的帧作为关键帧，或者采用镜头检测算法选定关键帧；通过笔画的方式在所述关键帧的前景物体和背景物体上所做的不同的标记；再根据所述关键帧的前景物体和背景物体上的不同的标记，采用基于笔画标记的图像分割算法提取所述关键帧的前
景对象。本发明的一个实例中，所述关键帧进行滤波以减弱图像噪声。本发明的一个实例中，所述步骤S2包括S21 :基于闭环反馈控制规律生成所述关键帧的标记线；S22 :利用自适应块匹配算法计算各个标记像素的邻域像素的运动矢量，并对所述邻域像素的运动矢量进行加权平均以获取所述 标记像素的运动矢量，以及根据所述标记像素的运动矢量，将所述标记线扩展至下一帧，直至下一关键帧处停止；S23 :根据扩展得到的标记线，调用图像分割算法恢复所述非关键帧的前景对象。本发明的一个实例中，所述步骤S2还包括判断恢复出的非关键帧的前景对象是否准确；以及如果恢复出的非关键帧的前景对象不准确，则按照关键帧中输入人工标记的方式修改所述关键帧的标记线。本发明的一个实例中，所述步骤S21包括S211 :利用Grass-fire算法得到所述关键帧前景对象的骨架线作为前景标记集合；S212 :将所述关键帧前景对象的边界向外膨胀多个像素得到扩展边界，并在所述扩展边界上采样以将采样点作为背景标记集合；S213 以所述前景标记集合与所述背景标记集合为输入，调用图像分割算法得到生成对象；S214 如果所述前景对象与所述生成对象的差异小于预定阈值，则将所述前景标记集合和背景标记集合作为关键帧的标记线；S215 :如果存在仅属于前景对象而不属于生成对象的第一区域，则调用Grass-fire算法得到所述第一区域的骨架线并加入到所述前景标记集合中，并返回到步骤S213继续执行；S216 ;如果存在仅属于生成对象而不属于前景对象的第二区域，则调用Grass-fire算法得到所述第二区域的骨架线并加入到所述背景标记集合中，并返回到步骤S213继续执行。本发明的一个实例中，所述步骤S3包括根据从所述平面视频帧序列中提取出的前景对象和预设的深度赋值模型生成所述平面视频帧序列的前向深度图序列和后向深度图序列；根据所述前向深度图序列和后向深度图序列通过进行深度双向合成得到非关键帧的深度图。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图I为本发明实施例的基于反馈控制的平面视频立体化方法的流程图；以及图2为本发明实施例的闭环反馈控制的结构示意图。
具体实施例方式下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
图I为本发明实施例的基于反馈控制的平面视频立体化方法的流程图。如图I所示，根据本发明实施例的基于反馈控制的平面视频立体化方法，包括以下步骤S101，读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到关键帧的前景对象。具体地，首先，接收用户选定的平面视频中存在镜头切换或关键动作变化的帧作为关键帧，或者采用镜头检测算法选定关键帧，在本发明的一个实施例中，选择关键帧之后，对关键帧进行滤波以减弱图像噪声，例如可以使用高斯滤波方法或者Mean-shift滤波方法等对关键帧进行滤波，由此以减弱图像噪声对分割算法的影响。然后，接收用户通过笔画的方式在关键帧的前景物体和背景物体上所做的不同的标记，例如，用户可以选择用鼠标左键在前景物体上做标记，用鼠标右键在背景物体上做标记。最后，根据关键帧的前景物体和背景物体上的不同的标记，采用基于笔画标记的图像分割算法提取关键帧的前景对象，例如，可以使用Graph Cut算法、Lazy Snapping等算法等提取关键巾贞的前景对象,如果图像分割算法不能准确地提取关键帧的前景对象，修改或者重新进行人工标记后再提取关键帧的前景对象。
S102，通过闭环反馈控制的方式生成关键帧前景对象的标记线，并将标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复非关键帧的前景对象。具体地，首先基于闭环反馈控制规律生成关键帧的标记线。更具体地，利用Grass-fire算法得到关键帧前景对象的骨架线作为前景标记集合，将关键帧前景对象的边界向外膨胀多个像素得到扩展边界，并在扩展边界上采样以将采样点作为背景标记集合，以前景标记集合与背景标记集合为输入，调用图像分割算法得到生成对象，根据前景对象和生成对象进行分析，包括以下几种情况(I)如果前景对象与生成对象的差异小于预定阈值，则将前景标记集合和背景标记集合作为关键帧的标记线；(2)如果存在仅属于前景对象而不属于生成对象的第一区域，则调用Grass-fire算法得到第一区域的骨架线并加入到前景标记集合中，然后，以前景标记集合与背景标记集合为输入，重新调用图像分割算法得到生成对象；(3)如果存在仅属于生成对象而不属于前景对象的第二区域，则调用Grass-fire算法得到第二区域的骨架线并加入到背景标记集合中，然后，以前景标记集合与背景标记集合为输入，重新调用图像分割算法得到生成对象。如图2所示，整个关键帧的标记线的生成过程，构成完整的闭环反馈控制系统，以关键帧的前景对象为系统的给定量；以图像分割算法得到的生成对象为系统的反馈量；由Grass-fire算法生成的标记线构成了系统的输出量；控制系统的控制器以给定量与反馈量的偏差为输入，按照前述的控制规律，得到偏差区域作为控制信号给执行器;GraSS-f ire算法作为控制系统的执行器，负责将偏差区域转化为标记线；图像分割算法作为控制系统的传感器，负责将标记线转化为生成对象。整个系统在前景对象给定后就能够自动的按照闭环反馈控制规律运行，直至输出的标记线达到控制系统的设定要求。然后，利用自适应块匹配算法计算各个标记像素的邻域像素的运动矢量，并对邻域像素的运动矢量进行加权平均以获取标记像素的运动矢量，根据标记像素的运动矢量，将标记线扩展至下一帧，直至下一关键帧处停止。更具体地，可以将邻域设定为5x5的正方形方格，获取标记像素i的运动矢量朋MVi的公式如下
权利要求
1.一种基于反馈控制的平面视频立体化方法，其特征在于，包括以下步骤 Si:读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到所述关键帧的前景对象； 52:通过闭环反馈控制的方式生成所述关键帧前景对象的标记线，并将所述标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复所述非关键帧的前景对象；以及 53:对所述关键帧的前景对象和所述非关键帧的前景对象进行统一的深度赋值以获得所述平面视频帧序列的深度图序列，并对所述深度图序列进行深度双向合成以获得最终的深度图序列。
2.根据权利要求I所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤SI进一步包括 接收用户选定的所述平面视频中存在镜头切换或关键动作变化的帧作为关键帧，或者采用镜头检测算法选定关键帧； 接收用户通过笔画的方式在所述关键帧的前景物体和背景物体上所做的不同的标记；以及 根据所述关键帧的前景物体和背景物体上的不同的标记，采用基于笔画标记的图像分割算法提取所述关键帧的前景对象。
3.根据权利要求2所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤SI还包括 对所述关键帧进行滤波以减弱图像噪声。
4.根据权利要求I所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S2进一步包括 521:基于闭环反馈控制规律生成所述关键帧的标记线； 522:利用自适应块匹配算法计算各个标记像素的邻域像素的运动矢量，并对所述邻域像素的运动矢量进行加权平均以获取所述标记像素的运动矢量，以及根据所述标记像素的运动矢量，将所述标记线扩展至下一帧，直至下一关键帧处停止； S23:根据扩展得到的标记线，调用图像分割算法恢复所述非关键帧的前景对象。
5.根据权利要求3所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S2还包括 判断恢复出的非关键帧的前景对象是否准确；以及 如果恢复出的非关键帧的前景对象不准确，则按照关键帧中输入人工标记的方式修改所述关键帧的标记线。
6.根据权利要求3所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S21具体包括 5211:利用Grass-fire算法得到所述关键帧前景对象的骨架线作为前景标记集合； 5212:将所述关键帧前景对象的边界向外膨胀多个像素得到扩展边界，并在所述扩展边界上采样以将采样点作为背景标记集合； 5213以所述前景标记集合与所述背景标记集合为输入，调用图像分割算法得到生成对象； 5214:如果所述前景对象与所述生成对象的差异小于预定阈值，则将所述前景标记集合和背景标记集合作为关键帧的标记线； S215 :如果存在仅属于前景对象而不属于生成对象的第一区域，则调用Grass-fire算法得到所述第一区域的骨架线并加入到所述前景标记集合中，并返回到步骤S213继续执行； S216:如果存在仅属于生成对象而不属于前景对象的第二区域，则调用Grass-fire算法得到所述第二区域的骨架线并加入到所述背景标记集合中，并返回到步骤S213继续执行。
7.根据权利要求I所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S3进一步包括 根据从所述平面视频帧序列中提取出的前景对象和预设的深度赋值模型生成所述平面视频帧序列的前向深度图序列和后向深度图序列；以及 根据所述前向深度图序列和后向深度图序列通过进行深度双向合成得到非关键帧的深度图。
全文摘要
本发明提出一种基于反馈控制的平面视频立体化方法，包括以下步骤读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到关键帧的前景对象；通过闭环反馈控制的方式生成关键帧前景对象的标记线，并将标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复非关键帧的前景对象；以及对关键帧的前景对象和非关键帧的前景对象进行统一的深度赋值以获得平面视频帧序列的深度图序列，并对深度图序列进行深度双向合成以获得最终的深度图序列。根据本发明实施例的方法，只在少数的关键帧上进行人机交互操作且采用闭环反馈控制方式，提高了效率且保证了深度图的准确性。
文档编号H04N13/02GK102724530SQ20121017282
公开日2012年10月10日 申请日期2012年5月29日 优先权日2012年5月29日
发明者戴琼海, 曹汛, 李振尧 申请人:清华大学