一种基于场景信息的实时目标抠像方法
【专利摘要】一种基于场景信息的目标抠像方法，包含场景信息学习和实时动态抠像，场景信息学习步骤：将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器。实时动态抠像步骤：将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较，从而进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。本发明可以提高算法的实时性和可靠性，同时还能判断出前景中的半透明区域以及非透明区域。
【专利说明】一种基于场景信息的实时目标抠像方法
【技术领域】
[0001]本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及一种基于场景信息的实时目标抠像技术。
【背景技术】
[0002]视频抠像技术是视频编缉的一项重要技术，它被用来提取视频中感兴趣的物体，之后可以通过视频合成技术将该物体与其它视频进行合成，从而得到一段具有特殊效果的视频。除此之外，视频抠像在影视制作、远程视频会议、增强现实、数字家庭娱乐等方面有着广泛的应用。因此目标抠像的研究具有重要意义。
[0003]目前常用的目标抠像算法需要大量的人机交互过程来手动获取场景信息，如:贝叶斯方法(Bayesian matting)、泊松方法(Poisson matting)等等。除此之外，复杂的计算过程也严重影响了相关算法在视频实时抠像中的应用。
【发明内容】
[0004]本发明为解决上述提到的现有的目标抠像算法需要大量的人际交互过程来手动获取场景信息的问题，提供一种基于场景信息的目标抠像方法，具体的，其技术方案如下:
[0005]—种基于场景信息的实时目标抠像方法，包含场景信息学习和实时动态抠像，
[0006]场景信息学习步骤S1:将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器，并在每个象素构建用于描述背景信息的模型。
[0007]实时动态抠像步骤S2:将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较，从而进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。
[0008]优选的，所述场景信息学习步骤SI进一步包括以下步骤:
[0009]Sll:使用预分类器获得肯定属于背景的象素点；
[0010]S12:对于所有可能属于背景的象素点，提取特征并统计对应特征的全局统计信息用于更新实时抠像过程中预分类器的参数；
[0011]S13:对于每个象素点构建用于描述对应象素点背景颜色特征的模型。
[0012]优选的，所述实时动态抠像步骤S2进一步包括以下步骤:
[0013]S21:使用预分类器去除背景象素点；
[0014]S22:对于S21步骤之后剩余的象素点，进一步利用背景模型去除背景象素点；
[0015]S23:对于剩下的前景象素点，提取每个象素点的特征；
[0016]S24:输入分类器，识别前景象素点为半透明象素点或者非透明象素点；
[0017]S25:对于半透明象素点，求取其alpha通道值。
[0018]优选的，所述步骤S25进一步包括以下步骤:[0019]S251:提取特征向量 F=max ((b_r), (b-g))；
[0020]S252:若F>th3，则表示该象素点为半透明象素点；
[0021]S253:alpha 通道值计算公式为 Alpha= (F_th3) / const,其中 const 为一常数。
[0022]优选的，所述实时动态抠像通过将预分类器与象素点模型串行设计，从而大幅提闻枢像效率。
[0023]优选的，所述实时动态抠像利用场景的全局和象素点级统计信息来更新和精确预分类器进行目标抠像操作。
[0024]本方法针对常用算法的上述不足，通过场景信息学习过程自动获取场景中背景的相关信息用于更新和精化实时抠像过程中的分类器或模型的参数，从而避免了传统方法需要手动获取场景信息的不足。同时，通过将预分类器和背景模型的串行处理，大幅提高了系统的运行效率。除此之外，本方法还针对半透明的前景象素点提供了一种计算对应透明度的简便方法。本发明的方法基于场景信息对场景中的运动目标抠像，它可以提高算法的实时性和可靠性，同时还能判断出前景中的半透明区域以及非透明区域。除此之外，串行的抠像流程还能大幅提闻枢像效率。
【专利附图】
【附图说明】
[0025]图1示出基于场景的目标抠像方法的流程框图。
【具体实施方式】
[0026]下面参照附图结合实施例对本发明作进一步的说明。
[0027]本发明实现了一个基于场景信息的目标抠像系统。如图1示出系统的流程框图，包括场景信息学习和实时动态抠像两个部分:
[0028]场景信息学习包括步骤:将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器，在每个象素点构建用于描述背景信息的模型。
[0029]实时动态抠像过程包括步骤:将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。
[0030]本发明的方法需要的硬件最低配置为:IntelCore2Quad CPU, 3G内存的计算机；最低分辨率为320x240的监控摄像头。在此配置水平的硬件上，采用C++语言编程实现本方法，可以达到Ilfps的检测效果。
[0031]下面结合图1对本发明的方法涉及的关键步骤进行逐一详细说明，本发明的方法中的基本步骤相同，具体形式如下所述:
[0032]1.场景信息学习过程
[0033]首先，通过预分类器提取所有属于背景的象素点:
[0034]在这里，我们以蓝色背景为例进行说明，其它颜色的场景可以类似获得。在图片中，我们逐个遍历所有象素点，对于满足如下条件的象素点将被判断为背景象素点:
[0035](b~r) >thl & & (b-g) >th2[0036]其中，b, g, r为每个象素点的蓝色、绿色和红色分量,thl和th2手动设置的阈值，大于O且比较小。在后面的步骤中，我们将通过全局统计信息来进一步精确两个参数的范围。
[0037]其二，统计全局信息:
[0038]对于所有通过预分类器判断属于背景的象素点，统计b_r以及b-g的直方图。针对两个直方图分别获取阈值thr和thg,使对于b-r的直方图，大于thr的区域占直方图总面积的95%以上,对于b-g的直方图，大于thg的区域占直方图总面积的95%以上。
[0039]最后，在每个象素点构建对应的背景|吴型:
[0040]上述步骤中，我们学习出场中背景的全局信息，这里我们将在每个象素点处构建用于描述背景的模型，从而更进一步精确描述背景。
[0041]构建模型的方法有多种例如GMM方法[1]，kernel方法[2]等等。这里我们为了提高算法的实时性能，对属于背景的每个象素点获取其在时间轴上的样本并求取其均值X和方差，对于相应象素点输入的新的样本若满足:
[0042]I X1-X I〈3*
[0043]则认为该样本属于背景。若某象素点由于预分类器的判断不属于背景无法获得描述该象素点背景信息的模型时，那么该象素点的模型用最近邻象素点的背景模型代替。
2.实时动态抠像过程
[0044]首先，通过预分类器去除所有属于背景的象素点:
[0045]该步骤与场景信息学习过程中的第一步类似，只是thl、th2用thr和thg代替。该步骤可以去除绝大多数背景象素点，同时由于该步骤得分类器简单，因此能大幅提高算法效率。
[0046]其二，利用背景模型进一步去除背景象素点:
[0047]对于上一步未被检测为背景的每个象素点，将对应象素点的r，g，b值与在场景信息学习过程中获得的均值和方差进行比较，若满足IX1-XI〈3*条件，则被认为是背景象素点进一步去除。
[0048]其三，提取特征，并判断前景象素点的透明类别
[0049]对于经过第二步剩余的象素点，我们就认为他为前景象素点即为属于目标的象素点。在这里我们将进一步对前景象素点进行分类:半透明象素点和非透明象素点。其分类过程如下:针对每个象素点，我们提取特征向量F=maX((b-r)，(b-g))。若F>th3，则表示该象素点包含较多蓝色分量为半透明象素点，反之，则为非透明象素点。其透明程度通过下述公式获得:
[0050]Alpha=(F_th3) / const
[0051]其中，const为一常值。图2(a)和(b)分别显示了包含目标蓝屏图像以及目标的抠像结果，图中圈中的区域为半透明区域。
[0052]本方法针对常用算法的上述不足，通过场景信息学习过程自动获取场景中背景的相关信息用于更新和精化实时抠像过程中的分类器或模型的参数，从而避免了传统方法需要手动获取场景信息的不足。同时，通过将预分类器和背景模型的串行处理，大幅提高了系统的运行效率。
[0053]除此之外，本方法还针对半透明的前景象素点提供了一种计算对应透明度的简便方法。
[0054]本发明的方法基于场景信息对场景中的运动目标抠像，它可以提高算法的实时性和可靠性，同时还能判断出前景中的半透明区域以及非透明区域。除此之外，串行的抠像流程还能大幅提闻枢像效率。
[0055]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种基于场景信息的目标抠像方法，其特征在于:其包含场景信息学习和实时动态抠像， 场景信息学习步骤S1:将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器，并在每个象素构建用于描述背景信息的模型。 实时动态抠像步骤S2:将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较，从而进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。
2.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于:场景信息学习步骤SI进一步包括以下步骤: 511:使用预分类器获得肯定属于背景的象素点； 512:对于所有可能属于背景的象素点，提取特征并统计对应特征的全局统计信息用于更新实时抠像过程中预分类器的参数； 513:对于每个象素点构建用于描述对应象素点背景颜色特征的模型。
3.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于:所述实时动态抠像步骤S2进一步包括以下步骤: 521:使用预分类器去除背景象素点； 522:对于S21步骤之后剩余的象素点，进一步利用背景模型去除背景象素点； 523:对于剩下的前景象素点，提取每个象素点的特征； 524:输入分类器，识别前景象素点为半透明象素点或者非透明象素点； 525:对于半透明象素点，求取其alpha通道值。
4.根据权利要求3所述的所述一种基于场景信息的目标抠像方法，其特征在于:所述步骤S25进一步包括以下步骤: 5251:提取特征向量 F=max((b-r), (b-g))； 5252:若F>th3，则表示该象素点为半透明象素点； 5253:alpha通道值计算公式为Alpha= (F_th3) / const,其中const为一常数。
5.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于:所述实时动态抠像通过将预分类器与象素点模型串行设计，从而大幅提高抠像效率。
6.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于:所述实时动态抠像利用场景的全局和象素点级统计信息来更新和精确预分类器进行目标抠像操作。
【文档编号】G06K9/66GK103559509SQ201310541516
【公开日】2014年2月5日 申请日期:2013年11月6日 优先权日:2013年11月6日
【发明者】王君, 刘舟, 黄翊 申请人:飞歌康采(北京)软件科技有限公司