专利名称：基于邻域和非邻域平滑先验的图像前景精准提取方法
技术领域：
本发明属于图像处理、计算机视觉技术领域，是一种新型的基于邻域和非邻域平滑先验的图像前景精准提取方法。
背景技术：
图像前景精准提取旨在将图像I分解成前景F和背景B。从数学角度上讲，图像I是F和B按如下方式的线性组合:C = Fa+B(l-a)其中，a定义了每一个像素的不透明度，它的取值位于
。精确的图像提取在不同的图像和视频编辑应用中有很大的作用。然而，由于未知点的个数比已知方程式的个数多很多，导致该方程不可解。所以，通常采用的方法是利用用户画笔式交互或输入一张黑白灰三分图(trimap)来简化这个问题的求解。现在的图像方法大致可以分为三类:基于采样(Sampling-Based)的方法,基于相似度(Affinity-Based)的方法以及结合这两种方法的综合方法。基于采样的图像前景精准提取同时估算一个像素点的a值和其前景色，背景色。很多方法采用不同的参数化的或非参数化的模型来对已知前景区域和背景区域的临近像素点进行采样。Ruzon和Tomasi假定未知像素点在前景区域边缘的狭窄带状区域。后来这一方法被Chuang等人用贝叶斯框架加以扩展。这些方法在未知像素点临近前景边缘，同时未知像素点的个数相对比较少时效果比较好。Rhemann等人提出了一种基于测地线距离采集样本的改进颜色模型。共享图像前景精准提取(Shared matting)方法沿着光线的不同方向对像素点进行采样。总的来说，这些方法在颜色邻域平滑的情况下有比较好的效果。基于相似度的图像前景精准提取，独立于前景颜色和背景颜色解决了精准对象提取(alpha matte)问题。泊松图像前景精准提取方法(Poisson matting)假定掩像(alphamatte)的梯度与图像的梯度是成比例的。基于随机游走算法的图像前景精准提取(Randomwalk matting)方法采用随机游走算法根据相邻颜色相似度来求解a值。基于闭合式方法的图像前景精准提取(Closed-form matting)方法假定邻域窗口上的颜色线模型,通过最小化一个花费函数来解决精准对象提取(alpha matte)问题。基于谱分析法的图像前景精准提取(Spectral matting)方法通过探索其与谱聚类的关系将其扩展成一个非监督的方法。拉普拉斯图像提取与不同的数据约束，先验或基于学习的方法结合起来以解决图像提取问题。然而，在邻域平滑的假设下，不足以解决复杂图像问题。因此，我们将其与非邻域平滑先验结合起来提升结果。综合采样和相似度的图像前景精准提取方法在前两类方法之间做了很好的平衡。鲁棒性图像前景精准提取(Robust Matting)方法首先采样具有高置信度的样本，然后使用随机游走算法最小化图像前景精准提取能量。全局采样图像前景精准提取(Globalsampling matting)采用来自PatchMatch算法中的随机寻找算法来寻找全局最优样本。在基于闭合式方法的图像前景精准提取(closed-form matting)中，图像前景精准提取的拉普拉斯算子矩阵是根据颜色线模型得到的，用来约束邻域窗口内的精准对象提取(alpha matte)。这种邻域平滑先验可以与从颜色采样中获得的数据集结合起来。这种平滑的先验在只有恒定数量前景色和背景色的图像区域内效果比较好。He等人采用广义的Patchmatch方法提升了颜色采样的效果。近期研究表明数据集和邻域平滑集的组合可以产生高质量的结果。然而，在计算拉普拉斯算子矩阵的时候设置一个合适的邻域窗口大小是不容易的。小的窗口可能不足以捕获到结构的细节信息。另一方面，大的窗口会破坏颜色线模型，同样导致不好的结果。近期，陈等人提出一种流形保持编辑传播的方法，并将其应用到了透明图像提取中。我们观察到这其实是一种新型精准对象提取(alpha matte)上的非邻域平滑先验。它将远处像素点的a值联系到了一起，这与基于拉普拉斯的图像前景精准提取(Laplacianmatting)形成了互补。当仅应用这种非邻域的平滑先验时，它可能捕获不到半透明物体的邻域结构信息。因此我们提出将这种非邻域平滑先验与邻域拉普拉斯平滑先验结合起来，然后计入一个平凡数据集。我们新型的图像提取算法在标准测试数据集上展现了良好的性倉泛。
发明内容
本发明的目的是提出了一种新型的基于邻域和非邻域平滑先验的图像前景精准提取方法，这种新型的方法在标准测试数据集上有良好的表现。为完成本发明的目的，本发明采用的技术方案是:一种基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，包括如下步骤:步骤S100，标记输入图像中的前景区域、背景区域和未知区域；前景区域就是要提取出的图像内容所在的区域，背景区域是不需要提取的图像内容背景，而未知区域是前景和背景交叉难以区别的区域，例如向上竖起的发丝区域。步骤S200，对于输入图像的未知区域中的每一个像素，使用颜色采样方法初始化该像素属于前景的概率a值，并计算a值的置信度，对于其a值的置信度大于给定阀值的像素，采信该像素的a值，并将该像素标记为已知像素，并将前景区域中的每一个像素的a值设为一个最大值，而将背景区域中的每一个像素的a值设为一个最小值；通常a值介于0-1之间，前景区域的为1，背景区域的为0，而未知区域中的像素的a值大于0且小于I。步骤S200的目的是为了尽量多地确定像素的a值，以为将来计算未知区域中在步骤S200无法确定的那些像素(也就是尽管能够计算出a值，但是计算出的a值不被采信的那些像素)的更为真实的a值做准备。a值是像素属于前景的概率，只要能够算出未知像素的a值，就能够判断该像素属于前景还是属于背景。步骤S300，对于输入图像中的每一个像素，根据各像素的a值计算其数据项权重，并计算出每一个像素的邻域平滑约束项权重和非邻域平滑约束项权重，并根据这三种权重构建输入图像所有像素的整体图模型；步骤S400，根据所有前景区域像素、背景区域像素和未知区域中已知像素的a值，在步骤S300的图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到掩像。相当于完成了输入图像中各像素属于前景还是背景的区分工作。
优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在骤SlOO中，用户采用画笔式交互标记输入图像中的前景区域、背景区域和未知区域，或者用户输入一张三分图以将输入图像标记为前景区域、背景区域和未知区域。这个步骤由用户完成，用户通过画笔的方式选出前景、背景和模糊区域(未知区域)，或者通过输入相同大小的三分图的方式，区分出了前景、背景和未知区域。优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，前景区域中的每一个像素的a值设为最大值1，背景区域中的每一个像素的a值设为最小值优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤SlOO中，用户采用画笔式交互标记前景区域、背景区域和未知区域包括:用户采用画笔标记图像的前景像素和背景像素，用白色画笔覆盖的像素为前景像素，用黑色画笔覆盖的像素为背景像素，其他像素为未知像素；或者用户提供一张与输入图像相同尺寸的黑白灰三分图，白色区域所对应的输入图像的像素为前景像素，黑色区域所对应的输入图像的像素为背景像素，灰色区域所对应的输入图像的像素为未知像素。优选的是，所述的基于邻域和非邻域平滑先验的图像前景精准提取方法中，在步骤S200中，计算未知区域中每一个像素属于前景的概率a值的方式如下:根据未知像素在输入图像上的位置，寻找其在输入图像上距离最近的k个前景像素Fi(i =卜k)和k个背景像素=卜k)，每个前景像素和每个背景像素结成一对，组合成k2个前景背景点对Fi Bj，针对每一个前景背景点对计算一个a '值:
权利要求
1.一种基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，包括如下步骤: 步骤S100，标记输入图像中的前景区域、背景区域和未知区域； 步骤S200，对于输入图像的未知区域中的每一个像素，使用颜色采样方法初始化该像素属于前景的概率a值，并计算a值的置信度，对于其a值的置信度大于给定阀值的像素，采信该像素的a值，并将该像素标记为已知像素，并将前景区域中的每一个像素的a值设为一个最大值，而将背景区域中的每一个像素的a值设为一个最小值； 步骤S300，对于输入图像中的每一个像素，根据各像素的a值计算其数据项权重，并计算出每一个像素的邻域平滑约束项权重和非邻域平滑约束项权重，并根据这三种权重构建输入图像所有像素的整体图模型； 步骤S400，根据所有前景区域像素、背景区域像素和未知区域中已知像素的a值，在步骤S300的图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到掩像。
2.如权利要求1所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在骤SlOO中，用户采用画笔式交互标记输入图像中的前景区域、背景区域和未知区域，或者用户输入一张三分图以将输入图像标记为前景区域、背景区域和未知区域。
3.如权利要求2所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，前景区域中的每一个像素的a值设为最大值1，背景区域中的每一个像素的a值设为最小值O。
4.根据权利要求2所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤SlOO中，用户采用画笔式交互标记前景区域、背景区域和未知区域包括:用户采用画笔标记图像的前景像素和背景像素，用白色画笔覆盖的像素为前景像素，用黑色画笔覆盖的像素为背景像素，其他像素为未知像素； 或者用户提供一张与输入图像相同尺寸的黑白灰三分图，白色区域所对应的输入图像的像素为前景像素，黑色区域所对应的输入图像的像素为背景像素，灰色区域所对应的输入图像的像素为未知像素。
5.根据权利要求1所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S200中，计算未知区域中每一个像素属于前景的概率a值的方式如下:根据未知像素在输入图像上的位置，寻找其在输入图像上距离最近的k个前景像素Fi(i =卜k)和k个背景像素Bm =卜k)，每个前景像素和每个背景像素结成一对，组合成k2个前景背景点对Fi 针对每一个前景背景点对计算一个a '值:
6.根据权利要求5所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S300中，根据各像素的a值计算其数据项权重的方法如下: 步骤S310，数据项权重包括两项，分别表示为该像素属于前景可能性的权重值W(i,F)和该像素属于背景可能性的权重值W(i,B)，W(i,F)和W(i,B)的计算方式为: W(i,F) =YaW(i,B) = Y (1_ Q ) 其中，参数Y平衡了数据项与平滑集。
7.根据权利要求5所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，参数Y设置为0.1。
8.根据权利要求5所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S300中，计算像素的邻域平滑约束项权重的方法如下: 步骤S320，对于像素i，采用拉普拉斯方法在输入图像中以像素i为中心的周围m*m个像素的固定大小窗口w’*a=A内建立邻域平滑约束，对于像素i周围的邻居像素j的邻域平滑约束项权重值的计算方法为:
9.根据权利要求8所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，e设置为10_5的正则化系数，且m取值为3。
10.根据权利要求8所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S300中，计算像素的非邻域平滑约束项权重的方法如下: 步骤S330，根据输入图像的每一个像素的特征值生成包括所有像素在内的特征空间，在特征空间中求取像素i的欧式距离上最近的k个近邻像素，利用局部线性嵌入降维方法，构建非邻域平滑约束，其非邻域平滑约束项权重值可在约束条件;
11.根据权利要求10所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，像素i的特征值包括A，gi，bp Xi, yi，其中gi，匕是像素i的RGB颜色值，Xi, Yi是像素i在输入图像中的坐标位置，因此所述特征空间为包括A，gi, by Xi, 71特征值在内的五维特征空间。
12.根据权利要求11所述的基于邻域和非邻域平滑先验的图像前景精准提取方法，其中，在步骤S400中，其特征在于:根据未知区域中被采信的已知像素的a值、已知前景区域中像素的a值和已知背景区域中像素的a值，在步骤S300的图模型的约束下，通过最小化如下能量方程解得每一个像素点属于前景的概率，得到掩像:
全文摘要
本发明公开了一种基于邻域和非邻域平滑先验的图像前景精准提取方法，主要包括以下步骤交互式标记前景点、背景点；对于输入图像的每一个未标记的像素，使用颜色采样方法初始化其α值，并计算其置信度，对于置信度大于给定阀值的像素，采信其α值，作为已知像素；对于输入图像的每一个像素，计算每个像素的数据项权重，邻域平滑约束项权重和非邻域平滑约束项权重，构建输入图像所有像素的图模型；根据已知像素的α值，在图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到掩像(alpha matte)。本发明在计算精准度、掩像连续性等方面有良好的表现，可广泛应用推广到影视节目制作等领域。
文档编号G06T7/00GK103177446SQ201310080379
公开日2013年6月26日 申请日期2013年3月13日 优先权日2013年3月13日
发明者陈小武, 邹冬青, 赵沁平, 丁峰 申请人:北京航空航天大学