专利名称：一种基于像素扩散的前景提取方法
技术领域：
本发明属于计算机数字图像处理技术领域，具体涉及一种快速的前景提取方法。
背景技术：
随着人们文化需求的不断增长，想象空间的不断扩大，对视视觉感受的不断重 视，人们在照片处理、海报制作和电影特技等方面的要求也不断提高，经常需要把某个物 体从已有的图像中提取出来，以更换到新的场景中，该过程便是前景提取操作。虽然采用 Photoshop等图像编辑工具也可以实现前景提取效果，但是一方面，在物体边缘比较复杂 时，前景提取的工作量过大，另一方面，现有的图像编辑软件无法处理毛绒的边缘，比如动 物的毛发等。所以需要一定的前景提取算法来实现这一目标。在利用前景提取算法进行前景提取时，对于原始图像中的一个未知像素p(x，y)， 其颜色可以表示为C = a F+(l-a )B(1)其中，C表示像素p的颜色，这是唯一可以从输入图像中直接获得的。F表示(X， y)处前景的颜色，B表示(x，y)处背景的颜色。a可以理解为前景颜色的透明度，取值范 围在0到1之间。至此，前景提取问题就转化成为了已知C，而求a、F和B的问题。该问 题是已知1个方程，来求3个未知数，这是一个病态的问题，无疑给前景提取这一过程带来 了巨大的挑战。现在一般的解决方案是由用户在图上标记出完全的前景、完全的背景和未 知区域。被标记过前景、背景和未知区域的图像就称之为trimap。目前，前景提取算法分为两大类，一种是利用额外信息的方法，如文[1] [2]，另一 种是针对一幅静止图片的前景提取算法，大致又分为3类基于样本选取的前景提取算法、 通过定义像素间的相似度的前景提取算法和将这两种思路结合起来的前景提取算法。基于样本选取的前景提取算法在估计未知像素的a时，利用的是该像素附近像 素的一些信息，比如颜色信息、空间信息等。常见的具有代表性的方法有贝叶斯前景提取 算法[3]和Ruzon and Tomasi' s Method[4]等。定义像素间的相似度的前景提取算法利 用了像素之间的连续性和相似性，具有代表性的方法有泊松前景提取算法[5]和随机游 走前景提取算法[6]。这两类方法，前者更偏向单个像素的计算，而后者更偏向于像素之间 的关系。2007年，Wang Jue和Michael F. Cohen将这两者结合起来提出了鲁棒性前景提取 算法[7]，该算法是目前国际上最为先进并且实用的前景提取方法。该算法已在Photoshop 图像编辑软件中得到应用。鲁棒性前景提取算法首先定义一个称作置信度的标准，来判断前景背景样本对的 优劣，从而选取好的前景背景样本对，进而估计出前景。在计算置信度的时候，是通过计算 未知像素和前景背景像素在颜色空间上的距离得到的。第二步利用随机游走前景提取算法 对估计的结果进行优化，从而得到最终的结果。优化的目标有两个第一，置信度较高的像 素值的a值应该得到充分的尊重；第二，a值应该比较平滑，从而容忍图像中的噪声。但是，目前的前景提取算法如鲁棒性前景提取算法都是在不同的步骤分别利用样本选取和定义像素间相似度的，这样做大大降低了前景提取的速度。
发明内容
本发明的目的在于提出一种快速的前景提取方法。本发明提出的快速前景提取方法，是通过定义相邻像素CI值的内在关系把样本 选取和定义像素间的相似度这两步结合一步，同时对未知像素的样本选取预取样的策略， 从而很大程度地提高了速度。本发明的技术特点在于1.本发明在求解每个未知像素的a值时，采取的是由内向外的逐步扩散的求解 策略，该策略可以充分利用像素的连续性，从而替代随机游走前景提取算法，省去了 a值 优化这一步，进而提高了算法的运行速度。2.本发明在为每个未知像素选取背景样本点时，采取的是预分配的策略。原本每 计算一个未知像素a值，就需要遍历一遍图像，采取预分配的策略后，只需要遍历一遍图 像，从而在速度上得到了很大的提高。3.本发明在求解每个未知像素的a值时，不同于鲁棒性前景提取算法，而是通过 假设相邻未知像素的a值存在一定的内在关系。这样做可以在不影响前景提取效果的前 提下减少样本的选取，进而提高了算法的运行速度。本发明的方法流程图如图1所示，具体依次包括如下步骤1.输入原图像和对应的trimap2.根据输入的trimap确定前景样本点、背景样本点和未知像素。具体的步骤如 下(1)遍历找到下一个与未知像素相邻的背景像素B，则B为一个背景样本像素。(2)以像素B为圆心，X个像素为半径，画一个圆域。X可为12-18，如15、16等。(3)将像素B加入到圆域内各未知像素的背景样本集，该像素的背景样本集的大 小增加1。(4)判定是否有未被遍历到的背景样本像素，有则转至步骤(1)，否则转至步骤 (5)。(5)处理各未知像素的背景样本集，为每个未知像素均勻地选取15个左右(如 12-18个)的背景样本像素。3.选择一个未知像素。4.计算该未知像素的每个前景背景样本对的置信度。对于每个前景背景样本对 (F、BJ)，F1为前景样本像素的颜色，BJ为背景样本像素的颜色，其置信度的计算方法如下
(2)其中的系数o =0.1。Rd(Fi,BJ),w(Fi)>w(BJ)如下计算
w(b^) = e文1| # — C || /
其中C为未知像素的颜色，在为根据这对样本点估计出的a值，具体计算法方式如 下 队表示当前的未知像素与所有前景样本点颜色空间上的最小距离，即 mini( IF-Cl |) ;DB表示当前的未知像素与所有背景样本点颜色空间上的最小距离，即 minj( |BJ-C| |)。5.选择置信度最高的前景背景样本对计算得到初步的a值。如图3所示，设当 前计算a值的未知像素为Pj，相邻的已计算a值的像素为Pi，这个a值是假设Pi即为前 景像素时得到的，记为Au。假设置信度最高的前景背景样本对为(Fx，By)，Au的计算方法如 下 6.根据未知像素和相邻已计算a值的像素假设的内在关系，计算得到未知像素 的最终a值。本发明定义并利用了这种内在关系，假设Pi的a值为cip则设定 其中，o ( )为本发明定义的关系，定义o (x) = x2。7.如果存在还未计算a值的未知像素，则转到第3步，否则算法结束。本发明可以达到与前人相似的前景提取效果(鲁棒性前景提取算法)，如图4所 示，图4的(a)图为原图，(b)图为用户输入的trimap，(c)图为前人提出的前景提取算法 的最好效果，(d)图为本发明所得到的效果。可以看到，本发明的前景提取效果与鲁棒性前 景提取结果相似，但时间上得到大幅度的提高。经在前景提取专用图片集[8]中测试得到， 本发明平均比鲁棒性前景提取算法快25倍。
图1:本发明的流程图。图2 背景样本点选取的流程图。图3 计算像素a值的示意图。图4 与前人算法(鲁棒性前景提取算法)的比较。
具体实施例方式图1为本发明的流程图，具体为步骤1输入原图像和对应的trimap步骤2确定前景样本点、背景样本点和未知像素。步骤3选择一个未知像素。步骤4计算该像素的每个前景背景样本对的置信度。步骤5选择置信度最高的前景背景样本对计算得到初步的a值。
步骤6根据未知像素和相邻已计算a值的像素假设的内在关系，计算得到未知像 素的最终a值。步骤7如存在还未计算a值的未知像素，则转至步骤3，否则算法结束。图2为本发明在预分配背景样本像素的流程图，具体为步骤21遍历找到下一个与未知像素相邻的背景像素B。步骤22以像素B为圆心，15个像素为半径，画一个圆域。步骤23将像素B加入到圆域内各未知像素的背景样本集。步骤24判定是否有未被遍历到的背景像素，有则转至步骤21，否则转至步骤25。步骤25处理各未知像素的背景样本集，为每个未知像素选取15个左右的背景样 本像素。引用资料[1] J. Sun, Y. Li, S. _B. Kang, and H. _Y. Shum, "Flash matting, ”ACM SIGGRAPH, pp.772-778,2006.[2]N. Joshi, ff. Matusik, and S. Avidan, "Natural video matting using camera arrays,”ACM SIGGRAPH, pp.779-786，2006.[3]Y. Y. Chuang, B. Curless, D. H. Salesin, and R. Szeliski, "A bayesian approach to digitalmatting，” IEEE CVPR，pp.264—271，2001.[4]M. Ruzon and C. Tomasi, "Alpha estimation in natural images,，，IEEE CVPR,pp.18-25，2000.[5] J. Sun, J. Jia, C. K. Tang, and H. Y. Shum, "Poisson matting, ” ACM SIGGRAPH, pp.315-321，2004.[6] L. Grady, T. Schiwietz, S. Aharon, and R. ffestermann, "Random walks for interactivealpha-matting, "VHP 2005，pp. 423—429，2005.[7] J. Wang and M. Cohen, "Optimized color samp ling for robust matting, ”IEEE CVPR,pp.1-8，2007.[8] C. Rhemann, C. Rother, J. Wang, M. Gelautz, P. Kohli and P. Rott, "A PerceptuallyMotivated Online Benchmark for Image Matting,，，IEEE CVPR, pp.1826-1833,2009.
权利要求
一种前景提取方法，其特征在于，利用像素本身的特性和像素之间的联系，定义了相邻像素α值的内在关系，具体步骤如下一、输入原图像和对应的trimap；二、根据输入的trimap确定前景样本点、背景样本点和未知像素，对于每一个未知像素的背景样本选取的步骤为(1)遍历找到下一个与未知像素相邻的背景像素B，则B为一个背景样本像素；(2)以像素B为圆心，X个像素为半径，画一个圆域，X为12-18；(3)将像素B加入到圆域内各未知像素的背景样本集，该像素的背景样本集的大小增加1；(4)判定是否有未被遍历到的背景样本像素，有则转至步骤(1)，否则转至步骤(5)；(5)处理各未知像素的背景样本集，为每个未知像素均匀地选取12-18个背景样本像素；三、选择一个未知像素；四、计算每个前景背景样本对的置信度；五、选择置信度最高的前景背景样本对计算得到初步的α值；六、根据未知像素和相邻已计算α值的像素假设的内在关系，计算得到未知像素的最终α值；七、如果存在还未计算α值的未知像素，则转到第3步，否则算法结束。
2.根据权利要求1所述的前景提取方法，其特征在于，所述置信度的计算方法如下 (2)其中的系数 )如下计算 其中C为未知像素的颜色，在为根据这对样本点估计出的α值，具体计算法方式如下 (C-Bp-(Fi-B^) — Il户—伊IPDf表示当前的未知像素与所有前景样本点颜色空间上的最小距离，即mini(| IFi-Cl I)； Db表示当前的未知像素与所有背景样本点颜色空间上的最小距离，即|BJ-C| |)。
3.根据权利要求2所述的前景提取方法，其特征在于，设当前计算α值的未知像素为 Pp相邻的已计算α值的像素为Pi,这个α值是假SPi即为前景像素时得到的，记为Au， 假设置信度最高的前景背景样本对为(Fx，BO，Aij的计算方法如下—{C - By)— (Fx - ffy)(7)
4.根据权利要求2所述的前景提取方法，其特征在于，假设&的α值为dp则设定 α j = α i · σ (Aij)(8)其中，O (· )定义的关系，即σ (χ) =X20
全文摘要
本发明属于图像处理技术领域，是一种快速的前景提取方法。具体为求解输入图像未知像素α值的一种方法。本发明定义并充分利用相邻像素α值所存在的内在关系来实现前景提取的目标。其步骤为输入原图像和对应的trimap，确定前景样本点、背景样本点和未知像素，选择一个未知像素，计算该未知像素的每个前景背景样本对的置信度，选择置信度最高的前景背景样本对计算得到初步的α值，根据内在关系，计算得到未知像素的最终α值。用本方法进行前景提取可以达到前人方法相似的效果，但速度可平均提高25倍。
文档编号G06T7/40GK101853505SQ20101017513
公开日2010年10月6日 申请日期2010年5月13日 优先权日2010年5月13日
发明者薛向阳, 金城, 顾抑扬 申请人:复旦大学