专利名称：交互式图像遮片的制作方法
技术领域：
本发明涉及图像处理，尤其涉及交互式图像遮片。
背景技术：
在图像合成中，合成图像可通过将第一图像的一部分与第二图像的一部分组合来创建。例如，第一图像的前景部分，诸如一个人或物件，可以从该第一图像提起并放置在用作合成图像中的新背景的第二图像上。为了正确地组合这些图像，使用包含覆盖信息(例如，正在进行合成的一个或多个部分的形状)的相关联的遮片(例如，阿尔法遮片)来在各图像部分之间进行区分。这种被称为“图像遮片”或简称为“遮片”的技术常见于静止图像合成、视频特效、计算机视觉以及各种其他图形和图像操纵应用中。公知的遮片技术包括蓝屏或绿屏遮片，其中图像的阿尔法遮片和前景部分能够容易地与该图像的背景部分分隔开，因为该背景是用户控制的单个色彩。相反，对于其中背景不是单个色彩的自然图像遮片，使用统计技术来估计和标识阿尔法遮片、前景和背景。此外，由于遮片等式中的未知量，自然图像遮片是固有地无定解的问题。因此，使用常规遮片技术的给定图像的阿尔法遮片、前景和背景的分割可能是相当计算密集的。此外，因为图像遮片是无定解的问题，所以大多数现有方法依靠与图像一起提供或从图像中生成的、标识明确前景、明确背景和/或未知区域中的至少某一些的“三重图”。 充分定义的三重图可帮助通过减少未知元素的数量来获得高质量遮片。此外，当用户使用用户界面来交互式地执行遮片时，向用户提供即时反馈的能力可以是有帮助的，因为用户能够在呈现遮片时细化三重图直到获取令人满意的结果。例如，向用户提供实时反馈可以显著地缩短遮片处理总时间并减少用户工作，因为用户能够快速标识需要润色的位置。同样，一种具有高度响应性的系统可提供更流畅的用户体验并且避免用户沮丧。不幸的是，大多数常规高质量遮片方法在计算上是昂贵的并且无法实时提供响应。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。此处所公开的某些实现允许基于通过用户界面接收到的输入来进行交互式图像遮片。例如，用户界面可提供用于标识图像中供用作三重图(trimap)的一个或多个区域的输入工具。另外，某些实现可以在遮片处理期间采用可变大小的核来快速传播遮片信息并向用户界面提供实时反馈或结果。此外，因为反馈可包括实时提供的结果，所以该用户界面还使得用户能够交互式地细化或修改遮片。
参考附图来阐明具体实施方式
。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同附图中使用同一附图标记指示相似或相同的项或特征。图1示出了根据此处的某些实现的核的示例。图2是根据某些实现的用于图像遮片的框架的框图。图3A-3C描绘了根据某些实现的图像遮片的示例。图4是根据某些实现的用于图像遮片的示例过程的流程图。图5是示出根据某些实现的相对于收敛迭代数的半径大小的示例的图。图6是根据某些实现的用于用三重图分割来进行图像遮片的框架的框图。图7A-7B示出了根据某些实现的三重图分割的示例。图8是根据某些实现的用于三重图分割的示例过程的流程图。图9A-9H示出了根据某些实现的局部-全局-局部处理的效果。图10是根据某些实现的用于用三重图分割和局部-全局-局部处理来进行图像遮片的示例过程的流程图。图11A-11D示出了根据某些实现的用于交互式图像遮片的用户界面和画笔类型的示例。图12A-12B示出了根据某些实现的用于交互式图像遮片的自动画笔选择机制。图13是根据某些实现的用于交互式图像遮片的框架的框图。图14是根据某些实现的用于交互式图像遮片的示例过程的流程图。图15示出了根据某些实现的局部积分图像处理的示例。图16A-16D示出了根据某些实现的基于可变核大小的前景估计的示例。图17是根据某些实现的用于用局部积分图像处理、粗略到精细逼近、和/或前景估计来进行交互式图像遮片的框架的框图。图18是根据某些实现的用于用局部积分图像处理、粗略到精细逼近、和/或前景估计来进行交互式图像遮片的示例过程的流程图。图19是根据某些实现的合适的计算系统环境的示例的框图。
具体实施例方式快速图像遮片此处所描述的技术一般涉及用于使得能够将图像的前景部分与图像的背景部分分开的图像遮片。例如，可从输入图像中提取或拉取前景对象并将其置于由另一图像提供的背景之上。此处的实现可应用于其中难以将背景与所提取的前景区分开来的自然图像遮片。例如，当前景和背景之间的边界是诸如在头发或其他复杂结构在明显是前景和背景的图像部分之间的边界区域中延伸时产生的软边界时，可应用某些实现。此外，可以在各种应用中采用此处用于图像遮片的某些实现，诸如图像/视频分割、分层提取、新视图合成、交互式图像编辑、以及电影制作等等。某些实现提供用于从高分辨率图像中提取高质量阿尔法遮片的交互式工具和技术。这些实现可包括基于绘图的用户界面以及实时地将结果作为反馈提供给用户的非常高效的遮片过程。该用户界面可无缝地集成两种类型的画笔工具，即选择画笔以及一个或多个遮片画笔，以便有效地处理不同种类的对象边界。此处的高效遮片计算技术允许遮片过程期间的即时反馈。因此，能够在一定范围的多兆像素图像上快速“绘制”或“画出”高质量阿尔法遮片和新合成图。根据某些实现，选择画笔可用于固定宽度的边界，因为只可使用远离对象边界的因果笔画。此外，遮片画笔可适用于复杂的边界区域，诸如用于标识多毛的、模糊的或其他复杂或软边界区域。使用此处的不同的画笔类型和用户界面，可以在每一次鼠标拖拽操作或其他用户输入后几乎立即计算出高质量阿尔法遮片和/或新合成图并显示为反馈。这两种画笔类型可以无缝集成以使得用户能够在任何时刻使用任一种来有效地处理所有种类的边界。对于高分辨率图像提供实时反馈是不同寻常的，因为例如，画笔的半径可以容易地是数百个像素。另外，使用较小的画笔大小来进行图像交互可能是不合需要的，因为在太小的区域中局部地对阿尔法遮片求解可导致糟糕的局部最小值、误差或伪像。此外，为了支持该用户界面并进一步加速遮片优化，此处的实现可包括局部积分图像处理、自适应粗略到精细逼近、以及相对较大核前景估计，如将在下文中进一步描述的。因为遮片问题是高度成问题的，所以在某些实现中，可由用户或应用程序提供指示明确前景、明确背景、以及未知区域的三重图(或笔画)。效率也是图像遮片的考虑事项， 尤其是在应用于由常规数码相机产生的较大多兆像素图像的时候。此处的实现能够快速且高效地推断出图像的未知区域内的阿尔法遮片，并且能够处理类似头发的复杂情况。某些实现可应用于其中当用户在显示器上指示三重图的区域时实时形成遮片的交互式图像遮片。此处的某些实现提供比常规技术快得多的、使用相对较大核遮片拉普拉斯矩阵来进行高质量图像遮片的技术。拉普拉斯矩阵(有时被称为导纳矩阵)是基于色彩的像素之间的仿射的矩阵表示。某些实现基于使用较大核遮片拉普拉斯来对线性系统求解的高效方法。核大小指的是所处理的图像部分的大小，即，包括感兴趣的像素周围的多个像素。根据此处的某些实现，使用相对较大的核大小加速约束传播，减少线性解算机收敛时间，并提高遮片质量。为了进一步加速遮片过程并减少计算时间，某些实现采用分割技术来将三重图分解成子三重图并且允许将自适应核大小分配给每一子三重图。由此，可提前固定迭代次数并且整个过程的运行时间对于未知像素的数量可以基本上是线性的。测试已展示此处的实现可以比常规技术快5到20倍同时实现高遮片质量。各实现对于诸如薄雾移除、空间变化白平衡、以及禀性图像等采用遮片拉普拉斯的其他应用也可以是有用的。大核遮片拉普拉斯对于彩色图像，前景F和背景B可被指定为具有阿尔法通道遮片α的色彩分量。 例如，在红、绿、蓝(RGB)色彩模型中，图像可被表达为矩阵，如下
权利要求
1.一种方法，包括接收标识图像(1100)的一部分(1112)的用户输入(1108)；响应于所述用户输入，由处理器标识与前景(1102)区域相邻的未知区域(1114)；以及显示在所述未知区域(1114)中将前景(1102)元素与背景(1104)元素区分开的阿尔法遮片(1116)。
2.如权利要求1所述的方法，其特征在于所述用户输入是标识所述前景区域的一部分的画笔笔画；所述前景区域的其他部分基于在统计上确定的与所述前景区域的所标识部分的色彩相似性来自动标识；并且所述未知区域是在所述前景区域和背景区域之间生成的指定宽度的边界。
3.如权利要求1所述的方法，其特征在于，所述用户输入是使用第一画笔类型来形成的第一画笔笔画，并且所述方法还包括接收使用第二画笔类型来形成的第二画笔笔画作为第二用户输入，所述第二画笔笔画标识要被包括在所述未知区域中的背景区域的一部分；响应于所述第二画笔输入来实时提供包括所述未知区域的更新后部分的经修改的阿尔法遮片。
4.如权利要求3所述的方法，其特征在于，还包括在所述第一画笔类型和所述第二画笔类型之间自动切换，其中当输入设备的光标位于所述前景区域上时，自动选择所述第一画笔类型；并且当所述光标位于所述未知区域上时，自动选择所述第二画笔类型。
5.如权利要求1所述的方法，其特征在于，还包括通过以下操作对所述阿尔法遮片求解采用覆盖所述未知区域的多个矩形，所述多个矩形具有基于所述未知区域的对应的多个分段中的未知像素的数量的大小；以及使用积分图像技术来在所述多个矩形上对所述阿尔法遮片求解。
6.如权利要求1所述的方法，其特征在于，还包括通过以下操作来对所述阿尔法遮片求解将所述图像二次采样成用于对所述未知区域求解的粗略分辨率，并且随后执行双线性内插以便基于所述图像的分辨率来以更精细的分辨率生成所述阿尔法遮片。
7.如权利要求1所述的方法，其特征在于，还包括与所述阿尔法遮片的计算并行地计算前景色彩以便将所述前景放置在新背景上作为合成图像。
8.如权利要求1所述的方法，其特征在于，所述用户输入是使用第一画笔类型来形成的第一画笔笔画，并且所述方法还包括接收使用第二画笔类型来形成的第二画笔笔画作为第二用户输入，所述第二画笔笔画标识要被包括在所述未知区域中的背景区域的一部分；提供自动化的画笔选择机制，以使得当输入设备的光标位于所述前景区域上时自动选择所述第一画笔类型，而当所述光标位于所述未知区域上时自动选择所述第二画笔类型； 以及提供用于标识背景区域的第三画笔类型，所述自动化的画笔选择机制使得当所述光标位于所述背景区域上时自动选择所述第三画笔类型。
9.一种计算机可读存储介质，包含将由处理器执行以用于执行如权利要求1所述的方法的处理器可执行指令。
10.一种系统，包括与计算机可读存储介质(1904)通信的处理器(1902)；用户界面组件(1302、1702、1922)，所述用户界面组件在所述计算机可读存储介质中维护并且在所述处理器上执行，以便接收指示图像(1100)的前景(110 区域的用户输入 (1108)，所述用户界面组件在所指示的所述前景区域附近生成未知区域(1114)；以及遮片组件(1310、1710、1916)，所述遮片组件提供在所述未知(1114)区域中将前景 (1102)部分与背景(1104)部分区分开的阿尔法遮片(1116、1314、1714)。
11.如权利要求10所述的系统，其特征在于，所述遮片组件使用相对于所述未知区域的大小选择的核大小来对所述图像的所述未知区域求解。
12.如权利要求10所述的系统，其特征在于，所述用户界面组件还包括画笔组件，所述画笔组件提供第一画笔类型，用于选择所述前景区域以便在所述前景区域附近提供固定宽度的边界区域，所述固定宽度的边界区域包含所述未知区域；以及第二画笔类型，用于标识所述图像中供包括在所述未知区域中的各部分。
13.如权利要求10所述的系统，其特征在于，所述遮片组件还包括局部积分图像组件， 所述局部积分图像组件采用覆盖所述未知区域的多个局部窗口使用积分图像技术来对所述阿尔法遮片求解。
14.如权利要求10所述的系统，其特征在于，所述遮片组件还包括粗略到精细逼近组件，所述粗略到精细逼近组件将所述图像二次采样成用于对所述未知区域求解的粗略分辨率，并且随后执行双线性内插以便基于所述图像的分辨率来以更精细的分辨率生成所述阿尔法遮片。
15.如权利要求10所述的系统，其特征在于，所述遮片组件还包括用于并行地估计前景色彩和所述阿尔法遮片的前景估计组件。
全文摘要
本发明涉及交互式图像遮片。一种用户界面使得能够在图像上执行交互式图像遮片。该用户界面可以实时提供包括阿尔法遮片的结果作为反馈。该用户界面可提供用于选择图像的一部分的交互式工具，并且供进行阿尔法遮片处理的未知区域可以在所选区域附近自动生成。用户可以按需交互式地细化阿尔法遮片以获取令人满意的结果。
文档编号G06F3/048GK102289796SQ20111021631
公开日2011年12月21日 申请日期2011年7月20日 优先权日2010年7月21日
发明者何恺明, 刘江宇, 孙剑 申请人:微软公司