专利名称：一种图像无缝复制的方法
技术领域：
本发明涉及一种图像无缝复制方法，同时复制的结果能实时地反馈给用户。
背景技术：
在图像编辑中，有一种常用的操作是将源图像的一部分或者全部作为被复制区 域，将其无缝地复制到目标图像的特定区域，使得最终的融合图像在被复制区域的边界上 不存在视觉上可感知的明显边界，故而称为无缝复制。此技术在图像修补、图像背景替换等 领域中具有广泛应用。传统的无缝复制技术在被复制区域建立一个最优化方程，通常使用带边界约束 的泊松方程来描述这种需求。然而求解泊松方程是一个非常耗时的操作，无法交互地反 馈结果给用户(相关技术可参考 P6rez P.，Gangnet M.，Blake A.，2003. Poisson image editing)。随着GPU技术的发展，研究者提出了 一些基于并行架构的泊松方程求解器，但 是未能从根本上解决效率问题。基于Mean-value坐标插值的方法引入较小代价的坐标预 计算，在进行图像复制时仅执行向量点积的操作，从而省去了耗时的方程求解，因此能实时 地反馈给用户复制结果；然而，当被复制区域为凹形的时候，这种技术无法保持正确的梯度 场，得到的坐标向量无法正确表示内部像素受到被复制区域边界各顶点的颜色差的影响， 从而造成图像融合结果中凹形的两个瓣状区域之间的颜色交叉影响，使得结果图像中存在 可见的过渡痕迹。(相关技术可参考Farbman Z. et al，2009. Coordinates for instant image cloning)。
发明内容
本发明的目的是提供一种图像无缝复制的方法，以使被复制区域为凹形时仍然保 持正确的梯度场。为实现上述目的，本发明所采取的第一种技术方案是该图像无缝复制的方法包括如下步骤(1)选定源图像中的被复制区域，并进行预处理以使所述被复制区域呈多边形 状；(2)计算多边形状被复制区域的各像素关于所述多边形各顶点的调谐坐标；(3)把多边形状被复制区域置于目标图像之上，用该被复制区域在所述多边形各 顶点位置处的像素的颜色各分量值对应地分别去减目标图像在所述多边形各顶点位置处 的颜色各分量值，得到所述多边形各顶点的颜色差，将所述多边形所有顶点的颜色差组成 颜色差向量；所述颜色差向量的元素所对应的多边形顶点的顺序与各像素关于所述多边形 各顶点的调谐坐标的分量所对应的多边形顶点的顺序相同；(4)计算多边形状被复制区域的各像素关于所述多边形各顶点的调谐坐标与所述 颜色差向量的点积，把所得到的点积加到所述多边形状被复制区域的相应像素上得到新的 颜色值，对所述新的颜色值作截断以得到有效的颜色值，用所得到的有效的颜色值替换目标图像在所述多边形状被复制区域的各像素处的颜色。为实现上述目的且达到更快的处理速度，本发明还可采取以下第二种技术方案该图像无缝复制的方法包括如下步骤(1)选定源图像中的被复制区域，并进行预处理以使所述被复制区域呈多边形 状；(2)对多边形状被复制区域进行自适应性三角化得到三角形网格，并计算所述三 角形网格的每个顶点关于所述多边形各顶点的调谐坐标；(3)根据所述三角形网格的每个顶点关于所述多边形各顶点的相对位置属性，对 所述三角形网格的每个顶点关于所述多边形各顶点的调谐坐标的分量进行分层次采样并 对分层次采样的结果进行归一化，得到相应顶点的新的调谐坐标；(4)把多边形状被复制区域置于目标图像之上，用该被复制区域在所述多边形各顶 点位置处的像素的颜色各分量值对应地分别去减目标图像在所述多边形各顶点位置处的颜 色各分量值，得到所述多边形各顶点的颜色差，将所述多边形所有顶点的颜色差组成颜色差 向量；所述颜色差向量的元素所对应的多边形顶点的顺序与所述三角形网格的各顶点关于 所述多边形各顶点的未经分层次采样的调谐坐标的分量所对应的多边形顶点的顺序相同；(5)对所述三角形网格的各顶点，根据步骤(3)所述归一化的分层次采样结果， 从所述颜色差向量中选取对应的分量组成新的颜色差向量，计算相应顶点的经过分层次采 样的调谐坐标与所述新的颜色差向量的点积，把所得到的点积赋予所述三角形网格的各顶 点，作为所述三角形网格的各顶点的颜色赋值；(6)在同一帧缓存中，先直接绘制所述目标图像，然后按以下步骤绘制所述三角形 网格1)根据所述三角形网格在所述源图像中的相对位置计算该三角形网格各顶点的 纹理坐标；2)使用所述三角形网格的各顶点的颜色赋值绘制三角形网格；同时使用可编程 图形硬件提供的接口读取所述三角形网格所覆盖的每个片元的颜色值，并用每个片元对应 的纹理坐标读取源图像中对应的颜色值，将每个片元的上述两个颜色值相加得到相应各片 元的最终颜色值；(7)将所述帧缓存中的内容读取并保存，得到图像无缝复制的结果。与现有技术相比，本发明的有益效果是本发明结合目前相关技术的优势，同时针 对尚未能解决的实际问题，提供了一种具有实时性能的图像无缝复制技术。本发明基于调 谐坐标的预计算，同时也省去了代价较高的泊松方程的求解过程，最终得到高质量的图像 无缝复制结果。与传统的求解泊松方程的方法相比，本发明在基本上不损失质量的前提下， 将性能提高了近两个数量级。与基于Mean-value坐标插值的方法相比，本发明能提供更高 质量的图像无缝复制结果，而几乎不损失性能。同时本发明完全利用最新的GPU技术，将整 个处理过程及结果显示都运行于GPU上，因而当用户改变被复制区域在所述目标图像内的 相对坐标时，系统可以实时地反馈结果，使得用户能获得更加满意的交互。
图1是本发明第一种图像无缝复制方法的流程示意4
图2是本发明第二种图像无缝复制方法的流程示意图；图3是对三角形网格中的顶点计算调谐坐标时需考虑的一环邻接点。
具体实施例方式下面结合附图，对本发明第一种图像无缝复制方法作进一步说明步骤1)读入用户指定的源图像和目标图像，由用户通过鼠标在源图像中选择感 兴趣的区域作为被复制区域。步骤2)对用户选定的被复制区域的边界进行采样，并用多边形近似所述的被复 制区域；采样间隔应保持在1 3个像素之间，以使得到的多边形更加逼近被复制区域。步骤3)通过Jacobi迭代的方法计算步骤2)得到的多边形状被复制区域内的每 个像素关于多边形各顶点的调谐坐标。设所述多边形的顶点数量为N，并且各顶点按照逆 时针的顺序排列，则所述多边形的每个顶点都具有一个唯一的序号i (其中1 < = i < = N)。初始时，被复制区域内部的像素的调谐坐标是一个N维零向量，多边形的各顶点所在位 置处的像素的调谐坐标的赋值方式为如果该顶点在已排序的多边形边界所有顶点中属于 第i个顶点，则其所在位置处的像素的调谐坐标的第i个分量为1，其余为0(其中1 <= i <=N)。在每一步迭代中，多边形被复制区域内部的像素的新的调谐坐标是通过平均与其 相邻的上、下、左、右四个像素的调谐坐标获得的；多边形顶点所在位置处的像素的调谐坐 标在每一步迭代过程中保持不变；迭代过程在预设的最大迭代次数(通常设定为被复制区 域的四边形包围盒较长边的像素数量的2倍)之后或者任意像素的新、旧调谐坐标的距离 (通常定义为它们的差向量的模)小于特定值后结束。步骤4)把多边形状被复制区域置于目标图像之上，并通过鼠标拖动被复制区域 以使其被放置在相对合理的位置(这里“合理”的含义主要是指图像所表述内容的合理性， 比如应尽量避免将汽车(被复制区域)放置于天空中(目标图像))；此时，所述多边形的 各顶点位置处将关联两个像素，即被复制区域在各顶点处的像素和目标图像在各顶点处的 像素；然后用被复制区域在所述多边形各顶点位置处的像素的颜色值对应地分别去减目标 图像在所述多边形各顶点位置处的像素的颜色值，得到所述多边形各顶点的颜色差；其中 颜色的减法运算是指在计算机中表示颜色的每个分量分别对应相减，比如RGB颜色空间的 两个颜色的R、G、B分量分别对应相减；最后将所述多边形所有顶点位置处的像素的颜色差 组成一个N维颜色差向量，其中N表示多边形的顶点数量；所述颜色差向量的元素所对应的 多边形顶点的顺序与各像素关于所述多边形各顶点的调谐坐标的分量所对应的多边形顶 点的顺序相同；步骤5)计算多边形状被复制区域的各像素关于所述多边形各顶点的调谐坐标与 所述颜色差向量的点积，其中点积是对表示颜色的每个通道分量(比如RGB颜色空间中颜 色的R、G、B三个通道分量)分别作点积，此步骤相当于通过加权平均所述多边形各顶点位 置处的被复制区域和目标图像的像素之间的颜色差，插值得到被复制区域内部的各像素的 颜色差，权重即为对应的调谐坐标；然后把所得到的点积(插值所得的颜色差)加到所述多 边形状被复制区域的相应像素上得到新的颜色值，其中颜色的加法运算与上述的减法运算 类似，是对某一颜色空间中(如RGB颜色空间)的两个颜色的对应通道分量(R、G、B分量) 分别相加；最后对所述新的颜色值作截断(对于RGB颜色空间，各分量的有效取值区间为0 255)以得到有效的颜色值，并用所得到的有效的颜色值替换目标图像在所述多边形状 被复制区域内的对应像素处的颜色，随后将结果保存即得到无缝融合后的图像。下面结合附图，对本发明第二种图像无缝复制方法作进一步说明步骤1)读入用户指定的源图像和目标图像，由用户通过鼠标在源图像中选择感 兴趣的区域作为被复制区域。步骤2)对用户选定的被复制区域的边界进行采样，并用多边形近似所述的被复 制区域；采样间隔应保持在1 3个像素之间，以使得到的多边形更加逼近被复制区域。步骤3)对所述的多边形状被复制区域进行自适应地三角化，使得生成的网格具 有如下特征在靠近所述多边形边界的地方，三角形密集且面积小，在所述多边形内部远离 所述多边形边界的地方，三角形稀疏且面积大；可以采用现有的一些几何计算程序库(如 CGAL等)中的相应算法，并设定正确参数即可得到具有所述自适应特征的三角形网格。步骤4)通过Jacobi迭代的方法在GPU中使用CUDA编程环境计算所述三角形网 格的每个顶点关于多边形各顶点的调谐坐标。在每一步迭代中，对三角形网格中某一顶点 %，通过加权平均其一环邻接点(如图3所示，％周围的其他点即为其一环邻接点)的调 谐坐标值得到该顶点的新的调谐坐标；其中一环邻接点、对于顶点U(l的权重的定义如 下
权利要求
一种图像无缝复制的方法，其特征在于包括如下步骤(1)选定源图像中的被复制区域，并进行预处理以使所述被复制区域呈多边形状；(2)计算多边形状被复制区域的各像素关于所述多边形各顶点的调谐坐标；(3)把多边形状被复制区域置于目标图像之上，用该被复制区域在所述多边形各顶点位置处的像素的颜色各分量值对应地分别去减目标图像在所述多边形各顶点位置处的颜色各分量值，得到所述多边形各顶点的颜色差，将所述多边形所有顶点的颜色差组成颜色差向量；所述颜色差向量的元素所对应的多边形顶点的顺序与各像素关于所述多边形各顶点的调谐坐标的分量所对应的多边形顶点的顺序相同；(4)计算多边形状被复制区域的各像素关于所述多边形各顶点的调谐坐标与所述颜色差向量的点积，把所得到的点积加到所述多边形状被复制区域的相应像素上得到新的颜色值，对所述新的颜色值作截断以得到有效的颜色值，用所得到的有效的颜色值替换目标图像在所述多边形状被复制区域的各像素处的颜色。
2.一种图像无缝复制的方法，其特征在于包括如下步骤(1)选定源图像中的被复制区域，并进行预处理以使所述被复制区域呈多边形状；(2)对多边形状被复制区域进行自适应性三角化得到三角形网格，并计算所述三角形 网格的每个顶点关于所述多边形各顶点的调谐坐标；(3)根据所述三角形网格的每个顶点关于所述多边形各顶点的相对位置属性，对所述 三角形网格的每个顶点关于所述多边形各顶点的调谐坐标的分量进行分层次采样并对分 层次采样的结果进行归一化，得到相应顶点的新的调谐坐标；(4)把多边形状被复制区域置于目标图像之上，用该被复制区域在所述多边形各顶点 位置处的像素的颜色各分量值对应地分别去减目标图像在所述多边形各顶点位置处的颜 色各分量值，得到所述多边形各顶点的颜色差，将所述多边形所有顶点的颜色差组成颜色 差向量；所述颜色差向量的元素所对应的多边形顶点的顺序与所述三角形网格的各顶点关 于所述多边形各顶点的未经分层次采样的调谐坐标的分量所对应的多边形顶点的顺序相 同；(5)对所述三角形网格的各顶点，根据步骤(3)所述归一化的分层次采样结果，从所述 颜色差向量中选取对应的分量组成新的颜色差向量，计算相应顶点的经过分层次采样的调 谐坐标与所述新的颜色差向量的点积，把所得到的点积赋予所述三角形网格的各顶点，作 为所述三角形网格的各顶点的颜色赋值；(6)在同一帧缓存中，先直接绘制所述目标图像，然后按以下步骤绘制所述三角形网格1)根据所述三角形网格在所述源图像中的相对位置计算该三角形网格各顶点的纹理 坐标；2)使用所述三角形网格的各顶点的颜色赋值绘制三角形网格；同时使用可编程图形 硬件提供的接口读取所述三角形网格所覆盖的每个片元的颜色值，并用每个片元对应的纹 理坐标读取源图像中对应的颜色值，将每个片元的上述两个颜色值相加得到相应各片元的 最终颜色值；(7)将所述帧缓存中的内容读取并保存，得到图像无缝复制的结果。
全文摘要
本发明公开了一种将一幅源图像的选定区域无缝地复制到目标图像中的方法。该方法包括选定源图像中的被复制区域，并预处理以近似成一个多边形区域；对多边形区域进行自适应地三角化，并计算三角形网格每个顶点关于多边形边界的调谐坐标；根据三角形网格每个顶点关于多边形边界的相对位置属性，对调谐坐标进行分层次采样并重新归一化；根据被复制多边形区域在目标图像中的位置，计算多边形每个顶点分别在目标图像和源图像中对应像素的颜色之差；对三角形网格的每个顶点，根据其调谐坐标和相应的多边形顶点的颜色之差，计算出三角形网格顶点的颜色之差；使用可编程图形硬件先后绘制目标图像和带顶点属性的三角形网格，得到最终的融合图像。
文档编号G06T11/00GK101984465SQ201010514060
公开日2011年3月9日 申请日期2010年10月19日 优先权日2010年10月19日
发明者华炜, 潘明皓, 王锐, 陈伟锋, 鲍虎军 申请人:浙江大学