一种图像编辑传播方法
【专利摘要】本发明公开了一种图像编辑传播方法，包括以下步骤：1)输入待处理的原始图像，并获取所述原始图像的深度图；2)接收用户对原始图像期望的传播颜色；3)对原始图像和所述深度图分别进行域变换，并结合原始图像域变换结果和深度图域变换结果，得到混合域变换结果；4)利用步骤3)中域变换结果对步骤2)中用户输入的颜色信息进行滤波处理，得到图片中各像素点编辑后的色度参考值；5)根据步骤4)得到的各像素点的色度参考值确定得到各像素点的色度值，结合所述色度值和原始图像的灰度值，确定得到编辑传播后的结果图像。本发明的图像编辑传播方法，编辑传播效果较好，没有颜色传播错误和混乱的现象，且边缘处的颜色传播也较正确。
【专利说明】一种图像编辑传播方法 【【技术领域】】
[0001] 本发明涉及计算机视觉技术和图像处理领域，特别是涉及一种基于混合域变换的 图像编辑传播方法。 【【背景技术】】
[0002] 图像编辑传播方法是当前计算机图像处理、视频处理等学科领域的研究热点，被 广泛应用于影视制作、动画制作，交互式视频和图像处理等领域。图像编辑传播是依据原图 像的信息将用户期望的编辑效果传播到整个图像中去。例如，用户期望将图片中人脸区域 编辑成红色，图像编辑传播技术即是根据用户的这一期望，对图片进行处理，获得处理后的 结果，处理后图片中人脸所在区域变成红色的。
[0003] 传统的图像编辑传播方法是使用原图像的颜色或纹理的边界信息，然后基于相似 度的度量来将用户期望的编辑效果传播到整个图片中相似的目标区域，最后再优化传播 结果。图像编辑传播的方法有两大类：基于窗口的局部方法和利用能量函数的全局方法。 基于窗口的局部方法的特点是计算复杂度低，执行效率高，但得到的编辑传播效果不够理 想。基于能量的全局方法中的能量函数一般是以下两部分能量之和：首先是数据项，用来 测量期望的结果和目标结果的相似程度；其次是平滑项，用来约束相邻像素之间的变换大 小，即连续性。构造完能量函数后，即可再利用优化算法来最小化或最大化能量函数和求 得图像编辑传播的结果。目前用于图像编辑传播的常用方法有流形保持算法（Manifold Preserving)和稀疏控制模型（A Sparse Control Model)。传统的图像编辑传播方法编辑 传播效果不理想，表现在传播后整个图片颜色较混乱，或者传播后图像边缘处出现颜色传 播错误。 【
【发明内容】
】
[0004] 本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像编辑传 播方法，编辑传播效果较好，没有颜色传播错误和混乱的现象，且边缘处的颜色传播也较正 确。
[0005] 本发明的技术问题通过以下的技术方案予以解决：
[0006] -种图像编辑传播方法，包括以下步骤：1)输入待处理的原始图像，并获取所述 原始图像的深度图；2)接收用户对原始图像期望的传播颜色；3)对原始图像和所述深度图 分别进行域变换，并结合原始图像域变换结果和深度图域变换结果，得到混合域变换结果； 4)利用步骤3)中域变换结果对步骤2)中用户输入的颜色信息进行滤波处理，得到图片中 各像素点编辑后的色度参考值；5)根据步骤4)得到的各像素点的色度参考值确定得到各 像素点的色度值，结合所述色度值和原始图像的灰度值，确定得到编辑传播后的结果图像。
[0007] 本发明与现有技术对比的有益效果是：
[0008] 本发明的图像编辑传播方法，除了基于原始图像的颜色纹理信息进行编辑传播， 还引入了深度信息，对原始图像和深度图均进行域变换，结合两者域变换结果将用户期望 的颜色编辑传播到目标区域。编辑传播过程中基于颜色、纹理、深度信息进行相似性度量， 这样，在颜色和纹理相似度很大的区域，而用户期望的编辑不一样时，可依据深度信息很好 地区分不同的物体和区域，从而获得比现有只利用图像颜色纹理信息的方法更加好的编辑 传播效果。特别是边缘区域的编辑传播，确保边缘处的颜色传播较正确。 【【专利附图】
【附图说明】】
[0009] 图1是本发明【具体实施方式】的图像编辑传播方法的流程图。 【【具体实施方式】】
[0010] 下面结合【具体实施方式】并对照附图对本发明做进一步详细说明。
[0011] 本发明的图像编辑传播方法是一种基于能量的局部方法。真实的场景往往包含 多种信息，例如颜色，纹理，形状，深度等等，通过仔细研究场景的深度信息和纹理颜色信 息以及场景中相似区域的关系，发现通过颜色的差异能够很好地区分场景中颜色不同的物 体，通过纹理的差异也能很好地区别不同纹理的物体和区域。这样，基于颜色和纹理，使用 原图像区域的相似做编辑传播，利用域变换模型（Domain Transform)对原图像做域变换， 通过预设的参数确定像素之间的相似性，根据相似性将用户期望的编辑传播到目标区域中 去。除此之外，在上述模型的基础上引入场景的深度信息，除了可以保证上述模型能够做到 的基于颜色和纹理差异的编辑传播效果，还能克服颜色和纹理相似或一样时编辑传播的缺 陷。这是因为：如果场景中的物体颜色和纹理相似度很大，甚至完全一样，而用户期望的编 辑却不一样，则基于颜色和纹理相似度的编辑传播往往会失效。而结合深度信息后，不同的 物体和区域的深度信息不一样，则深度信息能很好地区分不同的物体和区域，从而确保此 时编辑传播效果较好。而真实的场景中，物体总是有深度差异的，因此，深度信息的使用也 具有普适性，使得整张图片的编辑传播效果均较好。
[0012] 如图1所示，为本【具体实施方式】中图像编辑传播方法的流程图，包括以下步骤：
[0013] A1)输入待处理的原始图像，并获取所述原始图像的深度图。
[0014] 输入的原始图像可为彩色图片或者灰度图片，可以是相机所拍摄或者从视频序列 中抽取出来的任意一帧图像。
[0015] 获取图像的深度图时，可以通过相应的深度相机拍摄原始图像对应的场景直接获 取深度图，也可以用当前比较成熟的计算深度图的方法计算得到的深度图。
[0016] A2)接收用户对原始图像期望的传播颜色。
[0017] 用户输入期望被传播的颜色时，可通过计算机输入接口输入可视的笔画和颜色， 从而为图像中某些对象或者区域指定新的颜色。通过笔画和颜色即可识别出用户期望为哪 些像素编辑赋予新颜色。
[0018] A3)对原始图像和所述深度图分别进行域变换，并结合原始图像域变换结果和深 度图域变换结果，得到混合域变换结果。
[0019] 优选地，域变换时循环3?5次重复进行，且当前次域变换时基于前一次域变换的 结果，这样可提高相似度度量的准确性。根据经验，一般3次即可，再重复多次，虽然效果又 一定提升，但计算量也相应增加了。
[0020] 优选地，进行域变换时按行、列交错进行，且当前按列进行域变换时基于前一次行 域变换的结果；将一次行、列变换作为一个循环，循环3?5次得到最终域变换结果。将域 变换直接按照行或者列进行，不涉及像素邻域之间的相关性，使得整个处理过程极其高效 快速，而且还能获得十分令人满意的编辑传播效果。
[0021] 其中，原图像域变换为：
[0022] 原始图像是单通道的灰度图时，域变换时按行或者列进行，具体表达式为：
【权利要求】
1. 一种图像编辑传播方法，其特征在于：包括以下步骤： 1) 输入待处理的原始图像，并获取所述原始图像的深度图； 2) 接收用户对原始图像期望的传播颜色； 3) 对原始图像和所述深度图分别进行域变换，并结合原始图像域变换结果和深度图域 变换结果，得到混合域变换结果； 4) 利用步骤3)中域变换结果对步骤2)中用户输入的颜色信息进行滤波处理，得到图 片中各像素点编辑后的色度参考值； 5) 根据步骤4)得到的各像素点的色度参考值确定得到各像素点的色度值，结合所述 色度值和原始图像的灰度值，确定得到编辑传播后的结果图像。
2. 根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中进行域变换 时循环3?5次重复进行，且当前次域变换时基于前一次域变换的结果。
3. 根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中进行域变换 时按行、列交错进行，且当前按列进行域变换时基于前一次行域变换的结果；将一次行、列 变换作为一个循环，循环3?5次得到最终域变换结果。
4. 根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3) 中原始图像是单通道的灰度图，域变换时按行或者列进行，具体表达式为：
，其中，u表示像素点X的行坐标或者列坐标；〇H， 〇s，（^分 别是用户设定的参数，由用户根据图像域变换后的平滑程度以及编辑传播后结果图像的视 觉效果调整设定得到，〇s的取值范围为20?200, 的取值范围为0.1?2;I(x)， 在首次域变换时，为原始图像中像素点X的灰度值；在非首次域变换时，为像素点X原始图 像前一次域变换的结果；I'（X)表示I(x)的导数。
5. 根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中 原始图像是三通道的彩色图，域变换时分通道、按行或者列进行，具体表达式为：
，其中，k = 1，2, 3,分别表示3个通道；u表示像 素点X的行坐标或者列坐标；σ H，〇 s，σ A分别是用户设定的参数，由用户根据图像域变换 后的平滑程度以及编辑传播后结果图像的视觉效果调整设定得到，〇s的取值范围为 20?200, σΑ的取值范围为〇· 1?2 ;Ik(x)，在首次域变换时，为原始图像中像素点X相应 通道的灰度值；在非首次域变换时，为像素点X原始图像相应通道的前一次域变换的结果； V (X)表示Ik(x)的导数。
6. 根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中深度图域变 换时按行或者列进行，具体表达式进行
其中，u表示像素点X的行 坐标或者列坐标；σ d由用户根据原始图像的颜色和纹理差异情况而设定的参数，表示深度 图对域变换结果的影响程度，取值范围为〇. 5?50 ;D(x)，在首次域变换时，为深度图中像 素点X的灰度值；在非首次域变换时，为像素点X深度图前一次域变换的结果；D'（X)表示 D(x)的导数。
7. 根据权利要求6所述的图像编辑传播方法，其特征在于：当原始图像的颜色和纹理 差异较大时，设定〇(1在0.5< 的范围内；当原始图像的颜色和纹理差异较小时，设 定〇(1在5 < 50的范围内。
8. 根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中混合域变换 结果为ct(u) = ctl (u)+ct2(u)，其中，ctl (u)表示原始图像的域变换结果；ct2(u)表示深 度图的域变换结果。
9. 根据权利要求1或4或5所述的图像编辑传播方法，其特征在于：所述步骤4)中进 行滤波处理时，按照如下步骤进行，得到当前像素点P的色度参考值： 首先，根据H(t (p), t (q)) = δ {11 (p)_t (q) | < r}，确定得到当前像素点p对应的像素 点q的集合D(Q)，像素点q带入函数中后使Η函数的值为1 ;其中，t(p)、t(q)分别表示像 素点P、q处的混合域变换结果；r为根据原始图像域变换时设定的滤波器核的标准差参数 〇11而确定的参数，
当满足设定的条件时，S函数取值为1 ;当不满足设定的条 件时，δ函数取值为〇 ; 其次，根据确定的像素点q的集合D ( Ω )，计算得到当前像素点ρ对应的归一化系数Κρ，
最后，计算像素点Ρ对应的色度参考值J(P)，
，其中， I(q)表示用户在像素点q处期望传播的颜色的像素值。
10. 根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤5)中：当步骤4) 中得到的像素点的色度参考值为〇时，像素点的色度值取原始图像中像素点的色度值；当 步骤4)中得到的像素点的色度参考值不为0时，像素点的色度值取步骤4)中得到的色度 参考值。
【文档编号】G06T11/40GK104143203SQ201410368212
【公开日】2014年11月12日 申请日期:2014年7月29日 优先权日:2014年7月29日
【发明者】张永兵, 敖红波, 王好谦, 戴琼海 申请人:清华大学深圳研究生院