专利名称：基于局部特征结构保持的视频图像内容编辑传播方法
技术领域：
本发明涉及图像处理、计算机视觉和增强处理技术领域，具体地说是一种基于局部特征结构保持的视频图像内容编辑传播方法。
背景技术：
数字图像领域中，最常见的图像处理方法之一是根据视频图像内容，进行编辑处理。例如，改变视频图像的颜色；将不同视频源的对象融合到一起，形成一个无编辑痕迹的视频；精确提取图像中的毛发等。对于艺术设计者或者从事影视编辑的工作人员来说，为了对一个视频的颜色、内容进行编辑，将进行大量的手工编辑。事实上，视频图像内容特征之间通常具有某种内在联系。能根据这些内在联系，自动的进行视频图像编辑，可以在很大程度上提高视频图像编辑效率。 目前，一些科研工作者在相关技术上开展了研究。在图像编辑方面，大量的研究工作已经对此进行了探讨。Fabio Pellacini等人在2008年提出了基于所有像素相似性的编辑传播方法，但是该方法需要的时空资源太大，无法处理大图像或者视频数据；Kun Xu等人基于Fabio Pellacini等人的工作，在2009年提出了基于KD tree的编辑传播方法，该方法解决了 Fabio Pellacini等提出方法的时空消耗问题，节省了系统资源，但是其针对颜色过渡区域会出现颜色异常现象。Zeev Farbman等人在2010年提出了基于扩散图(diffusionmap)的编辑传播方法,该方法利用扩散距离(diffusion distance)来衡量所有像素点之间的相似度，但是其依然在效率上不高，同时，这种方法不能有效的反映出像素之间的不相似性，而且针对颜色过渡区域的像素点，处理结果不理想。在颜色风格一致化方面,2001年,布里斯托大学的Eric Reinhard等人是利用颜色空间的转换，将目标图像和参考图像首先从RGB颜色空间转换到I α β颜色空间，然后在这三个通道上分别求取二阶统计量期望方差，再针对目标图像的每一个像素，进行缩放旋转，求得的最终结果转换为RGB颜色空间即为结果图像的像素颜色值，该方法简单有效，但是针对复杂的图像，需要用户指定样本进行颜色转换。针对这个问题，2005年，日本的Chang等人提出了一种基于颜色分类的方法实现颜色转换。其首先将目标图像和参考图像按照颜色差异，分成多个颜色类，然后在对应的颜色类之间进行颜色转换。Pitie. F等人以一种全新的思路，在证明了 N维概率密度函数转移的可行性并将它运用到颜色迁移领域，在灰度图像中，利用直方图规定化实现图像灰度变换使其具有特定的直方图形式。直方图是概率分布密度的体现，而直方图规定化是目标图像概率分布密度映射到期望概率分布密度的过程，也就一维概率密度函数转移。而N维概率密度函数转移是基于一维展开的。设f (x)和g(x)是源图像和目标图像的颜色概率密度分布，Xi = Cri, gi； bi), Γ > gi、bi分别代表红绿蓝三色，选择任意一个旋转矩阵尺，旋转后对N维分别作一维概率密度函数转移，重复多次，直到收敛，得到迁移后的新图像。但是，现有技术的生成的结果图像颜色过渡不平滑，有很多块状，需要通过二次处理对图像进行平滑，并且容易产生一些不自然的着色效果。因此，针对自动颜色转换方法中的这些问题，出现了一些基于交互式的颜色转换方法。Takahiko将概率松弛法引入颜色迁移，以选取最优的颜色信息迁移给目标图像素。2003年Takahiko等人又提出种子像素的概念，由用户选取一些彩色像素作为灰度图像的种子，利用颜色繁殖完成颜色迁移。Tomohisa等人改进了颜色繁殖算法，引入图像分割防止错误繁殖边缘像素颜色，并提出了新的基于CIELAB颜色空间的彩色化算法，但是该方法不能保证结果图像既能在颜色视觉上逼近参考图像的颜色的同时，保持目标图像的颜色流形线性结构。在场景对象融合方面，一些研究机构在这方面也开展了研究。2003年Perez等人提出了一种基于泊松方程和狄利克雷边界条件的图像场景融合方法。该种方法能够较好的融合插入的对象，但是时间空间消耗率太大。2009年，Zeev Farbman等人提出了基于中值坐标的视频图像场景快速融合方法，很大程度上改善了泊松方法的时空效率，但是该种方法容易受到插入对象的形状影响。在精确对象提取方面，Jian Sun等人在2004年提出了基于泊松方程的精确对象提取方法，该方法为国际首次提出的精确对象提取方法，但是该方法计算速度慢，存储空间耗费大，而且在半透明的图像区域不能很好的提取前景。Ahat Levin等人在2008年提出了 一种基于频谱聚类的方法，该方法一定程度上提高了前景提取的准确率，但是效率低，而且在半透明的图像区域不能很好的提取前景。在灰度图像着色方面,Welsh等人在2001年首先提出基于灰度匹配的灰度图像着色方法，该方法需要给定一张与灰度图像场景类似的彩色图像，然后根据两幅图像的灰度匹配，给灰度图像着色。但是该方法对场景复查的图像，不能很好的着色，着色过程中交互量太大。
发明内容
根据上述实际需求和关键问题，本发明的目的在于提出一种基于局部特征结构保持的视频图像内容编辑传播方法。其保持图像/视频的编辑传播不受对象形状影响，具有一定的适应性和鲁棒性。为实现本发明目的而提供的一种基于局部特征结构保持的视频图像内容编辑传播方法，该方法包括以下步骤步骤S100，将输入的图像/视频中所有像素点映射到预设的特征空间；步骤S200，在特征空间中，对每一个像素点，求取其最近K个邻居；步骤S300，利用局部线性嵌入降维方法，将所有像素点构建局部线性关系；步骤S400，将用户预设的图像/视频编辑请求对应到所述图像/视频的部分像素上；步骤S500，根据像素间的结构关系，利用步骤S400中的部分像素的对应，将用户预设的编辑请求传播到图像/视频所有其他像素。步骤S600，对异常结果进行处理，包括异常颜色值、边缘，生成最终结果。较优地，所述步骤SlOO中，将输入的图像/视频中所有像素点映射到预设的特征空间，是根据预设的应用需求，包括自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合、灰度图像着色，选定不同的特征；其中，针对颜色变换和交互式颜色编辑，所选择的特征空间为RGB颜色空间；
针对对象精准提取和场景对象融合，所选择的特征空间为RGBXYT六维空间，其中RGB指示颜色，XY指示像素的坐标，T指示第几帧；针对灰度图像着色，选择的特征空间为灰度-SIFT-纹理-位置特征空间。较优地，在步骤S300中，在特征空间中，对每一个像素点，求取其最近K个邻居，是指对特征空间中的每个像素，求取与其特征最接近的K个像素点；其中，针对颜色变换和交互式颜色编辑,所选择的K个特征邻居为颜色距离上最接近的K个邻居；针对对象精准提取和场景对象融合，所选择的K个特征邻居为颜色和空间位置距离上最接近的K个邻居；
·
针对灰度图像着色，所选择的K个特征邻居为在灰度、SIFT、纹理和空间位置四种特征距离上最接近的K个邻居。其中，所采用的距离计算方法为欧氏距离计算方法。较优地，所述步骤S300中的局部线性嵌入降维方法，为所有像素点构建局部线性关系，包括如下步骤步骤S310，针对每一个像素，根据其特征，寻找与其在欧氏距离上最接近的K个像素；步骤S320，通过求得最优的每组K近邻的线性组合系数，使得当前像素特征向量值与它的K近邻线性组合值尽可能的接近；所述求得最优的每组K近邻的线性组合系数，是通过构建当前像素特征值与其K近邻的线性组合值的平方差之和，采用最小二乘法求解该方程，得到最优每组K近邻的线性组合系数。较优地,设定Xi表示像素i的特征，Xil, . . . , Xik表示Xi的K个邻居的特征向量，其局部特征的结构关系构建方法为
权利要求
1.一种基于局部特征结构保持的视频图像内容编辑传播方法，其特征在于，包括如下步骤 步骤S100，将输入的图像/视频中所有像素点映射到预设的特征空间； 步骤S200，在特征空间中，对每一个像素点，求取其最近K个邻居； 步骤S300，利用局部线性嵌入降维方法，将所有像素点构建局部线性关系； 步骤S400，将用户预设的图像/视频编辑请求对应到所述图像/视频的部分像素上；步骤S500，根据像素间的结构关系，利用步骤S400中的部分像素的对应，将用户预设的编辑请求传播到图像/视频所有其他像素。
2.根据权利要求I所述的视频图像内容编辑传播方法，其特征在于，还包括如下步骤 步骤S600，对异常结果进行处理，包括异常颜色值、边缘，生成最终结果。
3.根据权利要求I或2所述的视频图像内容编辑传播方法，其特征在于，所述步骤Sioo中，将输入的图像/视频中所有像素点映射到预设的特征空间，是根据预设的应用需求，包括自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合、灰度图像着色，选定不同的特征； 其中，针对颜色变换和交互式颜色编辑，所选择的特征空间为RGB颜色空间； 针对对象精准提取和场景对象融合，所选择的特征空间为RGBXYT六维空间，其中RGB指示颜色，XY指示像素的坐标，T指示第几帧； 针对灰度图像着色，选择的特征空间为灰度-SIFT-纹理-位置特征空间。
4.根据权利要求I或2所述的视频图像内容编辑传播方法，其特征在于，在步骤S300中，在特征空间中，对每一个像素点，求取其最近K个邻居，是指对特征空间中的每个像素，求取与其特征最接近的K个像素点； 其中，针对颜色变换和交互式颜色编辑，所选择的K个特征邻居为颜色距离上最接近的K个邻居； 针对对象精准提取和场景对象融合，所选择的K个特征邻居为颜色和空间位置距离上最接近的K个邻居； 针对灰度图像着色，所选择的K个特征邻居为在灰度、SIFT、纹理和空间位置四种特征距离上最接近的K个邻居。
其中，所采用的距离计算方法为欧氏距离计算方法。
5.根据权利要求I或2所述的视频图像内容编辑传播方法，其特征在于，所述步骤S300中的局部线性嵌入降维方法，为所有像素点构建局部线性关系，包括如下步骤 步骤S310，针对每一个像素，根据其特征，寻找与其在欧氏距离上最接近的K个像素；步骤S320，通过求得最优的每组K近邻的线性组合系数，使得当前像素特征向量值与它的K近邻线性组合值尽可能的接近； 所述求得最优的每组K近邻的线性组合系数，是通过构建当前像素特征值与其K近邻的线性组合值的平方差之和，采用最小二乘法求解该方程，得到最优每组K近邻的线性组合系数。
6.根据权利要求I或2所述的视频图像内容编辑传播方法，其特征在于，设定Xi表示像素i的特征，Xn，...，Xik表示Xi的K个邻居的特征向量，其局部特征的结构关系构建方法为
7.根据权利要求I或2所述的视频图像内容编辑传播方法，其特征在于，所述步骤S400中的在根据用户预设的编辑，对应到部分像素上，包括如下步骤 步骤S410，将用户预设的自动色调调整请求对应到预设的色调模板的像素的色调上；步骤S420，将用户预设的交互式色调调整请求对应到在图像/视频的关键帧上指定部分像素的色调上； 步骤S430，将用户预设的精细分割请求对应到预设的三分图的像素上； 步骤S440，将用户预设的无缝融合请求对应到选定的目标融合区域的像素上； 步骤S450，将用户预设的灰度图像着色要求对应到在部分区域上指定部分像素的色调上。
8.根据权利要求I或2所述的视频图像内容编辑传播方法，其特征在于，所述步骤S500包括如下步骤 步骤S510，针对自动色调调整，将指定的色调传递到其他像素上，改变像素颜色； 步骤S520，针对交互式色调调整，将用户指定部分像素的色调，传递到其他像素颜色；步骤S530，针对精细分割，根据三分图确定的前景和背景，得到未知区域的像素属于前景的概率； 步骤S540，针对无缝融合，根据插入区域边界和目标背景的色差，改变插入区域的颜色； 步骤S550，针对灰度图像着色，根据超像素的特征关系，将其着色。
全文摘要
本发明公开了一种基于局部特征结构保持的视频图像内容编辑传播方法，包括如下步骤将输入的图像/视频中所有像素点映射到预设的特征空间；在特征空间中，对每一个像素点，求取其最近K个邻居；利用局部线性嵌入降维方法，将所有像素点构建局部线性关系；将用户预设的图像/视频编辑请求对应到所述图像/视频的部分像素上；根据像素间的结构关系，利用步骤S400中的部分像素的对应，将用户预设的编辑请求传播到图像/视频所有其他像素。其保持图像/视频的编辑传播不受对象形状影响，具有一定的适应性和鲁棒性。
文档编号G06T5/00GK102903128SQ201210331180
公开日2013年1月30日 申请日期2012年9月7日 优先权日2012年9月7日
发明者陈小武, 邹冬青, 赵沁平, 李健伟, 丁峰 申请人:北京航空航天大学