一种协同本征图像分解方法
【专利摘要】本发明公开了一种协同本征图像分解方法，涉及计算机视觉领域，所述方法包括以下步骤：对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每个超像素用色度直方图进行特征表示；构建协同本征图像分解模型；由0范数稀疏表示构建非局部超像素之间材质值的约束；通过每个像素的材质值获取材质层图像。本方法能够获得前景亮度，颜色一致的两张材质层图像以及相应的光照图像。将得到的材质层图像应用到协同显著性检测中，与直接在两张原图上相比，能够获得更高的准确率。
【专利说明】一种协同本征图像分解方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种协同本征图像分解方法。
【背景技术】
[0002] 本征图像分解问题是指将一幅图片分解成材质层和光照层。材质层是物体的自身 属性（物体颜色），与光照无关。光照层是环境中的光照与物体的几何形状共同作用的结 果。好的本征图像分解结果有助于很多计算机视觉和图形学的应用。如去除光照的材质层 有助于提高图像分割、物体跟踪的精度以及进行物体颜色的变更。改变光照层则产生了对 物体进行二次照明的效果。使用数学符号，可以将本征图像的模型表示成输入图像I是材 质层R和光照层S的乘积，即I = R*S，*表示逐像素相乘。从这个等式中可以看到未知数 的个数是方程个数的两倍。
[0003] 为了解决本征图像分解问题中的约束不足现象，现有的本征图像分解方法主要基 于两种先验知识建立约束。第一种约束基于Retinex思想（Land and McCann, 1971 ;Tappen et al.，2006;Shen et al，2011)，即图像中较大的梯度由材质变化引起，较小的梯度由光 照变化造成。第二种约束基于对自然图像的观察（Omer and Werman, 2004)，即一副自然图 像中出现的颜色种数不多并且呈现结构性（Shen and Yeo, 2011 ;Zhao et al, 2012 ;Rother et al, 2011)。除此之外，一些工作（Weiss, 2001 ;Laffont et al. 2012)利用属于同一场景 的多张图像来增加约束。
[0004] 不同的光照和不同的图像形成条件（拍照时间，相机参数）会使得同一物体在不 同的图像中呈现不一样的颜色。然而，现在有很多计算机视觉问题需要去除光照和图像形 成条件对物体表现颜色造成的不一致性。但是现有的本征图像分解技术并不适用，因为这 些方法都是单独作用在一张图像上，没有考虑两张图像中相同物体（前景）的关联关系。典 型的应用如协同图像分割和协同显著性检测问题，这些应用的输入图像都是有相同前景， 任意光照和背景的一些图片。光照的不一致性成为提高这类问题准确性的一大瓶颈。因 此，提出这个新问题，称为"协同本征图像分解"，即对有相同前景的图像同时进行本征图像 分解，要求分解得到的材质层图像中，相同的前景的材质层数值要一致，即不同图像中相同 的前景的颜色，亮度在材质层上要保持一致。因为单张图像的本征图像分解算法不能够建 立两张图相同前景之间的材质层数值的关系，所以直接在两张图上做本征图像分解不能使 得相同的前景在材质层上具有相同的颜色，亮度。
【发明内容】
[0005] 本发明提供了一种协同本征图像分解方法，本发明使得在图像内部能够去掉光照 的影响，图像之间能够使得相同的前景在材质层上具有相同的数值，即保持相同的亮度，颜 色，详见下文描述：
[0006] -种协同本征图像分解方法，所述方法包括以下步骤：
[0007] 对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每个超 像素用色度直方图进行特征表示；
[0008] 构建协同本征图像分解模型；
[0009] 由0范数稀疏表示构建非局部超像素之间材质值的约束；
[0010] 通过每个像素的材质值获取材质层图像。
[0011] 所述构建协同本征图像分解模型具体为：
[0012] 1)获取单一颜色环境光的本征图像模型；
[0013] 2)根据对光照、环境光和材质值的先验知识，构建协同本征图像分解模型的目标 能量函数；
[0014] 所述目标能量函数为：
[0015] E (le, M, R) = Ec (le, M, R) + λ mEm (M) + λ rEr (R) + λ eEe (M)
[0016] 其中,E。表示本征图像模型的约束项；Επ表示对光照强度的约束能量项；表示对 材质值约束的能量项；氏表示控制整个本征图像分解的比例；λ π，λ ρ λ e都是非负的权重； I表示环境光照颜色;Μ表示光照强度层图像；R表示材质层图像。
[0017] 本发明提供的技术方案的有益效果是：本发明针对协同本征图像分解这一新问题 基于单一颜色环境光的本征图像模型，提出了新的协同本征图像分解模型，并且使用0范 数稀疏表示的方式，以统一的方式自动的建立了同一图像内部和图像之间的超像素之间的 材质值的关联关系。经过协同本征图像分解，对于两张前景相同，光照不同的图像，本方法 能够获得前景亮度，颜色一致的两张材质层图像以及相应的光照图像。将得到的材质层图 像应用到协同显著性检测中，与直接在两张原图上相比，能够获得更高的准确率，召回率和 F 值（F-measure) 〇
【专利附图】
【附图说明】
[0018] 图1为一种协同本征图像分解方法的流程图；
[0019] 图2为对于输入图像对"Kite"（第一行），使用当前流行单张图像的本征图像分 解技术得到的材质层图像（第二行）和本方法的材质层图像（第三行）的示意图；
[0020] 图3为使用0范数稀疏表示能量最小化的方式得到的图像内部和图像之间超像素 之间材质值的关联示意图；
[0021] 图4(a)-4(e)为在输入图像对"Doll"和"St Basile"上，文献[6]与本方法结果 比较示意图；
[0022] 图5(a)_4(e)为在输入图像对"Kite"上，文献[19]与本方法结果比较示意图；
[0023] 图6为左边（a)表示在图像对"Doll"上，分别在原图和本方法产生的材质 层图像上进行协同显著性检测的结果，右边（b)表示在所有图像对上用标准真实值 (groundtruth)计算得到的平均准确率，召回率和F值。
【具体实施方式】
[0024] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0025] 实施例1
[0026] 本发明对图像对（image pair)中前景相同，背景和光照任意的两幅图像同时进行 本征图像分解，并要求两张图像中相同的前景在分解得到的材质层图像中亮度，颜色保持 一致。
[0027] 101 :对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每 个超像素用色度（chromaticity)直方图进行特征表示；
[0028] 1)图像的超像素表示；
[0029] 从本征图像模型的介绍中可以发现由于未知数的个数是方程个数的两倍，本征图 像分解是个严重约束不足问题。为了增加问题可解性，根据Retinex的假设，大部分空间相 邻的像素的材质数值变化不大，因此在超像素的级别上表示材质层R，即同一个超像素内部 的像素共一个材质值，这样未知数的个数将大大减少。使用Slic(Achanta et al.，2010) 算法对两幅图像分别过分割。注意到当超像素数目足够多的时候，过分割算法能够使得材 质不同的区域在不同的超像素，超像素内部一般是材质相同的像素。
[0030] 2)使用色度直方图对每个超像素进行特征表示。
[0031] 首先在所有像素的色度值（chromaticity value)上进行K均值聚类，找到J个类。 然后对于每个超像素 u，构建J维的直方图hu作为特征向量。hu的第个分量hu(j)表示在 超像素中，属于第j个类的像素的个数。h u通过除以u中像素的总个数进行归一化。本方 法使用余弦相似度来衡量两个超像素的距离。
[0032] 102 :构建协同本征图像分解模型Co-retinex ;
[0033] 本方法基于单一颜色环境光的本征图像模型，根据光照、环境光和材质层的先验 知识，建立了协同本征图像分解的模型Co-retinex。Co-retinex模型基于的主要想法是： 在图像中较大的变化由材质造成，较小的变化由光照引起，与传统的Retinex只考虑空间 相邻像素的变化不同，本方法中同时考虑了局部和非局部，同一图像内部和图像之间的超 像素之间的变化。
[0034] 1)单一颜色环境光的本征图像模型；
[0035] 光照层S是环境光和物体几何形状共同作用的结果。除了光照的方向，对于两张 图像来说，环境光的色调（tone)也可能非常不同。为了能够对环境光色调不一致的两张图 像做协同本征图像分解，本方法的光照层S表示为光照强度Μ和环境光照颜色的乘积， 在同一副图像中I是相同的。I表示输入图像，P表示像素。那么像素 P的光照值\可以 表示为：
[0036] Sp = leMp
[0037] 其中，环境光照颜色le是一个RGB三维向量，Mp是非负标量值表示像素 p获得的 光照强度。基于单一颜色环境光假设，本征图像模型表示为在一副图像中，像素 P的颜色值 Ip (RGB三维向量）由环境光颜色，像素 p处获得的光照强度Mp和像素 p的材质值Rp (RGB 三维向量）相乘得到，用数学公式表达为：
[0038] Ip = leMpRp
[0039] 对上式两边取对数得到：
[0040] Ip = le+Mp+Rp
[0041] 为了简化起见，这里将重复使用这些符号表示他们的对数。与传统的本征图像模 型Ip = Mp+Rp相比，本方法的本征图像模型中增加了环境光分量反映一幅图像的全局色 调，从而可以处理色调不一致的两张图像。
[0042] 2)根据对光照、环境光和材质值的先验知识，构建协同本征图像分解模型 Co-retinex的目标能量函数。
[0043] 下面先给出总的目标能量函数，然后分别介绍每一个能量项以及它们基于的先验 知识。本方法将协同本征图像分解问题表示成下面这个目标函数的最小化问题：
[0044] E (le, M, R) = Ec (le, M, R) + λ mEm (M) + λ rEr (R) + λ eEe (M)
[0045] 其中，E。表示本征图像模型的约束项；Em表示对光照强度的约束能量项；民表示对 材质值约束的能量项。此外，本方法加入氏来控制整个本征图像分解的比例。 都是非负的权重，在实验中，本方法将设Xm= 10，入^= 100，1000。为了表示的简 便性，本方法使用一个符号，例如le能够表不相应图像的环境光变量i〗.和下面，k将表不 图像编号，P表示像素，u表示超像素。
[0046] l、模型约束Ec;(le，M，R)
[0047] 在本方法的Co-retinex模型中，能量函数E(le，M，R)的未知数包含l e，M，R。模 型约束要求分解后得到的le，M，R重构出来的图像要和原图像尽量一致。所以模型约束能 量项E c(le，M，R)被定义为：
[0048]
【权利要求】
1. 一种协同本征图像分解方法，其特征在于，所述方法包括以下步骤： 对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每个超像素 用色度直方图进行特征表示； 构建协同本征图像分解模型； 由0范数稀疏表示构建非局部超像素之间材质值的约束； 通过每个像素的材质值获取材质层图像。
2. 根据权利要求1所述的一种协同本征图像分解方法，其特征在于，所述构建协同本 征图像分解模型具体为： 1) 获取单一颜色环境光的本征图像模型； 2) 根据对光照、环境光和材质值的先验知识，构建协同本征图像分解模型的目标能量 函数； 所述目标能量函数为： E (le, M, R) = Ec (le, M, R) + λ mEm (M) + λ rEr (R) + λ eEe (M) 其中,E。表示本征图像模型的约束项；表示对光照强度的约束能量项；表示对材质 值约束的能量项；氏表示控制整个本征图像分解的比例；λ π，λρ λ e都是非负的权重；16表 示环境光照颜色;Μ表示光照强度层图像；R表示材质层图像。
【文档编号】G06T7/00GK104268897SQ201410588311
【公开日】2015年1月7日 申请日期:2014年10月28日 优先权日:2014年10月28日
【发明者】冯伟, 戴海鹏, 万亮, 聂学成 申请人:天津大学