基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法与流程

本发明涉及高动态范围成像领域，具体涉及一种基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法。

背景技术：

高动态范围图像是图像处理、计算机图形学的重要研究方向之一，其层次丰富、图像动态范围大，可以更真实地还原出真实场景的光影效果。当前高动态范围成像方法主要分为辐射域融合和图像域融合，这两种方法均要求拍摄的目标场景保持绝对静止，否则移动物体会导致合成的高动态范围图像产生鬼影。无鬼影的高动态范围图像在数字视频、医疗、军事、卫星气象、增强现实等领域有着巨大应用价值，因此国内外一直在开展相关研究。高动态范围成像中鬼影去除算法研究大体分为三类。

第一类是基于参照图像的方法，cho等人把一系列低动态范围图像中的每幅图像分解成若干个不重叠区域，从相应位置多个候选区域中找到一个曝光度最理想的区块，然后将所有选出的区块拼凑后得到高动态范围图像，然而当移动物体处于区块的边界，仍可能会产生残影。kalantari等人将曝光等级处于中间的一幅低动态范围图像作为参考，其他图像基于块与之对齐、合并，通过最小化一个基于块的能量公式获得局部最优相似性，但参考图像的噪声可能会影响到高动态范围图像，不能应用于被运动目标遮挡过的区域。现有文献通过对输入图像之间的密集匹配来对运动区域进行修补或者拼接，以此达到去除鬼影的效果，缺点是计算复杂度高，因从单张低动态范围图像中获得像素信息，在参考图像过度饱和或者饱和度不足的区域，会存在物体变形或者重影的情况。

第二类是基于动态预测的方法，现有文献采用梯度域的光流估计方法，首先计算出运动区域的运动向量，接着通过对相邻帧的图像做一致性处理来去除鬼影，但该方法不适合运动幅度较大的场景。mangiat等人提出了基于块的运动估计方法，不仅提高了相邻帧曝光的一致性，同时根据色彩相似度还优化了饱和区域的运动向量。zimmer提出了基于能量的光流方法，通过计算密集位移域来表示任意复杂的运动，然而当但目标运动幅度较大时，成像效果不佳。通常，该类算法都会直接受到动态预测算法好坏的影响，若动态预测中区域不匹配，则仍会产生一定的鬼影。

第三类是基于像素点的方法，khan通过反复迭代求解像素点的最优权重因子来去除鬼影，权重因子由灰度值与该像素点属于移动物体的概率值构成。现有文献对图像的像素点进行可见性与一致性测量评价，根据所得的权重地图对一系列低动态范围图像进行融合。该类方法没有考虑到鬼影的局部特性，当运动目标体积较大时，效果不佳，仍会保留一定的鬼影。

技术实现要素：

鉴于此，本发明的目的是提供一种基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法。本发明将鬼影去除抽象成低秩矩阵恢复的最小秩求解问题，使用基于原子分解的最小描述长度准则作为评价标准，不仅可以估计出低秩矩阵(背景)的秩，还能够得到稀疏矩阵(鬼影)的非零项数目。

本发明的目的是通过以下技术方案实现的，一种基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法，将鬼影去除转换成了求解秩最小化的优化问题，首先将一系列低动态范围图像以像素值显示，变成一个原始数据矩阵y，然后使用基于原子分解的最小描述长度准则，通过求解约束条件下的最优解问题，估计出低秩矩阵的秩与稀疏矩阵非零项数目，然后根据公式(1)，从而得到真实低秩矩阵的最佳近似；

其中参数rank(x)表示低秩矩阵的秩，参数γ＞0表示正则化参数，||e||0表示稀疏矩阵e中非零项个数。

进一步，低秩矩阵恢复问题，其定义公式为：

其中r表示低秩矩阵的秩，k表示稀疏矩阵e中的非零项的真正数量，基于最小描述长度准则的低秩矩阵分解的目标函数表示为：

r＝y-x-e表示残差矩阵，m表示需要选择的模型，分别表示低秩矩阵x、稀疏矩阵e、残差矩阵r的描述长度。

进一步，最小化相当于在集合中寻找能表示低秩矩阵x的最小集合，相当于求解公式(8)：

其中，ψ表示最优原子，atoms(x)表示x的最优原子集合，span(ψ)表示由ψ扩展的空间。rank(x)＝|atoms(x)|

αk为尺度系数向量，ψk为与尺度系数向量αk对应的原子。

进一步，最小化相当于在集合中寻找能表示稀疏矩阵e的最小集合，相当于求解公式(9)：

其中，φ表示最优原子，atoms(e)表示x的最优原子集合，span(φ)表示由ψ扩展的空间。||e||0＝|atoms(e)|

βk为尺度系数向量，φk为与尺度系数向量βk对应的原子。

由于采用了上述技术方案，本发明具有如下的优点：

本发明所采用的方法与现有技术相比，能够在相同条件下取得更为良好的高动态范围成像结果，解决了现有技术在去除鬼影方面的不足之处，优于现有技术。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为系统框架流程图；

图2为高动态范围成像实验低秩矩阵x部分，(a)是4张原始低动态范围图像，(b)是rpca处理后得到的低秩矩阵x(背景)，(c)是lr-mdl处理后得到的低秩矩阵x，(d)是cogent处理后得到的x，(e)是pssv处理后得到的低秩矩阵x，(f)是采用mdlad处理后得到的低秩矩阵x；

图3为高动态范围成像实验稀疏矩阵e(鬼影)部分，(a)是rpca处理后得到的稀疏矩阵e(鬼影)，(b)是lr-mdl处理后得到是稀疏矩阵e，(c)是cogent处理后得到的稀疏矩阵e，(d)pssv处理后得到的稀疏矩阵e，(e)是采用mdlad处理后得到稀疏矩阵e；

图4为高动态范围成像实验中树枝部分的细节对比，(a)是rpca处理后的结果，(b)是mdlad处理后的结果。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

对于高动态范围成像中去除鬼影的问题，本发明将其转换成了求解秩最小化的优化问题。首先将一系列低动态范围图像转换为一个原始数据矩阵y，然后基于原子分解的最小描述长度准则，估计出低秩矩阵的秩与稀疏矩阵非零项数目，从而得到真实低秩矩阵的最佳近似，其系统框架流程图如图1所示。

在低秩矩阵恢复方法中，本发明需要求解一个低秩矩阵和稀疏矩阵的最优化问题。

其中参数rank(x)表示矩阵的秩，参数γ>0，表示正则化参数，||e||0表示稀疏矩阵e中非零项个数。现有研究表明，同时优化矩阵的秩和稀疏矩阵非零项个数是一个np难问题。因此candes等人提出了一种近似解决方案，在一定假设下通过凸优化来解决公式(1)中的优化问题，即将公式(1)中rank(x)松弛到x的核范数||x||*，以及将||e||0松弛到||e||1，具体公式表示如下：

其中||x||*＝∑iσi(x)，σi(x)表示矩阵x的第i个奇异值。大多数现有方法可以有效地解决公式(2)的优化问题。

最小描述长度准则是用来平衡模型复杂度和拟合度的目标函数，目标是从所有可能的候选模型m集合中寻找一个最优模型m。在mdl框架中，能够用最少信息量来完全描述所给数据y的模型是最优模型m。因此mdl问题可以被表示成

函数定义为能够唯一描述(y,m)的理论编码长度。在mdl框架中，一般本发明使用理想的香农编码理论，依据概率分配函数p(y,m)来定义

本发明可以获得mdl优化框架

-logp(m)代表模型复杂度，-logp(y|m)代表拟合度。现有mdl框架使用通用编码作为核心函数来计算概率模型的编码长度，这种概率模型不是完全确定的且只属于其中一类候选模型。

本发明的模型mdlad(minimumdescriptionlengthprinciplebasedlowrankmatrixdecomposition)解决了低秩矩阵恢复问题，其定义公式为

r表示低秩矩阵的秩，k代表了稀疏矩阵e中的非零项的真正数量。根据上面的定义，本发明在mdl框架下的目标函数可写成

r＝y-x-e表示残差矩阵，在本发明的mdl框架中，最小化相当于在集合中寻找能表示矩阵x的最小集合，因此公式(7)中的第一项相当于求下列公式：

最小化公式(7)中的第二项相当于：

因此可以得出rank(x)＝|atoms(x)|，||e||0＝|atoms(e)|。

本发明所提出的mdlad方法中，因模型中新增低秩原子和稀疏原子后编码长度会逐步增加，所以增加的原子只有最大程度减少其他部分编码长度时，如这个新增原子才有加入模型的意义，所以本发明能精确恢复出低秩矩阵x和稀疏矩阵e。

就跟其他模型选择算法一样，在代价函数中考虑原子的个数会导致目标函数是非凸的。对于这种情况，本发明提出了一个优化算法来准确恢复低秩矩阵和稀疏矩阵。在mdlad算法中，本发明从集合中选择了一个稀疏原子并加入到候选集，然后通过最小化编码长度来求得最佳的稀疏矩阵。接下来用相同步骤求低秩矩阵x。依次循环，直到得到最小的编码长度在某种程度上，本发明的算法与交替最小化求解x和e原理很相似。低秩矩阵的精确近似有助于完整地恢复出稀疏噪声矩阵，同理，如果能精确恢复出稀疏矩阵，也有助于低秩矩阵恢复。

mdlad算法的具体过程为：

步骤1：输入：观测矩阵y,原子集合和

步骤2：初始化：低秩矩阵x0＝zeros(m，n)，噪声矩阵e0＝zeros(m，n)，低秩矩阵原子集合噪声矩阵原子集合循环次数t←0,描述长度低秩矩阵尺度系数向量噪声矩阵尺度系数向量

步骤3：执行以下循环；

最小化描述长度函数并得到最优的原子ψ及对应的系数α；

更新低秩矩阵：将原子ψ及对应的系数α分别加入到集合ψ和系数向量cα中；ψ＝ψ∪ψ，cα＝[cαα]；

将尺度系数向量αk∈cα与对应原子ψk相乘并求和得到低秩矩阵xt+1；

最小化描述长度函数并得到最优原子φ及对应的系数β：

更新噪声矩阵：将原子φ及对应的系数β分别加入到集合φ和系数向量cβ中；φ=φ∪φ，cβ＝[cββ]；

将尺度系数向量βk∈cβ与对应原子φk相乘并求和得到噪声矩阵et+1；

计算低秩矩阵xt+1,噪声矩阵et+1和余下部分y-xt+1-et+1的描述长度并更新

执行下一次循环；t←t+1；

循环结束

步骤4：输出:xt,et。

鲁棒性主成分分析法(rpca)、最小长度描述准则法(lr-mdl)、基于原子范数的方法(cogent)、奇异值部分和最小法(pssv)是近年来常用的低秩矩阵恢复方法，能够有效解决秩最小化的优化问题，从而去除高动态范围成像中的鬼影。因此本实验选取以上四种方法作为实验比较对象。

本实验采用了4张森林中拍摄的低动态范围图像，行人的出现使得图片有异常，此外，风的吹动使树枝摆动并形成鬼影。本发明首先将这四张图像矢量化，分别处理rgb三个颜色通道，并建立三个独立观察矩阵其中m和n分别为像素点和图片的个数，ii表示输入矩阵。本发明的目标是从原始数据y中分解得到低秩矩阵x(背景)和稀疏矩阵e(鬼影)。

实验结果如图2、3、4所示，图2(a)是4张原始低动态范围图像，图2(b)与图3(a)分别是rpca处理后得到的低秩矩阵x(背景)和稀疏矩阵e(鬼影)，图2(c)与图3(b)分别是lr-mdl处理后得到的低秩矩阵x和稀疏矩阵e，图2(d)与图3(c)分别是cogent处理后得到的x和e，图2(e)与图3(d)分别是pssv处理后得到的低秩矩阵x和稀疏矩阵e，图2(f)与图3(e)分别是采用mdlad处理后得到的低秩矩阵x和稀疏矩阵e。

如图2(c)和图3(b)所示，lr-mdl不能够分解得到低秩矩阵x和稀疏矩阵e，几乎没有去除人影；图2(d)和图3(c)所示，由于低动态范围图像数量太少，cogent不能很好的排除异常值；rpca、lr-mdl处理后的低秩矩阵x中依旧有或多或少残影；而采用本发明提出的mdlad，可以完全分解出低秩矩阵x和稀疏矩阵e。

图4是实验中得到的低秩矩阵x部分细节对比，图4(a)中表明，用rpca处理后，不仅没有去除人影，树枝部分也比原图更加浓密；图4(b)是mdlad处理后的结果，能够很好地去除树枝摆动形成的鬼影。

实验结果表明，在只使用少量低动态范围图像的情况下，与rpca、lr-mdl、cogent、pssv相比，本发明提出的mdlad仍然可以很好地恢复低秩矩阵x并排除稀疏矩阵e，能够在高动态范围成像中有效地去除鬼影。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。