基于先验信息指导的子空间低秩正则图像复原方法

1.本发明涉及图像处理技术领域，具体涉及一种基于先验信息指导的子空间低秩正则图像复原方法。


背景技术：

2.图像复原是典型的逆问题。通常需要借助先验信息实现图像复原，大致可以分为两类：一类是利用外部清楚图像的先验(例如，全变分、稀疏)来指导图像复原；另一类是利用图像内部先验(例如，图像自相似性)来复原图像。对于破损严重的图像，通常同时结合外部和内部先验实现更好地图像复原。近年来，有大量关于这方面的研究工作。比如(pell方法利用混合高斯模型学习外部图像的块子空间结构并结合维纳滤波实现图像复原，wnnm利用块匹配寻找相似块并利用加权低秩实现图像复原，pclr利用外部图像块先验信息指导块聚类并结合低秩方法实现图像复原。随着即插即用框架的快速发展，idbp方法利用去噪模型(例如bm3d、ircnn)作为先验结合admm算法实现图像复原。然后，这些方法在数据丢失或噪声污染严重的情况下，仅依赖图像内部信息不能够提供足够的信息用于图像复原，强制局部相似或非局部相似容易导致复原后的图像具有震荡边缘，产生虚假纹理，从而使复原的图像不够自然。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于先验信息指导的子空间低秩正则图像复原方法，能够提升信息丢失或噪声污染严重图像的复原质量。
4.为实现上述目的，本发明采用如下技术方案：
5.一种基于先验信息指导的子空间低秩正则图像复原方法，包括以下步骤：
6.步骤s1:获取自然图像，并利用混合高斯模型学习图像块的多个子空间结构；
7.步骤s2:将待复原图像进行重叠分块，利用学习得到的多个子空间结构对这些重叠块进行聚类，得到多个相似块组；
8.步骤s3:针对每一个相似块组,利用该块组的子空间结构指导线性变换建立子空间；
9.步骤s4:在每个子空间进行低秩矩阵近似；
10.步骤s5:将所有的块组进行聚合，再结合admm得到复原后的图像，
11.步骤s5:循环步骤s2-s5，迭代至满足预设复原要求的结果，即最终的复原图像。
12.进一步的，所述步骤s1具体为：
13.设外部自然图像块形成k个子空间，每个图像块xi用混合高斯模型表示：
[0014][0015]
其中θ＝(w1，
…
，wk，θ1，
…
，θk)是相关参数集合，并满足参数θk刻画了一个子空间表示高斯密度函数pk的均值为uk协方差矩阵为σk；
[0016]
给定外部图像训练集，从中随机图像块，通过训练混合高斯模型，得到k个子空间
[0017]
进一步的，所述步骤s2具体为：对于每个图像块xi＝pix计算其条件概率得到所在类别,其中pi为一个d
×
n的矩阵，表示从图像x中取第i图像块
[0018][0019]
对所有的类别都计算其条件概率，取最大概率所在的类别为该图像块所在的类别；
[0020]
将所有属于同一类别的图像块进行合并构成一个块组，第k类块组记为
[0021]
进一步的，所述步骤s3具体为：
[0022]
对子空间协方差矩阵σk进行(svd)奇异值分解
[0023][0024]
其中ψk＝diag(ψ
k，1
，
…
，ψ
k，d
)是一个对角矩阵，是是中的第i列；
[0025]
引入一个正交变换矩阵用于寻找一个子空间更好实现低秩矩阵复原，其中fk为固定子矩阵由σk最大前b个特征值对应的特征向量构成
[0026]
为学习子矩阵，由块组自适应学习得到；
[0027]
构建如下自然图像先验信息指导的子空间低秩正则项s(γk(x))，在固定项fk的指导下，通过子空间变换矩阵qk寻找最优的子空间，通过低秩矩阵近似，实现块组复原
[0028][0029]
其中，，qk是正交矩阵，其中fk是由外部自然图像块先验得到，而lk是从内部块组数据计算得到。
[0030]
进一步的，所述步骤s4具体为：
[0031]
给定待复原的图像希望复原真实的图像为对相似块组γk(x)，实现子空间低秩正则复原，图像复原模型如下：
[0032][0033]
[0034]
其中表示退化矩阵。
[0035]
进一步的，所述退化矩阵，对于图像去噪问题，a为一个单位矩阵；对于图像修补问题，a为二值掩码矩阵。
[0036]
进一步的，所述步骤s5具体为：
[0037]
步骤s51：给定x
t
和有求解k＝1，
…
，k；
[0038][0039]
令σj(zk)为zk的第j个单值，通过奇异值(svd)分解得到最优解
[0040][0041]
其中βj＝1/(σj(zk)+∈)，∈为一个大于0的常数，且(x)
+
＝max{x，0}
[0042]
步骤s52：给定x
t
和求解k＝1，
…
，k
[0043][0044]
令其中该方程与如下方程存在相同解，
[0045][0046]
做奇异值(svd)分解,其中和为正交矩阵，上面方程的唯一解表示为
[0047]
步骤s53：给定和有求解x
t+1
[0048][0049]
由于
[0050][0051]
其中表示从图像x
t
中抽取第k类第j个图像块，zk(:，j)表示zk中第j列。
[0052]
本发明与现有技术相比具有以下有益效果：
[0053]
1、本发明提出了外部自然图像先验信息指导图像块聚集，可以聚集结构相似的图
像块，同时外部先验信息指导寻找最优图像块子空间实现低秩正则，可以更好保持图像的结构，使得复原的图像更加自然；
[0054]
2、本发明复原框架，可以根据不同复原问题(如图像去噪、图像修补)，设置不同矩阵a，从而实现图像复原；
[0055]
3、本发明提出了一种交替迭代求解算法，寻找最优子空间实现低秩矩阵近似，可以通过两次奇异值分解求解，实现起来简单、快速。
附图说明
[0056]
图1是本发明方法流程图；
[0057]
图2是本发明一实施例中正交变换学习获取最佳子空间结构实现低秩矩阵近似示意图；
[0058]
图3是本发明一实施例中随机丢失80％像素的破损图像复原结果。
具体实施方式
[0059]
下面结合附图及实施例对本发明做进一步说明。
[0060]
请参照图1，本发明提供一种基于先验信息指导的子空间低秩正则图像复原方法，包括以下步骤：
[0061]
1)利用混合高斯模型从外部大量自然图像中学习图像块的多个子空间结构。假设外部自然图像块形成k个子空间，那么每个图像块可以用混合高斯模型表示：其中θ＝(w1，
…
wwk，θ1，
…
，θk)是相关参数集合，并满足参数θk刻画了一个子空间表示高斯密度函数pk的均值为协方差矩阵为给定外部图像训练集，从中随机抽取大量图像块，通过训练混合高斯模型，得到k个子空间
[0062]
2)针对图像按一定步长进行重叠分块，利用学习得到的多个子空间结构对这些重叠块进行聚类。对于每个图像块构对这些重叠块进行聚类。对于每个图像块计算其条件概率得到所在类别,其中pi为一个d
×
n的矩阵，表示从图像x中取第i图像块。
[0063][0064]
对所有的类别都计算其条件概率，取最大概率所在的类别为该图像块所在的类别。将所有属于同一类别的图像块进行合并构成一个块组，第k类块组记为
[0065]
3)针对每一个相似块组利用该块组的先验信息指导线性变换建立子空间；由于利用自然图像块的子空间结构寻找相似块，那么该子空间结构有助于该块组的图像复原，首先对子空间协方差矩阵σk进行(svd)奇异值分解，
其中ψk＝diag(ψ
k，1
，
…
，ψ
k，d
)是一个对角矩阵，是中的第i列。引入一个正交变换矩阵用于寻找一个子空间更好实现低秩矩阵复原，其中fk为固定子矩阵由σk最大前b个特征值对应的特征向量构成为学习子矩阵，由块组自适应学习得到。相似图像块构成的块组矩阵具有低秩性质，从而构建如下自然图像先验信息指导的子空间低秩正则项s(γk(x))，在固定项fk的指导下，通过子空间变换矩阵qk寻找最优的子空间，通过低秩矩阵近似，实现块组复原。
[0066][0067]
这里qk是正交矩阵，可以保持点乘运算和模运算，其中fk是由外部自然图像块先验得到，而lk是从内部块组数据计算得到。
[0068]
4)结合先验信息指导的子空间低秩正则项构建图像复原模型。给定待复原的图像希望复原真实的图像为对相似块组γk(x)，实现子空间低秩正则复原，模型如下：
[0069][0070][0071]
其中表示退化矩阵。对于图像去噪问题，a为一个单位矩阵；对于图像修补问题，a为二值掩码矩阵。
[0072]
5)通过如下交替迭代求解复原模型得到复原后的图像x，具体求解步骤如下：
[0073]
a)给定x
t
和有求解k＝1，
…
，k。
[0074][0075]
令σj(zk)为zk的第j个单值，通过奇异值(svd)分解能够得到最优解
[0076][0077]
其中βj＝1/(σj(zk)+∈)，∈为一个大于0的常数，且(x)
+
＝max{x，0}.
[0078]
b)给定x
t
和求解k＝1，
…
，k。
[0079][0080]
令其中该方程与如下方程存在相同解，
[0081][0082]
做奇异值(svd)分解,其中和为正交矩阵，上面方程的唯一解可以表示为
[0083]
c)给定和有求解x
t+1
[0084][0085]
由于
[0086][0087]
其中表示从图像x
t
中抽取第k类第j个图像块，zk(:，j)表示zk中第j列。
[0088]
优选的，本实施例可以根据不同复原问题(如图像去噪、图像修补)，设置矩阵a，从而实现图像复原。
[0089]
实施例1：
[0090]
在本实施例中，具体包括以下步骤：
[0091]
1)从一组自然图像中随机抽取n个大小的自然图像块，并将图像块按一维列向量排列，构成n个d维的先验图像块训练集。在本实例中，优选的，n＝2
×
106，d＝64.
[0092]
2)利用高斯混合模型(gmm)，从先验图像块训练集中学习k个低维子空间结构k＝1，
…
，k，每个子空间结构可以用均值和协方差表示.在本实例中，优选的，k＝250。
[0093]
3)针对图像按步长s
t
进行重叠抽块,块的大小为将图像块按一维列向量排列，得到l个重叠块p1x，
…
，p
l
x，其中pix表示从图像x中取第i图像块，为抽取图像块算子。
[0094]
4)利用学习得到的k个子空间结构对这些图像块进行聚类。其步骤为：对于每个图像块计算其在第k类的条件概率,计算公式为k＝1，
…
，k.取最大概率所在的类别作为该图像块所在的类别，并将所有属于同一类别的图像块进行合并构成一个块组矩阵，第k类块组记为像块进行合并构成一个块组矩阵，第k类块组记为其中r(k)为该类别图像块的数量。在本实例中，优选的，s
t
＝1,n＝481
×
321。
[0095]
5)对于块组数量大于n
m騰x
的块组，利用k-均值对每个块在图像中的位置进行二次聚类，每个类别数量不少于n
min
。在本实例中，优选的，n
m騰x
＝2000,n
min
＝10。
[0096]
6)针对每一个相似块组利用该块组的先验信息学习子空间变换。引入一个正交变换矩阵用于寻找一个子空间更好实现低秩矩阵复原，其中fk为固定子矩阵由先验信息σk最大前b个特征值对应的特征向量构成这里，uk为σk(svd)奇异值分解得到的左正交矩阵，为学习子矩阵，由块组自适应学习得到。在固定项fk的指导下，给定初始变换矩阵为单位矩阵通过交替子空间变换和低秩矩阵近似，实现块组复原。在本实例中，b＝30。
[0097]
在本实施例中，交替迭代求解过程具体为：
[0098]
(a)给定x
t
和求解k＝1，
…
，k。令σj(zk)为zk的第j个单值，通过奇异值(svd)分解能够得到最优解其中βj＝1/(σj(zk)+∈)，∈为一个大于0的常数，且(x)
+
＝max{x，0}.在本实例中，∈＝1
×
10-6
。
[0099]
(b)给定x
t
和求解k＝1，
…
，k。令，k。令其中通过奇异值(svd)分解其中和为正交矩阵，可以得到唯一解，表示为
[0100]
(c)给定和求解x
t+1
。由于。由于。由于其中，其中，表示从图像x
t
中抽取第k类第j个图像块，zk(:，j)表示zk中第j列。
[0101]
通过上述方法，本发明可以根据不同复原问题(如图像去噪、图像修补)，设置矩阵a，从而实现图像复原。
[0102]
参考图3，在本实施例中，为了验证本实例方法的有效性，本实例以图像修补为例，针对随机丢失80％像素的破损图像进行复原。图3(a)为原始图像，图3(b)为随机丢失80％像素的破损图像，图(c)为所提算法的图像复原结果，复原后图像psnr:24.38db,ssim:0.739。
[0103]
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。