基于稀疏表示的非一致图像盲复原方法
【专利摘要】本发明公开了一种基于稀疏表示的非一致图像盲复原方法，包括：根据相机三维抖动模型，并结合自然图像的过完备字典表示构建非一致图像模糊退化模型；输入待复原的模糊图像和过完备字典，求得初始稀疏系数，并对参数进行初始化设置；将自然图像的过完备字典表示，以及模糊核和稀疏系数的稀疏性作为模型的正则约束，并采用交替迭代方法将非一致盲复原模型的求解转化为多个简单的子问题，从而实现对模糊图像y的盲复原。本发明提出的算法对自然条件下获取的模糊图像有更好的复原效果，复原图像细节明显、不失真、噪声低，具有更好的视觉效果，且求解方法有可扩展性。
【专利说明】
基于稀疏表示的非一致图像盲复原方法
技术领域
[0001] 本发明设及一种计算机图像处理方法，尤其是设及一种图像复原方法。
【背景技术】
[0002] 成像设备在采集图像时，人为抖动或设备固有的机械抖动会使采集到的图像出现 整体模糊、目标物体边界不明确、细节信息丧失等问题，给地形勘测、目标识别、自动导航等 计算机视觉领域的应用带来很大问题。因此，模糊图像复原成为亟待解决的热口问题。现有 的模糊图像盲复原根据模糊核是否全局一致，可分为一致图像盲复原和非一致图像盲复 原。实际上，相机在=维空间内的抖动，会造成成像平面内的非一致模糊，因此，非一致图像 盲复原更具实用性。
[0003] 通过研究相机抖动的空间几何模型，Wh^e 0等人EU构建了平面内非一致模糊图 像退化模型。由于自然图像的复杂性，根据该模型从单幅图像中估计的模糊核很可能在部 分区域存在较大误差。将自然图像梯度重尾分布特征W和模糊核稀疏规范性W作为先验知 识的正则化方法是解决上述问题的典型方法，但该方法对平坦区域的惩罚力度不够，且范 数约束很难完全逼近梯度的重尾分布，易产生振铃，复原效果不理想。
[0004] [参考文献]
[000日] [l]Whyte 0,Sivic J,Zisserman A，et al.Non-uniform Deblurring for Shaken Images. International Journal of Computer Vision,2012,98(2):168-186.
[0006] [2]Fergus 民，Singh B,Hertzmann A,et al.民emoving camera shake from a single photograph.Acm Transactions on Graphics,2006,25(3):787-794.
[0007] [3]Krishnan D,Fergus 民.Fast Image Deconvolution using Hyper- Lap Iacian .Proceedings of Neural Information Processing Systems，2009:1033- 1041.
[0008] [4]杨爱萍，钟腾飞，何宇清.基于非局部相似性和分类半禪合字典学习的超分辨 率重建.天津大学学报：自然科学与工程技术版，2015,1(01) :87-94.
[0009] [5]程广涛，宋占杰，陈雪.基于二维图像矩阵的稀疏表示分类方法.天津大学学 报：自然科学与工程技术版，2014,47(06) :541-545.
[0010] [6]Levin A,Weiss Y,Durand F，et al.Efficient Marginal Likelihood Optimization in Blind Deconvolution . In : Colorado Springs . Proceeding of Computer Vision and Pattern 民ecognition,2011:2657-2664.
[0011] [7]Babacan S D,Molina R,Do M N,et al.Bayesian Blind Deconvolution with General Sparse Image Priors.Computer Vision,Springer Berlin Heidelberg, 2012:341-355.
[0012] [8]Hu Z,Huang J B,Yang M H.Single image deblurring with adaptive dictionary learning. In:Hongkong.Proceeding of IEEE International Conference on Image Processing,2010:1169-1172.
[0013] [9]Yangyang X,Wotao Y.A fast patch-dictionary method for whole image recovery.CAM-r邱ort-13-38[R]丄OS Angeles,CA:UCLA,Applied Ma化ematics,2013.
[0014] [10]Aharon M,Elad M'Bruckstein A.K-SVD:An algorithm for designing overcomplete dictionaries for sparse represe打tatio打[J]. IEEE Transactions on Signal Processing,2006,54(11):4311-4322.
[001日] [11]Daubechies I,Defrise M,Mol C.An iterative thresholding algorithm for linear inverse problems with a sparsity constraint.Communications on Pure and Applied Ma化ematics,1988,57(11):1413-1457.
[0016] [12]Zhang Y，Yang J，Wotao Y.YALLl: Your algorithms for 11,MATLAB software,http://yalII.blogs.rice.edu/,2010.
【发明内容】
[0017] 针对上述问题，本发明提出一种基于稀疏表示的非一致图像盲复原方法。根据非 一致图像模糊退化模型，建立全变差正则化模型，并将自然图像的过完备字典表示、自 然图像在过完备字典表示下的稀疏特性和模糊核稀疏特性作为正则约束项。构建的非一致 模糊复原模型，可更加精确地估计模糊核，提高图像复原质量;结合自然图像的过完备字典 表示W及稀疏性先验信息，使复原图像更符合自然图像的特征，减少失真。
[0018] 为了解决上述技术问题，本发明提出的一种基于稀疏表示的非一致图像盲复原方 法，包括W下步骤：
[0019] 步骤一、构建图像盲复原模型，包括：
[0020] 1-1)根据相机=维抖动模型，构建式(1)所示的非一致图像模糊退化模型：
[0021] U)
[0022] 式（1)中，y为模糊图像，X为原始清晰图像，e为加性噪声，表示清晰图像在 偏移角度为9k时的偏移图像;偏移角度为0拥，清晰图像像素点j处的像素值Xj在CiJk的作用 下对应到模糊图像的像素点i处;Wk是偏移角度为0k时的权值，称之为模糊核；
[0023] 当模糊核或清晰图像已知时，式(1)所示模型表示为如下两个线性模型：
[0024] y=EkCukWkX+e
[0025] (2)
[0026] y= E jCijkXjW+e
[0027] (3)
[0028] 过完备字孤对图像的稀疏表示如式(4)所示：
[0029]
(4)
[0030] 式(4)中，Ri是提取图像第i个图像块的矩阵操作符，D是过完备字典，Qi是第i个图 像块在过完备字典表不下的稀疏表不系数；
[0031] 1-2)根据上述构建的非一致模糊退化模型，并结合自然图像的过完备字典表示，
[0032] 构建式化^祈志的巧傻官原趙逊.
(5)
[0033] 式巧）中，第一项是由非一致模糊模型构造的数据保真项;第二项和第=项分别是 过完备字典表示和稀疏系数CU的正则化约束项；第四项是模糊核约束;其中，模糊核W具有 稀疏特性，满足归一化和非负性，采用h范数对该模糊核W进行约束;TlhOa(Ai)和丫（丫 1) 为平衡参数，n(ru) =0.05、M、）=0.1、丫（丫 i)的取值范围为4.0~5.5;原始清晰图像X和 模糊图像y均为过完备字典D排列的向量形式；
[0034] 步骤二、输入待复原的模糊图像y和过完备字典D，其中，过完备字典D是采用块邻 域梯度字典学习方法对Berkel巧segmentation dataset数据库中的200幅图像随机提取 20000个8 X 8像素点图像块进行自适应学习得到的；
[0035] 步骤S、采用交替迭代方法对粹官原的摇肅図傻V讲斤言官原，包括：
[0036] 3-1)首次迭代时，稀疏系数a g 爵到，并设原始清晰图 像X为输入的模糊图像y;
[0037] 3-2)根据稀疏系数a和原始清晰图像X估计模糊核W，将上述式(5)简化为：
[00；3 引 (技)
[0039] 并采用迭代收缩软阔值算法估计模糊核W;
[0040] 3-3)根据模糊核W和稀疏系数a估计原始清晰图像X，将模糊图像y分解为多个不同 的重叠块，对每个重叠块进行估计原始清晰图像X的操作，上述式(5)简化为：
[0041]
(7 '
[0042] 式(7)中，A= EkCukWk，利用快速傅里叶变换算法估计原始清晰图像X;
[0043] 3-4)根据原始清晰图像X和模糊核W估计稀疏系数a,上述式(5)简化为：
[0044]
(S)
[0045] 式(8)中，第二部分为h范数的加权优化形式，权值CO 1采用稀疏系数反函数形式； 由于过完备字典方法中各个图像块之间是相互独立的，因此，将式(8)简化为式(9)，从而将 原始清晰图像X稀疏系数的求解问题转化为各个图像块的稀疏系数的求解问题，
[0046]
(Q)
[0047] 采用YA化1算法估计稀疏系数a ;
[004引3-5)当迭代次数小于2时，返回步骤3-2);否则，执行步骤3-6);
[0049] 3-6)计算相邻两次迭代求得的模糊核W之间的差值平方差，若该差值平方差的值 小于1(T4,则停止迭代，输出的图像即为原始清晰图像X，否则返回步骤3-2)。
[0050] 与现有技术相比，本发明的有益效果是：
[0051] 本发明基于图像非一致模糊退化模型和图像的过完备字典表示，建立非一致模糊 的复原模型，将自然图像的过完备字典表示，W及模糊核和稀疏系数的稀疏性作为模型的 正则约束，并采用交替迭代求未知量的方法进行求解。本发明提出的算法对自然条件下获 取的模糊图像有更好的复原效果，复原图像细节明显、不失真、噪声低，具有更好的视觉效 果，且求解方法有可扩展性。
【附图说明】
[0052] 图1是本发明基于稀疏表示的非一致图像盲复原方法流程图；
[0053] 图2(a)是一幅"佛像"实拍模糊图像；
[0054] 图2(b)是利用Levin算法对图2(a)所示实拍模糊图像复原的结果；
[0055] 图2(c)是利用Babacan算法对图2(a)所示实拍模糊图像复原的结果；
[0056] 图2(d)是利用Hu算法对图2(a)所示实拍模糊图像复原的结果；
[0057] 图2(e)是本发明方法对图2(a)所示实拍模糊图像复原的结果；
[005引图3(a)是一幅"鱼"实拍模糊图像；
[0059] 图3(b)是利用Levin算法对图3(a)所示实拍模糊图像复原的结果；
[0060] 图3(c)是利用Babacan算法对图3(a)所示实拍模糊图像复原的结果；
[0061] 图3(d)是利用Hu算法对图3(a)所示实拍模糊图像复原的结果；
[0062] 图3(e)是本发明方法对图3(a)所示实拍模糊图像复原的结果。
【具体实施方式】
[0063] 为验证本发明图像盲复原方法的有效性，下面选取"佛像"和"鱼"两幅实拍模糊图 像作为具体实施例，在Matlab平台下进行盲复原实验，同时与现有技术中较为成熟的单幅 图像盲复原算法(包括Levin和Babacan的空域复原方法心W及化的稀疏域复原方法W) 进行比较。所描述的具体实施例仅对本发明进行解释说明，并不用W限制本发明。
[0064] 实施例1:
[0065] W图2(a)"佛像"为例，采用本发明提出的一种基于稀疏表示的非一致图像盲复原 方法进行复原，从而获得复原后的原始清晰图像，如图2(e)所示。如图1所示，其处理过程包 括W下步骤：
[0066] 步骤一、构建图像盲复原模型，包括：
[0067] 根据相机=维抖动模型，构建式(1)所示的非一致图像模糊退化模型：
[006引
(1)
[0069]式（1)中，y为模糊图像，X为原始清晰图像，e为加性噪声
示清晰图像在 偏移角度为0拥的偏移图像;偏移角度为0拥，清晰图像像素点j处的像素值X巧CiA的作用 下对应到模糊图像的像素点i处;Wk是偏移角度为0k时的权值，称之为模糊核；即该模型表示 模糊图像为不同角度下偏移图像的加权累和。
[0070] 当模糊核或清晰图像已知时，式(1)所示模型表示为如下两个线性模型：
[0071] y=EkCukWkX+e
[0072] (2)
[0073] y= E jCijkXjW+e
[0074] (3)
[00巧]讨宗备辛化对阁像的稀疏表示如式(4)所示：
[0076]
(4)
[0077] 式(4)中，Ri是提取图像第i个图像块的矩阵操作符，D是过完备字典，Qi是第i个图 像块在过完备字典表示下的稀疏表示系数；
[0078] 1-2)根据上述构建的非一致模糊退化模型，并结合自然图像的过完备字典表示， 构建式(5)所示的图像复原模型：
[0079] (5)
[0080] 式巧）中，第一项是由非一致模糊模型构造的数据保真项;第二项和第=项分别是 过完备字典表示和稀疏系数向量Qi的正则化约束项；第四项是模糊核约束;其中，模糊核W 具有稀疏特性，采用Ii范数对该模糊核W进行约束，同时，模糊核W满足归一化和非负性;Tl (TU)、A〇i)和丫（丫i)为平衡参数，n(ru) =0.05、A(Ai) = O. 1、丫（丫i)的取值范围是 4.0~ 5.5,本实施例中丫（丫 0=4.6;原始清晰图像X和模糊图像y均为过完备字典D排列的向量 形式；
[0081] 步骤二、输入待复原的模糊图像y，如图2(a)所示，和过完备字典D，其中，过完备字 典D是采用块邻域梯度字典学习方法[9]对Berkeley segmentation da化setW]数据库中的 200幅图像随机提取20000个8 X 8像素点图像块进行自适应学习得到的；
[0082] 步骤=、由于在本发明构建的非一致盲复原模型式(5)中，含有模糊核W、原始清晰 图像X和稀疏系数Qi =个未知量，直接对其求解存在收敛慢和容易陷入局部最优等问题，因 此，本发明采用交替迭代方法将非一致盲复原模型的求解转化为多个简单的子问题，从而 实现对模糊图像y的盲复原，具体过程包巧：
[0083] 3-1)首次迭代时，稀疏系数a由 得到，原始清晰图像X设 为输入的模糊图像y;
[0084] 3-2)根据稀疏系数a和原始清晰图像X估计模糊核W，将上述式(5)简化为：
[0085] 妃）
[0086] 运是典型的最小二乘问题联合非负Ii范数的问题，可W采用迭代收缩软阔值 (Iterative Shrinkage-T虹eshoIding Algorithm,ISTA)[山算法进行求解，从而估计模糊 核w;
[0087] 3-3)根据模糊核W和稀疏系数a估计原始清晰图像X，将模糊图像y分解为多个不同
的重叠块-对锭伞舌衰也徘巧化A盾始洁腑图像X的操作，上述式（5)简化为：
[008引 (7)
[0089] 式(7)中，A=EkCukWk,式(7)是典型的最小二乘问题，利用快速傅里叶变换算法估 计原始清晰图像X;
[0090] 3-4)根据原始清晰图像X和模糊核W估计稀疏系数a,上述式(5)简化为：
[0091] W
[0092] 式(8)中，第二部分为h范数的加权优化形式，权值CO 1采用稀疏系数反函数形式；
由于过完备字典方法中各个图像块之间是相互独立的，因此，将式(8)简化为式(9)，从而将 原始清萨励/值、若3*《AA光^ 虛f化八^々乂巧像块的稀疏系数的求解问题，
[0093]
[0094] 采用YA化l[u]算法估计稀疏系数a;
[00M] 3-5)当迭代次数小于2时，返回步骤3-2);否则，执行步骤3-6);
[0096] 3-6)计算相邻两次迭代求得的模糊核W之间的差值平方差，若该差值平方差的值 小于1(T4,则停止迭代，输出的图像即为原始清晰图像X，否则返回步骤3-2)。
[0097] 图2(b)至图2(e)分别是利用现有技术方法和本发明方法对图2(a)所示"佛像"实 拍模糊图像进行复原的结果，可W看出，图2(b)示出的利用Levin算法的复原结果有明显失 真，佛像身体轮廓较为尖锐，图2(c)示出的利用Babacan算法的复原结果仍然很模糊，图2 (d)示出的利用化算法的复原效果尤其不理想，有严重的失真和噪声，而如图2(e)所示本发 明方法复原的结果较好，细节清晰，整体效果自然真实。
[009引实施例2:
[0099] 同理，W图3(a)"鱼"为例，采用本发明提出的一种基于稀疏表示的非一致图像盲 复原方法进行复原，从而获得复原后的原始清晰图像，如图3(e)所示。图3(b)至图3(d)是利 用现有技术方法的复原结果。可W看出，图3(b)示出的利用Levin算法的复原结果失真明 显，背部鱼罐崎形，图3(c)示出的利用Babacan算法的复原结果较好，图3(d)示出的利用Hu 算法的复原结果噪声明显，细节信息丢失，而如图3(e)所示本发明算法复原结果较好，能够 看出鱼罐和绳布的纹理，整体效果自然。总之，本发明算法对自然模糊图像的复原有明显优 势。
[0100] 综上，本发明提出的算法对自然条件下获取的模糊图像有更好的复原效果，复原 图像细节明显、不失真、噪声低，具有更好的视觉效果，且求解方法有可扩展性。
[0101] 尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施 方式，上述的【具体实施方式】仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本 发明的启示下，在不脱离本发明宗旨的情况下，还可W做出很多变形，运些均属于本发明的
【主权项】
1. 一种基于稀疏表示的非一致图像盲复原方法，包括以下步骤： 步骤一、构建图像盲复原模型，包括： 1-1)根据相机三维抖动模型，构建式(1)所示的非一致图像模糊退化模型： (1) ,v \.， / 式⑴中，y为模糊图像，X为原始清晰图像，ε为加性噪声，表示清晰图像在偏移 J 角度为9k时的偏移图像;偏移角度为0!^，清晰图像像素点j处的像素值Xj在Cijk的作用下对 应到模糊图像的像素点i处;Wk是偏移角度为的权值，称之为模糊核； 当模糊核或清晰图像已知时，式(1)所示模型表示为如下两个线性模型： y= EkCijkWkx+e (2) y= Σ jCijkXjw+ε (3) 过完备字典对图像的稀疏表示如式(4)所示：(4) 式(4)中，心是提取图像第i个图像块的矩阵操作符，D是过完备字典，cu是第i个图像块 在过完备字典表示下的稀疏表示系数； 1-2)根据上述构建的非一致模糊退化模型，并结合自然图像的过完备字典表示，构建 式(5)所示的图像复原模型：式(5)中，第一项是由非一致模糊模型构造的数据保真项;第二项和第三项分别是过完 备字典表示和稀疏系数^的正则化约束项；第四项是模糊核约束;其中，模糊核w具有稀疏 特性，满足归一化和非负性，采用li范数对该模糊核W进行约束;η(η?)、λ(λ?)和γ ( γ i)为平 衡参数，η(ni) = ο. 05、λ(λι) = ο. 1、γ ( γ i)的取值范围为4.0~5.5;原始清晰图像x和模糊 图像y均为过完备字典D排列的向量形式； 步骤二、输入待复原的模糊图像y和过完备字典D，其中，过完备字典D是采用块邻域梯 度字典学习方法对Berkeley segmentation dataset数据库中的200幅图像随机提取20000 个8 X 8像素点图像块进行自适应学习得到的； 步骤三、采用交替迭代方法对待复原的模糊图像y进行盲复原，包括： 3-1)首次迭代时，稀疏系数α由min| |α | |Q s.t.||x-Dag 得到，并设原始清晰图像X 为输入的模糊图像y; 3-2)根据稀疏系数α和原始清晰图像X估计模糊核w，将上述式(5)简化为：并采用迭代收缩软阈值算法估计模糊核w; 3-3)根据模糊核w和稀疏系数α估计原始清晰图像x，将模糊图像y分解为多个不同的重 叠块，对每个重叠块进行估计原始清晰图像X的操作，上述式(5)简化为： C7) 式(7)中，A= EkCijkWk，利用快速傅里叶变换算法估计原始清晰图像X; 3-4)根据原始清晰图像X和模糊核w估计稀疏系数α，上述式(5)简化为：(8) 式(8)中，第二部分为h范数的加权优化形式，权值ωι采用稀疏系数反函数形式；由于 过完备字典方法中各个图像块之间是相互独立的，因此，将式(8)简化为式(9)，从而将原始 清晰图像X稀疏系数的求解问题转化为各个图像块的稀疏系数的求解问题，(9) 采用YALL1算法估计稀疏糸数α; 3-5)当迭代次数小于2时，返回步骤3-2);否则，执行步骤3-6); 3-6)计算相邻两次迭代求得的模糊核w之间的差值平方差，若该差值平方差的值小于 10-4,则停止迭代，输出的图像即为原始清晰图像X，否则返回步骤3-2)。
【文档编号】G06T5/00GK105957025SQ201610254970
【公开日】2016年9月21日
【申请日】2016年4月21日
【发明人】杨爱萍, 王南, 梁斌, 何宇清, 魏宝强
【申请人】天津大学