一种基于高频和中频信息的图像超分辨率重建方法
【专利摘要】本发明涉及一种基于高频和中频信息的图像超分辨率重建方法。本发明的步骤是：首先，计算图像的高频信息和中频信息。图像高频为原高分辨率图像与低分辨率插值放大后图像之间的差值，图像中频为插值放大后的图像与插值放大后且经低通滤波器输出图像之间的差值。其次，将图像高频信息和中频信息作为训练样本对，采用广义迭代收缩方法进行稀疏分解，获得高、中频分量字典对。最后，根据测试图像对应的中频信息和字典对获得图像高频信息，结合测试图像插值放大结果，经非局部相似性和反向迭代方法处理后获得高分辨率图像。本发明只需根据测试图像的中频信息重构出高频信息，并结合插值放大图像即可重建出高分辨率图像，重建图像具有锐化的边缘结构。
【专利说明】一种基于高频和中频信息的图像超分辨率重建方法
【技术领域】
[0001] 本发明属于图像处理【技术领域】，涉及一种对图像超分辨率重建的方法，具体是一 种基于高频和中频信息的图像超分辨率重建方法。
【背景技术】
[0002] 图像超分辨率重建是指由输入的一幅或者多幅同一场景的低分辨率图像重建得 到一幅高分辨率图像的方法，它充分利用已获取的资源，与采用高性能硬件获取高分辨率 图像方法相比，具有更低的成本，在视频监控、医学成像、高清视频等各个领域有着广泛的 应用前景。
[0003] 超分辨率重建是一个典型的病态反问题，对于只有单帧低分辨率图像时，就转变 成求解欠定方程的问题。传统插值方法用于重建高分辨率图像，图像的边缘有锯齿效应，为 了改善插值性能，出现带方向的插值方法，沿着边缘方向进行插值。为了重建视觉上令人满 意的高分辨率图像，许多先验知识被应用到超分辨率重建中，正则化超分辨率重建具有较 好的视觉效果，经典方法是全变分，该方法对于分段平滑的边缘结构能取得较好的重建结 果，但是在一些细节上会出现过平滑现象，产生一定的模糊。近年来，受到压缩感知的启示， 信号的稀疏特性可以减少信号处理的复杂度。图像可以被字典的原子展开成一个稀疏表达 式，其中典型的方法是通过学习获得高低分辨率字典，对于测试的低分辨率图像，求解其在 低分辨率字典上的稀疏表示系数，再利用高分辨率字典和该系数重构高分辨率图像，但是 该方法的重建图像边缘细节不够丰富。
【发明内容】
[0004] 本发明的目的是提供一种有效的超分辨率重建方法，以改善重建图像质量，尤其 是图像的边缘结构。
[0005] 为解决上述问题，本发明提供的技术方案如下：
[0006] 首先，计算图像的高频信息和中频信息。图像高频为原高分辨率图像与低分辨率 插值放大后的图像之间的差值，图像中频为插值放大后的图像与插值放大后且经低通滤波 器输出图像之间的差值。其次，分别将图像高频信息和中频信息作为训练样本对，然后采用 广义迭代收缩方法进行稀疏分解，获得高、中频分量字典对。最后，根据测试图像对应的中 频信息和字典对获得图像高频信息，结合测试图像插值放大结果，经非局部相似性方法处 理后获得高分辨率图像。
[0007] 下面给出该发明技术方案中的各个细节：
[0008] 步骤⑴计算图像1?频和中频/[目息，具体是：
[0009] 将用于训练的低分辨率图像Y经bicubic插值放大后得到图像Xb，插值图像Xb与 原始高分辨率图像X具有相同尺寸，图像的高频信息为原始高分辨率图像X与插值放大图 像xb之间的差值，即x h = x-xb。插值放大图像xb经低通滤波器Φ处理后得到低频图像， 低频图像与插值放大后图像具有相同尺寸，图像的中频信息为插值放大图像x b与低频图像
【权利要求】
1. 一种基于高频和中频信息的图像超分辨率方法，其特征在于其包括以下步骤： 步骤（1)计算图像高频和中频信息，具体是： 将用于训练的低分辨率图像Y经bicubic插值放大后得到图像Xb，插值图像Xb与原始 高分辨率图像X具有相同尺寸，图像的高频信息为原始高分辨率图像X与插值放大图像Xb 之间的差值，即xh = x-xb;插值放大图像xb经低通滤波器φ处理后得到低频图像9Xb，低频 图像与插值放大后图像具有相同尺寸，图像的中频信息为插值放大图像xb与低频图像 之间的差值，即Xm = xb - 9Xb ; 步骤（2)获得高、中频字典对，具体如下： 训练字典时，采用多样的自然场景图像作为训练样本图像，提取训练样本图像的高频 信息Xh、中频信息Xm并进行分块，相邻块间重叠像素为《，并将获得的高频子块和中频子块 作为训练样本对，训练得到高频、中频字典； 训练字典时，对输入的高频子块和中频子块进行向量化，得到各自向量化的子块样本 集合，分别记为{χω}和{xmJ，其中χω表示高频子块，Xmi表示中频子块，i = 1，2…N，N为 子块总数； 对中频子块样本集合lxmi}进行筛选，将其中方差小于阈值Λ的子块去除，然后从高频 子块样本集中删除对应子块，获得高、中频子块训练样本矩阵xh =[xhi,xh；!，·· 和Xm ，q是样本子块大小，队为新的子块总数； 高频、中频字典Dh、Dm训练过程如下：
argmin -Da； ||^ +λ||α； ||ρ (1) jDh Dm a1 ,?=1,2·*·? , f
D e R2qXK, Dm e RqXK, Dh e RqXK ； (* = [(*,, (*2,..·，（^，…(^]，a i e RKX1, I I a J |p表示 a i 的 lp 范数，〇 彡 p 彡 l，i = 1，2... &;λ为约束系数； 迭代过程中，避免新生成的字典对D与前次生成的字典对D。有大的偏移，加入新的约 束项||D-DJ〖进行优化，μ为约束系数；新的字典对训练可表示为：
arg min (2) {Dh Dm a, 4=1,2--^ 采用广义迭代收缩法进行稀疏分解；并采用分步迭代法分别求解D和α，具体是： 1) 初始化；初始化D，循环次数k = 0,最大循环次数max, λ，μ，p ; 2) 当 k < max 时：
固定D，采用广义迭代阈值法求解稀疏表示系数《 = [%，α2，···，％，…αΝι]; arg mir (3) ?i 固定α，求解字典对D ;
(4) 即 DT = (α ατ+μ ιΓι(Χεατ+μ^)Τ ; k = k+1，结束循环； 3)输出 Dh、Dm; 步骤（3)重建高分辨率图像，具体是： 高分辨率图像重建算法如下： 输入：低分辨率图像L，训练得到的字典对Dh、Dm，约束系数η ; 1) 根据低分辨率图像获得bicubic插值放大后图像Hb并提取中频Hm，采用与训练阶 段相同的分块方式将H b和Hm分块，相邻子块间重叠像素为w，获得的子块记为{hmihbi}，i = 1，2…Μ ; 2) 求解稀疏表示系数α，用广义迭代收缩法进行稀疏分解；
(5) 3) 重建高频子块； hhi = 〇hα i (6) 4) 将高频子块结合插值放大后图像Hb的子块hbi，获得对应的高分辨率图像块，即为 hhi=hhi+hbi (7) 5) 根据高分辨率图像块线性组合重建出高分辨图像Η%用非局部相似性对H#进行约 束：
(8) 上式中，s为下采样矩阵，I为单位矩阵，N为非局部相似性矩阵，η为约束系数，采用 梯度下降法求解01; 6) 对:^采用反向投影算法，重建出高分辨率图像Η; 输出：高分辨率图像Η。
【文档编号】G06T5/50GK104299193SQ201410514580
【公开日】2015年1月21日 申请日期:2014年9月29日 优先权日:2014年9月29日
【发明者】陈华华, 陈伟超, 郭春生 申请人:杭州电子科技大学