超分辨率图像重建方法和装置的制造方法
【技术领域】
[0001] 本发明涉及图像、视频处理领域，尤其涉及一种超分辨率图像重建方法和装置。
【背景技术】
[0002] 随着多媒体技术的迅速发展，人们对于图像和视频的视觉逼真效果和丰富的画面 细节信息的要求越来越高，这需要高分辨率的图像和视频，并且在实际的图像处理与分析 系统中，通常也都需要高分辨率的图像和视频。然而，图像的分辨率通常受限于图像采集设 备、光学、成像速度和硬件存储等制约条件，在许多成像应用中捕获的都是低分辨率的图像 和视频，例如，数码相机、医学成像系统和视频监控系统捕获的通常都是低分辨率的图像和 视频。所以，为了获取高分辨率的图像和视频，需要超分辨率技术去利用获取的低分辨率图 像和视频来重建出高分辨率的图像和视频。
[0003] 现有的超分辨率图像重建方法有：基于插值的方法、基于重建的方法和基于实例 学习的方法，其中基于重建的方法需要额外的数据库，对于获取的低分辨率图像，利用图像 数据库中的多种图像的先验知识来对当前低分辨率图像进行建模，然后，将建模后的低分 辨率图像重建为高分辨率的图像。
[0004] 但是，在现有技术中，由于对超分辨率图像建模时候利用的是一个巨大有代表性 的低分辨率与高分辨率图像片对数据库，该数据库尽可能多的包括所有图像结构，使得重 建超分辨率图像过程过于复杂，并且基于该图像数据库通常会存在无法复原高频细节的情 况。
【发明内容】
[0005] 本发明提供一种超分辨率图像重建方法和装置，从而能够有效降低重建超分辨率 图像的误差，进而提高重建图像的质量。
[0006] 第一方面，本发明提供一种超分辨率图像重建方法，包括：步骤S1，将输入的低分 辨率图像y作为第一高分辨率图像巧，根据所述第一高分辨率图像进行N次模糊下采 样，生成高分辨率图像数据库Dx ;步骤S2,对所述第一高分辨率图像·ν采用双三次插值算 法进行模糊下采样之后，再进行模糊上采样得到第一低分辨率图像~~,〃对于所述第一低分 辨率图像气*进行Ν次模糊下采样，生成低分辨率图像数据库D z ;步骤S3,采用所述双三次 插值算法将所述第一高分辨率图像心放大S倍后得到第二低分辨率图像气〃将所述第二低 分辨率图像~划分为至少一个低分辨率图像片；步骤S4,对每一个低分辨率图像片采用近 似最近邻搜索算法在所述低分辨率图像数据库D z获取对应的低分辨率最相似图像片组；步 骤S5,对所述低分辨率最相似图像片组采用岭回归法计算权重系数；步骤S6,根据所述权 重系数和高分辨率最相似图像片组确定高分辨率图像片；步骤S7,对所述高分辨率图像片 采用加权平均确定第二高分辨率图像气>，并将所述第二低分辨率图像％加入到所述数据 库Dz中，将所述第二高分辨率图像义加入到所述数据库Dx中。
[0007] 结合第一方面，在第一方面的第一种可能实施方式中，还包括：步骤S8,将所述第 二高分辨率图像七作为新的第一高分辨率图像经过Μ次重复执行步骤S3-S7之后，获 取第三高分辨率图像采用所述双三次插值算法对所述第三高分辨率图像巧，进行模糊 下采样，生成初始目标高分辨率图像f:。
[0008] 结合第一方面的第一种可能实施方式，在第一方面的第二种可能实施方式中，还 包括：步骤S9,对所述初始目标高分辨率图像1和所述低分辨率图像y采用交替最小化算 法计算数学模型：
[0009]
[0010] s. l. nf - nrJ toon] 其中，上述数学模型中的χ的初始值为初始目标高分辨率图像夂退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，V表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0012] 结合第一方面的第二种可能实施方式，在第一方面的第三种可能实施方式中，所 述对所述初始目标高分辨率图像f:和所述低分辨率图像y采用交替最小化算法计算数学模 型具体包括：步骤S10,采用K均值聚类算法和主成分分析算法获取超完备字典；步骤S11， 根据梯度直方图保持不变算法更新所述变换函数f ;步骤S12,根据所述超完备字典和所述 变换函数f更新所述初始目标高分辨率图像。
[0013] 结合第一方面的第三种可能实施方式，在第一方面的第四种可能实施方式中，采 用K均值聚类算法和主成分分析算法获取超完备字典，具体包括：根据尺寸大小随机选取K 个所述初始目标高分辨率图像的高分辨率图像片作为K个初始聚类；根据所述高分辨率图 像片与所述K个初始聚类中心之间的距离，将所述初始目标高分辨率图像所分割成的所有 的所述高分辨率图像片划分到对应的初始聚类中；对每个所述初始聚类采用基于奇异值分 解的主成分分析法训练对应子字典；K个所述初始聚类对应的K个子字典组成所述超完备 字典。
[0014] 结合第一方面的第三种可能实施方式，在第一方面的第五种可能实施方式 中，根据梯度直方图保持不变算法更新所述变换函数f，具体包括：对所述低分辨率 图像y进行模糊上采样，获得低分辨率图像z ;所述目标高分辨率图像X和所述低 4V雜銮IS像7.端Μ加下名·彳Φ ·ζ = B*x,其中B为模糊核；对z = B*x两边求梯度，贝丨J
5其中b。和h分别表示模糊核B的中心系数及它的周围 近邻系数，Vx表示目标高分辨率图像X的梯度图像，表示所述低分辨率图像z的梯度
图像表示所述目标高分辨率图像片的梯度图像Η 〃若 i 近似于正态分布，则
[0015] 通过求解优化问题叫ft|/(v.S'R丨s.t.h f = hr来更新变换函数f。
[0016] 其中b表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的 梯度直方图，h xl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2 的概率密度函数的离散形式，⑩是卷积操作符。
[0017] 结合第一方面的第三种可能实施方式，在第一方面的第六种可能实施方式中，所 述根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率图像，具体包括：根 据公5
?角定x(t+1/2)，其中x(t)表示第t次 迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像估计值， S为常数，表示x(t)的梯度图；根据其中表示 第t+1/2次迭代的高分辨率图像片Xl的稀疏系数，表示第t次迭代的高分辨率图像片 Xl所在初始聚类对应的子字典，民表示从初始目标高分辨率图像I在位置i处获取高分辨 率图像片^的矩阵。
[0018] 根据稀疏系舍
和次;~5二确定第t+Ι次迭代的高分辨率图像片Xl的稀疏系数 ωι的 第j个分量ω1]满万
其中h表示用于调节衰减速度 的控制参数，W表示归一化因子，#表示高分辨率图像片Xl对应的最相似图像片 组中的第j个最相似图像片，Sv。表示软阈值函数，c表示正则化参数；根据公式 \其中x(t+1)表示第t+Ι次迭代的目 \.九
.·/. >： 标高分辨率图像估计值，Φ (t+1)表示X(t+1)对应的超完备字典。
[0019] 结合第一方面的第三种可能实施方式或第四种可能实施方式或第五种可能实施 方式或第六种可能实施方式，在第一方面的第七种可能实施方式中，还包括：重复执行步骤 S10-S12,获得收敛解为最终目标高分辨率图像X';采用复数冲击滤波公式对所述最终目 标高分辨率图像进行复原，其中所述复数冲击滤波公式为：
[0020]
[0021] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， ▽X表示X'的梯度图，η和ξ表示图像的梯度方向，Irn(·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i Θ)是复数标量系数，f是实数标量系数。
[0022] 第二方面，本发明提供一种超分辨率图像重建装置，包括：生成模块，用于将输入 的低分辨率图像y作为第一高分辨率图像^ ,根据所述第一高分辨率图像心进行N次模 糊下采样，生成高分辨率图像数据库Dx;所述生成模块，还用于对所述第一高分辨率图像％ 采用双三次插值算法进行模糊下采样之后，再进行模糊上采样得到第一低分辨率图像心， 对于所述第一低分辨率图像％进行N次模糊下采样，生成低分辨率图像数据库D z ;划分模 块，用于采用所述双三次插值算法将所述第一高分辨率图像心>放大S倍后得到第二低分辨 率图像V ,将所述第二低分辨率图像~划分为至少一个低分辨率图像片；获取模块，用于 对每一个低分辨率图像片采用近似最近邻搜索算法在所述低分辨率图像数据库Dz获取对 应的低分辨率最相似图像片组；计算模块，用于对所述低分辨率最相似图像片组采用岭回 归法计算权重系数；确定模块，用于根据所述权重系数和高分辨率最相似图像片组确定高 分辨率图像片；所述确定模块，还用于对所述高分辨率图像片采用加权平均确定第二