一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
【技术领域】
[0001] 本发明属于可见光图像处理方法，涉及一种基于稀疏表示和自适应滤波的图像超 分辨率重建方法。
【背景技术】
[0002] 图像超分辨率重建技术最早出现于二十世纪六十年代，当时的学者提出将带限信 号外推的方法对偶的运用到光学图像的超分辨率重建中，奠定了超分辨率重建赖以存在的 数学基础。直到八十年代后期，人们在图像超分辨率重建方法的研究上才取得了突破性进 展，不仅在理论上说明了超分辨率重建存在的可能性，而且在实践中提出了许多较为实用 的方法。目前，超分辨率重建大致可以分为两个方向：基于重建的方法和基于学习的方法。
[0003] 基于重建的超分辨率算法是通过一定程度的模糊处理和下采样操作对图像获取 过程进行建模，从而假定由高分辨率图像可以生产低分辨率图像。然而随着分辨率提高倍 数的增加，对于4倍及以上的放大倍数，这类方法通常不能很好的重建图像的高频信息。在 此基础上，相继有学者提出了基于识别先验知识的方法，获得了比传统的基于重建的超分 辨率重建方法更好的效果。这就是基于学习的超分辨率重建方法，此类方法不仅克服了基 于重建的方法在分辨率提高倍数方面的局限性，而且可以实现单幅图像的超分辨率重建。
[0004] 近些年来，随着稀疏表示理论的发展和广泛应用，图像的稀疏表示模型为求解图 像超分辨率重建问题提供了一个新的思路。其最根本的问题是字典的构造和选择，通常有 两种获取方法：基于分析的方法和基于学习的方法。基于分析的方法，字典是公式化的，通 过数学模型计算得到，此方法下的字典结构性较好，并且有比较成熟的快速数值计算方法， 字典本身由隐式矩阵表示，但由于这类字典的结构固定，对不同类型的数据自适应能力较 差，故有明显的局限性。基于学习的方法是近几年的研究热点，其字典是利用机器学习的方 法，通过对样本（图像集本身或者图像集特征空间）的推理、学习得到，字典本身通常由显 示矩阵表示，字典学习过程直观，对数据的自适应能力较好。然而随着放大倍数的提高，传 统的仅仅基于稀疏表示的图像超分辨率重建算法得到的稀疏表示字典的适应能力有限，并 不能很好的恢复出清晰的图像，尤其是图像的边缘等细节信息，同时基于在线学习的方法 非常耗时，同样不利于算法的实用。在庞杂的图像数据中，如何高效的刻画和学习出高、低 分辨率图像之间的关系（或者知识），重建出清晰度高，可识别度好的高分辨率图像仍然是 一个亟待解决的问题。
【发明内容】
[0005] 要解决的技术问题
[0006] 为了避免现有技术的不足之处，本发明提出一种基于稀疏表示和自适应滤波的图 像超分辨率重建方法，可以克服传统基于学习的稀疏表示字典泛化能力有限，当放大倍数 增大（4倍及以上）时，传统的方法难以重建出清晰的图像边缘等细节信息，以及传统在线 学习的方法非常耗时，不利于算法的实用等问题。
[0007] 技术方案
[0008] -种基于稀疏表示和自适应滤波的图像超分辨率重建方法，其特征在于步骤如 下：
[0009] 步骤1、构造高、低分辨率图像块对集合：选取方差为σ，大小为kXk的高斯核， 对训练图像集中的每一幅图像进行高斯卷积、按照采样因子Ι/s进行最近邻下采样，然后 对得到的低分辨率图像进行分割，并且根据图像的大小wXh随机选取数量为pxwx/Γ], ke[0· 1,0.5]，其中f>xwx/;]是kXwXh的向上取整部分、
为低分辨率图像块集合{Zi|ZieRm，i= 1，2,...，1}，令Z=[Zuz2,. ·.，zjeRmX1，结合对应的高分辨率图像块集合{yi|yieRn,i=1, 2, . . . , 1}，令Y= [y^y2, . . . ,yjeRnX1，其中n=s2m，进而构成了规模为 1 的高、低 分辨率图像块对集合{(yi，Ζι) |yieRn，ZieRm，i= 1，2,...，1};所述训练图像集包含150 幅空间分辨率均高于1024X720的图像；
[0010] 步骤2、基于K-means聚类和主成分分析的字典集训练：
[0011] 对低分辨率图像块集合对应的图像集矩阵Z= [Zl，z2,. ..，zj按列进行中心化和 归一化得到Z' =[z/，z' 2，...，z/ ]，然后对Z'进行K-means聚类，将集合Z'分解 为]1111]1个不相交的子集{2'」」=1，2，...，11111]1}，11111]1￡1?+，其中2 /;是包含所有属于第」_ 类的低分辨率图像块集合的矩阵，每一列代表一个图像块；记录并存储聚类中心Clusters =[Q，C2, · · ·，CnJeRmX瞧，其中C#Rm，j= 1，2, · ··，num;
[0012] 对高分辨率图像块集合对应的图像集矩阵Y= [yi，y2,. . .，yj按列进行中心化和 归一化得到t=[y/，y2'，...，y/ ]，对应于Z'分解后得到的num个不相交的子集， 将t直接分解为{Υ/ |j= 1，2,. . .，num}，其中Yj'是包含所有属于第j类的高分辨率 图像块集合的矩阵，每一列代表一个图像块，其中的列向量与{Z',|j=l，2，...，num}中 的列向量一一对应；对Y/，j=1，2,. ..，num依次进行主成分分析：F/If=?/;Σ;<,j= 1，2,. . .，num，得到每一类数据对应的特征向量集合U,，即该类别的稀疏表示字典，记为D, =Uj,j= 1，2,· ··，num;记录并存储稀疏表示字典D= {D.j|j= 1，2,· · ·，num};
[0013] 步骤3、基于交叉迭代优化的自适应滤波器训练：
[0014] 输入：K-means聚类得到的低分辨率图像块集合{Z' |j=1，2, ...，num}和高 分辨率图像块集合{Y/ |j= 1，2,. . .，num}，稀疏表示字典D={Dj|j= 1，2,. . .，num}， 初始化稀疏表示系数矩阵A。，初始化高、低分辨率图像块映射矩阵Ρ。^RnXm，正则化参数λ1;λ2εR+，迭代次数TeR+，重构误差ε= 1X10 5;
[0015] 步骤4、在线低分辨率图像的高分辨率重建：
[0016] 步骤a:将输入的低分辨图像ζ分割成大小
I子图像块，然后对所有的 子图像块进行中心化和归一化操作，得到子图像块集合2_
[0017]步骤b:根据聚类中心Clusters= [Q,C2,. ..，C_]，通过最近邻法判断每个子图 像块 i= 1，2,· · ·，1 所属的类别je{1，2,· · ·，num}，并从仍，Ρ2,· · ·，P_}中 选择对应该类别的高、低分辨率图像块映射关系矩阵P,，根据，计算得到重建后 的高分辨率图像块乂eiT',i= 1，2,. . .，1 ;
[0018] 步骤c:对存在重叠部分的图像块像素值进行加权平均，得到最终的高分辨率重 建图像y，放大倍数为s。
[0019] 所述σ为〇·1~2。
[0020] 所述kXk为 3Χ3、5Χ5 或 7X7。
[0021] 所述σ为1。
[0022] 有益效果
[0023] 本发明提出的一种基于稀疏表示和自适应滤波的图像超分辨率重建方法，首先利 用图像内容的结构信息，对大量图像进行充分的聚类，保证每一类图像集合中包含了强一 致性的图像结构信息，在此基础上进行的逐类别主成分分析获得了各个类别的稀疏表示字 典，自适应性强。采用分组最小角回归法和A-bali上的欧几里得投影法通过交叉迭代优化 的方式求解出每一类别的高、低分辨率图像块映射关系矩阵。最后直接利用训练学得的映 射关系矩阵对低分辨率图像进场处理，快速重建出清晰度较高的高分辨率图像。
[0024] 本发明不仅提高了重建算法的自适应能力，同时还大大提升了算法的执行速度。 有效避免了稀疏表示字典适应能力低，超分辨率重建图像清晰度不高，且算法耗时等问题。 大量可见光图像的超分辨率重建实验，都验证了本发明的有效性。
【具体实施方式】
[0025] 现结合实施例对本发明作进一步描述：
[0026] 在大量离线高、低分辨率训练图像集上，结合K-means聚类和主成分分析两种数 据处理方法，离线获得适应能力较强的稀疏表示字典集合，然后通过进一步的回归分析获 得自适应的高、低分辨率图像映射关系，最后利用离线获得的映射关系解决在线图像的高 分辨率重建问题。具体实施流程如下：
[0027]1.构造高、低分辨率图像块对集合。
[0028] 选取方差为σ为1，大小为kXk的高斯核，对包含150幅高清（空间分辨率均高于 1024X720,且图像内容丰富）训练图像集中的每一幅图像进行高斯卷积、按照采样因子1/ s进行最近邻下采样，然后对得到的低分辨率图像进行分割，并且按比例在每幅图像中随机
的子图像块，总共构成1个大小为
的子图像块集 合，即低分辨率图像块集合h| #eRmi, =