本发明涉及到一种图像处理的方法，尤其是单幅图像的超分辨率处理的技术领域。即，仅给定一幅低分辨率的图像，需要从中重构出高分辨率且清晰度更高的图像。本技术在图像与视频的放大、视频监控、遥感图像处理等领域有着广泛的的应用。
背景技术：
图像超分辨率(super-resolution)目标是从一幅或一系列低分辨率的图像中估计出一幅高分辨率的图像。特别地，仅从一幅低分辨率的图像中重建一幅高分辨率的图像的过程称为单幅图像的超分辨率(single image super-resolution)。近年来，单幅图像的超分辨率技术在实际生活中有着广泛的应用。特别地，在遥感图像、医学图像，图像视频压缩和计算机视觉等领域都有着许多实际的应用。由于一幅低分辨率的图像可以对应到许多高分辨率的图像，即，存在许多幅高分辨率的图像对应到同一幅低分辨率的图像的情况。因此，单幅图像的超分辨处理是一个严重的病态问题，其输出有可能有很多解。为了处理这个问题，通常在图像的超分辨率处理的过程中添加图像本身固有的先验信息。
基于邻域嵌入的图像超分辨率算法最早在2004年提出，其主要想法来自流形学习中局部线性嵌入(LLE)的思想。具体来说，其假设低分辨率图像和高分辨率图像中的图像块在不同的特征空间中具有相似的几何结构，即具有相似的流形(manifold)。然后，在离线的过程中，采集大量的原始图像，并对原始图像进行模拟的卷积和下采样处理，以模拟图像分辨率降低的过程，得到由大量的高分辨率图像块和所对应的低分辨率的图像块所组成的训练集合。对于图像的在线处理过程，首先把低分辨率图像进行分块，得到低分辨率图像块，然后在训练集合中找到和其相似的低分辨率块。然后，由这些块在训练集合中对应的高分辨率块的线性组合来得到所需要的高分辨率图像上的图像块。对于高分辨率图像上，高分辨率图像块的重叠部分，往往利用取平均的方法来进行处理。这个方法被称为基于外部样例的图像超分辨率方法。
随后，有人提出了仅利用要放大的图像来构造训练集的方法。在这个方法中，逐步把原始图像进行缩小。以得到不同尺度下的高分辨率的图像和低分辨率图像。然后，把这些图像分块，构造由低分辨率块和所对应的高分辨率块所组成的训练集合。这个方法被称为基于自身样例的图像超分辨率方法。
由于在实际过程中，低分辨率图像块的流形和高分辨率图像块的流形在结构上存在差异，因此降低了以上方法的效果，使高分辨率的图像在细节或图像边缘上存在模糊的现象。为了提高超分辨率处理后的图像的质量，本发明提出了利用两个训练集的方法，首先利用一个训练集把低分辨率块映射到高分辨率块，再利用高分辨率块的训练好的字典集寻找相似块进行搜索寻找相似块，并利用迭代反投影技术对结果进行修正，以获得更清晰的高分辨率图像。
技术实现要素：
所提出的方法包括训练阶段和重建阶段：训练阶段包括两个训练集，第一个训练集是使用岭回归的方法训练高低训练集，得到K个投影矩阵Pk(k＝1，...，K)，利用投影矩阵Pk重建初始的高分辨率图像IOR；对初始的高分辨率图像IOR中的每一个图像块在第二个训练集中找到与之相似的高分辨率图像块，利用找到的高分辨率图像块之间的几何对偶性重建高分辨图像 ImidSR；最后使用迭代反投影加强高分辨率图像IOR和高分辨率图像ImidSR图像的相关性，得到最终的高分辨率图像ISR。下面分别从重建高分辨图像IOR和ImidSR，以及得到最终的高分辨率图像ISR这样的流程来详细介绍本文所提的方法。
使用第一个训练集的目的是为了得到投影矩阵Pk，利用投影矩阵Pk重建出高分辨率图像 IOR，下面介绍投影矩阵Pk的训练过程以及重建初始高分辨率图像IOR的过程。
1)构造第一个训练集合和投影矩阵
在训练阶段，对训练集中的高分辨率图像使用模糊和下采样操作得到低分辨率图像，对低分辨率图像使用双三次插值放大得到双三次插值后的图像Ibic，对双三次插值图像Ibic先使用如下的公式(1)中的四个高通滤波器的模板进行处理，使得每个像素点上有四个特征值。
在此说明书中，表示一个矢量。然后把这些特征值进行叠加，在每个像素点上得到一个四维的矢量。接着，使用主成分分析法(PCA)降维，使得每个像素点上只有一个特征值。由此，得到特征图像ILF，并且利用高分辨率图像HORG减去双三次插值图像Ibic得到与特征图像相对应的高分辨率图像的高频特征图像IHF。然后对每个训练图像，得到特征图像ILF和IHF分块所组成的图像块的集合中的元素。当对每一幅训练图像都进行如上的操作后将得到第一个训练集其中是从ILF中提取的图像块，是从IHF中和ILF同一幅图像和同样的位置提取出的同样大小的图像块，并且Nt表示训练集中图像块组的数目。在本发明的离线阶段，将使用上面的方法得到第一个训练集，并存储起来供在线的放大过程使用。然后，将使用k-means(k-均值)方法对这个集合进行分类，每个类的中心即为此类的锚点，并用来表示。在得到第一个训练集之后，将使用存储的第一个训练集，求解如下目标函数的最小化问题，即，
其中，指的是向量的二范数，即是矢量的转置，同时，将在训练集中优化地选择锚点选择的是和在距离上最近的锚点，并且每个锚点和对应一个邻域矩阵Nk。其中，邻域矩阵Nk由nc个与最相近的原子组成。是的表达系数，λ是规则化参数。对式(2)进行求解最小值优化，可以解得：
其中，I是单位矩阵，是Nk的转置矩阵。这样，高分辨率特征图像块可以使用相同的系数和高分辨率邻域矩阵Nh估计出来。
组合(3)和(4)，可以得到：
即，
这个投影矩阵Pk可以直接匹配低分辨率空间到相关的高分辨率空间。
2)重建初始的高分辨率图像
在图像超分辨率重建阶段，对于双三次插值过的低分辨率图像Ibic，首先使用式(1)中的滤波器进行处理以及使用PCA降维以后得到高分辨率图像的特征ILF，对特征中的每一个特征图像块找到与之对应的锚点以及所对应投影矩阵Pk，就可以得到高分辨率图像中高频特征IHF中的特征图像块，即
最后，初始高分辨率图像的高频特征IHF通过合并所有估计出的高分辨率特征图像块以及在相邻的重叠块之间取平均求出来。初始高分辨率图像的高频特征IHF加上双三次插值图像 Ibic就可以得到输出的高分辨率图像IOR。
得到初始的高分辨图像IOR以后，再使用第二个训练集重建出高分辨率图像ImidSR。
3)构建第二个训练集
在此，首先对训练集中的高分辨率图像使用模糊和下采样的操作得到低分辨率的图像。然后对高分辨率图像和低分辨率图像进行分块操作就得到由低分辨率图像块和所对应的高分辨率图像块所组成的训练集。此训练集可表示为N2表示训练集合中的图像块组的数目。表示低分辨率图像上提取的图像块，表示高分辨率图像上和相对应位置上提取的图像块。由于图像块比较多，本文对此训练集使用K-均值(K-means)分类的方法，把训练集分成256类。
4)重建第二个高分辨率图像ImidSR
对高分辨率图像IOR分块后的每一个图像块先在高分辨率训练集中找到和其最相似的类，再从找到的那一类中找到最相似的高分辨率图像块。并找到高分辨率图像块在训练集中所对应的低分辨率图像块，利用低分辨率图像块之间的关系，以及和找到的相似高分辨率图像块之间的距离，可以用以下目标函数的最小化得到权重系数
其中，′·′表示矢量间的点乘，表示的是低分辨率训练集中与原始输入低分辨率图像中相同位置处图像块最相似的第k个图像块，集合是这些图像块在第二个训练集中的位置索引所组成的集合，为与这些相似块的欧式距离按从小到大的顺序所组成的向量。块与第二个训练集中高分辨率图像块的距离可用以下公式(9)来计算，即，
为了最小化(8)，首先定义矩阵
其中，矩阵的每列为中的第i项。同时，定义矩阵
其中，矩阵D为对角矩阵，除对角线的元素外，所有元素为0，同时其第i行和第i列的元素为矢量中的第i个元素，即以及矩阵
其中，此矩阵的所有的元素为1，共有m个元素。
可以得到矩阵
并且，式(8)最优化的满足条件
由(14)，可以求解得到式(8)最优化的解即
对求解出的权值向量进行归一化，得到
所得到的最优的权重系数可以用来重建相关的高分辨率图像块
得到高分辨率图像块以后，用替代前面的高分辨率图像块继续在高分辨率训练集中查找相似的高分辨率图像块，使用前面的公式(10)-(17)重建相关的高分辨率图像块按照这样多次迭代的方法来逐步更新得到最终的高分辨率图像块，组合所有的高分辨率图像块，并对高分辨率块与块之间的重叠部分取平均值就得到所要的高分辨率图像ImidSR。
5)输出最终的高分辨率图像
利用前面的方法可以分别得到两幅高分辨率图像IOR和ImidSR。对得到的两幅高分辨率图像来说，在重建高分辨率图像IOR时，利用了高通滤波器进行处理得到图像的特征，然后进行相似块的查找。可是重建高分辨率图像ImidSR时，只是对高分辨率图像简单分块以后就在训练集中查找相似高分辨率图像块，这个找到的高分辨率图像块只是在像素值上和低分辨率的图像相似，而不是在特征上相似。如果训练集与重建的高分辨率图像差别比较大的话，利用查找相似块的方法不一定有查找相似特征找到的图像块更准确，而且使用第一个训练集得到的高分辨率图像的效果已经比较好，所以为了保证输出的高分辨率图像具有更稳定的输出结果，本发明简单地对这两幅图像利用以下的式(18)进行融合得到所求的高分辨率图像Yt。
Yt＝0.6*IOR+0.4*ImidSR (18)
这样得到的高分辨率图像Yt集合了两者的优势，既和低分辨率图像在像素值上相似，也在特征上相似。最后，对所求得的高分辨率图像Yt用传统的迭代反投影(back projection)的方法进行加强，得到最终的高分辨率图像ISR。
附图说明
1.图1是本发明步骤的流程图；
2.图2是本发明在线阶段的流程图；
3.图3是第一个训练集的字典训练阶段的流程图；
4.图4是利用第一个训练集的图像合成阶段的流程图；
5.图5是Pepper图像下的不同的图像超分辨方法的视觉效果的对比图；图5(a)是原始图像的图，图5(b)是双三次方法的实验结果图(PSNR＝32.39dB)，图5(c)是Zeyde所提出的方法的实验结果图(PSNR＝34.07dB)，图5(d)是ANR方法的实验结果图(PSNR＝33.82dB)，图5(e)是 SRCNN方法的实验结果图(PSNR＝34.35dB)，图5(f)是本发明所提出的方法的结果图 (PSNR＝34.55dB)；
6.图6是Bird图像下的不同的图像超分辨率方法的视觉效果的对比图；图6(a)是原始图像的图，图6(b)是双三次插值的方法的实验结果图(PSNR＝32.58dB)，图6(c)是Zeyde所提出的方法的实验结果图(34.57dB)，图6(d)是ANR方法的实验结果图(PSNR＝34.60dB)，图6(e)是 SRCNN方法的实验结果图(PSNR＝34.91dB)，图6(f)是本发明所提出的方法的实验结果图 (PSNR＝35.39dB)。
具体实施方式
本发明利用了两种方式来进行图像的超分辨率处理。在第一种方法中，利用了图像的特征来重构和低分辨率图像在特征上相一致的高分辨率的图像，在第二种方法中，利用了图像的像素值来重构和低分辨率图像相一致的高分辨率的图像。然后，利用融合的方法，把这两幅图像进行融合。最后，利用迭代反投影的方法对得到的高分辨率图像进行修正。
下面，结合说明书的附图，对所提出的方法具体的实施方式进行说明。
本发明的流程图如附图1所示，在本发明的离线训练阶段，通过大量的训练图像产生两个不同的训练集合。在本发明的在线阶段，通过第一个训练集合和输入的低分辨率图像，构造第一个高分辨率图像，然后通过第二个训练集合和输入的低分辨率图像，构造第二个高分辨率图像。接下来把这两个高分辨率图像进行融合，产生一个高分辨率图像。最后，对这个高分辨率图像进行迭代反投影操作进行修正得到最终的输出的高分辨率图像。
本发明的在线阶段的详细的流程图如附图2所示。从图中可以看出，本发明利用了第一个训练集合产生投影矩阵来重构第一个高分辨率的图像，并利用第二个训练集合，产生优化的权值，并利用这些权值对相近的图像块进行线性组合来重构第二个高分辨率的图像。然后，对以上产生的这两个图像进行融合产生一个融合后的高分辨率的图像，并对此图像进行迭代反投影的修正，得到最终的超分辨率重构的图像。
下面详细地说明流程图中的每一个步骤。并对实施过程中参数的优化取值进行讨论和说明，同时给出所提出的方法和其他目前效果最好的超分辨率方法的对比的实验结果。
1)构造第一个训练集合和投影矩阵
从说明书附图3中可以看出，在构造第一个训练集的训练阶段，对训练集中的高分辨率图像先使用模糊和下采样操作得到低分辨率图像，对低分辨率图像使用双三次插值放大得到双三次插值后的图像Ibic，对双三次插值图像Ibic先使用如下的公式(19)中的四个高通滤波器的模板进行处理，使得每个像素点上有四个特征值。
然后把这些特征值进行叠加，在每个像素点上得到一个四维的矢量。接着，使用主成分分析法(PCA)降维，使得每个像素点上只有一个特征值。由此，得到特征图像ILF，并且利用高分辨率图像HORG减去双三次插值图像Ibic得到与特征图像相对应的高分辨率图像的高频特征图像IHF。然后对每个训练图像，得到特征图像ILF和IHF分块所组成的图像块的集合中的元素。当对每一幅训练图像都进行如上的操作后将得到第一个训练集其中是从ILF中提取的图像块，是从IHF中和ILF在同一幅图像和同样的位置提取出的同样大小的图像块，并且Nt表示训练集中图像块组的数目。在本发明的离线阶段，将使用上面的方法得到第一个训练集，并存储起来供在线的放大过程使用。然后，将使用k-means(k-均值)方法对这个集合进行分类，每个类的中心即为此类的锚点，并用来表示。在得到第一个训练集之后，将使用存储的第一个训练集，得到
其中，k的选择是基于此类的锚点和在距离上最近，并且每个锚点和对应一个邻域矩阵Nk。这个邻域矩阵Nk由nc个与最相近的原子组成。λ是规则化参数，I是单位矩阵。这样，高分辨率特征图像块可以使用相同的系数和高分辨率邻域矩阵Nh估计出来，即
这个投影矩阵Pk可以直接匹配低分辨率空间的图像块到相关的高分辨率空间的图像块
2)构建第二个训练集
在此，首先对训练集中的高分辨率图像使用模糊和下采样的操作得到低分辨率的图像。然后对高分辨率图像和低分辨率图像进行分块操作就得到由低分辨率图像块和所对应的高分辨率图像块所组成的训练集。此训练集可表示为N2表示训练集合中的图像块组的数目。表示低分辨率图像上提取的图像块，表示高分辨率图像上和相对应位置上提取的图像块。由于图像块比较多，本文对此训练集使用K-均值(K-means)分类的方法，把训练集分成256类。本发明中采取第二训练集中的低分辨率图像块的大小是3×3，块与块之间重叠2个像素，第二个训练集中有56万个图像块组。
3)重建初始的高分辨率图像
从说明书附图3中可以看出，在图像超分辨率重建阶段，对于双三次插值过的低分辨率图像Ibic，首先使用式(19)中的滤波器进行处理以及使用PCA降维以后得到高分辨率图像的特征ILF，对特征中的每一个特征图像块找到与之对应的锚点以及所对应投影矩阵Pk，就可以得到高分辨率图像中高频特征IHF中的特征图像块，即
最后，初始高分辨率图像的高频特征IHF通过合并所有估计出的高分辨率特征图像块以及在相邻的重叠块之间取平均求出来。初始高分辨率图像的高频特征IHF加上双三次插值图像 Ibic就可以得到输出的高分辨率图像IOR。
得到初始的高分辨图像IOR以后，再使用以下所述的第二个训练集重建出高分辨率图像 ImidSR。
4)重建第二个高分辨率图像ImidSR
对高分辨率图像IOR分块后的每一个图像块先在高分辨率训练集中找到和其最相似的类，再从找到的那一类中找到最相似的高分辨率图像块。并找到高分辨率图像块在训练集中所对应的低分辨率图像块，利用低分辨率图像块之间的关系，以及和找到的相似高分辨率图像块之间的距离，得到权重系数
在此，用表示输入的原始的低分辨率图像上和相同位置处的图像块，表示低分辨率训练集中与最相似的第k个图像块，集合是这些图像块在第二个训练集中的位置索引所组成的集合，为与这些相似块的欧式距离按从小到大的顺序所组成的向量。块与第二个训练集中高分辨率图像块的距离可用以下公式来计算，即，
然后定义矩阵
其中，矩阵的每列为中的第i项。同时，定义矩阵
其中，矩阵D为对角矩阵，除对角线的元素外，所有元素为0，同时其第i行和第i列的元素为矢量中的第i个元素，即以及矩阵
其中，此矩阵的所有的元素为1，共有m个元素。
通过矩阵运算，可以得到如下矩阵
并且可以求解得到优化的权值向量即
对此权值向量进行归一化，得到
所得到的最优的权重系数可以用来重建相关的高分辨率图像块
得到高分辨率图像块以后，用替代前面的高分辨率图像块继续在高分辨率训练集中查找相似的高分辨率图像块，使用前面的公式(23)-(30)重建相关的高分辨率图像块按照这样多次迭代的方法来逐步更新得到最终的高分辨率图像块，组合所有的高分辨率图像块，并对高分辨率块与块之间的重叠部分取平均值就得到所要的高分辨率图像ImidSR。
5)输出最终的高分辨率图像
利用前面的方法可以分别得到两幅高分辨率图像IOR和ImidSR。本发明对这两幅图像利用以下的式(31)进行融合得到所求的高分辨率图像Yt。
Yt＝0.6*IOR+0.4*ImidSR (31)
这样得到的高分辨率图像Yt集合了两者的优势，既和低分辨率图像在像素值上相似，也在特征上相似。最后，对所求得的高分辨率图像Yt用传统的迭代反投影(back projection)的方法进行加强，得到最终的输出高分辨率图像ISR。
6)所提出的方法中的参数的设置
首先，在本文的实验中对低分辨率图像的放大倍数是3倍，输入的低分辨率图像是高分辨率图像直接使用双三次插值下采样3倍得到的。在实验中，使用Yang的文章(作者：J.Yang， J.Wright，T.S.Huang，and Y.Ma，文章名：Image super-resolution via sparse representation，期刊名：IEEE Transactions on Image Processing，19卷11期，页码：2861-2873，2010年11月出版)中提供的91幅图像作为训练图像。
在重建初始高分辨率图像IOR的过程中参数的优化设置如下：由于Zeyde方法和ANR 方法中字典原子的个数是1024，以及本发明的训练集中的图像块的个数和Zeyde方法、ANR 方法的图像块的个数是一样多的，因此本发明的锚点个数设置为K＝1024。本发明没有使用稀疏的方法进行字典训练，因此通过本发明的大量的实验，选择了如下的参数的优化设置：每个锚点所对应的邻域矩阵中有nc个最相近的原子，nc＝512，正则化参数λ＝0.01。训练阶段和图像重建阶段图像块的大小设置为9×9，训练阶段的块与块之间重叠3个像素，图像重建阶段的块与块之间重叠6个像素。训练阶段的块与块之间重叠像素设为3是为了减少收集训练块的时间，从而减少生成初始高分辨率图像IOR的时间。
在重建高分辨率图像ImidSR的过程中参数的优化设置如下：在训练阶段，低分辨率图像块的大小是3×3，块与块之间重叠2个像素，在图像重建阶段，高分辨率图像块的大小是9×9，块与块之间重叠6个像素。对高分辨率训练集使用K-means聚类256类后再进行相似块查找，其中局部正则化项1*e-5，在第二个训练集中查找相似的高分辨图像块的个数K＝150。
7)所提出方法的实验结果
本发明虽然使用了两个训练集，可是训练两个训练集的平均时间只有471.92s，时间也不长。下表1 给出了对国际上通用的检查超分辨率处理性能的图像测试集合图像集set5和图像集set14下的测试图像的运行时间。比较Jiang的方法和本文的方法，所使用的训练集都是使用K-means聚类以后的训练集。从上表1中可以看出，使用Jiang的方法生成一幅图像的时间大约需要1044.78秒，使用本文的方法生成一幅图像的时间大约需要262.4秒，因此Jiang的方法和本文的方法的所需要的时间基本上都是迭代多次所带来的时间。从速度上可以看出，迭代4次的话，本文的方法要比Jiang的方法快3倍。
表1.Jiang的方法和本发明方法的测试图像的平均运行时间(单位：秒)
测试图像使用的是国际上通用的Set5(包括Baby、Bird、Butterfly、Head、和Woman图像)和Set14 (包括Baboon、Barbara、Bridge、Coastguard、Comic、Face、Flowers、Foreman、Lenna、Man、Monarch、 Pepper、PPT3、和Zebra图像)中的图像，共19幅图像作为测试图像，使用PSNR(峰值信噪比)和SSIM (结构相似度)作为图像质量的客观评价标准，测试结果如表2和表3所示。
表2.不同方法的图像超分辨率的PSNR对比结果(上采样3倍)
表3.不同方法的图像超分辨的SSIM对比结果(上采样3倍)
从表2和表3中可以看出，本文的方法无论在PSNR和SSIM上都比Zeyde和ANR的方法好，并且本文在Set5上的PSNR和SSIM的分别为32.51dB和0.9179，比SRCNN方法在指标上分别提高了0.12dB 和0.0038，本文在Set14上的PSNR和SSIM分别为29.07dB和0.8942，比SRCNN方法在指标上分别提高了0.07dB和0.0032。
下面再比较Jiang的方法和本文的方法在PSNR和SSIM指标上的区别，Jiang的方法的迭代次数设置为4次，本文的迭代次数设置为1，实验结果如下表4所示。
表4.Jiang的方法和本发明方法的PSNR(dB)和SSIM指标的对比结果
从表4中可以看出，使用本发明的两个训练集得出的结果，无论在PSNR指标，还是在SSIM指标上，所提出的方法都比Jiang的方法的效果要好。
除了从PSNR和SSIM上对不同超分辨率的方法进行对比外，下面从视觉上对实验所得到的图像的结果进行了对比。实际效果图如说明书附图5和附图6所示。
由附图5和附图6可知，双三次的方法得到的图像比较模糊，有较重的锯齿效应。Zeyde的方法和ANR 的方法得到的图像效果较好，图像更清晰，SRCNN方法得到的效果更好，图像边缘细节部分更丰富。本发明所提出的方法相比双三次方法，Zeyde的方法，ANR的方法，和SRCNN方法来说，图像在视觉效果上会有更少的锯齿效应，更尖锐的图像边缘和更好的纹理细节效果。