一种基于小波变换和卷积神经网络的图像超分辨率重建方法与流程

本发明涉及图像超分辨率重建技术，尤其涉及一种基于小波变换和卷积神经网络的图像超分辨率重建方法。

背景技术：

人们运用数字信号处理技术从一帧或者多帧低分辨率图像中重构出高分辨率图像的过程叫做图像超分辨率重建。图像超分辨率重建能解决由于数字图像采集设备固有的分辨率级别限制导致的硬件设备成像分辨率较低的问题。除此之外，图像超分辨率重建还能解决由于各种复杂应用环境导致的图像细节缺失、噪声和欠采样等影响图像分辨率的问题。图像超分辨率重建在克服硬件设备限制和应用环境多变等困难的同时能够切实有效地提高图像的分辨率，节约各个应用领域的生产成本。

基于机器学习的图像超分辨率重建是当前人们用于解决图像超分辨率重建问题的主流方法，比如基于稀疏字典表示的图像超分辨率重建、基于卷积神经网络的图像超分辨率重建和基于生成对抗网络的图像超分辨率重建等。上述经典图像超分辨率重建方法都需要从大训练数据集中学习图像先验，然而单一的稀疏字典模型、卷积神经网络模型或者生成对抗网络模型的学习能力并不足以容纳训练数据集中的图像先验。因此，采用单一的机器学习模型不能实现最优的图像超分辨率重建效果。

技术实现要素：

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，本发明提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法，以至少解决现有的图像超分辨率重建方法因算法自身的学习能力有限而导致其超分辨率重建效果不能达到最优的问题。

根据本发明的一个方面，提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法，该方法包括：

在训练阶段：对训练数据集中的高分辨率图像ih进行高斯滤波及降采样处理生成对应的低分辨率图像il；对高分辨率图像ih做单尺度二维离散小波变换以提取其低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh等四个频率成分；以低分辨率图像il作为输入数据，以高分辨率图像的低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh分别作为标签，训练四个卷积神经网络模型。

在超分辨率重建阶段：将给定的测试低分辨率图像il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh；对上述高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像ih。

通过以上描述可知，本发明的一种基于小波变换和卷积神经网络的图像超分辨率重建方法，其一方面采取频域聚类的方式，从四个不同的频率成分上对图像进行超分辨率重建，能够使得卷积神经网络模型专门学习低分辨率图像到某一频率成分的映射；另一方面，该方法采用四个三层的卷积神经网络模型根据低分辨率图像生成高分辨率图像的四个频率成分，进而通过对四个频率成分进行单尺度二维离散小波反变换生成高分辨率图像，能够充分利用卷积神经网络模型的学习能力，使得超分辨率重建效果相对现有技术大大改善。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，用来进一步举例说明本发明的原理。在附图中：

图1a表示的是本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法所用的卷积神经网络模型的训练过程。

图1b表示的是本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法的图像超分辨率重建过程；

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是理性的任务。

还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的处理步骤，而忽略了与本发明关系不大的细节。

本发明的实施例提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法，该方法包括：

在训练阶段：对训练数据集中的高分辨率图像ih进行高斯滤波及降采样处理生成对应的低分辨率图像il；对高分辨率图像ih做单尺度二维离散小波变换以提取其低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh等四个频率成分；以低分辨率图像il作为输入数据，以高分辨率图像的低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh分别作为标签，训练四个卷积神经网络模型。

在超分辨率重建阶段：将给定的测试低分辨率图像il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh；对上述高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像ih。

下面结合图1a来描述本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法所用的卷积神经网络模型的训练过程。

如图1a所示，卷积神经网络模型的训练过程起始于步骤011：

在步骤011中，对训练数据集中的高分辨率图像ih进行高斯滤波及降采样处理生成对应的低分辨率图像il，其中高斯滤波器为σ是高斯滤波器的标准差；

在步骤012中，对训练数据集中的高分辨率图像ih做单尺度二维离散小波变换提取其低频分量fll＝hihh^*，水平低频垂直高频成分flh＝gihh^*，水平高频垂直低频成分fhl＝hihg^*，对角方向高频分量fhh＝gihg^*，其中h和g分别为一维尺度函数和一维小波函数对应的滤波器系数矩阵，且h和g满足hh^*+gg^*＝i，上标符号^*表示矩阵的共轭转置；

在步骤013中，以步骤011中生成的低分辨率图像il作为输入数据，以步骤012中生成的fll、flh、fhl和fhh作为标签，训练四个卷积神经网络模型，模型结构如下所述：

第一层包含一个卷积层(conv.1)和一个激活层(relu.1)，该层的输出结果为y1(il)＝max(0,w1*il+b1)，w1表示第一卷积层的卷积核，包含n1个大小为s1×s1的卷积核，*表示卷积操作，b1表示第一卷积层的偏置向量，f(x)＝max(0,x)表示激活层的激活函数；第二层包含一个卷积层(conv.2)和一个激活层(relu.2)，该层的输出结果为y2(il)＝max(0,w2*y1(il)+b2)，w2表示第二卷积层的卷积核，包含n2个大小为s2×s2的卷积核，b2表示第二卷积层的偏置向量；第三层包含一个卷积层(conv.3)，该层的输出结果为y3(il)＝w3*y2(il)+b3，w3表示第三卷积层的卷积核，包含一个大小为s3×s3的卷积核，b3表示第三卷积层的偏置向量。y3是该卷积网络模型的输出。

下面结合图1b来描述本发明的一种基于小波变换和卷积神经网络的图像超分辨率重建方法的图像超分辨率重建过程。

如图1b所示，给定测试低分辨率图像il的超分辨率重建过程起始于步骤021：

在步骤021中，给定测试低分辨率图像il被输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh；

在步骤022中，用卷积神经网络模型输出的高分辨率图像低频分量fll、水平低频垂直高频成分flh、水平高频垂直低频成分fhl和对角方向高频分量fhh做单尺度二维离散小波反变换ih＝h^*fllh+g^*flhh+h^*fhlg+g^*fhhg生成高分辨率图像，此处所用的一维尺度函数和一维小波函数对应的滤波器系数矩阵h和g与步骤012中相同。

由此，通过该实现方式实现本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法，该方法采用四个三层的卷积神经网络模型根据低分辨率图像生成高分辨率图像的四个频率成分，进而通过对四个频率成分进行单尺度二维离散小波反变换生成高分辨率图像，能够充分利用卷积神经网络模型的学习能力，使得超分辨率重建效果相对现有技术大大改善。