一种超分辨率图像的重构方法、重构系统和电子设备与流程

本发明涉及图像重建的技术领域，特别涉及一种超分辨率图像的重构方法、重构系统和电子设备。

背景技术：

超分辨率图像重构技术是指将一幅低分辨率图像或者图像序列进行重构处理以获得与之对应的超分辨率图像。其中，由于图像中的高频分量信息与图像中的细节相关，故超分辨率图像重构的关键在于将图像中的高频分量信息重构出来。现有的超分辨率图像的重构方法主要包括基于插值的方法、基于像素重构的方法和基于模型学习的方法；其中，基于双三次插值算法的超分辨率图像重构具有算法处理速度快和对平滑区域处理效果好的特点，但是其在处理边缘和纹理区域的过程中很容易引入模糊和噪声，从而造成图像重建质量的下降；而基于深度卷积神经网络模型的学习方法，则需要利用大量的高分辨率图像及其对应的低分辨率图像组成相应的训练样本对模型进行训练，虽然该方法能够获得较好的重构效果，但是其通常需要占用大量的运算内存和耗费较长的运算时间。可见，现有的关于超分辨率图像的重构技术普遍存在使用图像区域范围小、容易引入模糊与噪声、占用大量运算内存和耗时较长的缺点，其不能提供一种同时具有重构噪声小、重构成本较低和重构速度快的超分辨率图像重构方法。

技术实现要素：

针对现有技术存在的缺陷，本发明提供一种超分辨率图像的重构方法和重构系统，该超分辨率图像的重构方法和重构系统通过将传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式两者进行有机结合，其首先根据像素插值图像重构方式分别对训练图像和测试图像进行预插值重构处理以初步提高该训练图像和该测试图像的分辨率，再根据处理后的该训练图像对深度卷积神经网络模型进行优化学习训练处理，最后基于优化学习训练处理后的该深度卷积神经网络模型对该测试图像进行相应的图像重构处理，从而输出相应的超分辨率图像；可见，该超分辨率图像的重构方法和重构系统同时利用了传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式各自的在图像重构中的优点，这样能够保证其在对图像的不同区域范围进行相应的图像重构操作的同时不会引用模糊和噪声，并且还能够减少深度卷积神经网络模型的运算量，从而降低该深度卷积神经网络模型的内存占用量和缩短运算时间，以降低图像重构的成本和提高图像重构的速度。

本发明提供一种超分辨率图像的重构方法，其特征在于，所述超分辨率图像的重构方法包括如下步骤：

步骤s1，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；

步骤s2，根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据所述学习训练处理得到的关于所述深度卷积神经网络模型的特征图和/或映射结果，优化所述深度卷积神经网络模型；

步骤s3，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将所述测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像；

进一步，在所述步骤s1中，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集具体包括，

步骤s101，将所述图像训练集中的每一个训练图像转换至ycbcr颜色空间，以对应得到若干ycbcr颜色训练图像；

步骤s102，对每一个ycbcr颜色训练图像进行关于y分量的降采样处理；

步骤s103，对经过所述降采样处理的每一个所述ycbcr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集；

进一步，在所述步骤s103中，对经过所述降采样处理的每一个所述ycbcr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集具体包括，

步骤s1031，确定每一个所述ycbcr颜色训练图像中对应的待插值像素点以及所述待插值像素点附件像素区域对应的九个参考像素点；

步骤s1032，根据所述九个参考像素点，在水平方向和垂直方向上对所述待插值像素点进行三阶插值处理；

步骤s1033，根据下面公式(1)，计算经过所述三阶插值处理后的所述待插值像素点对应的像素值f(i+u，j+v)

在上述公式(1)中，i和j为预设中心点对应的坐标，row为所述像素值的行数，col为所述像素值的列数，u和v分别为所述待插值像素点与所述预设中心点在水平方向和垂直方向上的距离，w(x)为一分段函数，其具体表达式如下面公式(2)

步骤s1034，根据计算得到的所述像素值，将所述训练图像转换成具有比所述训练图像初始分辨率高的分辨率的预处理图像，以构成所述预处理图像训练集；

进一步，在所述步骤s2中，根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据所述学习训练处理得到的关于所述深度卷积神经网络模型的特征图和/或映射结果，优化所述深度卷积神经网络模型具体包括，

步骤s201，根据tensorflow架构，构建具有四层结构的所述深度卷积神经网络模型，同时对所述预处理图像训练集进行筛选处理以获得输入图像训练集；

步骤s202，将所述输入图像训练集的每一个图像的输入至所述深度卷积神经网络模型的循环网络模块中，以对所述输入图像训练集的每一个图像进行单次学习训练处理，以获得关于所述输入图像训练集的每一个图像对应的降维化学习训练结果；

步骤s203，对所述降维化学习训练结果进行特征和/或非线性映射的提取处理，以此优化所述深度卷积神经网络模型；

进一步，在所述步骤s203中，对所述降维化学习训练结果进行特征和/或非线性映射的提取处理具体包括，

步骤s2031，根据下面公式(3)，计算得到所述输入图像训练集的每一个图像对应的特征块f1(n)

f1(n)＝max(0，w1*n+b1)(3)

在上述公式(3)中，w1为权值矩阵，其中w1＝c×f1×f1×n1，c为所述输入图像训练集的每一个图像对应的通道数，f1为所述深度卷积神经网络模型的第一层中单个卷积核的尺寸，n1为所述深度卷积神经网络模型中第一层的卷积核的个数，b1为一偏置向量，max()为取最大值运算，

将所述特征块f1(n)组合形成所述卷积神经网络中第一层对应的特征图；

步骤s2032，根据下面公式(4)，将所述卷积神经网络中第一层对应的特征图映射到所述卷积神经网络中第二层中，以获得对应的非线性映射特征图f2(n)

f2(n)＝max(0，w2*f1(n)+b2)(4)

在上述公式(4)中，w2为权值矩阵，其中w2＝n1×f2×f2×n2，n1为所述深度卷积神经网络模型中第一层的卷积核的个数，n2为所述深度卷积神经网络模型中第二层的卷积核的个数，f2为所述深度卷积神经网络模型的第二层中单个卷积核的尺寸，b2为一偏置向量，max()为取最大值运算；

进一步，在所述步骤s3中，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将所述测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像具体包括，

步骤s301，对所述图像测试集中的每一个测试图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成预处理图像测试集；

步骤s302，基于上述步骤s2031和步骤s2032，获取关于所述预处理图像测试集中每一个图像对应的特征块f1(n)和非线性映射特征图f2(n)；

步骤s303，根据下面公式(5)，计算出所述预处理图像测试集中每一个图像对应的超分辨率特征图

f3(n)＝w3*f2(n)+b3(5)

在上述公式(5)中，w3为权值矩阵，其中w3＝n2×f3×f3×c，n2为所述深度卷积神经网络模型中第二层的卷积核的个数，f3为所述深度卷积神经网络模型的第三层中单个卷积核的尺寸，c为超分辨率图像于所述深度卷积神经网络模型的输出通道数，b3为一维度为c的偏置向量；

步骤s304，将步骤s303计算得到的所有超分辨率特征图进行组合，以得到与所述测试图像对应的所述超分辨率图像。

本发明还提供一种超分辨率图像的重构系统，其特征在于：

所述超分辨率图像的重构系统包括第一图像预处理模块，神经网络模型训练模块、特征图/映射结果计算模块、第二图像预处理模块和超分辨率图像计算模块；其中，

所述第一图像预处理模块用于对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；

所述神经网络模型训练模块用于根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理；

所述特征图/映射结果计算模块用于计算所述预处理图像训练集对应于所述深度卷积神经网络模型的特征图和/或映射结果，并以此优化所述深度卷积神经网络模型；

所述第二图像预处理模块用于对图像测试集中的测试图像进行关于插值变换的第二图像预处理；

所述超分辨率图像计算模块用于将经所述第二图像预处理的图像测试集中的测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像；

进一步，所述第一图像预处理模块包括颜色空间变换子模块、降采样处理子模块和第一插值变换子模块；其中，

所述颜色空间变换子模块用于将所述图像训练集中的每一个训练图像转换至ycbcr颜色空间，以对应得到若干ycbcr颜色训练图像；

所述降采样处理子模块用于对每一个ycbcr颜色训练图像进行关于y分量的降采样处理；

所述第一插值变换子模块用于对经过所述降采样处理的每一个所述ycbcr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集；

进一步，所述第二图像预处理模块包括第二插值变换子模块；其中

所述第二插值变换子模块用于对所述图像测试集中的每一个测试图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成预处理图像测试集。

本发明还提供一种电子设备，其特征在于：

所述电子设备包括摄像镜头、ccd传感器和主控芯片；其中，

所述摄像镜头用于形成关于目标对象的成像光信号；

所述ccd传感器用于将所述成像光信号转换为数字信号；

所述主控芯片用于根据前述的超分辨率图像的重构方法对所述数字信号对应的低分辨率图像进行图像重构操作，以获得相应的超分辨率图像。

相比于现有技术，该超分辨率图像的重构方法和重构系统通过将传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式两者进行有机结合，其首先根据像素插值图像重构方式分别对训练图像和测试图像进行预插值重构处理以初步提高该训练图像和该测试图像的分辨率，再根据处理后的该训练图像对深度卷积神经网络模型进行优化学习训练处理，最后基于优化学习训练处理后的该深度卷积神经网络模型对该测试图像进行相应的图像重构处理，从而输出相应的超分辨率图像；可见，该超分辨率图像的重构方法和重构系统同时利用了传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式各自的在图像重构中的优点，这样能够保证其在对图像的不同区域范围进行相应的图像重构操作的同时不会引用模糊和噪声，并且还能够减少深度卷积神经网络模型的运算量，从而降低该深度卷积神经网络模型的内存占用量和缩短运算时间，以降低图像重构的成本和提高图像重构的速度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种超分辨率图像的重构方法的流程示意图。

图2为本发明提供的一种超分辨率图像的重构系统的结构示意图。

图3为本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明实施例提供的一种超分辨率图像的重构方法的流程示意图。该超分辨率图像的重构方法包括如下步骤：

步骤s1，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集。

优选地，在该步骤s1中，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集具体包括，步骤s101，将该图像训练集中的每一个训练图像转换至ycbcr颜色空间，以对应得到若干ycbcr颜色训练图像；

步骤s102，对每一个ycbcr颜色训练图像进行关于y分量的降采样处理；

步骤s103，对经过该降采样处理的每一个该ycbcr颜色训练图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成该预处理图像训练集。

优选地，在该步骤s103中，对经过该降采样处理的每一个该ycbcr颜色训练图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成该预处理图像训练集具体包括，

步骤s1031，确定每一个该ycbcr颜色训练图像中对应的待插值像素点以及该待插值像素点附件像素区域对应的九个参考像素点；

步骤s1032，根据该九个参考像素点，在水平方向和垂直方向上对该待插值像素点进行三阶插值处理；

步骤s1033，根据下面公式(1)，计算经过该三阶插值处理后的该待插值像素点对应的像素值f(i+u，j+v)

在上述公式(1)中，i和j为预设中心点对应的坐标，row为该像素值的行数，col为该像素值的列数，u和v分别为该待插值像素点与该预设中心点在水平方向和垂直方向上的距离，w(x)为一分段函数，其具体表达式如下面公式(2)

步骤s1034，根据计算得到的该像素值，将该训练图像转换成具有比该训练图像初始分辨率高的分辨率的预处理图像，以构成该预处理图像训练集。

步骤s2，根据该预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据该学习训练处理得到的关于该深度卷积神经网络模型的特征图和/或映射结果，优化该深度卷积神经网络模型。

优选地，在该步骤s2中，根据该预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据该学习训练处理得到的关于该深度卷积神经网络模型的特征图和/或映射结果，优化该深度卷积神经网络模型具体包括，

步骤s201，根据tensorflow架构，构建具有四层结构的该深度卷积神经网络模型，同时对该预处理图像训练集进行筛选处理以获得输入图像训练集；

步骤s202，将该输入图像训练集的每一个图像的输入至该深度卷积神经网络模型的循环网络模块中，以对该输入图像训练集的每一个图像进行单次学习训练处理，以获得关于该输入图像训练集的每一个图像对应的降维化学习训练结果；

步骤s203，对该降维化学习训练结果进行特征和/或非线性映射的提取处理，以此优化该深度卷积神经网络模型。

优选地，在该步骤s203中，对该降维化学习训练结果进行特征和/或非线性映射的提取处理具体包括，

步骤s2031，根据下面公式(3)，计算得到该输入图像训练集的每一个图像对应的特征块f1(n)

f1(n)＝max(0，w1*n+b1)(3)

在上述公式(3)中，w1为权值矩阵，其中w1＝c×f1×f1×n1，c为该输入图像训练集的每一个图像对应的通道数，f1为该深度卷积神经网络模型的第一层中单个卷积核的尺寸，n1为该深度卷积神经网络模型中第一层的卷积核的个数，b1为一偏置向量，max()为取最大值运算，

将该特征块f1(n)组合形成该卷积神经网络中第一层对应的特征图；

步骤s2032，根据下面公式(4)，将该卷积神经网络中第一层对应的特征图映射到该卷积神经网络中第二层中，以获得对应的非线性映射特征图f2(n)

f2(n)＝max(0，w2*f1(n)+b2)(4)

在上述公式(4)中，w2为权值矩阵，其中w2＝n1×f2×f2×n2，n1为该深度卷积神经网络模型中第一层的卷积核的个数，n2为该深度卷积神经网络模型中第二层的卷积核的个数，f2为该深度卷积神经网络模型的第二层中单个卷积核的尺寸，b2为一偏置向量，max()为取最大值运算。

步骤s3，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将该测试图像输入至经过优化的该卷积神经网络中，以输出得到与该测试图像对应的超分辨率图像。

优选地，在该步骤s3中，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将该测试图像输入至经过优化的该卷积神经网络中，以输出得到与该测试图像对应的超分辨率图像具体包括，

步骤s301，对该图像测试集中的每一个测试图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成预处理图像测试集；

步骤s302，基于上述步骤s2031和步骤s2032，获取关于该预处理图像测试集中每一个图像对应的特征块f1(n)和非线性映射特征图f2(n)；

步骤s303，根据下面公式(5)，计算出该预处理图像测试集中每一个图像对应的超分辨率特征图

f3(n)＝w3*f2(n)+b3(5)

在上述公式(5)中，w3为权值矩阵，其中w3＝n2×f3×f3×c，n2为该深度卷积神经网络模型中第二层的卷积核的个数，f3为该深度卷积神经网络模型的第三层中单个卷积核的尺寸，c为超分辨率图像于该深度卷积神经网络模型的输出通道数，b3为一维度为c的偏置向量；

步骤s304，将步骤s303计算得到的所有超分辨率特征图进行组合，以得到与该测试图像对应的该超分辨率图像。

参阅图2，为本发明实施例提供的一种超分辨率图像的重构系统的结构示意图。该超分辨率图像的重构系统包括第一图像预处理模块，神经网络模型训练模块、特征图/映射结果计算模块、第二图像预处理模块和超分辨率图像计算模块；其中，

该第一图像预处理模块用于对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；

该神经网络模型训练模块用于根据该预处理图像训练集，对深度卷积神经网络模型进行学习训练处理；

该特征图/映射结果计算模块用于计算该预处理图像训练集对应于该深度卷积神经网络模型的特征图和/或映射结果，并以此优化该深度卷积神经网络模型；

该第二图像预处理模块用于对图像测试集中的测试图像进行关于插值变换的第二图像预处理；

该超分辨率图像计算模块用于将经该第二图像预处理的图像测试集中的测试图像输入至经过优化的该卷积神经网络中，以输出得到与该测试图像对应的超分辨率图像。

优选地，该第一图像预处理模块包括颜色空间变换子模块、降采样处理子模块和第一插值变换子模块；

优选地，该颜色空间变换子模块用于将该图像训练集中的每一个训练图像转换至ycbcr颜色空间，以对应得到若干ycbcr颜色训练图像；

优选地，该降采样处理子模块用于对每一个ycbcr颜色训练图像进行关于y分量的降采样处理；

优选地，该第一插值变换子模块用于对经过该降采样处理的每一个该ycbcr颜色训练图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成该预处理图像训练集；

优选地，该第二图像预处理模块包括第二插值变换子模块；

优选地，该第二插值变换子模块用于对该图像测试集中的每一个测试图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成预处理图像测试集。

参阅图3，为本发明实施例提供的一种电子设备的结构示意图。该电子设备包括摄像镜头、ccd传感器和主控芯片；其中，

该摄像镜头用于形成关于目标对象的成像光信号；

该ccd传感器用于将该成像光信号转换为数字信号；

该主控芯片用于根据前述的超分辨率图像的重构方法对该数字信号对应的低分辨率图像进行图像重构操作，以获得相应的超分辨率图像。

从上述实施例的内容可知，该超分辨率图像的重构方法和重构系统通过将传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式两者进行有机结合，其首先根据像素插值图像重构方式分别对训练图像和测试图像进行预插值重构处理以初步提高该训练图像和该测试图像的分辨率，再根据处理后的该训练图像对深度卷积神经网络模型进行优化学习训练处理，最后基于优化学习训练处理后的该深度卷积神经网络模型对该测试图像进行相应的图像重构处理，从而输出相应的超分辨率图像；可见，该超分辨率图像的重构方法和重构系统同时利用了传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式各自的在图像重构中的优点，这样能够保证其在对图像的不同区域范围进行相应的图像重构操作的同时不会引用模糊和噪声，并且还能够减少深度卷积神经网络模型的运算量，从而降低该深度卷积神经网络模型的内存占用量和缩短运算时间，以降低图像重构的成本和提高图像重构的速度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。