基于卷积神经网络的模糊监控图像超分辨率重建方法

1.本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络的模糊监控图像超分辨率重建方法。


背景技术：

2.近年来，人工智能快速发展，硬件软件条件得到了极大的提高。计算机视觉领域通过结合深度学习的卷积神经网络实现了性能的飞跃提升，促使大量研究人员涌身图像处理领域。科学表明，人们接受的信息有75%左右是通过视觉神经传递的，图像作为一种信息载体，不仅信息量大而且直观易理解，所以图像在安防监控、遥感卫星图像和医学图像等领域的应用越来越广泛。随着图像处理在越来越多领域的应用，对图像的质量要求也越来越高，而图像分辨率是衡量图像清晰度的一个重要依据，分辨率越高则代表图像越清晰，由于高分辨率的图像包含更多有用的信息，所以在很多图像的应用领域中，都期望获得高分辨率图像。
3.提高图像分辨率的方法大致有以下两种方式：其一，是提高设备的成像条件，更换更好成像设备，但是由于采集图像质量对硬件要求高，这样会对小型企业和个人带来过大的成本负担；其二，采用超分辨率重建技术，近几年对于图像超分辨率重建技术的研究大致可以分为以下三种：基于插值的方法。主要有双三次插值、最近邻插值、lanczos插值和双线性插值，是将低像素图片中低像素值输入到人为设计的函数关系式从而得到输出的新的像素值，然后将新的像素值填补到低像素值得周围，从而放大原始图像，以达到放大图像提高图像分辨率的目的。
4.基于重建的方法。主要是利用图像的退化模型，研究原始图像视觉场景如何演化得到最后观察到的图像，本质是研究低像素图像（lr图像）从而估计原始的高像素图像（hr图像），然而基于重建的算法需要用到图像的先验信息，包括图像的稀疏性、局部平滑性以及非局部自相似性等，经典的基于重建的超分辨率算法有迭代反投影法、凸集投影法和最大后验概率法。
5.基于学习的方法。基于学习的图像超分辨率算法首次由freeman wt et.al[6]提出。该方法相对于深度学习而言属于浅层学习，使用传统的机器学习算法，通常只包含1层或2层的非线性特征转换层。该方法的思想是通过研究学习低像素图像和高像素图像之间的学习关系映射，然后利用这种关系对输入的低分辨率图像重建出高分辨率图像。
[0006]
但上述三种超分辨率重建方法中，特征提取能力较弱，引入了过多的人工冗余信息，不利于图像超分辨率的重建。


技术实现要素：

[0007]
鉴于此，本发明提供一种基于卷积神经网络的模糊监控图像超分辨重建方法。
[0008]
具体方案如下：
基于卷积神经网络的模糊监控图像超分辨率重建方法，包括如下步骤，步骤s10：建立数据集，并对所述数据集进行预处理。
[0009]
步骤s20：建立神经网络模型，所述神经网络模型包括第一分支和第二分支，所述第二分支包括特征提取单元、学习映射单元和图像重建单元，其中，所述特征提取单元为双通道特征提取单元，所述学习映射单元为残差块学习映射单元，所述特征提取单元、学习映射单元和图像重建单元依次连接，所述图像重建单元的输出与第一分支的输出进行特征图融合；步骤s30：对构建的神经网络模型进行训练和测试，通过损失函数指导网络的训练，得到训练好的神经网络模型。
[0010]
所述第一分支为插值层，所述插值层采用双三次插值方法对图像进行处理。
[0011]
所述双通道特征提取单元包括第一通道卷积层、第二通道卷积层和连接层，所述第一通道卷积层和第二通道卷积层通过连接层连接。
[0012]
所述第一通道卷积层为28个5*5的卷积核，所述第二通道卷积层包括两层卷积层，且每层卷积层中均包括28个5*5的卷积核。
[0013]
所述残差块学习映射单元包括第一卷积层、残差块层和特征融合层，其中，所述连接层与第一卷积层连接，所述第一卷积层的输出与残差块层的输入连接，所述第一卷积层的输出还通过长跳转操作与特征融合层连接，所述残差块层的输出与特征融合层连接，所述特征融合层将第一卷积层的输出和残差块层的输出进行残差特征融合。
[0014]
所述残差块层包括四层残差块，每层残差块依次连接，其中，每层残差块中均包括第三卷积层、激活函数层和第四卷积层，所述第三卷积层通过激活函数层与第四卷积层连接，所述第三卷积层和第四卷积层均为3*3的卷积层。
[0015]
所述图像重建单元包括第五卷积层和上采样块，所述第五卷积层和上采样块连接，所述上采样块包括第六卷积层和像素重排层，所述第六卷积层为3*3的卷积层。
[0016]
步骤s10中，对数据集进行预处理的方法包括如下步骤：s101）：将数据集中的每张图像尺寸均缩放至为原图像的一半；s102）：将缩放后的每张图像均进行270
°
，180
°
和90
°
的旋转。
[0017]
步骤s30中的损失函数为均方误差损失函数，所述均方误差损失函数为：其中，m为数据集中的图像样本数量，是数据集中图像样本的次序，， 是第个样本的真实值，是第个样本的预测值。
[0018]
本发明公开了一种基于卷积神经网络的模糊监控图像超分辨率重建方法，建立卷积神经网络，所述神经网络模型包括第一分支和第二分支，所述第二分支包括特征提取单元、学习映射单元和图像重建单元，第一分支采用插值算法将低分辨率图像生成高分辨率图像，同时与第二分支中的神经网络生成的图像进行特征融合，增强了图像重建的质量。
[0019]
此外，在第二分支中通过使用双通道进行特征提取，增大模型网络对图像高频有用特征的提取能力，避免引入过多人工冗余信息，同时，学习映射单元采用卷积层和残差块的特征融合强化卷积神经网络的特征学习，所述学习映射单元学习低分辨率图像和高分辨率图像之间的映射关系；并使用均方误差损失函数优化神经网络的低分辨率图像和高分辨
率图像的映射关系，进一步增强了图像重建的质量。
附图说明
[0020]
图1是本发明卷积神经网络总体架构示意图。
[0021]
图2是本发明卷积神经网络结构示意图。
[0022]
图3是学习映射单元的网络结构示意图。
[0023]
图4是上采样块结构示意图。
具体实施方式
[0024]
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施，而不是全部的实施，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0025]
基于卷积神经网络的模糊监控图像超分辨率重建方法，包括如下步骤，步骤s10：建立数据集，并对所述数据集进行预处理。
[0026]
在本实施例中，所述数据集作为神经网络的训练集，并对所述数据集进行预处理，得到多张与高分辨率图像对应的低分辨率图像，对数据集进行预处理的方法包括如下步骤：s101）：将数据集中的每张图像尺寸均缩放至为原图像的一半；s102）：将缩放后的每张图像均进行270
°
，180
°
和90
°
的旋转。
[0027]
步骤s20：建立神经网络模型，如图1所示，所述神经网络模型包括第一分支1和第二分支2，所述第二分支2包括特征提取单元3、学习映射单元4和图像重建单元5，其中，所述特征提取单元3为双通道特征提取单元，所述学习映射单元4为残差块学习映射单元，所述特征提取单元3、学习映射单元4和图像重建单元5依次连接，所述图像重建单元5的输出与第一分支1的输出进行特征图融合；步骤s30：对构建的神经网络模型进行训练和测试，通过损失函数指导网络的训练，得到训练好的神经网络模型。
[0028]
所述第一分支1为插值层，所述插值层采用双三次插值方法对图像进行处理。
[0029]
在图1中，所述lr为低分辨率图像，所述hr为高分辨率图像，在本实施例中，所述低分辨率图像首先通过第一分支1的差值层将低分辨率图像生成为高分辨率图像，在本实施例中，所述双三次插值方法可以将一个低分辨率图像生成一个具有二倍率的高分辨率图像，所述第一分支1生成的高分辨图像与第二分支2中神经网络生成的图像进行特征融合最终实现图像的超高分辨率重建。
[0030]
如图2所示，所述双通道特征提取单元3包括第一通道卷积层6、第二通道卷积层7和连接层8，所述第一通道卷积层6和第二通道卷积层7通过连接层8连接。采用双通道特征提取增大了神经网络模型对图像中高频有用特征的提取能力。
[0031]
优选地，所述第一通道卷积层6为28个5*5的卷积核，所述第一通道卷积层6的输入通道数优选为1，输出通道数优选为28，即第一通道卷积层输出的特征图数量为28个，所述第二通道卷积层7包括两层卷积层，且每层卷积层中均包括28个5*5的卷积核，其中，第二通
道卷积7中的第一层的卷积层输入通道数为1，输出通道数为28，第二通道卷积层7中的第二层的卷积层输入通道数为28，输出通道数为28，即第二通道卷积层输出的特征图的数量为28个。
[0032]
所述连接层8通过contact操作将第一通道卷积层6的28个输出通道与第二通道卷积层7的28个输出通道进行连接，得到56个输出通道，也即是得到56个特征图。
[0033]
所述残差块学习映射单元包括第一卷积层9、残差块层11和特征融合层12，其中，所述连接层8与第一卷积层9连接，所述第一卷积层9的输出与残差块层11的输入连接，所述第一卷积层9的输出还通过长跳转操作与特征融合层12连接，所述残差块层11的输出与特征融合层12连接，所述特征融合层12将第一卷积层9的输出和残差块层11的输出进行残差特征融合。
[0034]
如图3所示，所述残差块层11包括四层残差块10，每层残差块10依次连接，其中，每层残差块10中均包括第三卷积层15、激活函数层16和第四卷积层17，所述第三卷积层15通过激活函数层16与第四卷积层17连接，所述第三卷积层15和第四卷积层17均为3*3的卷积层，即是conv3，所述第三卷积层15和第四卷积层17的输入和输出通道数量均为12个，图3中的lsc为long skip contact，即是长跳转操作。
[0035]
所述第一卷积层9为1*1的卷积，即conv1，所述第一卷积层9的输入通道数为56个，所述第一卷积层9的输出通道数为12个，所述第一卷积层9对连接层8输出的特征图进行降维，所述第一卷积层9的输出分为两路，其中一路通过长跳转操作与特征融合层12连接，另一路通过四层残差块10后再次输入至特征融合层12中，实现残差特征融合。
[0036]
所述激活函数层16为leakyrelu激活函数，所述激活函数层16将卷积操作后的输出特征图进行激活。
[0037]
如图4所示，所述图像重建单元5包括第五卷积层13和上采样块14，所述第五卷积层13和上采样块14连接，所述上采样块14包括第六卷积层18和像素重排层19，所述第六卷积层18为3*3的卷积层,即是conv3。
[0038]
所述第五卷积层13为1*1的卷积，即conv1，所述第五卷积层13的输入通道数优选为12个，所述第五卷积层13的输出通道数优选为56个，所述采样块14可以将像素进行重新排列，得到一个放大二倍的图像。
[0039]
步骤s30中的损失函数为均方误差损失函数，所述均方误差损失函数为：其中，m为数据集中的图像样本数量，是数据集中图像样本的次序，是第个样本的真实值，是第个样本的预测值。
[0040]
本发明中第一分支1将低像素图像通过双三次插值，即bicubic，对低像素图像放大二倍，第二分支2中包括基于双通道的特征提取部分，基于残差块的学习映射部分和基于子像素卷积的图像重建部分，在最终输出高分辨率图像前将两分支得到的放大二倍的图像进行权重加和得到最终输出的高分辨率图像。
[0041]
本发明公开了一种基于卷积神经网络的模糊监控图像超分辨率重建方法，建立卷积神经网络，所述神经网络模型包括第一分支和第二分支，所述第二分支包括特征提取单元、学习映射单元和图像重建单元，第一分支采用插值算法将低分辨率图像生成高分辨率
图像，同时与第二分支中的神经网络生成的图像进行特征融合，增强了图像重建的质量。
[0042]
此外，在第二分支中通过使用双通道进行特征提取，增大模型网络对图像高频有用特征的提取能力，避免引入过多人工冗余信息，同时，学习映射单元采用卷积层和残差块的特征融合强化卷积神经网络的特征学习，所述学习映射单元学习低分辨率图像和高分辨率图像之间的映射关系；并使用均方误差损失函数优化神经网络的低分辨率图像和高分辨率图像的映射关系，进一步增强了图像重建的质量。
[0043]
本发明适用于对监控图像超分辨率重建工作，在不增加硬件设备的基础上使图像分辨率更高，图像更清晰，使用本发明技术，即使在成像环境不如意的条件下也可以获得高质量的监控图像照片，从而获得更清晰的监控图像信息和细节，方便管理人员进行监视和预防犯罪，也可为警方取证追捕提供更多有价值的线索。
[0044]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。