一种基于通道注意力机制的图像质量增强方法

本发明涉及数字图像处理、计算机视觉领域，具体涉及一种基于通道注意力机制的图像质量增强方法。

背景技术：

图像相比文字能够提供更加生动、容易理解及更具艺术感的信息，是人们转递与交换信息的重要来源。图像增强技术就是利用低质量，细节缺失的图像来产生高质量，细节丰富的图像。

目前，图像增强技术可以分为三类：基于空域、基于频域和基于学习的方法。基于空域的方法直接作用于图像像素，对图像进行处理。基于频域的方法是在图像的某种变换域内对图像的变换系数进行修正，然后再反变换到原来的空域，得到增强的图像。随着深度学习的快速发展，基于学习的图像增强算法更是近年来研究的热点。它采用大量高质量图像产生学习模型，在对低质量图像进行恢复的过程中引入学习模型学习到的先验知识，训练神经网络来寻找低质量图像与其对应的高质量图像之间的对应关系，从而得到更丰富的细节，获得令人满意的图像增强效果。基于深度学习的方法有ll-net、mbllen、lightennet等，这些模型都有一定的图像增强能力，但由于网络层数的限制，模型能提取到的细节信息数量很有限，生成的图像不够锐利，细节不够丰富。

技术实现要素：

基于现有技术所存在的问题，本发明的目的是提供一种基于通道注意力机制的图像质量增强方法，能解决现有图像增强方法中，所存在的不够锐利，细节不够丰富等问题。

本方法为解决公知技术中存在的技术问题所采取的技术方案是：

一种基于通道注意力机制的图像质量增强方法，步骤如下：

步骤一，将高质量原图处理成对应的低质量图像，得到低质量-高质量图像对照组。

步骤二，搭建图像增强网络模型。

步骤三，通过步骤一得到的低质量图像训练图像增强网络模型。

步骤四，将低质量的图像输入训练好的图像增强网络模型得到高质量图像。

由上述本发明提供的技术方案可以看出，本发明实施例提供的图像增强方法，其有益效果为：

通过采用具有残差网络模块和通道注意力模块的神经网络模型作为图像增强模型，进行图像增强，通过残差网络和通道注意力网络模型配合，能利用低质量图像输出具有更丰富的细节的高质量图像。

附图说明

图1为本发明实施例流程图；

图2为本发明实施例图像增强网络模型的结构原理图；

图3为本发明实施例原始低质量图像示意图；

图4为使用本发明实施例提供的图像增强方法对原始图像进行增强后输出的图像。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1所示，本发明实施例提供一种图像增强方法，采用具有残差网络模块和通道注意力模块的神经网络模型对低质量图像进行增强，包括：

步骤一，将高质量原图处理成对应的低质量图像，得到低质量-高质量图像对照组，具体方法如下：

通过对高质量原图进行jpeg压缩，(qf<30)或改变曝光度(增加或降低曝光度在±3ev之间)的方法使图像的质量降低，得到低质量-高质量图像对照组；能解决实际中无法同时收集到只具有单一的可控的劣化因素的低质量图片，无法为深度学习提供大量数据的问题。

为扩充数据集样本数，使网络有更好的泛化性，将成对的低质量-高质量图像对照组进行相同的随机反转和旋转操作，为加快训练速度，将低质量-高质量图像对照组再进行随机选取裁剪位置的裁剪操作，裁剪成128*128的图像；

步骤二，搭建图像增强网络模型；

图像增强网络模型包括图像增强网络模型包括降采样部分，残差网络部分，通道注意力模块，上采样部分组成。其中降采样部分包括两级pixelunshuffle和一个卷积核大小为3*3的二维卷积，残差网络部分包括由n个结构相同的残差块组成的残差块部分和一个卷积核大小为3*3的二维卷积构成，上采样部分包括两级pixelshuffle和一个卷积核大小为3*3的二维卷积。

输入图像为经过步骤一处理后的低质量图像。

图像增强网络模型的结构如图2所示，其中：

降采样部分(downscale)采用两级pixelunshuffle方法对图像进行四倍降采样处理，将具有rgb三通道的图像输入，首先使用缩放倍数为2的pixelunshuffle方法将图像的长和宽缩小为输入图像的1/2，通道数变为12，然后使用卷积核大小为3*3的二维卷积将图像由12通道转为64通道，再使用缩放倍数为2的pixelunshuffle方法将图像的长和宽缩小为输入图像的1/4，通道数变为256，最后使用卷积核大小为3*3的二维卷积将图像由256通道转为64通道。

残差块部分为n个结构相同的残差块(residualblock)，每个残差块由卷积核大小为3*3的二维卷积、线性整流单元、卷积核大小为3*3的卷积组成，个数n为16。使用多个残差块搭建深层网络可以将浅层的信息传递至网络深层，避免产生梯度消失，网络退化等问题，使网络的特征提取和映射能力大幅度增强。此处使用的残差块仅包含3*3卷积、线性整理单元和3*3卷积，相较于传统的resnet去除了批归一化，此修改可大幅提升性能表现，同时有效降低gpu的显存使用率。

conv3*3为一个卷积核大小为3*3的二维卷积。

通道注意力模块(seblock)，由步长为2的3*3二维卷积、全局池化层、全连接层、线性整流单元、全连接层、sigmoid激活函数构成。seblock采用了一种全新的特征重标定策略，可以显式地建模特征通道之间的相互依赖关系。seblock首先对卷积得到的特征图进行squeeze操作，得到通道级的全局特征，然后对全局特征进行excitation操作，学习各个通道间的关系，也得到不同通道的权重，最后乘以原来的特征图得到最终特征。这种注意力机制让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征。从而使特征被更好的利用。

上采样部分(upscale)采用两级pixelshuffle方法对图像进行四倍上采样处理，首先通过一个卷积核大小为3*3的二维卷积将特征图的通道数由64变为256，然后使用缩放倍数为2的pixelshuffle方法将图像的长和宽放大为输入特征图的2倍，通道数变为64，再使用一个卷积核大小为3*3的二维卷积将特征图的通道数由64变为256，最后使用缩放倍数为2的pixelshuffle方法将图像的长和宽放大为输入特征图的4倍，通道数变为64，最后使用一个卷积核大小为3*3的二维卷积将64通道的特征图转换为rgb三通道的经过网络增强后的高质量图像输出。

步骤三，训练图像增强网络模型；

训练采用adam优化器作为优化器，采用charbonnierloss作为损失函数。在图形增强任务中，低质量的图像和高质量图像直接的对应关系并不是一一对应，完全确定的，低质量图像中信息量远少于高质量图像，一张低质量图像可能有多种对应的高质量图像，而依靠深度学习中常用的l1、l2范数训练生成的图像并不能很好的捕捉潜在高质量图像的综合特征，增强出来的图像往往过于平滑，因此本发明使用抗噪性更强的charbonnierloss作为损失函数，可以使网络具有更快的收敛速度，生成的图像具有更锐利的细节。

训练过程中，初始学习率设定为1e-4，每n个epoch学习率降为当前学习率的一半，前期较高的学习率能使网络快速收敛，后期较低的学习率能使模型进行微调，让模型效果更优，epoch数n根据训练数据集样本大小及训练效果决定，当学习率低于1e-6时结束训练。

步骤四，将低质量图像输入图像增强网络模型得到高质量图像，具体处理流程为：

输入低质量图像输入到训练好的图像增强网络模型中，如图3所示。经过降采样(downscale)使图像变为64通道的特征图，接下来经过n个残差块(residualblock)进行特征提取和特征映射，，残差块的个数n越大，网络深度越深，特征提取和映射的能力越强，但同时也会消耗更多的计算资源。residualblock输出的特征图经过一个3*3的卷积后与进入残差网络部分之前的64通道特征图进行加和处理，输出的特征图输入到seblock，应用注意力机制将特征图的不同通道分配得不同的权重。然后进行4倍上采样操作，将特征图恢复至输入图像的尺寸，最后通过一个3*3的卷积将64通道的特征图转变为3通道的rgb图像进行最终的输出，如图4所示。

进一步的，所述的残差块的个数n优选为16。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。