一种基于微注意力的轻量化图像超分辨率重建方法及装置

本发明涉及计算机视觉领域，具体涉及一种基于微注意力的轻量化图像超分辨率重建方法及装置。

背景技术：

1、图像超分辨率重建旨在从因各种原因而退化的低分辨率图像中重建出拥有纹理细节以及良好视觉效果的高分辨率图像。图像超分辨率重建是一个不适定的任务，对于某一个低分辨率图像输入，可能存在着多个不同的高分辨率图像与之对应，是一种一对多的映射关系。超分辨率是计算机视觉以及图像处理领域中一个重要的任务，它被广泛地应用在目标检测、智能移动设备、大型的智能屏幕显示设备、医学图像、安全监控中的目标识别以及遥感图像等领域。

2、近年来，随着深度学习在计算机视觉领域的兴起，并在各个视觉任务中取得了远远超过传统方法的成果。自然地，将深度学习应用到图像超分辨率上也成为当下的热点，大量基于深度学习的图像超分辨率算法如雨后春笋般涌现并在取得了远超传统图像重建方法的世界一流成绩。尤其在transformer模型(自注意力模型)应用到图像处理领域，研究人员发现其拥有远超卷积神经网络的特征提取能力。transformer在图像超分辨率重建上也取得了巨大成就，然而现阶段大多数方法都具有巨大的参数量，复杂的网络结构，随之而来的就是模型体积大，运算速率慢。这些问题导致就注定了其很难被部署到移动设备和边缘设备等一系列计算资源有限的设备上。为了解决这些问题，大量的轻量型深度学习网络模型被提出。

3、其中，imdn网络(lightweight image super-resolution with informationmulti-distillationnetwork，超分辨率网络)是该类算法中的经典算法，但以该模型为代表的轻量型超分辨率算法由于使用了普通的卷积核而导致部分冗余参数；另外，这种普通的卷积机制的感受野较小，存在着无法捕捉长距离信息依赖关系的问题；为了减少运算量，很多轻量型网络在细节重建上表现欠佳。总之，这些方法没有很好地同时在模型容量，运行时间以及超分辨率结果上取得一个很好地平衡。因此，亟需设计一种在使得模型在各个方面都更加轻量化的同时还能很好保持模型超分辨率结果的方案。

技术实现思路

1、针对现有技术中存在的缺陷，本发明的目的在于提供一种基于微注意力的轻量化图像超分辨率重建方法及装置。本发明利用递归思想将深层特征提取分解为4个迭代的模块，通过这种方法有效地降低了模型复杂度，提高了信息处理效率，相比于已有的轻量化图像超分辨率模型，本发明在取得优良的图像超分辨率重建结果的同时减小模型的容量和计算消耗来提升模型的推理速度。

2、为达到以上目的，本发明采取的技术方案是：

3、基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力transformer模块；

4、收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；

5、基于微注意力机制和混合注意力transformer模块，构建轻量化图像超分辨网络；

6、基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；

7、基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。

8、在上述技术方案的基础上，对于移动分组卷积，构建的具体步骤包括：

9、初始化一个3*3值为0的卷积权重，并将通道分为5份，每份通道大小记为g；

10、将[0,g]通道的(0，0)位置的权重设为1，关注左上角信息；将[g，2g]通道的(0，2)位置的权重设为1，关注右上角信息；将[2g，3g]通道的(0，0)位置的权重设为1，关注左下角信息；将[3g,4g]通道的(2，2)位置的权重设为1，关注右下角信息；将[4g，5g]通道的(1，1)位置的权重设为1，关注全局信息，并进行步长为1的分组卷积。

11、在上述技术方案的基础上，所述可变多头蓝图自注意力用于对头部数量进行设置和控制，以及进行q、k、v的提取，并将q与k相乘得到注意力矩阵，将注意力矩阵与v相乘以对重点信息进行加强；

12、其中，q为查询矩阵，k为键矩阵，v为值矩阵。

13、在上述技术方案的基础上，所述蓝图前馈神经网络基于蓝图卷积和gelu激活函数构建得到。

14、在上述技术方案的基础上，所述收集预设数量的高低分辨率图像对，具体步骤包括：

15、下载图像恢复领域中提供的div2k数据集和flickr2k数据集中的高分辨率图像，以及下载高分辨率图像对应的不同下采样倍数的低分辨率图像。

16、在上述技术方案的基础上，所述基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数，具体步骤包括：

17、使用adam优化器计算梯度和更新基于微注意力机制的轻量化图像超分辨率网络参数，且计算和更新过程中迭代训练预设次数，并采用损失函数l1进行评估，将学利率设置为设定值，并采用cos余弦学习率下降；

18、其中，所述损失函数l1为：

19、

20、其中，hr为高分辨率图像，sr为图像超分辨率重建结果，n为图像超分辨率重建结果的像素点个数。

21、在上述技术方案的基础上，所述轻量化图像超分辨网络包括2个3*3的普通卷积和4个transformer模块组；

22、所述transformer模块组包括2个混合注意力transformer模块。

23、在上述技术方案的基础上，所述基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建，具体步骤包括：

24、将待处理图像输入轻量化图像超分辨网络，基于3*3的普通卷积提取得到浅层特征；

25、将待处理图像作为输入，输入到当前transformer模块组，控制第一个移动分组卷积进行通道扩张；

26、将通过第一个移动分组卷积的特征通过激活函数relu，并通过下一个移动分组卷积进行通道回缩；

27、通过对比感知通道注意力加强对通道重要信息的关注，将通道重要信息与通过第一个移动分组卷积的特征相加得到特征信息，并将特征信息再输入到蓝图前馈神经网络；

28、将通过蓝图前馈神经网络的特征信息输入蓝图多头自注意力，提取得到深层特征；

29、将提取得到的深层特征作为输入，输入到下一个transformer模块组，依此循环，直至第四个transformer模块组输出深层特征；

30、将第四个transformer模块组输出的深层特征与提取得到的浅层特征进行拼接，并通过3*3普通卷积和像素重组操作完成图像超分辨率重建。

31、在上述技术方案的基础上，所述蓝图多头自注意力的头部数量分别设置为1、2、4、8。

32、本发明还提供一种基于微注意力的轻量化图像超分辨率重建装置，包括：

33、构建模块，其用于基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力transformer模块，并基于微注意力机制和混合注意力transformer模块构建轻量化图像超分辨网络；

34、收集模块，其用于收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；

35、训练模块，其用于基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；

36、执行模块，其用于基于所述训练模块训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。

37、与现有技术相比，本发明的优点在于：

38、(1)本发明提出了一种轻量卷积——移动卷积，在通道上进行卷积，每个通道关注一个方向，只需要花费一个3*3通道卷积和一个1*1卷积的参数量，同时能有效关注四周的信息；

39、(2)本发明提出了一种微型的蓝图多头自注意力和一种蓝图前馈神经网络，它们组成了本发明的核心，能以较少的参数量获取丰富的细节信息并提高网络的特征表达能力；

40、(3)本发明提出了基于上述部件的混合注意力transformer模块，该模块以较快的计算速度，加强重要信息的关注，进行深层特征提取；

41、(4)本发明利用上述模块搭建了基于微注意力机制的轻量化图像超分辨重建网络，使得超分重建的过程被分成浅层特征提取、深层特征提取以及图像重建3个过程。利用递归思想将深层特征提取分解为4个迭代的模块，通过这种方法有效地降低了模型复杂度，提高了信息处理效率；

42、(5)相比于已有的轻量化图像超分辨率模型，本发明提出的网络取得不错的图像超分辨率重建结果的同时减小模型的容量和计算消耗来提升模型的推理速度。