基于混合注意力和频域重构的图像超分方法、超分系统及图像压缩方法与流程

本发明涉及图像数据处理的，特别涉及一种基于混合注意力和频域重构的图像超分方法、压缩方法及系统。

背景技术：

1、图像超分辨率(super resolution，sr)是底层计算机视觉领域的经典问题，旨在将低分率小图放大成清晰的高分辨大图，被广泛应用在智能显示、医学成像、城市视频监控、图像压缩传输等领域。图像压缩则是图像超分的逆向选择，在一定范围内，将体积较大的超分图像压缩成体积较小但不影响图像画质信噪比的方式。

2、解决图像超分重建问题的最大挑战在于对模型结构的搭建及模型计算复杂度和稳定性的平衡，基于卷积神经网络的模型第一次将深度学习引入图像超分领域，是sr领域的开山之作。现有技术中，常常通过构建三层卷积网络模型完成图像重建工作，后续研究也在此基础上通过加深网络提高模型收敛速度、利用通道注意机制自适应增强有效信息、考虑融合跨尺度非局部注意模块和强大自样本数据挖掘单元，增强不同尺度信息的交互和增强能力等，但是由于受到原图感受野的限制，这些方法增加了模型的复杂度，在一定程度上对训练难度和计算要求均提出了更高的要求。

技术实现思路

1、发明目的：提出一种基于混合注意力和频域重构的图像超分方法、压缩方法及系统，以解决现有技术存在的上述问题，有效提图像像素利用率，以及增强图像分辨率。

2、技术方案：第一方面，提出一种基于混合注意力和频域重构的图像超分方法，该方法包括以下步骤：

3、步骤1、依次构建由浅层特征提取模块、深层特征提取模块和图像重建模块组成的混合模型；

4、步骤2、将待超分的压缩图像数据导入混合模型；

5、步骤3、待超分的压缩图像数据依次流经所述浅层特征提取模块、深层特征提取模块、图像重建模块，利用所述混合模型对待超分的压缩图像数据执行图像数据处理；

6、步骤4、获得超分图像数据，并输出当前结果。

7、其中，浅层特征提取模块用于提取模块读取待分析的压缩图像数据，并执行浅层特征提取，获得浅层特征图；深层特征提取模块用于执行输入图像空间维度到更高特征维度的映射，获得深层特征图；图像重建模块用于融合浅层特征图和深层特征图，并执行上采样操作获得超分图像数据。

8、深层特征提取模块包括：混合注意力模块和频域重构模块；混合注意力模块顺序包括：通道注意力模块和空间注意力模块；频域重构模块包括：并行的空间特征提取模块和快速傅里叶卷积模块。

9、其中，通道注意力模块包括：一个avg池化层、一个max池化层、一个1×1的降维卷积层、一个relu激活层、1×1的升维卷积层、一个sigmoid激活层；空间注意力模块包括：一个5×5的卷积层、一个relu激活层；空间特征提取模块包括：两个3×3卷积层和一个relu激活层；快速傅里叶卷积模块包括：3个卷积层、一个傅里叶正变换结构、一个傅里叶负变换结构。

10、在第一方面的一些可实现方式中，利用混合模型对待分析的压缩图像数据执行图像数据处理的过程中，具体包括以下步骤：

11、步骤3.1、利用浅层特征提取模块接收待分析的压缩图像数据，并执行浅层特征提取，获得浅层特征图；

12、步骤3.2、利用深层特征提取模块接收所述浅层特征图，执行深层特征提取，获得深层特征图；

13、步骤3.3、利用图像重建模块接收所述浅层特征图和所述深层特征图，并执行融合操作，得到残差图像；

14、步骤3.4、对步骤3.3中的残差图像执行上采样操作，获得超分图像数据。

15、在第一方面的一些可实现方式中，在构建完混合模型后，进一步包括：对混合模型执行性能优化操作。其中，优化过程包括以下步骤：

16、步骤1.1、构建由低分辨率图像数据组成的训练数据集；

17、步骤1.2、读取训练数据集中的低分辨率图像数据；

18、步骤1.3、将读取到的低分辨率图像数据传输至浅层特征提取模块；

19、步骤1.4、浅层特征提取模块对低分辨率图像数据执行特征提取，获得浅层特征图；

20、步骤1.5、深层特征提取模块对浅层特征图执行深层特征提取，获得深层特征图；

21、步骤1.6、图像重建模块对浅层特征图和深层特征图进行融合，获得超分图像数据；

22、步骤1.7、将获得的超分图像数据与原高质量图像数据进行比对；

23、步骤1.8、根据比对结果调整混合模型中的权重参数。

24、其中，执行步骤1.7时，通过构建损失函数执行超分图像数据与原高质量图像数据的比对。损失函数lloss的表达式为：

25、lloss＝||irhq-ihq||1

26、式中，irhq表示超分图像数据；ihq表示原高质量图像数据；‖*‖0表示其中向量元素*的绝对值之和。

27、在第一方面的一些可实现方式中，针对优化后的混合模型，进一步包括步骤：采用图像结构相似度，从亮度、对比度和结构三个层面对去噪后的图像数据与原图像数据执行相似性比对，并通过比对结果评判混合模型的性能。

28、执行相似性比对的表达式为：

29、

30、式中，μx表示图像x的均值；μy表示图像y的均值；σxy表示图像x与y之间的协方差；σx表示图像x的标准差；σx表示图像y的标准差；c1表示第一预设常数；c2表示第二预设常数；c1、c2不为零。

31、第二方面，提出一种基于混合注意力和频域重构的图像压缩方法，用于图像超分过程的逆过程进行建模，即对任意的图像数据进行降采样压缩操作，该方法包括以下步骤：

32、步骤一、构建逆变换模型；

33、步骤二、将待压缩的图像数据导入逆变换模型；

34、步骤三、利用逆变换模型对待压缩的图像数据进行压缩；

35、步骤四、获得压缩图像数据，输出逆变换图像数据。

36、第三方面，提出一种基于混合注意力和频域重构的图像超分系统，用于实现图像超分方法，该系统包括以下模块：

37、用于根据图像超分需求构建混合模型的模型构建模块；

38、用于接收待分析的压缩图像数据的数据接收模块；

39、用于利用混合模型对压缩图像数据执行超分操作的数据超分模块；

40、用于输出数据超分结果的数据输出模块。

41、其中，所述混合模型包括：

42、浅层特征提取模块，用于读取待分析的压缩图像数据，并执行浅层特征提取，获得浅层特征图；

43、深层特征提取模块，用于执行输入图像空间维度到更高特征维度的映射，获得深层特征图；

44、图像重建模块，用于融合浅层特征图和深层特征图，并执行上采样操作获得超分图像数据。

45、第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令。当计算机程序指令被处理器执行时，以实现图像超分方法或图像压缩方法。

46、有益效果：本发明提出了一种基于混合注意力和频域重构的图像超分方法、压缩方法及系统，通过构建混合模型，混合注意力和频域特征，相比于现有技术，本发明将傅里叶变换融合到传统的混合注意力模型中，实现传统的空间特征到频域的变换，同时保留一半原注意力空间特征模型，不仅有效提取全局信息，还增强了网络对深层特征的识别能力。

47、另外，为了提高构建的模型性能，本发明对构建的混合模型执行性能优化操作，同时使用旋转、翻转等方式对原训练集进行补充，有效增强训练样本的多样性，提高网络的泛化能力。