通过双域学习网络增强单图像超分辨率的方法、电子设备和存储介质

本发明涉及计算机视觉，特别是指一种通过双域学习网络增强单图像超分辨率的方法、电子设备和存储介质。

背景技术：

1、在数字时代，图像超分辨率（sr）技术旨在从低分辨率（lr）图像恢复出高分辨率（hr）图像。此技术对于包括医学成像、卫星成像和监控系统等在内的多种应用场景至关重要。

2、传统的插值方法（如双三次插值和lanczos重采样）曾是标准的超分辨率方法，通常情况下这些方法产生的图像过于平滑，缺乏高频细节。随着卷积神经网络（cnn）的出现，人们能够实现从lr到hr图像的更复杂映射，尽管卷积神经网络在图像超分辨率领域取得了显著进展，但大多数现有技术仍主要关注于空间域的特征学习，忽略了频率域中的细节，而这些细节对于重构精细的纹理和图案至关重要，因而现有技术通常无法充分重建图像中的高频细节和纹理。其次，现有方法在特征融合方面通常不够充分，未能有效结合空间域和频率域的信息，单一域的特征处理限制了模型的表达能力，从而限制了超分辨率图像的细节和质量的提升。

技术实现思路

1、本发明的目的在于提供一种通过双域学习网络增强单图像超分辨率的方法、电子设备和存储介质，解决现有技术中在重建细节和纹理方面不足的问题，能够综合频率域和空间域信息，改进从低分辨率图像到高分辨率图像的重建质量，适用于卫星成像、医疗诊断、安全监控等多种应用场景中的图像清晰化处理。

2、为了达成上述目的，本发明的解决方案之一是：

3、一种通过双域学习网络增强单图像超分辨率的方法，包括：

4、步骤1、将一个低分辨率图像输入包含多个双域学习块的双域学习网络，通过多个双域学习块处理，生成两个超分辨率图像输出：一个是频率域输出，一个是空间域输出；

5、每个双域学习块均包含频率特征块和空间特征块，频率特征块通过快速傅里叶变换和复数卷积增强图像的频率域特征，空间特征块使用实数卷积优化图像的空间域特征；之后，频率特征块与空间特征块的输出通过自注意力特征校准模块进行融合，利用自注意力机制强化特征之间的相关性和互补性；

6、步骤2、引入复数卷积鉴别器和交叉模态蒸馏损失以增强双域学习网络的性能，具体是：复数卷积鉴别器用于处理将图像从hsv色彩空间转换为复数形式的数据；交叉模态蒸馏损失作为损失函数，在模型训练过程中引导频率域和空间域输出的有效融合。

7、所述步骤1具体是：

8、对于给定的低分辨率图像，输入双域学习网络，由双域学习网络的特征提取层提取出频率特征和空间特征，并输入双域学习块，实现双域特征细化，最后得到频率输出和空间输出；

9、其中，频率特征、空间特征分别输入频率特征块、空间特征块进行处理；频率特征块的结构包括一个复数卷积、一个crelu激活函数和一个额外的复数卷积，当频率特征通过频率特征块时，其中的实值特征会通过快速傅里叶变换转换为复值特征，复值特征的实值、虚值分量与相应的卷积核相互作用以生成新的复值特征，然后再对这两个分量进行crelu激活后输出；空间特征块的结构包括一个实数卷积、一个relu激活函数和一个额外的实数卷积。

10、优选地，所述步骤1中，所述自注意力特征校准模块中，对于给定的频率域特征和空间域特征，自注意力层的定义如下：

11、；

12、其中，表示实数空间，、、分别表示图像的高、宽和通道数，表示卷积层，表示softmax函数，表示的转置。

13、优选地，所述步骤2中，所述复数卷积鉴别器中，对于给定一个hsv颜色的像素，进行如下转换：

14、；

15、；

16、；

17、其中，、、分别表示像素的三个分量，、、分别表示像素的色调、饱和度、值，表示复数的虚部单位；

18、由此，得到图像的实值分量、复值分量，其中、、分别表示实值分量中的色调、饱和度、值三者的具体大小，、、分别表示复值分量中的色调、饱和度、值三者的具体大小；

19、由实值分量、复值分量合并得到复值特征图，生成的复值特征图通过十个判别块进行处理，每个判别块包括一个复数卷积，然后是一个复数批量归一化层和一个crelu激活函数，实现从hsv色彩空间到复值域的反向转换，最后是对超分辨率图像进行鉴别分类的投影层。

20、优选地，所述步骤2中，定义高分辨率目标图像、频率输出和空间输出，交叉模态蒸馏损失的定义为：

21、；

22、其中，表示l1损失，表示知识蒸馏损失，表示控制像素级l1损失与知识蒸馏损失之间平衡的超参数，表示蒸馏过程的温度参数；

23、同时，使用以下损失函数进行监督双域学习网络：

24、；

25、；

26、；

27、其中，表示对抗损失，表示判别器的输出，表示感知损失，表示l1范数（即l1损失），表示通过预训练网络（如vgg网络）提取的图像特征，、分别表示权重参数。

28、本发明的解决方案之二是：

29、一种电子设备，包括处理器、存储器和应用程序；所述应用程序被存储在所述存储器中，并被配置为由所述处理器执行所述的通过双域学习网络增强单图像超分辨率的方法。

30、本发明的解决方案之二是：

31、一种计算机可读存储介质，所述存储介质存储有计算机程序；所述计算机程序在所述计算机中执行时，使所述计算机执行所述的通过双域学习网络增强单图像超分辨率的方法。

32、采用上述技术方案后，本发明具有以下技术效果：

33、本发明能够实现双域特征优化，通过同时优化频率域和空间域特征，能够更全面地捕获图像细节，提高重建图像的质量和真实感，对于需要高精度图像处理的领域（如医疗成像、安防监控）尤为重要；引入复数卷积鉴别器，利用复值处理保持了图像的相位信息，这对于保持图像的结构和纹理细节至关重要，不仅提升了超分辨率图像的现实感，还为未来在复数域图像处理发明的研究开辟了新的道路；引入交叉模态蒸馏损失用于指导频率域和空间域特征的有效融合，可以通过学习两种特征的互补性，增强网络的整体学习能力，不仅提高了超分辨率图像的质量，还增强了模型对于不同图像类型的泛化能力。

技术特征：

1.一种通过双域学习网络增强单图像超分辨率的方法，其特征在于包括：

2.如权利要求1所述的通过双域学习网络增强单图像超分辨率的方法，其特征在于所述步骤1具体是：

3.如权利要求2所述的通过双域学习网络增强单图像超分辨率的方法，其特征在于：

4.如权利要求3所述的通过双域学习网络增强单图像超分辨率的方法，其特征在于：

5.如权利要求4所述的通过双域学习网络增强单图像超分辨率的方法，其特征在于：

6.一种电子设备，其特征在于包括处理器、存储器和应用程序；所述应用程序被存储在所述存储器中，并被配置为由所述处理器执行如权利要求1至5任一所述的通过双域学习网络增强单图像超分辨率的方法。

7.一种计算机可读存储介质，其特征在于所述存储介质存储有计算机程序；所述计算机程序在所述计算机中执行时，使所述计算机执行如权利要求1至5任一所述的通过双域学习网络增强单图像超分辨率的方法。

技术总结
本发明公开一种通过双域学习网络增强单图像超分辨率的方法、电子设备和存储介质，解决现有技术中在重建细节和纹理方面不足的问题，能够综合频率域和空间域信息，改进从低分辨率图像到高分辨率图像的重建质量。该方法包括：1、将一个低分辨率图像输入包含多个双域学习块的双域学习网络，通过多个双域学习块处理，生成两个超分辨率图像输出：一个是频率域输出，一个是空间域输出；步骤2、引入复数卷积鉴别器和交叉模态蒸馏损失以增强双域学习网络的性能，具体是：复数卷积鉴别器用于处理将图像从HSV色彩空间转换为复数形式的数据；交叉模态蒸馏损失作为损失函数，在模型训练过程中引导频率域和空间域输出的有效融合。

技术研发人员：纪荣嵘,张声传,何子豪,张岩,曹刘娟
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2025/2/13