基于傅里叶域的超分图像处理方法、装置、设备及介质与流程

本公开涉及图像处理，尤其涉及一种基于傅里叶域的超分图像处理方法、装置、设备及介质。

背景技术：

1、图像的超分处理即对图像的分辨率进行放大，将一张低分辨率的图像得到一张高分辨率的超分图像，常被用于短视频帧等场景中进行画质增强。

2、相关技术中，采用超分网络对输入的低分辨率图像处理，以输出高分辨率的超分图像，其中，受限于云端和设备端的运算资源的限制，通常超分网络为参数量较小的轻量级网络，该轻量级网络针对输入的只有低频信息的输入图像来恢复出分辨率较高的超分图像。

3、然而，轻量级网络的先验信息学习能力不足，基于只有低频信息的输入图像学习的图像信息集中在低频的先验信息，然而图像的细节集中在高频先验信息，因此，导致生成的超分图像的过于平滑且细节不足。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于傅里叶域的超分图像处理方法、装置、设备及介质，以解决现有技术中，轻量级的超分网络学习输入样本图像的高频先验信息不足，导致生成的超分图像过于平滑缺少细节的技术问题。

2、本公开实施例提供了一种基于傅里叶域的超分图像处理方法，所述方法包括：

3、获取正样本图像和参考样本图像，其中，所述正样本图像为输入样本图像对应的真值超分图像，所述参考样本图像为所述输入样本图像经过待训练的神经网络降低画质处理后输出的图像；；对所述正样本图像和所述参考样本图像分别进行傅里叶变换处理，获取在傅里叶域下与所述正样本图像对应的第一高频信息，以及与所述参考样本图像对应的第二高频信息；根据所述第一高频信息和所述第二高频信息确定第一损失函数；根据所述第一损失函数进行反向传播训练所述神经网络的参数获取目标超分网络，以根据所述目标超分网络对测试图像进行超分处理获取目标超分图像。

4、本公开实施例还提供了一种基于傅里叶域的超分图像处理装置，所述装置包括：第一获取模块，用于获取正样本图像和参考样本图像，其中，所述正样本图像为输入样本图像对应的真值超分图像，所述参考样本图像为所述输入样本图像经过待训练的神经网络降低画质处理后输出的图像；第二获取模块，用于对所述正样本图像和所述参考样本图像分别进行傅里叶变换处理，获取在傅里叶域下与所述正样本图像对应的第一高频信息，以及与所述参考样本图像对应的第二高频信息；确定模块，用于根据所述第一高频信息和所述第二高频信息确定第一损失函数；第三获取模块，用于根据所述第一损失函数进行反向传播训练所述神经网络的参数，获取目标超分网络，以根据所述目标超分网络对测试图像进行超分处理获取目标超分图像。

5、本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的基于傅里叶域的超分图像处理方法。

6、本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的基于傅里叶域的超分图像处理方法。

7、本公开实施例提供的技术方案与现有技术相比具有如下优点：

8、本公开实施例提供的基于傅里叶域的超分图像处理方案，获取与输入样本图像对应的正样本图像和参考样本图像，其中，正样本图像为输入样本图像对应的真值超分图像，参考样本图像为输入样本图像经过待训练的神经网络降低画质处理后输出的图像，对正样本图像和参考样本图像分别进行傅里叶变换处理，获取在傅里叶域下与正样本图像对应的第一高频信息，以及与参考样本图像对应的第二高频信息，根据第一高频信息和第二高频信息确定第一损失函数，进而，根据第一损失函数进行反向传播训练神经网络的参数，获取目标超分网络，以根据目标超分网络对测试图像进行超分处理获取目标超分图像。由此，实现了基于傅里叶域的损失函数进行超分网络的训练，使得训练后的超分网络学习了高频先验信息，保证了轻量级网络生成的超分图像的细节丰富度。

技术特征：

1.一种基于傅里叶域的超分图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一高频信息和所述第二高频信息确定第一损失函数，包括：

3.根据权利要求1所述的方法，其特征在于，还包括：

4.根据权利要求1-3任一所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，所述负样本图像的生成过程包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一高频信息、所述第二高频信息和所述第三高频信息确定对比学习损失函数，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述第二损失函数和所述第三损失函数确定所述对比学习损失函数，包括：

8.根据权利要求4所述的方法，其特征在于，还包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述参考样本图像和所述正样本图像确定第四损失函数，包括：

10.一种基于傅里叶域的超分图像处理装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9中任一所述的基于傅里叶域的超分图像处理方法。

技术总结
本公开实施例涉及一种基于傅里叶域的超分图像处理方法、装置、设备及介质，其中该方法包括：获取正样本图像和参考样本图像，对正样本图像和参考样本图像分别进行傅里叶变换处理，获取在傅里叶域下与正样本图像对应的第一高频信息，以及与参考样本图像对应的第二高频信息，根据第一高频信息和第二高频信息确定第一损失函数；根据第一损失函数进行反向传播训练神经网络的参数，获取目标超分网络，以根据目标超分网络对测试图像进行超分处理获取目标超分图像。由此，实现了基于傅里叶域的损失函数进行超分网络的训练，使得训练后的超分网络学习了高频先验信息，保证了轻量级网络生成的超分图像的细节丰富度。

技术研发人员：董航,孔方圆
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/1/12