基于GAN网络的超分图像处理方法、装置、设备及介质与流程

本公开涉及图像处理，尤其涉及一种基于gan网络的超分图像处理方法、装置、设备及介质。

背景技术：

1、图像的超分处理即对图像的分辨率进行放大，将一张低分辨率的图像得到一张高分辨率的超分图像，常被用于短视频帧等场景中进行画质增强。

2、相关技术中，采用超分网络对输入的低分辨率图像处理，以输出高分辨率的超分图像，主要采用基于生成式对抗网络(gan,generative adversarial networks)的训练框架训练超分网络，即利用一个额外的判别模块对网络生成的超分图像和真实高清图像进行判断，从而促使超分网络的进步。

3、然而，gan网络在学习训练样本图像时，尤其是学习输入域比较广的训练样本图像，gan网络会学习到从多种特征层面对超分图像和真实高清图像进行判断，从而导致一些较为复杂和罕见的噪声及伪像被引入进来，从而导致生成的超分图像包含较多的伪像和噪声。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于gan网络的超分图像处理方法、装置、设备及介质，由此，解决现有技术中，gan网络会将网络输出的超分图像和真实高清图像作为输入，进行判断，但如果输出的超分图像中存在一些很复杂的噪声或者罕见的伪像时，gan网络中的判别器的特征提取层可能会选择性的忽略这些“离异点”，从而导致这些噪声和伪像被判别器所接受，引入超分图像中，使得生成的超分图像包含大量的伪像和噪声，从而图像质量不高的问题。

2、本公开实施例提供了一种基于gan网络的超分图像处理方法，所述方法包括：获取正样本图像，负样本图像和参考样本图像，其中，所述正样本图像为输入样本图像对应的真值超分图像，所述负样本图像为对所述输入样本图像和所述正样本图像进行融合加噪处理的图像，所述参考样本图像为所述输入样本图像经过待训练的生成式对抗gan网络的生成模型降低画质处理后输出的图像；

3、通过所述gan网络判别模型提取与所述正样本图像对应的第一特征，以及与所述参考样本图像对应的第三特征，并对所述第一特征和所述第三特征分别进行判别处理，获取与所述正样本图像对应的第一分数以及与所述参考样本图像对应的第二分数，根据所述第一分数和所述第二分数确定二元交叉熵bce损失函数；

4、通过预设网络提取与所述正样本图像对应的第四特征，与所述负样本图像对应的第五特征，以及与所述参考样本图像对应的第六特征，并根据所述第四特征、所述第五特征和所述第六特征确定第二对比学习损失函数，其中，所述第二对比学习损失函数用于使所述参考样本图像的特征接近所述正样本图像的特征，并且远离所述负样本图像的特征；

5、根据所述bce损失函数和所述第二对比学习损失函数进行反向传播训练所述生成模型的参数，获取目标超分网络，以根据所述目标超分网络对测试图像进行超分处理获取目标超分图像。

6、本公开实施例还提供了一种基于gan网络的超分图像处理装置，所述装置包括：

7、第一获取模块，用于获取正样本图像，负样本图像和参考样本图像，其中，所述正样本图像为输入样本图像对应的真值超分图像，所述负样本图像为对所述输入样本图像和所述正样本图像进行融合加噪处理的图像，所述参考样本图像为所述输入样本图像经过待训练的生成式对抗gan网络的生成模型降低画质处理后输出的图像；

8、第二获取模块，用于通过所述gan网络判别模型提取与所述正样本图像对应的第一特征，以及与所述参考样本图像对应的第三特征，并对所述第一特征和所述第三特征分别进行判别处理，获取与所述正样本图像对应的第一分数以及与所述参考样本图像对应的第二分数，根据所述第一分数和所述第二分数确定二元交叉熵bce损失函数；

9、确定模块，用于通过预设网络提取与所述正样本图像对应的第四特征，与所述负样本图像对应的第五特征，以及与所述参考样本图像对应的第六特征，并根据所述第四特征、所述第五特征和所述第六特征确定第二对比学习损失函数，其中，所述第二对比学习损失函数用于使所述参考样本图像的特征接近所述正样本图像的特征，并且远离所述负样本图像的特征；

10、第三获取模块，用于根据所述bce损失函数和所述第二对比学习损失函数进行反向传播训练所述生成模型的参数，获取目标超分网络，以根据所述目标超分网络对测试图像进行超分处理获取目标超分图像。

11、本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的基于gan网络的超分图像处理方法。

12、本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，计算机程序用于执行如本公开实施例提供的基于gan网络的超分图像处理方法。

13、本公开实施例提供的技术方案与现有技术相比具有如下优点：

14、本公开实施例提供的超分图像处理方案，获取正样本图像，负样本图像和参考样本图像，其中，正样本图像为输入样本图像对应的真值超分图像，负样本图像为对输入样本图像和正样本图像进行融合加噪处理的图像，参考样本图像为输入样本图像经过待训练的生成式对抗gan网络的生成模型降低画质处理后输出的图像，通过gan网络判别模型提取与正样本图像对应的第一特征，以及与参考样本图像对应的第三特征，并对第一特征和第三特征分别进行判别处理，获取与正样本图像对应的第一分数以及与参考样本图像对应的第二分数，根据第一分数和第二分数确定二元交叉熵bce损失函数，通过预设网络提取与正样本图像对应的第四特征，与负样本图像对应的第五特征，以及与参考样本图像对应的第六特征，并根据第四特征、第五特征和第六特征确定第二对比学习损失函数，其中，第二对比学习损失函数用于使参考样本图像的特征接近正样本图像的特征，并且远离负样本图像的特征，根据bce损失函数和第二对比学习损失函数进行反向传播训练生成模型的参数，获取目标超分网络，以根据目标超分网络对测试图像进行超分处理获取目标超分图像。由此，基于损失函数对gan网络的特征提取过程监督训练，提升判别模型对噪声和伪像的敏感度，降低了判别模型的判别和训练难度，实现了在保证目标超分网络输出的目标超分图像的图像细节的丰富度的基础上，提升目标超分图像的纯净度。

技术特征：

1.一种基于gan网络的超分图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述负样本图像的生成过程包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述第四特征、所述第五特征和所述第六特征确定第二对比学习损失函数，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述第四损失函数和所述第五损失函数确定所述第二对比学习损失函数，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一特征、所述第二特征和所述第三特征确定第一对比学习损失函数，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数确定所述第一对比学习损失函数，包括：

8.根据权利要求5所述的方法，其特征在于，还包括：

9.一种基于gan网络的超分图像处理装置，其特征在于，包括：

10.一种电子设备，其特征在于，所述电子设备包括：

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一所述的基于gan网络的超分图像处理方法。

技术总结
本公开实施例涉及一种基于GAN网络的超分图像处理方法、装置、设备及介质，其中该方法包括：获取与输入样本图像对应的正样本图像的第一特征，与参考样本图像对应的第三特征；根据第一特征和第三特征确定二元交叉熵BCE损失函数，提取与正样本图像对应的第四特征，与负样本图像对应的第五特征，以及与参考样本图像对应的第六特征，并根据第四特征、第五特征和第六特征确定第二对比学习损失函数；根据BCE损失函数和第二对比学习损失函数训练生成模型的参数，获取目标超分网络，以根据目标超分网络对测试图像进行超分处理获取目标超分图像。由此，实现了在保证目标超分网络输出的目标超分图像的图像细节的丰富度的基础上，提升目标超分图像的纯净度。

技术研发人员：董航
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/1/12