一种基于下采样模型生成数据集的超分辨率模型训练方法

本发明涉及计算机视觉和图像处理，具体涉及一种基于下采样模型生成数据集的超分辨率模型训练方法。

背景技术：

1、超分辨率重建技术是把低分辨率的数据样本重建成高分辨率的数据样本，是计算机视觉和图像处理领域中一个非常经典且极具挑战性的问题，在医学图像重建、遥感、监控系统、直播视频实时超分和高清电视等领域都有广泛的应用价值。随着第五代移动通信技术以及高清、超高清显示设备的普及，越来越多的移动设备能够接受体积较大的图像或视频并把它们完美的展现出来，但这对服务器压力以及设备呈现效果来说都是不小的挑战，因此视频超分辨率这个研究方向受到越来越多学者的关注。

2、现有技术中，训练视频超分辨率的数据集都是使用配对的高分辨率和低分辨率媒体序列，并且这些媒体序列数据集都是由预先知道的下采样操作，例如双三次下采样、高斯模糊、jpeg压缩、高斯噪声、多种混合下采样技术随机组成方式等操作构建的，但这很难对真实世界的媒体序列重建，它们会产生模糊的效果。除此之外，在高阶退化模型中，往往利用多个重复的退化过程组合建模，使用这种构造数据集对模型进行训练不能完全发挥模型的效果。

技术实现思路

1、本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。

2、一种基于下采样模型生成数据集的超分辨率模型训练方法，该方法主要由自适应下采样模型训练、低分辨率数据集生成、超分辨率模型训练三个模块构成，包括：

3、s1:训练自适应下采样模型，即将相机拍摄的图片裁剪为320*180分辨率的图片，把裁剪后的所述图片作为第一lr低分辨率数据集放入所述训练所需要的lr文件夹，采用获取的div2k数据集作为hr高分辨率数据集放入所述训练所需要的hr文件夹中，对adm自适应下采样模型进行训练，获得具有现实情况退化过程特点的自适应下采样核，并把获取的预设reds数据集放入训练后的自适应下采样模型进行处理，得到处理后的reds数据集；

4、s2:生成第二lr低分辨率数据集，即使用训练后的自适应下采样模型作为lr数据集生成的模型，用s1中所述自适应下采样核对所述预设的reds数据集的hr高分辨率数据集进行处理,将里面需要训练的高分辨率媒体序列放入指定的hr文件夹，并加载s1中所述训练后的adm自适应下采样模型，然后使用adm自适应下采样模型生成与所述高分辨率媒体序列一一对应的低分辨率媒体序列,得到具有现实情况退化过程特点的第二lr低分辨率数据集；

5、s3:训练视频超分辨率模型，即使用所述获取的预设reds数据集以及s1中所述经过训练后的adm自适应下采样模型处理后的reds数据集分别对视频超分辨率模型进行训练以分别获得两个视频超分辨率模型，最后使用对比实验验证所述两个视频超分辨率模型的训练效果。

6、更进一步地，s1中所述的下采样核是进行下采样操作的函数。

7、更进一步地，s1所述中adm自适应下采样模型包括下采样器和判别器，其中主要通过gan生成式对抗网络来训练优化下采样器和判别器。

8、更进一步地，所述下采样器由一个带有instancenorm的正则化层和relu函数的3*3卷积核,一个带有instancenorm正则化层和relu函数的5*5卷积核，一个带有instancenorm正则化层和relu函数的2*2卷积核，一个带有instancenorm正则化层和relu函数的3*3卷积核、一个1*1卷积核以及一个2*2卷积核的平均池化层构成。

9、更进一步地，所述判别器由一个带有instancenorm正则化层和relu函数的3*3卷积核，四个带有instancenorm正则化层和relu函数的5*5卷积核以及一个2*2卷积核构成。

10、更进一步地，s2中所述的第二lr低分辨率数据集的生成，是将输入的预设的reds数据集的hr高分辨率数据集用adm自适应下采样模型进行训练，经过所述下采样器的每一层卷积核处理，将所述2*2卷积核的平均池化层和1*1卷积核输出的结果叠加，从而生成对应的第二lr低分辨率数据集。

11、更进一步地，s3中所述预设的reds数据集由300个分辨率为720*1280的视频序列组成，每个视频有100帧，把300个视频序列分为带有240个视频的训练集，带有30个视频的验证集以及带有30个视频的测试集。

12、更进一步地，s3中所述的视频超分辨率模型的训练过程分为两个阶段，其中训练过程的第一阶段主要是对视频超分辨率模型进行无损失感知和无损失对抗处理,训练过程的第二阶段则是通过损失感知和损失对抗对所述视频超分辨率模型进行微调。

13、更进一步地，所述视频超分辨率模型的训练，不对视频超分辨率模型进行第一阶段的训练，只进行第二阶段的训练，epoch次数为十五万次。

14、更进一步地，在步骤s3中的所述训练具体包括：一方面采用经过所述adm自适应下采样模型生成的第二lr低分辨率数据集以及所述预设的reds数据集自带的hr高分辨率数据集对所述视频超分辨率模型进行训练以获得第一训练后的视频超分辨率模型，另一方面则采用预设的reds数据集自带的lr低分辨率数据集和hr高分辨率数据集对所述视频超分辨率模型进行训练以获得第二训练后的视频超分辨率模型。

15、本发明的技术效果在于：使用自适应下采样模型可以通过无监督学习实际退化过程很好地模拟现实世界视频退化过程，生成更符合现实世界退化过程的低分辨率媒体序列，同时可以提高视频超分辨率的模型的训练效果，最终促进现有的视频超分辨率方法对各种合成的和真实的图像视频示例进行更准确的重建。

技术特征：

1.一种基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，包括：

2.根据权利要求1所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，s1中所述的下采样核是进行下采样操作的函数。

3.根据权利要求1所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，s1所述中adm自适应下采样模型包括下采样器和判别器，其中主要通过gan生成式对抗网络来训练优化下采样器和判别器。

4.根据权利要求3所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，所述下采样器由一个带有instancenorm的正则化层和relu函数的3*3卷积核,一个带有instancenorm正则化层和relu函数的5*5卷积核，一个带有instancenorm正则化层和relu函数的2*2卷积核，一个带有instancenorm正则化层和relu函数的3*3卷积核、一个1*1卷积核以及一个2*2卷积核的平均池化层构成。

5.根据权利要求3所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，所述判别器由一个带有instancenorm正则化层和relu函数的3*3卷积核，四个带有instancenorm正则化层和relu函数的5*5卷积核以及一个2*2卷积核构成。

6.根据权利要求1所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，s2中所述的第二lr低分辨率数据集的生成，是将输入的预设的reds数据集的hr高分辨率数据集用adm自适应下采样模型进行训练，经过所述下采样器的每一层卷积核处理，将所述2*2卷积核的平均池化层和1*1卷积核输出的结果叠加，从而生成对应的第二lr低分辨率数据集。

7.根据权利要求1所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，s3中所述预设的reds数据集由300个分辨率为720*1280的视频序列组成，每个视频有100帧，把300个视频序列分为带有240个视频的训练集，带有30个视频的验证集以及带有30个视频的测试集。

8.根据权利要求1所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，s3中所述的视频超分辨率模型的训练过程分为两个阶段，其中训练过程的第一阶段主要是对视频超分辨率模型进行无损失感知和无损失对抗处理,训练过程的第二阶段则是通过损失感知和损失对抗对所述视频超分辨率模型进行微调。

9.根据权利要求8所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，所述视频超分辨率模型的训练，不对视频超分辨率模型进行第一阶段的训练，只进行第二阶段的训练，epoch次数为十五万次。

10.根据权利要求1所述的基于下采样模型生成数据集的超分辨率模型训练方法，其特征在于，在步骤s3中的所述训练具体包括：一方面采用经过所述adm自适应下采样模型生成的第二lr低分辨率数据集以及所述预设的reds数据集自带的hr高分辨率数据集对所述视频超分辨率模型进行训练以获得第一训练后的视频超分辨率模型，另一方面则采用预设的reds数据集自带的lr低分辨率数据集和hr高分辨率数据集对所述视频超分辨率模型进行训练以获得第二训练后的视频超分辨率模型。

技术总结
本发明提出了一种基于下采样模型生成数据集的超分辨率模型训练方法，包括使用相机拍摄的图片的第一LR低分辨率数据集和获得的DIV2K数据集的HR高分辨率数据集训练ADM自适应下采样模型；使用ADM自适应下采样模型生成与高分辨率序列一一对应的低分辨率序列，得到具有退化过程特点的第二LR低分辨率数据集；使用预设的REDS数据集以及训练后的ADM自适应下采样模型生成的REDS数据集分别对超分辨率模型进行训练，通过对比实验验证得出超分辨率模型训练效果确实得到增强。本发明可以避免模型把原图的噪点部分当作是正常的纹理给恢复到媒体序列中，生成的数据集可以使超分辨率模型更好地恢复细节，产生更加贴近符合现实世界下的视频退化序列。

技术研发人员：张旭,吴锦新,吕俊鸿,张祥丞,张宁
受保护的技术使用者：厦门理工学院
技术研发日：
技术公布日：2024/1/5