基于零样本学习的图像超分辨率处理方法、装置及设备

本公开涉及图像处理，尤其涉及一种基于零样本学习的图像超分辨率处理方法、装置及设备。

背景技术：

1、现有移动设备通常配备非对称的相机系统，例如智能手机的摄像模组。非对称的相机系统用于获取相同场景下的不同视场大小的图像。非对称的相机系统通常由广角镜头和长焦镜头组成。广角镜头相对于长焦镜头具有较广的视场，通常作为系统的主镜头。但由于视场和分辨率之间的制约关系，在广角镜头与长焦镜头的重叠视场内，广角镜头的分辨率低于长焦镜头的分辨率。

2、为获取大视场并且高分辨率的图像，相关基于深度学习的超分辨率处理方法，通过预先定义降质，根据大量样本数据，利用有监督的方式训练超分辨率模型，然后根据训练好的超分辨率模型对广角图像进行处理得到与广角图像对应的超分辨率图像，其中，样本数据为同一非对称的相机系统多次采集的广角图像和长焦图像。

3、在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：相关基于深度学习的超分辨率处理方法得到的与广角图像对应的超分辨率图像的质量不能满足实际应用的需求。

技术实现思路

1、鉴于上述问题，本公开提供了一种基于零样本学习的图像超分辨率处理方法、装置及设备。

2、根据本公开的第一个方面，提供了一种基于零样本学习的图像超分辨率处理方法，包括：

3、获取广角图像和长焦图像，其中，广角图像和长焦图像表征焦距不同的两个采集设备对同一场景分别进行采集得到的图像，广角图像的分辨率小于长焦图像的分辨率；

4、对广角图像进行裁剪，得到裁剪图像，其中，裁剪图像与长焦图像的视场重叠；

5、利用训练好的对齐网络将裁剪图像对齐到长焦图像，得到对齐图像；

6、对第一图像对进行裁剪，得到多个第二图像对，其中，第一图像对表征由对齐图像和长焦图像组成的图像对；

7、利用多个第二图像对对超分辨率模型进行训练，得到目标超分辨率模型；

8、利用目标超分辨率模型对广角图像进行处理，得到与广角图像对应的超分辨率图像。

9、根据本公开的实施例，上述利用训练好的对齐网络将裁剪图像对齐到长焦图像，得到对齐图像包括：

10、对长焦图像进行下采样，得到下采样图像，其中，下采样图像的分辨率与广角图像的分辨率相同；

11、将裁剪图像和下采样图像输入对齐网络，得到对齐图像。

12、根据本公开的实施例，对齐网络的训练方法包括：

13、将裁剪图像和下采样图像输入对齐网络，得到初始对齐图像；

14、将初始对齐图像输入空域局部判别器中，得到与初始对齐图像对应的第一判别结果；

15、将与初始对齐图像对应的频谱图输入频域全局判别器中，得到与初始对齐图像对应的第二判别结果；

16、将初始对齐图像、裁剪图像和下采样图像输入深度卷积神经网络中，得到与初始对齐图像、裁剪图像和下采样图像分别对应的中间特征图；

17、计算下采样图像与初始对齐图像之间的二次范数；

18、根据第一判别结果、第二判别结果、中间特征图和二次范数，得到与初始对齐网络对应的对齐损失；

19、根据对齐损失，更新初始对齐网络的网络参数。

20、根据本公开的实施例，空域局部判别器的训练方法包括：

21、将裁剪图像输入空域局部判别器中，得到与裁剪图像对应的第三判别结果；

22、根据第一判别结果和第三判别结果，得到与空域局部判别器对应的空域损失；

23、根据空域损失更新空域局部判别器的参数。

24、根据本公开的实施例，频域全局判别器的训练方法包括：

25、将与裁剪图像对应的频谱图输入频域全局判别器，得到与裁剪图像对应的第四判别结果；

26、根据第二判别结果和第四判别结果，得到与频域全局判别器对应的频域损失；

27、根据频域损失，更新频域全局判别器的参数。

28、根据本公开的实施例，根据第一判别结果、第二判别结果、中间特征图和二次范数，得到与初始对齐网络对应的对齐损失包括按照如下公式(一)计算：

29、

30、其中，lalign表征对齐损失，l2表征二次范数，表征与第一判别结果相关的损失项，表征与第二判别结果相关的损失项，lcl表征与中间特征图相关的损失项，λ1、λ2和λ3表征权重系数。

31、根据本公开的实施例，与中间特征图相关的损失项按照如下公式(二)计算：

32、

33、其中，lcl表征与中间特征图相关的损失，表征深度卷积神经网络的第i层输出的与初始对齐图像对应的中间特征图，φi(y*)表征深度卷积神经网络的第i层输出的与裁剪图像y*对应的中间特征图，表征深度卷积神经网络的第j层输出的与初始对齐图像对应的中间特征图，φj(x↓)表征深度卷积神经网络的第j层输出的与下采样图像x↓对应的中间特征图，n表征深度卷积神经网络的第n层，m表征深度卷积神经网络的第m层，m和n均为大于等于1的整数。

34、根据本公开的实施例，对第一图像对进行裁剪，得到多个第二图像对包括：

35、利用训练好的空域局部判别器对对齐图像进行处理，得到相似度概率图，其中，相似度概率图中每个像素的像素值表征对齐图像和长焦图像在该像素的相似度；

36、根据相似度概率图对第一图像对进行裁剪，得到多个第二图像对。

37、本公开的第二方面提供了一种基于零样本学习的图像超分辨率处理装置，包括：

38、获取模块，用于获取广角图像和长焦图像，其中，广角图像和长焦图像表征焦距不同的两个采集设备对同一场景分别进行采集得到的图像，广角图像的分辨率小于长焦图像的分辨率；

39、第一得到模块，用于对广角图像进行裁剪，得到裁剪图像，其中，裁剪图像与长焦图像的视场重叠；

40、第二得到模块，用于利用训练好的对齐网络将裁剪图像对齐到长焦图像，得到对齐图像；

41、第三得到模块，用于对第一图像对进行裁剪，得到多个第二图像对，其中，第一图像对表征由对齐图像和长焦图像组成的图像对；

42、第四得到模块，用于利用多个第二图像对对超分辨率模型进行训练，得到目标超分辨率模型；

43、第五得到模块，用于利用目标超分辨率模型对广角图像进行处理，得到与广角图像对应的超分辨率图像。

44、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

45、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

46、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。

47、根据本公开的实施例，通过获取广角图像和长焦图像，得到针对同一场景的低分辨率大视场图像即广角图像和高分辨率小视场图像即长焦图像，对广角图像进行裁剪，得到与长焦图像的视场重叠的裁剪图像，然后利用训练好的对齐网络将裁剪图像对齐到长焦图像，得到与长焦图像对齐的对齐图像，对由对齐图像和长焦图像组成的第一图像对进行裁剪，得到多个第二图像对，利用多个第二图像对对超分辨率模型进行训练，得到目标超分辨率模型，使得目标超分辨率模型充分学习到当前广角图像的降质，然后利用目标超分辨率模型对广角图像进行处理，得到与广角图像对应的超分辨率图像，使得目标超分辨率模型可以根据当前广角图像的降质对当前广角图像进行超分辨率的提升，得到与当前广角图像对应的超分辨率图像，使得目标超分辨率模型的更适用于对未知拍摄情况下得到的广角图像进行超分辨率的提升，提高与当前广角图像对应的超分辨率图像的质量，使得与当前广角图像对应的超分辨率图像能够满足实际应用的需求。