基于知识蒸馏的多光谱遥感图像超分辨率重建方法及系统

本发明属于遥感图像超分辨率重建，用于对多光谱遥感影像的快速超分辨率重建，涉及一种基于知识蒸馏的模型压缩技术，具体是一种多光谱遥感图像超分辨率重建方法及系统。

背景技术：

1、遥感图像作为遥感技术的数据支撑和应用基础，为监视地球表面提供了丰富信息，广泛应用于地物检测、灾害预警、环境变化检测以及军事打击等多个领域。相较于一般图像，遥感图像由于成像距离通常较远，高空成像时容易遭遇恶劣环境、各种抖动，从而导致其受到噪声和模糊影响更为严重。因此，遥感图像普遍分辨率较低、质量较差。现阶段，从软件方面提升遥感图像分辨率应用最为广泛的是超分辨率重建技术。在众多超分辨率重建方案中，利用深度学习算法使用低分辨率图像的特征信息重建高分辨率图像的技术成熟，应用最为广泛，具有高可实现度、高可用性、强泛化性和低成本等优点。然而，这一方案也有其缺陷：为了达到更优质的重建效果，模型深度和参数量越来越大，带来了消耗资源多、训练时间长、使用场景受限等缺点。为此，需要研究更成熟的设计模型及训练方案来解决这个问题。

2、经检索现有文献可知，目前基于深度学习的多光谱遥感图像超分辨率重建方法中，采取深度残差网络以及生成对抗网络是目前最为广泛的方案。其中，charis lanaras等人于2018年发表在isprs journal的《super-resolution of sentinel-2images:learninga globally applicabledeep neural network》提出了一种用于多光谱遥感图像sentinel-2的dsen2模型，通过深度残差网络融合空间光谱信息对全局进行回归训练，能够有效保留原图像的纹理细节以及光谱特征。但随着网络层数的提升，提取更深层次特征的同时也面临着训练速度慢、参数量过大、应用范围狭窄等缺点。与此同时，frosti palsson等人于2018年发表在tip的《single sensor image fusion using a deep convolutionalgenerative adversarial network》提出基于深度卷积生成对抗网络的多光谱遥感图像超分辨率重建方法，得到了比传统方法更为优秀的实验结果。然而，其生成器和鉴别器均使用了深度卷积设计，因此也存在收敛时间长、难以在资源有限的设备上部署等缺点。

3、综上，多光谱遥感图像超分辨重建领域面临如何在保证图像重建质量的同时，减少模型复杂度、加快训练速度、降低资源消耗以及提高泛化能力等问题。因此，需要在模型设计、算法优化寻求新的突破，以实现更高效、更可靠的多光谱遥感图像超分辨率重建技术。基于此，本发明采用深度残差网络模型的框架，运用知识蒸馏方法进行模型压缩，提出了一种基于知识蒸馏的多光谱遥感图像超分辨率重建技术方案。

技术实现思路

1、本发明针对当前基于深度学习的多光谱遥感图像超分辨率重建模型训练消耗资源多、训练时间长等缺陷，结合多光谱遥感图像各波段空间分辨率不同的特性，提供了一种基于知识蒸馏的多光谱遥感图像超分辨率重建方法及系统。本发明以较少的时间成本使学生网络的性能接近教师网络，能够对多光谱遥感图像实现高效的超分辨率重建任务。

2、本发明采取如下技术方案：

3、一种基于知识蒸馏的多光谱遥感图像超分辨率重建方法，其按如下步骤：

4、步骤1：获取多光谱遥感图像并实施数据预处理；优选的，依据多光谱遥感图像特性，采取波段分组、随机裁剪、下/上采样等预处理步骤，得到低分辨率图像；

5、步骤2：引入非重建光谱域中的高分辨率波段作为先验知识，与低分辨率图像组合，构建超分辨率重建训练集；

6、步骤3：构建基于多光谱遥感图像的教师-学生离线蒸馏网络，其中采用预训练教师网络，其复杂度高、参数量大，但重建质量好。依据网络残差块裁剪思想构建轻量级学生网络，其与教师网络架构相同，但复杂度低、参数量小，重建质量也低于教师网络；

7、步骤4：构建面向多光谱遥感图像的知识蒸馏框架，将步骤2所述的图像训练集输入步骤3所述的教师网络及学生网络中，分别输出超分辨率遥感图像，将二者进行逐波段损失计算并取平均，作为教师监督损失(知识蒸馏损失)，促使学生网络学习教师网络的特征；将学生网络输出的超分辨率遥感图像与训练集标签进行逐波段损失计算并取平均，作为数据监督损失，促使学生网络学习高分辨率标签的特征。二者按权重相加计算出总损失；

8、步骤5：采用步骤2所述训练集，引入步骤4所述的总损失作为损失函数进行反向传播，训练学生网络；

9、步骤6：将多光谱遥感图像作为输入，通过步骤5中训练完成的学生网络模型，实现将低分辨率波段提升至光谱域中最高分辨率波段。

10、进一步的，步骤1-2中，将多光谱遥感图像中各个波段按空间分辨率进行分组，再根据放大倍数随机裁剪至不同尺寸，该尺寸需要对应于地面上至少几百米的接收场，从而能够捕捉到当地的低层纹理和潜在的小语义结构。而后，将每组波段进行高斯模糊处理下采样，部分(可设定)低分辨率波段再进行双线性插值上采样，使得低分辨率图像与先验知识分辨率一致。最后，由于教师-学生网络训练加入先验知识，从现有的高分辨率波段转移纹理以及光谱特征，以高分辨率引导超分辨率，因此构建的训练集并非是传统的端到端低分辨率-高分辨率训练集。模型训练输入由高分辨率先验波段采样后与低分辨率重建波段组合而成，标签为原始分辨率波段。

11、进一步的，步骤3中，采用预训练残差网络dsen2作为教师网络，教师网络结构的主要组成部分是卷积层(conv)、非线性激活函数(relu)、残差神经网络模块(resblock)，学生网络与教师网络共享相同的架构，通过减少残差块数量与通道数使得参数量相对较小。

12、进一步的，所述步骤4中，教师监督损失、数据监督损失都使用均方根误差rmse进行计算，教师监督损失作为知识蒸馏损失，以实现知识蒸馏的操作；将教师监督损失与数据监督损失按权重相加得到总损失，总损失作为网络训练误差，更新迭代训练后得到最终的学生网络模型，最大程度使学生模型学习教师模型的特征知识。损失函数为均方根误差rmse，以像素级误差反向传播指导模型训练，具体表示为：

13、l＝αlds+βlts

14、

15、其中，l为总损失函数，n为迭代次数，lds为数据监督损失、lts为教师监督损失，和分别为学生输出图像、教师输出图像和真实标签图像，α和β是平衡不同方面损失的权重系数。

16、进一步的，步骤5中，教师-学生网络训练假设具有不同空间分辨率的波段之间的量度关系在相关标度范围内是自相似的，即尺度不变性，意味着对所有波段统一下采样n×s倍后训练的s倍超分辨率网络模型可以应用于原始波段的s倍超分辨率重建，有利于解决高分辨率波段没有地面真实值的问题。基于此，将总损失作为网络训练误差，更新迭代训练后得到最终的学生网络模型，能够实现高效率的超分辨率重建。

17、进一步的，步骤6中，转化后的轻量级学生网络模型可被部署于资源有限的嵌入式设备中，完成相应工程应用。

18、本发明还公开了一种基于知识蒸馏的多光谱遥感图像超分辨率重建系统，基于上述方法，包括如下模块：

19、图像获取及预处理模块，获取多光谱遥感图像并实施数据预处理；

20、训练集重建模块，引入非重建光谱域中的高分辨率波段作为先验知识构建超分辨率重建训练集；

21、教师-学生离线蒸馏网络构建模块，构建基于多光谱遥感图像的教师-学生离线蒸馏网络，设计轻量级学生网络，其与教师网络架构相同；

22、总损失计算模块，构建面向多光谱遥感图像的知识蒸馏框架，将训练集重建模块中的训练集输入教师-学生离线蒸馏网络构建模块中的教师网络及学生网络中，分别输出超分辨率遥感图像，并将二者进行损失计算，作为教师监督损失即知识蒸馏损失；将学生网络输出的超分辨率遥感图像与训练集标签进行损失计算，作为数据监督损失，二者按权重相加计算出总损失；

23、学生网络训练模块，采用训练集重建模块中的训练集，引入总损失计算模块中的总损失作为损失函数进行反向传播，训练学生网络；

24、超分辨率重建模块，将多光谱遥感图像作为输入，通过学生网络训练模块中训练完成的学生网络，将低分辨率波段提升至光谱域中最高分辨率波段。

25、与现有技术相比，本发明具有如下有益效果：

26、1.本发明运用残差连接结合提取前后的特征图，在此基础上提取特征，残差卷积，能够使网络免于只学习输入的粗略空间的分辨率部分，能够专注于构建缺失的精细空间细节，从而帮助网络更快地收敛并使得网络达到更深的层次，达到良好的重建效果。

27、2.本发明引入高分辨率波段为先验知识，将高、低分辨率波段组合后输入网络训练，构建非传统端到端的低分辨率-高分辨率训练集，能够从现有的高分辨率波段转移纹理以及光谱特征，以高分辨率引导超分辨率，保留光谱域信息，针对多光谱遥感图像达到更优质的重建效果。

28、3.本发明所提出的知识蒸馏方法，不仅可以提升轻量化学生网络的训练速度，而且还使得学生网络在参数量小的前提下达到参数量大的教师网络的重建效果，使其更适合部署于资源有限的嵌入式设备中。