基于转置卷积长短时记忆网络的高光谱图像超分辨方法

本发明涉及图像处理的，尤其涉及一种基于转置卷积长短时记忆网络的高光谱图像超分辨方法。

背景技术：

1、高光谱图像由于其精细的光谱分辨率和空间-光谱协同检测能力，在传感器技术的快速发展下，已经成为遥感领域的强大工具，然而，由于能量限制，与具有较少光谱波段的高分辨率光学图像相比，高光谱图像往往具有较低的空间分辨率和混合像素，因此，在很多应用中，例如目标识别、异常检测等，超分辨率处理有时是不可或缺的。

2、技术上，图像超分辨率(sr)是指将低分辨率图像转换为相对高分辨率的空间域图像的技术。根据是否使用辅助图像，sr技术可以分为两类，即单图像sr方法和图像融合方法。高光谱图像融合技术面临一个主要障碍，即多个图像源的同步采集，因此，大多数研究使用模拟遥感数据进行实验，探索单幅高光谱图像sr技术对于实际应用来说无疑是有价值和必要的。

3、单幅图像超分辨率技术从理论上可以分为两类，即基于模型或正则化和基于深度学习的方法。基于正则化的sr方法广泛使用稀疏性和低秩正则化，例如高阶耦合张量环表示模型、可解释的张量建模方法、代价最小化算法和低秩逼近方法、低秩先验分组联合张量字典方法等。随着深度学习理论的发展和应用，研究者们利用大量深度卷积神经网络(cnn)方法来探索高光谱图像的空间和光谱特性。

技术实现思路

1、本发明提出一种多维注意力辅助的卷积长短期记忆网络用于高光谱图像超分辨率，卷积被用于提取丰富的空间特征，而带有双向长短期记忆的递归网络则用于建模全局相关性，为了得到扩展的图像，采用了转置卷积层，此外，还提出了多维注意力机制，以进一步提高网络学习能力。

2、一种基于转置卷积长短时记忆网络的高光谱图像超分辨方法，包括如下步骤：

3、步骤s1：对原始高光谱图像进行预处理；

4、步骤s2：对步骤s1中生成的图像进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤s1中同样尺寸大小的中分辨率高光谱图像；

5、步骤s3：对步骤s2中生成的图像再次进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤s1中同样尺寸大小的低分辨率高光谱图像；

6、步骤s4：构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；

7、步骤s5：构造训练样本集：将步骤s3中获取的低分辨率高光谱图像作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的p×p邻域数据块，构成训练样本；同时，对步骤s2中该低分辨率高光谱图像对应的中分辨率高光谱子像素空间图像进行相同的处理操作，以获得对应的训练标签样本，一共得到含n个样本的训练样本集；

8、步骤s6：训练网络：选择合适的损失函数和优化器，将准备好的数据输入网络中，计算损失函数，并使用自适应矩估计和反向传播算法进行训练更新网络参数；

9、步骤s7：构造测试集：从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤s1中的子像素空间像一致；再以步骤s2与步骤s4中相同的方式，生成测试样本集；

10、步骤s8：评估算法性能：评估算法性能；将步骤s7中测试样本集送入步骤s5中训练好的模型中，将生成的结果通过相评价指标来衡量算法的有效性。

11、优选的是，本发明步骤s4中构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；具体过程如下：

12、沿着光谱维度堆叠了两个convbilstm层和一个转置convbilstm层，每层包含c/2个大小为3*3的卷积核，分别用于正向和反向计算，堆叠后得到c个输出特征图，转置convbilstm层用于产生与高分辨率高光谱图像相同大小的输出图像，最后，采用s个1*1的卷积核的卷积层产生s个光谱波段；

13、为了捕捉空间-光谱-通道维度上的显著特征，使用多维注意力机制；其中，谱注意力模块首先将原始特征图在空间和通带维度上执行最大池化和平均池化，再依次通过三个卷积层，每个卷积层具有s个2*1大小的核，每个卷积层后跟着一个sigmoid函数，最终的谱注意力图通过累积卷积特征获得，并通过维度扩展元素乘法注入到原始特征中去；

14、通道注意力模块首先将原始特征图在我空间维度上执行最大值和平均值池化，然后通过三个全连接层，每层具有c个节点，分别进行sigmoid函数，最后fc层的输出被相加以获得通道注意力特征图被注入到原始特征图中去；

15、非局部空间注意力模块的结构，也包括三个全连接层和sigmoid函数，在获取重新调整的通道池化映射后执行；局部空间注意力模块首先将原始特征图通过最大池化和平均池化在通道维度上进行压缩，通过s个大小为3*3的卷积核进行三次空洞卷积，有效卷积核大小为3*3，膨胀因子分别为1、2、3，三个卷积的输出依次通过sigmoid函数，然后累加形成局部空间注意力图，最后将局部和非局部的注意力图相乘并送入另一个sigmoid函数层；

16、将注意力模块结合起来形成多维注意力模块加入总体框架模型中，其中非局部空间注意力模块在convbilstm层上进行，局部-非局部空间注意力模块在转置convbilstm层上进行。最后添加短连接直接将原始特征映射连接到输出特征映射。

17、本发明利用卷积双向长短期记忆网络作为特征探索网络，提出了一种转置卷积长短期记忆网络层来放大和重构高光谱图像，它具有强大的时空相关性和建模长序列数据建模的能力，充分利用了高光谱图像的图像和光谱特征。同时，提出多维注意力模块用于综合探索光谱、通道、局部和非局部空间特征，结合循环网络的参数共享特性，多维注意力模块的参数和存储大大减少，在不同分辨率比率下的sr实验表明了该方法的可行性和优越性。

技术特征：

1.一种基于转置卷积长短时记忆网络的高光谱图像超分辨方法，其特征在于包括如下步骤：

2.根据权利要求1所述的基于转置卷积长短时记忆网络的高光谱图像超分辨方法，其特征在于上述步骤s4中构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；具体过程如下：

技术总结
基于转置卷积长短时记忆网络的高光谱图像超分辨方法，对原始高光谱图像进行预处理；再进行退化处理，分别得到中分辨率高光谱图像、低分辨率高光谱图像；构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；构造训练样本集并训练网络；构造测试集后评估算法性能。本发明利用卷积双向长短期记忆网络作为特征探索网络，提出了一种转置卷积长短期记忆网络层来放大和重构高光谱图像，它具有强大的时空相关性和建模长序列数据建模的能力，充分利用了高光谱图像的图像和光谱特征。同时，提出多维注意力模块用于综合探索光谱、通道、局部和非局部空间特征，结合循环网络的参数共享特性，多维注意力模块的参数和存储大大减少。

技术研发人员：陆小辰,刘晓慧,张磊,彭蕾
受保护的技术使用者：东华大学
技术研发日：
技术公布日：2024/1/14