基于最小单形体体积约束及Transformer结构的高光谱图像解混方法

本发明涉及高光谱图像解混，尤其涉及一种基于最小单形体体积约束及transformer结构的高光谱图像解混方法。

背景技术：

1、高光谱遥感是对地观测领域的重要技术，高光谱遥感图像具有高的光谱分辨率以及图谱合一的特点和优势，能够识别和探测各种地物，在遥感应用中受到越来越多的关注，如土地覆盖分类、数据融合、目标检测等。然而，由于传感器的空间分辨率相对较低，且地物信息分布复杂，高光谱遥感图像中存在大量混合像元，不可避免地降低了数据处理的性能。因此，混合像元问题求解模型和方法的研究是高光谱遥感信息领域一个重要研究方向。线性混合模型是一种简单而有效的光谱解混模型，它是假设入射光与一种材料之间存在单一的相互作用。虽然线性混合模型在物理解释性方面具有简单和易于理解等优势，但是却忽略了实际场景中的光谱变异性和非线性相互作用的存在。为了在复杂场景中获得理想的解混性能，非线性混合模型被提出来考虑场景中多个地物信息之间的相互作用。尽管众多的非线性混合模型在某些特定的情况下取得了好的解混效果，但在实际应用中，它们通常需要对非线性相互作用特性有一定的先验知识才能建立解混模型。

2、近年来，深度学习方法以其优越的性能解决了各种非线性问题，并且许多深层神经网络模型已经成功应用于高光谱图像分析。自编码网络能够自动学习低维数据特征和重构数据的能力使其成为热门。自编码网络每一层可以看作上一维输出的非线性变换或特征表示，每增加一层就可以用于表示更加复杂的数据征。自编码网络一般包含编码器和解码器，并且可以根据不同的需求来加深编码器和解码器的网络深度。

3、已有的卷积自编码器虽然能够成功应用于高光谱图像解混中，但只能利用到局部空间信息，在重构过程中容易丢失细节。而且忽略了几何信息，当数据集中没有纯像素时，大多数方法都无法准确估计端元，导致提取的端元及其丰度与真实值相比存在一定的误差。

技术实现思路

1、针对现有基于深度学习的高光谱图像解混方法存在解混精度较低的问题，本发明提供一种基于最小单形体体积约束及transformer结构的高光谱图像解混方法。

2、本发明提供的基于最小单形体体积约束及transformer结构的高光谱图像解混方法，包括：

3、构建高光谱图像解混网络模型，包括：编码器、分割模块、transformer模块和解码器；其中，所述编码器用于提取输入的高光谱图像的判别特征；所述分割模块用于将所述判别特征分割为若干个图像块；所述transformer模块用于提取输入的若干个图像块中任意两个图像块之间的远程上下文信息；所述解码器用于基于transformer模块的输出重构高光谱图像；

4、设计损失函数，根据损失函数对所述高光谱图像解混网络模型进行训练；

5、利用训练好的高光谱图像解混网络模型对输入的高光谱图像进行解混。

6、进一步地，所述编码器包括3层卷积层；第一卷积层依次由conv 2d层、bn层、dropout层和leaky relu函数构成；第二卷积层依次由conv 2d层、bn层和dropout层构成；第三卷积层依次由conv 2d层和bn层构成。

7、进一步地，所述transformer模块包括至少一个transformer编码器；每个所述transformer编码器均包含一个多头自注意网络。

8、进一步地，所述损失函数为：

9、l＝loss1+γlsad+βlre

10、

11、

12、

13、其中，l表示总损失，loss1表示网络模型本身的损失，lre表示重构误差损失，lsad表示光谱角距离损失，λ、γ和β表示权重，表示重构的高光谱图像，y表示原始的高光谱图像，||·||f表示frobenius规范，表示最小单形体体积约束，θ2表示解码器的参数，表示θ2的估计，表示光谱像素的平均值，表示r阶单位矩阵的转置矩阵，p表示波段数量，n表示像素数量，r表示端元数量。

14、本发明的有益效果：

15、本发明基于单形体体积最小化约束的transformer模块结构构建了高光谱图像解混网络模型，该模型能够将信息从低级特征转移到高级特征，很好地考虑图像的全局信息，在提取细节特征的同时很好地学习波段间的相关性。这在很大程度上有助于保留诸如深层特征表示中的结构等细节。在编码器解码器的每个卷积层后面是一个批归一化(bn)层，它加快了学习过程，并为选择超参数提供了更强的鲁棒性。为了提高非线性，还使用漏校正线性单元(relu)作为所有卷积层的非线性激活函数，使用softmax来加强“和为一”约束asc和“非负性”约束anc。通过引入单形体体积最小化约束，进一步融合高光谱图像中的几何信息，提高了解混精度。

技术特征：

1.基于最小单形体体积约束及transformer结构的高光谱图像解混方法，其特征在于，包括：

2.根据权利要求1所述的基于最小单形体体积约束及transformer结构的高光谱图像解混方法，其特征在于，所述编码器包括3层卷积层；第一卷积层依次由conv 2d层、bn层、dropout层和leaky relu函数构成；第二卷积层依次由conv 2d层、bn层和dropout层构成；第三卷积层依次由conv 2d层和bn层构成。

3.根据权利要求1所述的基于最小单形体体积约束及transformer结构的高光谱图像解混方法，其特征在于，所述transformer模块包括至少一个transformer编码器；每个所述transformer编码器均包含一个多头自注意网络。

4.根据权利要求1所述的基于最小单形体体积约束及transformer结构的高光谱图像解混方法，其特征在于，所述损失函数为：

技术总结
本发明提供一种基于最小单形体体积约束及Transformer结构的高光谱图像解混方法。该方法包括：构建高光谱图像解混网络模型，包括：编码器、分割模块、Transformer模块和解码器；其中，所述编码器用于提取输入的高光谱图像的判别特征；所述分割模块用于将所述判别特征分割为若干个图像块；所述Transformer模块用于提取输入的若干个图像块中任意两个图像块之间的远程上下文信息；所述解码器用于基于Transformer模块的输出重构高光谱图像；设计损失函数，根据损失函数对所述高光谱图像解混网络模型进行训练；利用训练好的高光谱图像解混网络模型对输入的高光谱图像进行解混。

技术研发人员：王瀛,张铭博,刘芳祯
受保护的技术使用者：河南大学
技术研发日：
技术公布日：2024/1/11