基于谱-空跨维度注意力机制的高光谱图像波段选择方法及系统

本发明属于高光谱图像降维，具体涉及一种基于谱-空跨维度注意力机制的高光谱图像波段选择方法及系统。

背景技术：

1、高光谱图像记录了数十乃至数百个连续且狭窄的波段。与rgb图像相比，高光谱图像包含更丰富的信息，其光谱分辨率高的特性更有利于精确的识别与分析被摄物体。高光谱图像在军事、矿产勘探、工业以及医疗等领域已得到广泛的应用。高光谱图像的波段狭窄且连续，其光谱分辨率仅约数纳米。然而，高光谱图像的波段冗余高，造成了计算资源开销大、浪费数据存储空间以及数据传输困难等问题。除此之外，由于休斯现象，高光谱图像若不降维，其波段冗余高的特性会导致如图像识别、目标检测等下游任务表现不佳。

2、因此，对高光谱图像进行降维是十分必要的。目前，高光谱图像降维技术主要分为两类：特征提取与波段选择。其中，特征提取通过寻找合适的特征变换，将高光谱图像的原始特征投影到低维空间，但由于特征空间的改变，特征提取过程丢失了原始高光谱图像的物理信息，使其在后续分析与处理中无法有效再利用物理特性。而波段选择是在原始波段集中选取有代表性的波段子集，即选择出少量波段以代表整个高光谱图像，波段选择保留了高光谱图像的原始物理意义，可解释性更高，符合实际应用需求。

3、目前，波段选择方法分为有监督式与无监督式两种。其中，有监督式波段选择方法在处理与计算过程中利用了先验信息，如样本标签等。而无监督波段选择方法通过分析高光谱图像数据本身，无需先验信息即可实现波段选择。在诸如遥感等技术领域，由于获取高光谱图像样本标签的成本高，因此无监督式波段选择方法在实际应用中更受欢迎。

4、随着计算机技术的发展，深度学习已在各领域展现出巨大的潜力。与传统方法相比，神经网络无需特征工程，即可自动学习与发掘数据中的关键特性。神经网络具有良好的拟合能力，可用于发掘与学习高光谱图像内部复杂的相互依赖关系。注意力机制可通过自动学习高光谱图像内潜在的相互关系，区分最具信息量与代表性的波段。近些年，各类基于注意力机制的深度学习波段选择方法被相继提出，这些方法通过对高光谱图像的光谱或空间维度建模，实现模型性能提升。然而，这些方法的建模过程仅在光谱或空间维度独立进行，忽略了光谱-空间维度间的相互联系。

技术实现思路

1、本发明的目的在于提出一种基于谱-空跨维度注意力机制的高光谱图像波段选择方法，充分利用光谱-空间跨维度关联信息，以提升模型性能，使波段选择结果更合理，质量更高。

2、本发明为了实现上述目的，采用如下技术方案：

3、基于谱-空跨维度注意力机制的高光谱图像波段选择方法，包括如下步骤：

4、步骤1.将经过数据归一化处理的原始高光谱图像，分割为多个互不重叠的矩形图像块；

5、步骤2.构建波段注意力模块，对原始高光谱图像的光谱维度进行建模，提取波段显著性特征，获取波段注意力权重，并根据波段注意力权重对原始高光谱图像逐波段注意力加权，生成波段注意力加权图像；

6、步骤3.构建波段-宽度、波段-高度两个方向的谱-空跨维度注意力模块，发掘高光谱图像中复杂的谱-空相互作用，生成谱-空注意力权重，并在生成的波段注意力加权图像的基础上，进一步进行谱-空注意力加权，生成谱-空注意力加权图像；

7、步骤4.利用基于3d卷积与转置卷积的自动编码器，重建生成的谱-空注意力加权图像，将重建残差作为模型的损失函数来实现模型优化；其中模型是由波段注意力模块、波段-宽度以及波段-高度两个方向的谱-空跨维度注意力模块、自动编码器组成的神经网络模型；

8、步骤5.模型优化完成后，对波段注意力权重值按照降序进行排序，值越靠前代表波段优先级越高，根据排序后的优先级选择对应的波段，获得最终波段子集。

9、在基于谱-空跨维度注意力机制的高光谱图像波段选择方法的基础上，本发明还提出了一种与之相适应的基于谱-空跨维度注意力机制的高光谱图像波段选择系统，其技术方案如下：

10、一种基于谱-空跨维度注意力机制的高光谱图像波段选择系统，包括：

11、图像块分割模块，用于将经过数据归一化处理的原始高光谱图像，分割为多个互不重叠的矩形图像块；

12、波段注意力模块，用于对原始高光谱图像的光谱维度进行建模，提取波段显著性特征，获取波段注意力权重，并根据波段注意力权重对原始高光谱图像逐波段注意力加权，生成波段注意力加权图像；

13、波段-宽度、波段-高度两个方向的谱-空跨维度注意力模块，用于发掘高光谱图像中复杂的谱-空相互作用，生成谱-空注意力权重，并在生成的波段注意力加权图像的基础上，进一步进行谱-空注意力加权，生成谱-空注意力加权图像；

14、自动编码器模块，基于3d卷积与转置卷积，重建上述谱-空注意力加权图像，将重建残差作为模型的损失函数来实现模型优化；其中模型是由波段注意力模块、波段-宽度以及波段-高度两个方向的谱-空跨维度注意力模块、自动编码器组成的神经网络模型；

15、以及波段子集选择模块，用于在模型优化完成后对波段注意力权重值按照降序进行排序，值越靠前代表波段优先级越高，根据排序后的优先级选择对应的波段，获得最终波段子集。

16、此外，在上述基于谱-空跨维度注意力机制的高光谱图像波段选择方法的基础上，本发明还提出了一种计算机设备，该计算机设备包括存储器和一个或多个处理器。

17、所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上面述及的基于谱-空跨维度注意力机制的高光谱图像波段选择方法的步骤。

18、此外，在上述基于谱-空跨维度注意力机制的高光谱图像波段选择方法的基础上，本发明还提出了一种计算机可读存储介质，其上存储有程序。该程序被处理器执行时，用于实现上面述及的基于谱-空跨维度注意力机制的高光谱图像波段选择方法的步骤。

19、本发明具有如下优点：

20、如上所述，本发明述及了一种基于谱-空跨维度注意力机制的高光谱图像波段选择方法。该方法首先利用波段注意力模块提取高光谱图像波段的显著性特征，计算波段注意力权重，并依据此权重对原始高光谱图像逐波段注意力加权；随后设计了波段-宽度、波段-高度两个方向的谱-空跨维度注意力模块，以进一步挖掘图像不同方向的谱-空非线性相互作用，在波段注意力加权图像的基础上，进一步对其进行谱-空注意力加权，从而充分利用谱-空联合信息，提升了波段选择结果合理性；最终，通过自动编码器重建波段注意力模块与谱-空跨维度注意力模块联合加权的高光谱图像，以重建残差作为损失函数进行模型优化。在优化过程中，波段注意力权重逐渐收敛至信息量大、重建能力强的波段上，从而获取价值波段。本发明方法通过挖掘高光谱图像内复杂的谱-空跨维度相互作用，充分利用了谱-空联合信息，从而使得波段选择结果更合理，波段选择质量更高，有助于提升下游任务的性能。

技术特征：

1.基于谱-空跨维度注意力机制的高光谱图像波段选择方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法，其特征在于，所述步骤1具体为：

3.根据权利要求1所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法，其特征在于，所述步骤2具体为：

4.根据权利要求1所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法，其特征在于，所述步骤3具体为：

5.根据权利要求1所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法，其特征在于，所述步骤4具体为：

6.根据权利要求5所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法，其特征在于，所述步骤4中，神经网络模型的损失函数被定义为：

7.根据权利要求1所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法，其特征在于，所述步骤5中，当神经网络模型收敛后，对所有矩形图像块x对应的波段注意力权重向量wb取均值，获取各波段的最终显著性得分

8.基于谱-空跨维度注意力机制的高光谱图像波段选择系统，其特征在于，包括：

9.一种计算机设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1至7任一项所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法的步骤。

10.一种计算机可读存储介质，其上存储有程序，其特征在于，程序被处理器执行时，实现如权利要求1至7任一项所述的基于谱-空跨维度注意力机制的高光谱图像波段选择方法的步骤。

技术总结
本发明属于高光谱图像降维技术领域，具体公开了一种基于谱‑空跨维度注意力机制的高光谱图像波段选择方法及系统。首先构建波段注意力模块对高光谱图像光谱维度进行建模，提取波段显著性特征，获取波段注意力权重，并对原始高光谱图像逐波段注意力加权；随后在波段注意力加权图像的基础上，构建波段‑宽度、波段‑高度两个方向的谱‑空跨维度注意力模块，发掘图像中复杂的谱‑空相互作用，生成谱‑空注意力权重，并对波段注意力加权图像进一步进行谱‑空注意力加权；最后利用自动编码器重建谱‑空注意力加权图像，将重建残差作为损失函数来实现模型优化。本发明充分利用光谱‑空间跨维度关联信息，提升模型性能，使波段选择结果更合理，质量更高。

技术研发人员：尚晓笛,崔传宇,孙旭东,付百佳
受保护的技术使用者：青岛大学
技术研发日：
技术公布日：2024/4/17