基于多分辨率注意力融合网络的高光谱图像去噪方法及系统

本发明涉及图像处理及深度学习，尤其涉及一种基于多分辨率注意力融合网络的高光谱图像去噪方法及系统。

背景技术：

1、高光谱图像(hsi)在超过数百个光谱波段捕获丰富的光谱信息，与传统的光学图像相比，可以更好地区分地面物体。因此，高光谱在航空航天、城市调查、军事监视等方面有着广泛的应用。然而，由于成像条件差、仪器限制和遥感器噪声的影响，hsi的采集和传输过程中会受到噪声的污染，影响在实际中的使用。因此，hsi去噪是hsis进行后续处理的关键一步。

2、高光谱图像去噪主要是指从预测的图像中提取出干净的图像。hsi去噪方法大致可分为传统的模型优化方法和基于数据的深度学习方法两类。在模型优化方法中，通过设计正则项的方式，挖掘高光谱图像的空间和光谱信息，比如稀疏性、非局部自相似性，光谱相关性等，具有模型简单，可解释性强，但是去噪能力有待提升。基于深度学习的方法没有在hsi中使用主观的hsi去噪，而是基于深度学习的方法，它使用从噪声和噪声hsi对中学习到的数据驱动特征。基于数据的深度学习方法，通过设计一种新的网络结构，挖掘高光谱图像信息，这需要大量的数据来训练网络参数，去噪性能好。既考虑数据集中空间信息，又考率光谱信息是基于深度学习的高光谱去噪的关键。chang等人提出的hsi-denet引入残差学习、扩张卷积和多通道滤波，实现了去除hsi中的混合噪声。yuan等人提出的partial-dnet估计所有波段的噪声强度，自适应去除不同数据集下的噪声。这些基于深度学习的方法网络结构复杂，计算量大，可解释性不强。

3、近两年来，为结合模型优化和深度学习方法的优缺点，研究人员提出了模型引导网络结构设计的方法，将模型优化迭代过程看做是网络训练，这样既降低了网络设计的难度，还提升了网络的可解释性，同时增强去噪效果。由于上述优点，基于模型优化和深度学习在高光谱降噪中得到了一定的使用，并取得了显著成绩。网络mac-net考虑了频谱低秩模型和空间深度先验，以解决hsi中降低噪声的问题。

4、现有的hsi去噪大多基于深度学习，目前将模型优化和深度学习方法相结合的过程中，取得了一定的成果，但仍有许多问题存在：

5、1.网络通用性不足，大多模型在处理高斯噪声和混合噪声时的模型是不统一的。

6、2.网络模型各个模块之间特征的交互性不强，无法更好的实现模型特征提取到特征之间的交叉信息，提升效果。

7、3.定量指标和图像可视化分析评估去噪方法，现有模型仍有提升的空间。

技术实现思路

1、本发明针对上述问题，提出了一种基于多分辨率注意力融合网络的高光谱图像去噪方法及系统，首先采用数据处理模块对高分辨图像进行下采样处理，形成三个并行的多分辨率子网络。依据提出的双融合残差模块利用重复的多尺度信息。然后通过提出的交叉注意融合模块，从通道和空间上对不同分辨率的特征图进行加权，捕获重要特征信息。最后，利用具有多个卷积块的(高分辨率)图像重建模块得到残差噪声图像，进而得到最终去噪后的高光谱图像。

2、为了实现上述目的，本发明采用以下技术方案：

3、本发明一方面提出一种基于多分辨率注意力融合网络的高光谱图像去噪方法，包括：

4、步骤1：构建多分辨率注意力融合网络，所述多分辨率注意力融合网络包括数据处理模块、双融合残差模块、交叉注意力融合模块和图像重建模块，所述数据处理模块用于对输入的高光谱图像进行不同倍数的降采样，所述双融合残差模块用于对不同分辨率的图像进行融合，所述交叉注意力融合模块用于在通道和空间注意力上聚焦图像中的特征，所述图像重建模块用于利用提取出的残差的噪声图像和原始高光谱图像得到去噪后的图像；

5、步骤2：基于训练后的多分辨率注意力融合网络对高光谱图像进行去噪处理。

6、进一步地，所述数据处理模块具体用于执行以下步骤：

7、步骤1.1，对输入的高光谱图像进行裁剪，随后对其进行数据增强；

8、步骤1.2，对增强后高光谱图像进行下采样1倍、2倍和4倍，得到分辨率由高到低的多分辨率图像，多分辨率图像按照分辨率由高到低表示为：高分辨率h1、中分辨率h2和低分辨率h3。

9、进一步地，所述多分辨率注意力融合网络还包括二维卷积，通过二维卷积对h3进行处理。

10、进一步地，所述双融合残差模块具体用于执行以下步骤：

11、步骤2.1，将hi和hi+1作为输入，i＝1或2；

12、步骤2.2，对于hi，通过批处理归一化(bn)调整分布；

13、步骤2.3，将hi+1进行上采样得到与hi相同大小；

14、步骤2.4，生成卷积变换后每个像素(x，y)的尺度和位移，给出变换后的特征：

15、

16、其中，c表示通道，γc表示通道c光谱波段上的尺度参数，βc表示通道c光谱波段上的位移参数，表示经过bn后的特征图，hλ表示输入的光谱波段，μc和σc分别表示平均值和标准差；

17、

18、其中，m、n分别表示特征图的高度和宽度。

19、步骤2.5，对进行卷积，重复步骤2.2，2.4；

20、步骤2.6，将步骤2.5的输出及经过二维卷积处理后的h3作为输入；

21、步骤2.7，重复步骤2.2，2.3，2.4，2.5。

22、进一步地，所述交叉注意力融合模块具体用于执行以下步骤：

23、步骤3.1，将经过双融合残差模块和二维卷积处理后得到的三种不同分辨率的特征图作为输入，并基于不同参照分辨率调整特征图大小；

24、步骤3.2，当处于高分辨率时，对于输入特征fc，首先进行全局最大池化和平均池化，随后，经过输入多层感知器mlp，最后，将得到的两个特征求和，通过激活函数relu得到通道权重系数mc：

25、m＝mlp(avgpool(fc))+mlp(maxpool(fc))

26、mc＝relu(avgpool(m)+maxpool(m))

27、步骤3.3，对通道权重mc进行softmax函数归一化后与输入特征fc相乘：

28、tc＝softmax(mc)fc

29、步骤3.4，对得到的特征tc进行空间注意融合：进行最大池化和平均池化，并将得到的两个特征进行拼接，然后，进行3×3卷积得到空间权值参数ts：

30、ts＝con3×3(concat[avgpool(tc),maxpool(tc)])

31、其中con3×3表示3×3卷积；

32、步骤3.5，对ts进行softmax函数归一化后与输入特征fc相乘得到融合特征，并使用跳跃连接将输入特征fc进行添加，得到最终的融合特征f：

33、f＝softmax(ts)fc+fc

34、步骤3.6，当处于两个低分辨率时，重复步骤3.2，3.3，3.4，3.5；

35、步骤3.7，重复执行上述所有步骤；

36、步骤3.8，最后将得到的两个低分辨率特征图像上采样到得到的高分辨率特征图像大小。

37、进一步地，所述图像重建模块具体用于执行以下步骤：

38、步骤4.1，对得到的高分辨特征图像进行多层卷积；

39、步骤4.2，利用残差学习，从原始高光谱图像中减去残差噪声图像，计算出无噪声图像：

40、

41、其中i表示原始高光谱图像，in表示残差噪声图像，表示无噪声图像。

42、本发明另一方面提出一种基于多分辨率注意力融合网络的高光谱图像去噪系统，包括：

43、多分辨率注意力融合网络构建单元，用于构建多分辨率注意力融合网络，所述多分辨率注意力融合网络包括数据处理模块、双融合残差模块、交叉注意力融合模块和图像重建模块，所述数据处理模块用于对输入的高光谱图像进行不同倍数的降采样，所述双融合残差模块用于对不同分辨率的图像进行融合，所述交叉注意力融合模块用于在通道和空间注意力上聚焦图像中的特征，所述图像重建模块用于利用提取出的残差的噪声图像和原始高光谱图像得到去噪后的图像；

44、高光谱图像去噪单元，用于基于训练后的多分辨率注意力融合网络对高光谱图像进行去噪处理。

45、与现有技术相比，本发明具有的有益效果：

46、本发明提出一种双融合残差模块，对不同分辨率的图像进行融合，捕捉不同分辨率上的特征信息，提高对图像的理解能力。还提出了一种交叉注意融合模块，在通道和空间注意力上聚焦图像中的重要特征，通过空间注意融合压缩特征图的空间维度，通过通道注意力机制聚焦有效信息的位置。最终利用提取出的残差的噪声图像得到去噪后的图像。并通过实验验证了本发明在高光谱图像去噪方面的优越性。