基于图注意力机制的多光谱与全色图像融合方法及系统

本发明属于图像处理技术中遥感图像融合领域，尤其涉及一种基于图注意力机制的多光谱与全色图像融合方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

由于卫星传感器技术的限制，同一传感器不能同时获取具有高空间分辨率和高光谱分辨率的卫星图像。现在卫星通过两种传感器采集具有较高的空间分辨率全色图像和具有较高的光谱分辨率多光谱图像，通过提取全色图像的空间细节信息并将其注入到多光谱图像中来提高多光谱图像的空间分辨率，来获取同时具有高空间分辨率和高光谱分辨率的图像。

目前，多光谱图像与全色图像融合技术主要可以分为四类：1)成分替换(componentsubstitutionmethods，cs)方法；该类方法通过ihs变换或主成分分析技术，将多光谱图像转换到不同的色彩空间或不同主成分，然后用全色图像替换i通道或第一主成分，最后通过相应的逆变换来获取具有高空间分辨率的多光谱图像。该类方法能较好的提高多光谱图像的空间分辨率，但同时也会造成一定的光谱失真。2)多分辨率分析(multiresolutionanalysismethods，mra)方法；该类方法利用小波变换、拉普拉斯金字塔、非下采样的contourlets变换等手段提取全色图像的空间细节，并将其注入到多光谱图像中。该类方法能较好的保存多光谱图像的光谱特性，但对其空间分辨率的提升效果有限，且时间开销较大。3)基于退化模型(degradationmodelbasedmethods，dm)的方法；该类方法将多光谱图像视为理想的高分辨率多光谱图像的退化图像。利用全色图像的空间细节信息，依靠马尔科夫随机场、自回归模型等技术重建出高分辨率的多光谱图像。但该类方法存在构建重建模型难度大，改进空间有限等问题。4)基于深度神经网络(deepneuralnetworkbasedmethods，dnn)的方法；使用深度神经网络学习图像的光谱和空间细节，获得了更好的融合性能，但仍有一个问题需要考虑：现有技术中没有考虑到多光谱图像和全色图像特征图之间的相关性的问题，忽略了多光谱图像与全色图像之间可能会具有的互补性特征。

技术实现要素：

为了解决上述背景技术中存在的技术问题，本发明提供一种基于图注意力机制的多光谱与全色图像融合方法及系统，其通过深度神经网络计算低空间分辨率的多光谱图像和高空间分辨率的全色图像之间的相关性，并重新分配每个特征图中样本的权重，经过一个重建网络来获得高空间分辨率的融合图像。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于图注意力机制的多光谱与全色图像融合方法。

基于图注意力机制的多光谱与全色图像融合方法，包括：

获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；

将多光谱图像特征图和全色图像特征图输入深度神经网络模型；

采用训练样本集和adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；

将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。

本发明的第二个方面提供一种基于图注意力机制的多光谱与全色图像融合系统。

基于图注意力机制的多光谱与全色图像融合系统，包括：

采集模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；

模型构建模块，其被配置为：将多光谱图像特征图和全色图像特征图输入深度神经网络模型；

模型优化模块，其被配置为：采用训练样本集和adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；

输出模块，其被配置为：将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。

与现有技术相比，本发明的有益效果是：

1、本发明能获得准确的空间和光谱信息，可用于目标识别、地物分类和环境监测等遥感领域。

2、多光谱图像和全色图像之间在学习或训练过程中应该有互动或者交流，从而使得学习到的特征更加具有互补性。通过注意力机制的引入强调了多光谱图像和全色图像特征图之间的相关性，使得之前简单的串联更加合理。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例中基于图注意力机制的多光谱与全色图像融合方法的流程图；

图2是本发明实施例中基于图注意力机制的多光谱与全色图像融合方法的结构图；

图3(a)是本发明实施例中的低空间分辨率的多光谱图像；

图3(b)是本发明实施例中的高空间分辨率的全色图像；

图3(c)是本发明实施例中的一幅参考图像；

图3(d)是本发明实施例中采用本发明对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

如图1所示，本实施例提供了一种基于图注意力机制的多光谱与全色图像融合方法，构建深度神经网络，包括一条用于输入多光谱图像的分支网络和一条用于输入全色图像的分支网络，将两条分支网络提取出的特征进行堆叠后,利用图卷积注意力机制计算特征图之间的相关性，重新分配每个特征图中样本的权重，经过一个重建网络来获得高空间分辨率的融合图像。

本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：

基于图注意力机制的多光谱与全色图像融合方法，包括：

s101：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；

其中，采用双线性插值方法，将低分辨率的多光谱图像上采样为高空间分辨率的全色图像的大小。

s102：将多光谱图像特征图和全色图像特征图输入深度神经网络模型；

具体的，将低空间分辨率的多光谱图像输入到构建的深度神经网络模型，得到多光谱图像特征图；同时将高空间分辨率的全色图像输入到构建的深度神经网络模型，得到全色图像特征图。

s103：采用训练样本集和adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；

其中训练集的具体为：基于高空间分辨率的全色图像和上采样处理的低分辨率的多光谱图像，构建训练样本集；其中每个训练样本，包括：一个高空间分辨率的全色图像和一个上采样处理的低分辨率的多光谱图像。

具体的，训练过程为：将多光谱图像特征图与全色图像特征图进行堆叠处理，得到第一特征图；基于第一特征图提取多通道的第二特征图，基于第二特征图构造无向万全图，采用图注意力机制算法计算无向万全图各个通道的权重；基于各个通道的权重数值与第一特征图相结合，重建卷积网络，得到第三特征图；将第三特征图与第一特征图相加得到第四特征图；对第四特征图进行卷积处理，输出融合后的高空间分辨率的多光谱图像。

s104：将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。

示例的，本申请技术方案具体的实现过程如下：

作为一种实施方式，本发明中使用的是8.0米的低空间分辨率多光谱图像和2.0米的高空间分辨率全色图像，但并不局限于8.0米的低空间分辨率多光谱图像和2.0米的高空间分辨率全色图像。

(1)输入图像：

分别输入低空间分辨率的多光谱图像m和高空间分辨率的全色图像p，并将低分辨率多光谱图像上采样为全色图像大小，获得成对的训练数据。

(2)构建深度神经网络：

通过构建含有多个卷积模块的深度神经网络来对全色与多光谱图像的特征进行提取,最后将提取出的特征进行融合获得融合后的图像。本发明提出的深度神经网络中,每个卷积模块包含一个卷积核大小3×3×32的卷积层。

(2a)多光谱图像经过两个卷积模块得到特征图m'，全色图像经过两个卷积模块得到特征图p'。

(2b)特征图m'和p'堆叠得到特征图x。

(2c)依次从x的第2、3个维度提取n为通道数或滤波器数。再对xⁱ求均值得到将xⁱ当做节点。构造一个无向完全图g，节点表示为x＝{xⁱ}。图g中边的权重通过下式计算：

其中，h和w表示特征图的高和宽，sij表示节点xⁱ和x^j之间的边权重矩阵。然后，将sij馈送到softmax层，得到归一化的注意力分数，使用以下公式：aij＝σ(sij)

其中，σ表示softmax函数，aij表示归一化的注意力分数。然后将归一化的注意力分数aij与x中的特征图相结合，结合方式为：

(2d)将所有x'ⁱ依次排列得到x'，然后将x'与特征图x相加，得到特征图fus。

(2e)将(2d)中得到的特征图fus经过一个卷积模块得到最后的融合结果h。

(3)构建目标方程：

其中，k表示样本数目，y表示作为参考的高分辨率多光谱图像，m和p表示输入的低分辨率多光谱图像和高分辨率全色图像，f表示深度神经网络运算的过程。

(4)训练和测试：

利用步骤(1)所得训练样本,采用随机梯度下降算法对深度神经网络进行训练,得到训练完成的深度神经网络。将待融合的全色图像与多光谱图像,输入到训练完成的深度神经网络中，得到融合后的高空间分辨率的多光谱图像。

实施例二

本实施例提供了一种基于图注意力机制的多光谱与全色图像融合系统。

基于图注意力机制的多光谱与全色图像融合系统，包括：

采集模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；

模型构建模块，其被配置为：将多光谱图像特征图和全色图像特征图输入深度神经网络模型；

模型优化模块，其被配置为：采用训练样本集和adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；

输出模块，其被配置为：将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。

为了进一步证明本实施例的技术方案，通过一个具体例子进行详细描述。

本发明实施例中，采用geoeye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱和高空间分辨率的全色图像，低空间分辨率的多光谱图像大小为64×64×4，空间分辨率为8.0m，高空间分辨率的全色图像大小为256×256，空间分辨率为2.0m。

步骤1：输入图像。

分别输入低空间分辨率的多光谱图像m和高空间分辨率的全色图像p。

使用双线性插值方法，将低分辨率的多光谱图像上采样为全色图像大小，为256×256×4，获得成对的训练数据。

步骤2：构建深度神经网络：

通过构建含有多个卷积模块的深度神经网络来对全色与多光谱图像的特征进行提取，最后将提取出的特征进行融合获得融合后的图像。本发明提出的深度神经网络中，每个卷积模块包含一个卷积核大小3×3，数量为32的卷积层。

如图2中所示，

步骤2a：多光谱图像经过两个卷积模块得到特征图m'，大小为32×256×256。全色图像经过两个卷积模块得到特征图p'，大小为32×256×256。

步骤2b：特征图m'和p'堆叠得到特征图x，大小为64×256×256。

步骤2c：依次从x的第2、3个维度提取n为通道数或滤波器数，大小为64×65536。再对xⁱ求均值得到大小为64×1，将xⁱ当做节点。构造一个无向完全图g，大小为64×64，节点表示为x＝{xⁱ}。图g中边的权重通过下式计算：

其中，h和w表示特征图的高和宽，sij表示结点xⁱ和x^j之间的边权重矩阵。

然后，我们将sij馈送到softmax层，得到归一化的注意力分数，使用以下公式：

aij＝σ(sij)

其中，σ表示softmax函数，aij表示归一化的注意力分数。然后将归一化的注意力分数aij与x中的特征图相结合，结合方式为：

步骤2d：将所有x'ⁱ依次排列得到x'，然后将x'与特征图x相加，得到特征图fus。

步骤2e：将步骤2d中得到的特征图fus经过一个卷积模块得到最后的融合结果h。

步骤3：利用步骤1中生成的训练样本与adam随机梯度下降算法对网络进行训练，损失函数为:

其中，k表示样本数目，y表示作为参考的高分辨率多光谱图像，m和p表示输入的低分辨率多光谱图像和高分辨率全色图像，f表示深度神经网络运算的过程。

步骤4：利用步骤1所得训练样本，采用随机梯度下降算法对深度神经网络进行训练，得到训练完成的深度神经网络。将待融合的全色图像与多光谱图像，输入到训练完成的深度神经网络中，得到融合后的高空间分辨率的多光谱图像。即可得到高空间分辨率的多光谱图像大小256×256×4，空间分辨率为2.0m。

本实施例的效果可以通过以下仿真进一步说明。

1.仿真环境：

pycharmcommunityedition2020.2.3x64，nvidia2080tigpu,ubuntu16.04。

2.仿真内容：

仿真1，用本发明对geoeye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱和高空间分辨率的全色图像进行融合，结果如图2所示，其中：

图3(a)是低空间分辨率的多光谱图像，大小为64×64×4，

图3(b)是高空间分辨率的全色图像，大小为256×256，

图3(c)是一幅参考图像，大小为256×256×4，

图3(d)为采用本发明对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像，大小为256×256×4。

由图3(a)-图3(b)可见，图3(d)的空间纹理信息相比于图3(a)有明显提高，道路与建筑物等边缘清晰，与图3(b)相比，图3(d)的光谱信息更加丰富，由此可见，本发明能够对图3(a)和图3(b)进行较好的融合。

仿真2，为了证明本发明的效果，分别用本发明的方法和现有技术bdsd变换法、awlp变换法、indusion变换法、svt变换法、vplgc变换法和其他的深度神经网络方法pnn方法、pannet方法对图3(a)和图3(b)的待融合图像进行融合，并对融合结果进行客观指标评价，评价指标如下：

1)相关系数cc，表示光谱信息的保留程度，结果在区间[0,1]，相关系数越接近1，表示融合结果与参考图像越相似。

2)均方根误差rmse，表示预测值与真实值偏差的平方与观测次数n比值的平方根，数值越小，融合结果越好。

3)全局综合误差指标erg，在rmse的基础上，考虑融合影像与观测影像之间的尺度关系，区间在[0,1]，指标越接近于1越好。

4)光谱弧度sam，表示光谱的扭曲程度，越接近0，融合结果越好。

5)全局质量评估indexq，表示图像在空间和光谱上的整体相似度，结果范围在区间[0,1]，全局质量评估指数越大，融合图像越与参考图像相似。

6)整体图像质量指数uiqi，表示融合图像与参考图像的接近程度，越接近1，融合结果越好。

根据上述评价指标对本发明与现有技术的融合结果从客观评价指标上进行评价，结果如表1。

表1.各类方法融合结果的客观评价

由表1可见，本发明的相关系数cc、均方根误差rmse、全局综合误差指标erg、光谱弧度sam、全局质量评估indexq和整体图像质量指数uiqi均大于现有技术的评价值，由此可以看出本发明的大部分客观评价指标均优于现有技术的客观评价指标。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。