一种多光谱图像全色锐化方法与流程

本发明涉及图像处理及深度学习领域，尤其涉及一种多光谱图像全色锐化方法。

背景技术：

近年来，尽管随着遥感技术的不断发展，遥感图像的空间分辨率和光谱分辨率有了很大的提升，但这依然无法满足许多复杂遥感任务的要求。由于成像传感器的结构限制，遥感系统难以通过提升硬件技术来获得具有更高分辨率的遥感图像。为了解决这一难题，遥感领域引进了信号处理技术，这其中，全色锐化技术是最成功的技术之一。对于给定具有高光谱分辨率但空间分辨率较低的多光谱图像，以及具有高空间分辨率但只有单个光谱通道的全色图像，全色锐化技术能够通过融合前者的光谱信息和后者的空间信息，从而得到具有高空间分辨率的多光谱图像。

在过去的许多年里，研究人员提出了大量不同的全色锐化方法。其中较经典的方法主要有成分替代法和多分辨率分析法。成分替代法从光谱的角度来研究全色锐化问题，这种方法首先通过光谱变换将多光谱图像变换到某个空间域以分离其光谱成分和空间成分，然后使用全色图像替换变换结果的空间成分，再反变换回原始的空间域从而得到锐化图像。根据变换方法的不同，这一类方法主要包括光强、色调、饱和度变换法(ihs)、主成分分析变换法(pca)和施密特正交变换法(gs)等。多分辨率分析法则是从几何或空间的角度来研究全色锐化问题。这种方法首先在多个分辨率下对全色图像进行分解以提取空间细节信息，随后将这些信息注入到多光谱图像中得到锐化结果。根据分解方法的不同，这一类方法主要包括小波变换(dwt)、拉普拉斯金字塔(lp)等。近年来，基于深度学习的方法在信号处理领域和遥感领域获得了很多关注。许多基于深度学习的全色锐化方法相继被提出，并且取得了优于传统的成分替代法以及多分辨率分析法的性能效果。现有的方法一般利用卷积神经网络端到端的学习能力，期望直接从低空间分辨率的多光谱图像中一步式地获得高空间分辨率的多光谱图像。然而，由于两者之间的分辨率差异相对较大，单过程的全色锐化难以实现较好的锐化效果。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种多光谱图像全色锐化方法。本发明首先设计一个空间特征传输卷积模块，该模块能够通过三维卷积同时处理空间信息和光谱信息，从而实现较好的空间和光谱保真度，此外，该模块还通过空间特征传输的方式进一步提高了空间细节重建效果。在此基础上，本发明使用所设计的空间特征传输卷积模块构建了一个空间特征传输串级卷积神经网络，该网络通过串联三个模块将全色锐化过程分为三个子过程，逐级地提升锐化效果，有效地降低了每一级的锐化难度，增强了全色锐化效果。

本发明的方案能够通过以下技术方案实现：

一种多光谱图像全色锐化方法，包括步骤：

读取原始的多光谱图像和全色图像，对读取的图像数据进行预处理；

从预处理后的图像中划分出不同的区域并按照特定的原则从所述区域中截取出图像块作为训练样本和测试样本；

设计空间特征传输卷积模块；

设计空间特征传输串级卷积神经网络：

使用零均值的高斯分布对空间特征传输串级卷积神经网络模型各卷积层的权重和偏置进行随机初始化；

输入训练样本，经过网络前向传播得到预测图像，选择均方误差作为损失函数，计算预测图像与参照图像之间的损失函数值；

判断损失函数值是否小于设定的阈值：

若损失函数值小于设定的阈值，则其达到最小，得到权重w和偏置b的最优解并进行保存；

否则使用自适应矩估计算法对模型进行迭代优化，更新权重w和偏置b；重复迭代过程直至损失函数值小于设定的阈值；

将权重和偏置的最优解加载至空间特征传输串级卷积神经网络模型中，输入测试样本进行全色锐化处理。

具体地，所述读取原始的多光谱图像和全色图像的步骤中，读取的原始的多光谱图像和全色图像满足以下关系：

h2＝rh1

w2＝rw1

其中，r表示全色图像与多光谱图像的空间分辨率之比，h1和w1分别表示原始多光谱图像的高和宽，h2和w2分别表示全色图像的高和宽。

具体地，对读取的图像数据进行预处理为：使用具有特定频率响应的滤波器对原始的多光谱图像和全色图像进行平滑滤波，对滤波结果进行下采样，使其空间分辨率降低r倍，得到退化的多光谱图像和全色图像，再根据多项式插值法对退化的多光谱图像进行尺度为r的上采样，恢复其空间分辨率。

具体地，所述获取训练样本和测试样本的步骤中，选择上采样处理后的多光谱图像的特定区域和退化的全色图像的对应位置作为训练区域，按照互不重叠的原则，以固定的取样间隔从训练区域中截取出图像块，随后打乱所截取的图像块的顺序，从中随机抽取出一定的比例作为训练样本；

选择上采样处理后的多光谱图像中与训练区域不同的另一区域，以及退化的全色图像的对应位置作为测试区域，从测试区域中截取子图像作为测试样本。

空间特征传输卷积模块接收待锐化的多光谱图像以及空间特征映射图作为输入，通过三维卷积同时处理空间信息和光谱信息，并以空间特征传输的方式进一步实现空间细节的重建。

具体地，所述设计空间特征传输卷积模块结构的步骤中，包括：

二维卷积层conv1，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图s⁽ⁱ⁾，输出n个特征图表示为其中w1和b1分别表示该层卷积核的权重矩阵和偏置矩阵，表示激活函数，这里选择线性整流函数，其表达式为

二维卷积层conv2，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层conv1的输出输出n个特征图表示为其中w2和b2分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

二维卷积层conv3，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图s⁽ⁱ⁾，输出n个特征图表示为其中w3和b3分别表示该层卷积核的权重矩阵和偏置矩阵，这里同样选择线性整流函数作为激活函数。

二维卷积层conv4，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层conv3的输出输出n个特征图表示为其中w4和b4分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

三维卷积层conv5，包含n个感受野为7×7×3的卷积核，用于执行三维卷积操作：输入待锐化的多光谱图像输出n个特征图表示为其中w5和b5分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

空间特征传输层sft，该层输入二维卷积层conv2的输出二维卷积层conv4的输出以及三维卷积层conv5的输出输出n个特征图表示为其中⊙和分别表示对应通道逐像素相乘和相加，选择线性整流函数作为激活函数。

所述空间特征传输串级卷积神经网络模型由三个空间特征传输卷积模块串联而成，将全色锐化过程分为三个子过程进行处理，使用线性整流函数作为激活函数。

具体地，所述构建空间特征传输串级卷积神经网络模型的步骤中，包括：

拼接层concat，表示为其中为输入的多光谱训练样本，为输入的全色图像训练样本，表示将两者在光谱维度进行拼接，c⁽ⁱ⁾表示该层输出的b+1个特征图；

二维卷积层s-conv1，包含64个感受野为7×7的卷积核，用于执行二维卷积操作：输入品阶层concat的输出c⁽ⁱ⁾，输出64个特征图整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，选择线性整流函数作为激活函数；

二维卷积层s-conv2，包含32个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层s-conv1的输出输出32个特征图整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；

二维卷积层s-conv3，包含8个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层s-conv2的输出输出8个特征图整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；

空间特征传输卷积模块sftconvblock-64，输入二维卷积层s-conv1的输出和多光谱训练样本输出64个特征图实现第一级全色锐化过程；

空间特征传输卷积模块sftconvblock-32，输入二维卷积层s-conv2的输出和空间特征传输卷积模块sftconvblock-64的输出输出32个特征图实现第二级全色锐化过程；

空间特征传输卷积模块sftconvblock-8，输入二维卷积层s-conv3的输出和空间特征传输卷积模块sftconvblock-32的输出输出8个特征图实现第三级全色锐化过程；

三维卷积层m-conv4，包含1个感受野为1×1×1的卷积核，用于执行三维卷积操作，输入空间特征传输卷积模块sftconvblock-8的输出输出预测图像o⁽ⁱ⁾，整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

进一步地，所述卷积神经网络模型训练时选用的均方误差损失函数表达式为：

其中，θ表示整个空间特征传输串级卷积神经网络的参数集合，np表示每一次迭代输入的训练样本数，||·||f表示frobenius范数。

本发明相较于现有技术，具有以下的有益效果：

1、本发明设计了一个空间特征传输卷积模块，该模块采用三维卷积对空间信息和光谱信息同时进行处理，能够得到较好的空间锐化效果和较高的光谱保真度，该模块还通过空间特征传输的方式进一步提高了空间细节的重建效果。

2、本发明通过设计的空间特征传输卷积模块构建了一个空间特征传输串级卷积神经网络，根据逐级锐化的思想，将全色锐化过程分为三个子过程进行处理，有效地降低了每一级的锐化难度，增强了全色锐化效果。

附图说明

图1为多光谱图像全色锐化方法的流程图。

图2为本发明实施例中空间特征传输卷积模块的结构图。

图3为本发明实施例中空间特征传输串级卷积神经网络模型的结构图。

图4为ikonos多光谱参照图。

图5为采用双三次插值处理后的图像.

图6为采用自适应施密特正交变换法处理后的图像.

图7为采用基于àtrous的小波变换法处理后的图像.

图8为采用本实施例所述方法处理后的图像。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示为一种多光谱图像全色锐化方法的流程图，包括步骤：

(1)读取原始的多光谱图像和全色图像，对读取的图像数据进行预处理；

在本实施例中，读取原始的多光谱图像以及与其在时空相上配准的全色图像其中b表示光谱通道数，h1和w1分别表示原始多光谱图像的高和宽，h2和w2分别表示全色图像的高和宽，原始多光谱图像和全色图像满足以下关系：

h2＝rh1

w2＝rw1

其中，r表示全色图像与多光谱图像的空间分辨率之比。

在本实施例中，对读取的图像数据进行预处理为：使用具有特定频率响应的滤波器对原始的多光谱图像和全色图像进行平滑滤波，对滤波结果进行下采样，使其空间分辨率降低r倍，得到退化的多光谱图像和全色图像根据多项式插值法对退化的多光谱图像进行尺度为r的上采样，使退化的多光谱图像的空间分辨率恢复为h1×w1，上采样结果标记为

(2)从预处理后的图像中划分出不同的区域，按照特定的原则从所述区域中截取出图像块作为训练样本和测试样本；

生成训练样本的具体方法为：选择上采样结果的特定区域和退化的全色图像的对应位置作为训练区域，按照互不重叠的原则，以固定的取样间隔从训练区域中截取出空间尺寸为33×33像素的图像块和随后打乱截取的图像块的顺序，从中随机抽取出一定的比例12800个图像块作为训练样本。

生成测试样本的具体方法为：选择上采样结果中与训练区域不同的另一区域以及退化的全色图像的对应位置作为测试区域，从测试区域中截取三张256×256的子图像作为测试样本。

(3)设计空间特征传输卷积模块sftconvblock-n；

空间特征传输卷积模块接收待锐化的多光谱图像以及空间特征映射图两个输入，通过三维卷积同时处理空间信息和光谱信息，并以空间特征传输的方式进一步重建空间细节。

如图2所示为空间特征传输卷积模块的结构示意图，包括：

二维卷积层conv1，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图s⁽ⁱ⁾，输出n个特征图表示为其中w1和b1分别表示该层卷积核的权重矩阵和偏置矩阵，表示激活函数，这里选择线性整流函数，其表达式为

二维卷积层conv2，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层conv1的输出输出n个特征图表示为其中w2和b2分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

二维卷积层conv3，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图s⁽ⁱ⁾，输出n个特征图表示为其中w3和b3分别表示该层卷积核的权重矩阵和偏置矩阵，这里同样选择线性整流函数作为激活函数。

二维卷积层conv4，包含n个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层conv3的输出输出n个特征图表示为其中w4和b4分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

三维卷积层conv5，包含n个感受野为7×7×3的卷积核，用于执行三维卷积操作：输入待锐化的多光谱图像输出n个特征图表示为其中w5和b5分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

空间特征传输层sft，该层输入二维卷积层conv2的输出二维卷积层conv4的输出以及三维卷积层conv5的输出输出n个特征图表示为其中⊙和分别表示对应通道逐像素相乘和相加，选择线性整流函数作为激活函数。

(4)构建空间特征传输串级卷积神经网络模型；

空间特征传输串级卷积神经网络模型由三个空间特征传输卷积模块串联而成，激活函数选用线性整流函数。

如图3所示为空间特征传输串级卷积神经网络模型的结构示意图，包括：

拼接层concat，表示为其中为输入的多光谱训练样本，为输入的全色图像训练样本，表示将两者在光谱维度进行拼接，c⁽ⁱ⁾表示该层输出的b+1个特征图；

二维卷积层s-conv1，包含64个感受野为7×7的卷积核，用于执行二维卷积操作：输入品阶层concat的输出c⁽ⁱ⁾，输出64个特征图整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，选择线性整流函数作为激活函数；

二维卷积层s-conv2，包含32个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层s-conv1的输出输出32个特征图整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；

二维卷积层s-conv3，包含8个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层s-conv2的输出输出8个特征图整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；

空间特征传输卷积模块sftconvblock-64，输入二维卷积层s-conv1的输出和多光谱训练样本输出64个特征图实现第一级全色锐化过程；

空间特征传输卷积模块sftconvblock-32，输入二维卷积层s-conv2的输出和空间特征传输卷积模块sftconvblock-64的输出输出32个特征图实现第二级全色锐化过程；

空间特征传输卷积模块sftconvblock-8，输入二维卷积层s-conv3的输出和空间特征传输卷积模块sftconvblock-32的输出输出8个特征图实现第三级全色锐化过程；

三维卷积层m-conv4，包含1个感受野为1×1×1的卷积核，用于执行三维卷积操作，输入空间特征传输卷积模块sftconvblock-8的输出输出预测图像o⁽ⁱ⁾，整个过程可以表示为其中和分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。

(5)使用零均值的高斯分布对空间特征传输串级卷积神经网络模型各卷积层的权重w和偏置b进行随机初始化；

(6)输入训练样本，经过网络前向传播得到预测图像，选择均方误差作为损失函数，计算预测图像与参照图像之间的损失函数值；

训练时选用的均方误差损失函数表达式为：

其中，θ表示整个空间特征传输串级卷积神经网络的参数集合，np表示每一次迭代输入的训练样本数，||·||f表示frobenius范数。

(7)判断损失函数值是否小于设定的阈值：

若损失函数值小于设定的阈值，则其达到最小，得到权重w和偏置b的最优解并进行保存；

否则使用自适应矩估计算法对模型进行迭代优化，更新权重w和偏置b；重复步骤(6)和步骤(7)直至损失函数值小于设定的阈值；

所设定的阈值为经验性的数值，可通过多次训练网络从而人为地进行估计。在本实施例中，阈值经验性地设定为0.0006。

(8)将权重w和偏置b的最优解加载到空间特征传输串级卷积神经网络模型中，输入测试样本，输出高空间分辨率的多光谱图像。

本实施例采用来自ikonos卫星的多光谱图像和全色图像验证所述方法。所述的多光谱图像具有红、绿、蓝以及近红外四个通道并且空间尺寸为64×64，全色图像的空间尺寸为256×256，两者的分辨率之比为1:4。

图4为ikonos多光谱参照图，图5为采用双三次插值处理后的图像，图6为采用自适应施密特正交变换法处理后的图像，图7为采用基于àtrous的小波变换法处理后的图像，图8为采用本实施例所述方法处理后的图像。与参考图相比可以餐厨，使用双三次插值处理后的结果锐化效果较差，图像存在严重的空间失真；相比之下，采用自适应施密特正交变换法的结果空间细节重建效果较好，但存在一定程度的光谱失真；与之相反，采用基于àtrous的小波变换法所得到的结果具有较好的光谱保真度，但在部分区域较为模糊；而使用本实施例的方法处理后的图像实现了最好的空间细节重建效果，同时具有最好的光谱保真度，与参考图更为接近。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。