一种结合超分辨率技术的遥感图像语义分割方法

本发明属于图像处理，具体涉及一种结合超分辨率技术的遥感图像语义分割方法。

背景技术：

1、目前基于各类先进算法的超分辨率模型已被设计并取得高效的性能，各种领域都在利用这些模型来增强数据集的质量以提升下游任务的效果。但先对数据集进行超分辨率大大增加了整个任务的周期，现有的超分辨率模型仍然有着较大的参数量和较长的推理时间，并且不同领域在应用超分辨率技术时仍需要先训练超分辨率模型。所以现在越来越多的研究将超分辨率模型与其它任务模型相结合，利用使得模型同时完成图像的质量增强和目标任务，这大大减少了任务的整体流程。

2、基于遥感图像的分割任务和超分辨率任务在特征的提取和处理方面有相似之处。它们都对图像中的高频信息更加敏感，尤其是事物的边缘部分。特征的定位和理解也很重要，它们影响重建的高分辨率图像的相似性和分割结果的准确性。所以需要设计增强边缘提取能力的方法。此外，这两个任务都经常利用多尺度特征融合来确保全面的图像信息，并且使用多尺度的结构可以有效结合两个任务的模型。构建能够有效实现遥感图像超分辨功能的语义分割网络是一个挑战，网络结构需要关注超分辨任务和语义分割任务中特征的相关性。

技术实现思路

1、本发明提供一种结合超分辨率技术的遥感图像语义分割方法，主要针对提升低分辨率遥感图像的语义分割效果。本发明方法可以缓解低分辨率遥感图像在分割任务中造成的不利影响，利用超分辨率技术提升遥感图像在模型中的分辨率，最终生成高分辨率的分割结果图。本发明提出的模型在超分辨率任务和语义分割任务上都有着较好的效果。

2、为实现上述技术目的，本发明所采用的技术方案为：

3、一种结合超分辨率技术的遥感图像语义分割方法，包括以下步骤：

4、s1：遥感图像数据集预处理；

5、s2：根据步骤s1处理后的图像数据制作用于低分辨率遥感图像分割任务的数据集；

6、s3：构建结合超分辨率技术的遥感图像语义分割模型；

7、s4：使用步骤s2中的数据集对步骤s3搭建的分割模型进行训练、优化和测试，并保存得到的最优模型结构和权重；

8、s5：将低分辨率遥感图像输入步骤s4得到的最优超分辨率模型中，最后生成高分辨率的图像分割结果。

9、进一步的，步骤s1遥感图像数据集预处理包括以下步骤：

10、s11：选用isprs vaihingen数据集、isprs potsdam数据集以及loveda数据集，通过人工筛选，剔除分辨率低，色彩偏差大的图像数据；

11、s12：将原数据集中的图像与标签切分成1024像素×1024像素的块重新组成新的数据集，按照8:2随机分配为训练集和测试集。

12、进一步的，步骤s2包括以下步骤：

13、s21：将s12得到的数据集中的图像数据进行4倍和2倍的随机下采样，生成256像素×256像素的低分辨率lr数据集，lr图像作为模型的输入，原始图像作为高分辨率hr图像，标签不变；

14、s22：根据图像包含信息的丰富程度、超分辨率任务以及分割任务对训练数据的需求剔除步骤s21中不合格的样本；最后生成包含lr图像，hr图像以及标签的lr-hr数据集：lr-vaihingen，lr-potsdam，lr-loveda。

15、进一步的，步骤s3包括以下步骤：

16、s31：多尺度特征编码器，为了充分利用lr图像中的隐藏信息，编码器采用双路径结构：下采样路径和上采样路径；下采样路径采用残差自注意力块（residual self-attentive block，rsab）；编码器中共有 m个rsab，每个rsab以比例因子为2对特征图像进行下采样，并通过跳转连接将输出传递给解码器；上采样路径使用亚像素卷积以比例因子2对特征图进行两次上采样，为解码器中hr特征的处理提供了足够的低频信息；具体来说，在编码器中，输入的lr图像首先经过3×3卷积生成特征， r表示实数， b、 c、 h、 w分别表示特征向量的批次大小、通道数量、长、宽四个维度的值，无特别说明，本发明 r、b、 c、 h、 w均为上述定义；然后被馈送到下采样路径和上采样路径；在下采样路径中，经过 m个级联的rsab生成包含丰富语义信息的深层特征，该过程可以表示为：

17、，其中表示第个rsab；在每个rsab中，特征首先经过一个带有残差级联的卷积组，然后通过下采样卷积降低分辨率并加宽通道数，最后经过一个带有自注意力的卷积组建立像素间的关联；给定输入特征，rsab 的过程可以表示为：其中表示第一个卷积组的输出；表示rsab中的基本卷积组；和分别表示内核大小为3和1的卷积运算；表示silu激活函数；表示batchnorm归一化操作；表示下采样卷积，表示下采样卷积的输出特征；表示自注意力机制；是rsab的输出；在上采样路径中，经过n次亚像素卷积来提高分辨率，该过程表示为：；其中是亚像素卷积输出的hr图像的特征，表示第i个亚像素卷积；

18、s32：超分辨率融合解码器，解码器由级联的超分辨率transformer块（sr-transformer block，srtb）构成；利用超分辨率和分割任务在特征提取和处理方面的共性，srtb在探索深层特征的语义信息的同时实现超分辨率解码；解码器由 m+n个srtb组成。 m和 n分别表示rsab和亚像素卷积的数量；编码器中下采样路径的输出用作解码器的输入；同时，编码器中的特征通过跳转链接与解码器中相应大小的特征进行组合；多尺度特征的融合提供了丰富的高频和低频信息，也保证了上采样时图像中特征定位更准确；具体来说，编码器的输出特征在进入解码器后经过m+n个级联的srtb进行处理；每个srtb实现了超分辨率特征和语义特征的提取和过滤，并且同时融合编码器中具有相同尺度的特征；解码器的过程可以表示为：其中是解码器的输出；表示第i个srtb。表示编码器中下采样路径的第i个rsab的输出特征；表示编码器中上采样路径的第i个亚像素卷积的输出特征；srtb采用transformer结构来完成信息传递，本发明提出了一种新颖的交叉融合自注意力（cross-fusion self-attention，cfsa）替代原始自注意力，cfsa能更有效地建立特征的远程依赖，同时避免损失局部信息关联。假设输入特征，单个srtb的过程可以表示为：其中是cfsa的输出特征，表示cfsa操作；是srtb的输出特征；表示用于上采样的亚像素卷积；

19、cfsa 利用双路径结构，其中一条路径用于保留输入特征的原始信息，另一条路径使用具有通道注意力的卷积组来细化特征并建立特征的局部关联；两条路径处理的特征通过自适应融合和线性映射生成包含丰富局部信息的 v；然后 v通过自注意力机制建立特征之间的远程关联；这种方法使得特征之间的远程关联建立在本地关联的基础上，避免了本地信息的丢失，增加了特征关联的丰富性和准确性；具体来说，假设输入的cfsa特征为，表是实数， b、c、h、w分别表示向量的批次大小、通道数量、长、宽四个维度的值。解码器的两条路径生成特征f1和f2的过程可以表示为：其中表示1×1卷积运算，表示移位卷积；移位卷积可以有利于局部像素参与不同通道组之间的移位特征；表示通道注意机制；由于cfsa采用窗口自注意力，首先根据窗口大小 w2对f1和f2进行分区， w表示窗口的宽。然后通过线性映射计算得到和；、被赋予可学习的权重，然后自适应聚合生成特征；f1和f2通过特征拼接融合，然后通过线性映射计算得到特征 v； v进行注意力计算；这些过程可以表示如下：其中和表示可学习权重；表示线性映射运算；表示softmax函数， d表示特征的维度，表示的转置矩阵，表示cfsa的输出特征；

20、s33：多路径特征细化块，解码器结合了编码器提供的包含丰富低频信息的特征，它完成了深层语义信息的提取与高频特征的重构；然而，通过矩阵加法简单地融合这些特征会降低分割精度；因此，本发明设计了多路径特征细化模块（multi-path featurerefinement block，mfrb）来使这些特征更有效地融合以提高分割精度；mfrb将输入的特征被分成四组，通过多尺度卷积和不同注意力机制处理，然后通过逐元素相乘以实现空间交互，最后自适应融合；具体来说，给定输入特征，它首先经过1×1卷积，然后在通道维度上均分为四部分，分别命名为 f1、f2、f3、；然后f1、f2、f3、f4通过不同的卷积或者注意力机制进行处理，公式如下表示：其中表示1×1卷积；表示1×1卷积，用于扩展通道数和交互信息；表示特征在通道维度上切分的操作；表示3×3卷积；和分别表示通道注意力和中心注意力；∈表示多尺度特征；为了实现特征信息的空间交互，将分别与、和相乘，获取特征，如下表示：

21、这种类型的空间交互避免了二次复杂度的计算。然后给这些特征赋予权重并进行聚合。其流程表示如下：其中表示自适应聚合后的特征；、、为可学习权重，++=1；最后通过1×1卷积将的通道维度的数量降到3。

22、进一步的，步骤s4使用步骤s2中数据集对步骤s3搭建的重建模型进行训练、优化和测试，并保存得到的最优模型和权重，具体包括以下步骤：

23、s41：设置各项训练参数并开始训练模型，其中批次大小设置为4；初始学习率设置为0.001；模型内部通道数为64；输入图像尺寸为3通道，256×256像素；总训练轮数为1000，每50轮验证一次并保存模型权重；

24、s42：构建用于模型反向传播的基于交叉熵的损失函数；每个像素对应的损失函数为：，其中为一个取值为0或1的one-hot向量，为该像素的模型预测值经过softmax或sigmoid函数之后的概率值。整个图像的损失就是每个像素的损失求平均。得到的损失值用于参数的迭代更新；

25、s43：验证和测试模型效果使用平均f1分数（mf1）和平均交并集（miou）；miou计算公式为，其中设表示真实值，表示预测值，表示将预测为的概率，miou值大于0.8时分割结果较好；f1分数是统计学中用来衡量二分类模型精确度的一种指标，在β= 1的情况，f-score称为f1-score，值是从0到1的，1是最好，0是最差；公式为：，其中fn表示被判定为负样本，但事实上是正样本的像素个数；fp：表示被判定为正样本，但事实上是负样本的像素个数；tn表示被判定为负样本，事实上也是负样本的像素个数。tp表示被判定为正样本，事实上也是正样本的像素个数；对于图像超分辨效果验证时先将重建的rgb图像转为ycbcr图像，再在y通道上使用峰值信噪比psnr和结构相似性ssim作为评价指标来客观评价模型的重建性能；峰值信噪比psnr的计算公式为：，其中为两张图片之间的均方误差，是图片的最大可能像素值，psnr通过计算两幅图像间的对应像素之间的误差来评估图像重建效果；当重建图像与真实图像的峰值信噪比大于30.0db时，说明重建效果良好；结构相似性ssim的计算公式为：，其中表示为真实的高分辨率图像，表示为重建的高分辨率图像，和分别表示为真实高分辨率图像和重建图像的平均灰度值，和分别表示为真实高分辨率图像和重建图像的标准差，表示为真实高分辨率图像和重建图像的协方差，和为常数，且，，，，是像素值的动态范围；当重建图像与真实图像的结构相似性大于0.8时，说明重建效果良好；

26、s44：对比验证得到的评估结果，如果此次得到的评估结果最高则将此轮模型权重保存为最优权重；

27、s45：通过adam优化算法更新网络的参数；循环上述步骤，迭代模型直到完成训练次数，最后输出最优模型权重。

28、进一步的，步骤s5包括以下步骤：

29、s51：将步骤s4中保存的最优权重加载到步骤s3搭建的超分辨率分割模型中；

30、s52：将低分辨率遥感图像输入模型中生成高分辨率可视化分割结果图。

31、有益效果

32、本发明设计了结合超分辨率技术的遥感图像语义分割方法，本发明方法可以缓解低分辨率遥感图像在分割任务中造成的不利影响，利用超分辨率技术提升遥感图像在模型中的分辨率，最终生成高分辨率的分割结果图。本发明提出的模型在超分辨率任务和语义分割任务上都有着较好的效果。