面向多源数据多区域尺度协同高分遥感图像语义分割方法

本发明涉及遥感，特别是一种面向多源数据多区域尺度协同高分遥感图像语义分割方法。

背景技术：

1、语义分割是智能解析高分遥感图像、获取地物分布信息的有效手段。高分遥感图像语义分割对高分辨率的遥感图像进行像素级分类标注，从而得到地物信息。其在土地勘探、环境检测和城市规划等领域中发挥了重要作用。与普通图像的语义分割不同，高分遥感图像是地表地物的俯瞰图，分辨率高且覆盖范围极广，其包含的地物种类复杂繁多，地物远距离相关，存在类间差异小，类内差异大的问题。此外，受光照影响，高分遥感图像还存在地物受阴影遮挡，同物异谱，异物同谱的光谱混淆问题。这些问题使得普通图像的语义分割方法直接应用于高分遥感图像的语义分割效果不佳。

2、为了提高高分遥感图像图像语义分割的准确性，需要结合遥感图像特点对普通图像的语义分割方法做改动。针对高分遥感图像地物种类复杂繁多，地物远距离相关的问题，需要利用遥感图像中不同地物之间的多尺度远距离相关性依赖信息，使网络学习到不同尺度范围内相似地物，同类地物的相关性特征。并且由于高分图像存在阴影遮挡，同物异谱，异物同谱的光谱混淆问题，因此引入多源数据特别是ndsm高程信息是提高混淆区域识别精度的有效手段。ndsm图像的引入需要考虑如何将高分图像与ndsm图像融合，使ndsm的信息起到补充作用。因此，如何提取高分遥感图像中地物的多尺度远距离依赖信息，如何将ndsm的补充信息融合利用，是有效提高高分遥感图像语义分割精度的关键所在。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种面向多源数据多区域尺度协同高分遥感图像语义分割方法，能够训练网络关注图像的局部和全局信息，远距离依赖信息，获取更全面的特征，以及差异化处理多源数据以进行更有效的融合，利用多源数据为高分图像提供互补信息，最终获得更好的语义分割结果。

2、为实现上述目的，本发明采用如下技术方案：面向多源数据多区域尺度协同高分遥感图像语义分割方法，包括以下步骤：

3、步骤s1:首先对数据集的高分光学图像和ndsm图像样本对进行基于随机拼接的数据增强，得到增强数据集；

4、步骤s2:将增强数据集中的多源样本对输入多区域多尺度协同语义分割网络模型mrmscnet中，进行三分支特征提取；

5、步骤s3:将步骤2中mrmscnet的三个分支的不同特征输入到协同注意力特征融合模块caffm中；

6、步骤s4:将步骤s3输出的融合特征进行上采样得到最终的语义分割结果。

7、在一较佳的实施例中，步骤s1中所述的基于随机拼接的数据增强的具体内容如下:首先，在待增强样本的合适范围内随机生成样本块拼接的基准点，以此点为交点沿纵横方向将待增强样本划分为左上、左下、右下、右上四个矩形区域；然后，随机选出用于填补左下、右下、右上区域的三个样本；即对包括待增强样本在内的四个样本，各自独立地随机选中一种子样本块筛选决策，包括范围内随机裁剪，邻接样本裁剪，完整样本多尺度随机缩放，按决策裁剪出样本块；最后将四个裁剪得到的样本块进行拼接，并对拼接边界做随机缺失处理，以消除拼接边界带来的混淆。

8、在一较佳的实施例中，mrmscnet包括高分空间分支，高分语义分支，ndsm高分空间分支；其中高分空间分支，高分语义分支分别提取高分光学图像的空间特征与语义特征，ndsm高分空间分支提取ndsm图像的空间特征；ndsm图像的空间特征即对应区域的地物高程信息，与高分光学图像的信息互补；高分语义分支中使用条状交叉通道注意力模块scam增强该分支的高层次特征的特征表达能力；scam首先采用条形池化方式获取长条形地物、区分性局部细节和地物间的长距离依赖信息；再融合纵横方向上条形池化提取的不同特征得到通道维度上差异化特征的权值，实现对特征图不同通道的特征选择。

9、在一较佳的实施例中，步骤s2中所述的高分语义分支采用efficientnet_b2网络。

10、在一较佳的实施例中，两个空间分支各由三层小步长卷积组成，空间分支在快速下采样的同时保留空间上下文信息，将输入特征图缩小为原始尺度的1/8；scam的输入是高分光谱信息语义分支中得到的特征图，输出为和输入同样尺寸的特征图；具体采用两个1×t和t×1的条形池化层对输入特征图进行特征提取，得到两个形状为c×1×t和c×t×1的特征向量，再将各通道维度的1×t和t×1的特征图相乘，连接得到c×1×1的通道维度权重向量；最后经过1×1卷积与sigmoid获取长距离的上下文关联信息，再与原输入特征图逐像素相乘，获得最终的输出特征图；具体的计算公式如下

11、f'＝matrixmultiply(avg1×t(f),avgt×1(f))

12、f”＝sigmoid(conv1×1(f'))+f。

13、其中，f表示输入特征图，f’是中间结果，f”是scam模块最终输出的特征图。avg1×t，avg t×1分别表示形状为1×t和t×1的条形池化层操作；matrixmultiply表示对应通道维度的特征图分别相乘的操作；conv1×1表示1×1卷积操作；“+”表示两个相同形状的特征图各位置元素相加的操作；sigmoid是sigmoid激活函数。

14、在一较佳的实施例中，caffm首先将三分支的特征进行通道维度的拼接；然后通过1×1卷积对通道维度降维，再经过caffm的子模块条状协同注意力模块sratt；sratt利用子模块非瓶颈条状注意力块nbsab提取空间维度的上下文信息，对特征进行校准，并进行残差连接；nbsab的主要组成部分是非瓶颈卷积块；非瓶颈卷积块中的横向和纵向的全局平均条状池化层可提取特征图上水平和垂直方向上的局部上下文信息；sratt输出的特征经过子模块全局通道注意力模块cam对最终特征进行通道维度特征选择；cam包含生成通道权重的全局池化操作与用于进一步调整权重的1×1卷积。

15、在一较佳的实施例中，sratt对nbsab形为s×s×c的输出与转置后的nbsab模块的形为s×c×s的输出求矩阵积，再经过softmax可得到c×c的通道间相关性矩阵，其中s＝h＝w；计算公式如下：

16、

17、其中r(i,j)∈rs×c×c,表示任一位置上第i通道和第j通道之间的相关性；“v”表示对应通道的特征图进行矩阵相乘的操作；fnbsab表示nbsab模块；c是特征图通道总数，exp是底数为e的幂，共同组成softmax运算。之后，通过原始输入特征与r(i,j)进行矩阵乘法和矩阵加法，得到最终的输出特征图；计算公式如下：

18、fsratt＝matrixmultiply(fr,fin)+fin

19、其中，fr是通道相关性矩阵，fin是原始输入特征图；matrixmultiply表示对应通道维度的特征图分别相乘的操作；“+”表示两个相同形状的特征图各位置元素相加的操作。

20、cam对sratt增强后的特征进行通道维度的特征选择；计算公式如下：

21、fcaffm＝sigmoid(conv1×1(conv1×1(fsratt)))·fsratt+fin。

22、其中，fsratt表示sratt模块的输出特征图；conv1×1表示1×1卷积操作；sigmoid是sigmoid激活函数；“·”表示对应通道的特征图进行矩阵相乘的操作；“+”表示两个相同形状的特征图各位置元素相加的操作。

23、与现有技术相比，本发明具有以下有益效果：本发明提出的方法能够训练网络更关注图像的局部和全局多尺度长距离依赖信息，获取更全面的特征，提高网络的语义分割精度。本发明能引导网络对多源数据差异化处理，提取不同源数据的互补信息，实现更有效的高分遥感图像和ndsm图像融合，发挥ndsm图像的地物高程信息的辅助作用，解决高分遥感图像的阴影遮挡，同物异谱异物同谱问题，最终获得更好的语义分割效果。