一种基于双分支动态注意力的遥感图像语义分割方法

本发明应用深度学习和计算机视觉领域相关方面技术，具体发明和应用一种基于双分支动态注意力的遥感图像语义分割方法。

背景技术：

1、遥感图像通常由传感器从远处(通常是飞机或卫星)捕获，传感器的最新进展使得在全球范围内捕获越来越多的高分辨率遥感图像具有丰富的空间细节和语义内容。语义分割根据地面物体的类别或其代表的区域为图像中的每个像素分配语义标签，在图像处理中起着至关重要的作用。遥感图像的语义分割可以服务于各种应用，例如土地覆盖分类、道路提取、城市规划等。

2、深度学习技术的迅猛发展推动了一系列基于卷积神经网络(convolutionalneural network,cnn)的语义分割方法，因为它们能够自动提取更多信息的图像特征并集成更丰富的上下文信息，这有利于特征表示和模式识别。然而其具有有限感受野的卷积运算旨在提取局部模式，缺乏对全局上下文信息或远程依赖进行建模的能力。

3、引入注意力机制是在不丢失空间信息的情况下减少预测类别混乱的有效手段。从整个图像聚合全局统计数据，可以嵌入场景信息以突出显示具有适当相关性的特征或抑制具有错误相关性的特征，在语义分割任务中取得了显著的效果。然而，每个查询键对的相关性是独立计算的，忽略了其他查询键对的相关性。这可能会由于特征表示的不完善以及复杂背景的干扰而导致错误的相关性，并导致额外的背景噪声和模糊的注意力权重。因此，典型的基于注意力的方法很难直接应用于遥感图像的语义分割。

技术实现思路

1、本发明要解决的技术问题是如何在去除传统注意力机制中独立相关性计算引入的噪声和模糊性的基础上，同时考虑遥感图像背景复杂、地物多样的特征，通过在特征提取的过程中有效融合图像的局部纹理细节和全局上下文信息提高特征表达能力，并提供一种基于双分支动态注意力的遥感图像语义分割方法。本发明引入相关性注意力模块，寻求所有相关向量之间的共识来细化相关性，来扩展一般注意力机制，同时通过局部动态注意力分支和全局动态注意力分支来获取局部信息和全局信息，并且设计动态权重分配机制来融合两个分支的输出信息，以便捕获土地覆盖更具辨别性的特征表示，从而提升语义分割模型精度。

2、本发明所采用的具体技术方案如下：

3、一种基于双分支动态注意力的遥感图像语义分割方法，其具体做法为：

4、获取一个经过训练的语义分割模型，将待语义分割的遥感图像输入所述语义分割模型中，获得所述遥感图像的语义分割结果，所述语义分割模型包括一个编码器模块和一个解码器模块；

5、在所述编码器模块中，首先将待语义分割的遥感图像输入骨干网络进行特征提取，以所述骨干网络输出的特征作为粗糙特征表示，以所述骨干网络低层输出的特征作为低层特征表示；

6、所述解码器模块包括一个局部动态注意力分支、一个全局动态注意力分支和一个动态权重分配机制分支，其中，所述局部动态注意力分支和所述全局动态注意力分支中均带有一个关系注意力模块，在所述解码器模块中，首先将所述粗糙特征表示输入到局部动态注意力分支中，得到局部特征表示，将所述粗糙特征表示输入到全局动态注意力分支中，得到全局特征表示，将所述粗糙特征表示输入到所述动态权重分配机制分支中，得到局部特征表示标量权重和全局特征表示标量权重；将所述全局特征表示标量权重与所述全局特征表示进行逐元素相乘，得到全局细化特征表示，将所述局部特征表示标量权重与所述局部特征表示进行逐元素相乘，得到局部细化特征表示，将所述局部细化特征表示与所述全局细化特征表示进行逐元素相加，得到细化特征表示，将所述细化特征表示和所述粗糙特征表示进行逐元素相加，得到增强特征表示；将所述增强特征表示和所述低层特征表示沿通道方向进行拼接，得到输出特征表示，对所述输出特征表示进行上采样，得到所述遥感图像的语义分割结果。

7、作为优选，在所述局部动态注意力分支中，对所述粗糙特征表示进行切片，获得补丁表示，将所述补丁表示经过一个卷积层，得到第一局部特征图，所述卷积层的卷积核大小为1、步长为1、填充为0，将所述补丁表示输入一个所述卷积层，得到第二局部特征图，将所述第一局部特征图与所述第二局部特征图进行逐元素乘法，得到局部初始注意力权重，将所述局部初始注意力权重输入到所述关系注意力模块中进行去噪，得到去噪后局部注意力权重，将所述去噪后局部注意力权重和所述局部初始注意力权重进行逐元素加法，得到更新后局部注意力权重，将所述更新后局部注意力权重经过softmax操作，得到加强局部注意力权重，将所述补丁表示经过一个卷积层，得到局部值向量，将所述加强局部注意力权重和所述局部值向量进行逐元素乘法，得到第三局部特征图，将所述第三局部特征图经过一个所述卷积层，得到第四局部特征图，将所述第四局部特征图与所述补丁表示进行逐元素加法，得到第五局部特征图，将所述第五局部特征图进行补丁恢复操作，得到最终的所述局部特征表示。

8、作为优选，在所述全局动态注意力分支中，将所述补丁表示依次经过一个所述卷积层、一个平均池化层，得到全局描述符，将所述补丁表示经过一个所述卷积层，得到第一全局特征图，将所述第一全局特征图和所述全局描述符进行逐元素乘法，得到全局初始注意力权重，将所述全局初始注意力权重输入到所述关系注意力模块中进行去噪，得到去噪后全局注意力权重，将所述去噪后全局注意力权重和所述全局初始注意力权重进行逐元素加法，得到更新后全局注意力权重，将所述更新后全局注意力权重经过softmax操作，得到加强全局注意力权重，将所述加强局部注意力权重和所述全局描述符进行逐元素乘法，得到第二全局特征图，将所述第二全局特征图经过一个所述卷积层，得到第三全局特征图，将所述第三全局特征图与所述补丁表示进行逐元素加法，得到第四全局特征图，将所述第四全局特征图进行切片恢复操作，得到最终的所述全局特征表示。

9、作为优选，在所述动态权重分配机制分支中，将输入特征表示输入到一个所述平均池化层，得到第一中间特征表示，将所述第一中间特征表示依次经过两个所述卷积层进行降维，得到第二中间特征表示，将所述第二中间特征表示进行softmax操作，得到所述输入特征表示的标量权重。

10、作为优选，在所述关系注意力模块中，将初始注意力权重矩阵a依次经过一个全连接层得到查询向量q、键向量k，将所述查询向量与所述键向量经过一个归一化层，得到第一中间向量q′、第二中间向量k′，将所述初始注意力权重矩阵的每一列作为值向量v，将所述值向量经过一个所述层归一化层，得到第三中间向量v′，将所述第一中间向量q′、所述第二中间向量k′、所述第三中间向量v′进行注意力操作，得到去噪后注意力权重a′，所述去噪后注意力权重a′的函数形式为：

11、

12、其中，f表示softmax操作，w′a表示线性变换权重，用于调整聚合相关性；c表示常数；t表示矩阵转置。

13、作为优选，所述补丁表示的大小为32×32。

14、作为优选，所述动态权重分配机制分支遵循αl+αg＝1约束，其中，αl是所述局部特征表示标量权重；αg是所述全局特征表示标量权重。

15、作为优选，其特征在于，所述骨干网络为resnet-50模型。

16、作为优选，所述语义分割模型的训练样本为标注后的训练数据，所述训练数据由原始遥感图像进行数据处理获得，所述原始遥感图像来源于isprs vaihingen数据集和isprs potsdam数据集；所述语义分割模型在训练时采用的损失函数均为交叉熵损失，对所述语义分割模型的网络参数进行更新。

17、作为优选，所述遥感图像为空间分辨率在1m以下的高分辨率遥感图像。

18、本发明相对于现有技术而言，具有以下收益效果：

19、本发明公开了一种基于双分支动态注意力的遥感图像语义分割方法。本发明针对传统注意力机制中独立的相关性计算缺乏考虑遥感图像的复杂背景，导致注意力权重存在噪声和模糊性的问题，构造了关系注意力模块，在所有相关性向量之间寻求共识来增强适当的相关性并抑制错误的相关性，从而促进特征聚合，同时，通过将关系注意力模块引入局部动态注意力分支和全局动态注意力分支，分别获取局部纹理细节和全局上下文信息，此外，考虑到复杂多样的地理对象对局部纹理细节和全局上下文信息的不同需求，设计了动态权重分配机制来自适应调整两个分支的贡献，从而构建更具辨别力的特征表示。本发明解决了遥感图像背景噪声多、地物复杂多样的问题，为高分辨率遥感图像分割任务提供一种新的解决方案，提高了遥感图像语义分割的性能。