一种基于通道注意力特征融合的遥感图像语义分割方法

本申请属于图像处理，具体涉及一种基于通道注意力特征融合的遥感图像语义分割方法。

背景技术：

1、高空间分辨率(high spatial resolution,hsr)遥感图像在距离地球表面很远的地方获取，通常包含丰富的地理空间信息。遥感语义分割作为遥感图像理解中的一项基本任务，对于环境监测、灾后重建、农业、林业和城市规划有着重大意义。相比于自然图像，遥感图像由于其独特的成像机制和场景特征，在语义分割中会面临特殊的挑战。遥感图像的前景目标存在较大的尺度变化，使得物体难以定位和识别。同时，前景目标往往隐藏在复杂的背景之中，引起了前景-背景不平衡的问题。因此，如何准确捕捉图像语义特征，缓解尺度变化，抑制误报，对遥感图像语义分割至关重要。

2、最近，许多经典的卷积神经网络(cnn)在图像分割领域取得了良好的表现。全卷积网络(fcn)及其拓展应用也被广泛用于遥感分割领域。但是这些方法是直接采用或者修改自卷积神经网络架构，没有考虑遥感图像中小物体内部的弱特征，取得的效果并不理想。u-net和segnet通过编码器-解码器的结构，利用具有高空间分辨率的浅层特征来增强具有强空间细节语义的深层特征，但是缺乏对全局信息的捕获能力，对不明显的目标识别能力较差。fpn及其相关应用通过特征金字塔结构提取多尺度的特征，缓解了遥感图像中尺度变化问题。不过这些方法反而会影响图像中的大物体，而且无法解决前景-背景不平衡问题。

技术实现思路

1、本申请为了克服现有技术的缺点，提供了一种基于通道注意力特征融合的遥感图像语义分割方法，通过resnet-50来提取特征，用多尺度的通道注意力来进行多尺度的特征融合，同时关注到图像中的大小目标；通过多尺度通道维度的信息融合来消除编码器和解码器之间存在的语义差距，实现语义模式的统一，抑制误报问题。

2、为实现上述目的，本申请所采取的技术方案如下：

3、一种基于通道注意力特征融合的遥感图像语义分割方法，包括：

4、将待预测的遥感图像输入特征提取模块，提取四个尺度的初始特征{f1,f2,f3,f4}；

5、将提取到的特征f4输入全局信息模块，扩大感受野并充分利用全局上下文信息，输出相同的特征和

6、将特征与初始特征{f3,f2,f1}依次通过注意力融合模块，逐步获得多尺度通道注意力融合后的特征

7、将特征与注意力融合后的特征依次通过注意力解码模块，逐步获得解码后的特征

8、将解码后的最后一个特征通过卷积和上采样，然后使用softmax分类器获得最终的语义分割结果。

9、作为优选，所述特征提取模块采用resnet-50骨干网络，在输入待预测的遥感图像尺寸为896×896×3时，提取四个初始特征{f1,f2,f3,f4}的尺度分别为：224×224×256，112×112×256，56×56×1024，28×28×2048。

10、作为优选，所述将提取到的特征f4输入全局信息模块，扩大感受野并充分利用全局上下文信息，输出相同的特征和包括：

11、s21.将特征f4分别通过目标大小分别为1，3和6的三个平均池化层，得到三个不同尺寸的特征图尺度分别为1×1×2048，3×3×2048，6×6×2048；

12、s22.将特征图分别通过1×1的卷积核，进行通道的压缩以去除冗余的通道信息，再进行上采样至f4相同大小，得到特征图尺度均为28×28×256；

13、s23.将三个特征图进行通道维度上的拼接，得到尺度为28×28×768的特征

14、s24.将特征通过1×1的卷积核，把通道数降低至256，获得糅合了多种尺度的复合特征图和两者完全相同，尺度为28×28×256。

15、作为优选，所述将特征与初始特征{f3,f2,f1}依次通过注意力融合模块，逐步获得多尺度通道注意力融合后的特征包括：

16、将初始特征{f3,f2,f1}分别输入到各自对应的注意力融合模块，初始特征f3与特征进行注意力融合，得到融合后的特征初始特征f2与特征进行注意力融合，得到融合后的特征初始特征f1与特征进行注意力融合，得到融合后的特征

17、作为优选，所述注意力融合模块，执行如下操作：

18、s31.以表示注意力融合模块输入的上一级特征，以fi表述注意力融合模块输入的初始特征；

19、s32、将进行双线性插值上采样得到fi通过1×1的卷积核进行通道数量降低得到然后进行元素相加，获得特征

20、s33.将特征分别进行全局和局部的上下文信息提取操作，获取全局的上下文信息和局部的上下文信息

21、s34.将和进行广播机制的加法，并使用sigmoid函数进行激活，得到多尺度通道注意力权重

22、s35.将权重与特征通过元素相乘进行权重平均，得到注意力融合模块的输出

23、作为优选，所述将特征与注意力融合后的特征依次通过注意力解码模块，逐步获得解码后的特征包括：

24、将注意力融合后的特征分别输入到各自对应的注意力解码模块，特征与特征进行注意力解码，得到解码后的特征特征与特征进行注意力解码，得到解码后的特征特征与特征进行注意力解码，得到解码后的特征

25、作为优选，所述注意力解码模块，执行如下操作：

26、s41.以表示注意力解码模块输入的上一级特征，以表述注意力解码模块输入的注意力融合后的特征；

27、s42.将通过双线性插值上采样至与相同大小，生成特征

28、s43.将特征和都通过全局平均池化操作和一个线性层，生成特征向量和

29、s44.对特征向量和求平均值并使用sigmoid函数激活，获得表示通道重要性的注意力图，与特征元素相乘用于生成重新校准的特征

30、s45.将重新校准的特征与特征拼接，并通过1×1卷积核恢复通道数，得到输出

31、本申请提供的一种基于通道注意力特征融合的遥感图像语义分割方法，利用注意力融合模块对resnet-50提取的特征进行以上下文感知的方式进行动态和自适应的特征融合，防止仅在全局范围内聚集上下文信息而造成的偏差。利用注意力解码模块，自适应地融合足够多的通道特征以实现语义模式的统一，消除编码器和解码器之间存在的语义差异。缓解遥感图像中存在的尺度变化问题和前景-背景不平衡的问题，得到更精准的遥感图像语义分割结果。

技术特征：

1.一种基于通道注意力特征融合的遥感图像语义分割方法，其特征在于，所述基于通道注意力特征融合的遥感图像语义分割方法，包括：

2.根据权利要求1所述的基于通道注意力特征融合的遥感图像语义分割方法，其特征在于，所述特征提取模块采用resnet-50骨干网络，在输入待预测的遥感图像尺寸为896×896×3时，提取四个初始特征{f1,f2,f3,f4}的尺度分别为：224×224×256，112×112×256，56×56×1024，28×28×2048。

3.根据权利要求2所述的基于通道注意力特征融合的遥感图像语义分割方法，其特征在于，所述将提取到的特征f4输入全局信息模块，扩大感受野并充分利用全局上下文信息，输出相同的特征和包括：

4.根据权利要求1所述的基于通道注意力特征融合的遥感图像语义分割方法，其特征在于，所述将特征与初始特征{f3,f2,f1}依次通过注意力融合模块，逐步获得多尺度通道注意力融合后的特征包括：

5.根据权利要求4所述的基于通道注意力特征融合的遥感图像语义分割方法，其特征在于，所述注意力融合模块，执行如下操作：

6.根据权利要求1所述的基于通道注意力特征融合的遥感图像语义分割方法，其特征在于，所述将特征与注意力融合后的特征依次通过注意力解码模块，逐步获得解码后的特征包括：

7.根据权利要求6所述的基于通道注意力特征融合的遥感图像语义分割方法，其特征在于，所述注意力解码模块，执行如下操作：

技术总结
本发明公开了一种基于通道注意力特征融合的遥感图像语义分割方法，将待预测的遥感图像输入特征提取模块，提取四个尺度的初始特征，将提取到的特征输入全局信息模块，扩大感受野并充分利用全局上下文信息，然后依次通过注意力融合模块，逐步获得多尺度通道注意力融合后的特征；将注意力融合后的特征依次通过注意力解码模块，逐步获得解码后的特征，最后将解码后的最后一个特征通过卷积和上采样，然后使用Softmax分类器获得最终的语义分割结果。本发明以上下文感知的方式进行动态和自适应的特征融合，防止仅在全局范围内聚集上下文信息而造成的偏差，自适应地融合足够多的通道特征以实现语义模式的统一，可以得到更精准的遥感图像语义分割结果。

技术研发人员：郑建炜,邵安昊,严亦东,方创杰,李燕
受保护的技术使用者：浙江工业大学
技术研发日：
技术公布日：2024/1/14