一种基于UNetMFormer网络的遥感影像水体提取方法、系统及设备与流程

本发明属于遥感技术与计算机视觉技术交叉领域，涉及一种遥感影像水体提取方法、系统及设备，具体涉及一种基于unetmformer网络的遥感影像水体提取方法、系统及设备。

背景技术：

1、随着技术的进步，传感器体量的不断增长和无人机的广泛应用，遥感技术正在进一步发展壮大(文献1)。许多传感器，特别是高分辨光学卫星和无人机，成为了地球观测的重要平台。美国航天局在1972年发射了第一颗用于测量和研究地球表面的卫星，这一事件标志着人们开始从太空角度监测地球表面陆地覆盖(文献2)。之后，哨兵、spot、高分等大量卫星被发射用于各自目的。根据传感器成像波段的不同，遥感传感器可以分为光学遥感传感器和合成孔径雷达传感器。光学遥感传感器根据空间分辨率的不同又可分为粗分辨率、中分辨率和高分辨率(文献2)。此外，无人机作为一种传统遥感技术的补充正在成为新一代的传感器。通过上述传感器，研究人员获得高分辨光学遥感图像并广泛应用于遥感的具体任务中(文献3)。

2、在遥感图像中，河流、湖泊区域是重要的地标，在水资源调查、区域水资源管理、洪水监测和水资源保护规划等方面具有重要的现实意义(文献4)。河流、湖泊探测的研究越来越受到重视。同时，水体的准确分割是进行湖泊、河流研究中非常重要的一步。传统的分割方法主要有基于阈值的分割、基于边缘的分割、基于活动区域的分割和基于支持向量机的分割等(文献5-7)。朱等人利用滤波和形态学的方法，结合区域生长算法来检测河流区域的变化(文献8)。然而，该算法是一种迭代方法，时间和空间开销大，不具有通用性。sun提出了一种新的合成孔径雷达(sar)图像河流检测算法(文献9)，该算法在小波域提取边缘，并通过脊线跟踪合并水域。虽然该算法在一定程度上提高了河流边缘检测的效果，但方法的参数设置受人为影响较大。mcfeeters提出了归一化差分水指数(ndwi)方法(文献10)，该方法利用图像的近红外光和绿光增强图像特征，然后进行精确的分割，但这种方法极易受到环境影响。总之，上述方法存现泛化能力差，需要大量人工参与，信息不准确等问题。

3、深度学习技术的出现为水体分类带来了新的希望。当深度学习被开发出来时，它主要被用于图像级别的分类，主要方法通过连续卷积和池化，获得输入图片的特征信息，并最终获得每个类别的概率(文献11)。然而，这些模型很难对细节进行精确分割。为了解决这些问题，一些学者提取出了图像像素级的网络，这些网络可以获得更加详细的特征信息。2014年，long等提出可以实现图像像素级分类的fcn分割网络模型(文献12)，该模型为图像分类带来质的飞跃。但是，该网络因为忽略像素之间的关系，导致了结果不够准确，同时对细节和全局特性信息不够敏感。segnet通过池化过程存储位置索引保留图像详细信息(文献13)，但是效果偏低。unet语义分割模型(文献14)，通过上采样获得丰富的特征信息，并实现精确的分割任务，但是上采样过程中很难恢复图像丰富的特征，容易产生信息冗余。pspnet通过不同区域的上下文，同时结合局部和全局线索获得丰富的特征信息(文献15)。总之，相较于传统的方法，基于深度学习的方法能够更好地适应不同尺度、形状和纹理的水体，同时提高分类的准确性和效率(文献16)。当前基于深度学习的水体分类方法已经具有较高的实用价值，但也面临着许多挑战，比如如何提高模型的泛化能力、如何应对大尺度、复杂场景的遥感图像等等。为了更好地解决这些问题，需要进一步研究和发展基于深度学习的水体分类技术，并结合实际场景和需求，提出更加有效的解决方案。

4、参考文献：

5、[文献1]mccabe m f,rodell m,alsdorf d e,et al.the future of earthobservation in hydrology[j].hydrology and earth system sciences,2017,21(7):3879-914.

6、[文献2]huang l,liu l,jiang l,et al.automatic mapping of thermokarstlandforms from remote sensing images using deep learning:a case study in thenortheastern tibetan plateau[j].remote sensing,2018,10(12):2067.

7、[文献3]t,j,pádua l,et al.hyperspectral imaging:a reviewon uav-based sensors,data processing and applications for agriculture andforestry[j].remote sensing,2017,9(11):1110.

8、[文献4]verma u,chauhan a,mm m p,et al.deeprivwidth:deep learningbased semantic segmentation approach for river identification and widthmeasurement in sar images of coastal karnataka[j].computers&geosciences,2021,154(104805.

9、[文献5]li w,yang m,liang z,et al.assessment for surface water qualityin lake taihu tiaoxi river basin china based on support vector machine[j].stochastic environmental research and risk assessment,2013,27(1861-70.

10、[文献6]sun x,li l,zhang b,et al.soft urban water cover extractionusing mixed training samples and support vector machines[j].internationaljournal of remote sensing,2015,36(13):3331-44.

11、[文献7]li c,xu c,gui c,et al.distance regularized level set evolutionand its application to image segmentation[j].ieee transactions on imageprocessing,2010,19(12):3243-54.

12、[文献8]zhu l,zhang j,pa l.river change detection based on remotesensing image and vector；proceedings of the first international multi-symposiums on computer and computational sciences(imsccs'06),f,2006[c].ieee.

13、[文献9]sun j,mao s.river detection algorithmin sar images based onedge extraction and ridge tracing techniques[j].international journal ofremote sensing,2011,32(12):3485-94.

14、[文献10]mcfeeters s k.the use of the normalized difference waterindex(ndwi)in the delineation of open water features[j].international journalof remote sensing,1996,17(7):1425-32.

15、[文献11]hinton g e,salakhutdinov r r.reducing the dimensionality ofdata with neural networks[j].science,2006,313(5786):504-7.

16、[文献12]long j,shelhamer e,darrell t.fully convolutional networks forsemantic segmentation；proceedings of the proceedings of the ieee conferenceon computer vision and pattern recognition,f,2015[c].

17、[文献13]badrinarayanan v,kendall a,cipollar.segnet:a deepconvolutional encoder-decoder architecture for image segmentation[j].ieeetransactions on pattern analysis and machine intelligence,2017,39(12):2481-95.

18、[文献14]ronneberger o,fischer p,brox t.u-net:convolutional networksfor biomedical image segmentation；proceedings of the medical image computingand computer-assisted intervention–miccai 2015:18th international conference,munich,germany,october 5-9,2015,proceedings,part iii 18,f,2015[c].springer.

19、[文献15]zhao h,shi j,qi x,et al.pyramid scene parsing network；proceedings of the proceedings of the ieee conference on computer vision andpattern recognition,f,2017[c].

20、[文献16]guo h,he g,jiang w,et al.a multi-scale water extractionconvolutional neural network(mwen)method for gaofen-1remote sensing images[j].isprs international journal of geo-information,2020,9(4):189.

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于unetmformer网络的深度学习遥感影像水体提取方法、系统及设备，目的在于改善语义分割的准确性和效率。

2、本发明的方法所采用的技术方案是：一种基于unetmformer网络的遥感影像水体提取方法，包括以下步骤：

3、步骤1：获取目标流域遥感影像并对遥感影像中的水体进行标注；

4、步骤2：通过直方图匹配标注后的遥感影像；

5、步骤3：将匹配后的遥感影像输入unetmformer网络，对遥感影像中的水体进行预测。

6、作为优选，步骤3中，所述unetmformer网络，包括优化下采样结构、全局和局部特征提取结构、结合多输出的优化上采样结构；

7、所述优化下采样结构，包括五级下采样模块，每一级下采样模块均以2的比例因子对特征图进行下采样，每一级下采样模块后都设置有归一化操作层和加入激活层；

8、所述全局和局部特征提取结构，包括第一全局和局部特征提取模块、第一加权和运算模块、第二全局和局部特征提取模块、第二加权和运算模块、第三全局和局部特征提取模块、第三加权和运算模块和卷积层；第五级下采样模块输出输入所述第一全局和局部特征提取模块，所述第一全局和局部特征提取模块输出与第四级下采样模块输出经过所述第一加权和运算模块后输入所述第二全局和局部特征提取模块；所述第二全局和局部特征提取模块输出与第三级下采样模块输出经过所述第二加权和运算模块后输入所述第三全局和局部特征提取模块；所述第三全局和局部特征提取模块输出与第二级下采样模块输出经过所述第三加权和运算模块后输入所述卷积层；

9、所述结合多输出的优化上采样结构，包括第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、第一融合模块和第二融合模块；所述第一全局和局部特征提取模块、第二全局和局部特征提取模块、第三全局和局部特征提取模块的输出分别经过所述第一上采样模块、第二上采样模块、第三上采样模块后经过所述第一融合模块融合特征输出；所述卷积层的输出分别经过所述第四上采样模块后，与所述第一融合模块的输出经过第二融合模块融合特征后输出最终的实体提取结果。

10、作为优选，步骤3中，每一级下采样模块产生的语义特征与解码器的全局和局部特征提取模块产生的特征使用加权和运算进行聚合，加权求和运算根据两个特征对分割精度的贡献有选择地对其进行加权；加权的计算公式为：

11、f＝φ.r+(1-φ).mt；

12、其中，f代表融合特征，r代表每一级下采样模块产生的特征，mt代表解码器的全局和局部特征提取模块产生的特征，φ代表权重比例。

13、作为优选，所述第一全局和局部特征提取模块，为全局-局部多尺度上下文结构，包括全局分支、局部分支、融合层、卷积层、批量归一化操作层和卷积层，所述全局分支、局部分支输出经过所述融合层融合后，依次通过卷积层、批量归一化操作层和卷积层后输出；

14、所述全局分支，包括窗口分割层、第一点积层、归一化指数函数层、第二点积层和十字形窗口上下文交互模块，输出全局上下文特征；所述窗口分割层由顺序连接的卷积模块、窗口分割模块、窗口变形模块和分配模块组成，用于将输出分割成查询q、键k和值v载体；所述查询q、键k经过所述第一点积层、归一化指数函数层后，与所述值v载体经过所述第二点积层后输入所述十字形窗口上下文交互模块；所述十字形窗口上下文交互模块，由并行设置的水平平均池化层和垂直平均池化层，及融合层组成，所述融合层融合水平平均池化层和垂直平均池化层产生的两个特征图，输出全局特征；

15、所述局部分支，包括并行设置的五层卷积层，每一卷积层后均设置有批量归一化函数层，批量归一化函数层输出通过融合层融合后输出局部特征。

16、作为优选，所述窗口分割层，首先使用标准的1*1卷积将输入的2d图∈rb×c×h×w的通道维度扩大到3倍；然后应用窗口分区操作将1d序列拆分为查询q、键k和值v载体；其中，b表示批次大小，h、w分别代表特征图的长和宽，c为通道维度，w为窗口大小，h为头数。

17、作为优选，所述unetmformer网络，是训练好的网络；训练过程包括以下步骤：

18、(1)获取若干目标流域高分辨遥感影像，作为样本集；并对高分辨遥感影像中的水体进行标注，作为标签集；

19、(2)通过直方图匹配标注后的遥感影像，获得预处理后的遥感影像集；

20、(3)利用预处理后的遥感影像集和标签集，进行unetmformer网络训练，获得训练好的unetmformer网络；

21、训练过程中采用dice loss作为损失函数，采用adam作为优化器，以准确率accuracy作为评价标；

22、其中损失函数dice loss表达式如下：

23、

24、其中，n为总像素数目，gi为标准参考结果中第i个像素是否属于水体，若属于水体则gi＝1，否则gi＝0，pi为预测图中第i个像素为建筑的概率。

25、本发明的系统所采用的技术方案是：一种基于unetmformer网络的遥感影像水体提取系统，包括以下模块：

26、遥感影像标注获取及标注模块，用于获取目标流域遥感影像并对遥感影像中的水体进行标注；

27、遥感影像预处理模块，用于通过直方图匹配标注后的遥感影像；

28、遥感影像水体预测模块，用于将匹配后的遥感影像输入unetmformer网络，对遥感影像中的水体进行预测。

29、本发明的设备所采用的技术方案是：一种基于unetmformer网络的遥感影像水体提取设备，包括：

30、一个或多个处理器；

31、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于unetmformer网络的遥感影像水体提取方法。

32、本发明的优点在于：

33、1、本发明在上采样过程中加入multiscale_transformer(mtransformer)模块，该模块兼顾全局和局部信息，丰富多尺度空间细节，加强语义分割，提高分割精度。

34、2、本发明水体优化效果更具有针对性。由于高分影像背景复杂程度不同，有些影像水体处在复杂场景中，水体大小差异大且形状多样。以往的方法能够提取出绝大部分水体，但有一些细小支流会被漏分，以及边缘提取效果不佳，本发明加入全局和局部特征提取结构，该结构可以有效兼顾局部和整体特征的提取，有效提升缓解细小河流以及边缘提取不佳的现象，提高提取精度。

35、3、传统的cnn深度学习模型虽然也可以兼顾全局和局部特征提取，但是提取效率偏低，精度不高。本发明相比对照方法iou提高2.23％，提高了水体优化效率，训练时间缩短了3.25小时。