遥感影像处理方法、装置、设备及存储介质与流程

1.本发明涉及遥感图像处理技术领域，尤其涉及一种遥感影像处理方法、装置、设备及存储介质。


背景技术：

2.遥感影像地块分割技术是对遥感影像进行像素级内容解析，然后将遥感影像中关注的特征进行提取和分类；该技术在城乡规划、防汛救灾等领域具有很高的实用价值。但是，通过遥感影像地块分割技术处理遥感影像，会导致遥感影像内的道路或河流所在部分图像出现断续的问题。


技术实现要素：

3.本发明的主要目的在于提供一种遥感影像处理方法、装置、设备及计算机可读存储介质，旨在解决现有遥感影像内的道路或河流所在部分图像出现断续的技术问题。
4.为实现上述目的，本发明提供一种遥感影像处理方法，所述遥感影像处理方法包括：基于预先训练的unet 3+网络对所述遥感影像进行图像分割，生成第一输出图像；基于空间注意力网络，在所述第一输出图像中，捕获与预定目标相关的区域图像，作为所述预定目标的第二输出图像；对所述第二输出图像进行形态学图像处理，得到无断续的目标分割图。
5.此外，为实现上述目的，本发明还提供一种遥感影像处理装置，所述遥感影像处理装置包括：图像分割模块，用于基于预先训练的unet 3+网络对所述遥感影像进行图像分割，生成第一输出图像；空间注意力模块，用于基于空间注意力网络，在所述第一输出图像中，捕获与预定目标相关的所述区域图像，作为所述预定目标的第二输出图像；后处理模块，用于对所述第二输出图像进行形态学图像处理，得到无断续的目标分割图。
6.此外，为实现上述目的，本发明还提供一种遥感影像处理设备，所述遥感影像处理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的遥感影像处理程序，其中所述遥感影像处理程序被所述处理器执行时，实现如上述的遥感影像处理方法的步骤。
7.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有遥感影像处理程序，其中所述遥感影像处理程序被处理器执行时，实现如上述的遥感影像处理方法的步骤。
8.本发明提供一种遥感影像处理方法，所述方法基于预先训练的unet 3+网络对所述遥感影像进行图像分割，生成第一输出图像，基于空间注意力网络，在所述第一输出图像
中，捕获与预定目标相关的所述区域图像，作为所述预定目标的第二输出图像，对所述第二输出图像进行形态学图像处理，得到无断续的目标分割图，通过上述方式，本发明将所述遥感影像输入到预先训练过的unet 3+网络中，通过图像分割的方法，将输入到unet 3+网络中的遥感影像生成第一输出图像，将第一输出图像输入到空间注意力网络，将与预定目标相关的区域图像捕获，以此生成预定目标的第二输出图像，然后对第二输出图像进行形态学图像处理，获得图像内容完整的预定目标分割图，由此，基于unet 3+网络与空间注意力网络生成预定目标分割图，相比现有遥感影像地块分割技术处理遥感影像，能够获得更加清晰的预定目标分割图，解决遥感影像内的细长道路或细长河流所在部分图像出现断续的问题。
附图说明
9.图1为本发明实施例方案中涉及的遥感影像处理设备的硬件结构示意图；图2为本发明遥感影像处理方法第一实施例的流程示意图；图3为本发明遥感影像处理方法第二实施例的流程示意图；图4为本发明遥感影像处理方法第三实施例的流程示意图；图5为本发明遥感影像处理方法第四实施例的流程示意图；图6为本发明遥感影像处理装置一实施例的功能模块示意图。
10.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
11.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
12.本发明实施例涉及的遥感影像处理方法主要应用于遥感影像处理设备，该遥感影像处理设备可以是pc、便携计算机、移动终端等具有显示和处理功能的设备。
13.参照图1，图1为本发明实施例方案中涉及的遥感影像处理设备的硬件结构示意图。本发明实施例中，基于遥感影像处理设备可以包括处理器1001（例如cpu），通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard）；网络接口1004可选的可以包括标准的有线接口、无线接口（如wi-fi接口）；存储器1005可以是高速ram存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。
14.本领域技术人员可以理解，图1中示出的硬件结构并不构成对遥感影像处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
15.继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及遥感影像处理程序。
16.在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的遥感影像处理程序，并执行本发明实施例提供的遥感影像处理方法。
17.本发明实施例提供了一种遥感影像处理方法。
18.参照图2，图2为本发明遥感影像处理方法第一实施例的流程示意图。
19.本实施例中，所述遥感影像处理方法包括以下步骤：步骤s10，基于预先训练的unet 3+网络对所述遥感影像进行图像分割，生成第一输出图像；本实施例中，预先将遥感影像以及对应的第一输出图像作为训练数据，对全卷积网络unet 3+（属于unet的进一步改进网络）网络进行训练，unet 3+网络包括编码器和解码器，编码器作为unet 3+网络的输入层，解码器作为unet 3+网络的输出层，unet 3+网络具有多层级，编码器和解码器均具有多个，多个编码器与多个解码器之间采用跳跃连接并且多个解码器之间相互连接。
20.为了从遥感图像中学习层次表示，unet 3+网络进一步采用了深度监督方式，unet 3+网络中每个解码器阶段都有一个侧输出，与gt(ground truth，地面实况)进行比较计算loss，从而实现全尺度的监督。
21.具体的，将遥感影像输入到预先训练的unet 3+网络中，从遥感影像的任意目标图像出发，得到遥感影像对应的各自像素类别，实现目标提取，其中，所述分割目标由一些相互连通的像素组成的，当unet 3+网络对遥感影像的对应目标的各自像素类别完成判断以后，得到第一输出图像。
22.步骤s20，基于空间注意力网络，在所述第一输出图像中，捕获与预定目标相关的所述区域图像，作为所述预定目标的第二输出图像；具体的，基于空间注意力网络，将所述第一输出图像输入到空间注意力网络，对所述第一输出图像分别进行最大池化和平均池化，得到两个分辨率不同的特征描述，并将这两个特征描述按照空间注意力网络拼接在一起，生成特征描述图，将所述特征描述图输入一个a
×
a的卷积层，同时激活函数为sigmoid，得到权重系数ms，ms
×
输入的所述第一输出图像像素点
×
特征描述图，得到所述预定目标的第二输出图像。
23.步骤s30，对所述第二输出图像进行形态学图像处理，得到无断续的目标分割图，其中，所述形态学图像处理是通过数学形态学(mathematical morphology）对图像进行处理，是图像处理技术之一，形态学图像处理用于从第二输出图像中提取对目标的表达和描绘区域形状有意义的图像分量，并且提取目标对象的形状特征、道路的边界和连通区域等，同时应用细化、像素化和修剪毛刺等技术对第二输出图像进行处理。
24.具体为，对第二输出图像进行膨胀运算，然后对膨胀运算后的第二输出图像进行腐蚀运算，对腐蚀运算后的第二输出图像进行边界跟踪分析，得到含有道路或河流的轮廓特征和道路或河流面积特征的第二输出图像，根据预设阈值剔除边界跟踪分析后的第二输出图像的小面积孤立像素颗粒，对剔除小面积孤立像素颗粒的第二输出图像再次膨胀运算后，将膨胀运算后的第二输出图像进行细化处理，得到预定目标分割图，其中，细化处理是指将图像的线条从多像素宽度减少到单位像素宽度。
25.进一步地，基于上述图2所示实施例，本实施例中，所述步骤s10之前，还包括：对原始遥感影像进行图像数据增强，以获取至少两幅所述遥感影像。
26.具体地，所述对原始遥感影像进行图像数据增强，以获取至少两幅所述遥感影像，包括：通过以下至少之一的方式，对原始遥感影像进行图像数据增强：对遥感影像重采样、水平翻转、垂直翻转、0.5-2的倍数缩放。
27.本实施中，通过对原始遥感影像进行图像数据增强，以获取至少两幅所述遥感影像，能够扩充遥感影像数据的多样性，避免unet 3+网络的过拟合问题，减少unet 3+网络处理遥感影像产生设定范围外的误差。
28.本实施例提供一种遥感影像处理方法，所述方法基于预先训练的unet 3+网络对所述遥感影像进行图像分割，生成第一输出图像，基于空间注意力网络，在所述第一输出图像中，捕获与预定目标相关的所述区域图像，作为所述预定目标的第二输出图像，对所述第二输出图像进行形态学图像处理，得到无断续的目标分割图，通过上述方式，本发明将所述遥感影像输入到预先训练过的unet 3+网络中，通过图像分割的方法，将输入到unet 3+网络中的遥感影像生成第一输出图像，将第一输出图像输入到空间注意力网络，将与预定目标相关的区域图像捕获，以此生成预定目标的第二输出图像，然后对第二输出图像进行形态学图像处理，获得图像内容完整的预定目标分割图，由此，基于unet 3+网络与空间注意力网络生成预定目标分割图，相比现有遥感影像地块分割技术处理遥感影像，能够获得更加清晰的预定目标分割图，解决遥感影像内的细长道路或细长河流所在部分图像出现断续的问题。
29.参考图3，图3为本发明遥感影像处理方法第二实施例的流程示意图。
30.基于上述图2所示实施例，本实施例中，所述步骤s10具体包括：步骤s11，基于所述unet 3+网络的编码器生成所述遥感影像的至少两幅遥感特征图；具体的，基于所述unet 3+网络的编码器将所述遥感影像的所有目标进行特征提取，将提取后的特征生成遥感特征图，其中，所述所有目标是指遥感图像中的道路、河流、房屋、山等物体。
31.步骤s12，获取两幅所述遥感特征图，分别作为第一遥感特征图、第二遥感特征图，基于所述unet 3+网络的解码器分别捕获所述第一遥感特征图中的粗粒度语义特征和/或细粒度语义特征、所述第二遥感特征图中的粗粒度语义特征和/或细粒度语义特征；其中，粗粒度语义指特征图中目标的不同类别，细粒度语义是指特征图中大类别的子类别，大类别是指特征图图中类别不相近的，例如河流与森林与房屋的差距，子类别指相近的类别，例如小溪和大河流。
32.步骤s13，基于所述解码器，将所述第一遥感特征图中的粗粒度语义特征或细粒度语义特征与所述第二遥感特征图中的粗粒度语义特征或细粒度语义特征进行融合，生成所述第一输出图像；其中，融合是通过自上而下的逐步上采样粗粒度语义特征，并与对应分辨率的细粒度语义特征进行拼接，拼接生成所述第一输出图像，拼接后的所述第一输出图像同时具有粗粒度语义特征和细粒度语义特征，所述第一输出图像中的粗粒度语义特征和细粒度语义特征分别来自不同的遥感特征图。
33.可以理解的是，融合是不同遥感特征图之间的语义特征进行融合，可以是第一遥感特征图中的粗粒度语义特征和第二遥感特征图中的粗粒度语义特征进行融合，也可以是第一遥感特征图中的粗粒度语义特征与第二遥感特征图中的细粒度语义特征进行融合。
34.进一步地，基于上述图3所示实施例，本实施例中，所述步骤s20之前，还包括：基于空间注意力网络中的分支损失函数，获取所述第一输出图像与所述第二输出
图像的差异数值，根据所述差异数值调整所述unet 3+网络和空间注意力网络中的权重系数。
35.其中，所述空间注意力网络的分支损失函数loss1=0.6*softmax loss+0.4*lovasz softmax loss。
36.其中，空间注意力网络的输出层与空间注意力网络的分支损失函数相连接。
37.本实施例中，通过在所述空间注意力网络中的分支损失函数对所述第一输出图像的特征与权重系数的运算结果带入loss1中计算，其中，所述第一输出图像在unet 3+网络和空间注意力网络中均被所述编码器转为计算机能够识别的数值；将loss1计算得到结果与所述第一输出图像的特征进行比对，得到差异数值，将差异数值返回通过空间注意力网络中的节点返回，调整空间注意力网络中的权重系数。
38.通过上述loss1损失函数，能够实现空间注意力网络的权重系数的自动调节，缩小空间注意力网络处理图片的误差，使得空间注意力网络处理图片的误差趋向预定范围。
39.参考图4，图4为本发明遥感影像处理方法第三实施例的流程示意图。
40.基于上述图2所示实施例，本实施例中，所述步骤s20具体步骤包括：s21，基于所述空间注意力网络对所述第一输出图像进行注意力调整，生成空间注意力图；s22，基于所述空间注意力网络将所述空间注意力图的像素点与所述第一输出图像的像素点相乘，生成所述第二输出图像。
41.其中，所述空间注意力网络设置在解码器最后一层的输出层上，所述空间注意力网络将所述空间注意力图的像素点与所述第一输出图像的像素点相乘，进行自适应特征优化，更多的关注空洞和断裂区域，连通遥感影像中细长目标。所述空间注意力网络是轻量级的通用模块，因此可以忽略的该模块的开销而将其无缝集成到unet 3+网络架构中，并且可以与unet 3+网络一起进行端到端的训练。
42.所述空间注意力网络对图像的处理过程如下，即给定一个 h
×w×
c （h
×
w代表像素大小，c就是通道，同时也代表卷积核的数量，亦为特征的数量）的第一输出图像，将所述第一输出图像分别进行一个通道维度的最大池化和平均池化，得到两个h
×w×
c的通道描述，并将这两个描述按照通道拼接在一起，然后，经过一个7
×
7的卷积层，激活函数为sigmoid，得到权重系数 ms，ms
×
输入的所述第一输出图像像素点
×
输入的所述第一输出图像像素点，即可得到缩放后的第二输出图像。通过空间注意力网络即可增大有用的特征，弱化无用特征，从而起到特征筛选和增强的效果。
43.参考图5，图5为本发明遥感影像处理方法第四实施例的流程示意图。
44.基于上述图2所示实施例，本实施例中，所述步骤s30具体步骤包括：步骤s31，对所述第二输出图像进行形态学闭运算，得到第一遥感图像；具体的，对初始影像先进行膨胀运算，再对膨胀运算后的初始影像进行腐蚀运算，其中，膨胀运算是对初始影像中的道路图像的高亮部分进行膨胀，使得道路图像的边缘领域扩张，最终得到的膨胀效果图拥有比初始影像中的道路图像更大的高亮区域，腐蚀运算是对初始影像中的道路图像的相邻区域用极大值代替，使得初始影像中道路图像的边缘高亮区域减少。
45.对膨胀运算后的初始影像进行腐蚀运算，将初始影像中的高亮部分腐蚀掉，初始
影像的领域缩减，得到的效果图拥有比初始影像更小的高亮区域；其中，操作的时候表现为相邻区域用极小值代替,高亮区域减少。通过对第二输出图像先膨胀运算，再腐蚀运算，将第二输出图像的内部孔洞区域以及外部区域先填充，而后再腐蚀初始影像外部区域，保留初始影像内部孔洞的填充部分。
46.步骤s32，根据所述预定目标的轮廓特征和面积特征，对所述第一遥感图像进行边界追踪分析，得到第二遥感图像；具体的，确定第一遥感图像的边界的起始搜索点，根据预定边界判别准则和预定搜索准则进行目标轮廓的搜索，达到预设终止条件时停止搜索；判别准则主要用于判断一个点是不是边界点，搜索准则知道如何搜索下一个边缘点。
47.具体的，从第一遥感图像的左下角开始逐点扫描，当遇到边缘点时，则跟踪，直至跟后续点回到起始点（对于闭合线），或其后续点在没有新的后续点（对于非闭合线）为止；如果为非闭合线，则跟踪一侧后，需从起始点开始朝相反方向跟踪到另一尾点；如果不止一个后续点，则按上述连接准则选择距离最近的点为后续点，另一次近的后续点作为新的边缘跟踪起点另行跟踪；一条线跟踪完后，接着扫描到下一个未跟踪点，直到所有边缘都跟踪完毕。
48.步骤s33，根据预设阈值剔除所述第二遥感图像的孤立像素颗粒，得到第三遥感图像；步骤s34，对所述第三遥感图像进行膨胀运算后，得到第四遥感图像；步骤s35，将所述第四遥感图像进行图像细化处理，得到无断续的目标分割图。
49.具体的，形态学闭运算的步骤包括：对第二输出图像先进行膨胀运算，后进行腐蚀运算，将所述第二输出图像内容的孔洞填平，并且所述第二输出图像断裂区域被连接起来。
50.所述将所述第四遥感图像进行细化处理，得到无断续的目标分割图，包括：提取所述第四遥感图像的骨架信息并对所述第四遥感图像的连通线拓扑表示，生成第五遥感图像；将所述第五遥感图像覆盖第三遥感图像得到无断续的目标分割图。
51.此外，本发明实施例还提供一种遥感影像处理装置。
52.参照图6，图6为本发明遥感影像处理装置一实施例的功能模块示意图。
53.本实施例中，所述遥感影像处理装置包括：图像分割模块10，用于基于预先训练的unet 3+网络对所述遥感影像进行图像分割，生成第一输出图像；空间注意力模块20，用于基于空间注意力网络，在所述第一输出图像中，捕获与预定目标相关的区域图像，作为所述预定目标的第二输出图像；后处理模块30，用于对所述第二输出图像进行形态学图像处理，得到无断续的目标分割图。
54.进一步地，所述图像分割模块10包括：特征生成单元，用于基于所述unet 3+网络的编码器生成所述遥感影像的至少两幅遥感特征图；特征捕获单元，用于获取两幅所述遥感特征图，分别作为第一遥感特征图、第二遥感特征图，基于所述unet 3+网络的解码器分别捕获所述第一遥感特征图中的粗粒度语义
特征和/或细粒度语义特征、所述第二遥感特征图中的粗粒度语义特征和/或细粒度语义特征；特征融合单元，用于基于所述解码器，将所述第一遥感特征图中的粗粒度语义特征或细粒度语义特征与所述第二遥感特征图中的粗粒度语义特征或细粒度语义特征进行融合，生成所述第一输出图像。
55.进一步地，所述空间注意力模块20包括：空间通道单元，用于基于所述空间注意力网络对所述第一输出图像进行注意力调整，生成空间注意力图；空间融合单元，用于基于所述空间注意力网络将所述空间注意力图的像素点与所述第一输出图像的像素点相乘，生成所述第二输出图像。
56.进一步地，所述后处理模块30包括：形态学闭运算单元，用于对所述第二输出图像进行形态学闭运算，得到第一遥感图像；边界提取单元，用于根据所述预定目标的轮廓特征和面积特征，对所述第一遥感图像进行边界追踪分析，得到第二遥感图像；像素点剔除单元，用于根据预设阈值剔除所述第二遥感图像的孤立像素颗粒，得到第三遥感图像；图像膨胀单元，用于对所述第三遥感图像进行膨胀运算后，得到第四遥感图像；图像细化单元，用于将所述第四遥感图像进行图像细化处理，得到无断续的目标分割图。
57.进一步地，所述图像细化单元包括：骨架提取单元，用于提取所述第四遥感图像的骨架信息并对所述第四遥感图像的连通线拓扑表示，生成第五遥感图像；图像覆盖单元，用于将所述第五遥感图像覆盖第三遥感图像得到无断续的目标分割图。
58.进一步地，所述遥感影像处理装置包括数据增强模块，用于对原始遥感影像进行图像数据增强，以获取至少两幅所述遥感影像。
59.进一步地，所述遥感影像处理装置还包括空间监督模块，用于基于空间注意力网络中的分支损失函数，获取所述第一输出图像与所述第二输出图像的差异数值，根据所述差异数值调整所述unet 3+网络和空间注意力网络中的权重系数。
60.其中，上述遥感影像处理装置中各个模块与上述遥感影像处理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
61.此外，本发明实施例还提供一种计算机可读存储介质。
62.本发明计算机可读存储介质上存储有遥感影像处理程序，其中所述遥感影像处理程序被处理器执行时，实现如上述的遥感影像处理方法的步骤。
63.其中，遥感影像处理程序被执行时所实现的方法可参照本发明遥感影像处理方法的各个实施例，此处不再赘述需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而
且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
64.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
65.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
66.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
67.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。