基于深度学习的建筑物矢量提取模型及其提取方法与流程

1.本发明属于建筑物提取领域，尤其是涉及一种基于深度学习的建筑物矢量提取模型及其提取方法。


背景技术：

2.基于遥感影像的建筑物提取是通过对遥感影像光谱、纹理等特征进行分析并判断影像的像素级语义类别的技术。常用的传统分类方法主要包括基于建筑物整体特征的方法、基于辅助信息的方法和面向对象的建筑物提取方法。基于建筑物整体特征的方法包括角点检测、直线分组、建筑物指数等基于建筑物自身结构特征，结合经验知识进行提取的方法。基于辅助信息的方法利用数字表面模型(dsm)、建筑物阴影等辅助信息进行建筑物提取。使用最为广泛的是面向对象的建筑物提取方法，其将遥感影像进行分割，形成多个聚类区域，计算聚类区域的光谱特征、纹理特征、形态学特征等信息，利用贝叶斯判别方法、决策树和支持向量机等为代表的分类方法提取。
3.上述传统方法中主观因素较多，分割尺度和特征选择都需要根据不同影像进行人为调节，未充分挖掘影像数据特征,分类鲁棒性较差。相较于传统算法，深度学习模型利用多层卷积和激活函数模拟人脑神经结构，从大量数据里自动学习地物目标的几何结构、光谱与纹理特征，能够减少主观因素对结果的影响，因此，在建筑物提取过程中采用深度学习技术成为了一种新趋势，目前虽然提出基于深度学习的遥感影像分类，但是目前的方法在浅层特征提取与还原方面均不是很理想，还有待提高。而针对于建筑物提取的卷积神经网络也只能得到栅格提取结果，无法进行后续编辑，影响提取结果的后续应用。


技术实现要素：

4.本发明的目的是针对上述问题，提供一种基于深度学习的建筑物矢量提取模型及其提取方法。
5.为达到上述目的，本发明采用了下列技术方案：
6.一种基于深度学习的建筑物矢量提取方法，包括以下步骤：
7.s1.接收遥感影像，对遥感影像进行多个阶段的特征提取，得到多个尺度的提取特征；
8.s2.分别对各尺度的提取特征进行特征优化，得到多个尺度的优化特征；
9.s3.将多个尺度的优化特征进行特征融合，得到融合特征；
10.s4.对融合特征进行特征恢复与类别判断得到建筑物初步提取结果；
11.s5.对建筑物初步提取结果进行后处理得到最终的建筑物矢量结果。
12.在上述的基于深度学习的建筑物矢量提取方法中，步骤s1中，所述的遥感影像为经过预处理的高分辨率遥感影像；
13.步骤s1中，对遥感影像进行至少三个阶段的特征提取，得到至少三个尺度的提取特征；
14.步骤s1中，使用编码器模块对遥感影像进行多个阶段的特征提取，且所述的编码器模块包括稠密卷积模块和过渡卷积模块，由稠密卷积模块和过渡卷积模块中的任意一种或两种进行每一阶段的特征提取。
15.在上述的基于深度学习的建筑物矢量提取方法中，步骤s1中，对遥感影像进行四个阶段的特征提取，得到四个尺度的提取特征；
16.步骤s1中，前三阶段均由稠密卷积模块和过渡卷积模块进行特征提取,且过渡卷积模块在每个阶段中均执行一次，稠密卷积模块在第一至第三阶段分别重复6次、12次和24次,第四阶段由稠密卷积模块重复16次进行特征提取。
17.在上述的基于深度学习的建筑物矢量提取方法中，步骤s2中，使用空间金字塔池化模块、自注意力模块中的任意一种分别对各阶段的提取特征进行特征优化。
18.在上述的基于深度学习的建筑物矢量提取方法中，步骤s2中，使用空间金字塔池化模块对第四阶段的提取特征进行特征优化，使用自注意力模块分别对第一-第三阶段的提取特征进行特征优化；
19.步骤s3中，先将第四阶段和第三阶段的优化特征进行融合，然后依次与第二阶段与第一阶段的优化特征融合得到最终的融合特征。
20.在上述的基于深度学习的建筑物矢量提取方法中，步骤s4具体包括：
21.使用两次深度分离卷积模块、两次密集上采样模块和一次卷积模块对最终的融合特征进行特征恢复；
22.使用softmax函数对恢复特征进行类别判断，得到建筑物初步提取结果；
23.步骤s5中，后处理步骤依次包括去除小聚类区域、形态学操作、边界点提取和道格拉斯普克抽稀四个后处理步骤。
24.一种基于深度学习的建筑物矢量提取模型，包括编码器模块、优化模块、解码器模块和后处理模块，所述的编码器模块用于对输入的遥感影像进行多阶段特征提取，所述的优化模块用于对编码器模块输出的各尺度提取特征进行优化处理，所述的解码器模块用于将优化后的各尺度优化特征进行融合并基于融合特征进行特征恢复与类别判断以输出建筑物初步提取结果，所述的后处理模块用于对所述的建筑物初步提取结果进行后处理得到最终的建筑物矢量结果。
25.在上述的基于深度学习的建筑物矢量提取模型中，所述的编码器模块包括稠密卷积模块和过渡卷积模块；稠密卷积模块包括两个卷积模块，稠密卷积模块用于对输入依次经过两个卷积模块处理，然后将输入与卷积模块的输出波段拼接后输出；
26.过渡卷积模块包括一个卷积模块和一个平均池化层，过渡卷积模块用于以稠密卷积模块的输出为输入，对输入进行卷积和池化处理后输出。
27.在上述的基于深度学习的建筑物矢量提取模型中，所述的优化模块包括自注意力模块和空间金字塔池化模块，每个阶段的输出均连接一个自注意力模块或空间金字塔池化模块；
28.所述的解码器模块包括多个解码卷积模块，每个自注意力模块的输出连接一个解码卷积模块，且解码卷积模块用于对下一阶段解码卷积模块/空间金字塔池化模块的输出进行解码卷积处理后与相应自注意力模块的输出融合叠加输出给上一阶段对应的解码卷积模块，由第一阶段对应的解码卷积模块输出最终的融合特征；
29.本模型还包括用于网络训练的分支结构，且所述的分支结构包括多个分支模块，每个解码卷积模块分别连接一个分支模块。
30.在上述的基于深度学习的建筑物矢量提取模型中，所述的编码器模块用于对输入的遥感影像进行四阶段特征提取,前三阶段由稠密卷积模块和过渡卷积模块进行特征提取,第四阶段由稠密卷积模块进行特征提取；
31.所述的优化模块包括三个自注意力模块和一个空间金字塔池化模块，三个自注意力模块的输入分别为第一-第三阶段的提取特征，输出分别为三个解码卷积模块的输入，空间金字塔池化模块的输入为第四阶段的提取特征；
32.空间金字塔池化模块将第四阶段的提取特征进行4次卷积操作和1次全局池化，将5个特征拼接后利用1*1卷积进行融合后输出；
33.第三阶段的解码卷积模块对空间金字塔池化模块的输出进行解码卷积处理后与第三阶段自注意力模块输出的优化特征融合叠加输出给第二阶段对应的解码卷积模块；
34.第二阶段的解码卷积模块对第三阶段解码卷积模块的输出进行解码卷积处理后与第二阶段自注意力模块输出的优化特征融合叠加输出给第一阶段的解码卷积模块；
35.第一阶段的解码卷积模块对第二阶段解码卷积模块的输出进行解码卷积处理后与第一阶段自注意力模块输出的优化特征融合叠加输出最终的融合特征；
36.所述的解码卷积处理包括两次深度分离卷积操作一次密集上采样操作；
37.所述的后处理模块用于对所述的建筑物初步提取结果进行包括去除小聚类区域、形态学操作、边界点提取和道格拉斯普克抽稀四个后处理步骤得到最终的建筑物矢量结果。
38.本发明的优点在于：
39.1、本方案首先对遥感影像进行多个阶段的特征提取得到多个尺度的提取特征，对各尺度特征分别进行优化再进行特征融合，能够融合多种尺度下的特征提取优势，有效提高特征提取能力，确保融合特征有效性，同时能够提高后续的特征恢复能力；
40.2、稠密卷积神经网络利用自注意力模块和空间金字塔池化模块优化特征，增强网络对原始影像的信息提取能力；
41.3、本方案最后针对融合特征进行提取结果，并对提取结果进行后处理，能够直接获取到较为规则的建筑物矢量结果，极大的方便了后续编辑与应用；
42.4、本方案提出一种新的基于稠密卷积模块的稠密卷积神经网络，该网络能够适用于图像分类任务并具有较强的特征提取能力，能够自动提取建筑物特征类别判断；
43.5、为网络结构设置用于辅助训练的分支结构，能够提高网络前期的训练效果，从而提高网络的特征提取能力；
44.6、本方案在编码器模块中通过稠密卷积模块与过渡卷积模块叠加处理的方式进行每一尺度的特征提取，对每一尺度提取特征又分别进行特征优化，随后通过一系列卷积操作叠加操作将优化特征融合，对融合特征进行包括密集上采样过程的初步结果提取等，从整体流程上确保了网络对图像信息的恢复能力。
附图说明
45.图1为本发明建筑物矢量提取模型的模型架构图；
46.图2为本发明建筑物矢量提取模型中稠密卷积模块的结构示意图；
47.图3为本发明建筑物矢量提取模型中过渡卷积模块的结构示意图；
48.图4为本发明建筑物矢量提取模型中自注意力模块的结构示意图；
49.图5为本发明建筑物矢量提取模型中空间金字塔池化模块的结构示意图；
50.图6为本发明建筑物矢量提取模型中深度分离卷积模块的结构示意图；
51.图7为本发明建筑物矢量提取模型中密集上采样模块的结构示意图；
52.图8为本发明建筑物矢量提取模型中本实施方式第二阶段对应的解码卷积模块的结构示意图；
53.图9为本发明建筑物矢量提取模型中后处理模块的结构示意图。
具体实施方式
54.下面结合附图和具体实施方式对本发明做进一步详细的说明。
55.如图1所示，本实施例公开了一种新的基于稠密卷积神经网络实现的建筑物矢量提取模型，包括编码器模块2、优化模块3、解码器模块4和后处理模块5，基于该模型进行建筑物矢量提取的方法包括：
56.s1.由预处理模块1对高分辨率遥感影像进行包括遥感影像裁剪、数据增强和归一化的预处理，编码器模块2接收经过预处理的遥感影像，对遥感影像进行多个阶段的特征提取，得到多个尺度的提取特征，每个阶段输出一个尺度的提取特征；
57.s2.由优化模块3分别对各尺度的提取特征进行特征优化，得到多个尺度的优化特征；
58.s3.解码器模块4将多个尺度的优化特征进行特征融合，得到融合特征；
59.s4.解码器模块4继续对融合特征进行特征恢复与类别判断得到建筑物初步提取结果-输出1；
60.s5.后处理模块5对建筑物初步提取结果进行后处理得到最终的建筑物矢量结果。
61.具体地，步骤s1中，对遥感影像进行至少三个阶段的特征提取，得到至少三个尺度的提取特征，本实施例优选对遥感影像进行四个阶段的特征提取，得到四个尺度的提取特征。
62.本方案首先对遥感影像进行多个阶段的特征提取得到多个尺度的提取特征，对各尺度特征分别进行优化再进行特征融合，能够融合多种尺度下的特征提取优势，有效提高特征提取能力，同时确保融合特征有效性，能够提高后续的特征恢复能力。最后针对融合特征提取结果，并对提取结果进行后处理，能够直接获取到较为规则的建筑物矢量结果，极大的方便了后续的编辑与应用。
63.进一步地，建筑物矢量提取模型在投入使用之前需要进行网络训练。本模型进一步通过分支结构41辅助主体结构进行训练，以提高模型的训练效果。具体地，分支结构41包括n-1个分支模块，n表示分阶段数，具体到本实施例，具有四个阶段，故具有3个分支模块，前面三个阶段分别对应一个分支模块，每个分支模块包括一个深度分离卷积模块、一个卷积模块和密集上采样模块，输出结果尺寸是原始输入影像尺寸的1/2(输出2)、1/4(输出3)和1/8(输出4)。
64.具体地，编码器模块2包括稠密卷积模块和过渡卷积模块，如图2所示，稠密卷积模
块包括两个卷积模块，卷积核尺寸分别为1*1和3*3，步长都为1，将输入与卷积模块的输出波段拼接后输出。如图3所示，过渡卷积模块包括1个卷积模块和一个平均池化层，卷积核尺寸为1*1，步长为1，平均池化层窗口大小为2*2，输出特征空间尺寸是输入特征的1/2。由稠密卷积模块和过渡卷积模块中的任意一种或两种进行每一阶段的特征提取。具体到本实施例，前三阶段的每一阶段都由稠密卷积模块和过渡卷积模块组成，其中稠密卷积模块分别重复6、12、和24次，过渡卷积模块每阶段只使用1次，最后阶段由稠密卷积模块重复16次,最终得到4个尺度的提取特征,且第三阶段和第四阶段输出的特征图大小是一样的,所以编码器实际上输出的是三种尺度的提取特征。
65.具体地，优化模块3包括自注意力模块和空间金字塔池化模块，每个阶段的输出连接一个自注意力模块或空间金字塔池化模块，以分别用一个自注意力模块或空间金字塔池化模块对相应阶段的提取特征进行特征优化。本实施例中，优化模块3包括三个自注意力模块和一个空间金字塔池化模块，三个注意力模块的输入分别为第一-第三阶段的提取特征，空间金字塔池化模块的输入为第四阶段的提取特征。
66.如图4所示，自注意力模块采用空间缩减注意力模块，既能捕捉数据或特征的内部相关性又减少模型资源消耗。如图5所示，空间金字塔池化模块将编码器模块2最后阶段，即第四阶段的输出进行4次卷积操作和1次全局池化，非膨胀卷积核大小为1*1，步长为1；膨胀卷积卷积核大小为3*3，步长为1，共包含3个膨胀率：6，12和18。将5个特征拼接后利用1*1卷积进行融合，然后输出。
67.具体地，解码器模块4包括多个解码卷积模块和用于对融合特征进行特征恢复与类别判断的基础组成模块，基础组成模块包括深度分离卷积模块和密集上采样模块，上采样过程采用密集上采样模块，各类卷积神经网络中的下采样过程必然造成细节信息的丢失，而密集上采样模块将长宽尺寸上的损失通过通道维度来进行弥补，恢复图像信息。如图6所示，深度分离卷积模块由(深度分离)卷积层、标准化层(batch normalization,bn)和激活层(rectified linear unit,relu)组成。如图7所示，密集上采样模块由卷积模块和周期筛选层组成，其中卷积模块中卷积核大小为1*1，步长为1；周期筛选层将特征进行重新排序，缩减特征波段数，增加特征的空间尺寸(长和宽)。相应地，步骤s4具体包括：使用两次深度分离卷积模块、两次密集上采样模块和一次卷积模块对融合特征进行特征恢复，将特征还原到原始输入图像的尺寸；使用softmax函数对还原特征进行类别判断，得到建筑物初步提取结果。
68.如图8所示，解码卷积模块包含2个深度分离卷积模块、1个密集上采样模块和1叠加层，其中主输入为下一阶段解码卷积模块/空间金字塔池化模块的输出。深度分离卷积为逐通道卷积，卷积核为3*3，步长为1。
69.进一步地，每个自注意力模块的输出连接一个解码卷积模块，解码卷积模块用于对下一阶段解码卷积模块/空间金字塔池化模块的输出进行两次深度分离卷积操作和一次密集上采样操作后与自注意力模块输出的优化特征融合叠加输出给上一阶段的解码卷积模块，由第一阶段对应的解码卷积模块输出最终的融合特征。
70.由于本实施例采用的是四阶段特征提取，所以步骤s2中，使用空间金字塔池化模块对第四阶段的提取特征进行特征优化，使用自注意力模块分别对第一-第三阶段的提取特征进行特征优化；步骤s3中，先将第四阶段和第三阶段的优化特征进行融合，然后依次与
第二阶段与第一阶段的优化特征融合得到最终的融合特征。
71.具体为，由空间金字塔池化模块将第四阶段的提取特征进行4次卷积操作和1次全局池化，将5个特征拼接后利用1*1卷积进行融合后输出；
72.第三阶段的解码卷积模块对第三阶段自注意力模块输出的优化特征进行两次深度分离卷积操作一次密集上采样操作后与空间金字塔池化模块的输出融合叠加输出给第二阶段对应的解码卷积模块；
73.第二阶段的解码卷积模块对第二阶段自注意力模块输出的优化特征进行两次深度分离卷积操作一次密集上采样操作后与第三阶段解码卷积模块的输出融合叠加输出给第一阶段的解码卷积模块；
74.第一阶段的解码卷积模块对第一阶段自注意力模块输出的优化特征进行两次深度分离卷积操作一次密集上采样操作后与第二阶段解码卷积模块的输出融合叠加输出最终的融合特征。
75.进一步地，如图9所示，后处理模块5用于对建筑物初步提取结果进行包括去除小聚类区域、形态学操作、边界点提取和道格拉斯普克抽稀四个后处理步骤得到最终的建筑物矢量结果。。卷积神经网络的提取结果为栅格图像，建筑物边界与真实值有一定差异。本方案对提取结果使用后处理模块进行结果优化，具体步骤为去除面积小于阈值的聚类区域，可以减少结果中明显的分类误差，开运算能够除去孤立的小点，毛刺和小桥，闭运算能够填平小湖(即小孔)，弥合小裂缝，两个形态学操作都保持总的位置和形状不变，利用轮廓提取算法将栅格结果转为矢量结果，此结果中边界点数量较多，建筑物总体形状不规则，再利用道格拉斯普克抽稀算法简化边界点，使得矢量结果更符合建筑物特征，最终得到较为规则的建筑物矢量结果。
76.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
77.尽管本文较多地使用了预处理模块、编码器模块、优化模块、解码器模块、分支结构、后处理模块、深度分离卷积模块、密集上采样模块、稠密卷积模块、过渡卷积模块、自注意力模块、空间金字塔池化模块、解码卷积模块、后处理模块等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。