基于卷积神经网络的遥感正射影像密集建筑物提取方法与流程

本发明涉及计算机视觉实例分割领域，特别是涉及基于卷积神经网络的遥感正射影像密集建筑物提取方法。

背景技术：

高分辨率遥感影像中建筑物的自动化提取对数字地图的制作和更新、城市变化检测、违规建筑检测以及智慧城市的建设等具有极其重要的作用。目前常用的建筑物识别和提取的方法分为两类：传统的机器学习方法和深度学习方法。传统的机器学习通过人工设计特征来实现对建筑物的表达，从而实现建筑物的识别与提取，通常设计的建筑物特征包括：长度、面积、形状、高度以及一些纹理特征等，这种方法主要是基于经验来设计特征，并且设计的特征会由于外部环境的变化而有所改变，所以这种方法提取的精度都不是很高。2006年深度学习的提出，极大地促进了机器学习的发展，相较于传统的机器学习人工提取特征的方式，深度学习采用的是神经网络自动提取特征。其中在图像识别上卷积神经网络(convolutionalneuralnetwork，cnn)应用最为广泛，2015年卷积神经网络开始被引入遥感领域中，在遥感影像分类、图像检索，对象识别等方面凸显巨大的优势。遥感影像的建筑物提取属于计算机视觉任务，但是相较于其他的计算机视觉任务较为复杂，它不仅牵涉了计算机视觉里面的图像分类和语义分割问题，还是一个目标检测和实例分割问题。目前大部分学者使用的是图像的语义分割来实现建筑物的提取，但是显然这并不能满足实际生产的需要，在实际生产中我们往往关注的是建筑物本身属性，比如建筑物的数量和建筑物的位置等。因此，如何以实例分割方法来实现建筑物的提取成为目前亟待研究的问题。

目前最流行的深度学习实例分割框架是mask-rcnn，但是将mask-rcnn直接用于遥感影像建筑物识别精度并不是很高，主要原因有两点：1.遥感影像本身具有多方向性的特点，遥感数据集多为俯拍，目标的方向都是不确定的。2.遥感影像拍摄的高度不一，几百米到几万米均有，这时地面的同类目标可能大小不一；就地面建筑物来说，建筑物的形状大小本身就存在大小不一的情况，现有的mask-rcnn模型并不能检测出所有房屋，比如对小型房屋提取的效果较好，对于大型建筑物提取的效果并不是很好。

技术实现要素：

为了克服现有技术的上述不足，本发明提出了基于卷积神经网络的遥感正射影像密集建筑物提取方法，解决现有遥感影像建筑物识别精度不高，无法克服遥感影像方向多样性、尺度多样性带来识别误差的技术问题。

本发明是通过以下技术方案实现的：

基于卷积神经网络的遥感正射影像密集建筑物提取方法，具体包括以下步骤：

s1：制作训练样本：获取原始建筑物遥感影像，并通过via数据标记工具进行标注，然后进行数据增强；

s2：建立改进的mask-rcnn模型：所述改进的mask-rcnn模型包括mask-rcnn原有的基础特征提取网络，所述基础特征提取网络后设有一个由底到上的特征增强结构，从特征增强结构输出的特征经区域建议网络rpn输入到池化层，对池化后每一层级特征进行融合，特征融合后连接旋转不变全连接层，最后进行mask-rcnn分类、边框定位和mask回归，实现对遥感影像中建筑物的提取；

s3：模型训练、微调：将s1中制作好的训练样本输入改进的mask-rcnn模型中进行训练，并微调模型超参数，当损失函数收敛或近似收敛时，停止训练，得到训练的最优模型；

s4：模型测试：将待测遥感影像数据输入训练好的最优模型中进行测试，并分析建筑物提取结果，统计提取精度。

进一步的，s1中对数据进行标注之前先剪裁。

进一步的，s1中数据增强的方式为随机90°倍数旋转、水平翻转和伸缩变换。

进一步的，s2中采用的mask-rcnn基础特征提取网络有特征提取主干网络和主干网络的扩展网络，mask-rcnn特征提取主干网络为深度残差网络，主干网络的扩展网络为特征金字塔网络fpn。

进一步的，s3中模型超参数包括迭代次数、学习率。

进一步的，s4中模型测试时，先裁剪为小块进行测试，之后再拼接。

进一步的，s4中测试前，观察在训练集和验证集上的精度曲线来分析模型是否存在过拟合和欠拟合的情况，如若不存在过拟合和欠拟合则可进行后续的测试。

与现有技术相比，本发明的有益效果在于：

(1)本发明提出的基于卷积神经网络的遥感正射影像密集建筑物提取方法，通过在制作训练样本的时候对原始遥感影像进行数据增强，并在原有mask-rcnn分类层前面加一个旋转不变层，很好的解决遥感影像方向多样性的技术问题；

(2)在原有mask-rcnn基础特征提取网络后增设一个由底到上的特征增强结构进行底层特征增强，增强低层特征的信息传播能力，并对池化后的每一层级特征进行融合，利用融合后的特征进行预测，解决了遥感影像尺度多样性的技术问题；

综上，本申请提出的基于卷积神经网络的遥感正射影像密集建筑物提取方法，自动化程度高，节省了大量的人力物力；建筑物识别精度高，克服遥感影像因方向多样性、尺度多样性产生的识别误差。

附图说明

图1为现有mask-rcnn网络的工作流程图；

图2为本发明实施例所述基于卷积神经网络的遥感正射影像密集建筑物提取方法的流程示意图；

图3为本发明实施例所述特征增强结构示意图；

图4为本发明实施例所述特征融合示意图；

图5为本发明实施例所述改进的mask-rcnn网络的工作流程图；

图6(a)本发明实施例所述待测遥感影像；

图6(b)为图6(a)的建筑物识别结果；

图6(c)为图6(a)的建筑物提取结果。

具体实施方式

展示一下实例来具体说明本发明的某些实施例，且不应解释为限制本发明的范围。对本发明公开的内容可以同时从材料、方法和反应条件进行改进，所有这些改进，均应落入本发明的精神和范围之内。

现有mask-rcnn网络的工作流程如图1所示，待检测的图像先经过特征提取网络，进行特征提取；然后经区域建议网络(regionproposalnetwork，rpn)生成候选区域，由于生成的候选区域具有高度的重叠，mask-rcnn中利用非极大值抑制算法(non-maximumsuppression，nms)进行抑制；接着对经抑制后剩余的候选区域进行roialign池化；最后对候选区域通过softmax分类器进行分类、多任务损失边框回归算法得到检测边框的坐标、利用全卷积分割网络(fullyconvolutionalnetworks，fcn)生成掩膜(mask)等操作。

如图2所示，本申请基于卷积神经网络的遥感正射影像密集建筑物提取方法，具体包括以下步骤：

s1：制作训练样本：获取原始建筑物遥感影像(1024*1024)，先进行剪裁，由于遥感影像一般尺寸大无法直接输入网络进行训练，因此需要剪裁成小块，然后对剪裁之后的图像采用via数据标记工具进行标注，最后对数据进行增强来增强训练数据的多样性，数据增强采用的方式为随机90°倍数旋转、水平翻转和伸缩变换；

s2：建立改进的mask-rcnn模型，如图5所示：所述改进的mask-rcnn模型包括mask-rcnn原有的基础特征提取网络，利用特征提取网络进行卷积层特征提取，这里采用的mask-rcnn基础特征提取网络有特征提取主干网络和主干网络的扩展网络，mask-rcnn特征提取主干网络为深度残差网络，主干网络的扩展网络为特征金字塔网络fpn；所述基础特征提取网络后设有一个由底到上的特征增强结构，以增强底层特征的信息传播能力，特征增强结构如图3所示，图中的ni经过卷积核尺寸为3*3，步长为2的卷积层后，特征图尺寸缩减为原来的一半，然后和pi+1做特征叠加(element-wiseadd)，得到的结果再经过一个卷积核尺寸为3*3，步长为1的卷积层得到ni+1，特征图尺寸不变。从特征增强结构输出的特征经区域建议网络rpn生成建议窗口，接着进入池化层对每一层级的建议窗口进行池化，然后进行特征融合，生成固定尺寸的特征图，融合示意图如图4所示，特征融合后连接旋转不变全连接层，以确保训练样本在旋转前后分享相似的特征，最后进行mask-rcnn分类、边框定位和mask回归，实现对遥感影像中建筑物的提取；

s3：模型训练、微调：将s1中制作好的训练样本输入改进的mask-rcnn模型中进行训练，并微调模型超参数，如迭代次数、学习率，当损失函数收敛或近似收敛时，停止训练，得到训练的最优模型；

s4：模型测试：观察在训练集和验证集上的精度曲线来分析模型是否存在过拟合和欠拟合的情况，如若不存在过拟合和欠拟合，则将待测遥感影像数据输入训练好的最优模型中进行测试，并分析建筑物提取结果，统计提取精度；测试时，先裁剪为小块进行测试，之后再拼接。

应用：将5.76*4.32平方公里的建筑物遥感影像数据输入训练好的最优模型中进行提取，如图6(a)是原始图像，图(b)是建筑物识别结果，图(c)是掩膜边界提取结果；提取的准确率为85％，漏检率为5％，用时302s。

本申请提出的基于卷积神经网络的遥感正射影像密集建筑物提取方法，通过在制作训练样本的时候对原始遥感影像进行数据增强，并在原有mask-rcnn分类层前面加一个旋转不变层，很好的解决遥感影像方向多样性的技术问题；在原有mask-rcnn基础特征提取网络后增设一个由底到上的特征增强结构进行底层特征增强，增强低层特征的信息传播能力，并对池化后的每一层级特征进行融合，利用融合后的特征进行预测，解决了遥感影像尺度多样性的技术问题；具有识别精度高、自动化程度高的优点。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。