一种基于深度学习的遥感影像建筑物矢量提取及优化方法与流程
本发明属于测量与地图学领域，具体涉及一种基于深度学习的遥感影像建筑物矢量提取方法、及优化方法。
背景技术：
高时效、高精度的矢量地图不仅在城市规划、变化检测和灾害管理等应用中发挥重要作用，同时也是众多基于位置的商业服务的重要基础数据产品之一。高分辨率遥感影像是高精度矢量地图生产的主要数据源之一，而在矢量地图生产过程中，建筑物是地理数据库中最容易增加和发生变化的因素，也是最需要更新的部分。由于建筑物对于城市建设、gis系统更新、数字化城市以及军事侦察等方面的重要性，快速提取的建筑物信息技术和进行建筑物变化的检测有着良好的应用前景。
然而，建筑物目标由于分布广泛且体量庞大，其识别和标注往往成为一项过程繁琐而又成本高昂的工作。目前以卷积神经网络和全卷积网络为代表的深度学习技术已经大幅度提高了遥感影像建筑物自动检测的精度，但是一方面由于现有建筑物检测方法在某些场景中的有限识别能力和有限的迁移应用能力，另一方面即使对于大部分成功识别的建筑物，其轮廓边缘处仍可能无法避免发生微小的漏检和错检，在这种情况下应用多边形简化算法对建筑物轮廓进行处理，很容易导致生成不精确和不规则的矢量结果。
另外，在将深度学习方法的应用于遥感影像建筑物分割时，虽然能够很好地受益于数据驱动的特征学习，但相比之下，建筑物轮廓优化技术，尤其是以生成高质量矢量结果为目标的相关技术，仍普遍依赖于手工设计特征和人工干预，其中以直线、角点等低级图像特征和一系列人为定义的规则集的应用为典型。由于这些依赖人工设计的建筑物矢量轮廓优化方法忽视了从大量训练样本中学习建筑物形状先验知识的机会，近几年，在建筑物轮廓提取或优化过程嵌入至一个深度学习框架成为一种新趋势。
目前现有的方法有的选择直接将影像中建筑物的边缘像素作为卷积神经网络的训练真值和预测目标；有的选择则通过显式地将轮廓边缘作为监督信息，将建筑物分割和轮廓提取编码为多任务学习框架以同时提升二者性能；然而这些方法仍停留在将轮廓生成问题置于像素分类框架中解决，而未能将其看作为一个形状优化问题进行处理，因此上述现有的方法往往难以得到规则的建筑物轮廓结果。
技术实现要素：
本发明要解决的技术问题在于，针对现有技术难以得到规则的建筑物轮廓结果以及很容易导致生成不精确和不规则的矢量结果的缺陷，提供一种基于深度学习的遥感影像建筑物矢量提取方法，在基于遥感影像进行建筑物轮廓提取时，包括：建筑物分割步骤和建筑物矢量提取步骤，其中：
建筑物分割步骤包括：
将高分遥感影像输入到预训练好的图像分割模型，进行建筑物目标概率图提取，并经由二值化处理得到建筑物分割二值化图像；
建筑物矢量提取步骤包括：
对所得的建筑物分割二值化图像进行聚类和边缘轮廓跟踪处理，生成建筑物初始矢量轮廓。
本发明提供的一种基于深度学习的遥感影像建筑物矢量提取方法，其相对于现有技术的改进点，采用聚类和边缘轮廓跟踪方法对建筑物分割二值化图像进行处理，进一步保证了建筑物初始矢量轮廓的完整性。
本发明提供的一种基于深度学习的遥感影像建筑物矢量优化方法，采用上述的遥感影像建筑物矢量提取方法，进行遥感影像建筑物矢量优化处理，其中，在对矢量轮廓进行形状优化处理时，包括以下步骤：
对跟踪得到的建筑物初始矢量轮廓进行均匀采样，得到建筑物轮廓的节点像素坐标；其中，使用douglas-peucker算法对所述建筑物初始矢量轮廓进行多边形简化处理，并判断简化后多边形每条边的长度是否大于指定阈值，针对长度超过指定阈值的边，通过补充采样轮廓节点的方式对所述超过指定阈值的边进行加密；
基于均匀采样后的建筑物轮廓的节点像素坐标，对图像分割模型中的特征图层进行池化处理，获取每个建筑物轮廓节点所对应的图像特征向量；
将建筑物轮廓各个节点的二维像素坐标及节点所对应的图像特征向量进行级联，将所得的各个轮廓节点的级联特征输入到pointnet模型中进行特征编码，其中，将pointnet模型输出的各个轮廓节点的坐标修正值与所述基于均匀采样后的建筑物轮廓的节点像素坐标相加，得到精化后的轮廓节点坐标；
采用douglas-peucker算法对所述精化后的轮廓节点坐标进行简化，得到最终的建筑物矢量优化结果。
本发明提供的一种基于深度学习的遥感影像建筑物矢量优化方法，其相对于现有技术的改进点为：一方面为：在对跟踪得到的建筑物初始矢量轮廓进行均匀采样时，提出了一种先简化后加密的轮廓节点采样方法，进一步生成几何信号保存完好的均匀采样轮廓，所述均匀采样轮廓用于形状先验知识学习。另一方面将全卷积形式的建筑物分割模型和用于形状优化的改进pointnet模型进行整合，实现了整体端对端的训练。
本发明解决其技术问题所采用的技术方案是：构造一种基于深度学习的遥感影像建筑物矢量提取及优化方法，能够提高遥感影像自动生成的建筑物矢量的几何精度和简化效果，有益于提升遥感影像建筑物自动测图结果的质量和应用价值。
实施本发明的一种基于深度学习的遥感影像建筑物矢量提取及优化方法，具有以下有益效果：
1、本发明提供的一种深度学习模型框架，将全卷积形式的建筑物分割模型和用于形状优化的改进pointnet模型进行整合，实现了整体端对端的训练；
2、本发明提供的一种“先简化后加密”的轮廓节点采样方法，可生成几何信号保存完好的均匀采样轮廓用于形状先验知识学习；
3、本发明提供的一种改变卷积核尺寸和应用递归填充方法的pointnet模型的改进措施，能够更好地提取轮廓的局部和全局几何特征用于建筑物形状优化；
4、本发明提供的用于改进pointnet模型训练的损失函数，能够对节点个数相差较大的两个多边形进行有效的相似度估计。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为实施例1-2公开的形状建模深度学习框架结构图；
图2是实施例3公开的对现有pointnet模型改进后的模型结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
实施例1：
请参考图1，其为本实施例1提供的结合全卷积形式的建筑物分割模型和改进pointnet模型，用于遥感影像建筑物矢量生成的形状建模深度学习框架的结构和流程示意图。针对一种基于深度学习的遥感影像建筑物矢量提取方法，在基于遥感影像进行建筑物轮廓提取时，包括：建筑物分割步骤和建筑物矢量提取步骤，其中：
a1、建筑物分割步骤包括：
将高分遥感影像输入到预训练好的图像分割模型，进行建筑物目标概率图提取，并经由二值化处理，得到建筑物分割二值化图像；具体的，在实际处理的时候：
1)上述的所述图像分割模型可采用pspnet模型、特征金字塔等在内的主流卷积网络作为骨架结构；其中，pspnet模型是在fcn模型上的改进，通过引入更多的上下文信息，当分割层有更多全局信息时，降低误分割的概率，这种思想目前在许多图像领域都有所应用。
2)所述图像分割模型的末端采用全卷积方式，针对所得的特征图直接生成建筑物目标分割概率图；
3)在模型训练方面，所述图像分割模型训练可基于计算分割概率图与真值标签图像之间的交叉熵损失完成。
以上便是，在建筑物分割步骤中，针对图像分割模型，在实际处理的时候，模型可选用的类型，模型的卷积方式以及模型的训练方式。
为了进一步对上述步骤进行详细说明，所述经由二值化处理，得到建筑物分割二值化图像的具体过程为：
取0.5作为建筑物目标概率图的二值化阈值，在进行二值化处理后得到建筑物分割二值化图像；其中，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。在数字图像处理中，对图像的二值化处理，可以使得图像中数据量大为减少，从而能凸显出目标的轮廓。
a2、建筑物矢量提取步骤包括：
对所得的建筑物分割二值化图像进行聚类和边缘轮廓跟踪处理，生成建筑物初始矢量轮廓，具体的，在实际处理的时候：
首先，在聚类的过程中，通过区域生长方法将所述建筑物分割二值化图像中具有相似性质的像素点合并到一起，得到聚类后的建筑物分割二值化图像，其中，针对所述聚类后的建筑物分割二值化图像还包括应用数学形态学方法，进一步去除图像中的分类噪声和小型非建筑结构；由于，数学形态学方法利用一个称作结构元素的“探针”收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分之间的相互关系，从而了解图像的结构特征；该方法是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀(或扩张)、腐蚀(或侵蚀)、开启和闭合，基于这些基本运算可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边缘检测、图像滤波、图像增强和恢复等。因此，当前实施例下，基于用数学形态学方法对聚类后的建筑物分割二值化图像进行分析及处理，并从图像中去除噪声以及无用的信息。
其次，在边缘轮廓跟踪处理中，针对所述聚类后的建筑物分割二值化图像，采用摩尔邻域边界追踪算法生成建筑物初始矢量轮廓。
以上便是本实施例1提供的一种基于深度学习的遥感影像建筑物矢量提取方法实施过程，总的来说，在进行建筑物矢量提取的时候，本实施例1采用聚类和边缘轮廓跟踪方法，对建筑物分割二值化图像进行处理，进一步保证了建筑物初始矢量轮廓的完整性。
实施例2：
请参考图1，基于形状建模深度学习框架结构图，在利用实施例1提供的一种基于深度学习的遥感影像建筑物矢量提取方法，进行遥感影像建筑物矢量优化处理时，具体包括以下步骤：
首先，对跟踪得到的建筑物初始矢量轮廓进行均匀采样，得到建筑物轮廓的节点像素坐标；其中，使用douglas-peucker算法对所述建筑物初始矢量轮廓进行多边形简化处理，并判断简化后多边形每条边的长度是否大于指定阈值，针对长度超过指定阈值的边，通过补充采样轮廓节点的方式对该边进行加密；
当前步骤下，所述指定阈值设置为10像素，判断简化后多边形每条边的长度是否大于10像素，针对长度超过10像素的边，通过补充采样轮廓节点的方式对该边进行加密，所述加密方式具体为将超过10像素的边做进一步等分处理，使得等分后的每一段边均小于10像素，直至多边形的每条边的长度均满足指定阈值要求；综上所述，本实施例2通过上述的“先简化后加密”的策略，进一步生成几何信号保存完好的均匀采样轮廓。
其次，基于均匀采样后的建筑物轮廓的节点像素坐标，对图像分割模型中的特征图层进行池化处理，获取每个建筑物轮廓节点所对应的图像特征向量；
当前步骤下，选用图像分割模型在进入建筑物矢量提取之前所生成的最后一层特征图进行池化操作；该层特征图分辨率为输入图像的1/2，因此，需要将建筑物轮廓的节点坐标按该层特征图分辨率进行等比例缩小，然后将特征图中缩小节点坐标对应位置的特征向量取出以实现特征池化。
其次，将建筑物轮廓各个节点的二维像素坐标及节点所对应的图像特征向量进行级联，将所得的各个轮廓节点的级联特征输入到pointnet模型中进行特征编码，在将全局特征与每个节点的局部特征进行级联后，这些局部与全局的融合特征经过卷积操作，从而生成最终的点特征，然而，这些点特征将被用于对每个轮廓节点的坐标修正值进行预测，其中，将pointnet模型输出的各个轮廓节点的坐标修正值与所述基于均匀采样后的建筑物轮廓的节点像素坐标相加，得到精化后的轮廓节点坐标；例如，pointnet模型将为每个轮廓节点输出一个二维向量，分别表示节点左边在x和y方向上的坐标修正值，将修正值与输入坐标值相加可得到精化后的轮廓节点坐标，考虑到该坐标为原始图像1/2分辨率下算得，因此需要将其等比例放大至图像原始分辨率以生成最终精化轮廓结果。
最后，采用douglas-peucker算法对所述精化后的轮廓节点坐标进行简化，得到最终的建筑物矢量提取结果。其中，应用douglas-peucker算法采用的距离阈值设置为1像素，以尽可能保留最终生成建筑物矢量轮廓中的几何细节。
本实施例2提供的一种基于深度学习的遥感影像建筑物矢量优化方法，一方面将全卷积形式的建筑物分割模型和用于形状优化的pointnet模型进行整合，实现了整体端对端的训练，从而更好地提取轮廓的局部和全局几何特征，提高建筑物形状优化效率；另一方面，在对跟踪得到的建筑物初始矢量轮廓进行均匀采样的时候，本实施例2提供了一种“先简化后加密”的轮廓节点采样方法，可生成几何信号保存完好的均匀采样轮廓用于形状先验知识学习。
实施例3：
请参考图2，其为本实施例2对现有pointnet模型改进后的模型结构示意图，本实施例提供的一种基于深度学习的遥感影像建筑物矢量优化方法，采用如实施例1-2所述的遥感影像建筑物矢量提取、优化方法，在进行遥感影像建筑物矢量优化处理时，还包括对pointnet模型的改进，具体包括：
b1、将pointnet模型中应用的卷积核尺寸由原先的1×1更改为n×1，以实现对轮廓节点邻域局部几何信号的特征学习，其中，n＞1对应于卷积操作所作用的轮廓节点的邻域范围；本实施例下，n可取到的值为3、5或7，以卷积核尺寸为3×1为例，如图2所示，输入的级联特征首先经过两层3×1卷积操作以生成每个节点的局部特征并构成张量[f1，f2，…，fn]，后续几个卷积层则逐步提高特征维度，并通过最大值池化操作生成全局特征g，再将该全局特征与每个节点的局部特征进行级联后，这些局部与全局的融合特征将经历三层卷积操作以生成最终的点特征，而这些点特征将被用于对每个轮廓节点的坐标修正值进行预测。
b2、将pointnet模型中的常规卷积操作，由在输入数据边缘处采用的零值填充方法改进为递归填充方法，即将输入轮廓节点序列考虑为一个封闭的环，在对序列的首、尾节点进行卷积操作时，首、尾节点相对一端节点的数据被用于填充，确保每个节点的邻域几何信息均被用于形状先验信息的学习，且，使得模型训练结果对轮廓节点输入顺序保持不变性。
另外，在改进pointnet模型时，本实施例采用损失函数loss来对pointnet模型进行训练；该损失函数loss可适应模型输出的建筑物精化轮廓的节点个数明显多于矢量真值轮廓的情形，来对精化轮廓与真值轮廓的多边形相似度进行有效估计；另外该损失函数loss通过额外增加采样点的方式，将精化轮廓与真值轮廓节点个数调整为一致，即首先为真值轮廓中的每一个节点在精化轮廓节点中找到一个距其最近的点进行配对，构成配对点集s1，然后将精化轮廓中尚未完成配对的节点至真值轮廓最近的边的垂足采样为其配对点，构成补充配对点集s2，在完成精化轮廓和真值轮廓节点的一一配对关系之后，进一步确定二者边与边的配对集合sl。所述损失函数loss的表达式为：
loss＝lpoint+lline；
式中，lpoint表示精化轮廓节点和真值轮廓节点位置偏差造成的损失，lline表示精化轮廓和真值轮廓边与边的角度偏差造成的损失；n为精化轮廓的节点总个数，
在实施实施例1-3时，本领域技术人员可采用计算机软件技术实现以上处理步骤的自动运行。
基于实施例1-3，本发明提供的形状建模深度学习框架整合了一个全卷积形式的建筑物分割模型和一个用于形状优化的改进pointnet模型，该学习框架可实现整体端对端训练；本发明提供的“先简化后加密”的轮廓节点采样方法，可生成几何信号保存完好的均匀采样轮廓用于形状先验知识学习；本发明提供的改变卷积核尺寸和应用递归填充方法的pointnet模型改进措施，能够更好地提取轮廓的局部和全局几何特征用于建筑物形状优化；本发明提供的用于改进pointnet模型训练的损失函数，能够对节点个数相差较大的两个多边形进行有效的相似度估计。整体上，本发明所提供的深度学习框架能够提高遥感影像自动生成的建筑物矢量的几何精度和简化效果，有益于提升遥感影像建筑物自动测图结果的质量和应用价值。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
- 还没有人留言评论。精彩留言会获得点赞！