一种高分辨率遥感影像轮廓多级正则化方法、系统及应用

1.本发明属于建筑物遥感影像识别技术领域，尤其涉及一种高分辨率遥感影像轮廓多级正则化方法、系统及应用。


背景技术：

2.随着航空航天的快速发展，高分辨率遥感图像变得越来越容易获取和使用。建筑作为城市结构的重要组成部分，在人类社会中发挥着重要作用。建筑物轮廓被认为是非常重要的几何数据，这些信息使本发明能够量化建筑物的空间分布特征，对于城市规划、土地调查、变化检测和军事侦察等领域有着不可估量的价值，在越来越多的研究中，如智慧城市、高精度矢量地图、3d城市地图和重建、城市土地动态监测、城市环境质量评估、城市蔓延监测和城市空气污染建模等，需要更精细尺度的建筑轮廓信息(尤其是在城市地区)。因此，如何准确、快速地提取建筑轮廓信息已经变得越来越重要。
3.由于不同的成像环境，不同的颜色、对比度和阴影条件，导致成像结果存在很大的差异。建筑物分布不均、复杂的背景和建筑风格的多样性，使遥感图像通常具有复杂数据的特征，这些数据常以异构区域的形式存在，具有较大的类内变化和极小的类间变化，这在建筑物和道路等城市物体中更为突出，遥感图像中的这种异质性限制了大多数现有方法。
4.在过去的几十年里，人们提出了许多算法，这些方法通过各种类型的数据集(如图像或点云)、尺度(如城市或国家)、分辨率(如分米或米)或光谱(如可见光或多光谱)进行验证，建筑物提取的技术日渐成熟。rottensteiner和briese指出，在一些高精度的应用中，建筑物边界的确定是一个关键但困难的步骤。
5.过去，一些有前途的解决方案使用了交互式初始化设置，然后是自动提取程序。然而，只有在训练有素的操作员进行初始化并监督提取过程的情况下，这种方法才可行。为了适应各种应用的高需求，精确的提取建筑物轮廓也应当考虑自动化的过程。近年来，建筑物轮廓的自动提取方法仍在深入研究中，由于场景复杂、不完整的线索提取和传感器依赖性，自动检测建筑物的成功率较低。此外，不同类型的建筑特征(尺寸、形状、颜色等)和周围环境增加了设计自动化方法的难度。
6.基于规则的程序已经成功地实现了一定程度的自动化，这些规则基于先验知识，描述不同特征的外观、尺寸和约束，以区分城市对象。此外，还有利用数据各自的优势，采用数据融合的方法开展建筑物提取的工作(如激光雷达点云结合高分影像)。然而多源数据的获取和融合代价往往是高昂的，因为建筑物表示可能会在图像场景中遭受起伏位移或建筑物变形，容易引进额外的噪声，在许多情况下，不同数据源得到的建筑几何位置很难完全匹配。
7.从单一的数据类型开始，自动建筑物提取已被证明是一项非常重要的任，它可以被视为两个相互依赖的任务——建筑物检测和轮廓正则化，后者的准确性取决于可靠的检测。然而，这两项任务都具有挑战性，尤其是在复杂的场景中。
8.根据处理策略，传统的建筑物检测方法大致有三类：基于数据驱动、基于模型驱动
和混合类方法。数据驱动的方法通常涉及对图像基本特征进行自下而上的处理，该方法使用包含几何、结构和形状等特征结构，采用一定的规则将这些特征结构合并成为目标整体以获得建筑物边界；而自上而下的模型驱动方法则将建筑目标抽象成一个整体的模型，通过将输入数据拟合到预定义目录(如平面、鞍形等)中采用的模型来估计建筑边界，虽然最终边界在拓扑上总是正确的，但是如果目录中没有相应的模型，则无法确定复杂建筑的边界。相比之下，数据驱动的方法对建筑外观没有约束，可以近似任何形状的建筑。这些方法的一个缺点是，它们容易受到输入数据不完整和不准确的影响，例如awrangjeb和fraser，这些数据使用非地面激光雷达点，基于共面特征对相似表面进行聚类，并提取建筑物。然而，由于三维点云的不完整性，它存在欠分割问题；(加文献)混合类方法提供了更好的解决方案，因为互补方法的集成有助于克服个别方法的缺点。如lidar点云结合纹理特征、马尔可夫随机场等可在多种复杂环境下有效提取建筑物信息，取得了广泛的应用。
9.不可否认，支持向量机(svm)、随机森林(rf)、深度学习(dl)等机器学习方法为高分影像处理领域提供了突破。深度学习已被广泛用于改进对象提取(如建筑物、道路、树木等)、分类和分割。基于深度学习的建筑物分割方法主要受cnn理论的启发，允许从训练数据中进行自适应特征学习。一般来说，这些方法不需要显式特征设计，可以从大量标记的训练数据中学习高度区分的特征。早期的研究通常通过面片分类框架进行像素分割，其中每个像素的标签与其所属的面片相关联。面片间重叠严重，计算量大，效率低；由于完全卷积网络(fcn)能够高效地执行像素到像素的分类，在语义分割方面表现出了良好的性能,因此它在建筑物分割中变得更加流行，然而建筑物的细节和边界仍然不准确，因为在重复的下采样操作中，细节空间信息丢失，很难恢复。之后，人们提出了几种改进的类fcn模型，并将其应用于建筑物分割。主要改进方向之一是利用对称架构，如segne、u-net和特征金字塔网络(fpn)，以增强用于类别预测的最终特征地图的空间信息。此外，还提出了多尺度特征融合
40.、特征选择、决策森林和模型集成等技术，以进一步提高分割精度。
10.然而，许多地理应用(高精度矢量地图制作、地籍等)需要精确的对象边界，才能生成最终产品的地理信息系统(gis)矢量数据。自动生成高质量的建筑物轮廓依然不是很现实，基于深度学习的建筑物提取方法存在以下技术缺陷：(1)被树木或阴影遮挡的部分建筑识别率较低；(2)不同区域之间的泛化能力较差(3)极小的类内差异导致小部分漏检和误检也可能沿着建筑物边界持续存在；(4)建筑轮廓提取结果锯齿化严重；(5)对于小型建筑物提取效果较差。造成这些问题的原因主要是机器学习方法使用手工制作的特征或邻域信息来获得学习的，而这些特征又是使用可调参数提取的。比如在建筑边界处的线段，这些特征是模糊的，机器学习方法很难提取锐边，结果通常不符合高精度建筑应用的要求，对这些边界应用多边形简化技术很容易生成不准确和不规则的形状，因此后处理工作是不可或缺的一部分。
11.目前，建筑物轮廓正则化方法主要有三类：一是利用图像形态学处理的方法；二是利用点云数据辅助的正则化方法；三是利用图像特征信息的方法。利用图像形态学处理的方法主要基于高分影像建筑物轮廓图像进行形态学处理(腐蚀、膨胀等)，对轮廓进行形态学修正；借助激光点云数据的轮廓正则化方法主要利用点云提供的轮廓高度进行轮廓的正则化，是轮廓正则化的主要研究内容。这类研究方法依赖点云数据，所需的数据覆盖面有限，易使正则化方法受限；利用图像特征信息的轮廓正则化方法，主要是利用建筑物轮廓直
线的走向、拐角点、外接矩形等特征将建筑物轮廓进行重构。此类方法容易造成线段丢失，细节方面没有办法保证。如hough变换容易漏检短边缘、角点被遮蔽或模糊等原因引起的角点匹配和提取错误。
12.通过上述分析，现有技术存在的问题及缺陷为：
13.(1)现有技术建筑物轮廓以及边缘图像识别中，不能保留更多的细节特征，使得获得的图像准确性、规整程度差。
14.(2)现有技术遥感影像识别中，没有利用从训练数据中学习到的丰富特征信息的机会受益于深度学习和数据驱动的启示，不能自动实现建筑物轮廓的正则化。使得获得的建筑物图像特征信息精确度低。


技术实现要素：

15.为克服相关技术中存在的问题，本发明公开实施例提供了一种高分辨率遥感影像轮廓多级正则化方法、系统及应用。
16.所述技术方案如下：一种主方向约束下高分辨率遥感影像轮廓多级正则化方法，包括：
17.s1，对建筑物图像进行分割，获得建筑轮廓，并对获得的建筑轮廓要素进行简化，再利用周长和面积约束去除小部分误检结果；
18.其中，采用形态学操作(如腐蚀、膨胀等)对小部分误检结果(小结构和像素分类噪声)进行去除容易造成建筑细节的损失(如节点畸变和端点内缩)，因为此类方法是以轮廓个体为单位进行整体运算，在去除噪声的同时可能会造成其他建筑物的结构发生改变，对后续的轮廓正则化工作影响是巨大的。因此采取的策略是，利用了建筑物的几何特性，在不改变建筑物信息的前提下利用面积和周长约束对噪声进行滤除；
19.s2，基于主方向构建符合建筑物形状的最优外接矩形，联合hausdorff距离算法对轮廓进行初次正则化处理；
20.其中，本发明提出了一种确定任意的建筑方向的方法，称之为投票-旋转卡尺算法。该算法首先使用投票方案确定建筑物主方向的大致信息，对检索到的方向进行聚类过滤出错误线段和其他方向的线段进一步提高主方向的准确性，最后通过旋转卡尺算法确定最终的建筑物主方向，该方向对应的外接矩形即为最优外接矩形；
21.s3，利用关键点信息进行分组最小二乘直线拟合，在建筑物主方向约束下利用感知编组算法进行各个线段的连接与重构；
22.其中，为了将所有的建筑边界信息纳入到正则化中，本发明使用了关键点而没有使用角点对直线进行拟合，其中关键点信息是基于s1步骤中建筑轮廓简化得到的线段集的各个端点，角点则采用了灰度变化拟合得到的结果，使用关键点信息提高了边界的的准确性；
23.s4，利用图搜索算法进行高分影像中所有建筑物轮廓的正则化。
24.在步骤s1中，对获得的建筑轮廓要素进行简化中采用道格拉斯-普克算法进行建筑轮廓要素简化压缩，首先按顶点的顺序将相邻的三个固定顶点组成一系列三元组，然后顺次取一个三元组进行处理；依次按一定顺序取建筑轮廓上连续的三个点(按顺时针或者逆时针的顺序依次取出建筑轮廓上连续的三个点)，计算顶点到其余两点连线的垂直距离
d，并将d与设置的阈值d
δ
比较；若垂直距离d小于给定的阈值d
δ
时，则去掉顶点；反之，则保留；直至所有的三元组处理完毕为止。
25.其中，阈值d
δ
是基于影像分辨率和保留细节特征的多少设定的，实验中影像分辨率为0.3m，阈值为0.5m。给出以下实验参数，见表1。
26.表1
[0027][0028]
在步骤s2中，基于主方向构建符合建筑物形状的最优外接矩形，联合hausdorff距离算法对轮廓进行初次正则化处理，具体包括以下步骤：
[0029]
结合形状特征和边缘特征用以确定建筑物主方向和外接矩形，利用轮廓边界的方向直方图求出建筑物的主方向，在主方向约束下利用投票-旋转卡尺算法求出主方向的具体值和对应的局部最优外接矩形，用最优外接矩形代替小型建筑的轮廓，对大型建筑采用最优外接矩形联合hausdorff距离算法进行部分轮廓正则化处理。
[0030]
在一个实施例中，所述投票-旋转卡尺算法包括：先使用投票方案确定建筑物主方向的信息，对检索到的方向进行聚类过滤出其他方向的线段，最后通过旋转卡尺算法确定最终的建筑物主方向，具体包括以下步骤：
[0031]
(1)基于线段特征的初步方位估计：
[0032]
对投票方案创建二维累加器阵列：行数nm等于每条线段在轮廓中所占长度的权重|w|；列数nangle对应于角度值空间离散化的步长da；该累加器阵列表示轮廓中各个线段对应角度的离散空间；在处理所有线段后，累加器阵列中的峰值对应于主方向的大致角度值am；设建筑物轮廓的拟合多边形所组成的直线段集合为l＝{l1，l2，
…
，ln}，计算每条直线段与水平方向的夹角，记为a＝{a1，a2，
…
，an}，n为单个建筑物轮廓的拟合多边形的边数，则ai∈[0，180)；以每条线段的长度为权重、间隔10
°
对角度值空间进行离散化，阵列中的峰值为角度值am为建筑物方向；
[0033]
(2)角度约束剔除无关线段：
[0034]
出于稳定性原因，对检索到的线段进行方向聚类使得一个簇中的所有角值差不超过预定义阈值，通过对聚类中包含的角值求平均来计算得到的主方向角度a
main
；设角度阈值tha为5
°
，则主轴向线段为pl＝{pli||a
i-am|＜tha}，i为am±
tha(am±5°
)的线段集，去除无关线段，以每条线段的长度为权重，计算pl角度的加权平均值，即：
[0035][0036]
(3)通过旋转卡尺算法确定最优外接矩形及主方向：
[0037]
在角度为[a
main-da，a
main
+da]内以1
°
为旋转步长，求出各旋转角度下建筑物轮廓的外接矩形，以面积最小的外接矩形作为最优外接矩形，建筑物主方向为该矩形长边对应的角度值。角度值空间离散化的步长为da。
[0038]
在一个实施例中，对大型建筑采用最优外接矩形联合hausdorff距离算法进行部分轮廓正则化处理，具体包括以下步骤：
[0039]
(i)对建筑物轮廓拟合多边形构成的线段集合分别进行等分：设建筑物轮廓拟合多边形的线段集合为l＝{l1,l2，...，l
t
}，其各线段等分后的点集为ai＝{a1,a2,...，am}，其中i＝1，2，...，t；最优拟合外接矩形的四条边作为线段集为b＝{b1,b2,b3,b4}；
[0040]
(ii)设阈值为h：首先计算li第一个点a1到最优拟合外接矩形四条边的欧式距离，保留满足阈值条件的矩形边，并依次计算li上所有等分点ai＝{a1,a2,am}到满足阈值h的矩形边的距离di＝{d1，d2，
…
，dm}，其中i＝1，2，...，t；该线段中存在等分点不满足阈值条件，则该线段和对应的矩形边不匹配；
[0041]
(iii)若该线段到最优外接矩形的一条边的距离都满足阈值条件，即h(a，b)＜h，建筑物拟合多边形中的该线段和最优外接矩形的部分轮廓接近，因此将建筑物轮廓拟合多边形的线段坐标替换为外接矩形对应的坐标；若h(a，b)＞h，建筑物拟合多边形中的该线段和最优外接矩形的部分轮廓相差大，建筑物轮廓拟合多边形的该线段点的坐标保持不变。其中，h(a，b)为从a集合(建筑物轮廓)到b集合(最优拟合外接矩形)单向hausdorff距离。
[0042]
步骤s3中，所述感知编组算法包括以下步骤：
[0043]
(1)利用主方向约束剔除错误线段；
[0044]
(2)利用邻近性约束进行线段跟踪：计算直线段li的一个终点qi与其余线段起点的最短距离dti，将上述距离按照从大到小的顺序排列，将距离最小的线段lm的起点pm作为其匹配点；其中，最短距离是一个数值，距离按照数值大小排序；
[0045]
线段li与lm建立线段链后；寻找与线段lm有连接关系的另一线段，重复此过程，直到所有线段端点被连接；
[0046]
(3)直线编组：通过步骤(1)使得与建筑物主方向垂直和平行以及较长的线段得以保留，步骤(2)构建的线段链使各线段建立关系；根据线段信息以将相邻间线段分为相交和相离两种关系；设夹角阈值为ta，当两线段间夹角小于阈值ta时，两线段为平行关系；当两线段间夹角大于阈值ta时，两线段为相交关系；对于相交线段，利用线段所在的直线公式求出两线段的交点代替两线段连接的部分；设一线段端点坐标a(x1，y1)，b(x2，y2)，另一线段端点坐标c(x3，y3)，d(x4，y4)，则直线方程为：
[0047]
a1x+b1y+c1＝0
[0048]
a2x+b2y+c2＝0其中a1＝y
2-y1，b1＝x
1-x2，c1＝x2y
1-x1y2，a2＝y
4-y3，b2＝x
4-x3，c2＝x4y
3-x3y4；
[0049]
联立方程组得：
[0050][0051][0052]
对于相离的直线段，利用距离约束判断两线段是否在同一条直线上；设距离阈值为td，当两条线段的邻近端点的欧式距离小于阈值td时，则两线段近似在同一直线上，将两条线段合并成一条线段；
[0053]
当距离大于阈值td时，则两线段不在同一条直线上，利用一条线段的角度值和端
点坐标构建垂直线段，设线段l1所邻近l2的端点为m(xm，ym)，l1和l2所在的直线方程为：
[0054]
a3x+b3y+c3＝0
[0055]
a4x+b4y+c4＝0
[0056]
则过点m并与l1垂直的线段方程为：
[0057]
b3x-a3y+(a3y
m-b3xm)＝0；
[0058]
由上述公式得垂直线段另一端点坐标为：
[0059][0060][0061]
本发明的另一目的在于提供一种实现所述主方向约束下高分辨率遥感影像轮廓多级正则化方法的主方向约束下高分辨率遥感影像轮廓多级正则化系统，该系统包括：
[0062]
建筑轮廓要素简化模块，用于对建筑物进行分割获得建筑轮廓，并对获得的建筑轮廓要素进行简化，再利用周长和面积约束去除小部分误检结果；
[0063]
初次正则化处理模块，用于基于主方向构建符合建筑物形状的最优外接矩形，联合hausdorff距离算法对轮廓进行初次正则化处理；
[0064]
线段的连接与重构模块，用于利用关键点信息进行分组最小二乘直线拟合，在建筑物主方向约束下利用感知编组算法进行各个线段的连接与重构；
[0065]
建筑物轮廓正则化模块，用于利用图搜索算法进行高分影像中所有建筑物轮廓的正则化。
[0066]
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述主方向约束下高分辨率遥感影像轮廓多级正则化方法。
[0067]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述主方向约束下高分辨率遥感影像轮廓多级正则化方法。
[0068]
本发明的另一目的在于提供一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述主方向约束下高分辨率遥感影像轮廓多级正则化方法。
[0069]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0070]
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果，具体描述如下：
[0071]
建筑物边界正则化是建筑物提取的一个重要后处理步骤。针对经典的边界正则化方法(如最小外接矩形法和角点拟合法)无法适用于高分辨率遥感影像形状复杂的建筑区域，本发明通过集成区域和边缘，提出了一种符合建筑物主方向的正则化多级处理方法。首先，根据分割结果获得近似建筑区域，提出了一种任意复杂建筑物主方向的确定方法；其次，基于主方向构建符合建筑物形状的最优外接矩形，联合hausdorff距离算法对轮廓进行初次正则化处理；第三，然后利用关键点信息进行分组最小二乘直线拟合，在建筑物主方向约束下利用感知编组算法进行各个线段的连接与重构；最后，利用图搜索算法实现高分影
像中所有建筑物轮廓的正则化。通过对多幅遥感影像进行实验对比分析，本方法建筑物边缘的准确性、规整程度得到有效改善，即使是复杂的建筑轮廓依然可以保留更多的细节特征，验证了本发明方法的适用性和鲁棒性。
[0072]
第二、把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
[0073]
本发明旨在提供一种从单一的高分辨率遥感影像中实现自动化后处理的替代方案。基于手工特征和规则的正则化方法忽略了利用从训练数据中学习到的丰富特征信息的机会受益于深度学习和数据驱动的启发，本发明可以开发一种联合深度学习和轮廓信息的方法来自动模拟建筑物形状分布情况。在本发明中，本发明将建筑物提取问题分为两个连续步骤：建筑物分割和轮廓正则化。为了更好地保持建筑物分割精度，应选用先进的分割网络进行建筑物分割，从分割结果中获得初始建筑物形状(即多边形)，最后以数据驱动和先验知识相结合的方式自动实现建筑物轮廓的正则化。
[0074]
第三、作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
[0075]
(1)本发明的技术方案转化后的预期收益和商业价值为：本发明可以得到高精度的建筑物轮廓，不仅克服了一般建筑物检测锯齿化严重和错分漏分的情况，而且保留了建筑物原有的细节特征，为三维城市建模、城市规划、环境管理、变化检测、地图制作和更新等行业提供高精度的建筑物分布情况和数据支持。
[0076]
(2)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明提出的“投票-旋转卡尺算法”，可以自动确定任意复杂建筑物的主导方向方法，弥补了复杂建筑物主方向难以确定的问题，使本发明提出的方法更加具有鲁棒性和实用性，为本文后续正则化中错误线段的剔除提供了重要技术支撑；直线编组算法加入了多个约束参数解决了复杂轮廓线段的连接错乱和线段解算难的问题。
附图说明
[0077]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；
[0078]
图1是本发明实施例提供的主方向约束下高分辨率遥感影像轮廓多级正则化方法流程图；
[0079]
图2是本发明实施例提供的建筑物轮廓正则化流程图；
[0080]
图3(a)是本发明实施例提供的dp算法简化建筑物轮廓效果对比中分割结果图以及建筑边界关键点图；
[0081]
图3(b)是本发明实施例提供的dp算法简化建筑物轮廓效果对比中dp算法简化效果图；
[0082]
图4(a)是本发明实施例提供的初步方位估计中分割影像图；
[0083]
图4(b)是本发明实施例提供的初步方位估计中边界线段方向直方图；
[0084]
图5是本发明实施例提供的最优外接矩形的确定图；
[0085]
图6(a)是本发明实施例提供的基于hausdorff距离算法的轮廓正则化原理中线段集合等分图；
[0086]
图6(b)是本发明实施例提供的基于hausdorff距离算法的轮廓正则化原理中相似
性计算图；
[0087]
图6(c)是本发明实施例提供的基于hausdorff距离算法的轮廓正则化原理中正则化结果图；
[0088]
图7(a)是本发明实施例提供的基于最优外接矩形的轮廓正则化中各个建筑的最优外接矩形给出了建筑物最优外接矩形的最终结果图；
[0089]
图7(b)是本发明实施例提供的基于最优外接矩形的轮廓正则化中通过最优外接矩形进行轮廓正则化的结果图；
[0090]
图8是本发明实施例提供的拐角信息不准确示意图；
[0091]
图9(a)是本发明实施例提供的直线段估计结果中未处理轮廓信息图；
[0092]
图9(b)是本发明实施例提供的关键点信息图；
[0093]
图9(c)是本发明实施例提供的直线拟合结果图；
[0094]
图10(a)是本发明实施例提供的线段关系中邻近性约束图；
[0095]
图10(b)是本发明实施例提供的线段关系中主方向约束图；
[0096]
图10(c)是本发明实施例提供的线段关系中夹角约束图；
[0097]
图10(d)是本发明实施例提供的线段关系中侧向距离约束图；
[0098]
图11(a)是本发明实施例提供的直线段的感知编组中分割结果图；
[0099]
图11(b)是本发明实施例提供的直线段的感知编组中线段拟合结果图；
[0100]
图11(c)是本发明实施例提供的直线段的感知编组中线段剔除图；
[0101]
图11(d)是本发明实施例提供的直线段的感知编组中感知编组结果图；
[0102]
图12是本发明实施例提供的主方向约束下高分辨率遥感影像轮廓多级正则化系统示意图；
[0103]
图13(a)是本发明实施例提供的影像#1正则化效果对比中建筑物检测结果；
[0104]
图13(b)是本发明实施例提供的影像#1正则化效果对比中arcgis pro正则化结果；
[0105]
图13(c)是本发明实施例提供的影像#1正则化效果对比中最小外接矩形正则化结果；
[0106]
图13(d)是本发明实施例提供的影像#1正则化效果对比中角点检测正则化结果；
[0107]
图13(e)是本发明实施例提供的影像#1正则化效果对比中本发明正则化结果图；
[0108]
图14(a)是本发明实施例提供的影像#2正则化效果对比中建筑物检测结果；
[0109]
图14(b)是本发明实施例提供的影像#2正则化效果对比中arcgis pro正则化结果；
[0110]
图14(c)是本发明实施例提供的影像#2正则化效果对比中最小外接矩形正则化结果；
[0111]
图14(d)是本发明实施例提供的影像#2正则化效果对比中角点检测正则化结果；
[0112]
图14(e)是本发明实施例提供的影像#2正则化效果对比中本发明正则化结果图；
[0113]
图15(a)是本发明实施例提供的影像#5正则化效果对比中建筑物检测结果；
[0114]
图15(b)是本发明实施例提供的影像#3正则化效果对比中arcgis pro正则化结果；
[0115]
图15(c)是本发明实施例提供的影像#3正则化效果对比中最小外接矩形正则化结
果；
[0116]
图15(d)是本发明实施例提供的影像#3正则化效果对比中角点检测正则化结果；
[0117]
图15(e)是本发明实施例提供的影像#3正则化效果对比中本发明正则化结果图。
[0118]
图中：1、建筑轮廓要素简化模块；2、初次正则化处理模块；3、线段的连接与重构模块；4、建筑物轮廓正则化模块。
具体实施方式
[0119]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0120]
一、解释说明实施例：
[0121]
如图1所示，本发明实施例提供一种主方向约束下高分辨率遥感影像轮廓多级正则化方法包括：
[0122]
s101，对建筑物图像进行分割获得建筑轮廓，并对获得的建筑轮廓要素进行简化，再利用周长和面积约束去除小部分误检结果；
[0123]
s102，基于主方向构建符合建筑物形状的最优外接矩形，联合hausdorff距离算法对轮廓进行初次正则化处理；
[0124]
s103，利用关键点信息进行分组最小二乘直线拟合，在建筑物主方向约束下利用感知编组算法进行各个线段的连接与重构；
[0125]
s104，利用图搜索算法进行高分影像中所有建筑物轮廓的正则化。
[0126]
示例性的，在步骤s101中，对获得的建筑轮廓要素进行简化中采用道格拉斯-普克(douglas-peucker，dp)算法进行建筑轮廓要素简化压缩具体包括以下步骤：
[0127]
在对获得的建筑轮廓要素进行简化实施过程中，首先按顶点的顺序将相邻的三个固定顶点组成一系列三元组，然后顺次取一个三元组进行处理：依次按一定顺序取建筑轮廓上连续的三个点，计算顶点到其余两点连线的垂直距离d，并将d与设置的阈值d
δ
比较；若垂直距离d小于给定的阈值d
δ
时，则去掉顶点；反之，则保留；直至所有的三元组处理完毕为止；
[0128]
在建筑轮廓优化过程中，每次迭代都对建筑轮廓进行简化，直到得到最优结果。
[0129]
二、下面结合具体原理分析对本发明的技术方案作进一步描述：
[0130]
实施例1
[0131]
1.建筑物轮廓的正则化方法
[0132]
关于建筑物提取方法的文献强调，大多数现有检测方法都侧重于提高建筑物提取精度上，然而由于光学影像易受噪声、光照及反射率等因素的影响，可能导致影像本身的建筑边界就很模糊，因此本发明认为一味的提高建筑物提取精度很难达到理想的提取效果。鉴于此，本发明提出了一种基于图论的处理方法，将影像分割技术与轮廓特征相结合，充分利用二者的优点，然后引入感知编组的思想将一些先验知识加入到建筑物正则化中，以实现建筑物轮廓信息的准确提取。本发明研究的主要内容是建筑物提取的后处理工作，研究目标是假设边界为直线、拐角为直角的建筑。
[0133]
拟议方法是一种分层正则化方法，逐步解决从简单到复杂的轮廓正则化问题。工作流程如图2所示。预处理：首先，利用现有的方法对建筑物进行分割获得近似建筑轮廓，为了减少冗余轮廓点的干扰，提高算法的效率，采用了dp(douglas
–
peucker)算法对轮廓要素进行简化，之后利用周长和面积约束去除小部分误检结果；其次，结合形状特征和边缘特征用以确定类型复杂的建筑物主方向和外接矩形，利用轮廓边界的方向直方图求出建筑物的大致主方向，在近似主方向约束下利用旋转卡尺算法求出主方向的具体值和对应的局部最优外接矩形(以下简称最优外接矩形)，用最优外接矩形代替小型建筑的轮廓，对大型建筑采用最优外接矩形联合hausdorff距离算法进行部分轮廓正则化处理；第三，利用角度约束对建筑边界的关键点进行分组，为了提高建筑边界的精度，采用最小二乘法进行直线拟合并依据关键点信息进行直线段估计，基于主方向进行干扰的线段剔除，引入感知编组的思想进行直线段的连接与重构；最后，采用图搜索算法实现整幅图像的建筑物轮廓正则化。
[0134]
1.1基于dp算法的多边形简化
[0135]
为了减少建筑物周围其他地物的干扰，本发明以单个建筑物为处理目标进行轮廓正则化。根据图论方法，提取的轮廓可以简化为一系列点，这些点可以由输入点集中的点表示，提取的轮廓随后被正则化并划分为线段，以获得规则的多边形建筑边界。从建筑物的点集生成直线建筑物轮廓通常分三步进行，首先确定构成建筑轮廓的边界边缘，然后从边缘追踪一系列点，以定义建筑边界。最后，根据点序列生成线，并进行调整以形成规则的建筑轮廓。
[0136]
为了去除小结构和像素分类噪声，利用建筑物的几何特性，对分割结果进行了面积和周长约束进行处理，然后对过滤后的概率图进行二值化，通过跟踪二值图中封闭区域的轮廓提取建筑边界。轮廓基本上是包含冗余顶点的像素序列，删除直线段上的中间点可以在不丢失任何几何细节的情况下减少序列的长度，但此原始多边形仍保留远多于表示建筑所需的顶点。本发明采用了经典的dp(douglas
–
peucker)算法进行建筑轮廓要素简化压缩。在轮廓正则化过程中，每次迭代都会对轮廓进行简化，直到得到最优结果，建筑边界冗余点去除效果如图3(a)dp算法简化建筑物轮廓效果对比中分割结果图和建筑边界关键点图；如图3(b)dp算法简化建筑物轮廓效果对比中dp算法简化效果图。
[0137]
1.2基于矩形准则的轮廓正则化方法
[0138]
现实生活中的建筑物是比较有规律的人造工程产物，虽然建筑风格和外形千差万别，但是对于建筑物的轮廓特征而言，建筑物的边界轮廓大多是棱角分明，其中以矩形居多，此外还包括l形、t形、h形、e形、u形等等，这些形状均可分解为简单的矩形(无须是严格意义上的矩形)的叠加，主要表现为垂直或平行的关系。一些假设包括矩形标准和主方向约束经常用于轮廓简化和正则化。高贤君等人根据外接矩形与建筑边界的相似程度进行建筑轮廓的初步正则化，对于相差很大的轮廓通过分组后角点进行边界的连接。andrea kovacs和tamas sziranyi使用方向直方图方法确定了建筑物两个主要的方向，所有边界点通过直线连接，每条直线被调整为这两个方向中的一个。zhang、yan和chen基于正交段总数高于建筑边界中斜段总数的假设，估计了主方向，应用四个操作，拆分、合并、相交和删除，将线段与主方向对齐。sampath和shan修改了凸包算法，从原始点云数据追踪建筑边界，并确定主方向，使用分层最小二乘法进行正则化，正则化质量取决于激光雷达数据的点密度。
[0139]
由于建筑物在各种应用中越来越复杂，这些假设可能并不完全适用于复杂建筑物
(如建筑拐角较多或存在两个以上方向的建筑)。基于此，本发明充分考虑了建筑物的局部特征和区域特征，提出了一种符合任意建筑主方向的最优外接矩形的确定方法，通过此矩形实现建筑轮廓的初次正则化。
[0140]
1.2.1基于主方向的最优外接矩形确定方法
[0141]
建筑形状和其他人造物体通常具有某些几何规律，主要表现为垂直或平行。然而，在现实中，并不是所有的建筑都是用这种几何规律建造的。在给定轮廓的情况下，到轮廓的走向，确定可能任意的建筑方向被大多数所认同，因此依据建筑方向进行正则化是建筑提取过程中的一个很不错的策略。确定可能任意的建筑方向是困难的，尤其是存在多个方向的建筑物。
[0142]
本发明提出了一种确定任意的建筑方向的方法，称之为投票-旋转卡尺算法。该算法首先使用投票方案确定建筑物主方向的大致信息，对检索到的方向进行聚类过滤出其他方向的线段进一步提高主方向的准确性，最后通过旋转卡尺算法确定最终的建筑物主方向。
[0143]
对于投票方案，创建了二维累加器阵列。行数nm等于每条线段在轮廓中所占长度的权重|w|。列数nangle对应于角度值空间离散化的步长da。该累加器阵列表示轮廓中各个线段对应角度的离散空间。在处理所有线段之后，累加器阵列中的峰值对应于主方向的大致角度值。出于稳定性原因，对检索到的线段进行方向聚类使得一个簇中的所有角值差不超过预定义阈值，通过对聚类中包含的角值求平均来计算得到的主方向角度。具体实施步骤如下：
[0144]
(1)基于线段特征的初步方位估计。如图4(a)初步方位估计中分割影像图；图4(b)初步方位估计中边界线段方向直方图；
[0145]
对投票方案创建二维累加器阵列：行数nm等于每条线段在轮廓中所占长度的权重|w|；列数nangle对应于角度值空间离散化的步长da；该累加器阵列表示轮廓中各个线段对应角度的离散空间；在处理所有线段后，累加器阵列中的峰值对应于主方向的大致角度值am；
[0146]
设建筑物轮廓的拟合多边形所组成的直线段集合为l＝{l1，l2，
…
，ln}，计算每条直线段与水平方向的夹角，记为a＝{a1，a2，
…
，an}，n为单个建筑物轮廓的拟合多边形的边数，则ai∈[0，180)；以每条线段的长度为权重、间隔10
°
对角度值空间进行离散化，阵列中的峰值为角度值am为建筑物方向；
[0147]
(2)角度约束剔除无关线段。由于直线段的角度值直接影响后续的拟合效果，为提高拟合准确率，需要再次确认主轴向的角度值。出于稳定性原因，对检索到的线段进行方向聚类使得一个簇中的所有角值差不超过预定义阈值，通过对聚类中包含的角值求平均来计算得到的主方向角度a
main
；设角度阈值tha为5
°
，则主轴向线段为pl＝{pli||a
i-am|＜tha}，i为am±
tha(am±5°
)的线段集，去除无关线段，以每条线段的长度为权重，计算pl角度的加权平均值，即：
[0148][0149]
(3)旋转卡尺算法确定最优外接矩形及主方向。在角度为[a
main-da，a
main
+da]内以1
°
为旋转步长，求出各旋转角度下建筑物轮廓的外接矩形，以面积最小的外接矩形作为最
优外接矩形，建筑物主方向为该矩形长边对应的角度值。角度值空间离散化的步长为da。如图5最优外接矩形的确定图所示。
[0150]
1.2.2基于最优外接矩形的轮廓正则化方法
[0151]
通过分析建筑物的特征，小型建筑一般设计为简单的矩形形状，被遮挡之后很容易失去建筑物原有的特征。本发明利用周长和面积作为约束条件，将小型建筑利用最优外接矩形代替原有的建筑轮廓；对大型的建筑物，本发明引入了hausdorff距离算法，以多边形简化的轮廓与最优拟合外接矩形的单向hausdorff距离作为评判拟合轮廓是否合适的标准。
[0152]
利用hausdorff距离算法的思想，将建筑物轮廓拟合多边形进行等分，通过计算多边形上的各个等分点与最优拟合外接矩形的单向hausdorff距离判断该线段是否用外接矩形的坐标点代替原有的线段，最终形成初步的建筑物初步正则化结果。为了简化计算流程和提高效率，本发明引用了点到直线的距离公式代替逐点搜索的方法，具体步骤如下：
[0153]
(i)对建筑物轮廓拟合多边形构成的线段集合分别进行等分。设建筑物轮廓拟合多边形的线段集合为l＝{l1,l2，...，l
t
}，其各线段等分后的点集为ai＝{a1,a2,
…
，am}，其中i＝1，2，
…
，t；最优拟合外接矩形的四条边作为线段集b＝{b1,b2,b3,b4}。
[0154]
(ii)设阈值为h。以建筑物轮廓拟合多边形的线段li为例，首先计算li第一个点a1到最优拟合外接矩形四条边的欧式距离，保留满足阈值条件的矩形边，并依次计算li上所有等分点ai＝{a1,a2,...，am}到满足阈值h的矩形边的距离di＝{d1，d2，
…
，dm}，其中i＝1，2，...，t。假设该线段中存在等分点不满足阈值条件，则说明该线段和对应的矩形边不匹配。
[0155]
(iii)若该线段到最优外接矩形的一条边的距离都满足阈值条件，即h(a，b)＜h，说明建筑物拟合多边形中的该线段和最优外接矩形的部分轮廓非常接近，因此可以将建筑物轮廓拟合多边形的线段坐标替换为外接矩形对应的坐标；同理，若h(a，b)＞h，说明建筑物拟合多边形中的该线段和最优外接矩形的部分轮廓相差很大，建筑物轮廓拟合多边形的该线段点的坐标保持不变。其中，h(a，b)为从a集合(建筑物轮廓)到b集合(最优拟合外接矩形)单向hausdorff距离。
[0156]
如图6(a)基于hausdorff距离算法的轮廓正则化原理中线段集合等分图；图6(b)基于hausdorff距离算法的轮廓正则化原理中相似性计算图；图6(c)基于hausdorff距离算法的轮廓正则化原理中正则化结果图。
[0157]
如图7(a)基于最优外接矩形的轮廓正则化中各个建筑的最优外接矩形给出了建筑物最优外接矩形的最终结果，如图7(b)基于最优外接矩形的轮廓正则化中通过最优外接矩形进行轮廓正则化的结果图。可以获取简单小型建筑通过最优外接矩形正则化结果，以及复杂建筑物通过最优外接矩形与hausdorff距离正则化的部分轮廓。可以看出最优外接矩形代替原有的小型简单建筑既去除了遮挡造成的影响，形状也变成了规则的矩形结构；对于复杂建筑物来说，大部分外轮廓的边缘也得到了有效规整，但对于凹陷的轮廓部分，正则化后仍存在锯齿状、轮廓不规则的问题。因此，必须采取其他策略进行凹陷轮廓的规整。
[0158]
1.3基于感知编组的轮廓正则化方法
[0159]
由于未处理的轮廓区域存在明显的边界特征，本发明考虑从边界信息入手完成后续的正则化工作。直线检测和角点检测已经被普遍应用于建筑物提取和正则化中。基于直
线边缘检测的方法在利用边缘检测算法得到边缘点后，结合直线检测方法(hough变换、radon变换等)获取直线边缘，再通过连接及其他手段得到建筑物轮廓，但该方法容易漏检短边缘，且易受噪声、阴影和墙面等因素的干扰，当建筑物变得复杂时，直线间的连接与解算会变得困难；基于角点检测的方法是依据影像上建筑物具有的较为明显的角点特征进行的检测和匹配，其缺点在于房屋的整体几何约束信息及直线边缘没有充分利用，复杂场景下角点阈值选取难以满足每个建筑物的情况，某些角点被遮蔽或模糊等原因引起的角点匹配和提取的错误可能导致整个提取的失败。
[0160]
为了将更多的边界信息纳入到正则化工作中去，本发明利用轮廓简化多边形的关键点代替角点，为解决直接连接关键点容易使小转角的细节丢失和线段间连接解算难的问题，提出了一种利用关键点、直线拟合和感知编组相结合的方法进行后续的正则化工作。提取轮廓的正则化遵循基于直线段的数据驱动方法，直线段是利用关键点信息并基于最小二乘直线拟合后进行估计形成的。通过跟踪算法将估计的直线段形成树结构，基于建筑主方向和感知编组的思想调整线段的交点，最终生成规则的建筑边界。
[0161]
1.3.1基于分组最小二乘的直线段估计方法
[0162]
如图9拐角信息不准确所示，为了消除拐角处边界提取不准确对正则化过程的影响，本发明采取的策略先将大致在同一条直线的点进行分组，并提出分层最小二乘法进行直线段估计，具体步骤如下
[0163]
(1)利用角度约束进行关键点分组。将给定角度阈值范围内的关键点分类为一组。设角度阈值为a
δ
，以p1点为例，计算p1点与相邻两点(p0，p2)的夹角θ1，夹角θ1的计算公式为：
[0164][0165]
若满足|180-θ1|＜a
δ
，则说明p1点与p0，p2有可能在同一条直线上；当计算到pi与点(p0，p
i+1
)的夹角θi时，若其角度值不满足条件|180-θi|＜a
δ
时，说明pi与p0，p
i+1
不在同一条直线上，将p0～pi分为一组，同时以p
i+1
点开始重新计算未处理的角点，重复此过程，直到所有的点处理完为止。
[0166]
(2)基于最小二乘法的直线拟合及线段估计。建筑边界的关键点根据其形成的角度信息分为若干组{ps1，ps2，...，psn}，对于每组关键点，利用最小二乘法形成以下方程
[0167]
yj＝kixj+bi，i＝1，2，...，n；＝j(i)＝1，2，...，m；
ꢀꢀ
(2)
[0168]
其中，n是关键点组数，m是每组关键点的个数。
[0169]
以首尾关键点c1和cm与拟合直线的垂足作为拟合直线段代替原有的建筑边界，设关键点c1在拟合直线上的垂足点为p1(x，y)，由拟合直线方程(1)可知过点c1的垂线方程为：
[0170][0171]
联立方程组得
[0172][0173][0174]
如图10(a)直线段估计结果中未处理轮廓信息图；直线为最优外接矩形正则化的
部分轮廓，未处理轮廓的关键点分组后如图10(b)关键点信息图；图10(c)直线拟合结果，即利用分组最小二乘法形成的建筑物边界的基本框架。
[0175]
1.3.2基于感知编组的直线段处理方法
[0176]
采用最优外接矩形法和最小二乘法拟合的建筑物轮廓后，得到了由建筑物轮廓边缘组成的直线段的集合，这些直线段主要还有以下问题待解决：线段断裂、过度连接、交叠、轮廓错误等问题，为此，本发明引入了感知编组的思想解决此类问题。另外，需要考虑的是，在正则化调整中，一些近似垂直或平行于主方向和较长的线段应具有较高的权重，因此，在后续的直线段重构过程中没有强制执行约束。通过这种方式，建筑物的线段可以适当约束到其主方向，并具有自适应边界的灵活性。
[0177]
感知编组的原理是依据目标特征为提取的底层特征建立一个模型约束，接着验证依照模型是否能将底层特征编组，以及编组后的模型是否能满足其他的约束条件，从而确定是否检测到了目标。根据感知编组的思想，可以将本算法分为两部分：
①
计算直线段的几何特征；
②
利用直线段之间几何关系建立更大的几何结构。具体步骤如下：
[0178]
(1)利用主方向约束剔除错误线段。由于部分遮挡或者图像模糊等原因常常使建筑物的拐角处提取结果不是一个直角，为了充分保留建筑物的直角特性，利用建筑物主方向与各线段之间的夹角关系和线段长度作为约束条件以评判该线段的真实性。如一条线段与建筑物主方向没有平行或垂直的可能，且该线段长度很短，就认为该线段是错误线段。
[0179]
(2)利用邻近性约束进行线段跟踪。为了防止线段间的错误连接，必须保证给定线段的终点(起点)只能与邻边线段的起点(终点)连接，为此可以利用邻近性约束准则构建线段链。以直线段li为例，计算直线段li的一个终点qi与其余线段起点的最短距离dti，将这些距离按照从大到小的顺序排列，将距离最小的线段lm的起点pm作为其匹配点。线段li与lm建立线段链后，同理可寻找与线段lm有连接关系的另一线段，重复此过程，直到所有线段端点被连接。
[0180]
(3)直线编组。通过步骤(1)使得与建筑物主方向垂直和平行以及较长的线段得以保留，步骤(2)构建的线段链使各线段建立了关系。根据线段信息可以将相邻间线段分为相交和相离两种关系。设夹角阈值为ta，当两线段间夹角小于阈值ta时，两线段为平行关系；当两线段间夹角大于阈值ta时，两线段为相交关系。对于相交线段，可以利用线段所在的直线公式求出两线段的交点代替两线段连接的部分。设一线段端点坐标a(x1，y1)，b(x2，y2)，另一线段端点坐标c(x3，y3)，d(x4，y4)，则直线方程为：
[0181]
a1x+b1y+c1＝0
ꢀꢀ
(4)
[0182]
a2x+b2y+c2＝0
ꢀꢀ
(5)
[0183]
其中a1＝y
2-y1，b1＝x
1-x2，c1＝x2y
1-x1y2；
[0184]
a2＝y
4-y3，b2＝x
4-x3，c2＝x4y
3-x3y4；
[0185]
联立方程组得：
[0186][0187][0188]
对于相离的直线段，利用距离约束判断两线段是否在同一条直线上。设距离阈值
为td，当两条线段的邻近端点的欧式距离小于阈值td时，则可认为两线段近似在同一直线上，这时可以将两条线段合并成一条线段；
[0189]
当距离大于阈值td时，则认为两线段不在同一条直线上，此时利用一条线段的角度值和端点坐标构建垂直线段，设线段l1所邻近l2的端点为m(xm，ym)，l1和l2所在的直线方程为：
[0190]
a3x+b3y+c3＝0
ꢀꢀ
(6)
[0191]
a4x+b4y+c4＝0
ꢀꢀ
(7)
[0192]
则过点m并与l1垂直的线段方程为
[0193]
b3x-a3y+(a3y
m-b3xm)＝0
ꢀꢀ
(8)
[0194]
由公式(3)(4)(6)(7)得垂直线段另一端点坐标为
[0195][0196][0197]
其中如图10(a)线段关系中邻近性约束图；图10(b)线段关系中主方向约束图；图10(c)线段关系中夹角约束图；图10(d)线段关系中侧向距离约束图；
[0198]
其中如图11(a)直线段的感知编组中分割结果图；图11(b)直线段的感知编组中线段拟合结果图；图11(c)直线段的感知编组中线段剔除图；图11(d)直线段的感知编组中感知编组结果图；对于剔除的线段部分，利用临近线段的关系进行新线段的构建，利用感知编组的方法使各个线段得到有序连接，不仅消除了轮廓锯齿化、不规则问题，建筑物边界细节也得到了保留。建筑物正则化结果棱角分明，规则程度更高，提高了与真实建筑物形状的一致性。
[0199]
实施例2
[0200]
如图12所示，本发明实施例提供的主方向约束下高分辨率遥感影像轮廓多级正则化系统包括：
[0201]
建筑轮廓要素简化模块1，用于对建筑物进行分割获得建筑轮廓，并对获得的建筑轮廓要素进行简化，再利用周长和面积约束去除小部分误检结果；
[0202]
初次正则化处理模块2，用于基于主方向构建符合建筑物形状的最优外接矩形，联合hausdorff距离算法对轮廓进行初次正则化处理；
[0203]
线段的连接与重构模块3，用于利用关键点信息进行分组最小二乘直线拟合，在建筑物主方向约束下利用感知编组算法进行各个线段的连接与重构；
[0204]
建筑物轮廓正则化模块4，用于利用图搜索算法进行高分影像中所有建筑物轮廓的正则化。
[0205]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0206]
上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0207]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
[0208]
三、应用实施例：
[0209]
应用例
[0210]
本发明实施例还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
[0211]
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
[0212]
本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
[0213]
本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
[0214]
本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
[0215]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。
[0216]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0217]
四、实施例相关效果的证据：
[0218]
实验结果分析
[0219]
本发明选取了whu航空影像数据集进行实验分析。该数据集覆盖新西兰基督城450km2的航空图像，包含8188张512
×
512像素的图像。这些图像涉及从0.075到0.300m的下采样，在图像特征上有很大差异，包括不同的照明和大气、传感器质量、规模和建筑结构。本发明利用u2-net网络语义分割模型检测的建筑物的初始结果。数据集分为一个训练集(4736个图像)、一个测试集(2416个图像)和一个验证集(1036个图像)。该模型使用adam优
化器，其超参数设置为默认值(初始学习率lr＝10-3
，betas＝(0.9,0.999)，eps＝10-8
，权重衰减weight_decay＝0)。
[0220]
为说明本发明方法的有效性和普适性，选中了3幅不同地区不同特点的高分辨率影像，其中包括：住宅区域，建筑物相对较密集，轮廓清晰；建筑物较为密集，建筑物依据道路以群的形式分布，且建筑物部分被遮挡，含有较复杂的建筑物群；图13影像#3中包含形状复杂和大小不一的建筑，密集和稀疏建筑同时存在，且有建筑物被植被遮挡的情况。为了量化正则化前后建筑物轮廓的准确性，本发明选用了评价体系最常用的4项评价指标：正确率(correctness，cr)、完整度(completeness，cm)、综合值(f1)和总体精度(overall accuracy，oa)，从像素的角度对两幅影像的提取结果进行精度评定。
[0221]
本发明选取基于arcgis pro软件正则化工具、基于最小外接矩形方法和基于角点检测方法作为参照方法，与本发明方法的轮廓正则化结果进行对比分析。对影像#1、#2和#3的正则化对比结果如图13、图14和图15所示。
[0222]
如图13(a)影像#1正则化效果对比中建筑物检测结果；图13(b)影像#1正则化效果对比中arcgis pro正则化结果；图13(c)影像#1正则化效果对比中最小外接矩形正则化结果；图13(d)影像#1正则化效果对比中角点检测正则化结果；图13(e)影像#1正则化效果对比中本发明正则化结果图；如图14(a)影像#2正则化效果对比中建筑物检测结果；如图14(b)影像#2正则化效果对比中arcgis pro正则化结果；如图14(c)影像#2正则化效果对比中最小外接矩形正则化结果；如图14(d)影像#2正则化效果对比中角点检测正则化结果；如图14(e)影像#2正则化效果对比中本发明正则化结果图；如图15(a)影像#5正则化效果对比中建筑物检测结果；如图15(b)影像#3正则化效果对比中arcgis pro正则化结果；如图15(c)影像#3正则化效果对比中最小外接矩形正则化结果；如图15(d)影像#3正则化效果对比中角点检测正则化结果；如图15(e)影像#3正则化效果对比中本发明正则化结果图；
[0223]
可以看出，对于分布随机的简单类型建筑物，建筑物信息完整，能被很好地提取出来，并且三种正则化方法都能很好地将边缘锯齿去除，可以得到平滑的建筑物轮廓形状，对于受植被遮挡的建筑物，最小外接矩形方法和本发明方法都可以还原原本的建筑物形状，但对于小型建筑来说，植被遮挡导致建筑物特征缺失严重，本发明采取的策略在存在两个边角信息的情况下很好的还原建筑物的真实形状。由图12可以看出，大型建筑存在很多的拐角信息，细节信息对于普通建筑来说可以被区分，但相对于该建筑来说非常小，以上方法对于该建筑的规整效果都不是很理想，本发明方法可以在某一线段存在错误但相邻线段正确的情况对该线段进行纠正，因此可以还原部分细节信息。由图15可以看出，当建筑物形状复杂且被遮挡或者被错分导致初始轮廓缺失较多时，本发明方法考虑了全局尺度信息，基于建筑物主方向的正则化可以很好的将错误信息和真实的信息区分开来，正则化效果明显优于其它三种方法。arcgis pro软件由于参数过多，很难满足类型复杂的建筑区，另外建筑物轮廓遮挡部分容易被当作建筑物的原始形状进行规则化。最小外接矩方法对于外层轮廓存在较多弯曲时，容易造成一定的外扩，且对于凹陷的轮廓不能进行正则化，仍存在锯齿状、轮廓不规则的问题。角点检测方法由于建筑物遮挡或拐点缺失导致的角点选取错误，并且直接连接角点容易使小转角的细节丢失，对于建筑物漏分的部分进行补充的能力较弱。而本发明方法利用感知编组将错误线段剔除出来，根据邻域信息构建新的边界，较好地还原了漏分部分，达到了更好的正则化效果。
[0224]
表2给出了4种正则化方法的精度对比结果，可以看到本发明方法相对于初始检测结果，综合值分别提高了0.67％、1.01％和1.13％，总体精度分别提升了0.65％、1.69％和1.2％。精度对比结果表明，本发明方法能够提升建筑物结果的完整度和规整度。
[0225]
表2建筑物正则化结果精度对比，单位:％
[0226][0227]
总之，针对建筑物提取结果中边界规则性不佳和部分遮挡的问题，本发明提出了一种基于主方向的建筑物轮廓多级正则化方法，首先利用建筑物轮廓信息构建符合建筑主方向的最小外接矩形对轮廓进行初次正则化，其次根据边界直线段的估计结果构建基于先验知识的约束模型，进行直线段的连接与重构，进而对未处理的边界进行正则化处理。通过实验验证，本发明方法在建筑物检测结果基础上对轮廓进行精细正则化处理，保留了建筑物轮廓的细节部分，受遮挡的建筑几何结构在不被破坏的情况下也可以还原，使得建筑物提取结果规则程度更高，提高了与真实建筑物的形状一致性，为目前建筑物提取后处理提供了思路。针对初始检测结果受严重遮挡的问题，未来计划将原始影像的信息(如颜色、纹理特征)加入到正则化工作中。同时，利用本发明的方法对边界轮廓大多为直线的建筑物进行正则化具有较广的适用范围。
[0228]
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。