一种基于点云数据的建筑物立面提取方法

1.本发明涉及建筑物立面的图像算法领域，具体涉及一种基于点云数据的建筑物立面提取方法。


背景技术：

2.建筑物是城市场景中人造物体的主要类型。随着城市规划、智慧城市和建筑信息模型(bim)的不断发展，这些领域对建筑物结构信息及其特征的需求越来越大，要求也越来越高，如何高效和精确获取这些数据以及3d建模所需信息是目前面临的主要问题之一。建筑立面图反应了建筑物表面的几何结构及其特征，不仅能够直接服务于城市旧城改造、城市规划以及智慧城市建设等，还提供了一种简单、灵活的方式来重建大规模3d建筑模型。通过传统测量方法采集建筑立面图成本高昂且效率低下，而三维激光点云提取立面技术以其独有的优势，成为当前建筑物立面提取的热点方法。
3.现有技术中，本案发明人提出了“一种带约束的建筑物立面正射影像图提取方法”（授权公告号cn113256813b），该方法克服了传统技术依赖人工分割与输入的缺陷，能够实现全自动进行点云分割、全自动的从点云中获取平面。然而发明人在大量的深入研究过程中发现，该方法在实际运用过程中还存在如下弊端：（1）通过3d霍夫变换提取立面时无法达到精度和效率的平衡，角度分辨率每提升1倍，算法运算量和内存开销都将变为原来的4倍，这对于大体量点云数据的处理十分不友好；（2）由于步长设置、数据噪声等原因，特征曲线通常并不严格的相交于一个点，因此3d霍夫变换出现峰值模糊问题，导致立面提取存在较大困难；（3）对于建筑物点云数据而言，由于楼栋之间的紧邻特性，存在难以区分邻近和相似立面边界的问题，即容易存在不同建筑物的相似立面被误认为同一个平面的问题。现有技术中还没有相关研究意识到上述弊端的存在，更无从谈起对这些弊端进行解决。


技术实现要素：

4.本发明的目的在于提供一种基于点云数据的建筑物立面提取方法，解决的技术问题包括现有技术中3d霍夫变换用于建筑物立面提取时存在的峰值模糊、立面边界混淆等，实现削弱峰值模糊的影响、有效区分立面边界等目的。
5.本发明通过下述技术方案实现：一种基于点云数据的建筑物立面提取方法，包括：预处理待提取立面的三维点云数据；基于三维点云数据创建3d霍夫变换的计数器，对所述计数器进行3d高通滤波，基于滤波后的计数器得到所有的潜在平面；创建约束条件对所述潜在平面进行立面约束，获得满足约束条件的平面作为潜在立面；对所述潜在立面进行精炼，去除非立面点云；对精炼后的立面进行立面边界标定；
对标定成果再次进行所述立面约束，得到建筑物立面点云。
6.针对现有技术中建筑物立面提取时存在的峰值模糊、立面边界混淆等问题，本发明提出一种基于点云数据的建筑物立面提取方法，本方法首先对待提取立面的三维点云进行预处理，然后引入3d霍夫变换（3d hough transform），创建3d霍夫变换的计数器（accumulator）。
7.本案发明人在研究过程中发现，在3d霍夫变换中，由于笛卡尔坐标系中的一个点对应特征空间中的一条曲线，理论上代表同一条直线上的点对应的特征曲线应该相交于一个点，但由于步长设置、数据噪声等原因，这些线通常并不严格的相交于一个点，即导致计数器峰值模糊现象，这对后续的建筑物立面提取造成了较大困难。为了克服这一问题，本案发明人对创建的计数器进行3d高通滤波，其目的在于去除计数器中的低频部分，以显著削弱峰值模糊对建筑物立面提取的影响。
8.本方法采用3d高通滤波后的计数器完成3d霍夫变换过程，得到潜在平面，然后对各潜在平面进行立面约束，将满足立面约束条件的平面定义为潜在立面；然后对各潜在立面进行精炼，精炼的目的是去除相同立面和伪平面，之后对精炼后的立面进行立面边界标定。
9.对于建筑物点云数据而言，由于现代城市建设中各建筑物及相邻楼栋之间的紧邻特性，存在难以区分邻近和相似立面边界的问题，为了克服这一问题，本方法引入立面边界标定的过程，通过立面边界标定进行立面点云划分，以此保证能够得到具有清晰边界的建筑物立面，保证了对相邻楼栋之间的有效区分。本方法通过立面边界标定，将数学意义上的平面（无明确边界范围）转换为有确定边界的实际建筑物立面，提高了对立面和其他地物点云、临近不同立面点云集合的识别和区分能力，显著提高了建筑物立面提取精度，还能够克服点云数据质量不佳的影响，避免不同立面被错误合并为一个立面。
10.此外发明人还发现，在立面边界标定的过程中，容易因为聚类操作而导致各聚簇点云被分开，即一簇会被分成好几簇，导致前述的立面约束结果失效，所以需要对符合条件的聚簇再次进行立面约束，即是对标定成果再次进行立面约束，以满足立面约束条件的立面作为最终得到的建筑物立面点云。
11.可以看出，本技术不仅能够全自动进行点云分割、全自动的从点云中获取立面，还能够克服现有技术中特征曲线峰值模糊、建筑物立面边界混淆等问题，显著提高了建筑物立面提取的稳定性和准确性。
12.进一步的，预处理待提取立面的三维点云数据的方法包括：剔除三维点云数据中的地面点；将点云平移至坐标原点并进行体素降采样；对体素降采样后的数据做统计离群值去除。
13.由于建筑物的三维点云数据中包含大量高密度的地面点，因此本方案的预处理首先对这类地面点进行剔除；然后为了减小后续运算量，将点云平移至坐标原点并进行体素降采样(voxel down sampling)；最后对降采样后的数据做统计离群值去除(statistical outlier removal)，用以去除噪声点云。
14.进一步的，基于三维点云数据创建3d霍夫变换的计数器的方法包括：通过3d霍夫变换对三维点云数据进行离散，得到集合m、n、q；其中m为参数θ的离散
化集合；n为参数φ的离散化集合；q为参数ρ的离散化集合；θ为点云的平面法向量与z轴的夹角；φ为点云的平面法向量与x轴的夹角；ρ为原点到点云平面的距离；对集合m、n进行偏移计数，得到偏移副本m’、n’；分别创建计数器a、a’：a=m
×n×
q；a
’ꢀ
= m
’×n’×
q。
15.本案发明人在大量的深入研究过程中发现，3d霍夫变换应用于点云平面检测中时，存在的最大挑战是步长的选择，主要表现为离散化步长对提取过程和结果有较大影响：更小的步长通常能获得更高的平面提取精度，但角度分辨率（离散化步长）每提升1倍，算法运算量和内存开销都将变为原来的4倍，这对于大体量的建筑物三维点云数据处理是非常不友好的，即是无法达到精度和效率的平衡。为此，本方案对传统的3d霍夫变换的计数器进行优化，其核心在于通过偏移离散化步长、采用偏移计数的手段，得到偏移副本m’、n
’ꢀ
，从而在常规计数器a之外，得到另一个计数器a’，最终得到的所有潜在平面是根据计数器a、a
’ꢀ
分别进行3d高通滤波后获得的。
16.此种计数器的创建方法，变相提升了角度分辨率、降低了运算量和内存开销，实现了3d霍夫变换应用于建筑物立面提取时精度和效率的平衡，缓解了传统3d霍夫变换算法对步长选择的依赖、使其精度不再受步长选择的限制，显著提高了建筑物立面提取的精确性和鲁棒性。
17.进一步的，所述偏移副本m’、n’的元素偏移量分别为s
θ
/2、s
φ
/2；其中s
θ
为集合m的离散化步长；s
φ
为集合n的离散化步长。
18.即是，m’是集合m中各元素偏移s
θ
/2的副本，n’是集合n中各元素偏移s
φ
/2的副本。此种优选的偏移方式，可以定量的变相提升1倍的角度分辨率，而运算量仅为原来的2倍，且内存开销与原来相同，因此能够最大限度的实现3d霍夫变换应用于建筑物立面提取时精度和效率的平衡。
19.进一步的，基于滤波后的计数器得到所有的潜在平面的方法包括：基于3d霍夫变换的投票机制，分别对滤波后的计数器a、a’投票，得到平面集s和s’；求取s和s’的并集，作为所述潜在平面。
20.其中，投票机制为3d霍夫变换中的现有技术，在此不做赘述。本方案在通过前述步骤得到计数器a、a’后，先对a、a’分别进行3d高通滤波，再通过3d霍夫变换对a、a’分别投票，得到的结果分别为平面集s、s’；求取s和s’的并集s∪s’，即可得到最终所需的潜在平面。
21.进一步的，所述3d高通滤波中：卷积核中心单元格的值为1/2，其余单元格的值按照与中心单元格的距离基于反距离加权法确定；所有单元格的值之和为1。通过此种优选方式设置高通滤波的卷积核，能够充分去除累加器中的低频部分、进而保证对3d霍夫变换中特征曲线峰值模糊现象的明显削弱效果。
22.进一步的，所述立面约束的方法包括：先进行同平面约束、再对同平面约束后的平面进行竖直面约束。
23.所述同平面约束的约束条件包括：对于任意两个平面p1、p2，若满足如下公式，则将p1和p2视为同一平面进行合并：
式中，r
12
为原点分别在平面p1、p2上的垂足之间的距离向量；n1、n 2
分别为平面p1、p2的平面法向量；comprop为求解两平面公共点比例的运算符；α
th
为两平面间的平面二面角；
△dth
为两平面间的距离；cp
th
为两平面间的公共点比例对应的阈值；max为求解极大值运算符；∧为逻辑或运算符；∨为逻辑与运算符；同平面约束的目的是进一步去除由于点云密度过大、算法阈值设置不合适以及峰值模糊现象引起的相同平面和伪平面问题，本方案中的同平面约束条件通过平面二面角、平面距离和公共点比例三个特征确定，相较于现有技术直接计算两平面夹角的方式而言，本方案一方面通过联合平面二面角和平面距离两种约束条件，减少临近的真实平面被错误合并的可能；另一方面，通过增加公共点比例约束，提高了对临近伪平面的识别能力。综上，本方案相比现有技术在同平面约束的准确性上取得较大的进步。
24.所述竖直面约束的约束条件包括：若当前平面满足如下公式，则将其视为立面保留，否则舍弃：；式中，m为当前平面的平面法向量；n为竖直面的平面法向量；α
v,th
为竖直面约束阈值。
25.本技术提取到的平面中不仅包含建筑物立面，也包含很多其他平面。通常情况下，建筑物立面应为竖直面，因此，对同平面约束后的各平面的竖直角进行约束可排除非建筑物立面。本方案的竖直面约束条件。
26.进一步的，对所述潜在立面进行精炼的方法包括：迭代每个潜在立面，使用随机抽样一致算法获取各潜在立面的对应点云；使用hdbscan算法对各潜在立面的对应点云进行聚类，得到若干第一聚簇点云；使用随机抽样一致算法获取若干第一聚簇点云所对应潜在立面的平面方程，将结果作为新的潜在立面；对新的潜在立面进行约束，去除相同立面和伪平面，完成精炼。
27.此外，本案发明人在研究过程中还发现，由于基于3d霍夫变换进行立面提取的精度与步长成正比，考虑到运算量和内存开销，步长通常情况下无法设置得很小，因此立面提取的绝对精度不高，在立面附近的非立面点云（如树木、路灯、车辆等地物点云）容易被误认为立面点云，因此本技术进行立面精炼的作用是尽量去除这些非立面点云。
28.本方案的立面精炼融合了ransac算法（随机抽样一致算法）和hdbscan算法（hierarchical density-based spatial clustering of applications with noise，通用术语，无标准中文翻译，直译为“具有噪声的基于分层密度的聚类算法”），具有受噪声影响小且不存在步长限制等特点，能够在大量潜在立面中提取出高精度立面，克服立面附近非立面点云的干扰。其中在得到新的潜在立面后，再次进行约束，通过设置相应的约束条件来去除相同立面和伪平面。
29.优选的，立面精炼过程中对新的潜在立面进行约束时，其约束条件同样可采用上文记载的“立面约束”的约束条件。
30.进一步的，对精炼后的立面进行立面边界标定的方法包括：
使用hdbscan算法对精炼后的立面点云进行聚类，得到若干第二聚簇点云；对各第二聚簇点云分别使用随机抽样一致算法，提取立面方程和对应的立面点云，并将提取的立面点云的最小包围盒作为立面边界。
31.本技术进行立面边界标定的目的是为了克服两个不共面、但空间位置相邻的立面被视为一个立面的问题。发明人在研究过程中发现，对于空间位置相邻的立面而言，其三维点云数据具有如下特点：建筑物立面内部点云密度通常较高，而立面相互间间隙内点云密度较低，因此这与hdbscan算法的密度聚类思想十分契合，所以本方案引入hdbscan算法、并配合ransac算法（随机抽样一致算法）来克服上述问题。
32.其中hdbscan算法作为一种先进的聚类算法，还没有该算法在立面提取领域内的应用，该算法能够稳健高效地对大规模数据进行基于分层密度的聚类。
33.本方案在使用hdbscan算法对精炼后的立面点云进行聚类后，再采用ransac算法从聚类结果中提取立面方程和对应的立面点云，然后找出提取的立面点云的最小包围盒，以此作为立面边界，提高了对立面和其他地物点云、临近不同立面点云集合的识别和区分能力，更加提高了建筑物立面提取精度，克服了数据质量不佳的影响，避免了不同立面被错误合并为一个立面的错误。
34.本发明与现有技术相比，具有如下的优点和有益效果：1、本发明一种基于点云数据的建筑物立面提取方法，不仅能够全自动进行点云分割、全自动的从点云中获取立面，还能够克服现有技术中计数器峰值模糊、无法平衡精度和效率、且建筑物立面边界混淆等问题，显著提高了建筑物立面提取的鲁棒性和准确性。
35.2、本发明一种基于点云数据的建筑物立面提取方法，采用偏移计数的手段对3d霍夫变换的计数器创建进行优化，变相提升了角度分辨率、降低了运算量和内存开销，实现了3d霍夫变换应用于建筑物立面提取时精度和效率的平衡，缓解了传统3d霍夫变换算法对步长选择的依赖、使其精度不再受步长选择的限制，显著提高了建筑物立面提取的精确性和鲁棒性。
36.3、本发明一种基于点云数据的建筑物立面提取方法，在3d霍夫变换中对创建的计数器进行3d高通滤波，去除计数器中的低频部分以显著削弱峰值模糊对建筑物立面提取的影响。
37.4、本发明一种基于点云数据的建筑物立面提取方法，提出了一种全新的立面精炼过程，克服了立面附近非立面点云的干扰。
38.5、本发明一种基于点云数据的建筑物立面提取方法，通过立面边界标定，将数学意义上的平面（无明确边界范围）转换为有确定边界的实际建筑物立面，提高了对立面和其他地物点云、临近不同立面点云集合的识别和区分能力，显著提高了建筑物立面提取精度，还能够克服点云数据质量不佳的影响，避免不同立面被错误合并为一个立面。
附图说明
39.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：图1为本发明具体实施例的流程示意图；图2为本发明具体实施例中3d高通滤波的卷积核示意图；
图3为本发明具体实施例中选取的点云数据的数据集示意；图4为本发明具体实施例中采用三种不同方法提取立面的效果对比图；图5为本发明具体实施例中的误差对比小提琴图；图6为本发明具体实施例中的误差对比柱状图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
41.实施例1：如图1所示的一种基于点云数据的建筑物立面提取方法，包括以下步骤：预处理待提取立面的三维点云数据；基于三维点云数据创建3d霍夫变换的计数器，对所述计数器进行3d高通滤波，基于滤波后的计数器得到所有的潜在平面；创建约束条件对所述潜在平面进行立面约束，获得满足约束条件的平面作为潜在立面；对所述潜在立面进行精炼，去除非立面点云；对精炼后的立面进行立面边界标定；对标定成果再次进行所述立面约束，得到建筑物立面点云。
42.其中计数器的创建方法为：通过3d霍夫变换对三维点云数据进行离散，得到集合m、n、q；其中m为参数θ的离散化集合；n为参数φ的离散化集合；q为参数ρ的离散化集合；θ为点云的平面法向量与z轴的夹角；φ为点云的平面法向量与x轴的夹角；ρ为原点到点云平面的距离；对集合m、n进行偏移计数，得到偏移副本m’、n’；分别创建计数器a、a’：a=m
×n×
q；a
’ꢀ
= m
’×n’×
q。
43.其中，偏移副本m’、n’的元素偏移量分别为s
θ
/2、s
φ
/2；其中s
θ
为集合m的离散化步长；s
φ
为集合n的离散化步长。
44.其中基于滤波后的计数器得到所有的潜在平面的方法包括：基于3d霍夫变换的投票机制，分别对滤波后的计数器a、a’投票，得到平面集s和s’；求取s和s’的并集，作为所述潜在平面。
45.实施例2：一种基于点云数据的建筑物立面提取方法，主要流程如下：1、点云预处理。
46.由于点云数据中包含大量地面点且密度较高，首先对这些地面点予以剔除。此外，为了减小运算量，将点云平移至坐标原点并进行体素降采样(voxel down sampling)。最后，对降采样后的数据做统计离群值去除(statistical outlier removal)以去除噪声点云。
47.2、通过改进的3d 霍夫变换提取潜在平面
（1）创建计数器与偏移计数在进行3d 霍夫变换平面参数离散化时，ρ按照现有技术离散化为集合q，θ和φ在按照现有技术离散化为集合m{0, s
θ
,2s
θ
,
…
,2π}和n{0, s
φ
,2 s
φ
,
…
,2π}后，再为m、n分别创建一个各元素偏移s
θ
/2、s
φ
/2的副本，定义为偏移副本m’、n’：其中，θ为点云的平面法向量与z轴的夹角；φ为点云的平面法向量与x轴的夹角；ρ为原点到点云平面的距离。
48.在此基础上分别创建如下计数器a、a’：其中，θ
’ꢀ
为对θ偏移s
θ
/2的副本元素；φ
’ꢀ
为对φ偏移s
φ
/2的副本元素；下标j、ij分别表示元素的的位置。
49.（2）3d高通滤波分别对计数器a、a
’ꢀ
做3d高通滤波，去除计数器中的低频部分，以削弱峰值模糊的影响。本实施例中3d高通滤波的卷积核如图2所示，图2中各数字表示的是卷积核中各单元格的值，可以看出，卷积核中心单元格值为1/2，其余单元格的值按照与中心单元格的距离，基于反距离加权原则确定，整个卷积核值之和为1。
50.（3）潜在平面获取对滤波后的计数器a、a’投票，获取满足条件的候选平面集s(θ, φ, ρ)和s’(θ’, φ’, ρ)；使用二者的并集s∪s’作为最终的候选平面集。
51.3、立面约束主要通过同平面约束和竖直面约束予以实现。
52.（1）同平面约束同平面约束的目的是进一步去除由于点云密度过大、算法阈值设置不合适以及峰值模糊现象引起的相同平面和伪平面问题，主要通过平面二面角、平面距离和公共点比例三个特征确定。若两平面p1、p2满足如下公式，则将p1、p2视为同一平面并将其合并：式中，r
12
为原点分别在平面p1、p2上的垂足之间的距离向量；n1、n 2
分别为平面p1、p2的平面法向量；comprop为求解两平面公共点比例的运算符；α
th
为两平面间的平面二面角；
△dth
为两平面间的距离；cp
th
为两平面间的公共点比例对应的阈值；max为求解极大值运算符；∧为逻辑或运算符；∨为逻辑与运算符；（2）竖直面约束潜在平面中不仅包含建筑物立面，也包含很多其他平面。通常情况下，建筑物立面应为竖直面，因此，对同平面约束后的各平面的竖直角进行约束可排除非建筑物立面，竖直面约束的约束条件为：
ransacmethod，简称vcir方法）进行立面提取，3种方法的整体提取效果如图4所示，图4中上下两排分别表示三种方法所提取立面在3d视角、2d视角下的效果。
64.从图4中可以看出，gir方法完全无法适用于本场景，其所提“立面”均为水平面，未能提取出正确的建筑物立面；vcir方法和本发明所提出的方法均能够从实验数据中提取出大部分立面。因此本实施例继续对本发明方法和vcir方法的结果进行对比。
65.从图4中可以看出，vcir方法将相邻或相似立面视为同一个立面，而本发明方法通过立面边界标定的方式对相邻或相似立面进行划分，实现了这些立面相互之间的正确区分。
66.此外，为了更好地对比本发明方法相较于vcir方法的优势，在图4的2d视角下将两者提取出的立面分别使用罗马数字和大写英文字母进行对应编号，具体编号请参见图4，然后基于此编号统计出表1。
67.表1提取结果对照表结合表1与附图4可得，vcir方法提取的一个立面通常被本发明方法视为多个相互独立的立面。本发明方法的提取结果相比传统方法提取结果更具准确性和可靠性。
68.进一步的，为了定量评价本发明方法和vcir方法的效果，将立面对应点云至立面的距离作为误差，分别计算两种方法得到的各个立面误差和总体误差，结果如表2所示。
69.表2立面提取误差表
由表2可以看出，本发明方法立面提取的总误差中，平均绝对误差mae(mean absolute error)和均方误差mse(mean square error)分别为0.314m、0.194m，分别为vcir方法对应总误差0.500m、0.403m的62.8%、48.1%。此外，vcir方法对应的均方误差mse最小为0.208m，平均值高达0.439m，而本发明方法提取的各立面中，均方误差mse最小仅为0.085m，平均值仅为0.271m，均约为vcir方法的一半。因此，本技术的立面提取方法相较于vcir方法能够显著降低因密度不均、噪声、遮挡、错位等导致的误差。
70.更进一步的，为了更加深入的评估本发明方法和vcir方法的效果，分别使用小提琴图、柱状图展示两种方法所得各平面的误差值mae、mse以及均方根误差rmse（root mean square error）的分布，如图5与图6所示。
71.由图5可以看出，本发明方法提取结果的三种误差的中位数和四分位数均小于vcir方法，同时，其概率密度分布整体呈纺锤形，上窄下宽，误差整体水平较低。而vcir方法概率密度分布整体呈葫芦形，误差分布较为均匀。由图6可以看出，本发明方法提取结果的三种误差的平均数均小于vcir方法，且误差分布更为集中和稳定。
72.综上，本发明所提出的基于点云数据的建筑物立面提取方法，不论是鲁棒性、提取精度和提取细节等各个方面，相比现有技术均都具有明显优势。
73.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
74.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。