一种基于图匹配的街景建筑跨源点云配准方法

本发明属于三维点云领域，具体涉及街景建筑的跨源点云配准方法。

背景技术：

1、点云配准指的是输入有重叠区域的但位姿不同的两组点云，输出一组到另一组的刚性变换，平移和旋转，使得一组点云经过该刚性变换后，它的重叠区域的位姿能和另一组点云重叠区域相同。它是是图形、视觉和机器人领域的一项基本任务。

2、点云配准具有十分现实的意义，由于三维扫描测量设备受测量方式的限制和被测物体集合形状的限制，一次只能扫描被测物体有限范围的点云数据，这需要在多个视角下进行多次扫描，然而每个视角下得到点云数据都具有独立的坐标系，无法直接进行拼接。于是需要通过对每个视角下获取点云进行坐标转换，统一到全局坐标系下。具体流程是通过一个点集(目标)中的每一个点与另一个点集(原始点集)中的对应点的相互关系来实现点集与点集坐标系之间的转换，实现配准。

3、点云配准广泛应用于三维重建、slam等领域，是自动驾驶与动态跟踪场景等任务的基础任务。因此解决点云配准问题至关重要。

4、跨源点云配准指的是来源于两种不同传感器的点云之间进行的配准，这项任务在实际应用场景中一样具有现实意义，目前的三维重建与自动驾驶等任务大多采用不止一种传感器，而是由多种传感器混合采集数据。

5、在实际应用场景中，街景建筑是点云构建的重要目标，街景建筑的点云能应用于自动驾驶的定位与检测等领域。目前存在许多获取街景建筑点云的方法，比如sfm(structure from motion结构光流法)和激光雷达扫描等。不同的点云获取方法存在各自的优缺点。sfm分析连续多帧的图像，通过相机的移动来确定街景建筑点云的空间和几何关系，这种方法只需要rgb图像，能够构建出较为完整的街景建筑，并且点云带有颜色，但是由于是计算得出，在尺度和几何结构方面会存在误差。激光雷达扫描能够扫描出真实的数据，但是扫描过程中会存在难以扫描的盲区。为了将不同街景建筑的点云获取方法的优点相结合，需要对两种方法获取的点云进行配准。

6、跨源点云的配准相较同源点云存在很多的挑战和问题，比如不同源点云的密度和尺度存在差异；由于传感器种类不同，点云之间的噪点和异常点会不同。

技术实现思路

1、针对现有技术中的不足，本发明提出一种基于图匹配的街景建筑跨源点云配准方法。该方法可以利用不同获取方法获取的街景点云，结合不同方法的优势，并且提高跨源点云配准的效率与精确度。

2、本发明配准由sfm方法生成的街景建筑点云和由激光雷达扫描获取的街景建筑点云。从两个点云中提取的宏观结构和微观结构，将街景建筑的结构信息转化为图，将三维空间的点云匹配转化为图结构间的匹配。

3、跨源点云匹配对于计算机视觉来说是一个困难的挑战，但是对与人眼和人脑来说，还是能较为轻松地分辨出点云之间的相同区域与对应关系。这是因为尽管跨源点云存在尺度、密度、噪点等差异，相同区域和物体的点云之间的结构还是相同的。本发明依据此提出了对宏观和微观结构的提取和配准方法。

4、其中宏观结构是指在跨源点云中保持类似几何布局的整体结构，微观结构是宏观结构的组成部分。

5、一种基于图匹配的街景建筑跨源点云配准方法，具体包括以下步骤：

6、步骤1：获取街景建筑视频，采用sfm方法处理街景建筑的连续图像，获取街景建筑的点云集a。用激光雷达对相同的街景建筑进行扫描，获取激光雷达点云集b。

7、步骤2：将获得的两个跨源点云集a和b归一化为相同的尺度。

8、步骤3：利用三维点云的几何特性，将街景建筑点云分割成超体素(super voexl)，并且提取这些超体素的特征描述符。每一个被分割的超体素和相对应的特征描述符都是微观结构。

9、步骤4：将步骤3提取的超体素和其特征描述符作为图的节点，超体素的相邻关系作为边构建图。所构成的图即两个跨源点云集的宏观结构。

10、步骤5：以点云配准为目的对现有图匹配算法进行优化，将三维点云配准转化为图结构匹配。具体来说，根据跨源点云匹配的要求，对图匹配中的点匹配和边匹配设置权值，经过优选得到跨源点云配准中图匹配权值。

11、步骤6：根据步骤5得出的图匹配结果得到的对应关系执行街景建筑点云配准，最终得到两个跨源点云集间的刚性变换配准结果。

12、本发明方法具有的优点及有益效果为：

13、1.本发明提出了对街景建筑点云的采集使用跨源点云的思想，结合了不同点云获取方式的优点，获取优秀的街景建筑点云。

14、2.对跨源点云采用微观结构和宏观结构的提取，将三维点云配准转化成图匹配，并且优化了图匹配的方法，大大提高了跨源点云的配准精度和效率。

技术特征：

1.一种基于图匹配的街景建筑跨源点云配准方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图匹配的街景建筑跨源点云配准方法，其特征在于，步骤2具体方法如下：

3.根据权利要求2所述的一种基于图匹配的街景建筑跨源点云配准方法，其特征在于，步骤3具体方法如下：

4.根据权利要求3所述的一种基于图匹配的街景建筑跨源点云配准方法，其特征在于，步骤4具体方法如下：将超体素集合和对应的efs描述符作为图的节点，相邻关系作为图的边构建两个跨源点云集各自的图ca和cb；定义图的描述c＝{p,q,h},其中p为图中点的集合，也就是超体素集合和形状描述符，q为边的集合，h为点和点之间的邻接矩阵。

5.根据权利要求4所述的一种基于图匹配的街景建筑跨源点云配准方法，其特征在于，步骤5具体方法如下：

6.根据权利要求5所述的一种基于图匹配的街景建筑跨源点云配准方法，其特征在于，α取0.1。

7.根据权利要求5或6所述的一种基于图匹配的街景建筑跨源点云配准方法，其特征在于，步骤6具体方法如下：

技术总结
本发明公开了一种基于图匹配的街景建筑跨源点云配准方法。首先将获得的两个跨源点云集归一化为相同的尺度，利用三维点云的几何特性，将街景建筑点云分割成超体素，并且提取这些超体素的特征描述符。将提取的超体素和其特征描述符作为图的节点，超体素的相邻关系作为边构建图，将三维点云配准转化为图结构匹配。根据图匹配结果得到的对应关系执行街景建筑点云配准，最终得到两个跨源点云集间的刚性变换配准结果。本发明对跨源点云采用微观结构和宏观结构的提取，将三维点云配准转化成图匹配，并且优化了图匹配的方法，大大提高了跨源点云的配准精度和效率。

技术研发人员：方楼,颜成钢,李亮,赵思成,赵治栋,朱尊杰
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/7/18