一种基于点云体素化TransFormer的Lidar-SLAM回环检测系统及方法

本发明属于计算机视觉，尤其涉及一种基于点云体素化transformer的lidar-slam回环检测系统及方法。

背景技术：

1、定位是汽车自动驾驶技术中的主要难点，定位技术不仅是对车辆自身的定位，还要对车辆行驶过程中周围环境的相对位置有一定感知，自动驾驶汽车在一个未知环境的未知地点出发，车辆在运动的过程中，通过传感器来观测和定位自身的位置、姿态和运动轨迹，然后根据自身的位置进行增量式的地图构建，这种方式能够将地图构建和定位同时进行，二者是一个相辅相成的过程，即slam技术，主要包括激光slam与视觉slam，激光slam(lidar-slam)在理论、技术和产品落地上都较为成熟，因而成为现下最为主流的定位导航方式。早期的激光slam多采用扩展卡尔曼滤波等手段来优化位姿的估计和地图构建的准确性，后期随着计算能力的提升及算法的改进，图优化、位姿优化等手段逐渐成为主流。

2、回环检测是指机器人识别曾到达某场景，使得地图闭环的能力，目的是解决整个slam出现的累计误差，导致无法构建全局一致的轨迹和地图。车辆在自动驾驶过程中利用自身配备的激光雷达获取周围环境的信息，然后与产生的高精地图进行比对，以此来判断周围的环境是否曾经经过。回环检测的关键在于如何有效的检测出车辆经过同一个地方，回环检测的准确性关系到估计的轨迹和地图在长时间下的正确性，精度高的回环检测能够提高当前数据与所有历史数据的关联，从而可以利用回环检测进行重定位。目前多是通过特征匹配技术计算两帧点云之间的相似性实现的，但是特征匹配技术面对回环时结构变化和采集点云稀疏等问题导致回环检测准确度下降。

3、由于点云的无序性及稀疏性目前较少有利用深度学习方法作为lidar-slam回环检测的描述子提取方法，目前主流的点云深度学习方法包括pointnet家族、pv-rcnn等多用于点云配准及分割任务，对于回环检测任务，这些算法提取的特征仅为局部特征，无法直接用于回环的检测。danielecattaneo提出的lcdnet能有效检测出逆回环的回环检测在传统回环检测的基础上还加入了位姿估计，但计算时间较长，计算回环描述子接近100ms,点云配准用时超过1000ms。德国波恩大学xieyuanlichen提出overlapnet通过深度学习完成点云转换为影像，然后做回环检测直接估计两帧点云的重叠率与相对角度，但当环境特征退化时重叠率的估计精度会下降。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、为解决上述技术问题，本发明提供如下技术方案：利用回环候选帧检测模块读取点云文件获得当前帧点云并遍历历史帧点云,送入特征提取模块中；利用特征提取模块包括多分辨率体素特征提取模块提取点云多维度特征，获得具有局部信息的特征向量，输入自注意力网络transformer模块进行特异性增强，兼顾全局感受野和局部感受野的信息，增强句子中单词与单词之间的联系；利用特征编码网络(netvlad)和全连接层组成的全局描述子生成器，对全局描述子进行压缩，提高算法的运算速度；利用特征匹配模块将当前帧点云提取的描述子与所有历史点云的描述子进行欧氏距离的计算，距离最小并小于阈值的历史点云被认为是检测到的当前地点。

3、本发明的目的是结合深度学习与特征匹配技术，提高激光slam回环检测准确性，为此提供了一种基于点云体素化transformer的lidar-slam回环检测系统及方法。

4、本发明是通过以下技术手段实现上述技术目的的。

5、作为本发明所述的一种基于点云体素化transformer的lidar-slam回环检测系统及方法的一种优选方案，其中：检测所述回环候选帧具体包括，

6、获得当前帧点云，根据历史帧位姿变化进行帧间对齐；设置所述设定值为检测阈值筛选所述关键帧，获取值大于所述检测阈值，获得所述回环候选帧，并把所述回环候选帧与所述检测帧送入所述特征提取模块中。

7、作为本发明所述的一种基于点云体素化transformer的lidar-slam回环检测系统及方法的一种优选方案，其中：所述特征提取模块具体包括：多分辨率体素特征提取模块，用于提取点云多维度特征,获得具有局部信息的特征向量，自注意力网络transformer模块，用于进行特异性增强，及特征编码网络netvlad和全连接层组成的全局描述子生成器，用于对全局描述子进行压缩，提高算法的运算速度。

8、作为本发明所述的一种基于点云体素化transformer的lidar-slam回环检测系统及方法的一种优选方案，其中：所述特征匹配模块包括，利用开源faiss算法进行快速搜索最近描述子。

9、作为本发明所述的一种基于点云体素化transformer的lidar-slam回环检测系统及方法的一种优选方案，其中：所述多分辨率体素特征提取模块具体包括，将源点云进行体素化，分别进行1×，4×，8×下采样，利用最远关键点采样(fps)算法提取点云关键点，利用k-维树最近邻搜索(kdtree)获得关键点周围点云簇，利用多维度体素特征提取模块(voxelsetabstraction)在每一层的特征图及点云簇上进行特征提取操作，获得不同分辨率的特征；得到多尺度信息关键点高效编码。

10、作为本发明所述的一种基于点云体素化transformer的lidar-slam回环检测系统及方法的一种优选方案，其中：所述自注意力网络transformer模块具体包括，transformer模块由一个编码器堆栈和一个解码器堆栈组成；编码器由self-attention(multi-head)和前馈神经网络组成，每一层之间通过残差连接；解码器包括self-attention和前馈神经网络外及编码器-解码器注意力模块，每一层之间通过残差连接。

11、作为本发明所述的一种基于点云体素化transformer的lidar-slam回环检测系统及方法的一种优选方案，其中：所述改进的全局描述子生成器具体包括，特征编码网络netvlad对特征描述子进行存在偏差的线性变换后进行归一化操作，得到一个k×d维度的全局描述子(其中，k为关键点个数，d为每个点的特征维度)，全连接层层生成维度为2x256的地点描述子向量。

12、作为本发明所述的一种基于点云体素化transformer的lidar-slam回环检测系统及方法的一种优选方案，其中：所述开源faiss算法包括，索引index模块对输入特征描述子向量集进行预处理和封装，搜索search模块进行相似度计算，返回的元素与近邻的距离矩阵和近邻向量的索引序号矩阵；当前帧点云提取的描述子与所有历史点云的描述子进行欧氏距离的计算，距离最小并小于阈值的历史点云被认为是检测到的当前地点。

13、本发明的有益效果

14、(1)利用深度学习可学习的特性，避免传统点云特征提取针对特定任务有不同的假设、新的任务很难优化等问题，提高算法应用场景，提高适应性。

15、(2)通过加入自注意力网络，解决点云无序性、稀疏性等问题，保持点云本身旋转不变性，与传统算法及其他点云深度学习算法相比，在回环时结构变化和采集点云稀疏时仍能捕捉到足够有效信息，提高了回环检测的准确率和召回率。