自监督学习的固态激光雷达三维语义建图方法与装置

1.本发明涉及三维点云语义分割技术领域，具体是一种自监督学习的固态激光雷达三维语义建图方法与装置。


背景技术：

2.语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据（例如，平面图像）作为输入并将它们转换为具有语义含义的分割区域，形成有助于机器人和人理解的语义地图。轻量化固态激光雷达的出现，降低了激光雷达的成本与重量尺寸，与旋转式激光雷达不同，小型固态激光雷达的视场角较小，扫描模式不规则。本发明涉及的是针对轻小型固态激光雷达的稠密三维点云语义建图方法与装置。该方法和装置可被用于移动机器人以及手持设备。
3.伴随着机器人的快速普及，物流配送、家居机器人、医疗机器人等应用要求机器人能够在室内外多种复杂环境下自主导航和建图。机器人任务的执行，需要具备自主导航建图以及场景理解的能力。激光雷达能够直接获取目标的三维几何位置和反射强度等信息，测量距离可达数百米，测量精度较高。然而，对于室内机器人自主导航来说，仅仅获得三维点云地图还不够。人类能从点云地图中分辨出道路、墙壁和其他杂物，但对于机器人来说，其眼里点云地图就是一群不明含义的点。而想要机器人在点云中有效识别出带有语义含义的物体和区域，需要进行语义分割建图。近年来，计算算力的快速增长，使得基于深度学习的三维点云语义分割算法飞速发展，其性能得到提高，这方面的研究也成为了近年的研究热点。
4.三维语义建图可分为三维点云的语义分割理解和三维稠密建图两步。近年来，相关研究成果集中在三维点云建图和点云语义分割两方面。在三维点云建图方面，zhang et al.提出了一种基于批优化的激光雷达里程计与建图算法，实现实时的三维点云建图。lin et al.进一步提出适用于小型固态激光雷达的定位与建图算法，实现在有限视场角下的特征提取、不规则采样条件下的运动补偿与点云匹配。xu et al.采用拓展卡尔曼滤波融合激光雷达点云特征与惯性视觉，更加高效率和鲁棒的实现定位与建图。在三维点云匹配方面，qi et al. 提出一种基于卷积神经网络的点云语义分割算法。chen et al. 将点云投影成条形图片后，在图上做语义分割并映射回点云，从而实现点云的建图与分割，然而该算法仅适用于旋转式激光雷达。目前，仍未出现针对小型固态激光雷达的三维稠密语义建图方法。


技术实现要素：

5.针对上述现有技术中的不足，本发明提供一种自监督学习的固态激光雷达三维语义建图方法与装置，可应用于移动机器人以及手持设备。该方法构建编码-解码的深度神经网络，基于自监督学习的方式将实时输入的三维点云进行语义分割，采用卡尔曼滤波融合激光雷达点云数据、语义分割结果和惯性数据进行建图，实现场景三维重构。另外，将激光雷达信号反射率引入自监督学习的点云分割网络中，进而有效提高点云分割理解的能力。
6.为实现上述目的，本发明提供一种自监督学习的固态激光雷达三维语义建图方法，包括如下步骤：步骤1，构建编码-解码结构的点云语义分割模型，并基于同步采集的rgb图像与三维点云数据集对点云语义分割模型进行自监督的训练；步骤2，通过小型固态激光雷达和惯性测量元件采集实时三维点云和实时惯性数据，并基于卡尔曼滤波器融合实时三维点云与实时惯性数据，输出全局坐标下由实时点云数据组成的稠密三维点云地图；步骤3，将实时三维点云输入训练好的点云语义分割模型，得到当前时刻每个点云坐标对应的点云分割结果，将每个点云坐标对应的点云分割结果与稠密三维点云地图坐标进行对应即能生成三维语义地图；步骤4，将训练好的点云语义分割模型部署在arm+gpu架构的计算设备上，与小型固态激光雷达和惯性测量元件一起构建语义建图系统，按照固定频率进行三维点云、惯性数据采集以及地图更新，进行实时语义分割，生成三维语义地图。由于点云分割网络已训练好，不需要同步采集rgb图像。
7.为实现上述目的，本发明还提供一种自监督学习的固态激光雷达三维语义建图装置，包括：rgb相机、激光雷达与惯性测量器件，分别用于采集rgb图像、三维点云数据与惯性数据；数据获取模块，与所述rgb相机、所述激光雷达、所述惯性测量器件相连，用于获取rgb图像、三维点云数据与惯性数据；点云语义分割模型，与所述数据获取模块相连，用于对三维点云进行点云语义分割，得到每个点云坐标对应的点云分割结果；自监督训练模块，与所述数据获取模块、所述点云语义分割模型相连，用于根据同步采集的rgb图像与三维点云数据集对点云语义分割模型进行自监督的训练；三维点云地图构建模块，与所述数据获取模块相连，用于融合实时三维点云与实时惯性数据，输出全局坐标下由实时点云数据组成的稠密三维点云地图；三维语义地图构建模块，与所述点云语义分割模型、所述三维点云地图构建模块相连，用于将每个点云坐标对应的点云分割结果与稠密三维点云地图坐标进行对应即能生成三维语义地图。
8.本发明提供的一种自监督学习的固态激光雷达三维语义建图方法与装置，采用小型固态激光雷达，基于卡尔曼滤波的轻量化激光雷达/惯性组合建图算法进行场景三维重构，并通过点云语义分割模型对三维点云地图进行语义分割。另外，将激光雷达信号反射率引入点云分割网络中，提高了点云分割理解的能力。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
10.图1为本发明实施例中固态激光雷达三维语义建图方法的流程图；图2为本发明实施例中固态激光雷达三维语义建图装置的结构框图。
11.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
12.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
13.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
14.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
15.实施例1如图1所示为本实施例公开的一种自监督学习的固态激光雷达三维语义建图方法，具体包括如下步骤：步骤1，构建编码-解码结构的点云语义分割模型，并基于同步采集的rgb图像与三维点云数据集对点云语义分割模型进行自监督的训练；步骤2，通过小型固态激光雷达和惯性测量元件(imu, inertial measurement unit)采集实时三维点云和实时惯性数据，并基于卡尔曼滤波器融合实时三维点云与实时惯性数据，输出全局坐标下由实时点云数据组成的稠密三维点云地图；步骤3，将实时三维点云输入训练好的点云语义分割模型，得到当前时刻每个点云坐标对应的点云分割结果，将每个点云坐标对应的点云分割结果与稠密三维点云地图坐标进行对应即能生成三维语义地图；步骤4，将训练好的点云语义分割模型部署在arm+gpu架构的计算设备上，与小型固态激光雷达和惯性测量元件一起构建语义建图系统，按照50hz频率进行三维点云、惯性数据采集以及地图更新，进行实时语义分割，生成三维语义地图。
16.本实施例中，点云语义分割模型包括编码层、解码层、语义预测层。点云语义分割模型的输入为的点云集，为点的个数，为每个点的特征维数，本实施例中为4维，包括三维坐标以及反射率。
17.编码层采用3层编码器，主要用于对输入的三维点云进行特征提取，依次处理点云数据，减少点云的个数，增加每个点的维数，最终将点云个数从降低为，将点云特征维度从4维提升为128维。其中，编码器由局部特征聚合器和随机采样层两部分组成，具体地：局部特征聚合器由局部空间编码器和注意力机制组成，目的是为了扩大每个点的感受野，从而提取更有效的特征；
随机采样层用于加速点特征的提取，提高运算效率。
18.解码层设计3层的解码器，分别通过每一层的编码器，采用k最近邻算法（找到k个最近的邻居来代表）为每一个输入点找到其最近的k个相邻点，再通过最近邻差值算法对点云特征集进行上采样。最后将上采样得到的特征与编码器得到的特征连接，得到解码层输出的特征向量。
19.语义预测层用于将解码层得到的特征向量通过全连接层以及线性枕流函数relu，映射到，为语义的类别，一共有类，为三维点云中点的个数。
20.在具体实施过程中，对点云语义分割模型进行自监督的训练具体为：步骤1.1，通过几何关系将三维点云坐标与rgb图像像素一一对应，采用已训练好的rgb图像分割模型获得rgb图像中每个像素的语义分割结果，并通过三维点云坐标与rgb图像像素之间的对应关系，获得点云语义标签，本实施例中将rgb图像对应关系得到的标签定义为自监督语义标签；步骤1.2，将点云分割网络输出的点特征，与通过rgb图像对应关系得到的自监督语义标签相比较，通过迭代调节点云语义分割模型各层级的参数，使点云语义分割模型输出的语义结果逼近自监督语义标签，这里的迭代调节参数的过程即为自监督学习训练；步骤1.3，在迭代一定次数后留下生成输出分数更接近自监督语义标签的模型，从而形成点云语义分割模型。
21.需要注意的是，rgb图像仅用于自监督训练点云语义分割模型，已经训练好的点云语义分割模型仅需要输入点云数据即可进行点云语义分割，获得了当前时刻每个点云坐标对应的点云分割结果。
22.本实施例中，稠密三维点云地图的建图过程具体为：步骤2.1，对实时惯性数据进行惯性积分，得到系统初始的第一状态量（包括位置、姿态、速度以及imu的误差量），其实施过程为：设imu测量噪声为0，则惯性积分为：式中，函数表示关于、、（这里为0）的惯性积分函数，表示指数函数，这二者的组合表示惯性积分状态更新过程；，即在一个雷达扫描中相邻两次imu采样时间与之差（imu采样间隔），是第i次imu测量数据采样的标号。是imu的测量数据（即表示第i次imu采样的惯性数据）；表示系统状态，其中，表示系统在第次采样时刻的第一状态量，表示系统在第次采样时刻的第一状态量；步骤2.2，基于实时三维点云，采用卡尔曼滤波对第一状态量进行状态更新，得到系统的第二状态量，其实施过程为：首先计算激光雷达三维点云的点云残差，为：式中，是地图上最近特征点位置，是点所在的相应平面（或边）的法向
量（或边缘取向），是imu估计点云位置；采用迭代卡尔曼滤波器对状态估计进行迭代更新，直至点云残差收敛，其中，对状态估计进行迭代更新的过程为：式中表示在时刻（表示第次激光雷达扫描的扫描结束时间）第次卡尔曼滤波后的状态的生成值，表示在时刻第次卡尔曼滤波后的状态的生成值，i表示单位矩阵，表示观测矩阵，表示关于的偏导数，为指数函数，为对数函数，表示时刻的状态的真值与生成值之间的误差状态动态模型，表示生成值和估计值之间的误差；表示卡尔曼滤波增益矩阵，其计算过程为：表示卡尔曼滤波增益矩阵，其计算过程为：表示卡尔曼滤波增益矩阵，其计算过程为：式中，表示协方差矩阵，表示第次采样时刻的imu状态协方差，表示第次采样时刻的imu状态协方差，表示协方差矩阵和偏导数矩阵产生的中间变量，和分别表示对和的偏导矩阵，表示imu噪声的协方差，上角标表示矩阵的转置；在上述对状态估计进行迭代更新的过程中，当在点云残差收敛后，可得到最优状态估计，即第二状态量，为：式中，表示系统在第次采样时刻的第二状态量；步骤2.3，对第二状态量的反向状态更新，得到系统的第三状态量，以优化位置和姿态的估计，提高定位精度，其中，反向状态更新的实施过程为：式中，表示系统在第次采样时刻的第三状态量，表示系统在第次采样时刻的第三状态量；步骤2.4，基于第三状态量得到激光雷达坐标系到imu坐标系的转换矩阵以及时刻的imu坐标系到全局坐标系的估计更新转换矩阵，并通过与把激
光雷达一个扫描内的每一帧自身坐标系的点云坐标转换到扫描末时刻坐标系的坐标，即得到全局坐标，为：式中，代表激光点云坐标，表示次扫描激光雷达框架，表示全局坐标系，表示第个特征点，表示第个特征点在次扫描激光雷达框架的坐标，表示第个特征点经坐标转换后的全局坐标；表示由右下角标的坐标系到左上角标的坐标系的坐标转换矩阵，表示imu坐标系，表示激光雷达坐标系，表示激光雷达坐标系到imu坐标系的转换矩阵，表示时刻的imu坐标系到全局坐标系的估计更新转换矩阵；为点云的数量；步骤2.5，将每个采用时刻下的所有特征点根据全局坐标添加到现有地图中，即得到全局坐标系下的三维点云地图。
23.在步骤2.5的全局建图过程中，每个点云都带有一个固定的序号和特征量，该特征量即为步骤3中经过语义分割模型得到的点云分割结果。从而将步骤3中获得的局部点云语义分割结果与生成的全局三维点云地图坐标进行对应，即能得到全局的三维语义地图。
24.实施例2在实施例1中自监督学习的固态激光雷达三维语义建图方法的基础上，本实施例还公开了一种自监督学习的固态激光雷达三维语义建图装置，参考图2，该装置主要包括rgb相机、激光雷达、惯性测量器件、数据获取模块、点云语义分割模型、自监督训练模块、三维点云地图构建模块与三维语义地图构建模块。具体地：rgb相机、激光雷达与惯性测量器件搭载在移动机器人或手持设备等载体上，分别用于采集rgb图像、三维点云数据与惯性数据；数据获取模与rgb相机、激光雷达、惯性测量器件相连，用于获取采集的rgb图像、三维点云数据与惯性数据；点云语义分割模型与数据获取模块相连，用于对三维点云进行点云语义分割，得到每个点云坐标对应的点云分割结果；自监督训练模块与数据获取模块、点云语义分割模型相连，用于根据同步采集的rgb图像与三维点云数据集对点云语义分割模型进行自监督的训练；三维点云地图构建模块与数据获取模块相连，用于融合实时三维点云与实时惯性数据，输出全局坐标下由实时点云数据组成的稠密三维点云地图；三维语义地图构建模块与点云语义分割模型、三维点云地图构建模块相连，用于将每个点云坐标对应的点云分割结果与稠密三维点云地图坐标进行对应即能生成三维语义地图。
25.在具体应该过程中，上述固态激光雷达三维语义建图装置的各个功能模块与实施例1相同，因此本实施例中不再对其赘述。
26.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用
在其他相关的技术领域均包括在本发明的专利保护范围内。