毫米波雷达点云降噪方法、装置、设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种毫米波雷达点云降噪方法、装置、设备及存储介质。


背景技术：

2.在自动驾驶过程中，通过获取设置在车身上不同传感器(相机、激光雷达、超声波雷达和毫米波雷达)的传感数据，来实现自动驾驶不同的任务及级别。相较于其他三种传感器，毫米波雷达在恶劣天气下，鲁棒性较强，可以协助多种自动驾驶任务，但是相较于激光雷达点云，毫米波点云较为稀疏，在实际应用时，需叠加多帧毫米波点云来得到毫米波稠密点云。然而单帧毫米波点云中通常存在噪点，在将多帧毫米波点云叠加得到毫米波稠密点云的同时，会将噪点也一起进行叠加，使得毫米波稠密点云中存在较多的噪点，质量较低。


技术实现要素：

3.有鉴于此，本技术提供一种毫米波雷达点云降噪方法、装置、设备及存储介质，旨在提升多帧叠加得到的毫米波稠密点云的质量，解决现有多帧叠加得到的毫米波稠密点云中存在较多的噪点，质量较低的技术问题。
4.本技术提供一种毫米波雷达点云降噪方法，包括以下步骤：
5.将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；
6.通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；
7.从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。
8.在本技术的一种可能的实施方式中，所述通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点的步骤，包括：
9.对所述毫米波雷达稠密点云进行体素化处理，得到若干体素；
10.提取每一体素的体素特征，其中，所述体素特征包括所述体素中包含的毫米波雷达点云在体素坐标系下的位置坐标、所述体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的毫米波雷达点云与所述质心的距离；
11.将每一所述体素的体素特征输入至点云二分类网络中，输出得到每一所述体素对应的概率预测值，其中，所述点云二分类网络是基于稀疏卷积的神经网络；
12.若所述概率预测值大于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于有效点；
13.若所述概率预测值小于等于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于噪点。
14.在本技术的一种可能的实施方式中，所述对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤之前，还包括：
15.将所述毫米波雷达稠密点云的位置坐标中的z轴值，更新为预设z轴阈值，得到更新后的毫米波雷达稠密点云；
16.所述对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤，包括：
17.对更新后的毫米波雷达稠密点云进行体素化处理，得到若干体素。
18.在本技术的一种可能的实施方式中，所述点云二分类网络通过如下方式训练得到：
19.构建基于稀疏卷积的预设点云二分类网络；
20.获取同一时刻的原始毫米波雷达稠密点云和激光雷达点云，其中，所述原始毫米波雷达稠密点云和所述激光雷达点云均位于同一车辆坐标系下；
21.基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注，得到所述原始毫米波雷达稠密点云的实际类别标签；
22.对标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素；
23.提取所述体素的体素特征，作为训练样本数据，其中，所述体素特征包括：所述体素中包含的原始毫米波雷达稠密点云在体素坐标系下的位置坐标、所述体素中包含的原始毫米波雷达稠密点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的原始毫米波雷达稠密点云与所述质心的距离；
24.将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值；
25.根据所述概率预测值，确定所述训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签；
26.判断根据所述实际类别标签和所述预测类别标签计算的网络损失是否收敛，若所述网络损失未收敛，则依据所述网络损失，对所述预设点云二分类网络进行更新，并返回执行将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值的步骤及后续步骤，直至所述网络损失收敛，以得到训练好的点云二分类网络。
27.在本技术的一种可能的实施方式中，所述基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注的步骤，包括：
28.对所述激光雷达点云和所述原始毫米波雷达稠密点云进行聚类，并对聚类后的激光雷达点云和原始毫米波雷达稠密点云进行关键点提取，得到激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集，其中，所述关键点为每一聚类簇中包含的点云所对应的质心；
29.对所述激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集中，存在对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，进行两点之间的距离计算，若所述距离小于预设第一距离阈值，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系进行保留，反之，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系不予保留；
30.基于保留对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，从所述激光雷达点云中提取所述激光雷达点云关键点对应聚类簇中的激光雷达点云，从所述
原始毫米波雷达稠密点云中提取所述原始毫米波雷达稠密点云关键点对应聚类簇中的原始毫米波雷达稠密点云；
31.计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，若所述距离大于预设第二距离阈值，则将所述原始毫米波雷达稠密点云标注为噪点，反之，则将所述原始毫米波雷达稠密点云标注为有效点。
32.在本技术的一种可能的实施方式中，所述预设第一距离阈值，与所述激光雷达点云关键点或者所述原始毫米波雷达稠密点云关键点与所述车辆坐标系的原点之间的距离成正比。
33.本技术还提供一种毫米波雷达点云降噪装置，所述装置包括：
34.预处理模块，用于将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；
35.分类模块，用于通过训练得到的点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；
36.降噪模块，用于从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。
37.在本技术的一种可能的实施方式中，所述分类模块包括：体素化单元，用于对所述毫米波雷达稠密点云进行体素化处理，得到若干体素；特征提取单元，用于提取每一体素的体素特征，其中，所述体素特征包括所述体素中包含的毫米波雷达点云在体素坐标系下的位置坐标、所述体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的毫米波雷达点云与所述质心的距离；概率预测单元，用于将每一所述体素的体素特征输入至点云二分类网络中，输出得到每一所述体素对应的概率预测值，其中，所述点云二分类网络是基于稀疏卷积的神经网络；分类单元，用于若所述概率预测值大于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于有效点；若所述概率预测值小于等于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于噪点；
38.和/或者所述分类模块还包括：更新单元，用于将所述毫米波雷达稠密点云的位置坐标中的z轴值，更新为预设z轴阈值，得到更新后的毫米波雷达稠密点云；所述体素化单元用于对更新后的毫米波雷达稠密点云进行体素化处理，得到若干体素；
39.和/或者所述装置还包括网络训练模块，所述网络训练模块包括：构建单元，用于构建基于稀疏卷积的预设点云二分类网络；点云数据获取单元，用于获取同一时刻的原始毫米波雷达稠密点云和激光雷达点云，其中，所述原始毫米波雷达稠密点云和所述激光雷达点云均位于同一车辆坐标系下；标注单元，用于基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注，得到所述原始毫米波雷达稠密点云的实际类别标签；训练样本数据获取单元，用于对标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素，以及提取所述体素的体素特征，作为训练样本数据，其中，所述体素特征包括：所述体素中包含的原始毫米波雷达稠密点云在体素坐标系下的位置坐标、所述体素中包含的原始毫米波雷达稠密点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的原始毫米波雷达稠密点云与所述质心的距离；训练单元，用于将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值；并根据所述概率预测值，确定所述训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签；以及
判断根据所述实际类别标签和所述预测类别标签计算的网络损失是否收敛，若所述网络损失未收敛，则依据所述网络损失，对所述预设点云二分类网络进行更新，并返回执行将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值的步骤及后续步骤，直至所述网络损失收敛，以得到训练好的点云二分类网络；
40.和/或者所述标注单元包括：第一提取子单元，用于对所述激光雷达点云和所述原始毫米波雷达稠密点云进行聚类，并对聚类后的激光雷达点云和原始毫米波雷达稠密点云进行关键点提取，得到激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集，其中，所述关键点为每一聚类簇中包含的点云所对应的质心；对应关系验证子单元，用于对所述激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集中，存在对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，进行两点之间的距离计算，若所述距离小于预设第一距离阈值，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系进行保留，反之，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系不予保留；第二提取子单元，用于基于保留对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，从所述激光雷达点云中提取所述激光雷达点云关键点对应聚类簇中的激光雷达点云，从所述原始毫米波雷达稠密点云中提取所述原始毫米波雷达稠密点云关键点对应聚类簇中的原始毫米波雷达稠密点云；标注子单元，用于计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，若所述距离大于预设第二距离阈值，则将所述原始毫米波雷达稠密点云标注为噪点，反之，则将所述原始毫米波雷达稠密点云标注为有效点；
41.和/或者所述预设第一距离阈值，与所述激光雷达点云关键点或者所述原始毫米波雷达稠密点云关键点与所述车辆坐标系的原点之间的距离成正比。
42.本技术还提供一种毫米波雷达点云降噪设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的毫米波雷达点云降噪程序，所述毫米波雷达点云降噪程序配置为实现如上所述的毫米波雷达点云降噪方法的步骤。
43.本技术还提供一种存储介质，所述存储介质上存储有毫米波雷达点云降噪程序，所述毫米波雷达点云降噪程序被处理器执行时实现如上所述的毫米波雷达点云降噪方法的步骤。
44.本技术提供一种毫米波雷达点云降噪方法、装置、设备及存储介质，与现有技术中，多帧叠加得到的毫米波稠密点云中存在较多的噪点，质量较低相比，本技术将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。在本技术中，通过点云二分类网络，对多帧叠加后得到的毫米波雷达稠密点云进行分类，确定毫米波雷达稠密点云中每个点属于有效点或者噪点，并将属于噪点的点从毫米波雷达稠密点云中剔除，进而提升了多帧叠加得到的毫米波稠密点云的质量。
附图说明
45.图1为本技术毫米波雷达点云降噪方法一实施例的流程示意图；
46.图2为图1中步骤s20的细化流程示意图；
47.图3为本技术毫米波雷达点云降噪方法的第一场景示意图；
48.图4为本技术毫米波雷达点云降噪方法的第二场景示意图；
49.图5为本技术实施例方案涉及的硬件运行环境的毫米波雷达点云降噪设备结构示意图。
50.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
51.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
52.本技术实施例提供一种毫米波雷达点云降噪方法，如图1所示，在本技术毫米波雷达点云降噪方法的一实施例中，所述毫米波雷达点云降噪方法包括以下步骤：
53.步骤s10、将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；
54.步骤s20、通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；
55.步骤s30、从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。
56.本实施例旨在：提升多帧叠加得到的毫米波稠密点云的质量。
57.具体地，在本技术中，通过点云二分类网络，对多帧叠加后得到的毫米波雷达稠密点云进行分类，确定毫米波雷达稠密点云中每个点属于有效点或者噪点，并将属于噪点的点从毫米波雷达稠密点云中剔除，进而提升了多帧叠加得到的毫米波稠密点云的质量。
58.进一步地，在本技术中，点云二分类网络是基于稀疏卷积的神经网络，将毫米波雷达稠密点云进行体素化，得到若干体素，通过点云二分类网络确定每一体素对应的概率预测值，每一体素对应的概率预测值即为体素中包含的毫米波雷达点云的概率预测值，进而确定毫米波雷达点云属于有效点或噪点。点云二分类网络是基于稀疏卷积的神经网络，可以使得点云分类网络的空间结构紧凑化，并扩大感受野。
59.进一步地，由于毫米波雷达点云的位置坐标中的z轴值不准确，故在本技术中对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤之前，需将所述毫米波雷达稠密点云的位置坐标中的z轴值，更新为预设z轴阈值，得到更新后的毫米波雷达稠密点云。即在本技术中，将毫米波雷达稠密点云的位置坐标中的z轴值赋予同一值，可以消除毫米波雷达点云的位置坐标中的z轴值不准确，使得分类结果不准确，无法完全剔除毫米波雷达稠密点云中属于噪点的点，导致多帧叠加得到的毫米波稠密点云的质量较低的影响。
60.进一步地，根据非激光雷达点附近的毫米波雷达点即为噪点的逻辑可对毫米波雷达点进行标注。但是在实际应用时，由于毫米波雷达点云与激光点云中的点数量较多，故计算耗时庞大；同时，虽然激光雷达点云较为精确，但仍然存在少量激光雷达点为离群噪点。故根据毫米波雷达点云与激光雷达点云中点与点之间距离进行标注，计算耗时庞大且标注精度较低。
61.在本技术中，分别对激光雷达点云和原始毫米波雷达稠密点云进行聚类，得到激光雷达点云对应的多个聚类簇，以及原始毫米波雷达稠密点云对应的多个聚类簇，基于激
光雷达点云对应的多个聚类簇的关键点，组建激光雷达点云关键点集，基于原始毫米波雷达稠密点云对应的多个聚类簇的关键点，组建原始毫米波雷达稠密点云关键点集，计算同一聚类对应的激光雷达点云关键点和原始毫米波雷达稠密点云关键点之间的距离，若距离小于预设第一距离阈值，则保留激光雷达点云关键点和原始毫米波雷达稠密点云关键点之间的对应关系，反之，则不予保留光雷达点云关键点和原始毫米波雷达稠密点云关键点之间的对应关系。即利用毫米波雷达点云与激光雷达点云中有效点为一致性的原理，对激光雷达点云中的少量离群点云进行去除，提高根据激光雷达点云对毫米波雷达点云进行标注的精度。
62.在本技术中，基于保留对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，从所述激光雷达点云中提取所述激光雷达点云关键点对应聚类簇中的激光雷达点云，从所述原始毫米波雷达稠密点云中提取所述原始毫米波雷达稠密点云关键点对应聚类簇中的原始毫米波雷达稠密点云；计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，若所述距离大于预设第二距离阈值，则将所述原始毫米波雷达稠密点云标注为噪点，反之，则将所述原始毫米波雷达稠密点云标注为有效点。可以显著降低计算复杂度，毫米波雷达点云与激光雷达点云内点的数量为n，m，聚类形成的类的数量为k(k《《n,m)，使用上述标注步骤对毫米波雷达进行标注的计算量消耗为kxk+(nxm)/k，其小于直接赋值标签的方法的计算量:nxm。
63.进一步地，在本技术中，预设第一距离阈值，与所述激光雷达点云关键点或者所述原始毫米波雷达稠密点云关键点与所述车辆坐标系的原点之间的距离成正比，可以提高对激光雷达点云中的少量离群点云识别的准确性，进而提高根据激光雷达点云对毫米波雷达点云进行标注的精度。
64.在本实施例中，针对的具体应用场景是自动驾驶领域中的自动泊车、自动避障等。
65.具体步骤如下：
66.步骤s10、将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下。
67.作为一种示例，如图2所示，车辆的四角分别配置了一个毫米波雷达，每个毫米波雷达每间隔t1时间生成单帧毫米波雷达点云，将当前时刻的前t时间内四个毫米波雷达生成的所有帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，t≥t1。
68.作为一种示例，在将当前时刻的前t时间内四个毫米波雷达生成的所有帧毫米波雷达点云进行叠加之前，需对所有帧待叠加的毫米波雷达点云进行时间同步处理，得到时间同步的毫米波雷达点云。需要说明的是，对所有帧待叠加的毫米波雷达点云进行时间同步处理，得到时间同步的毫米波雷达点云，有利于消除毫米波雷达采集过程中的误差，提升多帧叠加得到的毫米波稠密点云的质量。
69.作为一种示例，在将当前时刻的前t时间内四个毫米波雷达生成的所有帧毫米波雷达点云进行叠加之前，还需对所有帧待叠加的毫米波雷达点云统一到车辆坐标系下。由于所有帧待叠加的毫米波雷达点云是配置在车辆四角的毫米波雷达所生成的，每一毫米波雷达都有其对应的雷达坐标系，同一物体被不同的毫米波雷达扫描后，在不同的雷达坐标系中，同一物体所对应的点云的位置坐标是不同的，因此，将所有帧待叠加的毫米波雷达点云的位置坐标，从各自的雷达坐标系下转换到车辆坐标系下，车辆坐标系以车辆后轴中心
为原点，前向为y轴，右向为x轴，上边为z轴。如此，保证了叠加得到的毫米波雷达稠密点云中的点云数据的准确性，不会出现同一物体在毫米波雷达稠密点云中存在多处点云。
70.步骤s20、通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点。
71.作为一种示例，如图3所示，通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点的步骤，包括以下步骤s21～步骤s25：
72.步骤s21、对所述毫米波雷达稠密点云进行体素化处理，得到若干体素。
73.作为一种示例，对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤，包括以下步骤：
74.步骤s211、根据所述毫米波雷达稠密点云的范围，设定每一体素的尺寸；
75.步骤s212、根据每个所述体素的尺寸将所述毫米波雷达稠密点云所在三维空间划分为数个等体积的小空间，得到多个体素。
76.举例说明，所述毫米波雷达稠密点云所在三维空间在高度、宽度和深度维度上的尺寸为[20，20，10]，设定每一体素在高度、宽度和深度维度上的尺寸为[0.2，0.2，0.1]，按照上述设定尺寸生成多个体素，生成的体素的分辨率为100
×
100
×
100。
[0077]
步骤s22、提取每一体素的体素特征，其中，所述体素特征包括所述体素中包含的毫米波雷达点云在体素坐标系下的位置坐标、所述体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的毫米波雷达点云与所述质心的距离。
[0078]
作为一种示例，所述体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标，通过以下质心计算公式计算得到：
[0079][0080]
其中，m表示体素中包含的毫米波雷达点云的个数，(xi，yi，zi)表示体素中的第i个毫米波雷达点云在车辆坐标系下的位置坐标，(xc，yc，zc)表示体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标。
[0081]
作为一种示例，在车辆坐标系下，已知体素中每个毫米波雷达点云的位置坐标和体素中包含的毫米波雷达点云所对应的质心的位置坐标，根据两点之间距离计算公式，计算得到体素中每个毫米波雷达点与质心的距离。
[0082]
作为一种示例，以体素中包含的毫米波雷达点云所对应的质心为原点构建体素坐标系，或者以体素中包含的毫米波雷达点云所对应的中心为原点构建体素坐标系，或者以体素中包含的毫米波雷达点云所对应的重心为原点构建体素坐标系，或者以体素的其中之一个角点为原点构建体素坐标系。需要说明的是，对毫米波雷达稠密点云进行体素化处理，
得到的若干体素的体素坐标系的原点为同一类型原点，且体素坐标系中的x、y、z轴的正向也均相同。
[0083]
步骤s23、将每一所述体素的体素特征输入至点云二分类网络中，输出得到每一所述体素对应的概率预测值，其中，所述点云二分类网络是基于稀疏卷积的神经网络。
[0084]
作为一种示例，以resnet神经网络为基础网络架构，将基础网络架构中的卷积层更换为稀疏卷积层，并在基础网络架构的最后一层全连接层后连接一softmax函数层，以此得到点云二分类网络。
[0085]
在实际应用过程中，将体素特征输入至点云二分类网络中的多层稀疏卷积层进行特征提取，得到空间特征，将空间特征作为点云二分类网络中的最后一层全连接层的输入，最后一层全连接层通过对空间特征加权求和，再经过softmax函数层的映射，得到每一体素属于有效点的概率预测值，将其作为点云二分类网络最后的输出值。
[0086]
作为一种示例，还可以fcn神经网络为基础网络架构，或者以多层感知器(mlp)为基础网络单元。
[0087]
步骤s24、若所述概率预测值大于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于有效点；
[0088]
步骤s25、若所述概率预测值小于等于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于噪点。
[0089]
作为一种示例，预设概率阈值为0.5，即当体素对应的概率预测值大于0.5时，该体素中包含的毫米波雷达点云均属于有效点；当体素对应的概率预测值小于等于0.5时，该体素中包含的毫米波雷达点云均属于噪点。
[0090]
进一步地，由于从毫米波雷达中获取的毫米波雷达点云的位置坐标中的z轴的信息不准确，因此，在对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤之前，还包括：
[0091]
将所述毫米波雷达稠密点云的位置坐标中的z轴值，更新为预设z轴阈值，得到更新后的毫米波雷达稠密点云；
[0092]
所述对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤，包括：
[0093]
对更新后的毫米波雷达稠密点云进行体素化处理，得到若干体素。
[0094]
作为一种示例，预设z轴阈值为[-1,1]中的任一取值。
[0095]
步骤s30、从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。
[0096]
作为一种示例，如图4所示，图4中的左图为降噪前的点云可视化图，图4中的右图为降噪后的点云可视化图。
[0097]
与现有技术中，多帧叠加得到的毫米波稠密点云中存在较多的噪点，质量较低相比，本技术将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。在本技术中，通过点云二分类网络，对多帧叠加后得到的毫米波雷达稠密点云进行分类，确定毫米波雷达稠密点云中每个点属于有效点或者噪点，并将属于噪点的点从毫米波雷达稠密点云中剔
除，进而提升了多帧叠加得到的毫米波稠密点云的质量。
[0098]
在本技术毫米波雷达点云降噪方法的另一实施例中，所述毫米波雷达点云降噪方法还包括点云二分类网络训练方法，点云二分类网络通过如下方式训练得到：
[0099]
步骤a1、构建基于稀疏卷积的预设点云二分类网络。
[0100]
作为一种示例，以resnet神经网络为基础网络架构，将基础网络架构中的卷积层更换为稀疏卷积层，并在基础网络架构的最后一层全连接层后连接一softmax函数层，以此得到点云二分类网络。
[0101]
作为一种示例，还可以fcn神经网络为基础网络架构，或者以多层感知器(mlp)为基础网络单元。
[0102]
步骤a2、获取同一时刻的原始毫米波雷达稠密点云和激光雷达点云，其中，所述原始毫米波雷达稠密点云和所述激光雷达点云均位于同一车辆坐标系下。
[0103]
作为一种示例，如图2所示，车辆的顶部配置了一个激光雷达，当前时刻为激光雷达生成激光雷达点云的时刻。车辆的四角分别配置了一个毫米波雷达，每个毫米波雷达每间隔t1时间生成单帧毫米波雷达点云，将当前时刻的前t＇时间内四个毫米波雷达生成的所有帧毫米波雷达点云进行叠加，得到原始毫米波雷达稠密点云，其中，t＇≥t1。
[0104]
作为一种示例，在将当前时刻的前t时间内四个毫米波雷达生成的所有帧毫米波雷达点云进行叠加之前，需对所有帧待叠加的毫米波雷达点云进行时间同步处理，得到时间同步为当前时刻的毫米波雷达点云。
[0105]
作为一种示例，在将当前时刻的前t＇时间内四个毫米波雷达生成的所有帧毫米波雷达点云进行叠加之前，将所有帧待叠加的毫米波雷达点云的位置坐标，从各自的雷达坐标系下转换到车辆坐标系下，车辆坐标系以车辆后轴中心为原点，前向为y轴，右向为x轴，上边为z轴。同样地，将激光雷达点云的位置，也从其雷达坐标系下转换到车辆坐标系下。
[0106]
步骤a3、基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注，得到所述原始毫米波雷达稠密点云的实际类别标签。
[0107]
作为一种示例，基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注的步骤，包括以下步骤：
[0108]
步骤a31、对所述激光雷达点云和所述原始毫米波雷达稠密点云进行聚类，并对聚类后的激光雷达点云和原始毫米波雷达稠密点云进行关键点提取，得到激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集，其中，所述关键点为每一聚类簇中包含的点云所对应的质心。
[0109]
作为一种示例，采用k-mean聚类算法分别对激光雷达点云和原始毫米波雷达稠密点云进行聚类，得到激光雷达点云对应的多个聚类簇，以及原始毫米波雷达稠密点云对应的多个聚类簇。
[0110]
作为一种示例，计算激光雷达点云对应的多个聚类簇中每一聚类簇中包含的激光雷达点云对应的质心，作为每一聚类簇的关键点，基于激光雷达点云对应的多个聚类簇的关键点，组建激光雷达点云关键点集；计算原始毫米波雷达稠密点云对应的多个聚类簇中每一聚类簇中包含的原始毫米波雷达稠密点云对应的质心，作为每一聚类簇的关键点，基于原始毫米波雷达稠密点云对应的多个聚类簇的关键点，组建原始毫米波雷达稠密点云关键点集。
[0111]
步骤a32、对所述激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集中，存在对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，进行两点之间的距离计算，若所述距离小于预设第一距离阈值，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系进行保留，反之，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系不予保留。
[0112]
作为一种示例，激光雷达点云关键点集中每一关键点对应一个聚类，同样地，原始毫米波雷达稠密点云关键点集中每一关键点也对应一个聚类，计算同一聚类对应的激光雷达点云关键点和原始毫米波雷达稠密点云关键点之间的距离，若距离小于预设第一距离阈值，则保留激光雷达点云关键点和原始毫米波雷达稠密点云关键点之间的对应关系，反之，则不予保留光雷达点云关键点和原始毫米波雷达稠密点云关键点之间的对应关系。其中，同一聚类对应的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，即为存在对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点。
[0113]
作为一种示例，所述预设第一距离阈值，与所述激光雷达点云关键点或者所述原始毫米波雷达稠密点云关键点与所述车辆坐标系的原点之间的距离成正比。即激光雷达点云关键点与车辆坐标系的原点之间的距离越小，则预设第一距离阈值越小；激光雷达点云关键点与车辆坐标系的原点之间的距离越大，则预设第一距离阈值越大。或者原始毫米波雷达稠密点云关键点与车辆坐标系的原点之间的距离越小，则预设第一距离阈值越小；原始毫米波雷达稠密点云关键点与车辆坐标系的原点之间的距离越大，则预设第一距离阈值越大。
[0114]
步骤a33、基于保留对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，从所述激光雷达点云中提取所述激光雷达点云关键点对应聚类簇中的激光雷达点云，从所述原始毫米波雷达稠密点云中提取所述原始毫米波雷达稠密点云关键点对应聚类簇中的原始毫米波雷达稠密点云。
[0115]
作为一种示例，每一激光雷达点云关键点对应一聚类簇，从激光雷达点云中提取激光雷达点云关键点对应类中的激光雷达点云，即提取激光雷达点云关键点对应的聚类簇中的激光雷达点云；同样地，每一原始毫米波雷达稠密点云关键点对应一聚类簇，从原始毫米波雷达稠密点云中提取原始毫米波雷达稠密点云关键点对应类中的原始毫米波雷达稠密点云，即提取原始毫米波雷达稠密点云关键点对应的聚类簇中的原始毫米波雷达稠密点云。
[0116]
步骤a34、计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，若所述距离大于预设第二距离阈值，则将所述原始毫米波雷达稠密点云标注为噪点，反之，则将所述原始毫米波雷达稠密点云标注为有效点。
[0117]
作为一种示例，计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，即计算步骤a33中提取得到的激光雷达点云和原始毫米波雷达稠密点云之间的距离。
[0118]
需要说明的是，在步骤a34中将原始毫米波雷达稠密点云标注为噪点，则原始毫米波雷达稠密点云的实际类别标签为噪点；将原始毫米波雷达稠密点云标注为有效点，则原始毫米波雷达稠密点云的实际类别标签为有效点。
[0119]
步骤a4、对标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素。
[0120]
需要说明的是，步骤a4中对标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素的具体步骤过程，与前一实施例中的步骤s21的具体步骤过程相同，在本实施例中不再赘述。
[0121]
作为一种示例，从标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤，包括：
[0122]
从标注后的原始毫米波雷达稠密点云中随机抽取部分点云，对抽取的点云进行体素化处理，得到若干体素。
[0123]
步骤a5、提取所述体素的体素特征，作为训练样本数据，其中，所述体素特征包括：所述体素中包含的原始毫米波雷达稠密点云在体素坐标系下的位置坐标、所述体素中包含的原始毫米波雷达稠密点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的原始毫米波雷达稠密点云与所述质心的距离。
[0124]
需要说明的是，步骤a5中，提取步骤a4所得到的体素的体素特征的具体步骤过程，与前一实施例中的步骤s22的具体步骤过程相同，在本实施例中不再赘述。
[0125]
步骤a6、将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值。
[0126]
在实际应用过程中，将训练样本数据输入至预设点云二分类网络中的多层系数卷积层进行特征提取，得到空间特征，将空间特征作为点云二分类网络中的最后一层全连接层的输入，最后一层全连接层通过对空间特征加权求和，再经过softmax函数层的映射，得到训练样本数据对应的体素中包含的原始毫米波雷达稠密点云属于有效点的概率预测值。
[0127]
步骤a7、根据所述概率预测值，确定所述训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签。
[0128]
作为一种示例，若概率预测值大于预设概率阈值，则确定训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签为有效点；若概率预测值小于等于预设概率阈值，则确定训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签为噪点。
[0129]
作为一种示例，预设概率阈值为0.5。
[0130]
步骤a8、判断根据所述实际类别标签和所述预测类别标签计算的网络损失是否收敛，若所述网络损失未收敛，则依据所述网络损失，对所述预设点云二分类网络进行更新，并返回执行将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值的步骤及后续步骤，直至所述网络损失收敛，以得到训练好的点云二分类网络。
[0131]
作为一种示例，基于预定损失函数，对原始毫米波雷达稠密点云的实际类别标签和预测类别标签进行损失计算，将计算得到的损失值作为网络损失。
[0132]
作为一种示例，预定损失函数为二值交叉熵。
[0133]
参照图5，图5为本技术实施例方案涉及的硬件运行环境的毫米波雷达点云降噪设备结构示意图。
[0134]
如图5所示，该毫米波雷达点云降噪设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示
屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0135]
本领域技术人员可以理解，图5中示出的结构并不构成对毫米波雷达点云降噪设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0136]
如图5所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及毫米波雷达点云降噪程序。
[0137]
在图5所示的毫米波雷达点云降噪设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本技术毫米波雷达点云降噪设备中的处理器1001、存储器1005可以设置在毫米波雷达点云降噪设备中，所述毫米波雷达点云降噪设备通过处理器1001调用存储器1005中存储的毫米波雷达点云降噪程序，实现上述任一项所述的毫米波雷达点云降噪方法的步骤。
[0138]
本技术毫米波雷达点云降噪设备具体实施方式与上述毫米波雷达点云降噪方法各实施例基本相同，在此不再赘述。
[0139]
本技术还提供一种毫米波雷达点云降噪装置，所述装置包括：
[0140]
预处理模块，用于将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；
[0141]
分类模块，用于通过训练得到的点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；
[0142]
降噪模块，用于从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。
[0143]
在本技术的一种可能的实施方式中，所述分类模块包括：体素化单元，用于对所述毫米波雷达稠密点云进行体素化处理，得到若干体素；特征提取单元，用于提取每一体素的体素特征，其中，所述体素特征包括所述体素中包含的毫米波雷达点云在体素坐标系下的位置坐标、所述体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的毫米波雷达点云与所述质心的距离；概率预测单元，用于将每一所述体素的体素特征输入至点云二分类网络中，输出得到每一所述体素对应的概率预测值，其中，所述点云二分类网络是基于稀疏卷积的神经网络；分类单元，用于若所述概率预测值大于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于有效点；若所述概率预测值小于等于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于噪点；
[0144]
和/或者所述分类模块还包括：更新单元，用于将所述毫米波雷达稠密点云的位置坐标中的z轴值，更新为预设z轴阈值，得到更新后的毫米波雷达稠密点云；所述体素化单元用于对更新后的毫米波雷达稠密点云进行体素化处理，得到若干体素；
[0145]
和/或者所述装置还包括网络训练模块，所述网络训练模块包括：构建单元，用于构建基于稀疏卷积的预设点云二分类网络；点云数据获取单元，用于获取同一时刻的原始毫米波雷达稠密点云和激光雷达点云，其中，所述原始毫米波雷达稠密点云和所述激光雷达点云均位于同一车辆坐标系下；标注单元，用于基于所述激光雷达点云，对所述原始毫米
波雷达稠密点云进行标注，得到所述原始毫米波雷达稠密点云的实际类别标签；训练样本数据获取单元，用于对标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素，以及提取所述体素的体素特征，作为训练样本数据，其中，所述体素特征包括：所述体素中包含的原始毫米波雷达稠密点云在体素坐标系下的位置坐标、所述体素中包含的原始毫米波雷达稠密点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的原始毫米波雷达稠密点云与所述质心的距离；训练单元，用于将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值；并根据所述概率预测值，确定所述训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签；以及判断根据所述实际类别标签和所述预测类别标签计算的网络损失是否收敛，若所述网络损失未收敛，则依据所述网络损失，对所述预设点云二分类网络进行更新，并返回执行将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值的步骤及后续步骤，直至所述网络损失收敛，以得到训练好的点云二分类网络；
[0146]
和/或者所述标注单元包括：第一提取子单元，用于对所述激光雷达点云和所述原始毫米波雷达稠密点云进行聚类，并对聚类后的激光雷达点云和原始毫米波雷达稠密点云进行关键点提取，得到激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集，其中，所述关键点为每一聚类簇中包含的点云所对应的质心；对应关系验证子单元，用于对所述激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集中，存在对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，进行两点之间的距离计算，若所述距离小于预设第一距离阈值，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系进行保留，反之，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系不予保留；第二提取子单元，用于基于保留对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，从所述激光雷达点云中提取所述激光雷达点云关键点对应聚类簇中的激光雷达点云，从所述原始毫米波雷达稠密点云中提取所述原始毫米波雷达稠密点云关键点对应聚类簇中的原始毫米波雷达稠密点云；标注子单元，用于计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，若所述距离大于预设第二距离阈值，则将所述原始毫米波雷达稠密点云标注为噪点，反之，则将所述原始毫米波雷达稠密点云标注为有效点；
[0147]
和/或者所述预设第一距离阈值，与所述激光雷达点云关键点或者所述原始毫米波雷达稠密点云关键点与所述车辆坐标系的原点之间的距离成正比。
[0148]
本技术毫米波雷达点云降噪装置的具体实施方式与上述毫米波雷达点云降噪方法各实施例基本相同，在此不再赘述。
[0149]
本技术还提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的毫米波雷达点云降噪方法的步骤。
[0150]
本技术存储介质具体实施方式与上述毫米波雷达点云降噪方法各实施例基本相同，在此不再赘述。
[0151]
本技术还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述的毫米波雷达点云降噪方法的步骤。
[0152]
本技术计算机程序产品的具体实施方式与上述毫米波雷达点云降噪方法各实施
例基本相同，在此不再赘述。
[0153]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0154]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0155]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0156]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。