一种多级多尺度点云补全方法、系统、设备及存储介质与流程

本发明属于3维计算机视觉、人工智能领域，尤其涉及一种多级多尺度点云补全方法、系统、设备及存储介质。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、传感器和深度学习技术的发展使得3维视觉技术越来越受关注，3维视觉技术在场景理解、数字化产品设计与制造、机器人等领域有重要意义；点云（point cloud）作为3维技术的重要的数据格式，因其具有保持几何和语义信息的作用而备受关注。

3、点云通常通过传感器、雷达等设备直接获取，但由于遮挡、反光、噪声等原因造成点云数据不完整；不完整的点云数据缺失了部分几何信息和语义信息，对后续的3维视觉任务影响颇大，尤其是对于巡检、安防等用途的机器人，可能造成严重后果，因此补全点云数据成为了一项重要的基础研究。

4、现有的点云补全方法往往关注点云的全局特征，尽管全局特征带来了具有判别力的语义信息，但容易忽略一些局部的细节，造成模型不鲁棒；而且从单一尺度上学习的特征难以全面地学习全局和局部特征，因此现有方法存在局部细节丢失和修复不完全的问题，整体补全效果不佳。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了一种多级多尺度点云补全方法、系统、设备及存储介质，通过多级多尺度方法和点云金字塔transformer，解决云补全中局部细节丢失和修复不完全的问题，提高残缺点云的补全质量和效率。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、本发明第一方面提供了一种多级多尺度点云补全方法；

4、一种多级多尺度点云补全方法，包括：

5、步骤s1：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；

6、步骤s2：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；

7、其中，所述点云重建网络，包括多级多尺度融合模块、点云金字塔transformer和判别器；

8、所述多级多尺度融合模块，基于多尺度下的物体级点云，构建多尺度下的部位级点云，并对物体级点云和部位级点云进行多级多尺度融合，得到点云特征；

9、所述点云金字塔transformer，基于点云特征，预测补全点云；

10、所述判别器，将点云金字塔transformer预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云。

11、进一步的，所述预处理，具体为：

12、采用随机均匀采样，从待补全的残缺点云数据中采样预设个数个点，组成第一尺度的物体级点云；

13、对第一尺度的物体级点云进行多个尺度的降采样，得到多个尺度下的物体级点云。

14、进一步的，所述基于多尺度下的物体级点云，构建多尺度下的部位级点云，是将物体级点云分成预设个数个局部组，每个局部组作为一个部位级点云，具体步骤为：

15、计算物体级点云中任意两个点之间的距离；

16、依据距离，计算点密度和相对距离；

17、基于点密度和相对距离，计算点的密度峰值；

18、基于密度峰值和距离，对物体级点云中的点进行分组。

19、进一步的，所述对物体级点云和部位级点云进行多级多尺度融合，具体步骤为：

20、从每个尺度的物体级点云和部位级点云中分别提取全局特征和局部特征；

21、将提取的全局特征和局部特征进行交叉注意力融合，得到尺度特征；

22、将得到的多个尺度特征进行相加融合，得到点云特征。

23、进一步的，所述物体级点云，通过点云卷积pointconv提取全局特征，所述部位级点云，通过点云transform提取局部特征。

24、进一步的，所述点云金字塔transformer，包括三层transformer编码器、两个点云卷积pointconv和感知机；

25、融合后的点云特征输入到transformer 编码器中，每两个transformer编码器之间连接一个点云卷积pointconv，用于调整编码后的点云数量，最后一个transformer编码器连接到感知机，进行缺失部位预测重建，重建后的缺失部位与残缺点云数据组合，得到补全后的点云数据。

26、进一步的，所述判别器，由相互连接的编码器和感知机组成；

27、将预测的补全点云和真实完整点云分别输入到由点云卷积pointconv组成的编码器中，编码后的特征输入到感知机中，输出两个真假概率，基于真假概率，判别点云重建的效果。

28、本发明第二方面提供了一种多级多尺度点云补全系统。

29、一种多级多尺度点云补全系统，包括预处理模块和点云补全模块：

30、所述预处理模块，被配置为：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；

31、所述点云补全模块，被配置为：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；

32、其中，所述点云重建网络，包括多级多尺度融合模块、点云金字塔transformer和判别器；

33、所述多级多尺度融合模块，基于多尺度下的物体级点云，构建多尺度下的部位级点云，并对物体级点云和部位级点云进行多级多尺度融合，得到点云特征；

34、所述点云金字塔transformer，基于点云特征，预测补全点云；

35、所述判别器，将点云金字塔transformer预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云。

36、本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种多级多尺度点云补全方法中的步骤。

37、本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种多级多尺度点云补全方法中的步骤。

38、以上一个或多个技术方案存在以下有益效果：

39、本发明构建包括点云金字塔transformer和判别器的点云重建网络，点云金字塔transformer用于对缺失部位的点云进行预测，而判别器用于对点云重建网络进行对抗训练，从而高质量高效率补全残缺点云数据。

40、本发明通过多级多尺度的点云构建、特征提取和特征融合方法，帮助点云重建网络学习有判别力的全局特征和局部保留几何信息的细节语义，逐渐学习高级语义，从而更好地预测缺失部位的点云。

41、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种多级多尺度点云补全方法，其特征在于，包括：

2.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述预处理，具体为：

3.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述基于多尺度下的物体级点云，构建多尺度下的部位级点云，是将物体级点云分成预设个数个局部组，每个局部组作为一个部位级点云，具体步骤为：

4.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述对物体级点云和部位级点云进行多级多尺度融合，具体步骤为：

5.如权利要求4所述的一种多级多尺度点云补全方法，其特征在于，所述物体级点云，通过点云卷积pointconv提取全局特征，所述部位级点云，通过点云transform提取局部特征。

6.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述点云金字塔transformer，包括三层transformer编码器、两个点云卷积pointconv和感知机；

7.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述判别器，由相互连接的编码器和感知机组成；

8.一种多级多尺度点云补全系统，其特征在于，包括预处理模块和点云补全模块：

9.一种电子设备，其特征是，包括：

10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

技术总结
本发明提出了一种多级多尺度点云补全方法、系统、设备及存储介质，涉及3维计算机视觉、人工智能领域，对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；点云重建网络，包括多级多尺度融合模块、点云金字塔Transformer和判别器；判别器用于将预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云；本发明通过多级多尺度融合和点云金字塔Transformer，解决云补全中局部细节丢失和修复不完全的问题，提高残缺点云的补全质量和效率。

技术研发人员：杨纪冲,薛冰,徐龙生,庞先昂,庞士玺,孙振行,鲁凤香
受保护的技术使用者：山东省凯麟环保设备股份有限公司
技术研发日：
技术公布日：2024/1/12