基于点云补全技术的三维点云重建方法及系统

1.本发明涉及三维重建技术领域，具体地，涉及一种基于点云补全技术的三维点云重建方法及系统。


背景技术：

2.三维重建技术通过深度数据获取、预处理、点云配准与融合和生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。在景物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现景物的三维重建。
3.现有的三维点云重建系统的特征提取模块只关注了输入点云的全局特征信息，缺乏对输入点云局部特征信息的感知，进而影响系统重建的点云质量。因此，现有技术存在对输入分布局部特征信息感知能力不佳的问题。
4.专利文献cn113706686a公开了一种三维点云重建结果补全方法，该方法采用迭代预测和修正的方式预测缺失点云，以不完全的三维点云作为输入，构建基于transformer的金字塔编码器，学习点之间的相关性，提取多尺度的全局几何结构和局部细节特征；构建基于transformer的金字塔解码器，充分利用已有点云的全局几何结构和局部细节信息，在多个尺度上迭代预测缺失点云，补全三维点云重建结果。但该方法并未有效地解决现有技术中对于局部特征信息感知能力不佳的问题。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于点云补全技术的三维点云重建方法及系统。
6.根据本发明提供的一种基于点云补全技术的三维点云重建方法，包括如下步骤：
7.多尺度特征提取步骤：对采集到的待重建点云信息进行多尺度特征提取，得到多尺度特征向量；
8.多尺度特征重构步骤：将多尺度特征向量进行特征重构，得到预测缺失部分点云；
9.训练步骤：根据预测缺失部分点云和联和损失函数进行训练，进行三维点云重建。
10.优选地，多尺度特征提取步骤，包括：
11.多尺度特征提取子步骤1：通过迭代最远点采样对待重建点云信息进行下采样处理，得到第一分辨率点云信息和第二分辨率点云信息；
12.多尺度特征提取子步骤2：通过卷积神经网络对待重建点云信息、第一分辨率点云信息和第二分辨率点云信息进行特征提取，得到多尺度特征向量。
13.优选地，多尺度特征重构步骤，包括：
14.多尺度特征重构子步骤1：根据多尺度特征向量，得到第一维度特征向量、第二维度特征向量和第三维度特征向量；
15.多尺度特征重构子步骤2：根据第一维度特征向量、第二维度特征向量和第三维度
特征向量，得到第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云；
16.多尺度特征重构子步骤3：将第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云进行叠加，得到预测缺失部分点云。
17.优选地，训练步骤，包括：
18.训练子步骤1：根据第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云，构建损失函数；
19.训练子步骤2：根据预测缺失部分点云，构建生成对抗损失函数；
20.训练子步骤3：根据损失函数和生成对抗损失函数，得到联和损失函数；
21.训练子步骤4：根据预测缺失部分点云和联和损失函数进行训练，得到三维点云重建模型。
22.优选地，训练步骤，还包括：
23.训练子步骤5：根据三维点云重建模型，进行三维点云重建。
24.根据本发明提供的一种基于点云补全技术的三维点云重建系统，包括：
25.多尺度特征提取模块：对采集到的待重建点云信息进行多尺度特征提取，得到多尺度特征向量；
26.多尺度特征重构模块：将多尺度特征向量进行特征重构，得到预测缺失部分点云；
27.训练模块：根据预测缺失部分点云和联和损失函数进行训练，进行三维点云重建。
28.优选地，多尺度特征提取模块，包括：
29.多尺度特征提取子模块m1：通过迭代最远点采样对待重建点云信息进行下采样处理，得到第一分辨率点云信息和第二分辨率点云信息；
30.多尺度特征提取子模块m2：通过卷积神经网络对待重建点云信息、第一分辨率点云信息和第二分辨率点云信息进行特征提取，得到多尺度特征向量。
31.优选地，多尺度特征重构模块，包括：
32.多尺度特征重构子模块m1：根据多尺度特征向量，得到第一维度特征向量、第二维度特征向量和第三维度特征向量；
33.多尺度特征重构子模块m2：根据第一维度特征向量、第二维度特征向量和第三维度特征向量，得到第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云；
34.多尺度特征重构子模块m3：将第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云进行叠加，得到预测缺失部分点云。
35.优选地训练模块，包括：
36.训练子模块m1：根据第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云，构建损失函数；
37.训练子模块m2：根据预测缺失部分点云，构建生成对抗损失函数；
38.训练子模块m3：根据损失函数和生成对抗损失函数，得到联和损失函数；
39.训练子模块m4：根据预测缺失部分点云和联和损失函数进行训练，得到三维点云重建模型。
40.优选地，训练模块，还包括：
41.训练子模块m5：根据三维点云重建模型，进行三维点云重建。
42.与现有技术相比，本发明具有如下的有益效果：
43.1、本发明通过采用多尺度特征提取，解决了现有三维点云重建系统对输入分布局部特征信息感知能力不佳的问题，提高了三维重建的精度。
44.2、本发明通过自底向上分级预测缺失部分点云而非整体点云的方式，解决了现有三维点云重建无法很好还原原始输入点云分布的问题，有效提高了三维重建的精度。
附图说明
45.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
46.图1为本发明的流程示意图；
47.图2为本发明的多尺度特征提取的示意图；
48.图3为本发明的多尺度特征重构的示意图；
49.图4为本发明的训练步骤的示意图；
50.图5为本发明的三维点云重建的结构示意图。
具体实施方式
51.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
52.图1为本发明的流程示意图，如图1所示，本发明提供了一种基于点云补全技术的三维点云重建方法，包括：
53.多尺度特征提取步骤：对采集到的待重建点云信息进行多尺度特征提取，得到多尺度特征向量。
54.其中，多尺度特征提取步骤，包括：多尺度特征提取子步骤1：通过迭代最远点采样对待重建点云信息进行下采样处理，得到第一分辨率点云信息和第二分辨率点云信息；多尺度特征提取子步骤2：通过卷积神经网络对待重建点云信息、第一分辨率点云信息和第二分辨率点云信息进行特征提取，得到多尺度特征向量。
55.本发明中对于卷积神经网络的类型不做限制，示例性的，可以为多层感知机。
56.可知的是，受制于遮挡、光照反射和目标物体表面材质等因素，在三维建模过程中传感器采集的三维点云往往存在较大面积的缺陷，进而影响三维目标检测和物体识别等下游任务的准确性。
57.在本发明中对传感器采集的带缺陷的待重建点云信息进行多尺度特征提取，得到多尺度特征向量，提取的多尺度特征用于表征先验分布的特征信息和感知缺失部分的空间位置。示例性的，假设输入的不完整点云样本的点数为n，即待重建点云信息，我们通过迭代最远点采样将输入的待重建点云信息下采样得到点数分别为和的不同分辨率的点云信息，示例性的，得到第一分辨率点云信息和第二分辨率点云信息。进一步地，通过多层感
知机对不同分辨率的点云信息进行特征提取，得到了描述不同分辨率点云的特征向量，即多尺度特征向量，多尺度特征向量在不同分辨率下所表征的特征信息有所不同。通过点数较多的待重建点云信息所提取的特征向量更大程度上表征了待重建点云信息的全局特征信息，通过点数较少的待重建点云信息所提取的特征向量更大程度上表征了待重建点云信息的局部特征信息。将不同分辨率下得到的特征向量进行通道合并，且通过多层感知机得到包含待重建点云信息全局和局部特征信息的多尺度特征向量，以对待重建点云信息的空间几何信息进行全面的感知。
58.其中，多层感知机(multilayer perceptron，mlp)也叫人工神经网络(artificial neural network，ann)，除了输入层和输出层，它中间可以有多个隐层，最简单的mlp只含一个隐层，即三层的结构。
59.本发明中对于第一分辨率点云信息和第二分辨率点云信息不做限制，示例性的，假设输入的不完整点云样本的点数为n，将输入的待重建点云信息下采样得到点数分别为和的不同分辨率的点云信息，则点数为n、和的点云信息，对应高分辨率点云信息、中分辨率点云信息和低分辨率点云信息，即第一分辨率点云信息和第二分辨率点云信息可以分别对应中分辨率点云信息和低分辨率点云信息。
60.图2为本发明的多尺度特征提取的示意图，如图2所示，将高分辨率点云信息迭代最远点采样，进行下采样得到中分辨率点云信息，中分辨率点云信息迭代最远点采样，进行下采样得到低分辨率点云信息；然后，将高分辨率点云信息、中分辨率点云信息和低分辨率点云信息通过多层感知机进行特征提取，得到多尺度特征向量。
61.多尺度特征重构步骤：将多尺度特征向量进行特征重构，得到预测缺失部分点云。
62.其中，多尺度特征重构步骤，包括：多尺度特征重构子步骤1：根据多尺度特征向量，得到第一维度特征向量、第二维度特征向量和第三维度特征向量；多尺度特征重构子步骤2：根据第一维度特征向量、第二维度特征向量和第三维度特征向量，得到第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云；多尺度特征重构子步骤3：将第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云进行叠加，得到预测缺失部分点云。
63.本发明中对于第一维度特征向量、第二维度特征向量和第三维度特征向量不做限制，示例性的，可以分别对应高维度特征向量、中维度特征向量和低维度特征向量。进一步地，第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云分别对应低分辨率缺失部分点云、中分辨率缺失部分点云和高分辨率缺失部分点云。
64.本发明中保留了传感器采集的高质量待重建点云信息，仅预测与待重建点云信息对应的潜在缺失部分点云，进而实现对目标物体的高精度三维重建。
65.图3为本发明的多尺度特征重构的示意图，如图3所示，在本发明中将多尺度特征向量经过三层全连接层，得到高维度特征向量、中维度特征向量和低维度特征向量。假设缺失部分点云的点数为m，低维度特征向量、中维度特征向量和高维度特征向量经过全连接层和卷积层即多层感知机分别预测点数为和m的低分辨率缺失部分点云、中分辨率缺失部分点云和高分辨率缺失部分点云。我们将低分辨率缺失部分点云叠加至中分辨率缺失部
分点云，中分辨率缺失部分点云叠加至高分辨率缺失部分点云，得到最终的预测缺失部分点云。这种自底向上叠加的方式将低、中、高分辨率的局部几何特征进行了保留和传播，使得系统最终预测的缺失部分点云与真实点云在分布上更接近。
66.其中，全连接层(fully connected layers，fc)起到“分类器”的作用。
67.训练步骤：根据预测缺失部分点云和联和损失函数进行训练，进行三维点云重建。
68.其中，训练步骤，包括：训练子步骤1：根据第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云，构建损失函数；训练子步骤2：根据预测缺失部分点云，构建生成对抗损失函数；训练子步骤3：根据损失函数和生成对抗损失函数，得到联和损失函数；训练子步骤4：根据预测缺失部分点云和联和损失函数进行训练，得到三维点云重建模型。
69.可知的是，训练步骤，还包括：训练子步骤5：根据三维点云重建模型，进行三维点云重建。
70.具体地，在本发明中将训练所需的联和损失函数分为两个部分，第一部分，针对预测的低分辨率缺失部分点云、中分辨率缺失部分点云和高分辨率缺失部分点云的损失函数。第二部分，是针对高分辨率点云，即预测缺失部分点云的生成对抗损失函数。
71.图4为本发明的训练步骤的示意图，如图4所示，在第一部分，我们采用倒角距离损失函数，使得预测缺失部分点云去靠近缺失部分点云的真值，从而对网络参数进行更新。
72.其中，倒角距离损失函数可以用公式(1)和公式(2)表示：
[0073][0074][0075]
其中，s1表示预测点云集合；s2表示真值点云集合；x表示预测点云集合中的点；y表示真值点云集合中的点；d
cd
(*)表示倒角距离；l
com
表示第一部分训练的损失函数；y
secondary
、y
primary
和y
detail
分别表示预测的低分辨率缺失部分点云、中分辨率缺失部分点云和高分辨率缺失部分点云；y
gt
、y
′
gt
和y
″
gt
分别表示低分辨率缺失部分点云真值、中分辨率缺失部分点云真值和高分辨率缺失部分点云真值。
[0076]
进一步地，对于第二部分，我们引入鉴别器网络来对预测缺失部分点云与缺失部分点云真值进行鉴别，并构建生成对抗损失函数，进而使得预测缺失部分点云在分布上更靠近真值分布。最终，第一部分和第二部分的损失函数共同构建了联合损失函数对进行训练。生成对抗损失函数可以通过公式(3)表示：
[0077][0078]
其中，l
adv
表示第二部分的生成对抗损失函数；d(*)表示鉴别器网络；yi表示缺失部分点云真值；f(xi)表示预测缺失部分点云；i表示第i个样本；s表示样本总集合；xi表示第i个样本的输入点云。
[0079]
其中，联合损失函数可以通过公式(4)表示：
[0080]
l＝λ
com
l
com
+λ
adv
l
adv
；
ꢀꢀꢀ
(4)
[0081]
其中，l表示联合损失函数；λ
com
和λ
adv
分别表示第一部分和第二部分占比的权重。
[0082]
进一步地，输入一个传感器采集的带缺陷的点云样本，通过对输入点云提取包含
局部和全局特征信息的多尺度特征向量，并自底向上地预测缺失部分的点云，最终完成对目标物体的高精度重建。
[0083]
本发明还提供了一种基于点云补全技术的三维点云重建系统，包括：
[0084]
多尺度特征提取模块：对采集到的待重建点云信息进行多尺度特征提取，得到多尺度特征向量。
[0085]
具体地，多尺度特征提取模块，包括：多尺度特征提取子模块m1：通过迭代最远点采样对待重建点云信息进行下采样处理，得到第一分辨率点云信息和第二分辨率点云信息；多尺度特征提取子模块m2：通过卷积神经网络对待重建点云信息、第一分辨率点云信息和第二分辨率点云信息进行特征提取，得到多尺度特征向量。
[0086]
多尺度特征重构模块：将多尺度特征向量进行特征重构，得到预测缺失部分点云。
[0087]
具体地，多尺度特征重构模块，包括：多尺度特征重构子模块m1：根据多尺度特征向量，得到第一维度特征向量、第二维度特征向量和第三维度特征向量；多尺度特征重构子模块m2：根据第一维度特征向量、第二维度特征向量和第三维度特征向量，得到第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云；多尺度特征重构子模块m3：将第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云进行叠加，得到预测缺失部分点云。
[0088]
训练模块：根据预测缺失部分点云和联和损失函数进行训练，进行三维点云重建。
[0089]
具体地，训练模块，包括：训练子模块m1：根据第一分辨率缺失部分点云、第二分辨率缺失部分点云和第三分辨率缺失部分点云，构建损失函数；训练子模块m2：根据预测缺失部分点云，构建生成对抗损失函数；训练子模块m3：根据损失函数和生成对抗损失函数，得到联和损失函数；训练子模块m4：根据预测缺失部分点云和联和损失函数进行训练，得到三维点云重建模型。
[0090]
其中，训练模块，还包括：训练子模块m5：根据三维点云重建模型，进行三维点云重建。
[0091]
图5为本发明的三维点云重建的结构示意图，如图5所示，将待重建点云在多尺度特征提取模块通过迭代最远点采样和卷积神经网络提取输入分布的多尺度特征信息，得到多尺度特征向量，并在多尺度特征重构模块通过自底向上的方式逐级预测不完整点云样本的缺失部分，得到预测缺失部分点云，最终得到重建后的点云，实现对目标物体的高精度重建。
[0092]
本发明解决的技术问题是：
[0093]
1、现有三维点云重建系统的特征提取模块只关注了输入点云的全局特征信息，缺乏对输入点云局部特征信息的感知，进而影响系统重建的点云质量。
[0094]
本发明的技术原理是：
[0095]
本发明使用传感器采集的带缺陷的点云样本作为输入，在多尺度特征提取模块通过迭代最远点采样和卷积神经网络提取输入分布的多尺度特征信息，并在多尺度特征重构模块通过自底向上的方式逐级预测不完整点云样本的缺失部分，最终实现对目标物体的高精度重建。
[0096]
与现有技术相比，本发明具有如下的有益效果：
[0097]
1、本发明通过采用多尺度特征提取，解决了现有三维点云重建系统对输入分布局
部特征信息感知能力不佳的问题，提高了三维重建的精度。
[0098]
2、本发明通过自底向上分级预测缺失部分点云而非整体点云的方式，解决了现有三维点云重建无法很好还原原始输入点云分布的问题，有效提高了三维重建的精度。
[0099]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法子模块m进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0100]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。