本发明涉及一种基于多模态联合感知的三维点云数据补全方法,属于点云补全。
背景技术:
1、随着扫描设备与三维重构技术的飞速发展,点云作为一种最简单灵活的数据结构,已在机器人导航、虚拟/增强现实、自动驾驶等多个领域得到广泛应用。在这些应用场景中,获取完整的点云数据是非常必要的,然而由于视线遮挡或采集距离过远,得到的点云数据总是存在内容残缺的问题。点云补全技术能够有效地推断出缺失的点云信息,从而实现对完整点云的重建或补充。
2、传统的点云补全技术仅分析和预测单模态点云数据进行形状恢复。然而,3d传感器的低扫描分辨率等问题通常导致捕获的点云具有固有稀疏性,并且点云数据的可用信息有限,仅使用单模态点云推断缺失部分存在很大的不确定性,因此单模态点云补全是具有挑战性的。值得注意的是,现有技术已经能够将从2d图像学到的经验映射到对3d世界的理解,并且成功地实现了从2d图像经验中推断重建出3d物体的形状,因此,点云补全技术可以从2d图像中受益的假设是合理的。与此同时,随着硬件成本的降低,带有rgb摄像头的3d扫描仪、深度相机等跨传感器的设置越来越普遍,得到的点云数据是伴随着一一对应的2d图像的,这同样也是联合图像模态完成点云补全任务的优势。到目前为止,利用额外模态的数据补充点云缺失信息进行增强的技术相对较少,补全点云的质量仍需进一步提高。
技术实现思路
1、为解决背景技术中存在的问题,本发明提供一种基于多模态联合感知的三维点云数据补全方法。
2、实现上述目的,本发明采取下述技术方案:
3、方案一:
4、一种基于多模态联合感知的三维点云数据补全方法,所述方法包括如下步骤:
5、s1:粗粒度完整模型生成;
6、s101:采用预训练的clip视觉大模型或resnet18提取单视图的图像特征;
7、s102:利用pointnet提取点云特征;
8、s103:综合利用s101获取的图像特征与s102提取出的点云特征生成形状潜码,指导扩散模型进行塑形生成完整但粗糙的初始点云。
9、s2:细粒度纹理优化。
10、s201:将s1得到的初始点云与不完整输入点云进行拼接,得到中间点云;
11、s202:对s201得到的中间点云进行最远点采样,得到过程点云;
12、s20201:输入s201得到的中间点云,选择距点云重心最远的点作为起始点p0,得到采样点集合{p0};
13、s20202:计算除起始点p0外的所有点到起始点p0的欧式距离,选取欧式距离值中最大值对应的点记为第一远点p1,并更新采样点集合{p0,p1};
14、s20203:计算其中一个未采样点到所有已采样点的欧式距离,并选取最近距离;
15、s20204:依据s20203对所有的未采样点依次进行计算,得到最近距离合集;
16、s20205:选取最近距离合集中最大值对应的点记为第二远点p2,并更新采样点集合{p0,p1,p2};
17、s20206:重复s20203-s20205直至采完n’个目标点后得到最终的采样点集合{p0,p1,……,pn’-1,pn’},即:过程点云。
18、s203:基于非局部相似性,计算s202得到的过程点云与不完整输入点云之间的几何关系与特征距离,生成s202得到的过程点云的坐标偏移;
19、s20301:将不完整输入点云和s202得到的过程点云分别输入到相同的动态图卷积神经网络中得到特征f1和特征f2;
20、s20302:通过点积计算特征f1和特征f2的特征相似度,通过欧式距离计算不完整输入点云和过程点云的坐标距离;
21、s20303:将特征相似度和坐标距离结合得到距离矩阵;
22、s20304:基于非局部相似性,对于过程点云中的每个点,在整个距离矩阵中取前k个最近距离对应的k个点,在特征f1中找到k个点对应的k个特征,对k个特征分别进行最大池化和平均池化,求得k个特征的最大值特征与平均值特征;
23、s20305:将k个特征的最大值特征和平均值特征与过程点云相应位置的特征f2、过程点云相应位置的坐标进行拼接得到拼接特征;
24、s20306:对过程点云中的所有点通过拼接特征进行处理得到特征f;
25、s20307:将特征f输入到mlp中,输出过程点云中每个点的坐标偏移值。
26、s204:利用掩码机制调整坐标偏移,采用不同的偏移策略处理s202得到的过程点云中来自不完整输入点云的高质量点和来自s1得到的初始点云的低质量点,细化塑形网络的粗糙输出,得到补全的高质量完整点云。
27、s20401:将s202得到的过程点云中来自不完整输入点云的高质量点的掩码值设为0,覆盖生成的坐标偏移,限制精细部分的点的移动;
28、s20402:将s202得到的过程点云中来自s1获得的初始点云的低质量点的掩码值设为1,正常进行偏移;
29、s20403:用s20401的掩码值和s20402的掩码值分别与坐标偏移相乘,得到新的坐标偏移值;
30、s20404:用s202得到的过程点云的坐标加上s20403得到的新的坐标偏移值,输出补全的高质量的完整点云。
31、方案二:
32、一种基于多模态联合感知的三维点云数据补全方法,所述方法包括如下步骤:
33、s1:粗粒度完整模型生成;
34、s101:采用预训练的clip视觉大模型或resnet18提取单视图的图像特征;
35、s102:从正方体或球体表面均匀采样n个点,初始化一个包含n个点的3d体素点集;
36、s103:将s101获取的图像特征复制n次后拼接到3d体素点集的坐标后得到特征f’;
37、s104:将特征f’输入到mlp中生成完整但粗糙的初始点云。
38、s2:细粒度纹理优化。
39、s201:将s1得到的初始点云与不完整输入点云进行拼接,得到中间点云;
40、s202:对s201得到的中间点云进行最远点采样,得到过程点云;
41、s20201:输入s201得到的中间点云,选择距点云重心最远的点作为起始点p0,得到采样点集合{p0};
42、s20202:计算除起始点p0外的所有点到起始点p0的欧式距离,选取欧式距离值中最大值对应的点记为第一远点p1,并更新采样点集合{p0,p1};
43、s20203:计算其中一个未采样点到所有已采样点的欧式距离,并选取最近距离;
44、s20204:依据s20203对所有的未采样点依次进行计算,得到最近距离合集;
45、s20205:选取最近距离合集中最大值对应的点记为第二远点p2,并更新采样点集合{p0,p1,p2};
46、s20206:重复s20203-s20205直至采完n’个目标点后得到最终的采样点集合{p0,p1,……,pn’-1,pn’},即:过程点云。
47、s203:基于非局部相似性,计算s202得到的过程点云与不完整输入点云之间的几何关系与特征距离,生成s202得到的过程点云的坐标偏移;
48、s20301:将不完整输入点云和s202得到的过程点云分别输入到相同的动态图卷积神经网络中得到特征f1和特征f2;
49、s20302:通过点积计算特征f1和特征f2的特征相似度,通过欧式距离计算不完整输入点云和过程点云的坐标距离;
50、s20303:将特征相似度和坐标距离结合得到距离矩阵;
51、s20304:基于非局部相似性,对于过程点云中的每个点,在整个距离矩阵中取前k个最近距离对应的k个点,在特征f1中找到k个点对应的k个特征,对k个特征分别进行最大池化和平均池化,求得k个特征的最大值特征与平均值特征;
52、s20305:将k个特征的最大值特征和平均值特征与过程点云相应位置的特征f2、过程点云相应位置的坐标进行拼接得到拼接特征;
53、s20306:对过程点云中的所有点通过拼接特征进行处理得到特征f;
54、s20307:将特征f输入到mlp中,输出过程点云中每个点的坐标偏移值。
55、s204:利用掩码机制调整坐标偏移,采用不同的偏移策略处理s202得到的过程点云中来自不完整输入点云的高质量点和来自s1得到的初始点云的低质量点,细化塑形网络的粗糙输出,得到补全的高质量完整点云。
56、s20401:将s202得到的过程点云中来自不完整输入点云的高质量点的掩码值设为0,覆盖生成的坐标偏移,限制精细部分的点的移动;
57、s20402:将s202得到的过程点云中来自s1获得的初始点云的低质量点的掩码值设为1,正常进行偏移;
58、s20403:用s20401的掩码值和s20402的掩码值分别与坐标偏移相乘,得到新的坐标偏移值;
59、s20404:用s202得到的过程点云的坐标加上s20403得到的新的坐标偏移值,输出补全的高质量的完整点云。
60、方案三:
61、一种基于多模态联合感知的三维点云数据补全方法,所述方法包括如下步骤:
62、s1:粗粒度完整模型生成;
63、s101:采用预训练的clip视觉大模型或resnet18提取单视图的图像特征;
64、s102:向不完整输入点云中添加高斯噪声,初始化一个包含n个点的3d点集;
65、s103:将s101获取的图像特征复制n次后拼接到3d点集的坐标后得到特征f’;
66、s104:将特征f’输入到mlp中生成完整但粗糙的初始点云。
67、s2:细粒度纹理优化。
68、s201:将s1得到的初始点云与不完整输入点云进行拼接,得到中间点云;
69、s202:对s201得到的中间点云进行最远点采样,得到过程点云;
70、s20201:输入s201得到的中间点云,选择距点云重心最远的点作为起始点p0,得到采样点集合{p0};
71、s20202:计算除起始点p0外的所有点到起始点p0的欧式距离,选取欧式距离值中最大值对应的点记为第一远点p1,并更新采样点集合{p0,p1};
72、s20203:计算其中一个未采样点到所有已采样点的欧式距离,并选取最近距离;
73、s20204:依据s20203对所有的未采样点依次进行计算,得到最近距离合集;
74、s20205:选取最近距离合集中最大值对应的点记为第二远点p2,并更新采样点集合{p0,p1,p2};
75、s20206:重复s20203-s20205直至采完n’个目标点后得到最终的采样点集合{p0,p1,……,pn’-1,pn’},即:过程点云。
76、s203:基于非局部相似性,计算s202得到的过程点云与不完整输入点云之间的几何关系与特征距离,生成s202得到的过程点云的坐标偏移;
77、s20301:将不完整输入点云和s202得到的过程点云分别输入到相同的动态图卷积神经网络中得到特征f1和特征f2;
78、s20302:通过点积计算特征f1和特征f2的特征相似度,通过欧式距离计算不完整输入点云和过程点云的坐标距离;
79、s20303:将特征相似度和坐标距离结合得到距离矩阵;
80、s20304:基于非局部相似性,对于过程点云中的每个点,在整个距离矩阵中取前k个最近距离对应的k个点,在特征f1中找到k个点对应的k个特征,对k个特征分别进行最大池化和平均池化,求得k个特征的最大值特征与平均值特征;
81、s20305:将k个特征的最大值特征和平均值特征与过程点云相应位置的特征f2、过程点云相应位置的坐标进行拼接得到拼接特征;
82、s20306:对过程点云中的所有点通过拼接特征进行处理得到特征f;
83、s20307:将特征f输入到mlp中,输出过程点云中每个点的坐标偏移值。
84、s204:利用掩码机制调整坐标偏移,采用不同的偏移策略处理s202得到的过程点云中来自不完整输入点云的高质量点和来自s1得到的初始点云的低质量点,细化塑形网络的粗糙输出,得到补全的高质量完整点云。
85、s20401:将s202得到的过程点云中来自不完整输入点云的高质量点的掩码值设为0,覆盖生成的坐标偏移,限制精细部分的点的移动;
86、s20402:将s202得到的过程点云中来自s1获得的初始点云的低质量点的掩码值设为1,正常进行偏移;
87、s20403:用s20401的掩码值和s20402的掩码值分别与坐标偏移相乘,得到新的坐标偏移值;
88、s20404:用s202得到的过程点云的坐标加上s20403得到的新的坐标偏移值,输出补全的高质量的完整点云。
89、与现有技术相比,本发明的有益效果是:
90、1、本发明区别于以往的跨模态融合技术,提出了基于扩散模型完成跨模态的形状融合,并同时利用视觉大模型提取的图像特征与点云特征生成形状潜码指导扩散模型,实现了图像域到点云域的转移;
91、2、本发明区别于以往的计算局部相似性来细化粗糙点云的方法,本发明基于非局部相似性利用掩码机制生成坐标偏移,实现了跨层级细化粗糙输出,生成更高质量的点云。