基于常识信息的三维重建方法、电子设备和存储介质与流程

本申请的所公开实施例涉及计算机视觉，且更具体而言，涉及一种基于常识信息的三维重建方法、电子设备和存储介质。

背景技术：

1、三维重建技术在虚拟现实、游戏开发、建筑设计、智能制造等领域具有广泛的应用前景，可以推动相关行业的创新和发展，然而传统的三维重建技术主要依赖于传感器捕捉的几何和纹理数据，这些数据通常仅提供了物体或场景的表面形状与外观信息，而缺乏对物体内部结构的深入理解，因此，基于传统三维重建技术进行重建得到的结果的准确性和完整性有待提高。

技术实现思路

1、根据本申请的实施例，本申请提出一种基于常识信息的三维重建方法、电子设备和存储介质，以解决上述问题。

2、本申请的第一方面公开了基于常识信息的三维重建方法，获取至少一种数据；利用多模态学习模型，从所述至少一种数据中提取常识特征，所述常识特征用于表征所述至少一种数据所表示的三维场景；基于所述常识特征进行三维重建，得到所述三维场景的三维模型，实现重建所述三维场景。

3、在一些实施例中，所述利用多模态学习模型，从所述至少一种数据中提取常识特征，包括：利用所述多模态学习模型，将所述至少一种数据编码为特征数据；利用所述多模态学习模型，将所述特征数据解码为所述常识特征。

4、在一些实施例中，所述至少一种数据包括图像数据、文本数据、传感器数据和结构化数据中的至少一种；所述利用所述多模态学习模型，将所述至少一种数据编码为特征数据，包括：将所述图像数据输入图像编码器，得到图像特征数据；和/或将所述文本数据输入文本编码器，得到文本特征数据；和/或将所述传感器数据输入点云编码器，得到点云特征数据；和/或将所述结构化数据输入结构化信息编码器，得到结构化特征数据。

5、在一些实施例中，所述基于所述常识特征进行三维重建，包括：基于所述常识特征进行场景理解，得到所述三维场景中的场景特征；基于所述常识特征进行物体识别，得到所述三维场景中的物体特征；对所述场景特征与所述物体特征进行匹配，以得到所述场景特征与所述物体特征在所述三维场景中的空间关系。

6、在一些实施例中，所述基于所述常识特征进行三维重建，包括：基于所述常识特征，确定用于所述三维重建的计算资源；利用所述三维重建的计算资源，基于所述常识特征进行所述三维重建。

7、在一些实施例中，所述基于所述常识特征，确定用于所述三维重建的计算资源，包括：基于所述常识特征，对所述三维场景的区域进行评估，得到所述三维场景的区域的重建几何信息；基于所述三维场景的区域的重建几何信息，确定用于所述三维场景的区域的计算资源。

8、在一些实施例中，所述利用所述三维重建的计算资源，基于所述常识特征进行所述三维重建，包括：利用所述三维场景的区域的计算资源，基于所述常识特征，对所述三维场景的区域进行重建。

9、在一些实施例中，所述方法进一步包括：基于所述常识特征与所述三维模型的相关重建特征，对所述三维模型进行平滑处理。

10、本申请第二方面公开了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现第一方面中所述的基于常识信息的三维重建方法。

11、本申请第三方面公开了一种非易失性计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现第一方面中所述的基于常识信息的三维重建方法。

12、本申请的有益效果有：获取至少一种数据，通过利用多模态学习模型，从至少一种数据中提取常识特征，且常识特征用于表征至少一种数据所表示的三维场景，进而基于常识特征进行三维重建，得到三维场景的三维模型，实现重建三维场景，即提高了三维重建技术的准确性和完整性。

技术特征：

1.一种基于常识信息的三维重建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述利用多模态学习模型，从所述至少一种数据中提取常识特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述至少一种数据包括图像数据、文本数据、传感器数据和结构化数据中的至少一种；

4.根据权利要求1所述的方法，其特征在于，所述基于所述常识特征进行三维重建，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述常识特征进行三维重建，包括：

6.根据权利要求5的所述方法，其特征在于，所述基于所述常识特征，确定用于所述三维重建的计算资源，包括：

7.根据权利要求5所述的方法，其特征在于，所述利用所述三维重建的计算资源，基于所述常识特征进行所述三维重建，包括：

8.根据权利要求1所述的方法，其特征在于，进一步包括：

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8任一项所述的基于常识信息的三维重建方法。

10.一种非易失性计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8任一项所述的基于常识信息的三维重建方法。

技术总结
本申请公开了一种基于常识信息的三维重建方法，该方法包括获取至少一种数据；利用多模态学习模型，从所述至少一种数据中提取常识特征，所述常识特征用于表征所述至少一种数据所表示的三维场景；基于所述常识特征进行三维重建，得到所述三维场景的三维模型，实现重建所述三维场景。本申请还公开了电子设备和存储介质。本申请提高了三维重建技术的准确性和完整性。

技术研发人员：贺潇
受保护的技术使用者：深圳元戎启行科技有限公司
技术研发日：
技术公布日：2024/3/5