一种三维重建的方法、设备及介质与流程

本技术涉及通信领域，尤其涉及一种三维重建的技术。

背景技术：

1、实时三维重建技术的研究和发展已经得到了多年的积累和发展。早期的研究主要集中在基于单摄像头的图像三维重建，这种方法需要大量的计算资源和存储空间，难以实现实时性。随着技术的不断发展，基于多摄像头和深度相机的三维重建技术逐渐成为研究热点。这些方法可以利用多个摄像头和深度相机采集到的图像信息，通过对图像的匹配和分析，得到物体的三维信息。但是，这些方法往往需要精确的相机标定和复杂的计算过程，难以实现实时的三维重建，并且需要额外的深度摄像头，也限制了此类算法的应用领域，泛用性较差。

2、最近几年，随着深度学习和计算机视觉技术的快速发展，基于深度学习的三维重建方法逐渐成为研究热点。这些方法可以利用深度神经网络对图像信息进行学习和分析，得到物体的三维表示。虽然这些方法可以实现实时三维重建，但是需要大量的训练数据和计算资源，难以在移动设备上实现。

3、高精度的场景三维模型通常需要大量的计算资源和存储空间，因此受制于计算量的限制，存在加载缓慢、采集困难、无法实时生成等问题。这些问题限制了其在许多轻量级应用场景中的应用，因此，需要一种低功耗的模型生成技术来解决这些问题。同时，对于许多用户来说，使用体验是非常重要的。如果一项技术需要过多的设置和准备，或者使用起来非常复杂，那么用户的使用体验就会受到影响，甚至会打破用户使用中的沉浸感。因此，即开即用的使用体验也是一项重要的需求。

技术实现思路

1、本技术的一个目的是提供一种三维重建的方法、设备及介质。

2、根据本技术的一个方面，提供了一种三维重建的方法，该方法包括：

3、获取视频输入流的当前帧的二维特征点和所述二维特征点对应的三维地图点；

4、获取所述二维特征点中的至少一个二维特征点对应的三角形列表，其中，所述三角形列表中的每个三角形的每个顶点为所述至少一个二维特征点中的一个二维特征点；

5、对于所述三角形列表中的每个三角形，根据该三角形的每个顶点对应的三维地图点，得到该三角形对应的空间法向量；

6、对于所述至少一个二维特征点对应的每个三维地图点，根据该三维地图点对应的顶点所在的至少一个三角形对应的空间法向量，确定该三维地图点对应的空间法向量；

7、根据所述每个三维地图点及所述每个三维地图点对应的空间法向量，生成所述视频输入流对应的空间三维场景的三角形网络模型。

8、根据本技术的一个方面，提供了一种用于三维重建的计算机设备，该设备包括：

9、处理器；以及

10、被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如下操作：

11、获取视频输入流的当前帧的二维特征点和所述二维特征点对应的三维地图点；

12、获取所述二维特征点中的至少一个二维特征点对应的三角形列表，其中，所述三角形列表中的每个三角形的每个顶点为所述至少一个二维特征点中的一个二维特征点；

13、对于所述三角形列表中的每个三角形，根据该三角形的每个顶点对应的三维地图点，得到该三角形对应的空间法向量；

14、对于所述至少一个二维特征点对应的每个三维地图点，根据该三维地图点对应的顶点所在的至少一个三角形对应的空间法向量，确定该三维地图点对应的空间法向量；

15、根据所述每个三维地图点及所述每个三维地图点对应的空间法向量，生成所述视频输入流对应的空间三维场景的三角形网络模型。

16、根据本技术的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如下操作：

17、获取视频输入流的当前帧的二维特征点和所述二维特征点对应的三维地图点；

18、获取所述二维特征点中的至少一个二维特征点对应的三角形列表，其中，所述三角形列表中的每个三角形的每个顶点为所述至少一个二维特征点中的一个二维特征点；

19、对于所述三角形列表中的每个三角形，根据该三角形的每个顶点对应的三维地图点，得到该三角形对应的空间法向量；

20、对于所述至少一个二维特征点对应的每个三维地图点，根据该三维地图点对应的顶点所在的至少一个个三角形对应的空间法向量，确定该三维地图点对应的空间法向量；

21、根据所述每个三维地图点及所述每个三维地图点对应的空间法向量，生成所述视频输入流对应的空间三维场景的三角形网络模型。

22、根据本技术的一个方面，提供了一种用于三维重建的用户设备，该设备包括：

23、一一模块，用于获取视频输入流的当前帧的二维特征点和所述二维特征点对应的三维地图点；

24、一二模块，用于获取所述二维特征点中的至少一个二维特征点对应的三角形列表，其中，所述三角形列表中的每个三角形的每个顶点为所述至少一个二维特征点中的一个二维特征点；

25、一三模块，用于对于所述三角形列表中的每个三角形，根据该三角形的每个顶点对应的三维地图点，得到该三角形对应的空间法向量；

26、一四模块，用于对于所述至少一个二维特征点对应的每个三维地图点，根据该三维地图点对应的顶点所在的至少一个三角形对应的空间法向量，确定该三维地图点对应的空间法向量；

27、一五模块，用于根据所述每个三维地图点及所述每个三维地图点对应的空间法向量，生成所述视频输入流对应的空间三维场景的三角形网络模型。

28、与现有技术相比，本技术通过获取视频输入流的当前帧的二维特征点和所述二维特征点对应的三维地图点；获取所述二维特征点中的至少一个二维特征点对应的三角形列表，其中，所述三角形列表中的每个三角形的每个顶点为所述至少一个二维特征点中的一个二维特征点；对于所述三角形列表中的每个三角形，根据该三角形的每个顶点对应的三维地图点，得到该三角形对应的空间法向量；对于所述至少一个二维特征点对应的每个三维地图点，根据该三维地图点对应的顶点所在的至少一个三角形对应的空间法向量，确定该三维地图点对应的空间法向量；根据所述每个三维地图点及所述每个三维地图点对应的空间法向量，生成所述视频输入流对应的空间三维场景的三角形网络模型，从而通过提出一种实时三维重建技术，可以从摄像头捕获的二维图像中提取出三维信息，以构建实时的粗略三维模型，不进行传统的稠密深度图估计的耗时过程，而是直接使用传统的视觉估计方法，维护空间中的三维点和对应的法向量集合，这些三维点和法向量代表了场景中的几何形状和表面朝向，可以用于构建粗略的三维模型，本技术可以用于确定场景中的物体大致形状，在物体表面覆盖粗略的网格模型，同时不需要大量的计算资源，可以轻松跑在手机等移动端设备，本技术在经过简单的扫描之后，可以恢复出周围小场景的大致形状，从而可以在环境中摆放虚拟物体，使得真实物体遮挡虚拟物体，或者虚拟物体和真实物体发生物理碰撞。从而进一步提升增强现实体验的真实感，使用户更加深入地感受到虚实融合的效果，本技术可以快速地构建出粗略的三维模型，不需要大量的计算资源和存储空间，因此可以应用于各种轻量级的应用场景中，同时，由于其低功耗的特性，可以长时间运行而不会导致设备过热等问题，从而提供更好的使用体验。