一种三维重建方法、装置及终端与流程

本技术涉及三维建模，尤其涉及一种三维重建方法、装置及终端。

背景技术：

1、通过三维重建技术，人们得以从真实世界获取的准确的数字化模型，进而能够支持任意视角观察场景的任意部分，满足数字化展厅演示、住宅办公区域预览以及影视级制作等各方面的需求，因此室内外场景的数字化广受关注和研究。但是现有的技术主要集中在结构化模型生成方面的研究，如专利cn113888391a-一种室内结构化重建方法 装置及计算机可读存储介质和cn115689867a-一种基于马尔科夫聚类的多房间室内场景结构化重建方法的重建方法；均是通过密集点云数据，提取点云特征获得高级、抽象的结构化模型，虽然满足一般房屋主体的重建，但会丢失重建细节。

技术实现思路

1、有鉴于此，本技术实施例提供一种维重建方法、装置及终端，可以有效解决现有技术中丢失重建细节的问题等。

2、第一方面，本技术实施例提供一种三维重建方法，包括：

3、获取所有视觉图像的线段特征，并根据图像位姿对所述所有视觉图像进行三角化，以获得空间线特征；

4、获取采集的点云地图，将所述点云地图生成三角面片，并对所述点云地图栅格化，形成栅格地图，以获得所述空间线特征与所述栅格地图的关联关系；

5、将所述空间线特征根据预设聚合标准进行平面特征聚合；

6、根据所述空间线特征与所述栅格地图的关联关系，构建所述三角面片与所述空间线特征的误差方程，并根据所述误差方程对所述三角面片进行优化，获得优化后三角面片；

7、对所述优化后三角面片的顶点位置进行优化，获得三维重建模型。

8、在一些实施例中，所述获取所有视觉图像的线段特征，并根据图像位姿对所述所有视觉图像进行三角化，以获得空间线特征包括：

9、通过线段提取器提取所述所有视觉图像中的线段特征；

10、对所述线段特征通过特征描述子进行描述，根据所述线段特征的所述特征描述子对所述所有视觉图像进行图像间的线段匹配；

11、根据线段匹配关系将两两视觉图像的线段进行线段三角化，以获得空间线特征。

12、在一些实施例中，所述将所述空间线特征根据预设聚合标准进行平面特征聚合之前，还包括：

13、根据所述栅格地图，获取与预设平面邻近的线段，并获取所述线段的所述空间线特征；

14、所述将所述空间线特征根据预设聚合标准进行平面特征聚合包括：

15、将所有邻近的所述空间线特征分别进行平面拟合，得到多个拟合平面；

16、将所述多个拟合平面按照预设聚合标准进行平面特征聚合。

17、在一些实施例中，所述将所述多个拟合平面按照预设聚合标准进行平面特征聚合包括：

18、初始化第一个所述拟合平面，作为一个平面类别；

19、遍历所有的拟合平面，计算每个所述拟合平面邻近的三角面片顶点到当前拟合平面的平均距离；

20、若所述平均距离大于第一阈值，则不对所述当前拟合平面做聚合；

21、若所述平均距离小于等于所述第一阈值，则计算所述当前拟合平面与所有平面类别的各个相似度；

22、从所述各个相似度中获取相似度最大值及所述相似度最大值对应的平面类别；

23、若所述相似度最大值大于等于第二阈值，则将所述当前拟合平面聚合到所述相似度最大值对应的平面类别中；

24、若所述相似度最大值小于所述第二阈值，则初始化所述当前拟合平面，以生成新的平面类别。

25、在一些实施例中，所述将所述空间线特征根据预设聚合标准进行平面特征聚合之后，还包括：

26、滤除错误的所述空间线特征，具体包括：

27、将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上，并计算该线段两端点的像素误差，若像素误差大于预设误差值，则滤除当前空间线特征；或

28、计算每个空间线特征对应线段的端点与对应拟合平面的空间欧式距离，若计算得到的所述空间欧式距离大于预设空间距离，则滤除当前空间线特征。

29、在一些实施例中，所述将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上，并计算该线段两端点的像素误差，若像素误差大于预设误差值，则滤除当前空间线特征包括：

30、对于任意一空间线特征，将与当前空间线特征关联的所述栅格地图中的线段两端点分别投影到多个其他视觉图像上；

31、在像素平面中计算两个端点分别到多个其他视觉图像的距离，并计算两个端点到同一视觉图像上的距离差；

32、计算多个所述距离差的平均值，若所述平均值大于预设误差值，则滤除当前空间线特征。

33、在一些实施例中，所述根据所述空间线特征与所述栅格地图的关联关系，构建所述三角面片与所述空间线特征的误差方程包括：

34、获得每一个所述空间线特征对应的聚合后的平面类别；

35、结合所述空间线特征与所述栅格地图的关联关系，获得每一个所述空间线特征的关联视觉图像集合；

36、根据空间最近邻规则获得与每一个所述空间线特征最近的三角面片顶点集合；

37、根据所述聚合后的平面类别、所述关联视觉图像集合及所述三角面片顶点集合，构建空间距离误差方程和多视觉图像光度一致性误差方程。

38、在一些实施例中，所述对所述优化后三角面片的顶点位置进行优化，获得三维重建模型包括：

39、通过梯度下降法迭代更新所述三角面片的顶点位置，生成三维重建模型；

40、其中，所述通过梯度下降法迭代更新所述三角面片的顶点位置包括：

41、通过第一方程和第二方程计算所述三角面片顶点位置的梯度误差；

42、通过所述第一方程和所述第二方程构建最小二乘方程，计算迭代更新后的三角面片的顶点位置；

43、其中，所述第一方程通过空间距离误差方程获得；所述第二方程通过zncc图像梯度得到。

44、第二方面，本技术实施例提供一种三维重建装置，包括：

45、三角化模块，用于获取所有视觉图像的线段特征，并根据图像位姿对所述所有视觉图像进行三角化，以获得空间线特征；

46、栅格化模块，用于获取采集的点云地图，将所述点云地图生成三角面片，并对所述点云地图栅格化，形成栅格地图，以获得所述空间线特征与所述栅格地图的关联关系；

47、聚合模块，用于将所述空间线特征根据预设聚合标准进行平面特征聚合；

48、误差优化模块，用于根据所述空间线特征与所述栅格地图的关联关系，构建所述三角面片与所述空间线特征的误差方程，并根据所述误差方程对所述三角面片进行优化，获得优化后三角面片；

49、三维重建模型生成模块，用于对所述优化后三角面片的顶点位置进行优化，获得三维重建模型。

50、第三方面，本技术实施例提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述的三维重建方法。

51、本技术的实施例具有如下有益效果：本技术通过将点云地图与视觉图像结合实现线特征增强的三维重建方法，首先通过视觉图像获得空间线特征，然后通过点云地图生成三角面片及栅格地图，进而获得所述空间线特征与所述栅格地图的关联关系，然后将所述空间线特征进行平面特征聚合，进一步地，对三角面片进行优化，并对优化后的三角面片的顶点位置进行优化，最后生成高保真，高细节保持的三维重建模型。