一种三维重建方法、装置、系统以及存储介质

本发明主要涉及图像处理，具体涉及一种三维重建方法、装置、系统以及存储介质。

背景技术：

1、三维重建是通过从多个视角的二维图像中还原出三维场景或物体的过程，相比手工建模3d场景能节省大量成本。基于模型的表征，可以将三维重建技术分成隐式重建和显式重建。常见的隐式重建使用体素，信号距离函数sdf（signal distance function），占用场op（occupational filed）表征形状，然而隐式重建方法总是在最后合成模型时，采用marching_cube算法，导致模型的点数，面数超出了传统建模软件承受能力，必须使用特殊的查看软件才能使用生成的模型，且很难导出obj文件，并且隐式重建常常依赖3d监督信息，这导致了应用不可推广性。传统显式重建通常需要大量的输入数据，特别是高分辨率的传感器数据，对于复杂的场景或大规模的物体，获取和处理这些数据可能是一项巨大的挑战，需要大量时间和计算资源，且高昂的传感器设备，也让显式重建应用难以推广。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，提供一种三维重建方法、装置、系统以及存储介质。

2、本发明解决上述技术问题的技术方案如下：一种三维重建方法，包括如下步骤：

3、导入原始视频，对所述原始视频进行分割，得到多个图像序列；

4、分别对各个所述图像序列进行分析，得到与各个所述图像序列对应的模型视图透视矩阵以及与各个所述图像序列对应的掩码图像；

5、构建原始矩阵组，通过所述原始矩阵组构建初始重建模型；

6、通过所述初始重建模型分别对各个所述模型视图透视矩阵以及与各个所述图像序列对应的掩码图像进行渲染处理，得到与各个所述图像序列对应的渲染图像；

7、根据所有所述图像序列以及所有所述渲染图像对所述初始重建模型进行优化，得到三维重建模型；

8、导入待重建图像，通过所述三维重建模型对所述待重建图像进行三维重建，得到三维重建结果；

9、所述分别对各个所述图像序列进行分析，得到与各个所述图像序列对应的模型视图透视矩阵以及与各个所述图像序列对应的掩码图像的过程包括：

10、利用运动结构算法分别从各个所述图像序列中提取与各个所述图像序列对应的仿射变换矩阵、与各个所述图像序列对应的图像高度、与各个所述图像序列对应的图像宽度以及与各个所述图像序列对应的相机焦距；

11、利用python工具分别从各个所述图像序列中提取与各个所述图像序列对应的掩码图像；

12、分别对与各个所述图像序列对应的仿射变换矩阵、与各个所述图像序列对应的图像高度、与各个所述图像序列对应的图像宽度以及与各个所述图像序列对应的相机焦距进行矩阵计算，得到与各个所述图像序列对应的模型视图透视矩阵。

13、本发明解决上述技术问题的另一技术方案如下：一种三维重建装置，包括：

14、导入模块，用于导入原始视频；

15、分割模块，用于对所述原始视频进行分割，得到多个图像序列；

16、分析模块，用于分别对各个所述图像序列进行分析，得到与各个所述图像序列对应的模型视图透视矩阵以及与各个所述图像序列对应的掩码图像；

17、构建模块，用于构建原始矩阵组，通过所述原始矩阵组构建初始重建模型；

18、渲染模块，用于通过所述初始重建模型分别对各个所述模型视图透视矩阵以及与各个所述图像序列对应的掩码图像进行渲染处理，得到与各个所述图像序列对应的渲染图像；

19、优化模块，用于根据所有所述图像序列以及所有所述渲染图像对所述初始重建模型进行优化，得到三维重建模型；

20、所述导入模块，还用于导入待重建图像；

21、三维重建结果获得模块，用于通过所述三维重建模型对所述待重建图像进行三维重建，得到三维重建结果；

22、所述分析模块用于：

23、利用运动结构算法分别从各个所述图像序列中提取与各个所述图像序列对应的仿射变换矩阵、与各个所述图像序列对应的图像高度、与各个所述图像序列对应的图像宽度以及与各个所述图像序列对应的相机焦距；

24、利用python工具分别从各个所述图像序列中提取与各个所述图像序列对应的掩码图像；

25、分别对与各个所述图像序列对应的仿射变换矩阵、与各个所述图像序列对应的图像高度、与各个所述图像序列对应的图像宽度以及与各个所述图像序列对应的相机焦距进行矩阵计算，得到与各个所述图像序列对应的模型视图透视矩阵。

26、基于上述一种三维重建方法，本发明还提供一种三维重建系统。

27、本发明解决上述技术问题的另一技术方案如下：一种三维重建系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的三维重建方法。

28、基于上述一种三维重建方法，本发明还提供一种计算机可读存储介质。

29、本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的三维重建方法。

30、本发明的有益效果是：通过对原始视频的分割得到多个图像序列，对图像序列的分析得到模型视图透视矩阵以及掩码图像，通过原始矩阵组构建初始重建模型，通过初始重建模型对模型视图透视矩阵以及掩码图像的渲染处理得到渲染图像，根据图像序列以及渲染图像对初始重建模型的优化得到三维重建模型，通过三维重建模型对待重建图像的三维重建得到三维重建结果，可以仅仅通过2d图像信息监督模型，生成的3d模型具有可观的点面结构与点面数量，在游戏、虚拟现实产业以及数字化文物领域有着重要意义，减少了人工建模带来的人力、财力以及时间成本。

技术特征：

1.一种三维重建方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的三维重建方法，其特征在于，所述仿射变换矩阵包括x轴原点与中心偏移量之和、y轴原点与中心偏移量之和、x轴中心偏移量以及y轴中心偏移量，

3.根据权利要求1所述的三维重建方法，其特征在于，所述原始矩阵组包括四面体顶点三维坐标矩阵和顶点索引矩阵，

4.根据权利要求3所述的三维重建方法，其特征在于，所述根据所有所述图像序列以及所有所述渲染图像对所述初始重建模型进行优化，得到三维重建模型的过程包括：

5.根据权利要求4所述的三维重建方法，其特征在于，所述对所有所述图像序列以及所有所述渲染图像进行损失函数计算，得到目标损失函数的过程包括：

6.一种三维重建装置，其特征在于，包括：

7.一种三维重建系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至5任一项所述的三维重建方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的三维重建方法。

技术总结
本发明提供一种三维重建方法、装置、系统以及存储介质，属于图像处理领域，方法包括：导入原始视频，对原始视频进行分割得到图像序列；对图像序列进行分析得到模型视图透视矩阵以及掩码图像；构建原始矩阵组，通过原始矩阵组构建初始重建模型；通过初始重建模型对模型视图透视矩阵以及掩码图像进行渲染处理得到渲染图像。本发明可以仅仅通过2D图像信息监督模型，生成的3D模型具有可观的点面结构与点面数量，在游戏、虚拟现实产业以及数字化文物领域有着重要意义，减少了人工建模带来的人力、财力以及时间成本。

技术研发人员：肖美华,李承欢,谭睿霄,徐锐涵
受保护的技术使用者：华东交通大学
技术研发日：
技术公布日：2024/1/15