稀疏视角场景重建方法、电子设备和计算机可读存储介质与流程

本申请涉及计算机视觉，特别是涉及一种稀疏视角场景重建方法、电子设备和计算机可读存储介质。

背景技术：

1、三维重建是计算机视觉技术的重要分支，三维重建具体是根据传感器采集的数据推断场景的三维结构，进而生成重建模型。现有技术中，基于图像进行三维重建时，通常需要在目标场景内布置大量的相机，采集众多角度的图像用于三维重建，当目标场景为稀疏视角场景时，任意两个相机之间具有较大的视差，常规的三维重建方式所得到的模型质量较差。有鉴于此，如何提高在稀疏视角场景中进行三维重建的模型质量成为了亟待解决的问题。

技术实现思路

1、本申请主要解决的技术问题是提供一种稀疏视角场景重建方法、电子设备和计算机可读存储介质，能够提高在稀疏视角场景中进行三维重建的模型质量。

2、为解决上述技术问题，本申请第一方面提供一种稀疏视角场景重建方法，包括：获取稀疏视角场景内不同视角下采集的视角图像，基于所述视角图像确定不同视角之间的几何关系，利用所述几何关系确定所述视角图像的像素所匹配的深度信息和三维点云；基于所述三维点云将所述稀疏视角场景分为多个面元组成的面元集合；其中，所述面元对应有面元参数；基于所述视角图像和所述深度信息，对所述面元集合中所述面元的面元参数和所述面元的数量进行迭代优化，直至满足收敛条件，得到所述稀疏视角场景对应的重建模型。

3、为解决上述技术问题，本申请第二方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面所述的方法。

4、为解决上述技术问题，本申请第三方面提供一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面所述的方法。

5、上述方案，获取稀疏视角场景内由不同视角下的相机所采集的视角图像，基于视角图像确定不同视角之间对应的几何关系，从而对齐稀疏视角几何关系，利用几何关系得到视角图像的像素在三维空间内的深度信息，通过几何先验得到的几何关系引导视角图像的像素转换至三维空间得到三维点云。基于三维点云进行面元划分，将稀疏视角场景转换为多个面元组成的面元集合，每个面元对应有各自的面元参数。利用视角图像和深度信息作为面元集合中的面元进行迭代优化的监督依据，对面元的面元参数和面元的数量进行不断优化，直至满足收敛条件后，使面元集合中的面元参数和面元数量与稀疏视角场景具有更高的适配度，从而得到稀疏视角场景对应的重建模型。故此，本申请通过几何先验引导直接在重建模型的构建过程中进行位姿估计和点云计算，对不同光照条件、弱纹理场景有更好的适应能力，在得到三维点云后划分得到面元集合并迭代优化面元参数和面元数量，从而优化渲染质量，获得更好的重建效果，提高在稀疏视角场景中进行三维重建的模型质量。

技术特征：

1.一种稀疏视角场景重建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的稀疏视角场景重建方法，其特征在于，所述获取稀疏视角场景内不同视角下采集的视角图像，基于所述视角图像确定不同视角之间的几何关系，利用所述几何关系确定所述视角图像的像素所匹配的深度信息和三维点云，包括：

3.根据权利要求2所述的稀疏视角场景重建方法，其特征在于，所述获取所述图像对中所述视角图像的图像特征，基于所述图像特征和所述参考坐标系，确定不同视角之间的所述几何关系和所述像素在所述参考坐标系下的参考点云，包括：

4.根据权利要求1所述的稀疏视角场景重建方法，其特征在于，所述基于所述视角图像和所述深度信息，对所述面元集合中所述面元的面元参数和所述面元的数量进行迭代优化，包括：

5.根据权利要求4所述的稀疏视角场景重建方法，其特征在于，所述面元参数包括所述面元的透明度，所述透明度对应有透明度阈值；

6.根据权利要求4所述的稀疏视角场景重建方法，其特征在于，所述至少基于所述渲染质量损失和所述深度损失，对所述面元集合中所述面元的面元参数和所述面元的数量进行迭代优化，包括：

7.根据权利要求1所述的稀疏视角场景重建方法，其特征在于，所述基于所述视角图像和所述深度信息，对所述面元集合中所述面元的面元参数和所述面元的数量进行迭代优化，直至满足收敛条件，得到所述稀疏视角场景对应的重建模型之后，还包括：

8.根据权利要求1-7任一项所述的稀疏视角场景重建方法，其特征在于，所述方法是基于三维重建网络模型实现的，所述三维重建网络模型包括定位网络和渲染网络，所述定位网络用于确定所述视角图像的像素所匹配的深度信息和三维点云，所述渲染网络用于获取所述面元集合并对所述面元集合中所述面元的面元参数和所述面元的数量进行迭代优化；

9.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-8中任一项所述的方法。

技术总结
本申请公开了一种稀疏视角场景重建方法、电子设备和计算机可读存储介质，该方法包括：获取稀疏视角场景内不同视角下采集的视角图像，基于视角图像确定不同视角之间的几何关系，利用几何关系确定视角图像的像素所匹配的深度信息和三维点云；基于三维点云将稀疏视角场景分为多个面元组成的面元集合；其中，面元对应有面元参数；基于视角图像和深度信息，对面元集合中面元的面元参数和面元的数量进行迭代优化，直至满足收敛条件，得到稀疏视角场景对应的重建模型。通过上述方式，本申请能够提高在稀疏视角场景中进行三维重建的模型质量。

技术研发人员：杨心怡,张凯,李乾坤
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/11/11