基于神经辐射场的静态室内场景三维重建方法及系统

本发明涉及人工智能下的三维重建，更为具体地，涉及一种基于神经辐射场的静态室内场景三维重建方法及系统。

背景技术：

1、随着计算机科学和人工智能技术的飞速发展，数字化在演艺活动中的应用日益广泛，各类用户包括研究者、工业界人士以及非技术背景的用户，都对创新的演艺空间开发和利用表现出了浓厚的兴趣。在这种趋势下，实现室内场景的高精度和快速三维重建变得尤为关键。然而，目前市面上的三维重建技术在处理室内环境时，常常面临着重建效果不理想和处理速度缓慢的双重挑战，这在很大程度上制约了实时三维重建技术的推广和应用。

2、现有技术中公开了一种室内场景三维重建方法及装置(公开号：cn118037942a)，通过深度摄像机获取包含待重建室内场景的rgb图像和深度图像，再进行点云转换、配准与融合，得到包含待重建室内场景的三维模型，最后进行表面重建和纹理贴图，从而实现室内场景的三维重建；上述方法存在弊端如下：数据获取及处理，以及迭代最近点算法和稀疏卷积的计算的复杂度较高，导致是在大规模场景中重建过程中的计算资源和时间消耗较大。另外，还公开了一种室内场景三维重建方法及装置(公开号：cn114004941a)，通过利用云设备的强大计算能力进行模型训练和三维模型生成，同时通过边缘设备将隐式模型转换为显式模型；虽然也可以用于大规模室内场景三维重建，但仍然存在弊端如下：1)存在高计算资源需求、系统复杂性、设备及成本问题、模型训练时间长的挑战；2)对设备以及采集人员的专业性要求较高，且不适用于需要快速响应或实时数据的应用场景。以及还公开了一种基于单幅rgb图像的室内场景三维重建方法及系统(公开号：cn111414923a)，通过基于结构知识的室内深度估计网络提高了深度估计的准确性，并通过基于隐式神经表达的室内三维重建网络有效提升了室内重建的整体效果；但是，上述方法仍具有以下弊端：1)在处理高分辨率图像和大规模场景时，深度估计网络的训练和推理过程需要大量的计算资源；2)涉及法向量计算、主方向估计、相机光线计算等多个复杂的计算步骤，对系统的实现和维护提出了较高的要求。

3、因此，亟需一种节省计算资源以及计算步骤的态室内场景三维重建方法。

技术实现思路

1、鉴于上述现有技术中存在的问题，本发明的目的是提供一种基于神经辐射场的静态室内场景三维重建方法及系统。

2、本发明提供的一种基于神经辐射场的静态室内场景三维重建方法，包括：获取待重建的室内场景的数据；并对所述室内场景的数据进行数据预处理；其中，所述数据预处理包括，采用分区联合双边滤波技术对所述室内场景的数据进行图像降噪处理；

3、基于神经辐射场算法将所述待重建的室内场景空间划分为两个以上参数化的体素网格，并通过参数描述所述体素网格对应的场景信息，重建场景的神经辐射场隐式模型；

4、基于粒子群优化算法，设定初始粒子群和迭代参数，对所述神经辐射场隐式模型的当前各个体素网格的参数组合的性能进行迭代评估，直至获得全局最佳位置对应的各个体素网格的参数组合；将所述全局最佳位置对应的各个体素网格的参数组合作为最佳的参数，获得训练好的神经辐射场隐式模型。

5、其中，可选的方案是，采用分区联合双边滤波技术对所述室内场景的数据进行图像降噪处理的方法包括：

6、对所述静态室内场景图像数据进行区域划分，为每个区域设置不同的置信度权重；在像素值不准确和置信度较低的像素处恢复准确的像素值，并减小滤波后像素值和真实值之间的误差；

7、对所述每个区域进行联合双边滤波，以实现对所述室内场景的数据进行图像降噪处理。

8、其中，可选的方案是，对所述静态室内场景图像数据进行区域划分，为每个区域设置不同的置信度权重，通过以下公式实现：

9、

10、其中，conf(x,y)为置信度，α为调节参数，wconf(x,y)为置信度权重；

11、对所述每个区域进行联合双边滤波，以实现对所述室内场景的数据进行图像降噪处理；通过以下公式实现：

12、

13、其中，wconf(x+i,y+j)为置信度权重，kspace(i,j)为空间滤波核krange(d(x+i,y+j)),d(x,y)为范围的滤波核，为滤波后的像素值。

14、其中，可选的方案是，所述数据预处理还包括，

15、对所述室内场景的数据进行抽帧处理获得静态室内场景图像数据；

16、通过opencv库中的径向畸变模型对所述静态室内场景图像数据进行校准；

17、对所述校准后的静态室内场景图像数据进行降噪处理；

18、通过colmap软件处理，基于降噪处理后的所述静态室内场景图像数据获得包含相机参数和每张图像位姿的json文件。

19、其中，可选的方案是，通过colmap软件处理，基于降噪处理后的所述静态室内场景图像数据获得包含相机参数和每张图像位姿的json文件的方法包括，

20、使用colmap软件对场景中的相机进行姿势估计；

21、根据colmap输出的相机姿势，生成相应的变换矩阵；

22、根据是否需要保持colmap软件使用的坐标系，对变换矩阵进行调整；

23、利用调整后的变换矩阵，计算所有摄像机的中心点；

24、根据nerf处理的需求，对摄像机的位置进行微调；将调整后的摄像机位置和所有摄像机的中心点进行整合后写入json文件。

25、其中，可选的方案是，在所述基于神经辐射场算法将所述待重建的室内场景空间划分为两个以上参数化的体素网格步骤中，根据场景复杂度动态调整所述体素网格的大小。

26、其中，可选的方案是，基于粒子群优化算法，设定初始粒子群和迭代参数，对所述神经辐射场隐式模型的当前各个体素网格的参数组合的性能进行迭代评估，直至获得全局最佳位置对应的各个体素网格的参数组合的实现方法包括，

27、创建一群粒子，并初始化粒子群；其中，每个粒子代表神经辐射场隐式模型的多层感知模型的各个体素网格的参数组合；

28、创建一群为每个粒子随机初始化速度和位置；计算每个粒子的个体最佳位置，在参数空间中找到最小的适应度值；

29、找到整个粒子群中适应度值最佳的粒子，并将所述适应度值最佳的粒子的参数设置作为全局最佳位置；对于每个粒子进行速度和位置更新；

30、对于每个粒子，使用所述粒子对应的当前参数组合来训练神经辐射场隐式模型的多层感知模型，并计算损失函数值作为适应度值，进行适应度评估；其中，当某个粒子的当前适应度值优于所述粒子对应的个体最佳位置的适应度值，则将所述粒子的当前适应度值对应的位置更新为个体最佳位置：当某个粒子的个体最佳位置对应的适应度值优于全局最佳位置的适应度值，则将所述粒子的个体最佳位置更新为全局最佳位置；

31、重复速度和位置更新以及适应度值评估的步骤，直到达到设定的迭代次数或达到收敛条件；当粒子群优化算法收敛或达到迭代次数后，最终得到的全局最佳位置对应的各个体素网格的参数组合。

32、其中，可选的方案是，假设vij表示粒子i在维度j上的速度，xij表示粒子i在维度j上的当前位置，通过以下公式实现对于每个粒子进行速度和位置更新：

33、vij＝w·vij+c1·r1·(pbestij-xij)+c2·r2·(gbestj-xij)

34、xij＝xij+vij

35、其中，pbestij表示粒子i的个体最佳位置在维度j上，gbestj表示全局最佳位置在维度j上，w是惯性权重，c1和c2是加速因子，r1和r2是随机数。

36、另一方面，本发明还提供一种基于神经辐射场的静态室内场景三维重建系统，基于如前所述的基于神经辐射场的静态室内场景三维重建方法进行的三维重建，包括：

37、预处理单元，用于获取待重建的室内场景的数据；并对所述室内场景的数据进行数据预处理；其中，所述数据预处理包括，采用分区联合双边滤波技术对所述室内场景的数据进行图像降噪处理；

38、体素化单元，用于基于神经辐射场算法将所述待重建的室内场景空间划分为两个以上参数化的体素网格，并通过参数描述所述体素网格对应的场景信息，重建场景的神经辐射场隐式模型；

39、模型训练单元，用于基于粒子群优化算法，设定初始粒子群和迭代参数，对所述神经辐射场隐式模型的当前各个体素网格的参数组合的性能进行迭代评估，直至获得全局最佳位置对应的各个体素网格的参数组合；将所述全局最佳位置对应的各个体素网格的参数组合作为最佳的参数，获得训练好的神经辐射场隐式模型。

40、再一方面，本发明还提供一种电子设备，所述电子设备包括：

41、至少一个处理器；以及，

42、与所述至少一个处理器通信连接的存储器；其中，

43、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的基于神经辐射场的静态室内场景三维重建方法中的步骤。

44、从上面的技术方案可知，本发明提供的基于神经辐射场的静态室内场景三维重建方法及系统，通过基于神经辐射场算法将所述待重建的室内场景空间划分为两个以上参数化的体素网格；进而利用粒子群优化算法对神经辐射场隐式模型进行训练；一方面降低了对采集设备以及采集人员的专业性要求；另一方面减少了计算资源需求和计算系统复杂度；实现了非专业用户也能快速、准确地完成静态室内场景的三维重建；同时提高了三维重建的效率和质量；本发明的基于神经辐射场的静态室内场景三维重建方法，尤其适合于需要即时数据和快速反应的应用场景。