一种利用少量模糊图像重建神经辐射场的方法

本发明属于三维重建，涉及一种神经辐射场重建方法，具体涉及一种能够通过少量具有运动模糊的图像重建出清晰场景的方法，并用于新视图合成。

背景技术：

1、三维重建技术在社会生产和生活中扮演着至关重要的角色，其应用范围涵盖自动驾驶、元宇宙、智慧城市以及智能仓储等多个领域。三维重建就是利用相机采集场景的信息，并在计算机中重建场景的3d模型。传统的三维重建主要依赖于显式的表达方式，例如点云、体素、网格等。虽然这些显示的表达方法能够简洁的表示表面，但是由于他们固有离散的属性以及相机拍摄的精度影响，重建的结果常常出现“孔洞”和伪影，导致场景重建的不连续性。nerf将深度学习与计算机图形学结合，提出了一种基于神经辐射场的隐式表达方式，显著提升了重建效果。

2、nerf技术将相机原点与图像的每个像素连接生成射线并穿过需要重建的场景，然后在这些射线上均匀地采样点。每个点的位置坐标和视角方向被输入到多层感知机（mlp）中，通过学习得到每个点的颜色和体密度。最后根据每个采样点的颜色和体密度，使用体渲染公式将每个像素的颜色渲染出来。整个重建过程使用光度一致性约束优化mlp的参数，学习整个场景信息。由于整个重建的过程是可微的，所以与离散的显式表达相比，nerf能够得到更加连续和真实的视图合成效果。

3、尽管nerf在多种场景下展现出了卓越性能，但其对输入图像的要求较为严格，例如需要数量充足、清晰度高、位姿正确的图像。在实际应用中，获取这些精确数据往往具有挑战性。因此，如何从非理想情况下的输入中重建清晰的神经辐射场是亟待解决的问题。

4、近些年已经有众多学者针对这个问题做出了研究。pixelnerf以完全卷积的方式在输入图像上调节nerf，减少了nerf所需要输入的视图数量，但是在新视图的合成结果上会产生明显的伪影，效果还需要进一步优化。在传统的nerf中，colmap往往被用来估计重建所需要的位姿。与此同时，它还生成一个稀疏点云。ds-nerf利用这个稀疏点云来为nerf渲染增加一个深度约束，能够从更少的训练视图中产生较好的结果，同时也验证了深度监督对于nerf重建具有指导作用。

5、 对于模糊的输入，一种方法是先利用单幅图像去模糊或视频去模糊的算法在图像空间对输入图像进行去模糊处理，然后再将处理好的清晰图像输入nerf进行重建。虽然这样预处理的方法可以在一定程度上提高重建质量，但是无法保证多视图间的一致性。为了聚合所有观测视图的信息，充分了解3d场景，deblur-nerf基于盲去模糊思想，提出了一种新型的可变形稀疏核（dsk）模块。该模块通过改变稀疏核中核点的位置来模拟空间中变化的模糊核。然而，核点的位置在很大程度上依赖于深度神经网络的训练，而没有几何和外观一致性的线索。基于此，dp-nerf参考了图像获取中实际的模糊过程，提出了一个刚性模糊核（rbk）与两个物理先验作为核估计的正则化手段，保证了场景中的几何和外观一致性。为了增强模型对于位姿的鲁棒性，lin, c.-h.等人提出了一种基于束调整的神经辐射场（barf）。该方法联合优化相机位姿与nerf参数，能够从非完美甚至未知的相机姿态训练nerf。在此基础上，bad-nerf提出了一种新的束调整去模糊神经辐射场，它不仅可以优化相机的位姿，同时也可以从具有运动模糊的图像中重建清晰的nerf。虽然以上的去模糊算法已经在多张视图输入情况下取得了不错的效果，但是在实际情况下，并不会有如此之多的模糊图像来训练模型。

技术实现思路

1、本发明的目的是提供一种利用少量模糊图像重建神经辐射场的方法，该方法解决了神经辐射场重建中输入图像的限制问题。

2、本发明的目的是通过以下技术方案实现的：

3、一种利用少量模糊图像重建神经辐射场的方法，包括如下步骤：

4、步骤1、给定一组少量的具有运动模糊的图像，利用colmap方法，得到每张图片对应的位姿和场景的稀疏点云；

5、步骤2、随机扰动每张模糊图像的位姿，并在曝光开始时的初始位姿和结束位姿之间进行线性插值，得到曝光时间内的虚拟相机位姿 ：

6、；

7、步骤3、在虚拟相机位姿下，利用传统的nerf管线渲染相应的虚拟清晰图像以及深度；

8、步骤4、使用mbsm模块将多张渲染好的虚拟清晰图像合成为模糊图像，之后与拍摄的模糊图像建立损失函数，具体步骤如下：

9、步骤41、模拟模糊图像：

10、根据模糊成像的原理，模糊图像表示为一组虚拟清晰图像的积分：

11、

12、其中为拍摄的模糊图像；为图像的像素位置；为归一化因子；为曝光时间；为曝光时间内的虚拟清晰图像；

13、将模型离散化表示为：

14、

15、其中是从虚拟清晰图像中模拟的模糊图像；为虚拟清晰图像的个数；为模拟运动模糊的模糊权重，由虚拟清晰图像通过学习得到：

16、

17、其中为一个由五层线性层和relu激活函数组成的神经网络，网络的输入是每张虚拟清晰图像的颜色特征，输出为其对应的模糊权重；

18、步骤42、对于输入的个具有运动模糊图像，颜色损失由最小化虚拟清晰图像合成的模糊图像与拍摄的模糊图像之间的光度一致性损失得到：

19、

20、步骤5、对深度进行模糊建模，并利用从模糊图像中生成的稀疏点云作为模型的深度约束建立损失函数，具体步骤如下：

21、步骤51、深度的模糊建模：

22、

23、其中为虚拟清晰图像中，像素位置下的深度；是从曝光时间内虚拟清晰图像中模拟的深度；

24、由于原始的稀疏点云是由模糊图像得到，所以深度存在一定的偏移，使用模拟深度在曝光时间内的偏移，由一个独立于图像模糊的神经网络学习得到：

25、

26、其中与使用同种网络架构但是并不共享权重，网络的输入是每张虚拟清晰图像的深度特征，输出为其对应的深度模糊权重；

27、步骤52、建立深度损失函数：

28、对于图像，其对应的投影矩阵为，关键点与相机生成的射线为，为了计算关键点在相机中的深度，使用投影矩阵对其进行重投影，然后再将其投影到单位相机轴，最终的深度监督损失为：

29、

30、其中为每个关键点计算权重；是射线预测深度，由步骤51估计得到；是关键点对应的重投影误差，是场景中所有关键点的平均绝对误差；

31、步骤6、最小化总重建损失联合优化模糊权重、位姿以及nerf的参数：

32、

33、其中为超参数。

34、相比于现有技术，本发明具有如下优点：

35、本发明以传统的nerf为基线，首先引入深度约束，然后加入去模糊的思想，最后通过光度一致性约束和深度约束优化整个场景，最终模型可以使用少量模糊图像进行训练，得到清晰的视图合成效果。本发明能够从少量的模糊输入中，训练得到一个清晰的神经辐射场，并从新视角渲染高质量的视图。