基于点光源位置估计的三维反渲染方法与流程

本发明属于人工智能和计算机视觉领域，具体涉及一种基于点光源位置估计的三维反渲染方法。

背景技术：

1、反渲染是从一组二维图像重建物体的三维几何模型和表面材料纹理的技术。对于机器人操控、虚拟现实和增强现实等领域具有重要意义。尽管之前基于显示表达(体素网格，点云和符号距离函数等)的反渲染方法在该领域取得了一些进展，但大部分方法都使用体素网格表示物体。由于体素网格的存储空间与分辨率的三次方成正比，因此可利用的体素分辨率有限，无法实现高精度反渲染。

2、2020年以来，基于神经隐式表示的三维重建方法因其灵活性和紧凑性受到极大关注。这种方法利用神经网络对三维空间点的密度和颜色进行隐式表示，利用可微渲染技术生成某一视角下的目标图像。利用渲染图像和真实图像的差作为损失对神经网络进行监督，通过多次迭代后神经网络能够收敛到表征真实的三维密度和颜色。由于神经隐式表达强大的重建能力，其在新视图生成、图像去噪、三维几何重建、动态物体重建、相机位姿估计等领域也到了广泛应用。

3、在现有基于神经隐式表达的反渲染方法中，为了重建三维几何模型和材质纹理，一般需要训练两个神经网络来分别表示对象几何模型和材质纹理，并使用双向反射分布函数进行渲染。其中目标三维几何模型通过神经网络表征三维空间点的符号距离方程实现，材质纹理通过神经网络表征三维空间点的粗糙度、镜面反射率和漫反射率实现。然而现有的面向点光源光照的反渲染方法仅适用于光源与相机固连的情况，在光源移动的情况下无法重建高质量几何模型和表面材料纹理。这是因为他们使用了光线入射方向与反射方向相同的假设，在光源移动的情况下此假设无法得到满足。

4、由于在双向反射分布函数中光线方向与材质属性耦合。因此为了在动态点光源下进行反渲染，估计光源的位置是必要的。目前估计隐式表示物体的动态点光源位置仍然是一个开放的问题。对于显示表示的对象，现有的基于标记球体或背景的方法仅限于特定场景，例如需要在目标附近放置玻璃球，通过玻璃球上的多个反光点估计光源位置。而基于一致表面反射率的方法仅适用于含有漫射材料的物体，在物体表面含有镜面反射材质时准确度会降低。

技术实现思路

1、为上述技术问题，本发明提出了一种基于点光源位置估计的三维反渲染方法，所述方法可以从一组未知动态点光源照明的多视角图像中重建物体的三维几何模型、点光源位置和表面材料纹理(漫反射率、粗糙度和镜面反射率)。

2、为实现上述目的，本发明采用了如下技术方案：

3、一种基于点光源位置估计的三维反渲染方法，包括如下步骤：

4、步骤1，利用基于几何特征的重建方法得到目标的粗糙三维模型；

5、步骤2，基于目标自身阴影分割线估计点光源的位置；

6、步骤3，结合估计的点光源的位置使用基于双向反射分布函数模型的反渲染方法隐式重构表面材质纹理和精细三维模型。

7、本发明的有益效果在于：

8、(1)提出一种适用于未知动态点光源照明的对象的神经反渲染方法，而且恢复的三维几何模型和表面材料纹理可以方便地部署在现有的图形框架中以进行重新照明和材料编辑；

9、(2)提出一个分阶段的训练框架，能够高质量地估计三维几何模型、点光源位置和表面材料纹理，即使这些纹理由于渲染过程中的耦合很容易发散；

10、(3)提出一种基于自阴影分割线的动态点光源位置估计方法，适用于无标记场景中非漫反射物体的光源估计。

技术特征：

1.一种基于点光源位置估计的三维反渲染方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于点光源位置估计的三维反渲染方法，其特征在于，所述步骤2包括：在获得目标的粗糙三维模型之后，对每帧图像进行点光源的位置估计，所述位置估计基于目标自身阴影分割线的光源位置估计算法进行，具体包括：

3.根据权利要求2所述的一种基于点光源位置估计的三维反渲染方法，其特征在于，所述步骤3包括：

技术总结
本发明公开了一种基于点光源位置估计的三维反渲染方法，所述方法包括如下步骤：首先，利用基于几何特征的重建方法得到目标的粗糙三维模型；然后，基于目标自身阴影分割线估计点光源的位置；最后，结合估计的点光源位置使用基于双向反射分布函数模型的渲染方法隐式重构表面材质纹理和精细三维模型。所述方法可以从一组未知动态点光源照明的多视角图像中重建物体的三维几何模型、点光源位置和表面材料纹理(漫反射率、粗糙度和镜面反射率)。

技术研发人员：胡庆雷,欧阳真超,李东禹,李远东,郭鹏宇
受保护的技术使用者：天目山实验室
技术研发日：
技术公布日：2024/3/31