图像渲染方法、装置及相关设备与流程

本技术实施例涉及计算机视觉，特别涉及一种图像渲染方法、装置及相关设备。

背景技术：

1、在计算机视觉技术中，可以先构建针对某个渲染对象的三维对象模型，然后通过该三维对象模型渲染出该渲染对象在某个渲染视角位姿下的二维图像。

2、相关技术中，预先构建的三维对象模型可以为隐式对象模型，比如神经辐射场(neural radiance field，nerf)模型。当向隐式对象模型输入某个渲染视角位姿时，该隐式对象模型可以输出与该渲染视角位姿对应的二维图像。其中，相关的隐式对象模型在生成二维图像时是按照预先学习到的固定光源信息来渲染该二维图像的，导致在通过隐式对象模型渲染图像的过程中无法对光源信息进行修改，进而使得这种图像渲染方式在光源环境动态变化的场景下的渲染效果不是很理想，并且，对隐式对象模型做渲染的方式与对显式对象模型做渲染的方式有较大差别。

技术实现思路

1、本技术实施例提供了一种图像渲染方法、装置及相关设备，可以在保证渲染真实度的情况下，提高光源环境动态变化场景下的渲染效果。所述技术方案如下：

2、第一方面，提供了一种图像渲染方法，在该方法中，将第一渲染对象的多张第一图像输入第一隐式对象模型训练网络，以生成第一渲染对象的第一隐式对象模型，多张第一图像为第一渲染对象在多个第一位姿下的图像，第一隐式对象模型为神经网络模型，第一渲染对象位于目标场景中；接收渲染位姿信息，渲染位姿信息用于指示目标场景的渲染视角的位姿；将渲染位姿信息输入第一隐式对象模型，得到第一渲染对象的第一渲染数据，第一渲染数据包括第一渲染对象在渲染视角下的法线信息、深度信息、颜色信息和材质信息中的一者或多者；确定光源配置信息，光源配置信息用于指示目标场景的光照情况；基于光源配置信息对第一渲染数据进行光照处理，以得到目标图像，目标图像包括在渲染视角和光照情况下的第一渲染对象的图像。

3、为了便于说明，将输入渲染视角位姿后不经光照处理直接输出二维图像的隐式对象模型称为相关隐式对象模型。

4、在本技术实施例提供的图像渲染方法中，通过多张图像生成隐式对象模型，且该隐式对象模型能够输出与渲染管线中的几何缓冲区匹配的渲染数据，例如法线信息、深度信息、颜色信息或材质信息等，以使得渲染管线能够基于该输出对模型进行光照处理，由于渲染管线的光照处理操作中的光源配置信息可以灵活设置，因此可以在保证渲染真实度的情况下，提高光源环境动态变化场景下的渲染效果，同时，该渲染流程可以与针对显式对象模型的渲染管线相结合，提高了渲染的灵活性。

5、基于第一方面提供的方法，在一种可能的实现方式中，在将多张第一图像输入第一隐式对象模型训练网络前，还获取第一神经辐射场nerf模型，第一nerf模型用于预测第一渲染对象的任意视角图像；基于第一nerf模型，获取在多个第一位姿下的多张第一图像。

6、在本技术实施例中，可以通过第一nerf模型的输出来训练得到第一隐式对象模型，该过程可以称为隐式模型迁移过程。也即，将相关隐式对象模型迁移为能够输出与几何缓冲区匹配的渲染数据的隐式对象模型。

7、基于第一方面提供的方法，在一种可能的实现方式中，第一渲染数据还包括初始光源信息，在该方法中，还提供光源配置界面；在光源配置界面显示初始光源信息；响应于用户在光源配置界面的编辑操作，获取将初始光源信息调整后的光源信息，将调整后的光源信息作为光源配置信息。

8、在本技术实施例中，用户可以对第一隐式对象模型推理得到第一对象所处目标场景中的初始光源信息进行编辑，以调整该初始光源信息，从而基于调整后的光源信息进行光照处理操作，进一步提高光源环境动态变化场景下的渲染效果。

9、基于第一方面提供的方法，在一种可能的实现方式中，第一渲染数据还包括初始光源信息，在该方法中，还提供光源配置界面；在光源配置界面显示初始光源信息；响应于用户在光源配置界面的确认操作，将初始光源信息确定为光源配置信息。

10、在本技术实施例中，可以直接基于第一隐式对象模型推理得到第一对象所处目标场景中的初始光源信息进行光照处理操作，提高了图像渲染的效率。

11、基于第一方面提供的方法，在一种可能的实现方式中，在该方法中，还获取第二渲染对象的显式对象模型，第二渲染对象位于目标场景中；基于渲染位姿信息，对显式对象模型进行几何处理，得到第二渲染对象的第二渲染数据，第二渲染数据包括第二渲染对象的法线信息、深度信息、颜色信息和材质信息中的一者或多者。

12、相应地，基于光源配置信息对第一渲染数据进行光照处理，以得到目标图像的实现方式可以为：基于光源配置信息对第一渲染数据和第二渲染数据进行光照处理，以得到目标图像，目标图像包括在渲染视角和光照情况下的第一渲染对象和第二渲染对象的图像。

13、在本技术实施例中，当需要同时对隐式对象模型和显式对象模型渲染时，可以先分别通过这两个对象模型得到与几何缓冲区匹配的渲染数据，然后通过渲染管线中的光照处理操作对几何缓冲区中的渲染数据统一进行处理，因此本技术实施例还提供了一种将隐式对象模型的渲染过程和显式对象模型渲染的渲染过程高度融合的图像渲染方式。

14、基于第一方面提供的方法，在一种可能的实现方式中，在该方法中，还将第三渲染对象的多张第二图像输入第二隐式对象模型训练网络，以生成第三渲染对象的第二隐式对象模型，多张第二图像为第三渲染对象在多个第二位姿下的图像，第二隐式对象模型为神经网络模型，第三渲染对象位于目标场景中；将渲染位姿信息输入第二隐式对象模型，得到第三渲染对象的第三渲染数据，第三渲染数据包括第三渲染对象在渲染位姿信息下的法线信息、深度信息、颜色信息和材质信息中的一者或多者。

15、相应地，基于光源配置信息对第一渲染数据进行光照处理，以得到目标图像的实现方式可以为：基于光源配置信息对第一渲染数据和第三渲染数据进行光照处理，以得到目标图像，目标图像包括在渲染视角和光照情况下的第一渲染对象和第三渲染对象的图像。

16、在本技术实施例中，当需要同时对多个隐式对象模型渲染时，可以先分别通过每个隐式对象模型得到与几何缓冲区匹配的渲染数据，然后通过渲染管线中的光照处理操作对几何缓冲区中的渲染数据统一进行处理，进一步提高图像渲染的灵活性。

17、基于第一方面提供的方法，在一种可能的实现方式中，在该方法中，将多张第一图像输入第一隐式对象模型训练网络，以生成第一渲染对象的第一隐式对象模型的实现方式可以为：确定多张第一图像中每张第一图像的法线信息、深度信息、颜色信息和材质信息中的一者或多者；基于多张第一图像中每张第一图像的法线信息、深度信息、颜色信息和材质信息中的一者或多者对第一隐式对象模型训练网络进行训练，以生成第一隐式对象模型。

18、在得到多张第一图像中每张第一图像的法线信息、深度信息、颜色信息和材质信息中的一者或多者后，可以将多张第一图像中每张第一图像的法线信息、深度信息、颜色信息和材质信息中的一者或多者作为监督信息对第一隐式对象模型训练网络进行有监督训练，以使第一隐式对象模型训练网络在训练过程中学习到第一渲染对象在不同视角位姿下的法线信息、深度信息、颜色信息和材质信息中的一者，也即训练得到第一隐式对象模型。

19、第二方面，提供了一种图像渲染装置，所述图像渲染装置具有实现上述第一方面中图像渲染方法行为的功能。所述图像渲染装置包括至少一个模块，该至少一个模块用于实现上述第一方面所提供的图像渲染方法。

20、第三方面，提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；至少一个计算设备的处理器用于执行至少一个计算设备的存储器中存储的指令，以使得计算设备集群执行上述第一方面所提供的图像渲染方法。

21、第四方面，提供了一种包含指令的计算机程序产品，当指令被计算设备集群运行时，使得计算设备集群执行上述第一方面所提供的图像渲染方法。

22、第五方面，提供了一种计算机可读存储介质，包括计算机程序指令，当计算机程序指令由计算设备集群执行时，计算设备集群执行上述第一方面所提供的图像渲染方法。

23、上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。