图像渲染、特征提取模型训练、渲染模型训练方法和装置与流程

本公开涉及人工智能，具体为计算机视觉、增强现实、虚拟显示、深度学习等，可应用于元宇宙、aigc等场景，尤其涉及一种图像渲染方法和装置、特征提取模型训练方法和装置、渲染模型训练方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术：

1、在图像渲染时，一般采用神经辐射场模型隐式地学习静态的3d场景，在使用时一般是使用多视角图像训练得到神经辐射场模型，再通过神经辐射场模型的推理得到渲染图像，而在渲染过程中，由于每一条射线都需要推理计算，计算量大，耗时长，直接阻碍了神经辐射场模型在大多数场景的应用。

技术实现思路

1、提供了一种图像渲染方法和装置、特征提取模型训练方法和装置、渲染模型训练方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。

2、根据第一方面，提供了一种图像渲染方法，该方法包括：获取多帧目标物体多种视角下的相机位姿数据；基于相机位姿数据，确定多帧中间特征图；基于相机位姿数据，确定待渲染的目标相机位姿；基于多帧中间特征图和目标相机位姿，确定目标相机位姿对应的最终特征图；基于最终特征图，得到最终渲染图。

3、根据第二方面，提供了一种特征提取模型训练方法，该方法包括：获取预先设置的神经辐射场网络；神经辐射场网络包括：第一多层感知机和第二多层感知机；其中，第一多层感知机用于表征相机位姿数据与中间特征图之间的对应关系；第二多层感知机用于表征射线方位数据、中间特征图两者与渲染图之间的对应关系；获取位姿射线样本集，位姿射线样本集包括：同一场景下目标物体的连续至少两帧位姿射线样本，位姿射线样本包括：相机位姿数据以及与相机位姿数据相对应的射线方位数据；将选取的位姿射线样本中的相机位姿数据输入第一多层感知机，将选取的位姿射线样本中射线方位数据输入第二多层感知机，得到神经辐射场网络输出的渲染图；响应于神经辐射场网络满足训练完成条件，得到对应第一多层感知机的特征提取模型。

4、根据第三方面，提供了一种渲染模型训练方法，该方法包括：获取预设的神经渲染网络和位姿射线样本集，位姿射线样本集包括：同一场景下目标物体的连续至少两帧位姿射线样本；将选取的位姿射线样本输入预先训练完成的神经辐射场模型，得到神经辐射场模型输出的中间特征图；将中间特征图投影到目标相机位姿对应的中间特征图所在的平面位置，得到至少两帧投影特征图；将至少两帧投影特征图中的所有投影特征图进行连接后输入神经渲染网络，得到神经渲染网络输出的渲染图；响应于神经渲染网络满足训练完成条件，得到对应神经渲染网络的神经渲染模型。

5、根据第四方面，提供了一种图像渲染装置，该装置包括：数据获取单元，被配置成获取多帧目标物体多种视角下的相机位姿数据；特征确定单元，被配置成基于相机位姿数据，确定多帧中间特征图；位姿确定单元，被配置成基于相机位姿数据，确定待渲染的目标相机位姿；最终确定单元，被配置成基于多帧中间特征图和目标相机位姿，确定目标相机位姿对应的最终特征图；最终得到单元，被配置成基于最终特征图，得到最终渲染图。

6、根据第五方面，提供了一种特征提取模型训练装置，该装置包括：网络获取单元，被配置成获取预先设置的神经辐射场网络；神经辐射场网络包括：第一多层感知机和第二多层感知机；其中，第一多层感知机用于表征相机位姿数据与中间特征图之间的对应关系；第二多层感知机用于表征射线方位数据、中间特征图两者与渲染图之间的对应关系；样本获取单元，被配置成获取位姿射线样本集，位姿射线样本集包括：同一场景下目标物体的连续至少两帧位姿射线样本，位姿射线样本包括：相机位姿数据以及与相机位姿数据相对应的射线方位数据；输入单元，被配置成将选取的位姿射线样本中的相机位姿数据输入第一多层感知机，将选取的位姿射线样本中射线方位数据输入第二多层感知机，得到神经辐射场网络输出的渲染图；第一得到单元，被配置成响应于神经辐射场网络满足训练完成条件，得到对应第一多层感知机的特征提取模型。

7、根据第六方面，提供了一种渲染模型训练装置，该装置包括：样本获取单元，被配置成获取预设的神经渲染网络和位姿射线样本集，位姿射线样本集包括：同一场景下目标物体的连续至少两帧位姿射线样本；特征提取单元，被配置成将选取的位姿射线样本输入预先训练完成的神经辐射场模型，得到神经辐射场模型输出的中间特征图；投影单元，被配置成将中间特征图投影到目标相机位姿对应的中间特征图所在的平面位置，得到至少两帧投影特征图；渲染单元，被配置成将至少两帧投影特征图中的所有投影特征图进行连接后输入神经渲染网络，得到神经渲染网络输出的渲染图；第二得到单元，被配置成响应于神经渲染网络满足训练完成条件，得到对应神经渲染网络的神经渲染模型。

8、根据第七方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。

9、根据第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。

10、根据第九方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。

11、本公开的实施例提供的图像渲染方法和装置，首先，获取多帧目标物体多种视角下的相机位姿数据；其次，基于相机位姿数据，确定多帧中间特征图；再次，基于相机位姿数据，确定待渲染的目标相机位姿；从此，基于多帧中间特征图和目标相机位姿，确定目标相机位姿对应的最终特征图；最后，基于最终特征图，得到最终渲染图。由此，通过多帧相机位姿数据的多帧中间特征图，为目标相机位姿对应的最终特征图做参考，重构并细化了目标相机位姿的中间特征图，相对通过射线推理的渲染图像减少了目标相机位姿对应的最终渲染图的计算量，减少了渲染占用的内存，有效地提高了图像渲染效率。

12、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种图像渲染方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述基于所述多帧中间特征图和所述目标相机位姿，确定所述目标相机位姿对应的最终特征图包括：

3.根据权利要求1所述的方法，其中，所述基于所述相机位姿数据，确定目标相机位姿包括：

4.根据权利要求1所述的方法，其中，所述基于所述相机位姿数据，确定多帧中间特征图包括：

5.根据权利要求4所述的方法，其中，所述特征提取模型通过训练神经辐射场网络得到；

6.根据权利要求1所述的方法，其中，所述基于所述最终特征图，得到最终渲染图包括：

7.根据权利要求6所述的方法，其中，所述神经渲染模型通过预先训练完成的神经辐射场模型输出的中间特征图训练得到。

8.一种特征提取模型训练方法，所述方法包括：

9.一种渲染模型训练方法，所述方法包括：

10.一种图像渲染装置，所述装置包括：

11.根据权利要求10所述的装置，其中，所述最终确定单元进一步被配置成：从所述多帧中间特征图中确定与所述目标相机位姿对应的中间特征图；将所述多帧中间特征图中的各帧中间特征图投影到所述目标相机位姿对应的中间特征图所在的平面位置，得到多帧投影特征图；连接所述多帧投影特征图中的所有投影特征图，得到所述目标相机位姿对应的最终特征图。

12.根据权利要求10所述的装置，其中，所述位姿确定单元进一步被配置成：提取所述相机位姿数据中的所有相机位姿，得到相机位姿序列；选取所述相机位姿序列中的待渲染的相机位姿，将所述待渲染的相机位姿作为目标相机位姿。

13.根据权利要求10所述的装置，其中，所述特征确定单元进一步被配置成：将所述相机位姿数据中的相机位姿按照得到的时间顺序依次输入预先训练完成的特征提取模型，得到所述特征提取模型输出的多帧中间特征图。

14.根据权利要求13所述的装置，其中，所述特征提取模型通过训练神经辐射场网络得到；

15.根据权利要求10所述的装置，其中，所述最终得到单元进一步被配置成：将所述最终特征图输入已训练完成的神经渲染模型，得到所述神经渲染模型输出的最终渲染图；所述神经渲染模型用于表征中间特征图与渲染图之间的对应关系。

16.根据权利要求14所述的装置，其中，所述神经渲染模型通过预先训练完成的神经辐射场模型输出的中间特征图训练得到。

17.一种特征提取模型训练装置，所述装置包括：

18.一种渲染模型训练装置，所述装置包括：

19.一种电子设备，其特征在于，包括：

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种图像渲染方法和装置、特征提取模型训练方法和装置、渲染模型训练方法和装置，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟显示、深度学习等技术领域，可应用于元宇宙、AIGC(AI‑Generated Content，利用人工智能来生成内容)等场景。图像渲染方法具体实现方案为：获取多帧目标物体多种视角下的相机位姿数据；基于相机位姿数据，确定多帧中间特征图；基于相机位姿数据，确定待渲染的目标相机位姿；基于多帧中间特征图和目标相机位姿，确定目标相机位姿对应的最终特征图；基于最终特征图，得到最终渲染图。该实施方式提高了渲染效率。

技术研发人员：孟庆月
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13