一种基于神经辐射场的风格化图像生成方法、装置和设备与流程

本发明涉及地理信息及三维重建，特别涉及一种基于神经辐射场的风格化图像生成方法、装置和设备。

背景技术：

1、智能化时代带来了更高级的用户体验和娱乐方式，人们的需求从最初的安全性、舒适性逐渐转变为对娱乐性和自我认同的追求。随着智能化的发展，汽车行业也在不断进行多方面智能化的革新。例如在汽车导航技术领域中，现在的导航地图也能够实现2d地图到3d地图的切换，3d地图模式既增强了真实性，同时提高用户使用感受。

2、传统的三维重建方式通常需要大量的图像输入，估计的相机参数，进行点云重建和物体表面的纹理映射等多个步骤。近年来，深度学习逐渐应用到计算机视觉的各个领域，三维重建也逐渐与深度学习方法相结合，无需复杂的相机校准或者提供参数，通过编解码的方式，实现重建。diffusion扩散生成模型是一种新兴的重要的ai生成式模型，用于生成与训练数据相似分布的数据，能够实现图像的风格转换。

技术实现思路

1、为了增强风格化图像的可控性以及增加选择空间，本发明实施例中提供了一种基于神经辐射场的风格化图像生成方法、装置和设备。

2、第一方面，本发明实施例提供了一种基于神经辐射场的风格化图像生成方法，可以包括：

3、基于目标的多角度图像进行位姿估计，以确定相机方位角参数；

4、将所述多角度图像和所述相机方位角参数输入至预先训练好的神经辐射场模型中进行三维模型重建，以得到所述目标的三维神经辐射场；

5、基于所述目标的三维神经辐射场进行体渲染，以得到所述目标的风格化图像；

6、其中，所述预先训练好的神经辐射场模型是基于神经辐射场模型和风格化转换模型共同训练得到的。

7、可选的，所述预先训练好的神经辐射场模型是通过下述步骤预先训练的：

8、获取训练样本集，所述训练样本集中的每个样本包括目标的多角度图像；

9、用所述训练样本集中的每个样本的多角度图像和所述多角度图像对应的相机方位角参数作为输入训练所述神经辐射场模型，其中所述神经辐射场模型输出三维神经辐射场；

10、基于所述三维神经辐射场经体渲染得到二维渲染图像，以基于所述二维渲染图像进行风格化转换得到多张训练目标的风格化图像；

11、基于所述目标的多角度图像、所述二维渲染图像和所述训练目标的风格化图像，确定所述神经辐射场模型的总损失；

12、基于所述神经辐射场模型的总损失调整所述神经辐射场模型的模型参数，直至所述神经辐射场模型收敛。

13、可选的，基于所述目标的多角度图像、所述二维渲染图像和所述训练目标的风格化图像，确定所述神经辐射场模型的总损失，可以包括：

14、基于所述目标的多角度图像和所述二维渲染图像，确定所述目标的多角度图像和所述二维渲染图像之间的渲染损失；

15、基于所述二维渲染图像和所述训练目标的风格化图像，确定所述二维渲染图像和所述训练目标的风格化图像之间的风格化损失；

16、基于所述渲染损失和所述风格化损失确定所述神经辐射场模型的总损失。

17、可选的，所述基于所述二维渲染图像和所述训练目标的风格化图像，确定所述二维渲染图像和所述训练目标的风格化图像之间的风格化损失，可以包括：

18、分别对多张所述训练目标的风格化图像进行灰度化处理；

19、分别确定灰度化处理后的所述训练目标的风格化图像和所述二维渲染图像的像素分布概率；

20、基于所述像素分布概率分别确定所述训练目标的风格化图像与所述二维渲染图像的相似度值；

21、基于所述相似度值筛选出满足风格化阈值要求的至少一张所述训练目标的风格化图像；

22、基于满足风格化阈值要求的至少一张所述训练目标的风格化图像，与所述二维渲染图像确定所述风格化损失。

23、可选的，所述基于满足风格化阈值要求的至少一张所述训练目标的风格化图像，与所述二维渲染图像确定所述风格化损失，可以包括：

24、分别提取满足风格化阈值要求的至少一张所述训练目标的风格化图像和所述二维渲染图像的hog特征；

25、基于所述hog特征确定所述风格化损失。

26、可选的，所述基于所述渲染损失和所述风格化损失确定所述神经辐射场模型的总损失，可以包括：

27、基于所述目标风格化图像与所述目标的多角度图像的差异程度，设定所述渲染损失和/或所述风格化损失的权重值；

28、基于所述渲染损失、所述渲染损失对应的权重值、所述风格化损失和所述风格化损失对应的权重值，确定所述神经辐射场模型的模型总体损失。

29、可选的，所述基于所述二维渲染图像进行风格化转换以得到多张训练目标的风格化图像，可以包括：

30、将所述二维渲染图像输入至预先训练好的扩散生成模型中，以得到所述目标的风格化图像。

31、第二方面，本发明实施例提供了一种神经辐射场模型的训练方法，可以包括：

32、获取训练样本集，所述训练样本集中的每个样本包括目标的多角度图像；

33、用所述训练样本集中的每个样本的多角度图像和所述多角度图像对应的相机方位角参数作为输入训练所述神经辐射场模型，其中所述神经辐射场模型输出三维神经辐射场；

34、基于所述三维神经辐射场经体渲染得到二维渲染图像，以基于所述二维渲染图像进行风格化转换得到多张训练目标的风格化图像；

35、基于所述目标的多角度图像、所述二维渲染图像和所述训练目标的风格化图像，确定所述神经辐射场模型的总损失；

36、基于所述神经辐射场模型的总损失调整所述神经辐射场模型的模型参数，直至所述神经辐射场模型收敛。

37、第三方面，本发明实施例提供了一种导航地图中风格化地图要素的展示方法，可以包括：

38、根据第一方面所述的基于神经辐射场的风格化图像生成方法生成所述导航地图中的风格化地图要素；

39、基于所述导航地图中的位置矢量信息，加载所述风格化地图要素，以将所述风格化地图要素展示在所述导航地图中。

40、第四方面，本发明实施例提供了一种基于神经辐射场的风格化图像生成装置，可以包括：

41、估计模块，用于基于目标的多角度图像进行位姿估计，以确定相机方位角参数；

42、重建模块，用于将所述多角度图像和所述相机方位角参数输入至预先训练好的神经辐射场模型中进行三维模型重建，以得到所述目标的三维神经辐射场；

43、渲染模块，用于基于所述目标的三维神经辐射场进行体渲染，以得到所述目标的风格化图像；

44、其中，所述预先训练好的神经辐射场模型是基于神经辐射场模型和风格化转换模型共同训练得到的。

45、第五方面，本发明实施例提供了一种神经辐射场模型的训练装置，可以包括：

46、获取模块，用于获取训练样本集，所述训练样本集中的每个样本包括目标的多角度图像；

47、训练模块，用于用所述训练样本集中的每个样本的多角度图像和所述多角度图像对应的相机方位角参数作为输入训练所述神经辐射场模型，其中所述神经辐射场模型输出三维神经辐射场；

48、转换模块，用于基于所述三维神经辐射场经体渲染得到二维渲染图像，以基于所述二维渲染图像进行风格化转换得到多张训练目标的风格化图像；

49、确定模块，用于基于所述目标的多角度图像、所述二维渲染图像和所述训练目标的风格化图像，确定所述神经辐射场模型的总损失；

50、调整模块，用于基于所述神经辐射场模型的总损失调整所述神经辐射场模型的模型参数，直至所述神经辐射场模型收敛。

51、第六方面，本发明实施例提供了一种导航地图中风格化地图要素的展示装置，可以包括：

52、展示模块，用于基于所述导航地图中的位置矢量信息，加载所述风格化地图要素，以将所述风格化地图要素展示在所述导航地图中；

53、其中，所述导航地图中的风格化地图要素是根据第一方面所述的基于神经辐射场的风格化图像生成方法生成的。

54、第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于神经辐射场的风格化图像生成方法，或实现如第二方面所述的神经辐射场模型的训练方法，或实现如第三方面所述的导航地图中风格化地图要素的展示方法。

55、第八方面，本发明实施例提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于神经辐射场的风格化图像生成方法，或实现如第二方面所述的神经辐射场模型的训练方法，或实现如第三方面所述的导航地图中风格化地图要素的展示方法。

56、本发明实施例提供的上述技术方案的有益效果至少包括：

57、本发明实施例提供了一种基于神经辐射场的风格化图像生成方法、装置和设备，该方法通过基于神经辐射场模型进行三维模型重建得到目标的三维神经辐射场，并基于三维神经辐射场进行体渲染后得到风格化图像。该方法避免了基于原始多角度图像直接风格化转换生成的风格化图像失真或与原始图像过于接近，无法表现三维图像风格化特性的弊端；同时，增强了风格化图像生成过程的可控性。

58、进一步的，本实施例中的神经辐射场模型的训练方法通过渲染损失和风格化损失对神经辐射场模型的模型参数进行调整，以达到所需要的风格化图像，对于风格化转换结果可控性更强，避免了反复实验和挑选的弊端。

59、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

60、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。