一种高保真度的三维内容生成方法及系统

本发明涉及三维建模，尤其涉及一种高保真度的三维内容生成方法及系统。

背景技术：

1、三维内容生成具有非常重要的意义。利用人工智能方法来自动生成三维的内容，可以减轻三维建模师的劳动量，起到非常重要的作用。利用人工智能来生成内容，一般是通过生成式人工智能来实现的。生成式的人工智能通过建模数据的概率分布，从而生成满足概率分布的样本，创造出人未见过的内容。一般情况下需要一定量的数据才能训练一个生成式人工智能。

2、dreamfusion提出了一种生成三维内容的方法。三维数据比较稀少，直接训练三维生成式人工智能比较困难。dreamfusion提出了一种利用二维图像的扩散模型来进行三维内容生成的方案。它提出了得分蒸馏采样(score distillation sampling)的技术，这种技术可以利用预训练的二维文生图扩散模型来指导三维内容的生成。预训练的二维文生图扩散模型对于图像分布进行了建模。得分蒸馏采样能够利用扩散模型让一个二维图片尽可能地变得更加逼真。dreamfusion的三维表示基于神经辐射场的技术。在用户通过文本的方式指定了想要生成的内容后，它先初始化一个神经辐射场，通过对神经辐射场的不同视角渲染出来的二维图像，使用得分蒸馏采样，然后再进行梯度回传，从而优化神经辐射场的参数。优化结束后，就会得到一个符合文本描述的三维结构，这个三维结构从任何一个视角看上去都是一张符合文本描述的二维图像。

3、现有方法利用得分蒸馏采样的方式来利用图像扩散模型生成三维内容，这样的方法会造成生成的三维内容的质量有缺陷。主要表现在生成的内容在色彩上有过饱和的现象；生成的内容缺乏细节，缺乏高频信息。造成这个缺陷的主要原因是得分蒸馏采样是在寻找概率分布的极值点，而概率分布的极值点的图像质量会比较差，因此造成了生成的三维内容的质量的下降。

技术实现思路

1、本发明提供一种高保真度的三维内容生成方法及系统，用以解决现有三维内容生成多样性差、图像质量不佳的问题。

2、本发明提供一种高保真度的三维内容生成方法，包括：

3、获取多个预设的三维模型并进行初始化；

4、随机对三维模型的不同采样视角进行二维图像的渲染；

5、通过预设的变分得分蒸馏模型优化所述三维模型的参数，基于优化后的三维模型渲染的二维图像训练预设的辅助扩散模型；

6、通过所述辅助扩散模型和预训练的二维文生图扩散模型对所述三维模型进行三维内容生成指导，辅助所述三维模型生成三维内容，并扩展至三维场景的生成。

7、根据本发明提供的一种高保真度的三维内容生成方法，所述获取多个预设的三维模型并进行初始化，具体包括：

8、用户通过文本的形式指定需要生成的内容；

9、获取多个三维模型并根据用户指定生成的内容进行初始化；

10、使所述三维模型能够接受二维文生图扩散模型和辅助扩散模型的指导。

11、根据本发明提供的一种高保真度的三维内容生成方法，所述随机对三维模型的不同采样视角进行二维图像的渲染，具体包括：

12、从多个三维模型中随机挑选一个三维模型进行渲染；

13、对挑选的三维模型从不同的视角渲染出二维图像。

14、根据本发明提供的一种高保真度的三维内容生成方法，所述通过预设的变分得分蒸馏模型优化所述三维模型的参数，基于优化后的三维模型渲染的二维图像训练预设的辅助扩散模型，具体包括：

15、通过预设的变分得分蒸馏模型对三维模型进行梯度回传，生成梯度回传结果；

16、根据所述梯度回传结果对三维模型的参数进行优化；

17、在完成三维模型的优化后利用三维模型重新渲染的二维图像对预设的辅助扩散模型进行多轮训练。

18、根据本发明提供的一种高保真度的三维内容生成方法，所述辅助扩散模型对粒子群的分布进行建模，完成建模后对粒子群的熵进行优化。

19、根据本发明提供的一种高保真度的三维内容生成方法，通过所述辅助扩散模型和预训练的二维文生图扩散模型对所述三维模型进行三维内容生成指导，辅助所述三维模型生成三维内容，并扩展至三维场景的生成，具体包括：

20、所述辅助扩散模型经过多轮训练后与二维文生图扩散模型联合对三维模型进行三维内容生成指导，生成指导指令；

21、所述二维文生图扩散模型对二维图像分布进行建模，指导二维图像更加逼真；

22、根据所述指导指令辅助所述三维模型生成三维内容，所述三维内容符合用户指定的文本内容；

23、将所述三维内容扩展至三维场景，生成完整的指定文本内容的三维场景。

24、本发明还提供一种高保真度的三维内容生成系统，所述系统包括：

25、初始化模块，用于获取多个预设的三维模型并进行初始化；

26、渲染模块，用于随机对三维模型的不同采样视角进行二维图像的渲染；

27、优化模块，用于通过预设的变分得分蒸馏模型优化所述三维模型的参数，基于优化后的三维模型渲染的二维图像训练预设的辅助扩散模型；

28、三维内容生成模块，用于通过所述辅助扩散模型和预训练的二维文生图扩散模型对所述三维模型进行三维内容生成指导，辅助所述三维模型生成三维内容，并扩展至三维场景的生成。

29、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述高保真度的三维内容生成方法。

30、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述高保真度的三维内容生成方法。

31、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述高保真度的三维内容生成方法。

32、本发明提供的一种高保真度的三维内容生成方法及系统，通过辅助扩散模型和预训练的二维文生图扩散模型联合对三维模型进行指导，使生成的三维内容的真实感比较高，更加逼真，并且能够生成多样化的三维内容；还能够扩展至三维场景，基于变分得分蒸馏模型，能够让用户在用文本的方式给定想要生成的内容的情况下，生成一个完整的360°的场景，提升三维建模的效率。

技术特征：

1.一种高保真度的三维内容生成方法，其特征在于，包括：

2.根据权利要求1所述的高保真度的三维内容生成方法，其特征在于，所述获取多个预设的三维模型并进行初始化，具体包括：

3.根据权利要求1所述的高保真度的三维内容生成方法，其特征在于，所述随机对三维模型的不同采样视角进行二维图像的渲染，具体包括：

4.根据权利要求1所述的高保真度的三维内容生成方法，其特征在于，所述通过预设的变分得分蒸馏模型优化所述三维模型的参数，基于优化后的三维模型渲染的二维图像训练预设的辅助扩散模型，具体包括：

5.根据权利要求4所述的高保真度的三维内容生成方法，其特征在于，所述辅助扩散模型对粒子群的分布进行建模，完成建模后对粒子群的熵进行优化。

6.根据权利要求1所述的高保真度的三维内容生成方法，其特征在于，通过所述辅助扩散模型和预训练的二维文生图扩散模型对所述三维模型进行三维内容生成指导，辅助所述三维模型生成三维内容，并扩展至三维场景的生成，具体包括：

7.一种高保真度的三维内容生成系统，其特征在于，所述系统包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述高保真度的三维内容生成方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述高保真度的三维内容生成方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述高保真度的三维内容生成方法。

技术总结
本发明提供一种高保真度的三维内容生成方法及系统，包括：获取多个预设的三维模型并进行初始化；随机对三维模型的不同采样视角进行二维图像的渲染；通过预设的变分得分蒸馏模型优化所述三维模型的参数，基于优化后的三维模型渲染的二维图像训练预设的辅助扩散模型；通过所述辅助扩散模型和预训练的二维文生图扩散模型对所述三维模型进行三维内容生成指导，辅助所述三维模型生成三维内容，并扩展至三维场景的生成。本发明解决了现有三维内容生成多样性差、图像质量不佳的问题。

技术研发人员：朱军,王征翊,苏航
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/1/13