一种场景模型的生成方法及相关装置与流程

本技术涉及三维，尤其涉及一种场景模型的生成方法及相关装置。

背景技术：

1、三维(three dimensions，3d)场景模型生成是一种使用计算机图形学和其他相关技术来创建逼真的三维虚拟环境的技术。目前，三维场景模型生成技术已经广泛应用于游戏、电影、动画、建筑设计、工业设计、虚拟现实和增强现实等领域。在这些领域中，三维场景模型生成技术可以帮助制作人员和设计师创建逼真的虚拟环境，提高作品的质量和效果。

2、目前，三维场景生成技术主要基于深度估计模型获得深度图像(rgb-d图像)，通过将多个深度图像进行融合生成三维场景。但是该技术过于依赖于深度估计模型，深度估计模型并不是很准确，它经常会导致三维场景中的物体形状失真，精度不高，造成生成出错误的三维场景的问题。

技术实现思路

1、本技术实施例提供了一种三维场景模型的生成方法以及相关装置，通过对大场景的二维目标场景图进行切分生成对应的二维目标场景子图，将三维目标场景子块进行合并，消除了子块重叠部分的不一致性，生成大场景的二维目标场景图对应的大规模场景的三维目标场景，保证了三维训练场景的准确性，同时解决了现有技术中三维场景生成过程中的物体形状失真、精度不高及三维场景模型错误率过高的问题。

2、本技术的一方面提供一种三维场景模型的生成方法，包括：

3、获取二维目标场景图，其中，二维目标场景图用于展示待生成的三维目标场景的布局信息；

4、对二维目标场景图进行切块，得到m个二维目标场景子图，其中，m个二维目标场景子图中存在至少一个重合区域，m为大于1的整数；

5、将m个二维目标场景子图输入至三维场景生成模型中的编码网络，通过编码网络对m个二维目标场景子图进行编码，生成m个二维目标场景信息；

6、将m个二维目标场景信息输入至三维场景生成模型中的目标扩散子模型，通过目标扩散子模型对m个二维目标场景信息进行处理，生成三维目标场景，其中，目标扩散子模型用于根据m个二维目标场景信息生成m个三维目标场景子块，m个三维目标场景子块对应于m个三平面特征信息，以及通过对存在重合区域的m个二维目标场景子图对应的m个三平面特征信息进行参数共享的扩散处理，以将m个三维目标场景子块合并为三维目标场景，三平面特征信息用于表征二维目标场景信息在三个相互垂直的平面中的二维信息。

7、本技术的另一方面提供了一种三维场景模型的生成装置，包括：二维目标场景图获取模块、二维目标场景图切块模块、二维目标场景信息生成模块及三维目标场景生成模块；具体的：

8、二维目标场景图获取模块，用于获取二维目标场景图，其中，二维目标场景图用于展示待生成的三维目标场景的布局信息；

9、二维目标场景图切块模块，用于对二维目标场景图进行切块，得到m个二维目标场景子图，其中，m个二维目标场景子图中存在至少一个重合区域，m为大于1的整数；

10、二维目标场景信息生成模块，用于将m个二维目标场景子图输入至三维场景生成模型中的编码网络，通过编码网络对m个二维目标场景子图进行编码，生成m个二维目标场景信息；

11、三维目标场景生成模块，用于将m个二维目标场景信息输入至三维场景生成模型中的目标扩散子模型，通过目标扩散子模型对m个二维目标场景信息进行处理，生成三维目标场景，其中，目标扩散子模型用于根据m个二维目标场景信息生成m个三平面特征信息，以及通过对存在重合区域的m个二维目标场景子图对应的m个三平面特征信息进行参数共享的扩散处理，三平面特征信息用于表征二维目标场景信息在三个相互垂直的平面中的二维信息。

12、在本技术实施例的另一种实现方式中，三维目标场景生成模块，还用于：

13、将m个二维目标场景信息输入至目标扩散子模型中的多层感知器网络，通过多层感知器网络对m个二维目标场景信息进行编码，得到m个三平面特征信息；

14、将m个三平面特征信息输入至目标扩散子模型中的扩散网络，通过扩散网络对存在重合区域的二维目标场景子图对应的三平面特征信息进行参数共享的去噪处理，生成三维目标场景。

15、在本技术实施例的另一种实现方式中，三维目标场景生成模块，还用于：

16、根据m个二维目标场景子图的重合区域，对m个二维目标场景子图进行分组，得到n个二维目标场景子图组，其中，每个二维目标场景子图组中包括至少两个重合区域相同的二维目标场景子图，n为大于等于1的整数；

17、根据n个二维目标场景子图组对m个三平面特征信息进行分组，得到n个三平面特征信息组，其中，每个三平面特征信息组中包括至少两个重合区域相同的二维目标场景子图对应的三平面特征信息；

18、将n个三平面特征信息组输入至目标扩散子模型中的扩散网络，通过扩散网络对每个三平面特征信息组中的三平面特征信息进行去噪处理，得到n个三平面去噪特征组，其中，n个三平面特征信息组对应n个扩散参数；

19、对n个三平面去噪特征组中每组三平面特征信息组中的三平面特征信息进行三维合并映射，生成三维目标场景。

20、在本技术实施例的另一种实现方式中，三维目标场景生成模块，还用于：

21、从每个三平面特征信息组中确定目标重合点对应的第一目标三平面特征信息及第二目标三平面特征信息，其中，目标重合点为第一二维目标场景子图与第二二维目标场景子图的重合区域中的点，第一目标三平面特征信息为目标重合点在第一二维目标场景子图中对应的三平面特征信息，第二目标三平面特征信息为目标重合点在第二二维目标场景子图中对应的三平面特征信息；

22、对n个三平面特征信息组中的每个三平面特征信息组中确定目标重合点对应的第一目标三平面特征信息及第二目标三平面特征信息进行加权计算，得到n个三平面去噪特征组。

23、在本技术实施例的另一种实现方式中，三维目标场景生成模块，还用于：

24、获取n个二维目标场景子图组中每个二维目标场景子图组中的第一二维目标场景子图对应的第一坐标系与第二二维目标场景子图对应的第二坐标系；

25、根据每个二维目标场景子图组中对应的第一坐标系与第二坐标系，确定第一二维目标场景子图与第二二维目标场景子图的横坐标距离差，以及第一二维目标场景子图与第二二维目标场景子图的纵坐标距离差；

26、将每个二维目标场景子图组中对应的横坐标距离差与纵坐标距离差作为加权计算的系数，对每个二维目标场景子图组对应的三平面特征信息组中目标重合点对应的第一目标三平面特征信息及第二目标三平面特征信息进行加权计算，得到n个三平面去噪特征组。

27、在本技术实施例的另一种实现方式中，第一目标三平面特征信息包括第一目标横坐标信息及第一目标纵坐标信息，第二目标三平面特征信息包括第二目标横坐标信息及第二目标纵坐标信息；

28、三维目标场景生成模块，还用于将每个二维目标场景子图组中对应的横坐标距离差，作为每个二维目标场景子图组对应的第一目标横坐标信息与第二目标横坐标信息的加权系数，以及将每个二维目标场景子图组中对应的纵坐标距离差，作为每个二维目标场景子图组对应的第一目标纵坐标信息与第二目标纵坐标信息的加权系数，对每个二维目标场景子图组对应的三平面特征信息组中目标重合点对应的第一目标三平面特征信息及第二目标三平面特征信息进行加权计算，得到n个三平面去噪特征组。

29、在本技术实施例的另一种实现方式中，二维目标场景信息生成模块，还用于：

30、获取m个二维目标场景子图对应的m个原始像素信息；

31、将m个二维目标场景子图输入至三维场景生成模型中的编码网络，通过编码网络对m个二维目标场景子图对应的m个原始像素信息进行编码，生成m个二维目标场景信息。

32、在本技术实施例的另一种实现方式中，三维目标场景生成模块，还用于：

33、通过多层感知器网络，将m个二维目标场景信息映射到三个相互垂直的平面中，得到与三个相互垂直的平面分别对应的m个三平面特征信息。

34、在本技术实施例的另一种实现方式中，三维目标场景生成模块，还用于：

35、将m个三平面特征信息输入至目标扩散子模型中的扩散网络，通过扩散网络对存在重合区域的二维目标场景子图对应的三平面特征信息进行参数共享的k轮去噪处理，生成三维目标场景，其中，每轮去噪处理的输入为上一轮去噪处理的输出。

36、在本技术实施例的另一种实现方式中，三维场景模型的生成装置，还包括：三维训练场景模型获取模块、三维训练场景模型切块模块、三维训练场景生成模块、生成损失确定模块及三维场景生成模型训练模块；具体的：

37、三维训练场景模型获取模块，用于获取三维训练场景模型，其中，三维训练场景模型携带三维位置标记信息；

38、三维训练场景模型切块模块，用于对三维训练场景模型进行切块，得到m个三维训练场景子块，其中，m个三维训练场景子块存在至少一个重合区域，m为大于1的整数；

39、三维训练场景生成模块，用于将m个三维训练场景子块输入至三维场景生成模型中的目标扩散子模型，通过目标扩散子模型对m个三维训练场景子块进行处理，生成三维训练场景，其中，目标扩散子模型用于根据m个三维训练场景生成m个三平面训练特征信息，以及通过对存在重合区域的m个三维训练场景子块对应的m个三平面训练特征信息进行参数共享的扩散处理，以将m个三维训练场景子块合并为三维训练场景，三平面训练特征信息用于表征三维训练场景在三个相互垂直的平面中的二维信息；

40、生成损失确定模块，用于根据三维位置标记信息及三平面训练特征信息，确定生成损失；

41、三维场景生成模型训练模块，用于根据生成损失对三维场景生成模型中的目标扩散子模型的参数进行调整，生成训练完成的三维场景生成模型中的目标扩散子模型。

42、在本技术实施例的另一种实现方式中，三维训练场景生成模块，还用于：

43、将m个三维训练场景子块输入至目标扩散子模型中的多层感知器网络，通过多层感知器网络对m个三维训练场景子块进行编码，得到m个三平面训练特征信息；

44、将m个三平面训练特征信息输入至目标扩散子模型中的扩散网络，通过扩散网络对存在重合区域的三维训练场景子块对应的三平面训练特征信息进行参数共享的去噪处理，生成三维目标场景。

45、本技术的另一方面提供了一种计算机设备，包括：

46、存储器、收发器、处理器以及总线系统；

47、其中，存储器用于存储程序；

48、处理器用于执行存储器中的程序，包括执行上述各方面的方法；

49、总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

50、本技术的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

51、本技术的另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方面所提供的方法。

52、从以上技术方案可以看出，本技术实施例具有以下优点：

53、本技术提供了一种三维场景模型的生成方法以及相关装置，其方法包括：获取二维目标场景图，其中，二维目标场景图用于展示待生成的三维目标场景的布局信息；对二维目标场景图进行切块，得到m个二维目标场景子图，其中，m个二维目标场景子图中存在至少一个重合区域，m为大于1的整数；将m个二维目标场景子图输入至三维场景生成模型中的编码网络，通过编码网络对m个二维目标场景子图进行编码，生成m个二维目标场景信息；将m个二维目标场景信息输入至三维场景生成模型中的目标扩散子模型，通过目标扩散子模型对m个二维目标场景信息进行处理，生成三维目标场景，其中，目标扩散子模型用于根据m个二维目标场景信息生成m个三维目标场景子块，m个三维目标场景子块对应于m个三平面特征信息，以及通过对存在重合区域的m个二维目标场景子图对应的m个三平面特征信息进行参数共享的扩散处理，以将m个三维目标场景子块合并为三维目标场景，三平面特征信息用于表征二维目标场景信息在三个相互垂直的平面中的二维信息。本技术实施例提供的方法通过将二维目标场景图切块，将切块得到的m个二维目标场景子图对应的二维目标场景信息输入到目标扩散子模型，通过目标扩散子模型将m个二维目标场景信息转化为对应的m个三维目标场景子块，通过参数共享的扩散方式将三维目标场景子块进行合并，生成三维目标场景，通过对大场景的二维目标场景图进行切分生成对应的二维目标场景子图，将三维目标场景子块进行合并，生成大场景的二维目标场景图对应的大规模场景的三维目标场景，消除了子块重叠部分的不一致性，保证了三维训练场景的准确性。