服饰纹理贴图生成方法、装置、设备以及存储介质与流程

本公开涉及人工智能，尤其涉及计算机视觉、深度学习、大模型等，可应用于虚拟现实、数字人等场景。

背景技术：

1、随着虚拟现实和增强现实技术的发展，数字角色例如数字人的应用场景越来越多。例如，在社交媒体、虚拟互动平台等，使用数字人可以提供沉浸式的用户体验。高质量的三维模型和逼真的纹理制作，这对于数字角色的真实性和互动性至关重要。

技术实现思路

1、本公开提供了一种服饰纹理贴图生成方法、装置、设备以及存储介质。

2、根据本公开的一方面，提供了一种服饰纹理贴图生成方法，包括：

3、基于服饰参考图得到服饰特征；

4、根据与该服饰参考图关联的坐标映射图和纹理掩码图，得到纹理特征；其中，该坐标映射图包括与该服饰参考图关联的服饰模型展开的纹理贴图在该服饰模型中对应的坐标；该纹理掩码图包括基于该服饰模型展开的纹理贴图中的透明通道生成的图像；

5、基于该服饰特征和该纹理特征，生成服饰纹理贴图。

6、根据本公开的另一方面，提供了一种服饰纹理贴图生成模型训练方法，包括：

7、基于训练样本中的服饰参考图得到服饰特征；

8、根据该训练样本中的坐标映射图和纹理掩码图以及输入噪声，得到纹理特征；其中，该坐标映射图包括与该服饰参考图关联的服饰模型展开的纹理贴图在该服饰模型中对应的坐标；该纹理掩码图包括基于该服饰模型展开的纹理贴图中的透明通道生成的图像；

9、基于该服饰特征和该纹理特征，对该服饰纹理贴图生成模型进行优化。

10、根据本公开的另一方面，提供了一种服饰纹理贴图生成装置，包括：

11、服饰特征获取模块，用于基于服饰参考图得到服饰特征；

12、纹理特征获取模块，用于根据与该服饰参考图关联的坐标映射图和纹理掩码图，得到纹理特征；其中，该坐标映射图包括与该服饰参考图关联的服饰模型展开的纹理贴图在该服饰模型中对应的坐标；该纹理掩码图包括基于该服饰模型展开的纹理贴图中的透明通道生成的图像；

13、服饰贴图生成模块，用于基于该服饰特征和该纹理特征，生成服饰纹理贴图。

14、根据本公开的另一方面，提供了一种服饰纹理贴图生成模型训练装置，包括：

15、服饰特征获取模块，用于基于训练样本中的服饰参考图得到服饰特征；

16、纹理特征获取模块，用于根据该训练样本中的坐标映射图和纹理掩码图以及输入噪声，得到纹理特征；其中，该坐标映射图包括与该服饰参考图关联的服饰模型展开的纹理贴图在该服饰模型中对应的坐标；该纹理掩码图包括基于该服饰模型展开的纹理贴图中的透明通道生成的图像；

17、优化模块，用于基于该服饰特征和该纹理特征，对该服饰纹理贴图生成模型进行优化。

18、根据本公开的另一方面，提供了一种数字角色的服饰生成方法，包括：

19、通过本公开实施例上述任一项的服饰纹理贴图生成方法生成该数字角色的服饰纹理贴图；

20、采用该数字角色的服饰纹理贴图生成该数字角色的服饰。

21、根据本公开的另一方面，提供了一种数字角色，包括：

22、通过服饰纹理贴图生成的数字服饰；

23、该服饰纹理贴图是采用上述任一项生成的。

24、根据本公开的另一方面，提供了一种电子设备，包括：

25、至少一个处理器；以及

26、与该至少一个处理器通信连接的存储器；其中，

27、该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。

28、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

29、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

30、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种服饰纹理贴图生成方法，包括：

2.根据权利要求1所述的方法，其中，基于服饰参考图得到服饰特征，包括：将所述服饰参考图输入服饰纹理贴图生成模型的第一网络，得到所述服饰特征；

3.根据权利要求2所述的方法，其中，基于所述服饰特征和所述纹理特征，生成服饰纹理贴图，包括：

4.根据权利要求3所述的方法，还包括：

5.一种服饰纹理贴图生成模型训练方法，包括：

6.根据权利要求5所述的方法，其中，基于训练样本中的服饰参考图得到服饰特征，包括：将所述服饰参考图输入服饰纹理贴图生成模型的第一网络，得到所述服饰特征；

7.根据权利要求6所述的方法，其中，基于所述服饰特征和所述纹理特征，对所述服饰纹理贴图生成模型进行优化，包括；

8.根据权利要求7所述的方法，其中，通过所述第二网络对所述拼接特征进行迭代处理，包括：

9.根据权利要求7或8所述的方法，其中，基于迭代处理中加入的第一噪声和去除的第二噪声，对所述服饰纹理贴图生成模型进行优化，包括：

10.一种服饰纹理贴图生成装置，包括：

11.根据权利要求10所述的装置，其中，所述服饰特征获取模块用于将所述服饰参考图输入服饰纹理贴图生成模型的第一网络，得到所述服饰特征；所述纹理特征获取模块用于将输入噪声、所述坐标映射图和所述纹理掩码图输入服饰纹理贴图生成模型的第二网络，得到所述纹理特征。

12.根据权利要求11所述的装置，其中，所述服饰贴图生成模块，包括：

13.根据权利要求12所述的装置，其中，还包括：

14.一种服饰纹理贴图生成模型训练装置，包括：

15.根据权利要求14所述的装置，其中，所述服饰特征获取模块用于将所述服饰参考图输入服饰纹理贴图生成模型的第一网络，得到所述服饰特征；所述纹理特征获取模块用于将所述输入噪声、所述坐标映射图和所述纹理掩码图输入服饰纹理贴图生成模型的第二网络，得到所述纹理特征。

16.根据权利要求15所述的装置，其中，所述优化模块，包括；

17.根据权利要求16所述的装置，其中，所述迭代子模块用于通过所述第二网络对所述拼接特征多阶段迭代处理，得到加入的第一噪声和去除的第二噪声；其中，所述多阶段迭代处理包括连续多个正向扩散步骤以及连续多个反向扩散步骤；所述连续多个正向扩散步骤用于向所述拼接特征中迭代地加入噪声得到带噪声的目标图像，所述第一噪声包括在所述连续多个正向扩散步骤中加入的噪声；所述连续多个反向扩散步骤用于从所述目标图像中迭代地去除噪声得到恢复的纹理贴图，所述第二噪声包括在所述连续多个反向扩散步骤中去除的噪声。

18.根据权利要求16或17所述的装置，其中，所述优化子模块用于基于所述第一噪声和所述第二噪声计算损失函数；基于所述损失函数调整所述第二网络的参数，直至所述损失函数收敛为止。

19.一种数字角色的服饰生成方法，包括：

20.一种数字角色，包括：

21.一种电子设备，包括：

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

技术总结
本公开提供了服饰纹理贴图生成方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、大模型等技术领域，可应用于虚拟现实、数字人等场景。具体实现方案为：基于服饰参考图得到服饰特征；根据与该服饰参考图关联的坐标映射图和纹理掩码图得到纹理特征；其中，该坐标映射图包括与该服饰参考图关联的服饰模型展开的纹理贴图在该服饰模型中对应的坐标；该纹理掩码图包括基于该服饰模型展开的纹理贴图中的透明通道生成的图像；基于该服饰特征和该纹理特征，生成服饰纹理贴图。

技术研发人员：高小博,刘星,吴进波,赵晨,冯浩城,李莹莹,丁二锐,王井东
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2025/4/10