一种基于自定义扩散模型的三维虚拟试穿方法和系统

本发明涉及深度学习和计算机视觉，特别是涉及一种基于自定义扩散模型的三维虚拟试穿方法和系统。

背景技术：

1、虚拟试穿旨在根据用户输入的数字衣服和数字人，输出该数字人穿上该数字衣服的视图。现有绝大多数虚拟试穿方法实现了二维层面的虚拟试穿。总体而言这些方法采用了衣服变形-试穿生成的两阶段框架，首先采取了tps或者基于流的网络完成衣服变形，然后采取诸如gan（生成对抗网络）或者扩散模型合成最终的生成结果。三维虚拟试穿方法将二维虚拟试穿拓展到了更高的维度，能够立体三维虚拟试穿结果，即生成立体的穿着相应数字衣物的数字人。传统三维虚拟试穿方法使用了三维扫描或者衣物物理建模的方式，构建立体试穿结果。基于深度学习的三维虚拟试穿方法利用了可微渲染器，使smpl（参数化人体模板）穿上衣服。尽管在三维虚拟试穿方面生成方面取得了显著进展，但存在输入数据要求繁多导致处理过程复杂、生成的三维模型过饱和或者含有过多杂质导致最终生成的视图质量不高。

2、现有技术公开一种虚拟试穿、试戴系统及电子设备，包括虚拟试穿试戴模块、虚拟场景演示模块、搭配模块；所述搭配模块用于匹配待试物与人体三维立体模型；所述虚拟试穿试戴模块用于展示所述人体三维立体模型与所述待试物的匹配情况；所述虚拟场景演示模块，提供若干现实虚拟场景，用于展示试穿/试戴后的虚拟人体模型与选定环境的融洽关系；虚拟试穿试戴模块、搭配模块和所述虚拟场景演示模块三者之间均数据连通，该系统在试穿之前需要输入整体参数集、头部参数集、上身参数集、下身参数集和脚部参数集；其中整体参数集包括身高和/或体重；头部参数集包括头围和/或颈围；上身参数集至少包括颈围、胸围、腰围、臂长、背长和肩宽之一；下身参数集至少包括腰围、内腿长、大腿围和小腿围之一；所述脚部参数集包括脚长和/或脚踝围，输入数据复杂，导致处理过程复杂，并且生成的三维模型过饱和或者含有过多杂质导致最终生成的试穿视图质量不高。

技术实现思路

1、本发明的首要目的是克服现有技术存在的问题，提供一种基于自定义扩散模型的三维虚拟试穿方法，本发明能够简化试穿处理步骤和提高生成试穿视图的质量。

2、作为本发明的另一目的，也基于前述目的的方法而提供与之相适应的系统。

3、为了实现上述目的，本发明提供了一种基于自定义扩散模型的三维虚拟试穿方法，包括：

4、步骤s1：构建扩散模型，对所述扩散模型进行预训练，获得预训练扩散模型，将多概念的lora和densepose controlnet引入到所述预训练扩散模型，获得自定义扩散模型；

5、步骤s2：使用所述自定义扩散模型生成 rgb模板，根据所述 rgb模板获取掩膜模板和法线模板；

6、步骤s3：使用第一mlp网络参数化基于dmtet的几何表示，训练所述第一mlp网络并更新参数直至收敛，获得优化几何表示；

7、步骤s4：使用第二mlp网络参数化所述优化几何表示对应的纹理，训练所述第二mlp网络并更新参数直至收敛，获得优化纹理表示；

8、步骤s5：结合所述优化几何表示和所述优化纹理表示，获得试穿结果的人体，完成试穿。

9、进一步地，步骤s2具体包括：

10、步骤s2.1：使用所述自定义扩散模型在多个预定义的视点内生成rgb模板；

11、步骤s2.2：将所述rgb模板输入解析预测器和法线图预测器，获得所述掩膜模板和所述法线模板。

12、进一步地，步骤s3具体包括：

13、步骤s3.1：使用第一mlp网络参数化基于基于dmtet的几何表示，

14、其中，表示四面体网格，表示四面体网格的顶点；

15、步骤s3.2：训练所述第一mlp网络并更新参数直至收敛，训练的第一mlp网络用于预测每个顶点在四面体网格中的有符号距离函数值和变形偏移；

16、步骤s3.3：对所述几何表示进行可微渲染处理，获得与所述几何表示对应的法线图；

17、步骤s3.4：将所述法线图输入所述预训练扩散模型，计算所述法线图的分数蒸馏采样损失；

18、步骤s3.5：结合所述掩膜模板和所述法线模板优化所述几何表示；

19、步骤s3.6：重复步骤s3.2至步骤s3.5直到所述参数收敛，获得优化几何表示。

20、进一步地，步骤s3.2中训练的目标函数由下式确定：

21、

22、其中表示在表面周围随机采样的点集，s表示mlp网络的预测输出，表示预先计算的sdf值，表示带有多概念的lora和densepose controlnet的自定义扩散模型，表示在当前相机视角下从smpl网格渲染的姿态密度。

23、进一步地，步骤s3.4中分数蒸馏采样损失由下式确定：

24、

25、其中，表示扩散模型步数，表示权重，表示具有步噪声的的潜在编码，表示由clip提取的法线图提示的嵌入,为当前时刻噪声，的参数。

26、进一步地，步骤s3.5包括：根据所述掩膜模板和对应的渲染模板的均方误差以及法线模板和对应的渲染法线图的重建损失优化几何表示，所述重建损失包括mse损失和感知损失。

27、进一步地，所述均方误差由下式确定：

28、

29、其中，表示渲染掩膜，表示掩膜模板；

30、所述mse损失由下式确定：

31、

32、其中，表示渲染法线图，表示法线模板；

33、所述感知损失由下式确定：

34、

35、其中表示预训练vgg网络中的第个特征图。

36、进一步地，步骤s4具体包括：

37、步骤s4.1：使用第二mlp网络参数化所述优化几何表示所对应的纹理，并训

38、练所述第二mlp网络并更新参数；

39、步骤s4.2：对所述优化几何表示和所述纹理进行可微渲染处理，获得与所述优化几何表示和所述纹理对应的rgb图；

40、步骤s4.3：将所述rgb输入至所述自定义扩散模型，计算所述rgb图的分数蒸馏采样损失；

41、步骤s4.4：结合所述掩膜模板和所述rgb模板优化所述纹理；

42、步骤s4.5：重复步骤s4.1至步骤s4.4,直到所述参数收敛，获得优化纹理表示。

43、进一步地，步骤s4.4包括根据rgb模板和对应的渲染rgb图像之间的mse损失和感知损失优化所述纹理。

44、为了实现本发明的另一目的，本发明提供一种基于自定义扩散模型的三维虚拟试穿系统，包括：

45、构建模块：用于构建扩散模型，对所述扩散模型进行预训练，获得预训练扩散模型，将多概念的lora和densepose controlnet引入到所述预训练扩散模型，获得自定义扩散模型；

46、获取模块：用于使用所述自定义扩散模型生成 rgb模板，根据所述 rgb模板获取掩膜模板和法线模板；

47、第一优化模块：用于使用第一mlp网络参数化基于dmtet的几何表示，训练所述第一mlp网络并更新参数直至收敛，获得优化几何表示；

48、第二优化模块：用于使用第二mlp网络参数化所述优化几何表示对应的纹理，训练所述第二mlp网络并更新参数直至收敛，获得优化纹理表示；

49、结合模块：用于结合所述优化几何表示和所述优化纹理表示，获得试穿结果的人体，完成试穿。

50、本发明与现有技术相比，其有益效果在于：

51、本发明通过将多概念的lora和densepose controlnet引入到预训练扩散模型，获得自定义扩散模型，用户只需要提供几张本人照片即可完成三维试穿，避免了现有技术需要测量大量数据带来的处理复杂问题，从而简化了试穿处理步骤；本发明还通过采用基于模板的优化机制对几何和纹理进行优化，基于模板的优化机制的模板包括rgb模板、掩膜模板和法线模板，使得生成的人体的几何和纹理一致，从而提高了生成的试穿视图的质量。