一种基于自定义扩散模型的三维虚拟试穿方法和系统

文档序号:38164609发布日期:2024-05-30 12:19阅读:来源:国知局

技术特征:

1.一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,包括:

2.根据权利要求1所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s2具体包括:

3.根据权利要求2所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s3具体包括:

4.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s3.2中训练的目标函数由下式确定:

5.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s3.4中分数蒸馏采样损失由下式确定:

6.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s3.5包括:根据所述掩膜模板和对应的渲染模板的均方误差以及法线模板和对应的渲染法线图的重建损失优化几何表示,所述重建损失包括mse损失和感知损失。

7.根据权利要求6所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,所述均方误差由下式确定:

8.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s4具体包括:

9.根据权利要求8所述的一种基于自定义扩散模型的三维虚拟试穿方法,其特征在于,步骤s4.4包括根据rgb模板和对应的渲染rgb图像之间的mse损失和感知损失优化所述纹理。

10.一种基于自定义扩散模型的三维虚拟试穿系统,其特征在于,包括:


技术总结
本发明涉及深度学习和计算机视觉技术领域,公开了一种基于自定义扩散模型的三维虚拟试穿方法和系统,包括:构建扩散模型,对扩散模型进行预训练,获得预训练扩散模型,将多概念的LoRA和Densepose ControlNet引入到预训练扩散模型,获得自定义扩散模型;使用自定义扩散模型生成RGB模板,根据RGB模板获取掩膜模板和法线模板;使用第一MLP网络参数化基于DMTet的几何表示,训练第一MLP网络并更新参数直至收敛,获得优化几何表示;使用第二MLP网络参数化优化几何表示对应的纹理,训练第二MLP网络并更新参数直至收敛,获得优化纹理表示;结合优化几何表示和所述优化纹理表示,获得试穿结果的人体,完成试穿。本发明能够简化试穿处理步骤和提高生成试穿视图的质量。

技术研发人员:梁小丹,谢震宇,高雨飞,马泽华
受保护的技术使用者:中山大学·深圳
技术研发日:
技术公布日:2024/5/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1