虚拟穿衣的图像处理方法及虚拟试衣方法与流程

本申请涉及数据处理领域，更具体地说，涉及虚拟穿衣的图像处理方法以及虚拟试衣方法。

背景技术：

1、随着移动终端的发展和人们生活水平的不断提高，越来越多的人能够方便的通过网上购物，实现日常的衣食住行需求，但网购的物品是否合适则往往要等拿到实物才能判断，尤其是在线买衣服。线下购物时，为了挑选合身的衣服，用户需要自己到服装店，试穿不同尺寸的衣服以找到最适合自己的，整个过程耗时耗力。网上购物尽管能减少用户在不同服装店之间的往返，但仍然无法解决试穿的问题，比如买的衣服不合身等，此外商家货品尺寸和实物也会存在差异，这就使得网购衣服经常会出现因不满意而退换货等问题。

2、正是为了解决这样的问题，虚拟穿衣技术应运而生。通过虚拟穿衣，顾客可以轻松快速的得到不同尺寸的衣服在自己做不同动作时的试穿效果，大大简化了挑选衣服的过程，提升了购物体验。此外，虚拟穿衣技术还广泛应用于电子游戏、虚拟世界等领域。

3、现有虚拟穿衣技术通过将各种衣服服饰拍照产生图像后，对图像进行变换处理，再贴合到模特身上，以实现试穿衣服的仿真效果。为了能够尽可能的真实再现布料贴合人体的情况，人们尝试了多种方法。

4、比如，中国专利申请cn114863073提出了一种2d虚拟上装方法。然而，采用2d虚拟上装方案，需要将衣服一件件放在人偶角色身上进行拍摄，然后将拍摄照片发送至虚拟上装模型上进行模特生成，成本高且耗时长。如果仅拍摄衣服平铺图片进行建模，则虚拟模特上装效果更差。

5、再比如，中国专利申请cn202010874008提出一种方法，通过先构建人物的3d模型，再将3d虚拟服装虚拟穿着在这个3d重建人物身上。然而，这种3d虚拟上装方案，需要同时对衣服和模特进行3d建模，不仅成本高，且3d建模渲染效果无法和2d照片效果比拟。

技术实现思路

1、为了解决上述问题，本申请提出了一种虚拟穿衣的图像处理方法，基于服装图片生成虚拟服装的3d模型，然后将其投射到2d图片中，利用2d虚拟角色对虚拟服装进行填充，利用扩散网络生成2d虚拟角色的上装效果，从而能够克服现有技术的不足，实现更真实、高效的虚拟试衣体验。

2、根据本申请的一方面，提供了一种虚拟穿衣的图像处理方法包括：获取服装图片，对服装图片进行解析，获得服装的纹理以及版型；结合人体姿态，对服装进行3d渲染，使得服装的扭曲程度和褶皱等细节，和对应的人体姿态保持一致，获得渲染后的虚拟服装；获取2d虚拟角色；将所述2d虚拟角色扩散填充渲染后的虚拟服装，形成3d着装图像。

3、根据本申请的一方面，提供了一种虚拟试衣方法，包括：接收用户的指令，获取用户指定的姿态和体型，以及获取用户指定的服装；根据用户的姿态和体型，获取对应的2d虚拟角色；根据用户指定的服装，结合用户的姿态和体型，获得指定服装的3d渲染结果，形成3d虚拟服装；利用所述2d虚拟角色对渲染后的虚拟服装进行扩散填充，形成3d着装图像。

4、相较于现有技术，本申请将虚拟角色和服装分开建模，采用少量平铺服装照片构建出虚拟服装的3d模型，再采用2d虚拟角色模型对服装进行填充从而能够以较低的计算成本，极其快速地响应服装的调整需求，大幅提升服装设计、展示、销售以及虚拟世界等技术领域中虚拟人物换装或试衣环节的反馈效率。

技术特征：

1.一种虚拟穿衣的图像处理方法，其特征在于，包括：

2.根据权利要求1所述的图像处理方法，其特征在于，所述对服装进行渲染进一步包括：对应各种人体姿态，对服装进行渲染，使得服装根据人体姿态的变化产生不同的变化量，保存对应的变化量，形成该人体姿态对应的虚拟服装。

3.根据权利要求1所述的图像处理方法，其特征在于，所述对服装进行渲染进一步包括：根据服装的材质或人体体型，对服装进行3d渲染，获得渲染后的虚拟服装。

4.根据权利要求1所述的图像处理方法，其特征在于，所述对服装图片进行解析获得服装版型包括：调整服装图片的分辨率；通过分割神经网络对服装进行网格化处理，形成不同部分的分割结果；通过映射神经网络映射至对应的服装版型。

5.根据权利要求4所述的图像处理方法，其特征在于，所述通过映射神经网络映射至对应的服装版型包括：按照各个部分的分割结果，针对服装上的每个像素，找到在标准版型上的位置，实现对应关系。

6.根据权利要求1所述的图像处理方法，其特征在于，进一步包括：预先训练生成虚拟角色的模型库，所述模型库包含不同性别、肤色、肤质、体型的虚拟角色。

7.根据权利要求1所述的图像处理方法，其特征在于，所述获得2d虚拟角色进一步包括：获取除了服装以外的其他背景元素。

8.一种虚拟试衣方法，其特征在于，包括：接收用户的指令，获取用户指定的姿态和体型，以及获取用户指定的服装图片；根据用户的姿态和体型，获取对应的2d虚拟角色；根据用户指定的服装图片，结合用户的姿态和体型，获得指定服装的3d渲染结果，形成3d虚拟服装；利用所述2d虚拟角色对渲染后的虚拟服装进行扩散填充，形成3d着装图像。

9.根据权利要求1所述的虚拟试衣方法，其特征在于，所述根据用户指定的服装图片结合用户的姿态和体型获得指定服装的3d渲染结果进一步包括：对所述指定服装图片进行解析，获得服装的纹理以及版型；结合人体姿态，对所述服装进行3d渲染，使得服装的形变和指定人体姿态保持一致，获得渲染后的虚拟服装。

10.根据权利要求9所述的虚拟试衣方法，其特征在于，所述对服装进行3d渲染进一步包括：根据指定的人体姿态和/或体型，对服装进行渲染，使得服装根据指定姿态和/或体型的变化产生不同的变化量，保存对应的变化量，形成于指定姿态和/或体型对应的虚拟服装。

11.根据权利要求9所述的虚拟试衣方法，其特征在于，所述获得服装的纹理以及版型包括：调整服装图片的分辨率；通过分割神经网络对服装进行网格化处理，形成不同部分的分割结果；通过映射神经网络映射至对应的服装版型。

技术总结
一种虚拟穿衣的图像处理方法及虚拟试衣方法，其中图像处理方法包括：获取服装图片，对服装图片进行解析，获得服装的纹理以及版型；结合人体姿态，对服装进行3D渲染，使得服装的扭曲程度和褶皱等细节，和对应的人体姿态保持一致，获得渲染后的虚拟服装；获取2D虚拟角色；将所述2D虚拟角色扩散填充渲染后的虚拟服装，形成3D着装图像。本申请通过分离虚拟角色和服装的建模，能够克服现有技术的不足，以较低的算力成本，实现更真实高效的虚拟试衣体验。

技术研发人员：朱江,刘宏军
受保护的技术使用者：常熟井赢科技有限公司
技术研发日：
技术公布日：2024/1/15