一种基于自适应选帧的云端协同高效虚拟试衣方法

本发明涉及基于二维图像的虚拟试衣领域，具体涉及一种基于自适应选帧的云端协同高效虚拟试衣方法。

背景技术：

1、虚拟试衣是实现用户不用脱去身上衣服，实现变装查看效果的一种技术应用。近年来，随着生成对抗网络的发展，众多的研究者致力于使用简单的二维图像完成虚拟试衣。基于二维图像的虚拟试衣的一般流程如下：(1)人体解析：将人体图像输入至人体解析器，以获取身体各部分、脸部、头发、衣服和姿势等信息，进而有效地指导人体部位的精确区域的合成；(2)服饰信息提取：采取变形或编码等方式获取目标服饰的信息；(3)人体图像合成：根据上述条件信息，利用生成对抗网络来完成最终换衣图像的生成。

2、尽管基于二维图像虚拟试衣的研究已经取得了充足的进展，但大多数方法只能运行在昂贵的高性能服务器，缺乏与用户的交互感。考虑到智能手机的便捷性与普及程度，利用智能手机来完成实时换衣，可以提升换衣过程的交互感。然而目前手机的算力并不能满足换衣算法运行的需求，尤其是对于生成对抗网络等深度学习算法。因此，云端协同是一种有效的解决方式：将简单的任务(人体解析)在手机端完成，将复杂耗时的任务(图像合成)上传至云端完成。

技术实现思路

1、要解决的技术问题

2、为了避免现有技术的不足之处，本发明提供一种基于自适应选帧的云端协同高效虚拟试衣方法。

3、技术方案

4、一种基于自适应选帧的云端协同高效虚拟试衣方法，其特征在于步骤如下：

5、步骤1：利用手机摄像头实时采集当前用户的图像信息，根据图像信息在手机端利用人体网格恢复网络hmr完成三维人体重建，获取蒙皮多人线性模型smpl的身体形状参数和姿势参数并记录当前参数值k＝(θ,β)；

6、步骤2：比较当前的参数值k与全局参数值k′之间的差异，如果差异大于给定阈值则说明姿态变化较大，需要将该帧图像i与当前参数值k上传至云端完成后续处理，并将全局参数值k′更新为当前参数值k；

7、步骤3：云端接收到参数θ,β后恢复出smpl三维模型的6890个顶点：

8、nv＝smpl(θ,β)

9、利用神经三维网格渲染器nmr对三维模型进行渲染，得到源模型在相机视角下的二维图像cs，cs中蕴含三维图像与二维图像在空间上的对应关系；根据smpl三维模型每一个顶点的所属的人体部位，可以将输入图像分为前景图像ifs和背景图像ibs，并且可以将前景图像ifs进一步划分为身体的不同部位，记为parts[face,neck,..,leg]；对参考图像做相同的处理，获得cr，以及其前景图像ifr和背景图像ibr，以及对应的身体分割信息parts[face,neck,..,leg]；

10、对原图像的衣服部分进行遮蔽处理，得到掩模mt；将参考图像的衣服部分替换至mask部分，得到对应要生成的换装后的图像表示isgt；

11、步骤4：利用生成对抗网络分别对源背景图像ibgs和目标图像isgt进行生成处理：

12、

13、

14、其中生成器g采用unet网络实现；

15、最终，将背景图像和前景图像用线性合成，并用目标掩模mt进行加权，得到最终的图像输出，并将结果返回至手机终端

16、

17、本发明进一步的技术方案：步骤2中差异计算公式如下：

18、

19、一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。

20、一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。

21、有益效果

22、本发明提供的一种基于自适应选帧的云端协同虚拟试衣方法，利用手机摄像头实时采集当前用户的图像信息，根据图像信息在手机端利用resnet网络完成三维人体重建，获取smpl人体模型的参数信息；比较当前三维姿态与之前三维姿态的差异，根据差异程度来选择将图像和smpl参数上传至云端；云端根据接收到的参数恢复出smpl模型，并找出对应的身体部分进行交换；云端分别利用两个unet网络对背景和前景进行合成，组合后完成最终的输出。

23、具有以下优点：

24、(1)手机摄像头采集到的相邻图像帧变化不大，只挑取姿态变化较大的图像帧进行处理可以在保持变装效果的同时减轻计算量；

25、(2)二维图像难以有效描述人体的形状特征，引入三维信息来描述人体的形状特征，从而减少偏差；

26、(3)为了维持源图像的背景，对前景与背景进行分开合成，从而产生源背景相符的换装图片。

技术特征：

1.一种基于自适应选帧的云端协同高效虚拟试衣方法，其特征在于步骤如下：

2.根据权利要求1所述的基于自适应选帧的云端协同高效虚拟试衣方法，其特征在于：步骤2中差异计算公式如下：

3.一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1所述的方法。

4.一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1所述的方法。

技术总结
本发明涉及一种基于自适应选帧的云端协同虚拟试衣方法，涉及基于二维图像的虚拟试衣领域。利用手机摄像头实时采集当前用户的图像信息，根据图像信息在手机端利用Resnet网络完成三维人体重建，获取SMPL人体模型的参数信息；比较当前三维姿态与之前三维姿态的差异，根据差异程度来选择将图像和SMPL参数上传至云端；云端根据接收到的参数恢复出SMPL模型，并找出对应的身体部分进行交换；云端分别利用两个UNet网络对背景和前景进行合成，组合后完成最终的输出。

技术研发人员：郭斌,冯煦阳,邱晨,於志文,王柱,刘思聪,梁韵基
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/1/12