一种自适应服装配准和融合生成的虚拟试衣方法

本发明属于深度学习与计算机视觉，具体涉及一种自适应服装配准和融合生成的虚拟试衣方法。

背景技术：

1、随着线上购物的快速发展，近年来对虚拟试衣的需求迅速增加，该技术可以模拟顾客线下实际换装场景，顾客仅需要输入自己的照片以及想要试穿的衣服即可获得试穿结果图像，在便利顾客的同时还能减少产品退换货风险和降低运输成本，虽然之前的试衣方法已取得不错的生成效果，但是通常由于存在复杂的试穿服装和复杂的人体姿势，难以在服装转移过程中进行有效的细节处理并生成可靠的生成结果。

2、现有的虚拟试衣技术主要分为3d模型建模和基于2d图像的方法，基于3d建模方法主要基于计算机图像学，通过计算三维人体信息与服装模型进行3d渲染。但由于3d建模需要依赖测量设备进行测量，其计算代价昂贵，计算效率低，数据难以进行收集，所以难以在线上电商环境下广泛的落地应用。基于图像的虚拟试衣方法凭借着数据采集难度和后期维护成本低以及计算效率高的优势成为主流的虚拟试衣技术研究方法。

3、先前基于2d图像的虚拟试衣方法中，在服装的几何扭曲部分，基于tps服装对齐的试衣方法对于复杂外观的服装和身体姿势，难以实现准确的对齐扭曲，并且局部的过度扭曲会影响服装拓扑保持效果，造成服装纹理失真。基于外观流方法估计扭曲服装的方法无法稳定的实现服装纹理细节的保留。并且先前方法在融合生成部分对所有身体部位使用相同的卷积核操作缺乏足够的灵活性，导致各个部位生成结果缺乏丰富细节，无法平滑处理部位之间的接缝，并且容易出现伪影和噪声，无法生成清晰真实的试衣结果。

技术实现思路

1、为克服上述现有技术的不足，本发明的目的是提供自适应服装配准和融合生成的虚拟试衣方法，预处理模块通过输入参考人像和目标服装获取人体语义分割图、人体密集姿态图、与服装信息无关的遮挡参考人像图和服装二维掩码；利用人体分割图预测模块生成参考人像试穿后的目标语义分割图；使用多尺度邻域共识扭曲模块实现待试穿服装和身体部位之间的准确配准扭曲，并且扭曲平滑约束保持服装局部扭曲平滑自然；利用皮肤部位重建模块保留或生成补全更真实且细节丰富的试穿结果的皮肤部位；使用上下文自适应融合生成模块融合人像服装信息根据身体不同部位使用不同的卷积核操作自适应生成耦合自然、细节丰富的试穿结果。

2、本发明的目的是提供一种自适应服装配准和融合生成的虚拟试衣方法，基于自适应服装配准和融合生成网络实现，其中的网络包括预处理模块、人体分割图预测模块、多尺度邻域共识扭曲模块、皮肤部位重建模块、上下文自适应融合生成模块；具体包括以下步骤：

3、步骤1，预处理模块通过输入参考人像和目标服装获取的人体语义分割图、人体密集姿态图、与服装信息无关的遮挡参考人像图和服装二维掩码；

4、步骤2，利用人体分割图预测模块生成参考人像试穿后的目标语义分割图；

5、步骤3，多尺度邻域共识扭曲模块通过目标语义分割图实现待试穿服装的配准扭曲；

6、步骤4，利用皮肤部位重建模块保留或生成补全试穿结果的皮肤部位；

7、步骤5，使用上下文自适应融合生成模块融合人像服装信息生成最终的试穿结果。

8、优选的，所述的步骤1，具体步骤是：

9、步骤1.1，使用图迁移人体分割图预测网络作为人体语义分割图的提取网络，以参考人像i为输入提取人体语义分割图sa；

10、步骤1.2，使用人体密集姿态估计网络作为人体密集姿态图的提取网络，以参考人像i为输入提取人体密集姿态图ip；

11、步骤1.3，使用开放姿态网络获取人体关键姿态点，与人体语义分割图信息结合，得到与服装信息无关的遮挡参考人像图ia；

12、步骤1.4，使用u型网络作为目标服装掩码提取网络，以待试穿服装ct作为输入提取服装二维掩码cm。

13、优选的，步骤2中人体分割图预测模块以人体密集姿态图ip，人体语义分割图sa，待试穿服装ct和服装二维掩码cm作为输入，通过u型网络生成参考人像试穿后的目标语义分割图sp。

14、优选的，所述的步骤3，具体步骤是：

15、步骤3.1，提取目标语义分割图sp中服装部分得到目标服装部位掩码ipc；

16、步骤3.2，以服装信息无关的遮挡参考人像图、服装部位掩码与人体密集姿态图ia、ipc、ip作为人体表示输入，以待试穿服装和服装二维掩码ct、cm作为目标服装输入；ep为关于人体表示输入的四层金字塔多尺度特征提取网络，ec为关于目标服装输入的四层金字塔多尺度特征提取网络，分别使用ep、ec对人体表示输入和目标服装输入进行多尺度特征提取得到人体表示特征和目标服装特征其中l表示金字塔网络尺度数目；

17、步骤3.3，计算人体表示特征和目标服装特征在空间大尺度特征之间的密集语义对应关系；采用高级语义信息的金字塔顶部的增强特征p4、g4，其中p4表示人体输入经过ep第四层输出得到的特征图，g4表示目标服装输入经过ec第四层输出得到的特征图；计算p4，g4之间所有像素之间的余弦相似度得到4-d特征图cfi,j,k,l,其中i表示沿高度方向的索引，j表示沿宽度方向的索引k表示沿高度方向的索引，l表示沿宽度方向的索引；p4i,j表示p4中高度索引为i，宽度索引为j的特征值；g4k,l表示g4中高度索引为k，宽度索引为l的特征值，cfi,j,k,l计算公式如下：

18、

19、步骤3.4，使用4d卷积细化4-d特征图cfi,j,k,l，得到过滤后的4-d相关图i，j,k,l在步骤3.3已定义；随后使用软相互近邻邻域过滤降低非相互近邻的匹配分数得到密集4-d匹配分数计算公式如下式：

20、

21、上式中i，j,k,l在步骤3.3已定义，其中为与p4每个维度之间的最佳得分比，a为p4最佳得分的高度索引，b为p4最佳得分的宽度索引为与g4每个维度之间的最佳得分比，c为g4最佳得分的高度索引，d为g4最佳得分的宽度索引；

22、步骤3.5，对于ep前三层的人体表示特征输出和ec前三层的目标服装特征输出计算和之间的多尺度密集对应关系计算公式为其中t为转置操作，式中l＝1,2,3表示ep和ec的金字塔尺度，i表示人体表示特征输出的高度索引，j表示人体表示特征输出的宽度索引，ik表示目标服装特征输出的高度索引，jk表示特征输出的宽度索引，表示ep在第l层输出得到的特征图中高度索引为i，宽度索引为j的值，表示ec在第l层输出得到的特征图中高度索引为ik，宽度索引为jk的值；

23、步骤3.6，合并和多尺度密集对应关系送入回归层，得到薄板样条插值tps的空间变换参数θ，通过空间变换函数来扭曲目标服装得到扭曲目标服装其中tθ为tps空间变换函数，计算公式如下式：

24、

25、步骤3.7，多尺度邻域共识扭曲模块训练目标函数之一为端到端平滑扭曲损失，计算公式如下式：

26、

27、上式中e(f)为端到端平滑扭曲损失，α为平滑扭曲损失超参数，ωi为tps弹性变化中的弹性分量系数，其中i＝1...n；φ(rij)为tps径向基函数，其中i＝1...n、j＝1...n为标志点点集数目，i与j分别表示不同的标志点，表示第i个标志点，坐标为(xi,yi))与第j个标志点之间的欧式距离，t为转置操作，tps径向基函数的φ(rij)计算公式如下：

28、φ(rij)＝rij2logrij  (5)。

29、优选的，所述的步骤4，具体步骤为：

30、步骤4.1，通过参考人体语义分割图sa获取人体皮肤部位掩码sb，用sb与参考人像i做逐像素乘法得到皮肤部位ib，对ib进行随机擦除得到擦除后的身体部位i'b；

31、步骤4.2，通过提取目标语义分割图sp中的目标生成皮肤部位，得到目标皮肤部位掩码

32、步骤4.3，使用内容编码器ec将i'b压缩为具有身体身份信息的内容向量cb，以皮肤部位掩码和人体密集姿态图ip作为输入，使用结构编码器es将ip和编码为保留人体结构信息的特征图fb，使用自适应层-实例归一化adalin作为融合模块融合皮肤内容信息和结构信息实现cb的解码，对fb分别执行实例归一化和层归一化，得到两个归一化结果和ρ为超参数，使用ρ来权衡两个归一化结果，计算公式如下式所示：

33、

34、上式中：adalin(fb)表示对自适应层-实例归一化，γ表示cb通过若干全连接网络预测得到的去归一化尺度参数，β表示cb通过若干全连接网络预测得到的去归一化偏置参数；最终通过上采样解码器d还原得到重建皮肤部位

35、优选的，所述步骤5，具体步骤为：

36、步骤5.1，以扭曲目标服装服装信息无关的遮挡参考人像图ia，重建皮肤部位与人体密集姿态图ip为模型的输入，通过卷积层进行特征提取后，经过空间自适应归一化层，再以通道方式归一化后，目标语义分割图sp和重建皮肤部位通过带有卷积操作的调制参数预测网络来学习尺度和偏执进行调制；

37、步骤5.2，对目标语义分割图sp和重建皮肤部位应用由多个卷积层堆叠组成的条件权重预测网络得到每个条件卷积层的预测卷积核权重输出，对第i层的调制激活进行条件卷积操作；卷积操作引入蓝图可分离卷积，将传统卷积分离为1×1逐点卷积和k×k的深度卷积，其中k表示卷积核大小，通过条件权重预测网络预测深度卷积核权重，随后使用1×1逐点卷积扩展输出特征图的维度，分别依此执行步骤5.1和步骤5.2两次即为一个完整的上下文自适应融合生成残差块的完整流程；

38、步骤5.3，重复执行步骤5.1和步骤5.2四次，再将上下文自适应融合生成残差块输出送入上采样层得到试衣结果i'。

39、与现有技术相比，本发明的有益效果是：

40、1)本发明提出的多尺度邻域共识服装扭曲模块，在多个特征尺度上对目标服装与人像信息的高级全局语义匹配信息进行相关性分析，并结合邻域共识思想使用4d卷积对密集特征描述符进行过滤，以增强服装扭曲模块的鲁棒性，识别准确可靠的特征对应关系，提高服装配准的准确率。

41、2)本发明提出的新的端到端布料扭曲能量平滑约束损失，实现服装纹理细节信息的保留，提高服装转移过程中复杂纹理保留的能力。

42、3)本发明提出皮肤部位重建模块，该模块通过重建试衣后人像裸漏在外的部位实现生成结果中真实的皮肤效果，满足试衣用户试穿与已穿着服装不同类型的衣服，如从长袖换为短袖，从圆领换位v领，生成真实可靠的试衣结果。

43、4)本发明提出自适应融合生成模块，该模块可以根据目标人体分割图信息使用不同卷积核自适应的生成身体的不同部位，生成更为真实的边缘、纹理细节。