一种服装长度可控的虚拟试衣图生成方法

本发明涉及虚拟试衣，并且更具体地，涉及一种服装长度可控的虚拟试衣图生成方法。

背景技术：

1、虚拟图像生成技术在最近几年已有飞快的发展，使得虚拟试衣技术也成为可能。基于图像的虚拟试衣方法用试穿服装取代目标人身上的服装，让用户可以直接地看到服装穿在自己身上时的效果，从而提升用户网络购买服装的体验，减少购物的退货率。

2、虚拟试衣可以通过3d和2d技术实现，基于3d的虚拟试衣技术主要归纳为建模和渲染。人体的建模和服装的建模都要收集大量3d数据，同时建模和渲染工作都需要昂贵的设备来支持。于是人们将目光投入基于2d虚拟试衣技术，2d虚拟试衣技术的本质为虚拟图像生成。

3、基于2d图像的虚拟试衣是一种图像生成任务，给出单独的服装图像，将一个人身上的服装替换为另一个不同的服装。具体操作中，虚拟试穿采用图像合成的方法实现，给定一个人和一件服装的图像，合成图像应该满足以下标准:(1)人的身体部位和姿势与原始图像相同；(2)试穿服装根据人的姿势和身体形状自然变形；(3)试穿结果里的服装图案清晰可见，包括颜色和纹理等低级特征和绣花、标志等复杂的图形。虚拟试穿具有独特的挑战性，服装的非刚性特性经常受到变形和遮挡的影响，在没有三维信息的情况下，要生成既满足姿态正确、服装形变效果好、图案清晰、图片合理真实的试穿图像是一种挑战。

4、gans是最受欢迎的图像合成生成模型之一，并且在图像生成和图像编辑等任务中有不错的表现。为了在生成的样本中纳入所需的属性，研究人员还利用不同的信号，以类标签、文本、属性等形式作为图像生成的条件。

5、以往的虚拟试衣技术往往较为关注生成的试穿图的质量而忽视了对服装长度的研究。事实上不同人的着装习惯有所不同，有些人喜欢将服装穿在裤子里，有些人喜欢将服装穿在裤子外，这在视觉上可以表现为穿在身上的服装长短，而以往的虚拟试衣技术只能产生一种效果，即保留原始图像的着装效果，无法提供更多的选择。

技术实现思路

1、本发明的目的是提供一种服装长度可控的虚拟试衣图生成方法，使用者可以输入不同的服装、不同的服装长度控制信息获得不同服装、不同着衣方式的图片。本发明方法具有网络学习速度快，试穿效果显著的能力，可用于广泛复杂的虚拟试穿情景。

2、为了实现上述的发明目的，具体采用的技术方案如下：

3、一种服装长度可控的虚拟试衣图生成方法，其包括以下步骤：

4、s1：输入目标人物穿有原服装的原始图像以及原始图像对应的语义分割图、密度姿态图和骨架姿态图，经过预处理操作去除原始图像的服装信息，根据骨架姿态图的关键点得到服装未知的人物图、服装未知的人物语义分割图；

5、s2：输入待试穿的服装图、服装图的掩码以及所述密度姿态图、所述骨架姿态图、所述服装未知的人物语义分割图和服装长度控制向量，经过预先经过训练的端到端的试穿语义分割图生成器生成待调整的试穿语义分割图；

6、s3：输入所述原始图像的语义分割图和待调整的试穿语义分割图，经过基于真值的补偿网络对待调整的试穿语义分割图进行修剪补偿，得到试穿语义分割图；

7、s4：输入待试穿的服装图、服装图的掩码、所述密度姿态图、所述骨架姿态图和所述试穿语义分割图，经过预先经过训练的端到端的服装对齐生成器预测得到服装形变图；

8、s5：输入所述服装未知的人物图、所述密度姿态图、所述骨架姿态图、所述服装形变图和所述试穿语义分割图，经过预先经过训练的端到端的试穿生成器生成最终输出的试衣图像。

9、作为优选，所述步骤s1中，服装未知的人物图和服装未知的人物语义分割图分别为经过处理的不包含上衣、部分裤子、手臂的原始图像及其语义分割图，其获取方法为：从骨架姿态图中获取各关键点位置并映射至原始图像上，在原始图像上连接驱干、手臂臀的关键点，形成一片覆盖手臂、上衣、部分裤子但不包括手掌部分的蒙版区域，删除原始图像及其语义分割图中蒙版区域内的图像从而达到删除服装信息的目的，最终得到服装未知的人物图和服装未知的人物语义分割图。

10、作为优选，所述步骤s2中，服装长度控制向量为一个维度为一的离散型向量，用于表示服装长度；

11、在试穿语义分割图生成器的训练阶段，该服装长度控制向量由标注的服装下沿、脖子、中臀三个关键点的坐标标准化计算得到，计算方法为：

12、将骨架姿态图中的脖子关键点和中臀关键点映射至语义分割图上，得到语义分割图上的脖子关键点pn(xn，yn)和中臀关键点ph(xh，yh)；连接脖子关键点pn和中臀关键点ph构造一条直线，并沿该直线有序遍历直线上的像素点并判断各像素点在语义分割中的语义类型，将该直线上像素值从代表服装的类型值刚好变为代表非服装的类型值时的像素点作为关键点pc(xc，yc)，该关键点pc代表直线与语义分割图中服装下沿的交点；由pc和ph的纵坐标之差与ph和pn的纵坐标之差的比值计算得到服装长度控制向量z，具体计算公式如下：

13、

14、其中z的大小表示服装相对于身体的长度，当z＜0时在图像中体现为服装的样式或穿着效果为短款服装；当z＞0时在图像中体现为服装的样式或穿着效果为长款服装。

15、作为优选，所述步骤s2中，在试穿语义分割图生成器的推理阶段，服装长度控制向量由用户直接输入或者采用上述计算方法得到。

16、作为优选，所述步骤s2中，试穿语义分割图生成器是一种端到端的网络，网络结构采用编码解码结构，网络输入分为三组，第一组输入为待试穿的服装图ic及服装图的掩码mc，第二组输入为服装未知的人物语义分割图pagnostic，第三组输入为密度姿态图idensepose、骨架姿态图ipose和将服装长度控制向量z通过全连接层后得到的映射结果，将三组输入各自拼接后分别经过经过第一个特征提取器r1、第二个特征提取器r2、第三个特征提取器r3，由三个特征提取器下采样提取浅层特征和最深层特征，再将三个特征提取器r1、r2、r3分别提取到的最深层特征f1、f2、f3拼接后输入特征上采样融合模块中，所述特征上采样融合模块包含多层用于进行特征上采样融合的上采样层，第一层上采样层前端级联三个特征提取器；特征上采样融合模块中每一层上采样层的一部分输入为前端级联的网络层输出的三个最深层特征f1、f2、f3，另一部分输入为三个特征提取器的浅层特征，最深层特征f1、f3经过上采样后分别与来源于同一个特征提取器的同尺度浅层特征进行融合，从而输出对应的两个融合特征f′1、f′3，然后再将最深层特征f2上采样至与来源于同一个特征提取器r2的同尺度浅层特征fl2相同尺度从而得到f′2，将f′2、fl2、f′1、f′3拼接后通过一层卷积层后得到特征f″2，最后将当前上采样层中得到的特征f′1、f″2、f′3分别作为输入下一层的最深层特征f1、f2、f3；特征上采样融合模块最终输出的最深层特征以及试穿语义分割图生成器网络的三组输入一并输入归一化层中，经过拼接后经过一个卷积实现降维，输出与网络输入尺寸相同的待调整的试穿语义分割图。

17、作为优选，所述步骤s3中，基于真值的补偿网络对待调整的试穿语义分割图进行修剪补偿，具体包括修剪和补偿两个步骤；首先，需基于原始图像对待调整的试穿语义分割图进行修剪处理，去除待调整的试穿语义分割图中存在多余的裤子部分，去除后的区域形成无语义区域；然后用背景区域的值对所述修剪步骤中形成的无语义区域进行赋值，使待调整的试穿语义分割图恢复完整。

18、作为优选，所述步骤s3中，基于真值的补偿网络的输入为原始图像的语义分割图pparse和待调整的试穿语义分割图网络内的具体处理流程如下：

19、首先，从原始图像的语义分割图pparse中提取裤子通道mbottom_o，再从待调整的试穿语义分割图中提取裤子通道mbottom，将裤子通道mbottom与mbottom_o相乘得到m′bottom＝mbottom⊙mbottom_o；

20、然后，从待调整的试穿语义分割图中提取背景通道mbackground，将背景通道mbackground与(1-mbottom)⊙mbottom_o相加得到m′background＝mbackground+(1-mbottom)⊙mbottom_o；

21、最后，用m′bottom和m′background分别替换待调整的试穿语义分割图中的裤子通道和背景通道，得到完成修剪补偿后的试穿语义分割图ptryon并作为补偿网络输出。

22、作为优选，所述步骤s4中的服装对齐生成器是一种端到端的网络，网络结构采用编码解码结构，该网络具体包括形变参数预测模块、服装形变和去重叠化模块：

23、所述形变参数预测模块中，输入分成三组，第一组输入是服装图ic及服装掩码图mc，第二组输入为密度姿态图idensepose和骨架姿态图ipose，第三组输入为试穿语义分割图ptryon，将三组输入各自拼接后分别经过第一个特征提取器f1、第二个特征提取器f2、第三个特征提取器f3，由三个特征提取器下采样提取浅层特征和最深层特征，再将三个特征提取器f1、f2、f3分别提取到的最深层特征e1、e2、e3拼接后经过一层卷积层预测得到初始的流参数将三个特征提取器提取到的浅层特征、最深层特征和初始的流参数一并输入由多层上采样层级联组成的特征上采样融合模块；所述特征上采样融合模块中，第一层上采样层前端级联三个特征提取器，用流参数初始化输入特征上采样融合模块的流参数fflow；每一层上采样层的一部分输入为该上采样层前端级联的网络层输出的三个最深层特征e1、e2、e3，另一部分输入为三个特征提取器中的浅层特征，输入的最深层特征e1、e2、e3经过上采样后分别与来源于同一个特征提取器的同尺度浅层特征进行相加融合得到新的最深层特征e′1、e′2、e′3，将输入当前上采样层的流参数fflow上采样至与最深层特征e′1、e′2、e′3相同的尺度得到新的流参数f′flow，利用流参数f′flow对最深层特征e′1进行采样得到变形特征e1w，通过一次卷积映射将最深层特征e′2、e′3分别映射到与变形特征e1w相同尺度从而对应得到特征e2b和特征e3b，再将e1w、e2b和e3b沿通道拼接后经过一次卷积得到流参数变化值δfflow，将流参数变化值δfflow与当前的流参数fflow相加得到新的流参数f″flow，上一层上采样层中的最深层特征e′1、e′2、e′3和流参数f″flow分别作为输入下一层上采样层的最深层特征e1、e2、e3和流参数fflow；经过特征上采样融合模块中所有上采样层后，输出最终的流参数fflow；

24、所述服装形变和去重叠化模型中，输入是服装图ic、服装掩码图mc、流参数fflow和试穿语义分割图prtryon，先用特征上采样融合模块最终输出的流参数fflow对服装图ic和服装掩码图mc进行采样，得到待调整的服装形变图icwarped_o和服装掩码形变图mcwarped_o，再用试穿语义分割图ptryon对待调整的服装形变图icwarped_o和服装掩码形变图mcwarped_o进一步修剪补偿，删除重叠的遮挡部分从而得到对齐且无重叠的服装形变图icwarped及其掩码mcwarped。

25、作为优选，所述步骤s5中，试穿生成器为端到端的网络，该网络采用alias试穿网络，其以服装未知的人物图、密度姿态图、骨架姿态图、服装形变图拼接后作为输入，同时用试穿语义分割图作为额外输入，由网络合成最终的试穿图像。

26、作为优选，所述试穿语义分割图生成器、服装对齐生成和试穿生成器均预先通过条件对抗训练框架进行训练。

27、相对于现有技术而言，本发明的有益效果如下：

28、本发明方法提出了新的服装未知的人物表示和服装长度控制向量，通过生成可控制的语义分割图来实现服装长度可控的虚拟试穿。本发明方法具有网络学习速度快，试穿效果显著的能力，可用于广泛复杂的虚拟试穿情景。