虚拟试装系统、方法、设备及计算机可读介质与流程

1.本技术涉及多媒体智能处理技术领域，尤其涉及一种虚拟试装系统、方法、设备及计算机可读介质。


背景技术：

2.虚拟试装(virtual try-on)是指：给定目标衣服图像和模特图像，生成模特穿着目标衣服图像的照片，从而实现模特虚拟试穿目标衣服的目的。试穿结果要满足以下四种要求：1、保持图像中人体的姿态和身形不变；2、目标衣服适配人体姿态和身形；3、保留除目标衣服外的其他信息，如下装等；4、保持目标穿着后的折痕、图案、logo清晰自然。在电商领域，良好的虚拟试装技术不仅仅能为消费者提供新奇的互动体验，还能引导和刺激消费者更快的做出购买决策。在视频播放平台领域，虚拟试装技术能为观影者带来全新的观影体验，如在观影的同时，观影者可以上传自己照片，虚拟穿着剧中人物的衣服，带来沉浸式的观影体验，亦或者可随意切换剧中人物的衣服穿着，增加观影的互动性和乐趣，也无形中让用户在视频播放平台上留存时间更长。
3.目前，相关技术中，通常是通过acgpn算法来进行虚拟试装。acgpn算法总共包含4个模块：a模块、b模块、c模块和d模块。其中a模块用于生成人体实例分割图，对输入的人体图像进行解析，通过不同数字标记出图像中人物的各个肢体，如左手臂区域填充0，右手臂区域填充1，身体躯干填充2等等；b模块用于生成变形后衣服分割图，该分割图为二值化图像，图像中变形后衣服区域填充1，其余位置填充0；c模块包含两个部分：空间变换网络stn(spatial transformer network)和校正网络，其中stn输出粗略的变换后的衣服图像，校正网络对stn的输出进行校正，输出最终的变换后衣服图像；d模块综合前述模块的输出，生成最终的虚拟试穿图像。然而，在深度学习任务中，人体实例的划分包含手部、脚部、头发、脸部、躯干等非常多的细节区域的预测，要获得非常精细的预测结果难度非常大，因此acgpn算法中a模块的误差进一步导致了b模块的误差，由此a模块、b模块的误差累积到了c模块、d模块，导致最终输出的虚拟试穿结果不准确。
4.针对由于累积误差导致虚拟试穿结果不准确的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术提供了一种虚拟试装系统、方法、设备及计算机可读介质，以解决由于累积误差导致虚拟试穿结果不准确的技术问题。
6.根据本技术实施例的一个方面，本技术提供了一种虚拟试装系统，包括：
7.变形分割单元，用于以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像，其中，预设关键点连接拓扑图用于在目标对象的肢体出现遮挡的情况下约束对象特征提取模型识别出目标对象的肢体；
8.着装变换单元，用于将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；
9.试装单元，用于按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为所述着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像。
10.可选地，变形分割单元包括：
11.第一特征提取网络，用于利用目标着装的图像提取目标着装的着装特征；
12.第二特征提取网络，用于利用目标对象的预设分割图、预设关键点图以及预设关键点连接拓扑图来提取目标对象的人体特征，其中，预设分割图为预先对目标对象的各个部位逐一单独识别并分割所得到的图像，预设关键点图用于标记人体关键点，对象特征提取模型包括第二特征提取网络；
13.第一特征解码网络，用于融合第一特征提取网络的各卷积层输出的着装特征和第二特征提取网络的各卷积层输出的人体特征，并贯穿融合过程对融合特征进行上采样解码，得到着装分割图像。
14.可选地，第一特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标着装的着装特征，下采样层用于对卷积层输出的着装特征进行下采样编码。
15.可选地，第二特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标对象的人体特征，下采样层用于对卷积层输出的人体特征进行下采样编码。
16.可选地，第一特征解码网络包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置，上采样层用于对融合特征进行上采样解码；
17.第一特征解码网络的第一目标卷积层的输入包括：第一特征提取网络中最后一个下采样层输出的着装特征和第二特征提取网络中最后一个下采样层输出的人体特征；
18.第一特征解码网络的第二目标卷积层的输入包括：与第二目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第一卷积层输出的着装特征以及第二特征提取网络中的第二卷积层输出的人体特征；
19.第一特征解码网络的第三目标卷积层的输入包括：与第三目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第三卷积层输出的着装特征以及第二特征提取网络中的第四卷积层输出的人体特征；
20.第一特征解码网络的第四目标卷积层的输入包括：与第四目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第五卷积层输出的着装特征以及第二特征提取网络中的第六卷积层输出的人体特征；
21.其中，第一目标卷积层至第四目标卷积层在第一特征解码网络中的位置顺序与递增顺序一致，第一特征提取网络中的第一卷积层、第三卷积层以及第五卷积层的位置顺序与递增顺序一致，第二特征提取网络中的第二卷积层、第四卷积层以及第六卷积层的位置顺序与递增顺序一致。
22.可选地，着装变换单元包括：
23.空间变换网络，用于以目标着装的图像和着装分割图像为输入，按照着装分割图
像对目标着装进行变换，得到第一着装变换图像；
24.校正网络，用于对空间变换网络输出的着装变换图像进行变换校正，得到最终的第二着装变换图像。
25.可选地，校正网络包括：
26.第一特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
27.第二特征解码网络，与第一特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
28.第一特征编码网络的输入包括：空间变换网络输出的着装变换图像和着装分割图像；
29.第二特征解码网络的第五目标卷积层的输入包括：第一特征编码网络的最后一个下采样层输出的中间变换图像；
30.第二特征解码网络的第六目标卷积层的输入包括：与第六目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第七卷积层输出的中间变换图像；
31.第二特征解码网络的第七目标卷积层的输入包括：与第七目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第八卷积层输出的中间变换图像；
32.第二特征解码网络的第八目标卷积层的输入包括：与第八目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第九卷积层输出的中间变换图像；
33.第二特征解码网络的第九目标卷积层的输入包括：与第九目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第十卷积层输出的中间变换图像；
34.其中，第五目标卷积层至第九目标卷积层在第二特征解码网络中的位置顺序与递增顺序一致，第一特征编码网络中的第七卷积层至第十卷积层的位置顺序与递增顺序相反。
35.可选地，试装单元包括：
36.分支网络，用于通过第一着装变换图像提取目标着装中的图案细节特征，细节特征提取模型包括分支网络；
37.主干网络，用于将第二着装变换图像拟合至分割区域，并在拟合过程中连接图案细节特征，得到目标对象对目标着装的试装图像。
38.可选地，分支网络包括：
39.第二特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
40.第三特征解码网络，与第二特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
41.第二特征编码网络的输入包括第一着装变换图像。
42.可选地，主干网络包括：
43.第三特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
44.第四特征解码网络，与第二特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
45.第三特征编码网络的输入包括：第二着装变换图像、着装分割图像以及目标对象的待保留信息，其中，目标对象的待保留信息包括对目标对象的图像进行分割得到的目标对象的待保留部位；
46.第四特征解码网络的第十目标卷积层的输入包括：第三特征编码网络的最后一个下采样层输出的中间编码图像；
47.第四特征解码网络的第十一目标卷积层的输入包括：与第十一目标卷积层相邻的前一个上采样层输出的中间解码图像、第三特征编码网络中的第十一卷积层输出的中间编码图像以及第三特征解码网络中的第十二卷积层输出的图案细节特征，第十一目标卷积层与第十二卷积层的解码尺度相同；
48.第四特征解码网络的第十二目标卷积层的输入包括：与第十二目标卷积层相邻的前一个所上采样层输出的中间解码图像、第三特征编码网络中的第十三卷积层输出的中间编码图像以及第三特征解码网络中的第十四卷积层输出的图案细节特征，第十二目标卷积层与第十四卷积层的解码尺度相同；
49.第四特征解码网络的第十三目标卷积层的输入包括：与第十三目标卷积层相邻的前一个上采样层输出的中间解码图像、第三特征编码网络中的第十五卷积层输出的中间编码图像以及第三特征解码网络中的第十六卷积层输出的图案细节特征，第十三目标卷积层与第十六卷积层的解码尺度相同；
50.第四特征解码网络的第十四目标卷积层的输入包括：与第十四目标卷积层相邻的前一个上采样层输出的中间解码图像、第三特征编码网络中的第十七卷积层输出的中间编码图像以及第三特征解码网络中的第十八卷积层输出的图案细节特征，第十四目标卷积层与第十八卷积层的解码尺度相同；
51.其中，第十目标卷积层至第十四目标卷积层在第四特征解码网络中的位置顺序与递增顺序一致，第三特征编码网络中的第十一卷积层、第十三卷积层、第十五卷积层以及第十七卷积层的位置顺序与递增顺序相反，第三特征解码网络中的第十二卷积层、第十四卷积层、第十六卷积层以及第十八卷积层的位置顺序与递增顺序一致。
52.根据本技术实施例的另一方面，本技术提供一种虚拟试装方法，包括：
53.以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像，其中，预设关键点连接拓扑图用于在目标对象的肢体出现遮挡的情况下约束特征提取模型识别出目标对象的肢体；
54.将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；
55.按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到所述目标对象对目标着装的试装图像。
56.可选地，以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，
并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像包括：
57.利用目标着装的图像提取目标着装的着装特征；
58.利用目标对象的预设分割图、预设关键点图以及预设关键点连接拓扑图来提取目标对象的人体特征，其中，预设分割图为预先对目标对象的各个部位逐一单独识别并分割所得到的图像，预设关键点图用于标记人体关键点；
59.融合着装特征和人体特征，并贯穿融合过程对融合特征进行上采样解码，得到着装分割图像。
60.可选地，将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像包括：
61.获取目标着装的图像；
62.按照着装分割图像对目标着装的图像进行变换，得到第一着装变换图像；
63.对第一着装变换图像进行变换校正，得到最终的第二着装变换图像。
64.可选地，以细节特征提取模型提取得到的目标着装中的图案细节特征作为着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像包括：
65.将第一着装变换图像输入细节特征提取模型，以得到目标着装的图案细节特征；
66.基于着装分割图像和目标对象的待保留信息对第二着装变换图像进行解码，并在解码过程中连接图案细节特征，以将融合图案细节特征的第二着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像，其中，目标对象的待保留信息包括对目标对象的图像进行分割得到的目标对象的待保留部位。
67.可选地，将第一着装变换图像输入细节特征提取模型之前，所述方法还包括按照如下方式训练细节特征提取模型：
68.获取细节特征提取模型对训练图像进行特征提取得到的生成图像和生成图像对应的真值图像，其中，生成图像和真值图像均包括多个解码尺度的图像，相同解码尺度下的生成图像和对应的真值图像为一组；
69.将同一组中生成图像的中心作为裁剪框的中心，对生成图像和真值图像进行裁剪，得到第一生成图像和第一真值图像；
70.在同一组中的第一生成图像和第一真值图像上随机确定多个裁剪框的中心，并按照多个裁剪框的中心对第一生成图像和第一真值图像进行裁剪，得到多个第二生成图像和多个第二真值图像，其中，第一生成图像和第一真值图像上的多个裁剪框的中心相同，裁剪框的中心相同的第二生成图像和第二真值图像相对应，解码尺度越大的一组图像中裁剪框的数量越多；
71.利用目标损失函数确定每个第二生成图像与对应第二真值图像之间的l1损失值，并将所有l1损失值之和作为当前解码尺度的最终损失值；
72.利用最终损失值调整细节特征提取模型的参数，以优化细节特征提取模型对当前解码尺度的解码准确度。
73.根据本技术实施例的另一方面，本技术提供了一种电子设备，包括存储器、处理器、通信接口及通信总线，存储器中存储有可在处理器上运行的计算机程序，存储器、处理
器通过通信总线和通信接口进行通信，处理器执行计算机程序时实现上述方法的步骤。
74.根据本技术实施例的另一方面，本技术还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述的方法。
75.本技术实施例提供的上述技术方案与相关技术相比具有如下优点：
76.本技术技术方案提供了一种虚拟试装系统，包括：变形分割单元，用于以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像，其中，预设关键点连接拓扑图用于在目标对象的肢体出现遮挡的情况下约束对象特征提取模型识别出目标对象的肢体；着装变换单元，用于将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；试装单元，用于按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为所述着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像。本技术融合目标对象的人体特征和目标着装的着装特征，直接预测输出与目标对象外形匹配的变形后的着装分割图像，降低了相关技术中先预测目标对象的人体实例分割图像，再基于人体实例分割图像预测变形后的衣服图像分割图累积的预测误差，进一步提升了试装图像的精度，使得试装效果更合体、更自然，解决了由于累积误差导致虚拟试穿结果不准确的技术问题。
附图说明
77.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
78.为了更清楚地说明本技术实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
79.图1a为相关技术中acgpn算法a模块预测输出的人体实例分割图示意图；
80.图1b为相关技术中acgpn算法b模块预测输出的变形后衣服图像分割图示意图；
81.图1c为相关技术中acgpn算法c模块预测输出的变形后衣服图像示意图；
82.图1d为相关技术中acgpn算法d模块预测输出的试装结果示意图；
83.图2为根据本技术实施例提供的一种可选的虚拟试装系统结构示意图；
84.图3为根据本技术实施例提供的一种可选的变形分割单元的特征提取网络结构示意图；
85.图4为根据本技术实施例提供的一种可选的变形分割单元的特征解码网络结构示意图；
86.图5为根据本技术实施例提供的一种可选的着装变换单元的校正网络结构示意图；
87.图6为根据本技术实施例提供的一种可选的试装单元的网络结构示意图；
88.图7为根据本技术实施例提供的一种可选的虚拟试装方法流程示意图；
89.图8为根据本技术实施例提供的一种可选的图像中心裁剪示意图；
90.图9为根据本技术实施例提供的一种可选的图像多尺度随机裁剪示意图；
91.图10为本技术实施例提供的一种可选的电子设备结构示意图。
具体实施方式
92.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
93.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本技术的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
94.相关技术中，通常是通过acgpn算法来进行虚拟试装。acgpn算法总共包含4个模块：a模块、b模块、c模块和d模块。其中a模块用于生成人体实例分割图，对输入的人体图像进行解析，通过不同数字标记出图像中人物的各个肢体，如左手臂区域填充0，右手臂区域填充1，身体躯干填充2等等，人体实例分割图的预测结果如图1a所示；b模块用于生成变形后衣服分割图，该分割图为二值化图像，图像中变形后衣服区域填充1，其余位置填充0，变形后衣服分割图的预测结果如图1b所示；c模块包含两个部分：空间变换网络stn(spatial transformer network)和校正网络，其中stn输出粗略的变换后的衣服图像，校正网络对stn的输出进行校正，输出最终的变换后衣服图像，变换后衣服图像的预测结果如图1c所示；d模块综合前述模块的输出，生成最终的虚拟试穿图像，效果如图1d所示。然而，在深度学习任务中，人体实例的划分包含手部、脚部、头发、脸部、躯干等非常多的细节区域的预测，要获得非常精细的预测结果难度非常大，因此acgpn算法中a模块的误差进一步导致了b模块的误差，由此a模块、b模块的误差累积到了c模块、d模块，导致最终输出的虚拟试穿结果不准确。
95.为了解决背景技术中提及的技术问题，根据本技术实施例的一个方面，本技术提供了一种虚拟试装系统，如图2所示，包括：
96.变形分割单元201，用于以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像，其中，预设关键点连接拓扑图用于在目标对象的肢体出现遮挡的情况下约束对象特征提取模型识别出目标对象的肢体；
97.着装变换单元203，用于将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；
98.试装单元205，用于按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为所述着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像。
99.基于变形分割单元201提取并融合目标对象的人体特征和目标着装的着装特征，使得神经网络模型一次性预测输出与目标对象的外形匹配的目标着装的着装分割图像，即将相关技术中acgpn算法的a模块与b模块合并，直接预测输出变形后的衣服图像分割图，跳过人体实例分割图的预测，转而融合人体特征和着装特征来预测着装分割图像，不仅大大
简化了原有方案，减少原有方案的模块数量，增强了方案的完整性，还降低了预测误差在多个模块之间的累积，进一步提升了后续步骤中的图像精度。
100.不仅如此，本技术技术方案通过在提取人体特征时，增加一张关键点之间的连接拓扑关系图作为肢体连接约束，使得即使出现双手交叉于胸前的遮挡情况，模型也能有效识别出左右手各自的手臂信息，并与背景衣服进行区分。
101.进一步地，本技术技术方案还在试装单元中加入额外的信息分支，作为已丢失的衣服图案、logo等图案细节特征的信息补充，使得模型可以有效的从额外分支中学习到已丢失的细节信息，从而有效改善最终试装图像的呈现效果。
102.本技术技术方案可以应用于电商领域，其中，目标对象可以是电商商家的模特，目标着装可以是商家待售卖的着装，基于本虚拟试装系统，商家仅需使用模特的造型照片即可批量生成自家待售卖着装的试穿图像。该目标对象还可以是消费者，消费者通过上传自己的照片即可生成自己试穿待购买着装的试穿图像。因此，在电商领域，良好的虚拟试装技术不仅仅能为消费者提供新奇的互动体验，还能引导和刺激消费者更快的做出购买决策。
103.本技术技术方案还可以应用于视频平台领域，其中，目标着装可以是影视作品、游戏作品、动漫作品中虚拟人物的着装，目标对象可以是观众，观众可以上传自己的照片，即可试穿剧中人物的衣着。因此，在视频平台领域，虚拟试装技术能为观影者带来全新沉浸式的观影体验，增加粉丝与剧中人物的互动。不仅如此，目标对象还可以是剧中人物，目标衣着可以是观众选择的特定衣着，从而观众可以随意切换剧中人物的衣服穿着，增加观影的互动性和乐趣，也无形中让用户在视频平台上活跃和留存时间更长。
104.可选地，该变形分割单元包括：
105.第一特征提取网络，用于利用目标着装的图像提取目标着装的着装特征；
106.第二特征提取网络，用于利用目标对象的预设分割图、预设关键点图以及预设关键点连接拓扑图来提取目标对象的人体特征，其中，预设分割图为预先对目标对象的各个部位逐一单独识别并分割所得到的图像，预设关键点图用于标记人体关键点，对象特征提取模型包括第二特征提取网络；
107.第一特征解码网络，用于融合第一特征提取网络的各卷积层输出的着装特征和第二特征提取网络的各卷积层输出的人体特征，并贯穿融合过程对融合特征进行上采样解码，得到着装分割图像。
108.本技术实施例中，第一特征提取网络以目标着装的图像为输入，经过多层卷积层逐层提取目标着装的着装特征。
109.可选地，如图3中的分支网络1所示，该第一特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标着装的着装特征，下采样层用于对卷积层输出的着装特征进行下采样编码。
110.本技术实施例中，第二特征提取网络以目标对象的预设分割图和预设关键点图为输入，经过多层卷积层逐层提取目标对象的人体特征。目标对象的预设分割图可以通过人体解析算法对目标对象的照片处理获得，人体解析算法是将人体的左手，右手，头部，头发，躯干，左腿，右腿单独分割出来，比如refinenet。预设关键点图用于标记人体关键点。
111.可选地，如图3中的分支网络2所示，该第二特征提取网络包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置，卷积层用于提取目标对象的人体特征，下采
样层用于对卷积层输出的人体特征进行下采样编码。
112.本技术实施例中，图3中“+”表示的不仅是第一特征提取网络的最后一个下采样层输出的着装特征与第二特征提取网络的最后一个下采样层输出的人体特征进行融合，还代表第一特征提取网络和第二特征提取网络中的各层卷积层输出的特征融合。
113.可选地，如图4所示，该第一特征解码网络包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置，上采样层用于对融合特征进行上采样解码；
114.第一特征解码网络的第一目标卷积层的输入包括：第一特征提取网络中最后一个下采样层输出的着装特征和第二特征提取网络中最后一个下采样层输出的人体特征；
115.第一特征解码网络的第二目标卷积层的输入包括：与第二目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第一卷积层输出的着装特征以及第二特征提取网络中的第二卷积层输出的人体特征；
116.第一特征解码网络的第三目标卷积层的输入包括：与第三目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第三卷积层输出的着装特征以及第二特征提取网络中的第四卷积层输出的人体特征；
117.第一特征解码网络的第四目标卷积层的输入包括：与第四目标卷积层相邻的前一个上采样层输出的融合特征、第一特征提取网络中的第五卷积层输出的着装特征以及第二特征提取网络中的第六卷积层输出的人体特征；
118.其中，第一目标卷积层至第四目标卷积层在第一特征解码网络中的位置顺序与递增顺序一致，第一特征提取网络中的所述第一卷积层、第三卷积层以及第五卷积层的位置顺序与递增顺序一致，第二特征提取网络中的第二卷积层、第四卷积层以及第六卷积层的位置顺序与递增顺序一致。
119.本技术实施例中，以图3、4为例，第一目标卷积层至第四目标卷积层分别为第一特征解码网络中的卷积6至卷积9，其位置顺序与递增顺序一致；第一卷积层、第三卷积层以及第五卷积层分别为图3分支网络1(第一特征提取网络)中的卷积2、卷积3以及卷积4，其位置顺序与递增顺序一致；第二卷积层、第四卷积层以及第六卷积层分别为图3分支网络2(第二特征提取网络)中的卷积2、卷积3以及卷积4，其位置顺序与递增顺序一致。
120.通过变形分割单元的上述网络结构设置，将特征提取网络各个阶段所提取出的着装特征和人体特征都进行融合，避免提取出高维特征后，遗忘了低维特征，从而更加全面、准确地预测出与目标对象的外形匹配的目标着装的着装分割图像。该着装分割图像表示了该目标对象穿着该目标着装的外形轮廓。
121.可选地，该着装变换单元包括：
122.空间变换网络，用于以目标着装的图像和着装分割图像为输入，按照着装分割图像对目标着装进行变换，得到着装变换图像；
123.校正网络，用于对空间变换网络输出的着装变换图像进行变换校正，得到最终的着装变换图像。
124.本技术实施例中，空间变换网络(spatial transformer network，stn)由三个部分组成：本地化网络(localisation network)、网格生成器(grid generator)及采样器(sampler)。空间变换网络对于输入的图片，先用本地化网络来预测需要进行的变换，即经过连续若干层计算(包括卷积、和全连接计算)，然后网格生成器和采样器对图片实施变换。
空间变换网络能够自适应地对数据进行空间变换和对齐。本技术实施例中，空间变换网络以目标着装的图像和上述变形分割单元输出的着装分割图像为输入，通过自适应变换和对齐，得到着装变换图像。
125.本技术实施例中，校正网络对空间变换网络输出的着装变换图像进行变换校正，得到最终的着装变换图像。可选地，如图5所示，该校正网络包括：
126.第一特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
127.第二特征解码网络，与第一特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
128.第一特征编码网络的输入包括：空间变换网络输出的着装变换图像和着装分割图像；
129.第二特征解码网络的第五目标卷积层的输入包括：第一特征编码网络的最后一个下采样层输出的中间变换图像；
130.第二特征解码网络的第六目标卷积层的输入包括：与第六目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第七卷积层输出的中间变换图像；
131.第二特征解码网络的第七目标卷积层的输入包括：与第七目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第八卷积层输出的中间变换图像；
132.第二特征解码网络的第八目标卷积层的输入包括：与第八目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第九卷积层输出的中间变换图像；
133.第二特征解码网络的第九目标卷积层的输入包括：与第九目标卷积层相邻的前一个上采样层输出的中间变换图像和第一特征编码网络中的第十卷积层输出的中间变换图像；
134.其中，第五目标卷积层至第九目标卷积层在第二特征解码网络中的位置顺序与递增顺序一致，第一特征编码网络中的第七卷积层至第十卷积层的位置顺序与递增顺序相反。
135.本技术实施例中，以图5为例，校正网络中的卷积1至卷积4后的下采样层为第一特征编码网络，卷积5至卷积9为第二特征解码网络。上述第五目标卷积层至第九目标卷积层分别对应第二特征解码网络中的卷积5至卷积9，其位置顺序与递增顺序一致；第七卷积层至第十卷积层分别对应第一特征编码网络中的卷积4、卷积3、卷积2以及卷积1，其位置顺序与递增顺序相反。
136.通过着装变换单元的上述网络结构设置，利用校正网络对空间变换网络输出的着装变换图像进一步校正，且校正网络中，先编码的中间变换图像输入到靠后的卷积层进行融合，即校正过程基于各个维度的特征，最终得到更加准确的着装变换图像。
137.可选地，如图6所示，该试装单元包括：
138.分支网络，用于通过第一着装变换图像提取目标着装中的图案细节特征，细节特征提取模型包括分支网络；
139.主干网络，用于将第二着装变换图像拟合至分割区域，并在拟合过程中连接图案细节特征，得到目标对象对目标着装的试装图像。
140.可选地，分支网络包括：
141.第二特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
142.第三特征解码网络，与第二特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
143.第二特征编码网络的输入包括第一着装变换图像。
144.可选地，主干网络包括：
145.第三特征编码网络，包括多个卷积层和多个下采样层，卷积层和下采样层串联且交替设置；
146.第四特征解码网络，与第二特征编码网络串联，包括多个卷积层和多个上采样层，卷积层和上采样层串联且交替设置；
147.第三特征编码网络的输入包括：第二着装变换图像、着装分割图像以及目标对象的待保留信息，其中，目标对象的待保留信息包括对目标对象的图像进行分割得到的目标对象的待保留部位；
148.第四特征解码网络的第十目标卷积层的输入包括：第三特征编码网络的最后一个下采样层输出的中间编码图像；
149.第四特征解码网络的第十一目标卷积层的输入包括：与第十一目标卷积层相邻的前一个上采样层输出的中间解码图像、第三特征编码网络中的第十一卷积层输出的中间编码图像以及第三特征解码网络中的第十二卷积层输出的图案细节特征，第十一目标卷积层与第十二卷积层的解码尺度相同；
150.第四特征解码网络的第十二目标卷积层的输入包括：与第十二目标卷积层相邻的前一个所上采样层输出的中间解码图像、第三特征编码网络中的第十三卷积层输出的中间编码图像以及第三特征解码网络中的第十四卷积层输出的图案细节特征，第十二目标卷积层与第十四卷积层的解码尺度相同；
151.第四特征解码网络的第十三目标卷积层的输入包括：与第十三目标卷积层相邻的前一个上采样层输出的中间解码图像、第三特征编码网络中的第十五卷积层输出的中间编码图像以及第三特征解码网络中的第十六卷积层输出的图案细节特征，第十三目标卷积层与第十六卷积层的解码尺度相同；
152.第四特征解码网络的第十四目标卷积层的输入包括：与第十四目标卷积层相邻的前一个上采样层输出的中间解码图像、第三特征编码网络中的第十七卷积层输出的中间编码图像以及第三特征解码网络中的第十八卷积层输出的图案细节特征，第十四目标卷积层与第十八卷积层的解码尺度相同；
153.其中，第十目标卷积层至第十四目标卷积层在第四特征解码网络中的位置顺序与递增顺序一致，第三特征编码网络中的第十一卷积层、第十三卷积层、第十五卷积层以及第十七卷积层的位置顺序与递增顺序相反，第三特征解码网络中的第十二卷积层、第十四卷积层、第十六卷积层以及第十八卷积层的位置顺序与递增顺序一致。
154.本技术实施例中，以图6为例，该试装单元包括分支网络和主干网络，分支网络包
括第二特征编码网络(图6分支网络中卷积1至卷积4后的下采样层)和第三特征解码网络(图6分支网络中的卷积5至卷积9)，主干网络包括第三特征编码网络(图6主干网络中卷积1至卷积4后的下采样层)和第四特征解码网络(图6主干网络中的卷积5至卷积9)。上述第十目标卷积层至第十四目标卷积层分别对应第四特征解码网络中的卷积5至卷积9，其位置顺序与递增顺序一致；第十一卷积层、第十三卷积层、第十五卷积层以及第十七卷积层分别对应第三特征编码网络中的卷积4、卷积3、卷积2以及卷积1，其位置顺序与递增顺序相反，第十二卷积层、第十四卷积层、第十六卷积层以及第十八卷积层分别对应第三特征解码网络中的卷积6、卷积7、卷积8以及卷积9，其位置顺序与递增顺序一致。
155.本技术实施例中，主干网络的第四特征解码网络会按照特征图的大小，依次与第三特征编码网络中的浅层特征图相连接，除此之外，还会额外连接分支网络对应大小的高层级特征(即图案细节特征)，使得主干网络的解码部分能包含大量目标衣服清晰的图案和logo等细节信息，帮助主干网络进行图像的细节信息恢复。
156.本技术实施例中，分支网络的第三特征提取网络不需要与第二特征编码网络中的浅层特征进行连接，因为虽然浅层特征包含了大量的衣服细节信息，但第二特征编码网络的输入为上述空间变换网络输出的第一着装变换图像，此时的第一着装变换图像与变换后的目标着装的真值图像依旧存在较大差距，而过于精细的位置信息反而会干扰第三特征解码网络的输出，而且去除分支网络中第三特征解码网络与第二特征编码网络的特征连接，还可以显著降低第三特征解码网络的运算量。
157.本技术实施例中，目标对象的待保留信息包括对目标对象的图像进行分割得到的目标对象的待保留部位，如目标着装为短袖衬衣，则待保留部位包括头部、左右手臂、左右腿、左右脚等。若目标着装为裤子，则待保留部位包括头部、左右手臂、胸部、腰部、左右脚等。
158.通过试装单元的上述网络结构设置，先编码的中间编码图像输入到靠后的卷积层进行融合，即全面融合各个维度的特征，再连接额外的图案细节特征，最终得到目标对象试穿目标着装的试装图像。
159.基于相同的技术构思，根据本技术实施例的一方面，提供了一种虚拟试装方法的实施例，如图7所示，该方法可以包括以下步骤：
160.步骤s702，以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像，其中，预设关键点连接拓扑图用于在目标对象的肢体出现遮挡的情况下约束特征提取模型识别出目标对象的肢体；
161.步骤s704，将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；
162.步骤s706，按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到所述目标对象对目标着装的试装图像。
163.通过步骤s702至步骤s706，本技术融合目标对象的人体特征和目标着装的着装特征，直接预测输出与目标对象外形匹配的变形后的着装分割图像，降低了相关技术中先预测模特的人体实例分割图像，再基于人体实例分割图像预测变形后的衣服图像分割图累积
的预测误差，进一步提升了试装图像的精度，使得试装效果更合体、更自然，解决了由于累积误差导致虚拟试穿结果不准确的技术问题。
164.不仅如此，本技术技术方案通过在提取人体特征时，增加一张关键点之间的连接拓扑关系图作为肢体连接约束，使得即使出现双手交叉于胸前的遮挡情况，模型也能有效识别出左右手各自的手臂信息，并与背景衣服进行区分。
165.进一步地，本技术技术方案还在试装单元中加入额外的信息分支，作为已丢失的衣服图案、logo等图案细节特征的信息补充，使得模型可以有效的从额外分支中学习到已丢失的细节信息，从而有效改善最终试装图像的呈现效果。
166.在步骤s702中，以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像包括：
167.步骤1，利用目标着装的图像提取目标着装的着装特征；
168.步骤2，利用目标对象的预设分割图、预设关键点图以及预设关键点连接拓扑图来提取目标对象的人体特征，其中，预设分割图为预先对目标对象的各个部位逐一单独识别并分割所得到的图像，预设关键点图用于标记人体关键点；
169.步骤3，融合着装特征和人体特征，并贯穿融合过程对融合特征进行上采样解码，得到着装分割图像。
170.在步骤s704中，将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像包括：
171.步骤1，获取目标着装的图像；
172.步骤2，按照着装分割图像对目标着装的图像进行变换，得到着装变换图像；
173.步骤3，对着装变换图像进行变换校正，得到最终的着装变换图像。
174.在步骤s706中，以细节特征提取模型提取得到的目标着装中的图案细节特征作为着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像包括：
175.步骤1，将第一着装变换图像输入细节特征提取模型，以得到目标着装的图案细节特征；
176.步骤2，基于着装分割图像和目标对象的待保留信息对第二着装变换图像进行解码，并在解码过程中连接图案细节特征，以将融合图案细节特征的第二着装变换图像拟合至分割区域，得到目标对象对目标着装的试装图像，其中，目标对象的待保留信息包括对目标对象的图像进行分割得到的目标对象的待保留部位。
177.可选地，将第一着装变换图像输入细节特征提取模型之前，所述方法还包括按照如下方式训练细节特征提取模型：
178.步骤1，获取细节特征提取模型对训练图像进行特征提取得到的生成图像和生成图像对应的真值图像，其中，生成图像和真值图像均包括多个解码尺度的图像，相同解码尺度下的生成图像和对应的真值图像为一组；
179.步骤2，将同一组中生成图像的中心作为裁剪框的中心，对生成图像和真值图像进行裁剪，得到第一生成图像和第一真值图像；
180.步骤3，在同一组中的第一生成图像和第一真值图像上随机确定多个裁剪框的中
心，并按照多个裁剪框的中心对第一生成图像和第一真值图像进行裁剪，得到多个第二生成图像和多个第二真值图像，其中，第一生成图像和第一真值图像上的多个裁剪框的中心相同，裁剪框的中心相同的第二生成图像和第二真值图像相对应，解码尺度越大的一组图像中裁剪框的数量越多；
181.步骤4，利用目标损失函数确定每个第二生成图像与对应第二真值图像之间的l1损失值，并将所有l1损失值之和作为当前解码尺度的最终损失值；
182.步骤5，利用最终损失值调整细节特征提取模型的参数，以优化细节特征提取模型对当前解码尺度的解码准确度。
183.本技术实施例中，上述目标损失函数为l1 patchwise损失函数。该损失函数在训练过程中能自动筛选出图像中衣服部分，剔除无关信息。并使用多尺度的随机裁剪，自动的为衣服部分分配更高的训练权重，帮助模型在训练过程中自动发现衣服图案、logo等细节信息，并在生成过程中进行有效的恢复。下面对多尺度裁剪进行说明。
184.首先进行中心裁剪，如图8所示，以待裁剪图像的中心为裁剪框的中心，对真值图像和生成图像同时进行裁剪，剔除图像中无关信息，筛选出图像中衣服部分。接着进行多尺度随机裁剪，如图9所示，以上一步中心裁剪的结果图像作为待裁剪图像，在全图范围内随机生成裁剪框，并保证真值图像和待裁剪图像中的裁剪框位置相同；裁剪框共包含n个尺度，构成裁剪框尺度集合s＝{s1,s2,
…
,sn}，并满足s1》s2》
…
》sn。s1尺度对应的随机裁剪块数目为m1，s2尺度对应的随机裁剪块数目为m2，以此类推，构成多尺度随机裁剪块集合m＝{m1,m2,
…
,mn}，并满足m1《m2《
…
《mn，即裁剪框尺度越大，随机裁剪次数越少。最后对上一步得到的每个图像块分别计算l1损失，综合所有的l1损失计算平均值，得到最终的损失值，用作训练优化。
185.目标损失函数具体可表示为：
[0186][0187][0188]
第一个公式中i表示第i个尺度裁剪框，共有n个，j表示第i个尺度裁剪框下裁剪得到的第j个裁剪块，共有mi个裁剪块。p
generate
表示生成图像中的裁剪块，p
groundtruth
表示对应的真值图像中的裁剪块，二者裁剪位置完全相同，l1(p
generate
,p
groundtruth
)表示计算两个裁剪块之间的逐像素均值误差。
[0189]
第二个公式中i表示图像块中的第i个元素，共有n个元素，且p1和p2大小形状相同。l1(p1,p2)表示计算两个图像块之间逐元素的绝对值误差，并求和，最后计算均值。
[0190]
根据本技术实施例的另一方面，本技术提供了一种电子设备，如图10所示，包括存储器1001、处理器1003、通信接口1005及通信总线1007，存储器1001中存储有可在处理器1003上运行的计算机程序，存储器1001、处理器1003通过通信接口1005和通信总线1007进行通信，处理器1003执行计算机程序时实现上述方法的步骤。
[0191]
上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信
总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
[0192]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0193]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0194]
根据本技术实施例的又一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例的步骤。
[0195]
可选地，在本技术实施例中，计算机可读介质被设置为存储用于所述处理器执行以下步骤的程序代码：
[0196]
以预设关键点连接拓扑图作为肢体连接约束提取目标对象的人体特征，并提取目标着装的着装特征，以及将人体特征和着装特征融合后，基于融合特征生成与目标对象的外形匹配的目标着装的着装分割图像，其中，预设关键点连接拓扑图用于在目标对象的肢体出现遮挡的情况下约束特征提取模型识别出目标对象的肢体；
[0197]
将目标着装按照着装分割图像进行变换，得到目标着装的着装变换图像；
[0198]
按照着装分割图像对目标对象进行分割后，以细节特征提取模型提取得到的目标着装中的图案细节特征作为着装变换图像的信息补充，将着装变换图像拟合至分割区域，得到所述目标对象对目标着装的试装图像。
[0199]
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
[0200]
本技术实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。
[0201]
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits，asic)、数字信号处理器(digital signal processing，dsp)、数字信号处理设备(dsp device，dspd)、可编程逻辑设备(programmable logic device，pld)、现场可编程门阵列(field-programmable gate array，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
[0202]
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0203]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0204]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0205]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0206]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0207]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0208]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0209]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。