基于手绘草图的人体图像生成方法及系统

本发明涉及图像合成技术领域，尤其涉及一种基于手绘草图的人体图像生成方法及系统。

背景技术：

创作出一张自然合理的人体图像，能够在许多实际场景中得以运用，例如，时尚设计、电影特效和教学训练等。通过草图进行绘制，是一种简单有效的人像生成方法，新手用户对于这种只需纸笔的模式也非常熟悉。

在人体图像合成领域，目前主要的研究者都聚焦于人体姿态变换任务，即输入来源人像和目标姿态，合成出本人在目标姿态下的图像。为了实现该任务，一些方法使用部件掩码、人体解析或者流场映射，对来源人像的局部区域进行空间变换，从而能够维护本人在目标姿态下的外观特征。其他方法引入了参数化模型smpl或者稠密姿态，来提供人体结构的先验信息。

现有方法都可以对来源人像的某些属性进行编辑，但是不能从无到有，生成出一张全新的人体图像。因此，现在亟需一种基于手绘草图的人体图像生成方法及系统来解决上述问题。

技术实现要素：

针对现有技术存在的问题，本发明提供一种基于手绘草图的人体图像生成方法及系统。

本发明提供一种基于手绘草图的人体图像生成方法，包括：

获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；

对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；

将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；

将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对gaugan模型进行训练得到的。

根据本发明提供的一种基于手绘草图的人体图像生成方法，在所述将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像之后，所述方法还包括：

根据人体合成图像和第二解析图，对所述人体合成图像中的脸部区域进行裁切，得到脸部图像块和对应的脸部掩码；

将所述脸部图像块和所述脸部掩码输入到训练好的人脸改善模型中，得到人脸区域的残差图像，所述训练好的人脸改善网络是由样本脸部图像块和对应的样本脸部掩码，对神经网络进行训练得到的；

根据所述残差图像，对所述人体合成图像的人脸区域进行优化，得到人脸区域优化后的人体合成图像。

根据本发明提供的一种基于手绘草图的人体图像生成方法，所述对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，包括：

将所述分割后的手绘人体草图中每个身体部件草图，输入到对应的隐向量编码器中，得到每个身体部件草图的隐向量；

通过检索和插值的方式，将每个隐向量投影到对应的潜在空间，得到每个身体部件草图的投影向量；

将每个投影向量输入到身体部件草图解码器中，得到几何改善后的身体部件草图；将每个投影向量输入到分割解码器中，得到身体部件掩码图；

将所有几何改善后的身体部件草图进行合并，得到第一人体草图；将所有身体部件掩码图进行合并，得到第一解析图。

根据本发明提供的一种基于手绘草图的人体图像生成方法，所述训练好的结构改善模型通过以下步骤得到：

获取样本身体部件边图，并对每个样本身体部件边图标记身体部件类型的标签，构建得到第一训练样本集；

将所述第一训练样本集输入到姿态估计网络中进行训练，得到每个样本身体部件边图对应的样本身体部件热力图，以及预训练的姿态估计网络，并根据样本身体部件热力图构建得到第二训练样本集；

将所述第一训练样本集和所述第二训练样本输入到空间变换网络中进行训练，得到预训练的空间变换网络；

根据所述预训练的姿态估计网络和所述预训练的空间变换网络，构建得到训练好的结构改善模型。

根据本发明提供的一种基于手绘草图的人体图像生成方法，所述方法还包括：

将人像风格参照图像输入到训练好的图像风格编码器中，得到人像风格特征向量，所述训练好的图像风格编码器是由标记有人像风格标签的样本人体风格参照图像，对神经网络训练得到的；

将所述人像风格特征向量、所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到具有所述人像风格特征向量对应风格的人体合成图像。

根据本发明提供的一种基于手绘草图的人体图像生成方法，所述空间变换网络是由多个空间变换子网络，通过级联的方式构建得到的。

根据本发明提供的一种基于手绘草图的人体图像生成方法，所述预设身体部件包括头发、人脸、上身衣着、下身衣着和四肢。

本发明还提供一种基于手绘草图的人体图像生成系统，包括：

手绘草图获取模块，用于获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；

几何形态改善模块，用于对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；

结构改善模块，用于将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；

图像生成模块，用于将所述第二人体草图和第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对gaugan模型进行训练得到的。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于手绘草图的人体图像生成方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于手绘草图的人体图像生成方法的步骤。

本发明提供的基于手绘草图的人体图像生成方法及系统，能够改善手绘人体草图的局部几何结构和整体结构，从而根据改善后的草图生成更符合真实人像的几何形态和结构比例的图像，使得普通用户通过简单绘制，得到自然合理的人体图像，相比现有的图像生成方法，具有更高效率和准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于手绘草图的人体图像生成方法的流程示意图；

图2为本发明提供的基于手绘草图的人体图像生成算法的处理流程图；

图3为本发明提供的基于手绘草图的人体图像生成系统的结构示意图；

图4为本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在人体图像合成领域，目前主要的研究都聚焦于人体姿态变换任务，即输入来源的真实人像和目标姿态，合成出真实人像在目标姿态下的图像。还有一些方法通过来源人像，构建全部的表面纹理，然后通过纹理图渲染出目标人像。这些姿态变换技术着眼于维护来源人像中的纹理细节。

除了针对姿态，还有一些方法通过修改其他属性来合成人体图像。例如，fashiongan将形态、外观和文本等信息分别编码，能够根据文本描述更改人像的服饰纹理。一些研究工作旨在实现虚拟换装任务，通过合适的几何变换，生成穿着输入服装的人体图像，例如，将图像的外观信息编码到属性向量中，可以通过操控该向量来对人像的穿着纹理进行编辑；或者，利用人体解析的引导和注意力归一化层的引入，可以通过输入草图和颜色对人像进行编辑。本发明所提出算法，基于手绘的人体图像草图，目标是生成全新的人体外观和服饰。

图1为本发明提供的基于手绘草图的人体图像生成方法的流程示意图，如图1所示，本发明提供了一种基于手绘草图的人体图像生成方法，包括：

步骤101，获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图。

在本发明中，在获取到手绘人体草图后，首先，根据预设身体部件，对该手绘人体草图中各个身体部件进行分割，并对分割后的每个部件定义对应的标签。具体地，所述预设身体部件包括头发、人脸、上身衣着、下身衣着和四肢(即左臂、右臂、左腿和右腿)。

步骤102，对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图。

图2为本发明提供的基于手绘草图的人体图像生成算法的处理流程图，可参考图2所示，在本发明中，分割后的手绘人体草图中每个部件通过对应的编码器被编码为隐向量，再通过检索插值的方式，将这些编码得到隐向量投影到每个部件对应的潜在空间中，获取到投影向量，最后通过草图解码器和分割解码器解码，分别对投影行向量进行解码，并通过将解码后的结果进行合并，得到几何形态改善后的人体草图，以及对应的掩码图，即得到第一人体草图和第一解析图。

步骤103，将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；

在本发明中，对几何形态改善后的人体草图和对应的解析图进行空间变换，从而进一步地改善各个身体部件间的连接关系以及它们之间的相对比例。具体地，将几何形态改善后的人体草图和对应的解析图输入到训练好的结构改善模型中，首先通过该模型中的姿态估计网络，根据第一人体草图(即几何形态改善后的人体草图)，预测出每个部件的关键点热力图；再将第一人体草图和关键点热力图输入到空间变换网络，预测出每个部件的变换矩阵；最后，根据变换矩阵将对应的第一人体草图和第一解析图进行仿射变换，从而改善身体部件的连接关系和相对比例，得到结构改善后的人体草图和解析图，即得到第二人体草图和第二解析图。优选地，在上述实施例的基础上，所述空间变换网络是由多个空间变换子网络，通过级联的方式构建得到的。

步骤104，将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对gaugan模型进行训练得到的。

在本发明中，将第二人体草图和第二解析图合并输入到训练好的人体图像合成模型中，输出全局人像合成结果。具体地，经过空间变换得到的人体草图和解析图需要合成出符合用户需求的人像结果i。在本发明中，人体图像合成模式全局采用gaugan作为基础网络架构，为了避免丢失人体草图中的几何信息，将第二人体草图(即人体草图)和第二解析图(解析图)合并输入到gaugan中的spade层，以使得通过解析图就可以控制每个语义区域的图像风格，而人体草图则可以提供局部细节的几何特征。

本发明提供的基于手绘草图的人体图像生成方法及系统，能够改善手绘人体草图的局部几何结构和整体结构，从而根据改善后的草图生成更符合真实人像的几何形态和结构比例的图像，使得普通用户通过简单绘制，得到自然合理的人体图像，相比现有的图像生成方法，具有更高效率和准确性。

在上述实施例的基础上，在所述将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像之后，所述方法还包括：

根据人体合成图像和第二解析图，对所述人体合成图像中的脸部区域进行裁切，得到脸部图像块和对应的脸部掩码；

将所述脸部图像块和所述脸部掩码输入到训练好的人脸改善模型中，得到人脸区域的残差图像，所述训练好的人脸改善网络是由样本脸部图像块和对应的样本脸部掩码，对神经网络进行训练得到的；

根据所述残差图像，对所述人体合成图像的人脸区域进行优化，得到人脸区域优化后的人体合成图像。

在本发明中，可参考图2所示，全局合成网络g(即人体图像合成模型)能够生成整体上可以接受的全局人像结果(即真实的人体合成图像)。但是，用户输入的草图通常不能清晰地描绘五官细节，导致全局合成网络g难以生成人脸区域的精致纹理，而人类的视觉系统又对脸部质量十分敏感。因此，本发明使用了人脸改善网络f，进一步增强全局人像结果中的脸部细节，根据变换解析图(即第二解析图)的脸部标注，对全局人像结果进行裁切，得到的脸部区域图像块和对应的脸部掩码，然后再通过人脸改善网络f，得到人脸区域的残差图像；最后，将人脸改善网络f输出的人脸区域的残差图像，与全局人像结果求和，生成最终的人像结果i，即人脸区域优化后的人体合成图像。

在上述实施例的基础上，所述对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，包括：

将所述分割后的手绘人体草图中每个身体部件草图，输入到对应的隐向量编码器中，得到每个身体部件草图的隐向量；

通过检索和插值的方式，将每个隐向量投影到对应的潜在空间，得到每个身体部件草图的投影向量；

将每个投影向量输入到身体部件草图解码器中，得到几何改善后的身体部件草图；将每个投影向量输入到分割解码器中，得到身体部件掩码图；

将所有几何改善后的身体部件草图进行合并，得到第一人体草图；将所有身体部件掩码图进行合并，得到第一解析图。

在本发明中，可参考图2所示，输入的人体手绘草图s，根据预设身体部件，将其分为8个身体部分，即在人体手绘草图上将头发、人脸、上身衣着、下身衣着和四肢(左臂、右臂、左腿和右腿)的8个部件分割出来，分割后的人体手绘草图表示为{s^c}c＝1,...,c，c＝8表示8个身体部件；然后，将每个部件投影到相应的潜在空间来进行几何形态改善。具体地，每个部件草图s^c首先通过相应的编码器e^c被编码为隐向量v^c，再采用检索和插值的方式进行投影。在本发明中，对于隐向量v^c，根据欧式距离在第c个部件的潜在空间中检索k个最近邻其中，是训练集图像构建的样例集合，可被视作第c个部件的潜在空间；然后，对检索到的最近邻进行插值，通过最小化均方误差来拟合v^c：

其中，k＝10，是第k个检索向量的权重，对于每个身体部件，都可以单独通过求解一个受限最小二乘问题得到。在求解得到所有权重之后，可以通过线性插值计算出投影向量

接着，将投影向量同时输入到第c个部件的草图解码器和分割解码器分别得到几何改善后的身体部件草图和对应的身体部件掩码图最终，将所有投影后的身体部件草图和身体部件掩码合并到一起，恢复出完整的身体形态，得到几何改善后的人体草图和解析图

在上述实施例的基础上，所述训练好的结构改善模型通过以下步骤得到：

获取样本身体部件边图，并对每个样本身体部件边图标记身体部件类型的标签，构建得到第一训练样本集；

将所述第一训练样本集输入到姿态估计网络中进行训练，得到每个样本身体部件边图对应的样本身体部件热力图，以及预训练的姿态估计网络，并根据样本身体部件热力图构建得到第二训练样本集；

将所述第一训练样本集和所述第二训练样本输入到空间变换网络中进行训练，得到预训练的空间变换网络；

根据所述预训练的姿态估计网络和所述预训练的空间变换网络，构建得到训练好的结构改善模型。

在本发明中，由于相邻的身体部件会被互相影响，若只采用一步空间变换很难恢复出全部的人体结构。因此，本发明采用级联改善的策略，应用多步空间变换网络来迭代地优化结果，对训练集中的样本身体部件边图和样本身体部件热力图进行随机的仿射变换，级联空间变换网络的训练目标是将随机变换后的边图和热力图复原，并使用热力图项、草图项和正则项这三项损失函数进行训练。在训练以及测试过程中，使用级联改善的策略，对草边图和热力图进行迭代的三步仿射变换，将上一步的变换结果会作为下一步的网络输入。

进一步地，姿态估计网络p用于根据身体部件草图预测关键点位置，并使用部件热力图h^c来表示预测结果。值得注意的是，姿态估计网络p需要为相邻的身体部件预测重复的关节点；然后，所有的部件热力图{h^c}将作为引导来恢复人体的全局结构。由于不同的身体部件应该保持合适的相对长度，并且依据固有的邻接关系而互相连接，为了实现这一点，经过真实姿态训练的空间变换网络t将为每个身体部件预测一个仿射变换矩阵，从而让部件热力图{h^c}被空间变换到合理的位置身体部件草图和身体部件掩码也将被执行相同的仿射变换，分别得到变换部件草图和掩码为了利用全局信息，所有的身体部件草图和身体部件热力图将分别合并为和h，和h会被输入到级联空间变换网络中，在第j步变换后的身体部件草图和身体部件热力图将会作为第j+1步变换网络的输入，共有三步空间变换。

进一步地，为了训练姿态估计网络p和级联空间变换网络t，需要模拟出测试阶段可能出现的整体结构不一致的情况。所以，除了被挑选的参照部件外，训练集中所有的样本身体部件边图{s^c}和样本身体部件热力图{h^c}都会被执行随机的仿射变换，本发明选取了上衣部件作为参照部件，并固定其位置不变。姿态估计网络p需要为随机变换后的边图预测所有的部件热力图在本发明中，姿态估计网络p采用了堆叠沙漏架构，并使用均方误差进行训练。

在本发明中，级联空间变换网络t的目标是改善每个身体部件的尺寸和位置，因此预测出的关键点热力图应当在被变换后，尽可能地接近热力图真值{h^c}。类似地，样本身体部件边图在被变换后也应当尽可能接近真值{s^c}。由于极端的变换将会导致训练不稳定，所以，本发明在训练时增加了正则项来惩罚过大的变换矩阵。第j+1步的空间变换网络tj+1将会输入第j步的变换边图和变换热力图于是初始输入便记为和训练空间变换网络t的损失函数可表示为：

其中，表示仿射变换操作，ii表示恒等变换矩阵，而则表示第j+1步对第c个身体部件预测的变换矩阵。设置λh＝100，λs＝λl＝1来平衡三个损失项。

在上述实施例的基础上，所述方法还包括：

将人像风格参照图像输入到训练好的图像风格编码器中，得到人像风格特征向量，所述训练好的图像风格编码器是由标记有人像风格标签的样本人体风格参照图像，对神经网络训练得到的；

将所述人像风格特征向量、所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到具有所述人像风格特征向量对应风格的人体合成图像。

在本发明中，在全局合成网络g之前添加一个图像风格编码器，并同时进行训练，训练时额外使用kl散度(相对熵)作为损失函数。通过图像风格编码器对额外输入的人像风格参照图像进行编码，并通过编码向量控制生成的人体合成图像的纹理风格，从而生成与参照图像风格相似的多样人像结果。

图3为本发明提供的基于手绘草图的人体图像生成系统的结构示意图，如图3所示，本发明提供了一种基于手绘草图的人体图像生成系统，包括手绘草图获取模块301、几何形态改善模块302、结构改善模块303和图像生成模块304，其中，手绘草图获取模块301用于获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；几何形态改善模块302用于对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；结构改善模块303用于将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；图像生成模块304用于将所述第二人体草图和第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对gaugan模型进行训练得到的。

本发明提供的基于手绘草图的人体图像生成系统，能够改善手绘人体草图的局部几何结构和整体结构，从而根据改善后的草图生成更符合真实人像的几何形态和结构比例的图像，使得普通用户通过简单绘制，得到自然合理的人体图像，相比现有的图像生成方法，具有更高效率和准确性。

本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

图4为本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(communicationsinterface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行基于手绘草图的人体图像生成方法，该方法包括：获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对gaugan模型进行训练得到的。

此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于手绘草图的人体图像生成方法，该方法包括：获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对gaugan模型进行训练得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于手绘草图的人体图像生成方法，该方法包括：获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对gaugan模型进行训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。