基于生成对抗网络的人偶模特生成算法

本发明涉及图像翻译领域，尤其涉及一种基于生成对抗网络的人偶模特生成算法。

背景技术：

1、人偶模特生成是指在保持模特身上服装和姿势等不变的情况下，将人偶模特图像转换为真实模特图像。随着电子商务的兴起，越来越多的商家选择在线售卖服装。然而，在线售卖服装无法使用户触摸到服装的实体，如何在线展示服装成为商家的一个主要问题。传统的展示服装方法通常需要聘请一些模特，并准备拍摄场地和设备等，然后将需要展示的服装穿在模特身上拍摄服装展示图像。然而，这会导致商家需要付出很高的拍摄成本。针对这个问题，本发明提出了一种人偶模特生成算法。该算法能够直接将人偶模特图像转变为真实模特图像，并且保持图像中的服装等区域不变，这能够大幅降低商家线上展示服装的成本。

技术实现思路

1、本发明的目的在于提供一种基于生成对抗网络的人偶模特生成算法，其旨在解决将人偶模特图像转变为真实模特图像的技术问题。

2、为达到上述目的，本发明提供的方案是：一种基于生成对抗网络的人偶模特生成算法，包括步骤：

3、构建人偶模特生成数据集：获取真实的模特图像数据集，根据真实的模特图像数据集构建人偶模特生成数据集；所述人偶模特生成数据集包括头部数据集和皮肤数据集，所述头部数据集包括头部解析图像、脸部关键点特征、头部图像的保留区域和头部的掩码，所述皮肤数据集包括包含手部关键点的openpose特征、包含人体表面的densepose特征、人体图像的保留区域、皮肤的掩码和人体的掩码；

4、设计人偶模特生成模型：人偶模特生成模型包括基于生成对抗网络的头部生成网络和基于生成对抗网络的皮肤生成网络；所述头部生成网络用于生成真实的头部图像，所述头部生成网络的输入为头部数据集中的脸部关键点特征、头部图像的保留区域和头部的掩码，所述头部生成网络的输出为真实的头部图像和头部图像的语义分布信息；所述皮肤生成网络用于重建人体模特的皮肤区域，所述皮肤生成网络的输入为皮肤数据集，所述皮肤生成网络的输出为真实皮肤的人体模特图像；

5、分别训练头部生成网络和皮肤生成网络。

6、 作为一种实施方式，所述头部生成网络包括基于res-unet的头部生成器和基于patchgan的头部判别器，所述头部生成器用于根据输入的头部数据集输出头部图像和头部图像的语义分布信息，所述头部判别器用于判别所述头部生成器输出的头部图像的真假；具体地，头部生成器的输入为头部数据集中的脸部关键点特征、头部图像的保留区域和头部的掩码；头部判别器判别头部生成器输出的头部图像的真假，以约束图像生成的真实性；

7、所述皮肤生成网络包括基于res-unet的皮肤生成器和基于patchgan的皮肤判别器，所述皮肤生成器用于根据输入的皮肤数据集输出人体模特图像，所述皮肤判别器用于判别所述皮肤生成器输出的人体模特图像所具有的皮肤的真假。具体地，皮肤生成器的输入为包含手部关键点的openpose特征、包含人体表面的densepose特征、人体图像的保留区域、皮肤的掩码和人体的掩码；皮肤生成器的输出为三维的人体模特图像。

8、作为一种实施方式，所述头部生成器和所述皮肤生成器均包括五层res-unet，其中的隐藏单元数均设置为512；

9、每层res-unet的基本单元包括由一个三层卷积神经网络构成的残差块，即所使用的res-unet残差块的残差部分为三层卷积神经网络。

10、作为一种实施方式，所述头部生成器根据输入的头部数据集输出头部图像和头部图像的语义分布信息包括步骤：

11、将头部数据集输入到五层的res-unet中，先进行五层的下采样，然后使用跳跃连接，结合每一层res-unet的特征，再进行上采样，最终输出一张头部图像以及一个15维度的头部图像语义分布信息。

12、作为一种实施方式，所述头部判别器和所述皮肤判别器均包括包含五个卷积层的patchgan，五个卷积层的卷积核大小均为4×4，第一层卷积层、第二层卷积层和第三层卷积层的步长均为2，第四层卷积层和第五层卷积层的步长均为1。

13、作为一种实施方式，第一层卷积层包括一个卷积和leakyrelu损失函数，第二层卷积层、第三层卷积层和第四层卷积层均包括卷积、bn层和leakyrelu层，第五层卷积层包括一个卷积操作，将特征图的通道数降为1。

14、作为一种实施方式，所述头部生成网络输入的维度为20维，输出的维度为18维；所述皮肤生成网络输入的维度为31维，输出的维度为3维。

15、作为一种实施方式，在训练阶段，所述头部生成网络和所述皮肤生成网络的优化器设定为adam，学习率设置为0.00005；

16、在对所述头部生成网络进行训练时，使用的损失函数包括第一对抗损失函数、头部解析损失函数、第一重建损失函数以及第一vgg感知损失函数；

17、在对所述皮肤生成网络进行训练时，使用的损失函数包括第二对抗损失函数、第二重建损失函数以及第二vgg感知损失函数。

18、作为一种实施方式，在分别训练头部生成网络和皮肤生成网络之前，将真实的模特图像的尺寸调整为1024×768，以脸部为中心截取尺寸为256×256的头部图像，并生成头部解析图像、脸部关键点特征、人体姿态特征、头部的掩码、皮肤的掩码和人体的掩码。

19、作为一种实施方式，基于pytorch框架生成所述人偶模特生成模型。

20、作为一种实施方式，所述根据真实的模特图像数据集构建人偶模特生成的数据集，包括步骤：

21、构建头部数据集：调整真实的模特图像的尺寸，以脸部为中心截取一定尺寸的头部图像，提取头部解析图像和脸部关键点特征；具体地，真实的模特图像的尺寸被调整为1024×768，截取的头部图像的尺寸为256×256。

22、构建皮肤数据集：对真实的模特图像提取两种姿态估计特征，分别为包含手部关键点的openpose特征、包含24个人体表面的densepose特征。

23、发明提供的基于生成对抗网络的人偶模特生成算法，通过采用基于脸部关键点的头部生成网络应用在人偶模特生成任务中，该方法能够忽略输入头部图像中五官的大小比例，只根据脸部区域五官的位置，即可生成一张真实的人体图像，非常适合应用于人偶模特生成任务中。同时，本发明基于生成对抗网络搭建了一个新的头部生成网络，并在网络中添加了头部解析损失，能够提高生成图像的质量，使生成的头部图像更加真实。此外，本发明也提出了一种基于皮肤掩码的皮肤生成网络，并通过包含手部关键点的openpose特征，使生成的手部区域包含更多的细节，进而使生成的图像更加真实。本发明将头部生成网络和皮肤生成网络结合在一起，组合成一种人偶模特生成算法，能够实现人偶模特到真实模特的转换任务，并保持模特的姿态和服装等信息不改变。模型保证了生成图像的质量，同时也能兼顾模型运行的速度。

技术特征：

1.一种基于生成对抗网络的人偶模特生成算法，其特征在于，包括步骤：

2.如权利要求1所述的基于生成对抗网络的人偶模特生成算法，其特征在于，所述头部生成网络包括基于res-unet的头部生成器和基于patchgan的头部判别器，所述头部生成器用于根据输入的头部数据集输出头部图像和头部图像的语义分布信息，所述头部判别器用于判别所述头部生成器输出的头部图像的真假；

3.如权利要求2所述的基于生成对抗网络的人偶模特生成算法，其特征在于，所述头部生成器和所述皮肤生成器均包括五层res-unet，其中的隐藏单元数均设置为512；

4.如权利要求3所述的基于生成对抗网络的人偶模特生成算法，其特征在于，所述头部生成器根据输入的头部数据集输出头部图像和头部图像的语义分布信息包括步骤：

5.如权利要求2所述的基于生成对抗网络的人偶模特生成算法，其特征在于，所述头部判别器和所述皮肤判别器均包括包含五个卷积层的patchgan，五个卷积层的卷积核大小均为4×4，第一层卷积层、第二层卷积层和第三层卷积层的步长均为2，第四层卷积层和第五层卷积层的步长均为1。

6.如权利要求5所述的基于生成对抗网络的人偶模特生成算法，其特征在于，第一层卷积层包括一个卷积和leakyrelu损失函数，第二层卷积层、第三层卷积层和第四层卷积层均包括卷积、bn层和leakyrelu层，第五层卷积层包括一个卷积操作，将特征图的通道数降为1。

7.如权利要求1所述的基于生成对抗网络的人偶模特生成算法，其特征在于，所述头部生成网络输入的维度为20维，输出的维度为18维；所述皮肤生成网络输入的维度为31维，输出的维度为3维。

8.如权利要求1所述的基于生成对抗网络的人偶模特生成算法，其特征在于，在训练阶段，所述头部生成网络和所述皮肤生成网络的优化器设定为adam，学习率设置为0.00005；

9.如权利要求1所述的基于生成对抗网络的人偶模特生成算法，其特征在于，在分别训练头部生成网络和皮肤生成网络之前，将真实的模特图像的尺寸调整为1024×768，以脸部为中心截取尺寸为256×256的头部图像，并生成头部解析图像、脸部关键点特征、人体姿态特征、头部的掩码、皮肤的掩码和人体的掩码。

10.如权利要求1所述的基于生成对抗网络的人偶模特生成算法，其特征在于，基于pytorch框架生成所述人偶模特生成模型。

11.如权利要求1所述的基于生成对抗网络的人偶模特生成算法，其特征在于，所述根据真实的模特图像数据集构建人偶模特生成的数据集，包括步骤：

技术总结
本发明适用于图像翻译领域，公开了一种基于生成对抗网络的人偶模特生成算法，包括步骤：构建人偶模特生成数据集、设计人偶模特生成模型以及分别训练头部生成网络和皮肤生成网络。人偶模特生成模型包括基于生成对抗网络的头部生成网络和基于生成对抗网络的皮肤生成网络；头部生成网络用于生成真实的头部图像，皮肤生成网络用于重建人体模特的皮肤区域。本发明将头部生成网络和皮肤生成网络结合在一起，组合成一种人偶模特生成算法，能够实现人偶模特到真实模特的转换任务，并保持模特的姿态和服装等信息不改变。模型保证了生成图像的质量，同时也能兼顾模型运行的速度。

技术研发人员：张海军,李国建,穆翔宇
受保护的技术使用者：哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）
技术研发日：
技术公布日：2024/1/15