图片生成与模型训练方法、装置及存储介质与流程

文档序号:21277309发布日期:2020-06-26 23:21阅读:来源:国知局

技术特征:

1.一种图片生成方法,其特征在于,包括:

获取用户输入的分割图和条件向量;

将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中,获得目标图片;

其中,所述目标图片生成模型包括目标空间自适应归一化模块、目标解码器以及目标生成器,所述目标解码器的输入端用于接收所述随机噪声与所述条件向量,所述目标空间自适应归一化模块的输入端用于接收所述分割图,所述目标生成器的输入用于接收所述目标空间自适应归一化模块的输出与所述目标解码器的输出。

2.根据权利要求1所述的方法,其特征在于,所述目标空间自适应归一化模块包括第一目标空间自适应归一化模块与第二目标空间自适应归一化模块,所述目标解码器包括第一目标解码器与第二目标解码器,所述目标生成器包括第一目标生成器与第二目标生成器;

所述将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中,获得目标图片,包括:

将所述随机噪声与所述条件向量输入至所述第一目标解码器,获得第一拼接图;

将所述第一目标空间自适应归一化模块的输出与所述第一拼接图输入至所述第一目标生成器,获得颜色分布图;

将所述颜色分布图、所述随机噪声以及所述条件向量输入至所述第二目标解码器,获得第二拼接图;

将所述第二目标空间自适应归一化模块的输出与所述第二拼接图输入至所述第二目标生成器,获得目标图片。

3.根据权利要求1所述的方法,其特征在于,所述分割图包括头部轮廓信息与五官位置信息;

所述将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中,获得目标图片,包括:

将所述分割图输入到所述目标空间自适应归一化模块,获得反归一化参数;

控制所述目标生成器对将所述目标解码器的输出进行归一化,获得目标特征图;

控制所述目标生成器基于所述反归一化参数对所述目标特征图进行反归一化,获得目标图片,其中,所述目标图片包括头部坐标信息与五官坐标信息,所述头部坐标信息与所述头部轮廓信息匹配,所述五官坐标信息与所述五官位置信息相匹配。

4.根据权利要求1所述的方法,其特征在于,所述条件向量包括五官属性向量、脸部属性向量、头发属性向量以及头部配饰属性向量中的至少一项。

5.一种图片生成模型训练方法,其特征在于,包括:

构建生成对抗网络,所述生成对抗网络包括原始图片生成模型与原始图片判别模型;

获取样本图片、预设的随机噪声以及用户输入的分割图和条件向量;

将所述分割图、所述条件向量和预设的随机噪声输入所述原始图片生成模型中,获得合成图片;其中,所述原始图片生成模型中构建有生成损失函数,且所述原始图片生成模型包括原始空间自适应归一化模块、原始解码器以及原始生成器,所述原始解码器的输入端用于接收所述随机噪声与所述条件向量,所述原始空间自适应归一化模块的输入端用于接收所述分割图,所述原始生成器的输入用于接收所述原始空间自适应归一化模块的输出与原始解码器的输出;

将所述合成图片与所述样本图片输入至所述原始图片判别模型,获得判别结果;

基于所述判别结果对所述原始图片生成模型的网络参数进行调整,直至依据所述判别结果得到的所述生成损失函数的函数值满足损失阈值,获得目标图片生成模型。

6.根据权利要求5所述的方法,其特征在于,所述原始空间自适应归一化模块包括第一原始空间自适应归一化模块与第二原始空间自适应归一化模块,所述原始解码器包括第一原始解码器与第二原始解码器,所述原始生成器包括第一原始生成器与第二原始生成器;

所述将所述分割图、所述条件向量和预设的随机噪声输入原始图片生成模型中,获得合成图片,包括:

将所述随机噪声与所述条件向量输入至所述第一原始解码器,获得第三拼接图;

将所述第一原始空间自适应归一化模块的输出与所述第三拼接图输入至所述第一原始生成器,获得第一合成图片;

将所述第一合成图片、所述随机噪声以及所述条件向量输入至所述第二原始解码器,获得第四拼接图;

将所述第二原始空间自适应归一化模块的输出与所述第四拼接图输入至所述第二原始生成器,获得第二合成图片。

7.根据权利要求6所述的方法,其特征在于,所述生成损失函数包括以下至少一项:

所述第一合成图片相对于所述样本图片的第一判别损失函数;

所述第一合成图片相对于所述条件向量的条件损失函数;

所述第二合成图片相对于所述样本图片的第二判别损失函数;

所述第二合成图片相对于所述第一合成图片的颜色一致性损失函数。

8.一种图片生成装置,其特征在于,包括:

第一获取模块,用于获取用户输入的分割图和条件向量;

第二获取模块,用于将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中,获得目标图片;

其中,所述目标图片生成模型包括目标空间自适应归一化模块、目标解码器以及目标生成器,所述目标解码器的输入端用于接收所述随机噪声与所述条件向量,所述目标空间自适应归一化模块的输入端用于接收所述分割图,所述目标生成器的输入用于接收所述目标空间自适应归一化模块的输出与所述目标解码器的输出。

9.根据权利要求8所述的装置,其特征在于,所述目标空间自适应归一化模块包括第一目标空间自适应归一化模块与第二目标空间自适应归一化模块,所述目标解码器包括第一目标解码器与第二目标解码器,所述目标生成器包括第一目标生成器与第二目标生成器;

所述第二获取模块,包括:

第一获取单元,用于将所述随机噪声与所述条件向量输入至所述目标解码器,获得第一拼接图;

第二获取单元,用于将所述目标空间自适应归一化模块的输出与所述第一拼接图输入至所述目标生成器,获得颜色分布图;

第三获取单元,用于将所述颜色分布图、所述随机噪声以及所述条件向量输入至所述目标解码器,获得第二拼接图;

第四获取单元,用于将所述目标空间自适应归一化模块的输出与所述第二拼接图输入至所述目标生成器,获得目标图片。

10.一种图片生成模型训练装置,其特征在于,包括:

构建模块,用于构建生成对抗网络,所述生成对抗网络包括原始图片生成模型与原始图片判别模型;

第一获取模块,用于获取样本图片、预设的随机噪声以及用户输入的分割图和条件向量;

第二获取模块,用于将所述分割图、所述条件向量和预设的随机噪声输入所述原始图片生成模型中,获得合成图片;其中,所述原始图片生成模型中构建有生成损失函数,且所述原始图片生成模型包括原始空间自适应归一化模块、原始解码器以及原始生成器,所述原始解码器的输入端用于接收所述随机噪声与所述条件向量,所述原始空间自适应归一化模块的输入端用于接收所述分割图,所述原始生成器的输入用于接收所述原始空间自适应归一化模块的输出与所述原始解码器的输出;

第三获取模块,用于将所述合成图片与所述样本图片输入至所述原始图片判别模型,获得判别结果;

第四获取模块,用于基于所述判别结果对所述原始图片生成模型的网络参数进行调整,直至依据所述判别结果得到的所述生成损失函数的函数值满足损失阈值,获得目标图片生成模型。

11.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现如权利要求1-4中任一项所述的图片生成方法。

12.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现如权利要求5-7中任一项所述的图片生成模型训练方法。

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时,实现如权利要求1至4中任一项所述的图片生成方法。

14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时,实现如权利要求5-7中任一项所述的图片生成模型训练方法。


技术总结
本发明实施例提供了一种图片生成与模型训练方法、装置及存储介质,其中,上述图片生成方法,包括:获取用户输入的分割图和条件向量;将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中,获得目标图片;其中,所述目标图片生成模型包括目标空间自适应归一化模块、目标解码器以及目标生成器。本发明实施例提供的图片生成方法无需使用素材对原始图片中的各个类别的属性特征进行匹配,能够有效提高生成的图片与用户输入内容的相关度,并有助于满足用户对图片生成的个性化需求。

技术研发人员:王波;张骞
受保护的技术使用者:北京奇艺世纪科技有限公司
技术研发日:2020.02.24
技术公布日:2020.06.26
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1