人脸图像生成模型的训练方法、装置、设备及存储介质与流程

文档序号:36423883发布日期:2023-12-20 16:23阅读:来源:国知局

技术特征:

1.一种人脸图像生成模型的训练方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述按照减小所述损失值总和的方向,对所述表情系数预测网络和所述人脸生成网络进行调整,得到训练后的人脸图像生成模型,包括:

3.如权利要求2所述的方法,其特征在于,所述通过梯度回传算法,按照减小所述损失值总和的方向,对所述表情系数预测网络和所述人脸生成网络进行调整,得到训练后的人脸图像生成模型,包括:

4.如权利要求1所述的方法,其特征在于,所述人脸图像生成模型还包括音频特征提取网络,所述音频特征提取网络用于对所述训练音频进行特征提取,得到所述训练音频的音频特征;

5.如权利要求4所述的方法,其特征在于,所述按照减小所述损失值总和的方向对所述表情系数预测网络、所述人脸生成网络和所述音频特征提取网络进行调整,得到训练后的人脸图像生成模型,包括:

6.如权利要求5所述的方法,其特征在于,所述通过梯度回传算法,按照减小所述损失值总和的方向,对所述表情系数预测网络、所述人脸生成网络和所述音频特征提取网络进行调整,得到训练后的人脸图像生成模型,包括:

7.如权利要求1所述的方法,其特征在于,所述表情系数预测网络和所述人脸生成网络中的任一网络的调整方式,包括:

8.如权利要求7所述的方法,其特征在于,所述预设参数包括第一预设参数和第二预设参数,其中所述第一预设参数的行数或者列数,与所述预训练参数的行数相同,且所述第二预设参数的行数或者列数,与所述预训练参数的列数相同,所述第一预设参数的参数量小于所述预训练参数的参数量,所述第二预设参数的参数量小于所述预训练参数的参数量;

9.一种人脸图像生成模型的训练装置,其特征在于,所述装置包括:

10.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储装置和通信接口,所述处理器、存储装置和通信接口相互连接,其中:

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,用于执行如权利要求1至8任一项所述的人脸图像生成模型的训练方法。


技术总结
本发明实施例公开了一种人脸图像生成模型的训练方法、装置、设备及存储介质,涉及人工智能和语音技术,该方法包括:通过人脸图像生成模型对训练音频进行特征提取得到音频特征;通过表情系数预测网络,基于音频特征对目标对象的表情系数进行预测,得到预测表情系数;通过人脸生成网络,基于预测表情系数生成预测人脸图像;基于预测表情系数与参考表情系数的差异以及预测人脸图像和参考人脸图像的差异得到损失值总和;按照减小损失值总和的方向对表情系数预测网络和人脸生成网络进行调整,得到训练后的人脸图像生成模型。采用本申请实施例能确保通过训练后的人脸图像生成模型生成的人脸图像中的目标对象的口型与输入音频的对齐效果得到显著提升。

技术研发人员:林楚铭,罗栋豪,邰颖,汪铖杰
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1