一种虚拟人脸图像生成方法、装置及电子设备与流程

本发明涉及人工智能，尤其涉及一种虚拟人脸图像生成方法、装置及电子设备。

背景技术：

1、当前，社交、直播、游戏等涉及人物建模的场景均需使用虚拟人脸图像，对于虚拟人脸图像的需求量也不断增大。具体的，现有技术可以使用虚拟人脸生成模型来生成需求的虚拟人脸图像。

2、但是，现有技术的虚拟人脸图像的图像成品率较低。

技术实现思路

1、本发明提供一种虚拟人脸图像生成方法、装置及电子设备，用以解决现有技术生成的虚拟人脸图像的图像成品率较低的缺陷，有效提高目标风格类型的虚拟人脸图像的图像成品率。

2、本发明提供一种虚拟人脸图像生成方法，包括：

3、获得随机噪声和目标风格类型的真实人脸图像；

4、对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据；

5、对所述真实人脸图像进行特征提取，获得真实人脸特征数据；

6、对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据；

7、将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像；

8、其中，所述虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

9、可选的，所述对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据，包括：

10、确定待用于进行混合处理的特征混合权重；

11、基于所述特征混合权重，对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得所述混合数据。

12、可选的，所述虚拟人脸生成器包括自注意力模块，所述自注意力模块用于优化待生成虚拟人脸图像中的人脸细节纹理；所述将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像，包括：

13、将所述混合数据输入至所述虚拟人脸生成器，获得所述虚拟人脸生成器基于所述自注意力模块进行人脸细节纹理优化处理而生成的所述虚拟人脸图像。

14、可选的，所述虚拟人脸生成器是在虚拟人脸生成模型的虚拟人脸生成网络中增加所述自注意力模块而得到的；其中，在所述虚拟人脸生成器中，从第五个复杂卷积堆叠层开始，每个复杂卷积堆叠层后均包括所述自注意力模块。

15、可选的，所述第一风格类型的真实人脸图像通过如下方式获得，包括：

16、获得第一描述文本和第一真实人脸图像；其中，所述第一描述文本为所述第一风格类型的图像风格描述文本；

17、将所述第一描述文本和所述第一真实人脸图像输入至训练好的图像风格分类器进行图像风格分类，获得所述图像风格分类器输出的图像分类结果；所述图像分类结果为所述第一真实人脸图像是否为所述第一风格类型的真实人脸图像的分类结果；

18、当所述图像分类结果为是的情况下，将所述第一真实人脸图像确定为所述第一风格类型的真实人脸图像；

19、其中，所述图像风格分类器是基于第二描述文本和第二风格类型的真实人脸图像训练得到的。

20、可选的，所述图像风格分类器包括图像特征提取层、图文关联特征提取层和相似度处理层，所述图像分类结果通过如下方式获得，包括：

21、将所述第一描述文本输入至所述图文关联特征提取层进行文本特征提取，获得所述图文关联特征提取层输出的文本特征向量；

22、将所述第一真实人脸图像输入至所述图像特征提取层进行图像特征提取，获得所述图像特征提取层输出的图像特征向量；

23、将所述文本特征向量与所述图像特征向量输入至所述相似度处理层，获得所述相似度处理层输出的所述图像分类结果；其中，所述相似度处理层用于确定所述文本特征向量与所述图像特征向量的余弦相似度，基于所述余弦相似度与预设相似度阈值的比较结果，生成并输出所述图像分类结果。

24、可选的，所述获得随机噪声和目标风格类型的真实人脸图像，包括：

25、获得多个所述真实人脸图像；

26、通过随机采样，获得一个所述随机噪声；

27、所述对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据，包括：

28、对随机采样获得的所述随机噪声进行类型化人脸特征映射，获得所述虚拟人脸特征数据；

29、所述对所述真实人脸图像进行特征提取，获得真实人脸特征数据，包括：

30、从多个所述真实人脸图像中，随机选取一个所述真实人脸图像确定为待处理真实人脸图像；

31、对所述待处理真实人脸图像进行特征提取，获得所述真实人脸特征数据。

32、可选的，在所述获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像之后，所述虚拟人脸图像生成方法还包括：

33、返回执行所述通过随机采样，获得一个所述随机噪声的步骤，直至获得由所述虚拟人脸生成器生成的所述目标风格类型的、第一数量的虚拟人脸图像。

34、本发明提供一种虚拟人脸图像生成装置，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和第五获得单元；其中：

35、所述第一获得单元，用于获得随机噪声和目标风格类型的真实人脸图像；

36、所述第二获得单元，用于对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据；

37、所述第三获得单元，用于对所述真实人脸图像进行特征提取，获得真实人脸特征数据；

38、所述第四获得单元，用于对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据；

39、所述第五获得单元，用于将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像；

40、其中，所述虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

41、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟人脸图像生成方法。

42、本发明提供的虚拟人脸图像生成方法、装置及电子设备，可以生成混合数据，混合数据中同时包括目标风格类型的虚拟人脸特征数据，以及目标风格类型的真实人脸特征数据，在将混合数据输入到虚拟人脸生成器后，可以使得虚拟人脸生成器所生成的虚拟人脸图像在接近真实人脸图像的同时，能够不同于现实世界的真实人脸图像，且可以使得虚拟人脸生成器所生成的虚拟人脸图像的风格类型更加可控，有效提高虚拟人脸生成器对目标风格类型的虚拟人脸图像的生成概率，从而可以有效提高目标风格类型的虚拟人脸图像的图像成品率，并可以满足用户对于目标风格类型的虚拟人脸图像的个性化需求。

技术特征：

1.一种虚拟人脸图像生成方法，其特征在于，包括：

2.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据，包括：

3.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述虚拟人脸生成器包括自注意力模块，所述自注意力模块用于优化待生成虚拟人脸图像中的人脸细节纹理；所述将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像，包括：

4.根据权利要求3所述的虚拟人脸图像生成方法，其特征在于，所述虚拟人脸生成器是在虚拟人脸生成模型的虚拟人脸生成网络中增加所述自注意力模块而得到的；其中，在所述虚拟人脸生成器中，从第五个复杂卷积堆叠层开始，每个复杂卷积堆叠层后均包括所述自注意力模块。

5.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述第一风格类型的真实人脸图像通过如下方式获得：

6.根据权利要求5所述的虚拟人脸图像生成方法，其特征在于，所述图像风格分类器包括图像特征提取层、图文关联特征提取层和相似度处理层，所述图像分类结果通过如下方式获得：

7.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述获得随机噪声和目标风格类型的真实人脸图像，包括：

8.根据权利要求7所述的虚拟人脸图像生成方法，其特征在于，在所述获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像之后，所述虚拟人脸图像生成方法还包括：

9.一种虚拟人脸图像生成装置，其特征在于，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和第五获得单元；其中：

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述虚拟人脸图像生成方法。

技术总结
本发明提供一种虚拟人脸图像生成方法、装置及电子设备，可以获得随机噪声和目标风格类型的真实人脸图像；对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；对真实人脸图像进行特征提取，获得真实人脸特征数据；对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。本发明可以有效提高目标风格类型的虚拟人脸图像的图像成品率。

技术研发人员：余镇滔,杨颖,王慎纳,赵祥,杨帅,陈粤洋,王宝元,彭爽,李笛
受保护的技术使用者：北京红棉小冰科技有限公司
技术研发日：
技术公布日：2024/1/13