人脸融合方法、装置、计算机设备及存储介质与流程

本申请涉及图像处理，尤其涉及一种人脸融合方法、装置、计算机设备及存储介质。

背景技术：

1、随着近年来神经网络技术的发展，在高质量图像生成领域产生了许多有趣的应用，比如本发明涉及的人脸融合。人脸融合技术在视频娱乐，视觉特效，虚拟替身等商业应用中，受到了很大的关注，也有着广泛的发展空间。

2、现有的人脸融合技术为基于3d技术的方法，其是将人像转换到3d模型上，然后将人脸各种外观特征(如姿态，表情，纹理，光照等等)表达为3d模型的参数，通过调整这些参数完成人脸融合。然而这种方法前提是需要一个精准的3dmm模型，但是由于缺乏2d图像到3d模型转换的训练数据，往往难以获得高精度的3d模型。并且该方法需要进行显式的语义解耦(区分哪些特征是身份，哪些特征是属性)，这些特征一个在3d模型的系数中进行，另一个在高维特征空间中进行，但是语义特征却是高度缠绕的，比如表情在语义上属于属性特征，可是有些标志性的表情又可以用来表达身份，此时就难以将表情从身份特征中剥离出来。并且由于语义特征概念上的模糊，也就无法在特征上进行准确地解耦，强行解耦引起特征间的矛盾，最终会呈现为生成图像上的瑕疵以及功能上的退化。最终结果导致人脸融合的精准度较差。

技术实现思路

1、本申请实施例的目的在于提供一种人脸融合方法、装置、计算机设备及存储介质，以提高人脸融合的精准度。

2、为了解决上述技术问题，本申请实施例提供一种人脸融合方法，包括：

3、获取人脸对齐后的源人脸图像和目标人脸图像；

4、将所述源人脸图像和所述目标人脸图像输入至目标对抗神经网络中，并对所述所述源人脸图像和所述目标人脸图像进行高维特征提取，得到源人脸图像特征和目标人脸图像特征；

5、将所述源人脸图像特征和所述目标人脸图像特征进行身份信息融合，得到重建特征；

6、通过将所述重建特征与所述目标人脸图像特征进行属性信息融合，得到目标融合特征；

7、通过对所述目标融合特征进行特征解码，得到目标融合人脸图像。

8、为了解决上述技术问题，本申请实施例提供一种人脸融合装置，包括：

9、人脸图像获取单元，用于获取人脸对齐后的源人脸图像和目标人脸图像；

10、高维特征提取单元，用于将所述源人脸图像和所述目标人脸图像输入至目标对抗神经网络中，并对所述所述源人脸图像和所述目标人脸图像进行高维特征提取，得到源人脸图像特征和目标人脸图像特征；

11、重建特征生成单元，用于将所述源人脸图像特征和所述目标人脸图像特征进行身份信息融合，得到重建特征；

12、融合特征生成单元，用于通过将所述重建特征与所述目标人脸图像特征进行属性信息融合，得到目标融合特征；

13、融合图像生成单元，用于通过对所述目标融合特征进行特征解码，得到目标融合人脸图像。

14、为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的人脸融合方法。

15、为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的人脸融合方法。

16、本发明实施例提供了一种人脸融合方法、装置、计算机设备及存储介质。其中方法包括：获取人脸对齐后的源人脸图像和目标人脸图像；将所述源人脸图像和所述目标人脸图像输入至目标对抗神经网络中，并对所述所述源人脸图像和所述目标人脸图像进行高维特征提取，得到源人脸图像特征和目标人脸图像特征；将所述源人脸图像特征和所述目标人脸图像特征进行身份信息融合，得到重建特征；通过将所述重建特征与所述目标人脸图像特征进行属性信息融合，得到目标融合特征；通过对所述目标融合特征进行特征解码，得到目标融合人脸图像。本发明实施例通过提取高维特征，并分别进行身份信息融合和属性信息融合，无需在特征维度上显式的区分身份和属性，有利于提高人脸融合的精准度，从而提高了人脸融合的生成质量。

技术特征：

1.一种人脸融合方法，其特征在于，包括：

2.根据权利要求1所述的人脸融合方法，其特征在于，所述获取人脸对齐后的源人脸图像和目标人脸图像之前，所述方法还包括：

3.根据权利要求1所述的人脸融合方法，其特征在于，所述将所述源人脸图像特征和所述目标人脸图像特征进行身份信息融合，得到重建特征，包括：

4.根据权利要求1所述的人脸融合方法，其特征在于，所述通过将所述重建特征与所述目标人脸图像特征进行属性信息融合，得到目标融合特征，包括：

5.根据权利要求1所述的人脸融合方法，其特征在于，所述获取人脸对齐后的源人脸图像和目标人脸图像之前，所述方法还包括：

6.根据权利要求5所述的人脸融合方法，其特征在于，所述采用随机梯度下降法，将训练源人脸图像和训练目标人脸图像输入到对抗神经网络中进行训练，得到所述目标对抗神经网络，包括：

7.根据权利要求1至6任一项所述的人脸融合方法，其特征在于，所述所述通过对所述目标融合特征进行特征解码，得到目标融合人脸图像，包括：

8.一种人脸融合装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的人脸融合方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人脸融合方法。

技术总结
本申请涉及一种人脸融合方法、装置、计算机设备及存储介质，其中方法包括：获取人脸对齐后的源人脸图像和目标人脸图像；将源人脸图像和目标人脸图像输入至目标对抗神经网络中，并对源人脸图像和目标人脸图像进行高维特征提取，得到源人脸图像特征和目标人脸图像特征；将源人脸图像特征和目标人脸图像特征进行身份信息融合，得到重建特征；通过将重建特征与目标人脸图像特征进行属性信息融合，得到目标融合特征；通过对目标融合特征进行特征解码，得到目标融合人脸图像。本发明无需在特征维度上显式的区分身份和属性，有利于提高人脸融合的精准度，从而提高了人脸融合的生成质量。

技术研发人员：王鼎,谢衍涛
受保护的技术使用者：杭州云像科技有限公司
技术研发日：
技术公布日：2024/1/13