人脸驱动方法和装置与流程

本申请实施例涉及图像处理，尤其涉及一种人脸驱动方法、装置、计算机设备、计算机可读存储介质。

背景技术：

1、随着神经网络和计算机技术的快速发展，人脸驱动技术开始应用于计算机游戏、动画制作等领域。人脸驱动技术可以基于真实人脸来驱动三维渲染器面部模型或者2d图像的虚拟人脸，从而实现虚拟人脸和真实人脸在说话、表情和面部细节等多方面的同步。

2、现有的人脸驱动技术，驱动效果差，从而影响用户的使用体验。

3、需要说明的是，上述内容并不必然是现有技术，也不用于限制本申请的专利保护范围。

技术实现思路

1、本申请实施例提供一种人脸驱动方法、装置、计算机设备、计算机可读存储介质，以解决或缓解上面提出的一项或更多项技术问题。

2、本申请实施例的一个方面提供了一种人脸驱动方法，所述方法包括：

3、获取待驱动图像的第一面部特征；

4、获取驱动源图像的第二面部特征和关键点特征；

5、根据所述关键点特征和所述第二面部特征，获取深度特征；

6、将所述第一面部特征、所述第二面部特征、所述关键点特征和所述深度特征输入到预先训练好的目标神经网络中，通过所述目标神经网络输出所述目标驱动图像；其中，所述目标驱动图像为所述待驱动图像在所述驱动源图像驱动下形成的图像。

7、可选地，所述获取驱动源图像的第二面部特征和关键点特征，包括：

8、通过预先训练好的3d模型，获取所述驱动源图像中关键点的3d点云信息；

9、其中，3d点云信息包括平移参数和旋转参数；所述平移参数用于表示所述关键点在三维坐标系中的移动距离；所述旋转参数用于表示所述关键点在所述三维坐标系的旋转角度。

10、可选地，所述根据所述关键点特征图和所述第二面部特征，获取深度特征，包括：

11、根据所述关键点特征和所述第二面部特征，获取第一融合特征；

12、将所述第一融合特征输入到预先训练好的面部深度网络中，以获取所述深度特征。

13、可选地，所述根据所述关键点特征和所述第二面部特征，获取第一融合特征，包括：

14、通过调制解调方式将所述关键点特征加载到所述第二面部特征中，以获取所述第一融合特征。

15、可选地，所述目标神经网络包括交叉注意力机制网络。

16、可选地，所述交叉注意力机制网络包括编码层、第一卷积层、第二卷积层和第三卷积层；对应地，所述通过所述目标神经网络输出所述目标驱动图像，包括：

17、根据所述关键点特征和所述深度特征，获取第二融合特征；

18、将所述第二融合特征输入到所述编码层；

19、将所述编码层的输出数据经由所述第一卷积层进行卷积操作，以获取第一矩阵；

20、根据所述第一面部特征和所述第二面部特征，获取第三融合特征；

21、将所述第三融合特征输入到所述第二卷积层，以获取第二矩阵；

22、将所述第三融合特征输入到所述第三卷积层，以获取第三矩阵；

23、根据所述第一矩阵和所述第二矩阵，获取光流特征；

24、根据所述光流特征和所述第三矩阵，获取所述目标驱动图像。

25、可选地，根据所述光流特征和所述第三矩阵，获取所述目标驱动图像，包括：

26、根据所述第一矩阵和所述第二矩阵，确定维度值；

27、根据所述光流特征、所述第三矩阵和所述维度值，获取所述目标驱动图像。

28、本申请实施例的另一个方面提供了一种人脸驱动装置，所述装置包括：

29、第一获取模块，用于获取待驱动图像的第一面部特征；

30、第二获取模块，用于获取驱动源图像的第二面部特征和关键点特征；其中，所述驱动源图像用于驱动所述待驱动图像，以形成目标驱动图像；

31、第三获取模块，用于根据所述关键点特征和所述第二面部特征，获取深度特征；

32、输出模块，用于将所述第一面部特征、第二面部特征、关键点特征和深度特征输入到预先训练好的目标神经网络中，通过所述目标神经网络输出所述目标驱动图像。

33、本申请实施例的另一个方面提供了一种计算机设备，包括：

34、至少一个处理器；及

35、与所述至少一个处理器通信连接的存储器；

36、其中：所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

37、本申请实施例的另一个方面提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如上所述的方法。

38、本申请实施例采用上述技术方案可以包括如下优势：

39、采用驱动源图像的第二面部特征和关键点特征获取驱动源图像的深度特征。然后，利用驱动源图像驱动所述待驱动图像的过程中，可以结合驱动源图像的关键点特征、深度特征和第二面部特征，来影响待驱动图像的第一面部特征，从而实现动作、表情等的精确同步。由于利用了深度特征精确地解析驱动源图像的人脸三维结构，从而为人脸驱动给提供更丰富的人脸信息，有效提高人脸驱动的表现效果和精度。

技术特征：

1.一种人脸驱动方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取驱动源图像的第二面部特征和关键点特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述关键点特征图和所述第二面部特征，获取深度特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述关键点特征和所述第二面部特征，获取第一融合特征，包括：

5.根据权利要求1至4所述的方法，其特征在于，所述目标神经网络包括交叉注意力机制网络。

6.根据权利要求5所述的方法，其特征在于，所述交叉注意力机制网络包括编码层、第一卷积层、第二卷积层和第三卷积层；对应地，所述通过所述目标神经网络输出所述目标驱动图像，包括：

7.根据权利要求6所述的方法，其特征在于，根据所述光流特征和所述第三矩阵，获取所述目标驱动图像，包括：

8.一种人脸驱动装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请实施例了提供一种人脸驱动方法，该人脸驱动方法包括：获取待驱动图像的第一面部特征；获取驱动源图像的第二面部特征和关键点特征；根据所述关键点特征和所述第二面部特征，获取深度特征；将所述第一面部特征、所述第二面部特征、所述关键点特征和所述深度特征输入到预先训练好的目标神经网络中，通过所述目标神经网络输出所述目标驱动图像；其中，所述目标驱动图像为所述待驱动图像在所述驱动源图像驱动下形成的图像。本申请实施例的技术方案可以利用深度特征精确地解析驱动源图像的人脸三维结构，从而为人脸驱动给提供更丰富的人脸信息，有效提高人脸驱动的表现效果和精度。

技术研发人员：李亘杰
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：
技术公布日：2024/1/14