面部动态捕捉驱动方法、装置、电子设备及可读存储介质与流程

本发明涉及面部动作捕捉，尤其涉及一种面部动态捕捉驱动方法、装置、电子设备及可读存储介质。

背景技术：

1、在数字人面部驱动的技术领域中，现有技术中的一种手段是通过训练resnet50网络模块来预测3dmm模型的人脸形状参数和表情参数等驱动数字人的面部，但该方法最大的局限在于非耗费大量资源专门构建的3dmm模型精度一般，在表情细粒度刻画上会欠缺，预测的表情参数在同新建模的数字人模型或其它软件上存在通路问题，难以广泛应用。另一种手段是将划分的人脸区域和ue中控制器相对应，通过训练网络来预测控制器参数，输入ue产生局部网格变化，以实现驱动，不过人脸区域划分复杂，并需要控制器作用精准，对ue也有较强依赖，其扩展性和通用性受到很大限制。

技术实现思路

1、有鉴于此，本发明实施例提供了一种面部动态捕捉驱动方法，以解决面部动态捕捉驱动精度差和通用性不优的问题。

2、根据本发明的第一方面，提供了一种面部动态捕捉驱动方法，包括：

3、接收第一输入，所述第一输入包括面部形态键信息和面部绑定关键骨骼信息；

4、响应于所述第一输入，生成面部动态捕捉驱动模型；

5、接收第二输入，所述第二输入为若干帧包含面部特征的图像信息；

6、响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果。

7、可选地，所述响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果，包括：

8、接收所述面部动态捕捉模型分析所述包含面部特征的图像信息的形态键值和关键骨骼控制参数；

9、响应于所述形态键值和所述关键骨骼控制参数，生成并显示面部动态捕捉驱动结果。

10、可选地，所述响应于所述形态键值和所述关键骨骼控制参数，生成并显示面部动态捕捉驱动结果，包括：

11、根据所述第一输入构建数字人模型；

12、响应于所述形态键值和所述关键骨骼控制参数，控制驱动显示所述数字人模型。

13、可选地，所述接收第二输入前，还包括：

14、接收若干个图像帧数据；

15、将若干个所述图像帧数据输入所述面部动态捕捉驱动模型，对所述面部动态捕捉驱动模型进行训练。

16、可选地，所述将若干个所述图像帧数据输入所述面部动态捕捉驱动模型，对所述面部动态捕捉驱动模型进行训练后，还包括：

17、计算所述面部动态捕捉驱动模型与所述第二输入之间的损失数据，所述损失数据包括但不仅限于2d损失、3d损失和微表情损失；

18、响应于所述损失数据，消除所述形态键值、所述关键骨骼控制参数与所述面部动态捕捉驱动模型之间的误差。

19、可选地，所述接收第二输入前，还包括：

20、采用图像采集设备获取所述第二输入，所述第二输入为包含面部特征的2d图像信息或3d图像信息。

21、可选地，所述采用图像采集设备获取所述第二输入后，还包括：

22、采用人脸检测器检测所述第二输入的人脸关键点和人脸框，并按照检测结果修正所述第二输入。

23、根据本发明的第二方面，提供了一种面部动态捕捉驱动装置，包括：

24、第一接收模块，用于接收第一输入，所述第一输入包括面部形态键信息和面部绑定关键骨骼信息；

25、生成模块，响应于所述第一输入，生成面部动态捕捉驱动模型；

26、第二接收模块，用于接收第二输入，所述第二输入为若干帧包含面部特征的图像信息；

27、显示模块，响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果。

28、根据本发明的第三方面，提供了一种电子设备，包括：

29、处理器；以及

30、存储程序的存储器，

31、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本发明第一方面中任一项所述的方法。

32、根据本发明的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据本发明第一方面中任一项所述的方法。

33、本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

34、采用面部形态键信息和面部绑定关键骨骼信息进行面部动态捕捉驱动模型的生成，使得数字人与图像帧数据的精准匹配，且图像帧数据作为面部动态捕捉驱动模型的输入，分析获得形态键值和关键骨骼参数，精准实现与数字人的面部匹配和数字人的面部驱动，驱动方式精准且可靠，不仅可无偏差迁移到不同的数字人模型上进行驱动展示，还具有较强的通用性，而且能够实时驱动，可以克服复杂场景环境的影响。

35、上述简要说明仅是对本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下举例详细描述本发明的具体实施方式。

技术特征：

1.一种面部动态捕捉驱动方法，其特征在于，包括：

2.根据权利要求1所述的面部动态捕捉驱动方法，其特征在于，所述响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果，包括：

3.根据权利要求2所述的面部动态捕捉驱动方法，其特征在于，所述响应于所述形态键值和所述关键骨骼控制参数，生成并显示面部动态捕捉驱动结果，包括：

4.根据权利要求1所述的面部动态捕捉驱动方法，其特征在于，所述接收第二输入前，还包括：

5.根据权利要求4所述的面部动态捕捉驱动方法，其特征在于，所述将若干个所述图像帧数据输入所述面部动态捕捉驱动模型，对所述面部动态捕捉驱动模型进行训练后，还包括：

6.根据权利要求1所述的面部动态捕捉驱动方法，其特征在于，所述接收第二输入前，还包括：

7.根据权利要求6所述的面部动态捕捉驱动方法，其特征在于，所述采用图像采集设备获取所述第二输入后，还包括：

8.一种面部动态捕捉驱动装置，其特征在于，包括：

9.一种电子设备，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。

技术总结
本发明提供一种面部动态捕捉驱动方法、装置、电子设备及可读存储介质，包括：接收第一输入，所述第一输入包括面部形态键信息和面部绑定关键骨骼信息；响应于所述第一输入，生成面部动态捕捉驱动模型；接收第二输入，所述第二输入为若干帧包含面部特征的图像信息；响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果。

技术研发人员：王远强,杨青
受保护的技术使用者：度小满科技(北京)有限公司
技术研发日：
技术公布日：2024/1/15