一种数字人动作生产方法及装置与流程

本说明书一个或多个实施例涉及虚拟数字人领域，尤其涉及一种数字人动作生产方法及装置。

背景技术：

1、在现实世界中，人是核心，人与人的交流让世界变得丰富多彩。而在元宇宙中，数字人则扮演着相似的角色，作为元宇宙的载体，数字人技术受到了工业界和学术界的广泛关注。对于现实中的人来说，肢体动作、表情是彰显个性以及突显个人表现力的窗口。同样，为了让数字人能够像人一样活灵活现，更加具有表现力，就需要通过驱动技术来让数字人“动起来”。

2、数字人的驱动包含了唇形、表情以及肢体驱动，其中肢体驱动由于涉及关节多、复杂度高等问题，是其中开销最大的部分。肢体驱动的一个重要难点就是动作数据的获取，如何从数据量丰富且成本低廉的视频动捕数据中获取到数字人的驱动数据，是数字人驱动的关键问题。

技术实现思路

1、本说明书一个或多个实施例描述了一种数字人动作生产方法及装置，旨在根据视频动捕数据对数字人的动作进行生成。

2、第一方面，提供了一种数字人动作生产方法，包括：

3、获取真人影像数据所对应的包含人体的目标图像；

4、使用目标神经网络处理所述目标图像，所述目标神经网络包括特征提取层，注意力层和预测层，所述特征提取层用于提取反映各个图像元素与各个关节关系的关节特征，以及各个图像元素的姿态特征；所述注意力层用于基于所述关节特征对姿态特征进行注意力处理，得到目标特征，所述预测层用于基于所述目标特征，预测各个关节的旋转角；

5、至少根据所述旋转角，生成标准的参数化人体模型的目标驱动文件；

6、从若干数字人模型中获取第一数字人模型，根据所述目标驱动文件，将所述参数化人体模型动作重定向到所述第一数字人模型上；

7、生成并存储所述第一数字人模型的第一驱动文件。

8、在一种可能的实施方式中，所述影像数据使用无法采集深度信息的单目摄像头拍摄。

9、在一种可能的实施方式中，所述影像数据为单人视频数据或图像数据；获取真人影像数据所对应的包含人体的目标图像，包括：

10、将所述影像数据输入到目标检测模型中，确定包围所述人体的边界框；

11、根据所述边界框裁剪所述影像数据，得到包含所述人体的目标图像。

12、在一种可能的实施方式中，所述影像数据为多人视频数据；获取真人影像数据所对应的包含人体的目标图像，包括：

13、将所述影像数据输入到目标追踪模型中，确定包围所述多人中任一人体的边界框；

14、根据所述边界框裁剪所述影像数据，得到包含所述人体的目标图像。

15、在一种可能的实施方式中，所述关节特征包括各个图像元素对应的j+1维特征向量，所述j+1维特征向量表征图像元素属于预定的j个关节以及属于图像背景的概率。

16、在一种可能的实施方式中，所述注意力层用于，基于各个图像元素对应的j+1维特征向量的前j维向量元素，确定各个图像元素的姿态特征的注意力权重，基于所述注意力权重处理所述姿态特征。

17、在一种可能的实施方式中，所述目标特征中包含对应于j个关节的j个子特征，所述预测层包含实现为全连接层的第一网络层；基于所述目标特征，预测各个关节的旋转角，包括：

18、将任一目标关节的子特征输入到所述第一网络层中，得到所述目标关节的关节旋转角。

19、在一种可能的实施方式中，所述预测层包括第二网络层和第三网络层，所述第二网络层用于根据所述目标特征预测所述人体的身体形状参数，所述第三网络层用于根据所述目标特征预测人体在空间中的位置参数。

20、在一种可能的实施方式中，至少根据所述旋转角，生成标准的参数化人体模型的目标驱动文件，包括：

21、根据所述旋转角、身体形状参数和位置参数，生成标准的参数化人体模型的目标驱动文件。

22、在一种可能的实施方式中，所述参数化人体模型包含第一源关节，所述第一数字人模型包含与所述第一源关节对应的第一目标关节；将所述参数化人体模型动作重定向到所述第一数字人模型上，包括：

23、根据所述参数化人体模型和所述第一数字人模型各自对应的全局坐标系之间的变换关系，以及所述第一源关节和第一目标关节各自的基准坐标系之间的变换关系，确定所述第一源关节到所述第一目标关节的目标变换关系；

24、根据所述第一源关节的旋转角以及所述目标变换关系，确定所述第一目标关节的旋转角。

25、在一种可能的实施方式中，所述第一驱动文件包括多种类型的驱动文件；所述方法还包括：

26、将所述多种类型的驱动文件封装为程序接口对外展示。

27、在一种可能的实施方式中，所述第一驱动文件的类型至少包括：bvh、fbx、glb和gltf。

28、第二方面，提供了一种数字人动作生产装置，包括：

29、获取单元，配置为，获取真人影像数据所对应的包含人体的目标图像；

30、图像处理单元，使用目标神经网络处理所述目标图像，所述目标神经网络包括特征提取层，注意力层和预测层，所述特征提取层用于提取反映各个图像元素与各个关节关系的关节特征，以及各个图像元素的姿态特征；所述注意力层用于基于所述关节特征对姿态特征进行注意力处理，得到目标特征，所述预测层用于基于所述目标特征，预测各个关节的旋转角；

31、第一生成单元，配置为，至少根据所述旋转角，生成标准的参数化人体模型的目标驱动文件；

32、动作重定向单元，配置为，从若干数字人模型中获取第一数字人模型，根据所述目标驱动文件，将所述参数化人体模型动作重定向到所述第一数字人模型上；

33、第二生成单元，配置为，生成并存储所述第一数字人模型的第一驱动文件。

34、在一种可能的实施方式中，所述第一驱动文件包括多种类型的驱动文件；所述装置还包括：

35、接口封装单元，配置为，将所述多种类型的驱动文件封装为程序接口对外展示。

36、第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

37、第四方面，提供了一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

38、本说明书实施例提出的一种数字人动作生产方法及装置，将视频动捕数据中的动作提取并生成参数化人体模型的驱动数据，可以将驱动数据动作重定向到任意数字人模型上，同时将动作数据写入到不同格式的驱动文件中并保存，便于不同模型复用以及未来的长期使用。

技术特征：

1.一种数字人动作生产方法，包括：

2.根据权利要求1所述的方法，其中，所述影像数据使用无法采集深度信息的单目摄像头拍摄。

3.根据权利要求1所述的方法，其中，所述影像数据为单人视频数据或图像数据；获取真人影像数据所对应的包含人体的目标图像，包括：

4.根据权利要求1所述的方法，其中，所述影像数据为多人视频数据；获取真人影像数据所对应的包含人体的目标图像，包括：

5.根据权利要求1所述的方法，其中，所述关节特征包括各个图像元素对应的j+1维特征向量，所述j+1维特征向量表征图像元素属于预定的j个关节以及属于图像背景的概率。

6.根据权利要求5所述的方法，其中，所述注意力层用于，基于各个图像元素对应的j+1维特征向量的前j维向量元素，确定各个图像元素的姿态特征的注意力权重，基于所述注意力权重处理所述姿态特征。

7.根据权利要求1所述的方法，其中，所述目标特征中包含对应于j个关节的j个子特征，所述预测层包含实现为全连接层的第一网络层；基于所述目标特征，预测各个关节的旋转角，包括：

8.根据权利要求1所述的方法，其中，所述预测层包括第二网络层和第三网络层，所述第二网络层用于根据所述目标特征预测所述人体的身体形状参数，所述第三网络层用于根据所述目标特征预测人体在空间中的位置参数。

9.根据权利要求8所述的方法，其中，至少根据所述旋转角，生成标准的参数化人体模型的目标驱动文件，包括：

10.根据权利要求1所述的方法，其中，所述参数化人体模型包含第一源关节，所述第一数字人模型包含与所述第一源关节对应的第一目标关节；将所述参数化人体模型动作重定向到所述第一数字人模型上，包括：

11.根据权利要求1所述的方法，所述第一驱动文件包括多种类型的驱动文件；所述方法还包括：

12.根据权利要求1所述的方法，其中，所述第一驱动文件的类型至少包括：bvh、fbx、glb和gltf。

13.一种数字人动作生产装置，包括：

14.根据权利要求13所述的装置，所述第一驱动文件包括多种类型的驱动文件；所述装置还包括：

15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项所述的方法。

16.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。

技术总结
本说明书实施例涉及一种数字人动作生产方法及装置，所述方法首先获取包含人体的目标图像，然后使用目标神经网络处理目标图像，目标神经网络包括特征提取层，注意力层和预测层，其中，特征提取层用于提取反映各个图像元素与各个关节关系的关节特征，以及各个图像元素的姿态特征；注意力层用于基于所述关节特征对姿态特征进行注意力处理，得到目标特征，预测层用于基于所述目标特征，预测各个关节的旋转角；然后，至少根据所述旋转角，生成标准的参数化人体模型的目标驱动文件；然后，从若干数字人模型中获取第一数字人模型，根据目标驱动文件，将参数化人体模型动作重定向到第一数字人模型上，生成并存储第一数字人模型的第一驱动文件。

技术研发人员：朱帅,杨明晖,曹雨
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/16