一种动作捕捉的方法及装置与流程

本发明涉及动捕，尤其涉及一种动作捕捉的方法及装置。

背景技术：

1、动态捕捉(motion capture)，也称为动作捕捉，简称为动捕，是一种利用外部设备来对人体结构的位移进行数据记录和姿态还原的技术。动作捕捉是近年来比较火热的研究方法，现代动捕技术的一个显著特点是它可以实现高质量的角色动画，这对于3a游戏、影视、动画、虚拟人、虚拟现实技术(virtual reality，vr)等项目的制作尤为重要，未来也有很大的发展空间。动捕可以是基于穿戴式装备的动作捕捉方法，但是，基于穿戴式装备的动作捕捉方法成本较高，并且对设备的要求也比较高，使用过程也比较繁琐。动捕还可以是基于计算机视觉的动作捕捉。基于计算机视觉的动作捕捉方法研究有很多对于人的身体(即躯干和四肢)动作捕捉以及手部动作的捕捉的方法，也都有着很好的研究效果。但是，现阶段基于计算机视觉的动作捕捉方法，将身体和手部动作捕捉结合起来的研究比较匮乏。

技术实现思路

1、为了解决现有技术中存在的问题，本申请实施例提供了一种动作捕捉的方法、装置、计算设备、计算机存储介质及包含计算机程序的产品，能够较好的融合身体与手部的动作。

2、第一方面，本申请实施例提供一种动作捕捉的方法，其特征在于，方法包括：确定虚拟人物的平面信息，虚拟人物包括身体与手部，身体与手部均包括多个骨骼点；对身体和手部的骨骼点深度信息进行处理；通过预先训练得到的训练参数，对深度信息进行处理，得到各个骨骼点的真实深度信息；根据各个骨骼点的坐标以及真实深度信息，确定虚拟人物。

3、在一些可能的实现方式中，确定虚拟人物的平面信息，包括：通过深度相机，对人物进行拍摄，确定虚拟人物的坐标，坐标用于指示虚拟人物的平面信息，坐标为归一化坐标；基于深度相机所捕获画面的宽和高，对归一化坐标进行处理。

4、在一些可能的实现方式中，对归一化坐标进行处理，根据如下公式进行：

5、xi,r＝xi,im×imwidth

6、yi,r＝yi,im×imheigh

7、式中，xi,r表征去归一化后的横坐标，xi,im表征初始的归一化横坐标，imwidth表征捕获画面的宽，yi,r表征去归一化后的纵坐标，yi,im表征初始的归一化纵坐标，imheigh表征捕获画面的高。

8、在一些可能的实现方式中，对身体和手部的骨骼点深度信息进行处理，包括：将骨盆的骨骼点所在坐标作为坐标原点，确定每个骨骼点相对于骨盆的骨骼点的归一化深度信息；其中，坐标原点包括深度信息，深度信息根据深度相机所确定；获取手腕关节点对应的骨骼点，相对于坐标原点的归一化坐标；基于手腕关节点对应的骨骼点的深度信息，确定手部各个骨骼点的深度信息。

9、在一些可能的实现方式中，确定每个骨骼点相对于骨盆的骨骼点的归一化深度信息，根据如下公式进行

10、zi,r＝dpelvis+dpelvis×zi,im

11、式中，zi,r表征身体骨骼点处理后的深度信息，dpelvis表征骨盆骨骼点的深度信息，zi,im表征身体骨骼点相对于骨盆骨骼点的归一化坐标。

12、在一些可能的实现方式中，确定手部各个骨骼点的深度信息，根据如下公式进行

13、

14、式中，zj,r表征手部关节骨骼点处理后的深度信息，dpelvis表征骨盆骨骼点的深度信息，zj,im表征手部关节骨骼点相对于骨盆骨骼点的归一化坐标，表征对身体动捕时手腕关节骨骼点的深度信息，表征单独对手部动捕时手腕关节骨骼点的深度信息。

15、在一些可能的实现方式中，训练参数的获取包括：确定获取到骨骼点的真实深度信息的公式；将m个不同人物的真实数据代入公式，确定m个训练参数，其中，m大于1；对m个训练参数进行取均值处理，确定训练参数。

16、在一些可能的实现方式中，真实深度信息的公式具体为

17、

18、式中，表征真实深度信息，hk表征人物的身高，wk表征人物的体重，表征第i个骨骼点(身体或手部)的深度信息，α、β、γ表征训练参数。

19、在一些可能的实现方式中，身体骨骼点数量为32，手部骨骼点包括左手骨骼点以及右手骨骼点，左手骨骼点以及右手骨骼点的数量均为21。

20、第二方面，本申请实施例提供一种动作捕捉的装置，其特征在于，装置包括：

21、获取模块，用于确定虚拟人物的平面信息，虚拟人物包括身体与手部，身体与手部均包括多个骨骼点；

22、处理模块，用于对身体和手部的骨骼点深度信息进行处理；

23、处理模块，还用于通过预先训练得到的训练参数，对深度信息进行处理，得到各个骨骼点的真实深度信息；

24、处理模块，还用于根据各个骨骼点的坐标以及真实深度信息，确定虚拟人物。

25、第三方面，本申请实施例提供一种可读存储介质，包括指令，当读取并执行所述指令时，使得计算设备执行如第一方面任一项所述的方法。

26、第四方面，本申请实施例提供一种计算设备，包括处理器和存储器，其中，所述存储器中存储有程序指令，所述程序指令被所述处理器运行时，执行如第一方面任一项所述的方法。

27、第五方面，本申请实施例提供一种包含计算机程序的产品，当计算机程序产品在处理器上运行时，使得所述处理器执行如第一方面任一项所述的方法。

28、本申请实施例所提供的方案可以在动捕时将身体与手部结合在一起。

技术特征：

1.一种动作捕捉的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定虚拟人物的平面信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述归一化坐标进行处理，根据如下公式进行：

4.根据权利要求1所述的方法，其特征在于，所述对所述身体和所述手部的骨骼点深度信息进行处理，包括：

5.根据权利要求4所述的方法，其特征在于，所述确定每个骨骼点相对于所述骨盆的骨骼点的归一化深度信息，根据如下公式进行

6.根据权利要求4所述的方法，其特征在于，所述确定手部各个骨骼点的深度信息，根据如下公式进行

7.根据权利要求1所述的方法，其特征在于，训练参数的获取包括：

8.根据权利要求1所述的方法，其特征在于，所述真实深度信息的公式具体为

9.根据权利要求1-8任一所述的方法，其特征在于，所述身体骨骼点数量为32，所述手部骨骼点包括左手骨骼点以及右手骨骼点，所述左手骨骼点以及右手骨骼点的数量均为21。

10.一种动作捕捉的装置，其特征在于，所述装置包括：

技术总结
一种动作捕捉的方法，方法包括：确定虚拟人物的平面信息，虚拟人物包括身体与手部，身体与手部均包括多个骨骼点；对身体和手部的骨骼点深度信息进行处理；通过预先训练得到的训练参数，对深度信息进行处理，得到各个骨骼点的真实深度信息；根据各个骨骼点的坐标以及真实深度信息，确定虚拟人物。本方法在动捕时可以较好的融合身体与手部的动作。

技术研发人员：师雪琴,刘蓓,李勃贤
受保护的技术使用者：北京西米兄弟未来科技有限公司
技术研发日：
技术公布日：2024/6/5