基于双目立体相机的多人动捕方法、系统、设备及可读介质与流程

本申请涉及动作捕捉，尤其涉及一种基于双目立体相机的多人动捕系统、方法、设备及可读介质。

背景技术：

1、传统的多人动作捕捉技术通常使用红外光学系统或惯性动作捕捉系统，这些方法具有高精度的追踪能力，但也伴随着昂贵的整体方案成本、繁琐的部署流程以及需要佩戴特定追踪装置的问题。这限制了这些方法在某些应用领域的广泛应用。

2、相比之下，基于机器视觉的ai动作捕捉技术呈现出了更为灵活和经济的潜力。它通过单一摄像头结合ai算法，可以实现对人物全身动作姿态的实时捕捉。相较于传统技术，它的部署简便，只需要一个摄像头即可。然而，尽管具备了成本效益和操作简易的优势，这种方法仍然存在一些挑战。

3、其中，主要问题之一是数据抖动。由于基于机器视觉的算法对图像数据的实时处理，捕捉到的姿态数据在某些情况下可能会表现出明显的抖动。这可能影响最终的动作捕捉效果，尤其是在需要高度稳定的场景，例如虚拟现实体验中。另一个问题是追踪精度。虽然ai算法在一些情况下能够准确地估计人物的姿态，但在特定情况下，例如快速运动或姿势变化较大的情况下，追踪精度可能受到限制。这可能会在某些应用领域中，如虚拟现实，导致用户体验不够流畅和真实。

技术实现思路

1、本申请的一个目的是提供一种基于双目立体相机的多人动捕方法、系统、设备及可读介质，至少用以使得该方法可以利用多台双目立体深度相机和ai算法实现精确的全身动捕，解决数据抖动和追踪精度不足的技术问题。

2、为实现上述目的，本申请的一些实施例提供了一种基于双目立体相机的多人动捕方法，所述方法包括：通过多台双目立体相机，从不同角度拍摄深度图片，根据所述双目立体相机的倾斜角数据和所述深度图片，对所述双目立体相机的坐标系进行标定，得到所述双目立体相机坐标数据的配置文件；根据所述配置文件，计算得到所述深度图片中的人物骨骼数据，将所述人物骨骼数据统一重置到所述双目立体相机的坐标系下，再将与所述双目立体相机获取到的捕捉数据融合，得到人物骨骼关节的追踪数据；根据所述追踪数据，将人物骨骼关节与虚拟环境结合，得到虚拟环境中人物动作捕捉画面。

3、进一步地，所述对所述双目立体相机的坐标系进行标定包括：根据所述深度图片和图像识别的ai算法，得到所述深度图片中人物骨架姿态数据；通过逐帧对比所述人物骨架姿态数据，来校准每台所述双目立体相机的相对位置。

4、进一步地，所述计算得到所述深度图片中的人物骨骼数据包括：根据所述配置文件驱动运行sdk，所述多台双目立体相机根据所述深度图片和ai算法分别计算所述人物骨骼数据。

5、进一步地，所述将人物骨骼关节与虚拟环境结合包括：根据所述追踪数据，驱动虚拟角色在虚拟场景运动；从所述虚拟角色足部发射一条垂直向下的射线，检测到虚拟场景地面碰撞后，计算所述虚拟角色足部与所述虚拟场景地面的高度差；根据所述高度差将所述虚拟角色平移到所述虚拟场景地面，并对之后所有的所述追踪数据都加上所述高度差。

6、进一步地，所述方法还包括：通过一欧元滤波算法消除所述人物骨骼数据的数据抖动。

7、进一步地，所述所述将人物骨骼关节与虚拟环境结合包括：从所述虚拟角色足部发射射线，获取所述虚拟场景地面的位置和朝向，当所述虚拟角色足部追踪点离地距离小于第一阈值时，采用ik算法进行调整。

8、进一步地，所述采用ik算法进行调整包括：根据所述虚拟场景地面的位置和朝向，调整所述虚拟角色的位置和朝向；对所述虚拟角色的关节采用所述追踪数据，并通过ik算法获取所述虚拟角色大腿根部关节和膝关节的旋转角度，并驱动所述虚拟角色的骨骼进行调整。

9、本申请的一些实施例还提供了一种基于双目立体相机的多人动捕系统，所述系统包括：坐标系标定模块，用于通过多台双目立体相机，从不同角度拍摄深度图片，根据所述双目立体相机的倾斜角数据和所述深度图片，对所述双目立体相机的坐标系进行标定，得到所述双目立体相机坐标数据的配置文件；

10、骨骼校准模块，用于根据所述配置文件，计算得到所述深度图片中的人物骨骼数据，将所述人物骨骼数据统一重置到所述双目立体相机的坐标系下，再将与所述双目立体相机获取到的捕捉数据融合，得到人物骨骼关节的追踪数据；虚拟场景模块，用于根据所述追踪数据，将人物骨骼关节与虚拟环境结合，得到虚拟环境中人物动作捕捉画面。

11、本申请的一些实施例还提供了一种基于双目立体相机的多人动捕设备，所述设备包括：一个或多个处理器；以及存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行如上所述的方法。

12、本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现所述的基于双目立体相机的多人动捕方法。

13、相较于现有技术，本申请实施例提供的方案中，基于双目立体相机的多人动捕方法利用多台双目立体相机从不同角度拍摄深度图片，实现对多人姿态的多角度捕捉；基于双目立体相机的倾斜角数据和深度图片，采用图像识别的ai算法，进行坐标系标定，通过此标定，获得了精确的双目立体相机坐标数据的配置文件；利用配置文件，计算出深度图片中的人物骨骼数据，这些数据根据标定后的坐标系进行重置，确保了数据的统一性和一致性；通过将各个双目立体相机获取到的捕捉数据融合，得到更精准的人物骨骼关节追踪数据；利用追踪数据，将人物骨骼关节与虚拟环境进行结合，通过ik算法调整姿态，使得虚拟环境中的人物动作捕捉画面更为真实和流畅。

14、总体而言，与传统的红外光学或惯性动作捕捉系统相比，本方案具有成本低、部署简单的优势。而与基于机器视觉的ai动作捕捉方法相比，本方案在保持成本效益的同时，通过数据融合和坐标系标定等步骤，解决了数据抖动和追踪精度不足的问题，适用于虚拟现实等领域的应用需求。这种创新的多人动作捕捉方法为动画、游戏、虚拟现实等领域带来了更高效、准确和具有可扩展性的解决方案。

技术特征：

1.一种基于双目立体相机的多人动捕方法，其特征在于，所述方法包括：

2.根据权利要求1所述动捕方法，其特征在于，所述对所述双目立体相机的坐标系进行标定包括：

3.根据权利要求1所述动捕方法，其特征在于，所述计算得到所述深度图片中的人物骨骼数据包括：

4.根据权利要求1-3任意一项所述动捕方法，其特征在于，所述将人物骨骼关节与虚拟环境结合包括：

5.根据权利要求1-3任意一项所述动捕方法，其特征在于，所述方法还包括：通过一欧元滤波算法消除所述人物骨骼数据的数据抖动。

6.根据权利要求4所述动捕方法，其特征在于，所述所述将人物骨骼关节与虚拟环境结合包括：

7.根据权利要求6所述动捕方法，其特征在于，所述采用ik算法进行调整包括：

8.一种基于双目立体相机的多人动捕系统，其特征在于，所述系统包括：

9.一种基于双目立体相机的多人动捕设备，其特征在于，所述设备包括：

10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1-7任意一项所述的方法。

技术总结
本申请提供了一种基于双目立体相机的多人动捕方法、系统、设备及介质，方法包括通过多台双目立体相机，从不同角度拍摄深度图片，根据所述双目立体相机的倾斜角数据和所述深度图片，对所述双目立体相机的坐标系进行标定，得到所述双目立体相机坐标数据的配置文件；根据所述配置文件，计算得到所述深度图片中的人物骨骼数据，将所述人物骨骼数据统一重置到所述双目立体相机的坐标系下，再将与所述双目立体相机获取到的捕捉数据融合，得到人物骨骼关节的追踪数据；根据所述追踪数据，将人物骨骼关节与虚拟环境结合，得到虚拟环境中人物动作捕捉画面。

技术研发人员：周清会,于丽莎,汤代理,师国超,张建国
受保护的技术使用者：上海曼恒数字技术股份有限公司
技术研发日：
技术公布日：2024/1/15