一种基于动作捕捉系统驱动数字人的干涉约束系统及方法与流程

本发明涉及虚拟现实，具体地，涉及一种基于动作捕捉系统驱动数字人的干涉约束系统及方法。

背景技术：

1、现有动作捕捉系统因捕捉人体动作技术，在娱乐、影视、科技研究等领域广泛应用。目前的动作捕捉系统采用实时采集真实运动对象的关节部位的数据来进行解算。并驱动虚拟对象的实时运动。在航天领域，空间站的设计师引入动作捕捉系统，驱动数字宇航员，模拟在虚拟空间中进行维修性设计验证，对空间站的结构布局、实验因素的可观、可达、可操作性等特点进行验证。

2、以基于动作捕捉系统的空间站虚拟现实维修性设计验证为例，真实的人在一个空旷的区域中佩戴vr头盔，vr头盔中会模拟虚拟空间站中的舱内刚体特征的环境。在结合不同厂商的动作捕捉系统时，系统只是在推送动作捕捉实时采集的真实人体的数据，虚拟现实的应用系统指定网络客户端实时接受动作捕捉数据并传递到数字人身上，但在进行模拟舱内实验时，因真实人在一个空旷区域，动作和行为不受约束，从而导致舱内的数字人与舱内的环境发生穿插等影响。

3、当动作捕捉系统在驱动数字人的过程中，数字人与虚拟环境发生干涉情况时，需要解决两个关键状态的更新问题，第一个是设定停止状态，停止即是当数字人与虚拟环境一旦发生干涉时，要断开相关干涉关节的动作捕捉数据。第二个状态是恢复状态，恢复状态是需要设定数字人在停止关节接收数据后恢复动作捕捉的采集的实时数据。在目前的动作捕捉系统与游戏引擎的结合下，无法直接通过内置引擎的物理模块和动作捕捉系统的结合实现数字人停止到恢复的状态切换。产生干涉后停止的数字人部位，没有运动的数据来源，无法再次与虚拟环境进行交互。如何判断真实人的运动关节的数据在虚拟空间映射中已经实现干涉脱离，让数字人的干涉部位实现运动数据的恢复的问题在本专利中提出了解决途径。

4、为了解决数字人在虚拟场景中碰撞检测时与动作捕捉系统传递的数据动态解耦，实现停止在虚拟现实系统的数字人关节，也能感知外部的真实人已经将其脱离虚拟场景中干涉的区域，数字人能够重新恢复与动捕系统的数据连接，并且继续在虚拟现实场景下运动。

5、本发明实现了一种基于动作捕捉系统驱动数字人的干涉约束办法，解决了动作捕捉系统在驱动数字人完成虚拟现实场景下进行仿真业务时，虚拟仿真系统在不停止接收动作捕捉数据的情况，数字人依然实时感知碰撞干涉情况，无论人的位置，行为在真实世界的多么行动自如，而受驱动的数字人依然能在虚拟环境中动态碰撞检测，受到虚拟现实系统环境中的空间位置和动作约束。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于动作捕捉系统驱动数字人的干涉约束系统，包括虚拟环境检测盒模组，数字人碰撞检测盒模组，碰撞检测管理模块、动作捕捉数据传输管理模块，数字人运动位姿管理模块；其中：

2、所述动作捕捉系统产生动作捕捉数据；所述动作捕捉数据实时驱动数字人和隐身数字人副本发生运动；

3、所述隐身数字人副本是在虚拟仿真系统中的动作捕捉系统的驱动数字人的副本，用于代替数字人与虚拟仿真环境进行碰撞检测；当隐身数字人副本在虚拟环境运动过程中，会与虚拟环境的刚性物体发生碰撞；

4、所述虚拟环境碰撞检测盒模组为在虚拟仿真系统开发过程中，需要对搭建的三维虚拟仿真环境模型中有具备刚体特性的，添加能够覆盖模型的碰撞检测盒；当虚拟环境的碰撞检测盒子与绑定运动的数字人身上的碰撞盒发生接触时，触发碰撞事件，所述碰撞检测管理模块进行处理碰撞结果；

5、所述动作捕捉数据传输管理模块是虚拟仿真系统在基于与动作捕捉系统的传输协议，接收动作捕捉系统传输过来的人体姿态信息数据包，实时转换形成符合数字人关节点的空间位移和旋转信息，并将转换后的数据分发到数字人的运动位姿管理模块；

6、所述碰撞检测管理模块用于对碰撞检测管理，所述碰撞检测管理包括数字人碰撞检测盒模组与虚拟环境碰撞检测盒模组之间进行碰撞检测接触管理和碰撞检测脱离管理；

7、当碰撞检测接触时，碰撞检测管理模块对数字人碰撞检测模组中触发碰撞的关节部位记录，并传递到动作捕捉数据传输管理模块，动作捕捉数据传输管理模块屏蔽接收对应数字人的运动关节部位的动作捕捉数据；同时，碰撞检测管理模块也会将停止的关节部位消息发送给数字人运动位姿管理模块，数字人运动位姿管理模块对关节的位姿信息进行处理，产生碰撞接触的关节组的空间坐标数据暂停接收数据，数字人全局位移坐标暂停接收；

8、当碰撞脱离发生时，碰撞检测管理模块会对数字人碰撞检测模组中触发碰撞脱离的关节部位记录，并传递到动作捕捉数据传输管理模块，动作捕捉数据传输管理模块会继续接收对应数字人的运动关节部位的动作捕捉数据；同时，碰撞检测管理模块将碰撞脱离的关节部位消息发送给数字人运动位姿管理模块，数字人运动位姿管理模块对关节的位姿信息进行运动处理，产生碰撞接触的关节组的空间坐标数据继续接收数据，数字人的全局位移坐标继续接收。

9、优选地，所述虚拟环境碰撞检测盒模组为在虚拟仿真系统开发过程中，需要对搭建的三维虚拟仿真环境模型中有具备刚体特性的，添加能够覆盖模型的碰撞检测盒；当虚拟环境的碰撞检测盒子与绑定运动的数字人身上的碰撞盒发生接触时，触发碰撞事件，所述碰撞检测管理模块进行处理碰撞结果；

10、所述虚拟环境碰撞检测盒模组的检测盒的形状包括正方体、长方体、胶囊、球体、圆柱，检测盒没有材质表现，在系统运行过程中不显示这类辅助碰撞检测的检测盒。

11、优选地，所述数字人碰撞检测盒模组是在隐身数字人副本的各个骨骼关节处添加矩形碰撞盒，数字人碰撞检测盒是隐身数字人副本在与三维虚拟仿真环境中刚体碰撞盒发生接触的检测体；

12、所述数字人碰撞检测盒模组的碰撞盒的大小根据数字人的添加部位的体积大小设定，辅助数字人进行检测的碰撞盒覆盖数字人全身，并保持各个部位的高度匹配。

13、优选地，所述数字人运动位姿管理模块接收所述动作捕捉数据传输管理模块数据后，进行动作捕捉数据的传递、隐身数字人副本的约束关节组规划以及运动位姿碰撞检测反馈；所述数字人运动位姿管理模块进行动作捕捉数据的传递包括：传递链路有两条，一条是通过传递并赋值到数字人身上绑定的21个骨骼关节，第二条是通过传递并赋值到隐身数字人副本身上绑定的21个骨骼关节。

14、优选地，所述数字人运动位姿管理模块进行隐身数字人副本的约束关节组规划包括：隐身数字人副本在替数字人检测碰撞情况时，对数字人的碰撞区域规划，碰撞区域关联的关节部分进行记录。

15、优选地，所述数字人运动位姿管理模块进行运动位姿碰撞检测反馈包括：运动位姿管理模块与碰撞检测管理模块时刻建立联系，碰撞检测反馈碰撞信息到运动位姿管理模块，运动位姿管理模块将数字人涉及到碰撞区域关节位姿数据停止赋值，并停止赋值数字人全局的位置信息；隐身数字人副本依然在实时接收动作捕捉系统的数据，当隐身数字人副本离开碰撞检测区域，碰撞检测管理模块再次将脱离碰撞信息反馈到运动位姿管理模块，运动位姿管理模块继续实时赋值位姿信息到数字人各个运动关节处。

16、本发明还提供了一种采用基于动作捕捉系统驱动数字人的干涉约束系统的干涉约束方法，其特征在于，

17、步骤1，构建虚拟环境碰撞检测盒模组；

18、步骤2，构建隐身数字人副本，对于虚拟仿真系统中的数字人模型创建副本；

19、步骤3，创建动作捕捉数据传输管理模块；

20、步骤4，设计碰撞检测管理模块；将隐身数字人副本辅助检测盒的载体对象按照body_+数字的形式进行命名，数字规则分别对应隐身数字人副本关节的各个碰撞检测盒；碰撞检测处理依据隐身数字人副本身上绑定的检测碰撞盒检测，检测干涉结果；

21、步骤5，将检测干涉的反馈信息处理构建数字人的运动位姿管理模块，数字人的运动位姿管理是碰撞检测的关节干涉碰撞盒对照将数字人对应关联的关节，整体和局部判定限制方法介入，判定条件生效，关联的关节位姿动作捕捉数据停止接收，整体位移数据停止接收。

22、优选地，步骤1中，在进行虚拟仿真系统开发的引擎中，搭建三维场景模型搭建完备的情况下，对所有需要可能发生检测的刚体对象，添加碰撞检测盒，添加时应当精准覆盖模型，保持高度的贴合，目的是实现精准碰撞检测。

23、优选地，步骤2中，隐身数字人副本创建过程中，保持与数字人所有体型参数一致，移除副本的模型材质和贴图蒙皮等属性，保持与数字人骨骼一致；在构建隐身数字人副本时，根据隐身数字人副本各个关节添加碰撞检测盒，添加碰撞检测盒要求时，所有添加的检测碰撞盒要覆盖并贴合数字人的全身。

24、优选地，步骤3中，动作捕捉系统的数据接收方式以实际的动作捕捉系统的数据传输协议来创建接收类，将接收的数据包转化成标准的三维数字人的骨骼关节驱动数据组，分别有空间旋转和坐标的向量数组；对数字人的骨骼关节的位移和旋转值实时赋值，加入判定条件，判定接收来源碰撞检测管理模块，将数字人的旋转值接收赋值均加入判定，对于位移值的赋值判定，依据人体的关节特点，规划整体和局部判定限制，整体判定限制是在干涉情况下，均限制接收整体移动，局部判定限制划分为左手关联限制，左肘关联限制，右手关联限制，右肘关联限制，头部关联限制，胸部关联限制，左脚关联限制，左膝关联限制，右脚关联限制；关联限制在关联部位的碰撞检测下，移动数据被限制接收。

25、与现有技术相比，本发明具有如下的有益效果：

26、本发明基于动作捕捉系统驱动的数字人能够在三维的虚拟环境有效进行碰撞检测，进行毫米级的干涉约束，数字人的动作不因真实人的动作位姿、位置的影响而对虚拟环境中刚体对象产生穿透，干涉现象。在约束数字人的的动作信息时不是直接断开数字人关节的所有位姿数据，而是精确定位到数字人涉及的碰撞接触关节。这类精准的数字人仿真干涉约束对虚拟仿真场景中空间规划验证，工业设备、狭小空间的维修性验证等方向有重要意义。

27、在相关类似解决方案的系统建设上，具备通用型强，复用程度高，干涉约束精准等特点。同时这种方法在开发过程中不必考虑动作捕捉系统的类型，因不与动作捕捉系统进行双向通信，只需要单向获取动作捕捉系统实时传递的人体位姿数据包，这种方法与动作捕捉系统实现了解耦。