一种角色运动状态预测方法、终端设备及存储介质

本发明涉及动作生成领域，尤其涉及一种角色运动状态预测方法、终端设备及存储介质。

背景技术：

1、虽然大量动作捕捉数据的获取已经较为容易，但是实时数据驱动的可交互的虚拟角色运动生成依旧是一个具有挑战的任务。这是因为实时的任务需要更少的内存和更快的速度，并且能够处理大量的不需要预处理的运动数据，最重要的是虚拟角色运动与环境交互的真实感。尽管现在已有许多工作能够满足部分要求，但是整体仍然难以满足实际使用需求。

2、使用深度学习技术在运动生成领域取得了喜人的进展，但与环境更好的交互仍然是一个未解决的问题，因为模型需要更高层次的环境场景理解和流畅的复杂运动切换，才能够适应三维人体的运动。

技术实现思路

1、为了解决上述问题，本发明提出了一种角色运动状态预测方法、终端设备及存储介质。

2、具体方案如下：

3、一种角色运动状态预测方法，包括以下步骤：

4、s1：采集一段历史时间内的运动状态数据组成动作序列，其中，运动状态数据由角色信息、轨迹信息、目标信息、交互信息和环境信息五个维度的数据组成；

5、s2：构建运动状态预测模型，将当前帧的运动状态数据输入模型后，对运动状态数据中不同维度的数据采用对应的特征编码方式进行编码，并将编码后的所有维度的特征拼接后得到当前帧的特征，将当前帧的特征更新至特征队列后，输入time-transfor网络得到最终特征；将最终特征输入双层mlp模块得到下一帧的预测运动状态数据；通过采集的动作序列对模型进行训练，得到训练后的模型；

6、s3：通过训练后的模型进行运动状态预测。

7、进一步的，角色信息由角色的骨骼位置、骨骼旋转角度和骨骼的速度组成；轨迹信息由轨迹坐标和轨迹朝向的角度组成；目标信息由角色运动到目标的位置、角色运动到目标的角度和角色运动到目标的运动类型组成。

8、进一步的，交互信息的采集方式为：

9、对与角色交互的目标物体建立包围其的最小的感知立方体，并将感知立方体在长宽高方向进行分割，得到多个小立方体，将每个小立方体作为一个采样立方体；

10、根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值；

11、基于所有采样立方体的交互信息的值，得到角色对应的交互信息的值。

12、进一步的，根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值的方法为：当采样立方体的中心点处于目标物体内部时，该采样立方体的交互信息的值设为1；当采样立方体内不存在目标物体时，该采样立方体的交互信息的值设为0；其他情况下根据采样立方体的中心点与目标物体的最短距离d和采样立方体的边长a计算该采样立方体的交互信息的值iijl：

13、进一步的，环境信息的采集方式为：

14、建立包围角色周围环境的感知立方体，并将感知立方体在长宽高方向进行分割，得到多个小立方体，将每个小立方体作为一个采样立方体；

15、根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的环境信息的值；

16、基于所有采样立方体的环境信息的值，得到角色对应的环境信息的值。

17、进一步的，角色信息采用skeleton-transformer网络进行编码；轨迹信息和目标信息采用线性卷积方式在时间维度上进行三次一维卷积运算获得。

18、进一步的，交互信息和环境信息的编码均采用3次三维卷积运算获得。

19、进一步的，步骤s3在进行运动状态预测时，角色信息中的骨骼位置采用模型根据前一时刻的运动状态数据输出的预测骨骼位置与根据前一时刻的运动状态数据中的骨骼的速度与预测时间间隔的乘积的平均值。

20、一种角色运动状态预测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

21、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

22、本发明采用如上技术方案，通过更加符合的多类型编码器，能够更好的学习不同类型的输入特征；利用transformer模型能够比之前的模型获得更好的预测结果，能够生成更加自然和稳定的动作。

技术特征：

1.一种角色运动状态预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的角色运动状态预测方法，其特征在于：角色信息由角色的骨骼位置、骨骼旋转角度和骨骼的速度组成；轨迹信息由轨迹坐标和轨迹朝向的角度组成；目标信息由角色运动到目标的位置、角色运动到目标的角度和角色运动到目标的运动类型组成。

3.根据权利要求1所述的角色运动状态预测方法，其特征在于：交互信息的采集方式为：

4.根据权利要求3所述的角色运动状态预测方法，其特征在于：根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值的方法为：当采样立方体的中心点处于目标物体内部时，该采样立方体的交互信息的值设为1；当采样立方体内不存在目标物体时，该采样立方体的交互信息的值设为0；其他情况下根据采样立方体的中心点与目标物体的最短距离d和采样立方体的边长a计算该采样立方体的交互信息的值iijl：

5.根据权利要求1所述的角色运动状态预测方法，其特征在于：环境信息的采集方式为：

6.根据权利要求1所述的角色运动状态预测方法，其特征在于：角色信息采用skeleton-transformer网络进行编码；轨迹信息和目标信息采用线性卷积方式在时间维度上进行三次一维卷积运算获得。

7.根据权利要求1所述的角色运动状态预测方法，其特征在于：交互信息和环境信息的编码均采用3次三维卷积运算获得。

8.根据权利要求1所述的角色运动状态预测方法，其特征在于：步骤s3在进行运动状态预测时，角色信息中的骨骼位置采用模型根据前一时刻的运动状态数据输出的预测骨骼位置与根据前一时刻的运动状态数据中的骨骼的速度与预测时间间隔的乘积的平均值。

9.一种角色运动状态预测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。

技术总结
本发明涉及一种角色运动状态预测方法、终端设备及存储介质，该方法中包括：构建运动状态预测模型，将当前帧的运动状态数据输入模型后，对运动状态数据中不同维度的数据采用对应的特征编码方式进行编码，并将编码后的所有维度的特征拼接后得到当前帧的特征，将当前帧的特征更新至特征队列后，输入Time‑Transfor网络得到最终特征；将最终特征输入双层MLP模块得到下一帧的预测运动状态数据；通过采集的动作序列对模型进行训练；通过训练后的模型进行运动状态预测。本发明能够更好的学习不同类型的输入特征，能够获得更好的预测结果，能够生成更加自然和稳定的动作。

技术研发人员：余炬波,郭诗辉
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/1/12