虚拟对象动作生成方法、装置、计算机设备和存储介质与流程

本申请涉及计算机，特别是涉及一种虚拟对象动作生成方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着计算机技术的发展，出现了文本驱动虚拟对象动作生成技术，该技术可以利用一段对虚拟对象进行描述的运动描述信息来生成虚拟对象动作。

2、传统技术中，通常采用的虚拟对象动作生成方式为，将动作描述信息作为控制信号输入生成式模型(如生成式对抗网络、变分自编码器、扩散模型等)，以通过生成式模型将动作描述信息直接映射为虚拟对象动作。

3、然而，传统方法由于生成式模型对文本到虚拟对象动作的直接映射学习困难，存在所生成的虚拟对象动作不准确的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高所生成的虚拟对象动作的准确度的虚拟对象动作生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种虚拟对象动作生成方法。所述方法包括：

3、获取用于描述虚拟对象动作的动作描述信息；

4、对动作描述信息进行文本特征提取，得到动作描述文本特征，并获取用于生成虚拟对象动作的采样噪声信号；

5、基于动作描述文本特征，对采样噪声信号进行首层级的降噪处理，得到首层级输出的动作特征向量；

6、在首层级之后的每一层级，基于动作描述文本特征和前一层级输出的动作特征向量，对采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每层级的降噪处理输出的动作特征向量的粒度级，随着层级数的增加逐渐减小；

7、对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。

8、第二方面，本申请还提供了一种虚拟对象动作生成装置。所述装置包括：

9、描述信息获取模块，用于获取用于描述虚拟对象动作的动作描述信息；

10、特征提取模块，用于对动作描述信息进行文本特征提取，得到动作描述文本特征，并获取用于生成虚拟对象动作的采样噪声信号；

11、第一降噪处理模块，用于基于动作描述文本特征，对采样噪声信号进行首层级的降噪处理，得到首层级输出的动作特征向量；

12、第二降噪处理模块，用于在首层级之后的每一层级，基于动作描述文本特征和前一层级输出的动作特征向量，对采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每层级的降噪处理输出的动作特征向量的粒度级，随着层级数的增加逐渐减小；

13、解码模块，用于对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。

14、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

15、获取用于描述虚拟对象动作的动作描述信息；

16、对动作描述信息进行文本特征提取，得到动作描述文本特征，并获取用于生成虚拟对象动作的采样噪声信号；

17、基于动作描述文本特征，对采样噪声信号进行首层级的降噪处理，得到首层级输出的动作特征向量；

18、在首层级之后的每一层级，基于动作描述文本特征和前一层级输出的动作特征向量，对采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每层级的降噪处理输出的动作特征向量的粒度级，随着层级数的增加逐渐减小；

19、对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。

20、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

21、获取用于描述虚拟对象动作的动作描述信息；

22、对动作描述信息进行文本特征提取，得到动作描述文本特征，并获取用于生成虚拟对象动作的采样噪声信号；

23、基于动作描述文本特征，对采样噪声信号进行首层级的降噪处理，得到首层级输出的动作特征向量；

24、在首层级之后的每一层级，基于动作描述文本特征和前一层级输出的动作特征向量，对采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每层级的降噪处理输出的动作特征向量的粒度级，随着层级数的增加逐渐减小；

25、对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。

26、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

27、获取用于描述虚拟对象动作的动作描述信息；

28、对动作描述信息进行文本特征提取，得到动作描述文本特征，并获取用于生成虚拟对象动作的采样噪声信号；

29、基于动作描述文本特征，对采样噪声信号进行首层级的降噪处理，得到首层级输出的动作特征向量；

30、在首层级之后的每一层级，基于动作描述文本特征和前一层级输出的动作特征向量，对采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每层级的降噪处理输出的动作特征向量的粒度级，随着层级数的增加逐渐减小；

31、对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。

32、上述虚拟对象动作生成方法、装置、计算机设备、存储介质和计算机程序产品，获取用于描述虚拟对象动作的动作描述信息，对动作描述信息进行文本特征提取，得到动作描述文本特征，并获取用于动作生成的采样噪声信号，基于动作描述文本特征，对采样噪声信号进行首层级的降噪处理，能够得到首层级输出的粗粒度的动作特征向量，在首层级之后的每一层级，以动作描述文本特征和上一层级输出的粗粒度的动作特征向量作为联合条件，对采样噪声信号进行降噪处理，能够在第一粒度动作特征向量的基础上逐渐丰富细粒度的动作细节，得到更细粒度的、准确表征虚拟对象动作的级联降噪后的动作特征向量，进而可以通过对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。整个过程，能够通过渐进式的多阶段粒度细化生成虚拟对象动作来提高所生成的虚拟对象动作的准确度。

技术特征：

1.一种虚拟对象动作生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述动作描述文本特征，对所述采样噪声信号进行首层级的降噪处理，得到所述首层级输出的动作特征向量包括：

3.根据权利要求2所述的方法，其特征在于，针对于所述多步加噪中的每一步，对所针对的加噪步输入的噪声信号进行的降噪处理的步骤包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述降噪条件特征，对所述所针对的加噪步输入的噪声信号进行降噪处理得到降噪信号包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，所述虚拟对象动作是通过预训练的动作推理模型确定的，所述动作推理模型包括级联降噪网络和解码器；所述级联降噪网络用于进行每一层级的所述降噪处理，得到所述级联降噪后的动作特征向量；所述解码器用于对所述级联降噪后的动作特征向量进行解码，得到所述虚拟对象动作。

6.根据权利要求5所述的方法，其特征在于，所述级联降噪网络通过训练步骤得到，所述训练步骤包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所针对的训练样本中的样本描述信息和动作序列，对初始降噪网络进行训练，获得级联降噪网络包括：

8.根据权利要求7所述的方法，其特征在于，所述动作序列包括多个动作；所述多个动作中每一个动作包括多个虚拟对象关节点；所述对所述所针对的训练样本中的动作序列进行多尺度动作特征提取，获得多个尺度动作特征包括：

9.根据权利要求7所述的方法，其特征在于，所述基于所述样本文本特征和所述多个尺度动作特征，对所述初始降噪网络进行训练，得到级联降噪网络包括：

10.根据权利要求9所述的方法，其特征在于，所述分别对所述多个尺度动作特征进行编码，获得所述多个尺度动作特征各自相应的隐式动作表征包括：

11.根据权利要求9所述的方法，其特征在于，所述初始降噪网络包括级联的多个初始降噪器；所述多个初始降噪器的个数与所述多个尺度动作特征的个数相同，且每个初始降噪器分别与一个尺度动作特征相对应；

12.根据权利要求11所述的方法，其特征在于，所述基于所述样本文本特征和所针对的初始降噪器相对应的尺度动作特征相应的隐式动作表征，对所述所针对的初始降噪器进行训练，得到已训练降噪器包括：

13.根据权利要求12所述的方法，其特征在于，所述将所述噪声动作表征、所述加噪步数以及所述样本文本特征输入所针对的初始降噪器，通过所述所针对的初始降噪器对所添加的噪声进行预测，得到第二预测添加噪声包括：

14.根据权利要求12所述的方法，其特征在于，所述根据所述第二预测添加噪声对所述所针对的初始降噪器进行参数调整，得到已训练降噪器包括：

15.一种虚拟对象动作生成装置，其特征在于，所述装置包括：

16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的方法的步骤。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。

18.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。

技术总结
本申请涉及一种虚拟对象动作生成方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取用于描述虚拟对象动作的动作描述信息；对动作描述信息进行文本特征提取，得到动作描述文本特征，并获取用于生成虚拟对象动作的采样噪声信号；基于动作描述文本特征，对采样噪声信号进行首层级的降噪处理，得到首层级输出的动作特征向量；在首层级之后的每一层级，基于动作描述文本特征和前一层级输出的动作特征向量，对采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。采用本方法能够提高所生成的虚拟对象动作的准确度。

技术研发人员：伍洋,高学浩,孙钟前,杨巍,杨旸
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15