基于人工智能的数据处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质与流程

本技术涉及语音处理领域，尤其涉及一种基于人工智能的数据处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质。

背景技术：

1、人工智能（artificial intelligence，ai）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

2、相关技术中为了实现虚拟对象的面部表情驱动，需要提前制作好对应不同音素的表情基，然后将语音转换成相应的音素，并通过复杂的规则将不同的表情基联合成完整的动画，相关技术仅能够实现基于音素的面部表情驱动，并且联合表情基的过程较为复杂，面部表情驱动效率较低且驱动准确度较低。

技术实现思路

1、本技术实施例提供一种基于人工智能的数据处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质，能够提高针对虚拟对象模型的目标形象驱动效率以及驱动准确度。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供一种基于人工智能的数据处理方法，所述方法包括：

4、获取语音，并获取对应所述语音的情绪数据；

5、对所述语音进行第一语音内容特征提取处理，得到对应所述语音的第一语音内容特征，并对所述情绪数据进行情绪特征提取处理，得到对应所述语音的情绪特征；

6、对所述第一语音内容特征和所述情绪特征进行融合处理，得到对应所述语音的融合特征；

7、对所述融合特征进行动画参数映射处理，得到对应所述语音的控制器参数；

8、其中，所述控制器参数用于控制虚拟对象模型以目标形象进行呈现，所述目标形象与所述语音的内容以及所述情绪数据匹配。

9、本技术实施例提供一种基于人工智能的数据处理装置，包括：

10、获取模块，用于获取语音，并获取对应所述语音的情绪数据；

11、特征提取模块，用于对所述语音进行第一语音内容特征提取处理，得到对应所述语音的第一语音内容特征，并对所述情绪数据进行情绪特征提取处理，得到对应所述语音的情绪特征；

12、叠加处理模块，用于对所述第一语音内容特征和所述情绪特征进行融合处理，得到对应所述语音的融合特征；

13、映射处理模块，用于对所述融合特征进行动画参数映射处理，得到对应所述语音的控制器参数，其中，所述控制器参数用于控制虚拟对象模型以目标形象进行呈现，所述目标形象与所述语音的内容以及所述情绪数据匹配。

14、在上述方案中，所述获取模块，还用于执行以下处理中任意一种：获取对象输入的情绪数据；对所述语音进行第二语音内容特征提取处理，得到对应所述语音的第二语音内容特征，对所述第二语音内容特征进行情绪数据映射处理，得到对应所述语音的情绪数据。

15、在上述方案中，所述获取模块，还用于获取第一语音样本，并获取对应所述第一语音样本的情绪数据标签；通过初始化的情绪提取网络对所述第一语音样本进行第二语音内容特征提取处理，得到对应所述第一语音样本的第一样本语音内容特征；通过所述初始化的情绪提取网络对所述第一样本语音内容特征进行情绪数据映射处理，得到对应所述第一语音样本的预测情绪数据；基于对应所述第一语音样本的情绪数据标签和所述预测情绪数据，确定第一损失函数；基于所述第一损失函数，对所述初始化的情绪提取网络进行更新处理，得到经过训练的情绪提取网络。

16、在上述方案中，所述获取模块，还用于对所述第二语音内容特征进行全连接处理，得到第一线性映射结果；对所述第一线性映射结果进行最大似然处理，得到对应所述语音的情绪数据。

17、在上述方法中，所述特征提取模块，还用于获取训练样本以及所述训练样本的真实控制器参数，其中，所述训练样本包括第二语音样本以及对应所述第二语音样本的情绪数据样本；通过初始化的参数驱动模型执行以下处理：对所述第二语音样本进行第一语音内容特征提取处理，得到对应所述第二语音样本的第二样本语音内容特征，并对所述情绪数据样本进行情绪特征提取处理，得到对应所述第二语音样本的样本情绪特征；对所述第二样本语音内容特征和所述样本情绪特征进行融合处理，得到对应所述第二语音样本的样本融合特征；对所述样本融合特征进行动画参数映射处理，得到对应所述第二语音样本的预测控制器参数；基于所述预测控制器参数与所述真实控制器参数，确定第二损失函数，并基于所述第二损失函数对所述初始化的参数驱动模型进行更新处理，得到经过训练的参数驱动模型。

18、在上述方法中，所述特征提取模块，还用于从所述真实控制器参数中提取对应每个动画帧的真实控制参数；从所述预测控制器参数中提取对应每个所述动画帧的预测控制参数；针对每个所述动画帧执行以下处理：确定对应所述动画帧的真实控制参数与对应所述动画帧的预测控制参数之间的差值；对多个所述动画帧分别对应的差值进行融合处理，得到所述第二损失函数。

19、在上述方案中，所述映射处理模块，用于对所述融合特征进行基于注意力机制的前馈处理，得到对应所述语音的动画参数特征；对所述动画参数特征进行全连接处理，得到对应所述语音的控制器参数。

20、在上述方案中，所述映射处理模块，还用于通过n个级联的前馈网络中的第n前馈网络，对所述第n前馈网络的输入进行基于注意力机制的映射处理，得到第n映射结果，并将所述第n前馈网络输出的第n映射结果传输到第n+1前馈网络以继续进行基于注意力机制的映射处理，得到对应所述第n+1前馈网络的第n+1映射结果；将第n前馈网络输出的第n映射结果作为对应所述语音的所述动画参数特征；其中，n为取值从1开始递增的整数变量，n不小于1且小于n，当n取值为1时，所述第n前馈网络的输入为所述融合特征，当n取值不小于2且小于n时，所述第n前馈网络的输入为第n-1前馈网络输出的第n-1映射结果；所述基于注意力机制的前馈处理是通过注意力前馈网络实现的，所述注意力前馈网络包括n个级联的前馈网络，n是大于1的整数。

21、在上述方案中，当n取值不小于2且小于n时，所述映射处理模块，还用于对所述第n-1映射结果进行注意力处理，得到第n注意力特征；对所述第n-1映射结果和所述第n注意力特征进行相加处理，得到第n中间特征；对所述第n中间特征进行卷积处理，得到第n卷积特征；对所述第n卷积特征和所述第n中间特征进行相加处理，得到所述第n映射结果。

22、在上述方案中，所述映射处理模块，还用于获取每个所述注意力网络的查询矩阵、键矩阵以及值矩阵；通过每个所述注意力网络执行以下处理：基于所述注意力网络的查询矩阵、键矩阵以及值矩阵，对所述第n-1映射结果进行单头注意力处理，得到所述注意力网络对应的单头注意力结果；对多个所述注意力网络分别对应的单头注意力结果进行融合处理，得到所述第n注意力特征；所述第n前馈网络包括多个注意力网络。

23、本技术实施例提供一种电子设备，所述电子设备包括：

24、存储器，用于存储计算机可执行指令；

25、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本技术实施例提供的基于人工智能的数据处理方法。

26、本技术实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于被处理器执行时实现本技术实施例提供的基于人工智能的数据处理方法。

27、本技术实施例提供一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令被处理器执行时，实现本技术实施例提供的基于人工智能的数据处理方法。

28、本技术实施例具有以下有益效果：

29、通过获取语音，并获取对应语音的情绪数据，得到语音的内容和对应语音的情绪，对语音进行第一语音内容特征提取处理，得到对应语音的第一语音内容特征，用于对语音本身进行表征，并对情绪数据进行情绪特征提取处理，得到对应语音的情绪特征，用于对语音情绪进行表征，对语音内容特征和情绪特征进行融合处理，得到对应语音的融合特征，即同时可以表征语音本身特性以及情绪特性，并对融合特征进行动画参数映射处理，得到对应语音的控制器参数，控制器参数用于控制虚拟对象模型以目标形象进行呈现，目标形象与语音的内容以及情绪数据匹配，这里直接建立了特征到控制器参数的映射过程，从而可以直接得到用于驱动虚拟对象模型以目标形象进行呈现的控制器参数，提高驱动效率的同时，还从语音和情绪两个维度提高针对虚拟对象模型的目标形象的驱动效率。