一种语音情感识别的方法、装置、存储介质及电子设备与流程

本说明书涉及人工智能领域，尤其涉及一种语音情感识别的方法、装置、存储介质及电子设备。

背景技术：

1、随着人工智能的发展，人工智能应用于各个领域，当利用人工智能技术执行与用户需求相关的任务时，会涉及对用户情感的识别，以更好的满足用户需求。通过用户的语音识别用户情感时，通常利用神经网络获取用户语音中的特征，再通过分类器及用户语音中的特征获取用户情感结果，但这样得到的用户情感结果的准确性较低，并且无法能获取用户语音中的局部情感表达。

2、基于此，本说明书提供一种语音情感识别的方法。

技术实现思路

1、本说明书提供一种语音情感识别的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种语音情感识别的方法，包括：

4、获取目标语音；

5、从所述目标语音中选取若干个预设长度的语音片段；

6、针对每个语音片段，将该语音片段输入预先训练的情感预测模型，以根据所述情感预测模型，获取与该语音片段对应的局部情感预测结果；并，将所述目标语音输入所述情感预测模型，以根据所述情感预测模型，获取所述目标语音的全局情感预测结果；

7、将所述全局情感预测结果与至少一个局部情感预测结果进行融合，得到优化后的全局情感预测结果；

8、根据所述优化后的全局情感预测结果，确定所述目标语音的最终情感预测结果。

9、可选地，所述局部情感预测结果包括所述语音片段分别属于每种情感类型的概率；

10、将所述全局情感预测结果与至少一个局部情感预测结果进行融合，具体包括：

11、将所述目标语音分别属于每种情感类型的概率作为全局概率，将所述语音片段分别属于每种情感类型的概率作为局部概率；

12、针对每种情感类型，在至少一个局部情感预测结果的局部概率中，确定该情感类型的局部概率的最大值，作为该情感类型的局部融合概率；

13、针对每种情感类型，根据预设融合权重及该情感类型的局部融合概率，将该情感类型的全局概率与该情感类型的局部融合概率进行加权。

14、可选地，针对每个局部情感预测结果，根据所述优化后的全局情感预测结果，优化该局部情感预测结果，得到优化后的局部情感预测结果；

15、根据所述优化后的全局情感预测结果及优化后的局部情感预测结果，确定所述目标语音的最终情感预测结果。

16、可选地，所述全局情感预测结果包括所述目标语音分别属于每种情感类型的概率；

17、所述局部情感预测结果包括所述语音片段分别属于每种情感类型的概率；

18、根据所述优化后的全局情感预测结果，优化该局部情感预测结果，具体包括：

19、针对所述优化后的全局情感预测结果，将所述目标语音分别属于每种情感类型的概率作为优化后的全局概率，将所述语音片段分别属于每种情感类型的概率作为局部概率；

20、针对每种情感类型，根据预设权重将该情感类型的优化后的全局概率和该局部情感预测结果中该情感类型的局部概率进行加权，得到该局部情感预测结果中优化后的该情感类型的局部概率；

21、根据该局部情感预测结果中优化后的每种情感类型的局部概率，获得优化后的该局部情感预测结果。

22、可选地，将所述目标语音分别属于每种情感类型的概率作为全局概率，将所述语音片段分别属于每种情感类型的概率作为局部概率；

23、在优化后的全局情感预测结果中，选取全局概率最大值对应的情感类型，作为所述目标语音的最终情感第一预测结果；

24、针对每个优化后的局部预测结果，选取局部概率最大值对应的情感类型，作为所述目标语音的最终情感第二预测结果；

25、根据所述目标语音的最终情感第一预测结果及所述目标语音的最终情感第二预测结果，确定所述目标语音的最终情感预测结果。

26、可选地，训练所述情感预测模型，具体包括：

27、获取样本语音以及所述样本语音的情感标注；

28、将所述样本语音输入情感预测模型，以根据所述情感预测模型，确定所述样本的情感预测结果；

29、确定所述情感预测结果及与所述样本语音对应的情感标注的差异；

30、根据所述差异，对所述情感预测模型进行训练。

31、本说明书提供了一种语音情感识别的装置，包括：

32、目标语音获取模块，用于获取目标语音；

33、语音片段获取模块，用于从所述目标语音中选取若干个预设长度的语音片段；

34、预测结果获取模块，用于针对每个语音片段，将该语音片段输入预先训练的情感预测模型，以根据所述情感预测模型，获取与该语音片段对应的局部情感预测结果；并，将所述目标语音输入所述情感预测模型，以根据所述情感预测模型，获取所述目标语音的全局情感预测结果；

35、优化模块，用于将所述全局情感预测结果与至少一个局部情感预测结果进行融合，得到优化后的全局情感预测结果；

36、最终结果确定模块，用于根据所述优化后的全局情感预测结果，确定所述目标语音的最终情感预测结果。

37、可选地，所述优化模块具体用于，所述全局情感预测结果包括所述目标语音分别属于每种情感类型的概率；所述局部情感预测结果包括所述语音片段分别属于每种情感类型的概率；所述优化模块具体用于，将所述目标语音分别属于每种情感类型的概率作为全局概率，将所述语音片段分别属于每种情感类型的概率作为局部概率；针对每种情感类型，在至少一个局部情感预测结果的局部概率中，确定该情感类型的局部概率的最大值，作为该情感类型的局部融合概率；针对每种情感类型，根据预设融合权重及该情感类型的局部融合概率，将该情感类型的全局概率与该情感类型的局部融合概率进行加权。

38、可选地，所述最终结果确定模块具体用于，针对每个局部情感预测结果，根据所述优化后的全局情感预测结果，优化该局部情感预测结果，得到优化后的局部情感预测结果；根据所述优化后的全局情感预测结果及优化后的局部情感预测结果，确定所述目标语音的最终情感预测结果。

39、可选地，所述全局情感预测结果包括所述目标语音分别属于每种情感类型的概率；所述局部情感预测结果包括所述语音片段分别属于每种情感类型的概率；所述最终结果确定模块具体用于，根据所述优化后的全局情感预测结果，优化该局部情感预测结果，具体包括：针对所述优化后的全局情感预测结果，将所述目标语音分别属于每种情感类型的概率作为优化后的全局概率，将所述语音片段分别属于每种情感类型的概率作为局部概率；针对每种情感类型，根据预设权重将该情感类型的优化后的全局概率和该局部情感预测结果中该情感类型的局部概率进行加权，得到该局部情感预测结果中优化后的该情感类型的局部概率；根据该局部情感预测结果中优化后的每种情感类型的局部概率，获得优化后的该局部情感预测结果。

40、可选地，所述最终结果确定模块具体用于，将所述目标语音分别属于每种情感类型的概率作为全局概率，将所述语音片段分别属于每种情感类型的概率作为局部概率；在优化后的全局情感预测结果中，选取全局概率最大值对应的情感类型，作为所述目标语音的最终情感第一预测结果；针对每个优化后的局部预测结果，选取局部概率最大值对应的情感类型，作为所述目标语音的最终情感第二预测结果；根据所述目标语音的最终情感第一预测结果及所述目标语音的最终情感第二预测结果，确定所述目标语音的最终情感预测结果。

41、可选地，所述装置还包括：

42、模型训练模块，用于获取样本语音以及所述样本语音的情感标注；将所述样本语音输入情感预测模型，以根据所述情感预测模型，确定所述样本的情感预测结果；确定所述情感预测结果及与所述样本语音对应的情感标注的差异；根据所述差异，对所述情感预测模型进行训练。

43、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述语音情感识别的方法。

44、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述语音情感识别的方法。

45、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

46、从本说明书提供的一种语音情感识别的方法中可以看出，本方法通过情感预测模型可输出局部情感预测结果，并且，由于目标语音的若干个局部情感预测结果会对该目标语音的全局情感预测结果产生一定的影响，因此，通过将全局情感预测结果与局部情感预测结果进行融合，以优化全局情感预测结果，提高最终情感预测结果的准确率。