情绪识别方法及装置、服务评价方法及装置与流程

1.本技术涉及数据处理技术领域，具体涉及一种情绪识别方法及装置、服务评价方法及装置。


背景技术：

2.相关情绪识别技术，通常依托大量的对话数据，深入分析多种对话场景的主要情绪类型及分布，再基于大数据和深度学习，主动学习词义以及词序关系，自动识别出当前会话所表现出的情绪类别及其对应的置信度。
3.然而，通过单一模态的对话数据，确定用户的情绪类别，会产生较大的判别误差，进而不能准确反映出用户的情绪状态。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术实施例提供了一种情绪识别方法及装置、服务评价方法及装置。
5.第一方面，本技术一实施例提供了一种情绪识别方法，包括：响应于情绪识别请求，确定情绪识别请求对应的目标用户的面部表情数据和音频数据；基于面部表情数据，确定目标用户的面部情绪数据；基于音频数据，确定目标用户的音频属性情绪数据、以及音频文本情绪数据；基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据，确定目标用户的实际情绪数据。
6.结合第一方面，在第一方面的某些实现方式中，基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据，确定目标用户的实际情绪数据，包括：确定目标用户对应的至少一种情绪影响因子、以及至少一种情绪影响因子各自的影响系数，其中，影响系数是基于情绪影响因子的参数值、以及参数值对应的调节系数确定的；基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪数据对应的面部情绪标签数据、音频属性情绪数据对应的音频属性情绪标签数据、音频文本情绪数据对应的音频文本情绪标签数据；基于面部情绪标签数据、音频属性情绪标签数据和音频文本情绪标签数据，确定目标用户的实际情绪数据。
7.结合第一方面，在第一方面的某些实现方式中，基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪数据对应的面部情绪标签数据、音频属性情绪数据对应的音频属性情绪标签数据、音频文本情绪数据对应的音频文本情绪标签数据，包括：基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别确定面部情绪数据、音频属性情绪数据以及音频文本情绪数据各自的影响系数融合数据；基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据各自的影响系数融合数据，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪标签数据、音频属性情绪
标签数据、以及音频文本情绪标签数据。
8.结合第一方面，在第一方面的某些实现方式中，基于面部情绪标签数据、音频属性情绪标签数据和音频文本情绪标签数据，确定目标用户的实际情绪数据，包括：基于至少一种情绪影响因子，利用功效系数法分别确定面部情绪标签数据对应的面部特征权重系数、音频属性情绪标签数据对应的音频属性特征权重系数、音频文本情绪标签数据对应的音频文本特征权重系数；基于面部特征权重系数对面部情绪标签数据进行加权处理，得到面部情绪加权数据；基于音频属性特征权重系数对音频属性情绪标签数据进行加权处理，得到音频属性情绪加权数据；基于音频文本特征权重系数对音频文本情绪标签数据进行加权处理，得到音频文本情绪加权数据；基于面部情绪加权数据、音频属性情绪加权数据和音频文本情绪加权数据，确定目标用户的实际情绪数据。
9.结合第一方面，在第一方面的某些实现方式中，基于面部情绪加权数据、音频属性情绪加权数据和音频文本情绪加权数据，确定目标用户的实际情绪数据，包括：分别确定面部情绪加权数据的后验概率、音频属性情绪加权数据的后验概率、以及音频文本情绪加权数据的后验概率；基于面部情绪加权数据和面部情绪加权数据的后验概率、音频属性情绪加权数据和音频属性情绪加权数据的后验概率、音频文本情绪加权数据和音频文本情绪加权数据的后验概率，利用序列最小优化算法，确定实际情绪数据。
10.第二方面，本技术一实施例提供了一种服务评价方法，包括：基于第一方面所述的方法，确定业务办理用户在办理业务时的实际情绪数据；基于实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果。
11.结合第二方面，在第二方面的某些实现方式中，基于实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果，包括：获取业务办理用户的基本信息、工作人员的专业度信息、以及业务的办理过程信息；基于基本信息、专业度信息和办理过程信息，确定业务办理用户的理论情绪数据；基于理论情绪数据和实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果。
12.结合第二方面，在第二方面的某些实现方式中，基于理论情绪数据和实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果，包括：若理论情绪数据和实际情绪数据的相对差值在预设偏差范围内，则基于实际情绪数据，生成服务评价结果；若理论情绪数据和实际情绪数据的相对差值不在预设偏差范围内，则确定实际情绪数据对应的加权平均情绪数据；基于加权平均情绪数据，确定服务评价结果。
13.第三方面，本技术一实施例提供了一种情绪识别装置，包括：第一确定模块，用于响应于情绪识别请求，确定情绪识别请求对应的目标用户的面部表情数据和音频数据；第二确定模块，用于基于面部表情数据，确定目标用户的面部情绪数据；第三确定模块，用于基于音频数据，确定目标用户的音频属性情绪数据、以及音频文本情绪数据；第四确定模块，用于基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据，确定目标用户的实际情绪数据。
14.第四方面，本技术一实施例提供了一种服务评价装置，包括：确定模块，用于基于第一方面所述的方法，确定业务办理用户在办理业务时的实际情绪数据；生成模块，用于基于实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果。
15.第五方面，本技术一实施例提供了一种计算机可读存储介质，该计算机可读存储
介质存储有计算机程序，该计算机程序用于执行第一方面和第二方面所述的方法。
16.第六方面，本技术一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行第一方面和第二方面所述的方法。
17.本技术实施例提供的情绪识别方法可以包括以下有益效果：
18.一方面，本技术确定了目标用户的面部表情数据和音频数据，通过面部表情和对话音频两个模态的数据，联合确定用户情绪，提高了目标用户情绪检测的精度。另一方面，通过音频数据确定目标用户的音频属性情绪数据和音频文本情绪数据，再将面部情绪数据、音频属性情绪数据和音频文本情绪数据进行融合，确定目标用户的实际情绪数据，再次确保了目标用户情绪检测的精度，进而准确反映目标用户的情绪状态。
附图说明
19.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
20.图1所示为本技术实施例所适用的一实施环境示意图。
21.图2所示为本技术一示例性实施例提供的情绪识别方法的流程示意图。
22.图3所示为本技术一示例性实施例提供的确定目标用户的实际情绪数据的流程示意图。
23.图4所示为本技术一示例性实施例提供的确定面部情绪标签数据、音频属性情绪标签数据以及音频文本情绪标签数据的流程示意图。
24.图5所示为本技术另一示例性实施例提供的确定目标用户的实际情绪数据的流程示意图。
25.图6所示为本技术又一示例性实施例提供的确定目标用户的实际情绪数据的流程示意图。
26.图7所示为本技术一示例性实施例提供的服务评价方法的流程示意图。
27.图8所示为本技术一示例性实施例提供的生成服务评价结果的流程示意图。
28.图9所示为本技术另一示例性实施例提供的生成服务评价结果的流程示意图。
29.图10所示为本技术一示例性实施例提供的情绪识别装置的结构示意图。
30.图11所示为本技术一示例性实施例提供的服务评价装置的结构示意图。
31.图12所示为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.申请概述
34.相关语音识别技术通常利用韵律和频谱声学特征，以及一些其他特征提取技术，
通过音量、语速、语气等特征值判断用户当前情绪。其中，频谱声学特征包括共振峰频率、语音频谱能量、语音速率和基频等等，特征提取技术包括梅尔倒谱系数(mel-frequency cepstral coefficients，mfcc)、线性预测倒谱系数(linear predictive cepstral coding，lpcc)等。
35.相关面部表情识别技术，通过摄像头捕捉定位人脸的关键部位(例如眉角、鼻尖、嘴角等)，分析每个关键部位所属区域像素位置的变化，根据机器学习算法，结合各区域测定出的面部表情活动，分析所提取的特征值，以反映出人们的情感变化。
36.进一步地，服务评价制度可准确了解企业和群众对工作人员服务的感受和诉求。并以此为基础，接受社会监督，有针对性地改进服务质量，可提升人们的工作效能，优化营商环境。此外，在政务服务评价方面，《政务服务评价工作指南》和《政务服务“一次一评”“一事一评”工作规范》意味着全国范围内的政务服务“好差评”有了统一的方向指引和工作规范。但随着政务服务“好差评”制度和国家标准的实施，如何真实准确反映企业和群众对政务服务的评价，成为对政务服务评价考核的重要依据。现阶段企业群众办理完事情后，在工作人员私下通过评价器进行评价，在主观、客观因素的影响下，存在漏评、误评、代评、假评的现象，对国家“政务服务好差评”制度的有效落实有较大影响。
37.进一步地，通过单一模态的音频数据或面部表情数据确定用户的情绪数据的方式不够准确，可能会造成得到的情绪数据存在误差，进而无法准确预知用户的情感变化。基于上述，本技术实施例提供了一种情绪识别方法，一方面，本技术确定了目标用户的面部表情数据和音频数据，通过面部表情和对话音频两个模态的数据，联合确定用户情绪，提高了用户情绪检测的精度。另一方面，通过音频数据确定目标用户的音频属性情绪数据和音频文本情绪数据，再将面部情绪数据、音频属性情绪数据和音频文本情绪数据进行融合，确定目标用户的实际情绪数据，再次确保了用户情绪检测的精度，进而准确反应目标用户的情绪状态。
38.示例性场景
39.图1所示为本技术实施例所适用的一实施环境示意图。如图1所示，该实施环境包括图像采集设备11、音频采集设备12和计算机设备13，图像采集设备11、音频采集设备12与计算机设备13之间通信连接。
40.具体地，图像采集设备11用于采集目标用户的面部表情数据，音频采集设备12用于采集目标用户的音频数据。示例性地，图像采集设备11为摄像机，音频采集设备12为麦克风阵列。
41.计算机设备13用于接收图像采集设备11和音频采集设备12采集的面部表情数据和音频数据，示例性地，计算机设备13中部署有面部表情分析模型、音频属性分析模型、语音质检模型、以及情绪分析模型。具体地，将面部表情数据输入面部表情分析模型，确定目标用户的面部情绪数据；将音频数据输入音频属性分析模型，确定目标用户的音频属性情绪数据；将音频数据转换成文本，并将文本输入语音质检模型，得到音频文本情绪数据；将面部情绪数据、音频属性情绪数据、音频文本情绪数据输入情绪分析模型，以得到目标用户的实际情绪数据。
42.计算机设备13可以是通用性计算机或者由专用的集成电路组成的计算机装置，本技术对比不做限定。例如，计算机设备13可以是平板电脑等移动终端设备，也可以是个人计
算机，且计算机设备13的数量可以为一个或多个，其类型可以相同或不同，本技术实施例对计算机设备13的数量和类型不做限定。
43.示例性方法
44.图2所示为本技术一示例性实施例提供的情绪识别方法的流程示意图。示例性地，本技术实施例中的情绪识别方法应用于办事用户对工作人员事项办理过程的服务评价系统。如图2所示，本技术实施例提供的情绪识别方法包括如下步骤。
45.步骤s210，响应于情绪识别请求，确定情绪识别请求对应的目标用户的面部表情数据和音频数据。
46.具体地，情绪识别请求可以是目标用户发出的，也可以是与目标用户在同一场景中的工作人员发出的。
47.示例性地，可以通过摄像机采集目标用户的人脸图像，将人脸图像作为目标用户的面部表情数据。此外，可以通过麦克风阵列等音频采集设备，采集目标用户的音频数据。进一步地，根据摄像机实时采集的人脸图像，采用图像质量检测算法对人脸图像进行分析，判断人脸图像质量，在图像质量不达标的情况下，服务评价系统会发出提示，以便人们可以根据提示调整摄像机的位置、光线等，以提高采集的人脸图像质量。进一步地，采用音频质量检测算法对采集的音频数据进行分析，判断音频质量。并在音频质量不达标的情况下，服务评价系统给人们发送相关提示，以便提醒人们调整说话的音量或位置。
48.步骤s220，基于面部表情数据，确定目标用户的面部情绪数据；
49.示例性地，将面部表情数据输入面部表情分析模型，得到目标用户的面部情绪数据f
[m]
。
[0050]
步骤s230，基于音频数据，确定目标用户的音频属性情绪数据、以及音频文本情绪数据。
[0051]
具体地，根据音频数据，提取音频特征，其中，音频特征包括梅尔倒谱系数特征c
[m]
、音高特征v
[m]
、语调特征t
[m]
、语速特征s
[m]
。基于梅尔倒谱系数特征c
[m]
、音高特征v
[m]
、语调特征t
[m]
、语速特征s
[m]，
利用音频属性分析模型，确定音频属性情绪数据v
[m]
。进一步地，将音频数据实时转换为音频文本，并将音频文本提交至语音质检模型进行情感关键词相似性比对，得到音频文本情绪数据t
[m]
。
[0052]
步骤s240，基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据，确定目标用户的实际情绪数据。
[0053]
示例性地，将面部情绪数据、音频属性情绪数据和音频文本情绪数据提交至情绪分析模型，并最终确定目标用户的实际情绪数据。
[0054]
基于上述本技术实施例中的方案，一方面，确定了目标用户的面部表情数据和音频数据，通过面部表情和对话音频两个模态的数据，联合确定用户情绪，提高了目标用户情绪检测的精度。另一方面，通过音频数据确定目标用户的音频属性情绪数据和音频文本情绪数据，再将面部情绪数据、音频属性情绪数据和音频文本情绪数据进行融合，确定目标用户的实际情绪数据，再次确保了目标用户情绪检测的精度，进而准确反应目标用户的情绪状态。
[0055]
图3所示为本技术一示例性实施例提供的确定目标用户的实际情绪数据的流程示意图。在图2所示实施例的基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图
2所示实施例的不同之处，相同之处不再赘述。
[0056]
如图3所示，在本技术实施例中，基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据，确定目标用户的实际情绪数据，包括如下步骤。
[0057]
步骤s310，确定目标用户对应的至少一种情绪影响因子、以及至少一种情绪影响因子各自的影响系数。
[0058]
其中，影响系数是基于情绪影响因子的参数值、以及参数值对应的调节系数确定的。示例性地，影响因子包括主观影响因子和客观影响因子。示例性地，主观影响因子包括面部轮廓、工作人员的普通话标准等级，用户当前情绪状态等等。客观影响因子包括排队时间、噪音、天气状况等等。
[0059]
进一步地，每种情绪影响因子的参数值对应该情绪影响因子的一个取值区间。示例性地，排队时间的单位为分钟，排队时间的取值区间为(0，3] 时的参数值为0.01，取值区间为(3，8]时参数值为0.02，取值区间为(9，15] 时的参数值为0.04，取值区间为(15，30]时参数值为0.06。也即，排队时间越长，对人的情绪影响越大。
[0060]
进一步地，调节系数包括放大系数和权重系数。调节系数用于在不同场景下、计算某一类影响因子的参数值对目标用户的面部表情数据和/或音频属性情绪数据和/或音频文本情绪数据的动态影响。并且，放大系数和权重系数可同时调整，也可根据具体场景单独调整放大系数或权重系数。示例性地，对于每个影响因子，其对应的参数值为x1，参数值对应的放大系数为p1，参数值对应的权重系数为f1，则该影响因子的影响系数为x1p1f1。
[0061]
示例性地，对于排队时长影响因子，一些目标用户习惯性地表情僵硬或笑脸，因此在通过面部表情数据计算面部情绪得分时，可通过减小排队时长的权重系数进而降低排队时长对面部情绪得分的影响。示例性地，目标用户抱怨办事窗口较少，排队近一个小时才轮到自己，此时，可通过增大放大系数，进而提高排队时间对情绪数据的影响，该情绪数据包括面部情绪数据、音频属性情绪数据、以及音频文本情绪数据中的至少一种。示例性地，对于普通话等级这个影响因子，在计算面部情绪数据时，普通话标准程度对面部表情数据的影响甚微，此时，可通过减少普通话等级的权重系数来降低普通话等级对面部情绪数据的影响。而在计算音频文本情绪数据时，受普通话标准程度的影响较大，因此需要增大放大系数来调整普通话等级的参数值，进而增加普通话等级对音频文本情绪数据的影响。
[0062]
步骤s320，基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪数据对应的面部情绪标签数据、音频属性情绪数据对应的音频属性情绪标签数据、音频文本情绪数据对应的音频文本情绪标签数据。
[0063]
具体地，通过情绪影响因子以及情绪影响因子对应的影响系数，对面部情绪数据、音频属性情绪数据、音频文本情绪数据进行校准，得到面部情绪标签数据、音频属性情绪标签数据以及音频文本情绪标签数据。
[0064]
步骤s330，基于面部情绪标签数据、音频属性情绪标签数据和音频文本情绪标签数据，确定目标用户的实际情绪数据。
[0065]
示例性地，可以利用训练好的网络模型，基于面部情绪标签数据、音频属性情绪标签数据和音频文本情绪标签数据，确定目标用户的实际情绪数据。此外，也可以利用代码算法确定目标用户的实际情绪数据。
[0066]
在本技术实施例中，通过确定情绪影响因子、以及情绪影响因子的影响系数，对面部情绪数据、音频属性情绪数据和音频文本情绪数据进行校准，以将目标用户在办理具体事项场景下的一些影响因素考虑进去，得到更准确地表征目标用户情绪的面部情绪标签数据、音频属性情绪标签数据和音频文本情绪标签数据，进一步提高对目标用户情绪检测的精度。
[0067]
图4所示为本技术一示例性实施例提供的确定面部情绪标签数据、音频属性情绪标签数据以及音频文本情绪标签数据的流程示意图。在图3所示实施例的基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图3 所示实施例的不同之处，相同之处不再赘述。
[0068]
如图4所示，在本技术实施例中，基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪数据对应的面部情绪标签数据、音频属性情绪数据对应的音频属性情绪标签数据、音频文本情绪数据对应的音频文本情绪标签数据，包括如下步骤。
[0069]
步骤s410，基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别确定面部情绪数据、音频属性情绪数据以及音频文本情绪数据各自的影响系数融合数据。
[0070]
示例性地，目标用户对应m种情绪影响因子。沿用前述示例，m种情绪影响因子的影响系数可以表示为xip
ifi
，i∈[1,m]。进一步地，m种情绪影响因子对面部情绪数据、音频属性情绪数据和音频文本情绪数据的影响系数融合数据可表示为
[0071]
示例性地，也可利用预先训练好的数据融合模型，基于m种情绪影响因子中的每种情绪影响因子对应的参数值、放大系数和权重系数，确定情绪影响因子对面部情绪数据、音频属性情绪数据以及音频文本情绪数据各自的影响系数融合数据。
[0072]
步骤s420，基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据各自的影响系数融合数据，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪标签数据、音频属性情绪标签数据、以及音频文本情绪标签数据。
[0073]
示例性地，对于面部情绪数据f
[m]
，其对应的面部情绪标签数据可表示为：
[0074]
对于音频属性情绪数据vm，其对应的音频属性情绪标签数据可表示为：
[0075]
对于音频文本情绪数据tm，其对应的音频文本情绪标签数据可表示为：
[0076]
在本技术实施例中，通过所有情绪影响因子的影响系数，最终确定影响系数融合数据，并且通过影响系数融合数据，简单、快速、准确地确定面部情绪标签数据、音频属性情绪标签数据、音频文本情绪标签数据。
[0077]
图5所示为本技术另一示例性实施例提供的确定目标用户的实际情绪数据的流程
示意图。在图3所示实施例的基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
[0078]
如图5所示，在本技术实施例中，基于面部情绪标签数据、音频属性情绪标签数据和音频文本情绪标签数据，确定目标用户的实际情绪数据，包括如下步骤。
[0079]
步骤s510，基于至少一种情绪影响因子，利用功效系数法分别确定面部情绪标签数据对应的面部特征权重系数、音频属性情绪标签数据对应的音频属性特征权重系数、音频文本情绪标签数据对应的音频文本特征权重系数。
[0080]
具体地，功效系数法是指各项评价指标的实际值与该指标允许变动范围的相对值。功效系数法在进行综合统计评价时，先用功效系数法对各项指标进行无量纲同度量转换，然后再采用算术平均法，计算各项功效系数，作为对总体的综合评价值。
[0081]
表1功效系数法的各项指标表征结果
[0082][0083]
示例性地，面部表情分析、音频属性分析、音频文本分析过程中的各项指标值见表1。如表1所示，面部轮廓的满意值是8，不允许值是3；普通话标准的满意值是4，不允许值是1；情绪的满意值为6，不允许值为9；排队时长的满意值为3，不允许值为15，；噪音的满意值为35，不允许值为 60。
[0084]
示例性地，对于面部表情分析，面部轮廓指标的功效系数：对于音频属性分析，面部轮廓指标的功效系数：对于音频文本分析，面部轮廓指标的功效系数：
[0085]
进一步地，对于面部表情分析，普通话标准指标的功效系数： 0.33，情绪指标的功效系数：排队时长指标的功效系数：排队时长指标的功效系数：噪音指标的功效系数：则面部表情分析的功效系数为：进而依照前述方式，可分别计算出音频属性特征权重系数和音频文本特征权重系数。
[0086]
步骤s520，基于面部特征权重系数对面部情绪标签数据进行加权处理，得到面部
情绪加权数据。
[0087]
步骤s530，基于音频属性特征权重系数对音频属性情绪标签数据进行加权处理，得到音频属性情绪加权数据。
[0088]
步骤s540，基于音频文本特征权重系数对音频文本情绪标签数据进行加权处理，得到音频文本情绪加权数据。
[0089]
示例性地，基于步骤s510中的方法，确定面部特征权重系数为a，音频属性特征权重系数为b，音频文本特征权重系数为c，则面部情绪加权数据为fm*a；音频属性情绪加权数据为vm*b；音频文本情绪加权数据为tm*c。
[0090]
步骤s550，基于面部情绪加权数据、音频属性情绪加权数据和音频文本情绪加权数据，确定目标用户的实际情绪数据。
[0091]
在本技术实施例中，首先利用功效系数法计算面部情绪加权数据、音频属性加权数据、音频文本加权数据，再对三种加权数据进行融合，得到目标用户的实际情绪数据，即考虑了时间因素对情绪的影响，又考虑了依赖单模态数据确定目标用户情绪产生的准确率低、鲁棒性差的问题，提高了对目标用户情绪检测的准确性。
[0092]
图6所示为本技术又一示例性实施例提供的确定目标用户的实际情绪数据的流程示意图。在图5所示实施例的基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图5所示实施例的不同之处，相同之处不再赘述。
[0093]
如图6所示，在本技术实施例中，基于面部情绪加权数据、音频属性情绪加权数据和音频文本情绪加权数据，确定目标用户的实际情绪数据，包括如下步骤。
[0094]
步骤s610，分别确定面部情绪加权数据的后验概率、音频属性情绪加权数据的后验概率、以及音频文本情绪加权数据的后验概率。
[0095]
具体地，后验概率是通过调查或其他方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正后得到的概率。
[0096]
步骤s620，基于面部情绪加权数据和面部情绪加权数据的后验概率、音频属性情绪加权数据和音频属性情绪加权数据的后验概率、音频文本情绪加权数据和音频文本情绪加权数据的后验概率，利用序列最小优化算法，确定实际情绪数据。
[0097]
示例性地，将面部情绪加权数据的后验概率、音频属性情绪加权数据的后验概率、音频文本情绪加权数据的后验概率输入支持向量机融合器进行融合决策，并选择高斯径向基函数作为核函数，采用序列最小优化算法求得的最优解作为实际情绪数据。
[0098]
在本技术实施例中，利用序列最小优化算法，将最大优化问题分解为多个小优化问题来求解，可以缩短计算时间，同时能够确定最优的关于目标用户的实际情绪数据。
[0099]
图7所示为本技术一示例性实施例提供的服务评价方法的流程示意图。如图7所示，本技术实施例提供的服务评价方法包括如下步骤。
[0100]
步骤s710，基于本技术任一实施例中所述的情绪识别方法，确定业务办理用户在办理业务时的实际情绪数据。
[0101]
步骤s720，基于实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果。
[0102]
示例性地，服务评价结果包括“非常满意”、“满意”、“基本满意”、“不满意”、“非常不满意”等等。
[0103]
在本技术实施例中，一方面，通过本技术任一实施例所述的情绪识别方法，确定业务办理用户在办理业务时的实际情绪数据，可以提高用户情绪检测的精度，并准确反映业务办理用户的情绪状态。另一方面，通过实际情绪数据，主动生成业务办理用户对业务的工作人员的服务评价结果，有效避免了漏评、误评、代评、假评的情况。
[0104]
图8所示为本技术一示例性实施例提供的生成服务评价结果的流程示意图。在图7所示实施例的基础上延伸出图8所示实施例，下面着重叙述图 8所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
[0105]
如图8所示，在本技术实施例中，基于实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果，包括如下步骤。
[0106]
步骤s810，获取业务办理用户的基本信息、工作人员的专业度信息、以及业务的办理过程信息。
[0107]
示例性地，业务办理用户的基本信息包括用户性别(d1)、用户年龄d2、用户文化程度d3、用户职业d4等等。工作人员的专业度信息包括工作人员业务专业度d5、事项跑腿次数d6等等。业务的办理过程信息包括事项办理复杂度d7、本次事项是否办结d8、本事项对企业群众的紧急程度d9、本次办事持续时长d
10
等等。
[0108]
进一步地，定义各个指标的系数取值范围，如用户年龄d2按照区间值进行系数划分，如[18，25]系数为0.01，(25，30]系数为0.03，(30，40]系数为 0.05，(40，50]系数为0.07，(50，60]系数为0.08，(60，100]系数为0.09等等。本次办事持续时长d
10
(单位为分钟)按照区间值进行系数划分，如[1， 5]系数为0.01，(5，10]系数为0.03，(10，15]系数为0.04，(15，20]系数为 0.06，(20，30]系数为0.07，(30，60]系数为0.09。其他指标的系数按照不同规则进行定义，系数定义需要根据大量数据采集以及模型训练进行优化调整。
[0109]
步骤s820，基于基本信息、专业度信息和办理过程信息，确定业务办理用户的理论情绪数据。
[0110]
具体地，根据基本信息中各个指标对应的系数、专业度信息中的各个指标对应的系数、办理过程信息中的各个指标对应的系数，利用预先构建的政务服务情绪预测模型，计算业务办理用户办理本次事项时的理论情绪数据m。
[0111]
步骤s830，基于理论情绪数据和实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果。
[0112]
在本技术实施例中，通过业务办理用户的基本信息、工作人员的专业度信息、以及业务的办理过程信息，确定用户的理论情绪数据，进一步根据理论情绪数据和实际情绪数据确定服务评价结果，保障了业务办理用户对办事服务的评价更具有客观性。
[0113]
图9所示为本技术另一示例性实施例提供的生成服务评价结果的流程示意图。在图8所示实施例的基础上延伸出图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。
[0114]
如图9所示，基于理论情绪数据和实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果，包括如下步骤。
[0115]
步骤s910，判断理论情绪数据和实际情绪数据的相对差值是否在预设偏差范围内。
[0116]
示例性地，理论情绪数据为m，实际情绪数据为e，理论情绪数据和实际情绪数据的
相对差值为预设偏差范围δ∈[0，0.05]。
[0117]
示例性地，在实际应用过程中，若步骤s910的判断结果为是，即理论情绪数据和实际情绪数据的相对差值在预设偏差范围内，则执行步骤s920；若步骤s910的判断结果为否，即理论情绪数据和实际情绪数据的相对差值不在预设偏差范围内，则执行步骤s930和步骤s940。
[0118]
具体地，理论情绪数据和实际情绪数据的相对差值在预设偏差范围内，即理论情绪数据和实际情绪数据的相对差值不在预设偏差范围内，即或
[0119]
步骤s920，基于实际情绪数据，生成服务评价结果。
[0120]
具体地，每种评价等级对应情绪数据的不同取值区间。示例性地，情绪数据在[100，90)时，评价结果为非常满意；情绪数据在[90，80)时，评价结果为满意；情绪数据在[80，70)时，评价结果为基本满意；情绪数据在[70，60)时，评价结果为不满意；情绪数据在[60，0]时，评价结果为非常不满意。
[0121]
示例性地，若实际情绪数据为85，则服务评价结果为满意。
[0122]
步骤s930，确定实际情绪数据对应的加权平均情绪数据。
[0123]
具体地，利用本技术实施例中所述的情绪识别方法确定面部情绪标签数据和面部特征权重系数、音频属性情绪标签数据和音频属性特征权重系数、音频文本情绪标签数据和音频文本特征权重系数。进而利用面部情绪标签数据和面部特征权重系数、音频属性情绪标签数据和音频属性特征权重系数、音频文本情绪标签数据和音频文本特征权重系数做加权运算，确定实际情绪数据对应的加权平均情绪数据。
[0124]
步骤s940，基于加权平均情绪数据，确定服务评价结果。
[0125]
同样地，基于加权平均情绪数据确定服务评价结果的方式与步骤s920 中的示例相同。
[0126]
在本技术实施例中，采用实际情绪数据与理论情绪数据进行相对差值比较，以衡量实际情绪数据与理论情绪数据的偏离程度，进而根据偏离程度、基于实际情绪数据或实际情绪数据对应的加权平均情绪数据确定匹配度更高的服务评价结果，以提高了服务评价结果的准确度。并且通过用户情绪数据，自动给出服务评价结果，真实反映了业务办理用户对办事服务过程的感受和体验，规避对服务评价的漏评、误评、假评，可进一步督促工作人员提升工作服务意识和服务态度。
[0127]
示例性装置
[0128]
上文结合图2至图9，详细描述了本技术的方法实施例，下面结合图10 和图11，详细描述本技术的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
[0129]
图10所示为本技术一示例性实施例提供的情绪识别装置的结构示意图。如图10所示，本技术实施例提供的情绪识别装置100包括：
[0130]
第一确定模块1010，用于响应于情绪识别请求，确定情绪识别请求对应的目标用户的面部表情数据和音频数据；
[0131]
第二确定模块1020，用于基于面部表情数据，确定目标用户的面部情绪数据；
[0132]
第三确定模块1030，用于基于音频数据，确定目标用户的音频属性情绪数据、以及音频文本情绪数据；
[0133]
第四确定模块1040，用于基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据，确定目标用户的实际情绪数据。
[0134]
在本技术一实施例中，第四确定模块1040还用于，确定目标用户对应的至少一种情绪影响因子、以及至少一种情绪影响因子各自的影响系数，其中，影响系数是基于情绪影响因子的参数值、以及参数值对应的调节系数确定的；基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪数据对应的面部情绪标签数据、音频属性情绪数据对应的音频属性情绪标签数据、音频文本情绪数据对应的音频文本情绪标签数据；基于面部情绪标签数据、音频属性情绪标签数据和音频文本情绪标签数据，确定目标用户的实际情绪数据。
[0135]
在本技术一实施例中，第四确定模块1040还用于，基于至少一种情绪影响因子以及至少一种情绪影响因子各自的影响系数，分别确定面部情绪数据、音频属性情绪数据以及音频文本情绪数据各自的影响系数融合数据；基于面部情绪数据、音频属性情绪数据以及音频文本情绪数据各自的影响系数融合数据，分别处理面部情绪数据、音频属性情绪数据以及音频文本情绪数据，得到面部情绪标签数据、音频属性情绪标签数据、以及音频文本情绪标签数据。
[0136]
在本技术一实施例中，第四确定模块1040还用于，基于至少一种情绪影响因子，利用功效系数法分别确定面部情绪标签数据对应的面部特征权重系数、音频属性情绪标签数据对应的音频属性特征权重系数、音频文本情绪标签数据对应的音频文本特征权重系数；基于面部特征权重系数对面部情绪标签数据进行加权处理，得到面部情绪加权数据；基于音频属性特征权重系数对音频属性情绪标签数据进行加权处理，得到音频属性情绪加权数据；基于音频文本特征权重系数对音频文本情绪标签数据进行加权处理，得到音频文本情绪加权数据；基于面部情绪加权数据、音频属性情绪加权数据和音频文本情绪加权数据，确定目标用户的实际情绪数据。
[0137]
在本技术一实施例中，第四确定模块1040还用于，分别确定面部情绪加权数据的后验概率、音频属性情绪加权数据的后验概率、以及音频文本情绪加权数据的后验概率；基于面部情绪加权数据和面部情绪加权数据的后验概率、音频属性情绪加权数据和音频属性情绪加权数据的后验概率、音频文本情绪加权数据和音频文本情绪加权数据的后验概率，利用序列最小优化算法，确定实际情绪数据。
[0138]
图11所示为本技术一示例性实施例提供的服务评价装置的结构示意图。如图11所示，本技术实施例提供的服务评价装置110包括：
[0139]
确定模块1110，用于基于本技术实施例所述的情绪识别方法，确定业务办理用户在办理业务时的实际情绪数据；
[0140]
生成模块1120，用于基于实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果。
[0141]
在本技术一实施例中，生成模块1120还用于，获取业务办理用户的基本信息、工作
人员的专业度信息、以及业务的办理过程信息；基于基本信息、专业度信息和办理过程信息，确定业务办理用户的理论情绪数据；
[0142]
基于理论情绪数据和实际情绪数据，生成业务办理用户对业务的工作人员的服务评价结果。
[0143]
在本技术一实施例中，生成模块1120还用于，若理论情绪数据和实际情绪数据的相对差值在预设偏差范围内，则基于实际情绪数据，生成服务评价结果；若理论情绪数据和实际情绪数据的相对差值不在预设偏差范围内，则确定实际情绪数据对应的加权平均情绪数据；基于加权平均情绪数据，确定服务评价结果。
[0144]
下面，参考图12来描述根据本技术实施例的电子设备。图12所示为本技术一示例性实施例提供的电子设备的结构示意图。
[0145]
如图12所示，电子设备120包括一个或多个处理器1201和存储器1202。
[0146]
处理器1201可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备120中的其他组件以执行期望的功能。
[0147]
存储器1202可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/ 或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1201可以运行所述程序指令，以实现上文所述的本技术的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如包括面部表情数据、音频数据、面部情绪数据、音频属性情绪数据、以及音频文本情绪数据等各种内容。
[0148]
在一个示例中，电子设备120还可以包括：输入装置1203和输出装置 1204，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0149]
该输入装置1203可以包括例如键盘、鼠标等等。
[0150]
该输出装置1204可以向外部输出各种信息，包括面部表情数据、音频数据、面部情绪数据、音频属性情绪数据、以及音频文本情绪数据等。该输出装置1204可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0151]
当然，为了简化，图12中仅示出了该电子设备120中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备120还可以包括任何其他适当的组件。
[0152]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本技术各种实施例的方法中的步骤。
[0153]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0154]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本技术各种实施例的方法中的步骤。
[0155]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0156]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0157]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0158]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0159]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0160]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。