客服质量的评价方法、装置、存储介质及设备与流程

1.本发明涉及金融科技领域，尤其涉及智能算法和智能识别技术领域，具体涉及一种客服质量的评价方法、装置、存储介质及设备。


背景技术：

2.随着网络信息化的不断发展，远程视频服务已得到广泛应用，视频客服服务过程的实时性，以及视频客服大多缺乏有效的监管，发生了越来越多的违规行为。一方面现有的服务评价系统是通过客户回复短信打分、客户在交互界面上选择满意度来进行事后服务评价，更加智能的实时的评价手段寥寥无几；另一方面，现有视频分析任务通常是基于深度网络模型的，而模型的训练和推理带来了巨大的计算压力，同时由于视频客服服务过程的即时性和音视频数据的庞杂性，目前并没有有效的方法对视频客服的违规行为进行有效监控。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种客服质量的评价方法、装置、存储介质及设备，以至少解决由于现有技术无法实现对客服质量进行准确识别与评价，造成的识别效率低且评价效果差的技术问题。
5.根据本发明实施例的一个方面，提供了一种客服质量的评价方法，包括：获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；采用第二神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果。
6.可选的，上述采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果，包括：获取上述音频信息中的语音序列；对上述语音序列进行分帧处理，提取上述语音序列的语音帧特征；对上述语音帧特征进行分段处理，得到上述语音序列的语音段特征；通过目标函数拟合上述语音段特征，得到上述语音序列的情感认知窗特征；基于上述语音帧特征、上述语音段特征以及上述情感认知窗特征，通过上述第一神经网络模型，计算上述音频特征分类评价结果。
7.可选的，上述第二神经网络模型包括第三神经网络模型和第四神经网络模型，上述采用第二神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，包括：对上述视频信息进行分帧处理，得到多帧视频图像；从每一帧上述视频图像中提取上述目标对象的面部图像特征集；将上述面部图像特征集分别输入至上述第三神经网络模型和上述第四神经网络模型，得到上述视频特征分类评价结果。
8.可选的，从每一帧上述视频图像中提取上述目标对象的面部图像特征集，包括：采用目标分类器对每一帧上述视频图像进行分割处理，得到分割后的视频图像；采用第五神经网络模型对上述分割后的视频图像进行提取处理，得到上述目标对象的面部图像特征图；通过上述第三神经网络模型对上述面部图像特征图进行目标监测及精确定位处理，得到上述面部图像特征图对应的候选框区域；通过上述第四神经网络模型对上述候选框区域进行最大池化处理，得到上述面部图像特征集。
9.可选的，上述根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果，包括：计算每一个上述情绪特征的评价结果对应的第一评价分数；对多个上述第一评价分数进行求和计算，得到第二评价分数；根据上述第二评价分数，确定上述客服质量评价结果。
10.可选的，上述方法还包括：获取上述音频信息中上述目标对象的第一违规行为对应的第一违规次数；获取上述视频信息中上述目标对象的第二违规行为对应的第二违规次数；对上述第一违规次数和上述第二违规次数进行求和计算，得到上述目标对象的违规总次数。
11.可选的，上述方法还包括：判断上述目标对象的客服质量的评价指标是否达到告警阈值，其中，上述评价指标包括以下至少之一：上述音频特征分类评价结果、上述视频特征分类评价结果、上述客服质量评价结果以及上述违规总次数；若任意一项上述评价指标达到上述告警阈值，则发出告警指示。
12.可选的，上述获取上述视频信息中上述目标对象的第二违规行为对应的第二违规次数，包括：对上述视频信息进行分帧处理，得到多帧视频图像；判断相邻两帧上述视频图像中存在的上述第二违规行为是否为同一违规行为；若判断结果为是，则将上述同一违规行为记为1次上述第二违规行为。
13.可选的，上述方法还包括：基于上述音频信息对上述第一神经网络模型进行训练，得到训练后的第一神经网络模型；基于上述视频信息对上述第二神经网络模型进行训练，得到训练后的第二神经网络模型；根据上述训练后的第一神经网络模型和上述训练后的第二神经网络模型，分别更新上述第一神经网络模型和上述第二神经网络模型。
14.可选的，在上述获取上述音频信息中的语音序列之前，上述方法还包括：按照预设时间长度对上述音频信息进行分段处理，得到多段音频样本；判断首段上述音频样本的声纹特征与预存声纹特征的匹配度；若上述匹配度大于或等于匹配度阈值，则获取上述语音序列；若上述匹配度小于上述匹配度阈值，则发出告警指示。
15.可选的，上述方法还包括：通过人脸识别模型检测每一帧上述视频图像中的人脸数量；判断上述人脸数量是否为1；若判断结果为是，则从每一帧上述视频图像中提取上述面部图像特征集；若判断结果为否，则发出告警指示。
16.根据本发明实施例的另一方面，还提供了一种客服质量的评价装置，包括：获取模块，用于获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；第一计算模块，用于采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；第二计算模块，用于采用第二神经网络模型和第三神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；确定模
块，用于根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果。
17.根据本发明实施例的另一方面，还提供一种客服质量的评价系统，包括：视频客服客户端,用于获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；边缘计算平台服务器,与上述视频客服客户端连接，用于采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；云平台服务器，与上述边缘计算平台服务器连接，用于采用第二神经网络模型和第三神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果。
18.根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的客服质量的评价方法。
19.根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的客服质量的评价方法。
20.在本发明实施例中，采用客服质量评价的方式，通过获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；采用第二神经网络模型和第三神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果，达到了根据目标用户的音视频信息准确识别与评价客服质量的目的，从而实现了提高音视频识别效率和评价质量的技术效果，进而解决了由于现有技术无法实现对客服质量进行准确识别与评价，造成的识别效率低且评价效果差的技术问题。
附图说明
21.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
22.图1是根据本发明实施例的一种客服质量的评价方法的流程图；
23.图2是根据本发明实施例的一种可选的客服质量的评价方法的流程图；
24.图3是根据本发明实施例的另一种可选的客服质量的评价方法的流程图；
25.图4是根据本发明实施例的另一种可选的客服质量的评价方法的流程图；
26.图5是根据本发明实施例的另一种可选的客服质量的评价方法的流程图；
27.图6是根据本发明实施例的一种可选的用于实施上述客服质量的评价方法的系统结构示意图；
28.图7是根据本发明实施例的一种客服质量的评价装置的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.首先，为方便理解本发明实施例，下面将对本发明中所涉及的部分术语或名词进行解释说明：
32.边缘计算(edge computing,ec)，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。由边缘计算节点(edge computing point,ecp)负责将收集和计算的前端数据结果与云平台端服务器实时交互。
33.fast r-cnn在rcnn基础上引入roi pooling层，避免r-cnn算法对同一区域多次提取特征的情况。
34.faster r-cnn算法又是在fast r-cnn基础上增加rpn候选框生成算法，使得目标检测速度大大提高。faster r-cnn中其实是训练两个网络：rpn和fast r-cnn，但两个网络如果分开单独训练，都会改变共享的卷积层的参数，所以需要对两个网络共享卷积层，而不是分开单独训练。rpn是一种候选框的推荐算法，fast r-cnn在此基础上对候选框的位置和框内物体的类别进行细致计算。
35.实施例1
36.随着新一代无线移动通讯技术5g商用进程的加速、移动智能终端的不断普及和电子服务内容的多媒体化，各家服务型企业，例如银行机构，纷纷研究创新驱动，实现向智慧银行转型发展，为客户提供全方位的智能服务。目前，网上银行、手机银行等电子渠道交易量早已远远超出传统物理网点的交易量，远程视频银行作为电子渠道的又一延伸，可以实现各服务渠道的整合、延长银行对外服务时间。视频客服服务不受空间限制，能够直观地展示商品，并且能够满足线上交易的监管政策要求，极大模拟线下业务办理场景，给予客户更加周到的“浸入式体验”服务，兼顾客户情绪。
37.与此同时，视频客服服务过程的实时性，以及视频客服大多缺乏有效的监管，发生了越来越多的违规行为。一方面现有的服务评价系统是通过客户回复短信打分、客户在交互界面上选择满意度来进行事后服务评价，更加智能的实时的评价手段寥寥无几；另一方面，现有视频分析任务通常是基于深度网络模型的，而模型的训练和推理带来了巨大的计算压力，同时由于视频客服服务过程的即时性和音视频数据的庞杂性，目前并没有有效的方法对视频客服的违规行为进行有效监控。
38.基于上述问题，本发明实施例提供了一种客服质量的评价的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
39.图1是根据本发明实施例的一种客服质量的评价方法的流程图，如图1所示，该方法包括如下步骤：
40.步骤s102，获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；
41.步骤s104，采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；
42.步骤s106，采用第二神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；
43.步骤s108，根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果。
44.可选的，通过视频采集装置获取目标对象的音频信息；通过音频采集装置获取目标对象的视频信息。
45.可选的，上述第一神经网络模型可以但不限于为基于认知机理的回馈神经网络模型cirnn；上述第二神经网络模型可以但不限于为faster r-cnn模型。
46.可选的，获取上述音频信息和上述视频信息，包括：获取目标对象的初始音频信息和初始视频信息；对上述初始音频信息和上述初始视频信息进行清洗处理，得到上述音频信息和上述视频信息。
47.在本发明实施例中，采用客服质量评价的方式，通过获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；采用第二神经网络模型和第三神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果，达到了根据目标用户的音视频信息准确识别与评价客服质量的目的，从而实现了提高音视频识别效率和评价质量的技术效果，进而解决了由于现有技术无法实现对客服质量进行准确识别与评价，造成的识别效率低且评价效果差的技术问题。
48.作为一种可选的实施例，图2是根据本发明实施例的一种可选的客服质量的评价方法的流程图，如图2所示，上述采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果，包括：
49.步骤s202，获取上述音频信息中的语音序列；
50.步骤s204，对上述语音序列进行分帧处理，提取上述语音序列的语音帧特征；
51.步骤s206，对上述语音帧特征进行分段处理，得到上述语音序列的语音段特征；
52.步骤s208，通过目标函数拟合上述语音段特征，得到上述语音序列的情感认知窗
特征；
53.步骤s210，基于上述语音帧特征、上述语音段特征以及上述情感认知窗特征，通过上述第一神经网络模型，计算上述音频特征分类评价结果。
54.可选的，上述语音帧特征可以但不限于包括：韵律特征、非线性特征、音质特征和频谱特征，等等。
55.可选的，上述目标函可以但不限于为高斯函数；上述第一神经网络模型可以但不限于为基于认知机理的回馈神经网络模型cirnn。
56.需要说明的是，由于发音器官的物理运动对语音的形成有密切影响，其在短时间内是相对平稳的，故可以对语音信号进行短时分析，包括分帧和加窗处理，得到时间离散且幅度离散的语音序列。可以但不限于使用25ms汉明窗，以帧移10ms对语音信号进行分帧处理，然后，以帧为单位，提取每帧信号的短时特征(即语音帧特征)及相应的一阶差分；短时特征可以包括韵律特征、非线性特征、音质特征和频谱特征等，并对这些特征进行归一化。例如，设语音帧特征向量为f(t)，其中为一个音频特征参数，假设样本f(t)中具有m种特征参数，每一种音频特征参数均在t时刻被采集，t＝1，2，
…
，n：
[0057][0058]
可选的，以段长取100帧/段划分样本，对语音信号进行段特征提取，得到目标对象的语音段特征。通过以段为单位的特征提取，使得基于该语段长度的统计特征既能除去文字相关性，又不会减弱重要的韵律特性的表达，通过基音频率和前三个共振峰的轮廓进行提取，将该特征与短时帧特征和全局统计特征融合，以提高情感识别率。例如，设语音段特征向量为k
(t)
，其中为一个音频特征参数，假设样本k
(t)
中具有m种特征参数，每一种音频特征参数均在t时刻被采集，t＝1，2，
…
，n：
[0059][0060]
需要说明的是，为了更准确反映人类情感表达的动态过程对情感识别的影响，利用目标函数(如高斯函数)对上述语音段特征进行拟合处理，模拟人类情感的表达过程，在语音段特征的基础上，提取情感认知窗，即在多个语段特征上加载一个高斯函数，将中间的情感进行加权，而将语音两端的情感进行削弱。例如，设语段特征为kn与高斯函数g(x)卷积得到情感认知窗特征：e＝g(wi)*kn；其中n为音频样品总段数，wi是第i语段对应高斯函数的位置。
[0061]
可选的，构建基于认知机理的回馈神经网络模型cirnn(即第一神经网络模型)。基
于人脑对情感的认知规律，不但对听觉信息的输入特征进行分析，还会运用以往经验模型及额前叶的概率系统进行比对和尝试，以提高对信息加工和有序性和精准度。因此，在回馈神经网络rnn等基础上，采用融合多粒度特征的基于认知机理的回馈神经网络(cirnn)，使得不同时间单元的特征均参与网络训练，既突出情感的时序性，强调上下文对情感的影响，也保留全局特性对情感识别的作用。cirnn网络包括输入层、隐含层、记忆层和输出层。输入层分别输入帧特征、段特征，记忆层是从隐含层回馈过来的一些神经元的集合，用于记录隐含层上一时刻的内容。神经元的激活函数取sigmoid函数。例如，设t是网络所处的当前时刻，f(t)代表帧特征，k(t)代表t时间段内的段特征，e(t)代表认知窗特征，w1为输入层帧特征f(t)、段特征k(t)到隐含层x(t)权值矩阵。w2为隐含层x(t)到隐含层z(t)权值矩阵。w3为隐含层z(t)到输出层y(t)权值矩阵。w4为记忆层xc(t)到隐含层x(t)权值矩阵。w5为输入层认知窗特征e(t)到隐含层z(t)权值矩阵。x(t)和z(t)分别代表两个隐含层的输出，具体公式为：第一隐含层x(t)＝f(w1(f(t)+k(t)+w4xc(t)))，其中，f取sigmoid函数：第二隐含层z(t)＝f(w2x(t)+w5e(t))；输出层y(t)＝f(w3z(t))。
[0062]
作为一种可选的实施例，图3是根据本发明实施例的另一种可选的客服质量的评价方法的流程图，如图3所示，上述第二神经网络模型包括第三神经网络模型和第四神经网络模型，上述采用第二神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，包括：
[0063]
步骤s302，对上述视频信息进行分帧处理，得到多帧视频图像；
[0064]
步骤s304，从每一帧上述视频图像中提取上述目标对象的面部图像特征集；
[0065]
步骤s306，将上述面部图像特征集分别输入至上述第三神经网络模型和上述第四神经网络模型，得到上述视频特征分类评价结果。
[0066]
可选的，上述第二神经网络模型可以但不限于为faster r-cnn模型；上述第三神经网络模型可以但不限于为rpn(regional proposal network)网络模型；上述第四神经网络模型可以但不限于为fast r-cnn网络模型。
[0067]
需要说明的是，为保证音频特征与视频特征提取的一致性，上述多帧视频图像与上述语音帧特征具有相同的预设时间长度划分，如每一分钟一段，视频数据以每秒25帧输出，等等。
[0068]
可选的，上述视频特征分类评价结果可以但不限于包：平静、高兴、惊讶、悲伤、恐惧、愤怒、厌恶，等等。
[0069]
可选的，上述视频特征分类评价结果的输出形式可以但不限于为矩阵形式。
[0070]
可选的，定义视频流v＝{v1,v2…vq
}，其中，上述视频流由安装在视频客服客户端设备上监控摄像头采集，监控摄像头面向视频客服人员(即目标对象)的脸部，上述视频流对应的视频数据(即视频图像)以每秒25帧输出；其中，每一帧视频图像vq用l*w的矩阵表示，其中，l是视频矩阵的行数，w是视频矩阵的列数；标记为第q段视频样本,q＝1、2
……
n表示样本编号。
[0071]
在一种可选的实施例中，faster r-cnn模型(第二神经网络模型)的检测流程，可以但不限于为：输入视频图像；使用rdn(residual dilated network)残差扩张网络，通过深度网络中的卷积层对图像进行特征提取，得到视频流中各帧眼部、眉毛、嘴部的特征图；
通过rpn(regional proposal network)网络对特征图进行目标检测及精确定位，得到候选框区域；对得到的候选框区域进行roi pooling操作：即通过坐标投影的方法，在特征图上得到输入图像中的候选框区域对应的特征区域，并对该区域进行最大值池化，这样就得到了候选框区域的特征，并且统一了特征大小。对roi pooling层的输出(即候选框区域对应的特征图最大值池化后的特征)作为每个候选框区域的特征向量；将候选框区域的特征向量与全连接层相连，并定义了多任务损失函数，分别与softmax分类器和boxbounding回归器(边框回归)相连，分别得到当前感兴趣区域的类别及坐标包围框；对所有得到的包围框进行非极大值抑制，得到最终的分类检测结果(即视频特征分类评价结果)。
[0072]
可选的，在采用上述faster r-cnn模型进行检测之前，对上述faster r-cnn模型进行训练，训练过程可以但不限于为：1)用预训练模型的卷积层初始化rpn网络，然后单独训练rpn网络，在训练后，模型和rpn的特征参数均会被更新；2)用相同的预训练模型的卷积层初始化检测网络fast r-cnn，其中候选框来自第1步rpn网络，然后单独训练检测网络fast r-cnn，训练后，模型和fast r-cnn的特征参数均会被更新；3)用第2步训练后的模型来初始化rpn模型，训练时固定卷积层(即共享卷积层)，只调整属于rpn的特征参数，第二次训练rpn网络；4)仍然保持共享的卷积层固定，用第3步调整后的rpn输出的候选框作为输入，第二次训练fast r-cnn网络，微调fast r-cnn的参数。
[0073]
在一种可选的实施例中，将上述面部图像特征集分别送入rpn回归神经网络模型和fast r-cnn分类神经网络模型进行识别分类，输出视频特征分类评价矩阵为(v
dis
,v
hap
,v
qui
),表示客服面部表情情感识别中输出烦躁、喜悦和平静3种情感的概率，得出面部表情分类结果。
[0074]
作为一种可选的实施例，图4是根据本发明实施例的另一种可选的客服质量的评价方法的流程图，如图4所示，从每一帧上述视频图像中提取上述目标对象的面部图像特征集，包括：
[0075]
步骤s402，采用目标分类器对每一帧上述视频图像进行分割处理，得到分割后的视频图像；
[0076]
步骤s404，采用第五神经网络模型对上述分割后的视频图像进行提取处理，得到上述目标对象的面部图像特征图；
[0077]
步骤s406，通过上述第三神经网络模型对上述面部图像特征图进行目标监测及精确定位处理，得到上述面部图像特征图对应的候选框区域；
[0078]
步骤s408，通过上述第四神经网络模型对上述候选框区域进行最大池化处理，得到上述面部图像特征集。
[0079]
可选的，上述分割后的视频图像至少包括：目标对象的眼部、眉毛以及嘴部特征图。
[0080]
可选的，上述第五神经网络模型可以但不限于为rdn(residual dilated network)残差扩张网络模型；上述第三神经网络模型可以但不限于为rpn(regional proposal network)网络模型；上述第四神经网络模型可以但不限于为fast r-cnn网络模型。
[0081]
可选的，上述目标分类器可以但不限于为基于gabor特征的增强分类器，用于识别出目标对象的面部器官特征点，其中，上述面部器官特征点至少包括：左眼和右眼的内眼角
位置、左眼和右眼的外眼角位置、左眼和右眼的最高点位置、左眼和右眼的最低点位置、鼻尖位置、嘴角的最左端和最右端位置、嘴唇中心线与嘴唇轮廓相交的最上端和最下端，得到目标对象的眼部、眉毛以及嘴部特征图。
[0082]
在一种可选的实施例中，采用rdn(residual dilated network)残差扩张网络模型，将分割后的视频图像输入到第1层卷积层(记为conv1)，对图像进行初步的特征提取，得到目标对象的面部图像特征图。以400*400的图像为例，conv1的卷积核大小被构造为3*3，卷积核数量设置为64。接着，conv1输出的特征图进入conv2，这层的卷积核的大小同conv1，卷积核数量设置为128。然后，conv2输出的特征图进入conv3，这层的卷积核的大小设置为3*3，卷积核数量设置为256。接着，conv3输出的特征图进入rdn4，这层的卷积核的大小设置为3*3，卷积核数量设置为512，引入扩张卷积，设置扩张参数d＝1和d＝2。接着，rdn4输出的特征图进入rdn5，这层的卷积核的大小设置为3*3，卷积核数量依旧设置为512，同样引入扩张卷积，设置扩张参数d＝2和d＝4，保证微小表情的特征检测。rdn残差扩张网络模型通过使用更深的残差网络结构来提高算法鲁棒性，通过将浅层特征和深层特征进行累加来保证微小表情在不断卷积的过程中得到保留，以此获取更加准确输出信息，可在基本不增加原有模型计算量情况下，大幅度提升网络的检测性能。
[0083]
可选的，通过rpn网络模型对特征图进行目标检测及精确定位，得到候选框区域，并通过fast r-cnn网络模型中roi池化层对候选框进行最大池化操作，输出一组包括多个维度相同的特征向量的面部图像特征集。
[0084]
作为一种可选的实施例，图5是根据本发明实施例的另一种可选的客服质量的评价方法的流程图，如图5所示，上述根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果，包括：
[0085]
步骤s502，计算每一个上述情绪特征的评价结果对应的第一评价分数；
[0086]
步骤s504，对多个上述第一评价分数进行求和计算，得到第二评价分数；
[0087]
步骤s506，根据上述第二评价分数，确定上述客服质量评价结果。
[0088]
可选的，通过评价类别的形式表征上述客服质量评价结果，其中，上述评价类别可以但不限于分为“差”、“一般”、“较好”、“非常好”。
[0089]
在一种可选的实施例中，上述第一评价分数为针对客服服务期间某一个特定的情绪特征分类所体现的服务质量符合程度。因此，一个情绪特征分类计算出一个第一评价分数，故最终共计算出m个第一评价分数。通过以下公式计算每个第一评价分数：
[0090][0091]
其中，o
wi
表示第i个第一评价分数，1≤i≤m，且为正整数，即i从1依次变化到m。如本实例将音频、视频情绪各分为3类，故m＝6。
[0092]
wi表示第i个第一特定情绪特征所属类型的权重，例如音频高兴情绪分类特征权重设置为0.6，音频紧张情绪分类特征权重设置为-0.15，视频表情特征为高兴权重设置为0.3，视频表情特征为愤怒权重设置为-0.3、视频表情特征为厌恶权重设置为-0.2。xa＝1表示第i个特定特征行为发生，xa＝0表示第i个特定特征行为未发生。ta表示特定情绪特征行为发生的时间，td表示小于ta的动态基准时间，由本领域技术人员任意设置，例如以每次客户服务接通开始时间位准。k为时间递减因子，k》1，例如设置为1.5～3中的任意值。xa表示ta前考时间段内产生的特定的情绪特征行为的数量。参考时间段例如1分钟，本发明不做具体限定。本公式通过加入使得xa越大，o
wi
越小，xa越小，则o
wi
越大，减小了客服服务期间呆板不变的情绪行为对评估的影响，鼓励客服及时响应客户诉求，做到适时而变。
[0093]
由上述公式可以看出，wi体现不同类型的某一个特定的情绪特征分类所体现的不同情绪状态对客户服务质量评价所产生不同程度的影响。由于时间递减因子k》1，因此同一类型的情绪特征，发生时间离动态基准时间越远，对评价服务质量结果产生的影响越大。进而，通过时间递减因子的设置，减轻了同一次服务期间的历史行为在最终结果评价中的影响占比。
[0094]
可选的，上述第二评价分数为表示客服在特定时间段内服务质量符合程度。在本发明实施例中，通过计算所有第一评价分数的和来获得第二评价分数：当针对此次服务期间评价的第二评价分数越高，则评估该客服此次服务质量越高。反之，当此次服务期间评价的第二评价分数越低，则评估该客服此次服务质量越差。通过上述过程，就评估出客服此次服务质量优劣程度。将评价分类分布概率向量求和取平均得到最终的评价结果向量，其对应的评价类别即为最终的服务评价类别。其中，评价类别可以分为“差”、“一般”、“较好”、“非常好”。
[0095]
在一种可选的实施例中，上述方法还包括：
[0096]
步骤s602，获取上述音频信息中上述目标对象的第一违规行为对应的第一违规次数；
[0097]
步骤s604，获取上述视频信息中上述目标对象的第二违规行为对应的第二违规次数；
[0098]
步骤s606，对上述第一违规次数和上述第二违规次数进行求和计算，得到上述目标对象的违规总次数。
[0099]
可选的，在检测到上述目标对象的音频信息中存在违规用于的情况下，确定上述目标对象存在第一违规行为；在检测到上述目标对象的视频信息中存在违规举止的情况下，确定上述目标对象存在第二违规行为。
[0100]
可选的，以时间特征为标记，评分模型中累积违规标记发生时间、违规类型、累计次数。在数据库中累计各类违规次数，当超过预设阀值，触发监控报警，并发出告警指示。
[0101]
在一种可选的实施例中，上述方法还包括：
[0102]
步骤s702，判断上述目标对象的客服质量的评价指标是否达到告警阈值；
[0103]
步骤s704，若任意一项上述评价指标达到上述告警阈值，则发出告警指示。
[0104]
可选的，上述评价指标包括以下至少之一：上述音频特征分类评价结果、上述视频特征分类评价结果、上述客服质量评价结果以及上述违规总次数。
[0105]
在一种可选的实施例中，上述获取上述视频信息中上述目标对象的第二违规行为对应的第二违规次数，包括：
[0106]
步骤s802，对上述视频信息进行分帧处理，得到多帧视频图像；
[0107]
步骤s804，判断相邻两帧上述视频图像中存在的上述第二违规行为是否为同一违规行为；
[0108]
步骤s806，若判断结果为是，则将上述同一违规行为记为1次上述第二违规行为。
[0109]
可选的，在记录上述第二违规次数时，上述方法还包括：判断预设时间内存在的违规行为在相邻两帧视频图像中是否是同一行为，若不是，则识别为不同的违规行为，在后台对每一次违规行为进行记录，若是，不重复累计。考虑时域信息，避免由于仅考虑单帧图像而导致的对同一违规行为记录多次。
[0110]
在一种可选的实施例中，上述方法还包括：
[0111]
步骤s902，基于上述音频信息对上述第一神经网络模型进行训练，得到训练后的第一神经网络模型；
[0112]
步骤s904，基于上述视频信息对上述第二神经网络模型进行训练，得到训练后的第二神经网络模型；
[0113]
步骤s906，根据上述训练后的第一神经网络模型和上述训练后的第二神经网络模型，分别更新上述第一神经网络模型和上述第二神经网络模型。
[0114]
需要说明的是，第一神经网络模型(即基于认知机理的回馈神经网络模型cirnn)和第二神经网络模型(即faster r-cnn模型)初始模型参数为人工设定的，在对目标对象的客服质量进行评价的过程中，会不断地获取新的音频信息、视频信息以及评价结果，基于音频信息、视频信息以及评价结果对上述对模型进行训练更新，得到更高精度的第一神经网络模型和第二神经网络模型(即训练后的第一神经网络模型和训练后的第二神经网络模型)，并以上述训练后的第一神经网络模型和训练后的第二神经网络模型，分别更新上述第一神经网络模型和上述第二神经网络模型，以此来达到提升客服质量评价结果准确性的目的。
[0115]
可选的，faster r-cnn网络模型的训练过方法可以但不限于为：faster r-cnn网络模型的目标函数为二元交叉熵函数(binary_crossentropy)，优化方法为adam；其中adam的学习率设置为0.001，梯度的均值的指数衰减率设置为0.9，梯度的未中心化的方差的指数衰减率设置为0.999；批处理大小设置为200，按照一定比例设置数据的训练集、验证集和测试集，在多轮的训练后，每一轮都进行验证集的测试，结果最好的那一代训练模型会被保存并用于测试集的测试，其结果即为整个学习的结果。在一种可选的实施例中，在上述获取上述音频信息中的语音序列之前，上述方法包括：
[0116]
步骤s1002，按照预设时间长度对上述音频信息进行分段处理，得到多段音频样本；
[0117]
步骤s1004，判断首段上述音频样本的声纹特征与预存声纹特征的匹配度；
[0118]
步骤s1006，若上述匹配度大于或等于匹配度阈值，则获取上述语音序列；
[0119]
步骤s1008，若上述匹配度小于上述匹配度阈值，则发出告警指示。
[0120]
可选的，按照预设时间长度(例如每段一分钟)对上述音频信息进行分段处理，得到多段音频样本，定义为音频流u＝{u1，u2…
uq}，u是音频流集合，标记为第q段音频样本，q即样本编号q＝1，2，
…
；首段上述音频样本约10秒语音数据输入声纹识别模块，提取通话音频文件中的音频特征数据(即预设声纹特征)并发送至声音比较模块，声音比较模块将音频特征数据与事先存储于数据库中的客服声音特征数据进行对比；判断该客服的声纹特征与预存声纹特征信息库之间的匹配度，如果该匹配度大于或等于预定阈值，则向客服客户端返回验证通过的响应结果，并向客户端返回对比结果及对应的客服员工的工号；如果该匹
配度小于等于预定阈值，则发出告警指示，基于上述告警指示向客服客户端返回未通过验证的响应结果及终止服务控制指令，登记违规标记并上送云平台，服务终止。
[0121]
在一种可选的实施例中，上述方法还包括：
[0122]
步骤s1102，通过人脸识别模型检测每一帧上述视频图像中的人脸数量；
[0123]
步骤s1104，判断上述人脸数量是否为1；
[0124]
步骤s1106，若判断结果为是，则从每一帧上述视频图像中提取上述面部图像特征集；
[0125]
步骤s1108，若判断结果为否，则发出告警指示。
[0126]
可选的，将每一帧上述视频图像输入至预训练好的人脸识别模型，对人脸图像信息进行实时人脸检测，若检测所得人脸数量n《1或n》1，向视频客户端返回交易异常指令使其执行告警操作；若检测所得人脸数量等于1，则继续后续操作。
[0127]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0128]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0129]
实施例2
[0130]
根据本发明实施例，还提供了一种用于实施上述客服质量的评价方法的系统实施例，图6是根据本发明实施例的客服质量的评价系统的结构示意图，如图6所示，上述客服质量的评价系统，包括：视频客服客户端1、边缘计算平台服务器2、云平台服务器3，其中：
[0131]
视频客服客户端1,用于获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；边缘计算平台服务器2,与上述视频客服客户端连接，用于采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；云平台服务器3，与上述边缘计算平台服务器连接，用于采用第二神经网络模型和第三神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果。
[0132]
可选的，在上述客服质量的评价系统中，每个视频客服客户端、边缘节点、云中心均具有唯一静态地址，其中，视频客服客户端1通过通讯网络与边缘计算平台服务器2进行数据交互；边缘计算平台服务器2通过专线网络与云平台服务器3进行数据交互。视频客服客户端1中设置有音视频采集系统，用于实时采集视频客服服务期间音视频信息，检测客户端运行状态参数，并将上述运行状态参数上传给上述边缘计算平台服务器；边缘计算系统
2：包括物理层和应用层两层结构，用于对音视频特征信息、客户端运行状态参数等进行数据清洗，并将清洗后的参数上传给上述云计算系统；边缘计算系统2还利用更新后的模型参数更新本地音视频管理评价模型，并根据上述清洗后的客户服务期间音视频特征参数和上述更新后的本地音视频服务评价模型，计算上述服务评价结果，并将上述服务评价结果上传给云平台服务器3，以对上述客户服务过程进行评价。边缘计算系统2和上述云计算系统3中的音视频管理评价模型具有初始模型参数，上述初始模型参数为上述音视频管理系统生产时由人工设定的，但是，此时上述初始模型参数的精度较低，随着上述云平台端不断接收上述边缘计算系统2发送的音视频特征及评价结果，上述云平台端对上述音视频管理评价模型进行训练更新，得到精度更高的模型参数。再将上述精度更高的模型参数发送至上述边缘计算系统2，从而可以计算得到精度更高的客户服务评价结果。
[0133]
可选的，上述客服质量分析系统的具体评价方法如下：客服人员通过视频客服客户端1接入服务工作台，视频客服终端1启动语音、视频采集装置；边缘计算平台2按照指定的算法对视频客服客户端1上送的音视频信息进行统计和分析，并将评价结果发送到云平台服务器3；后台工作人员结合管理需要，在云平台服务器3上对相关指标参数进行设置；云平台服务器3以可视化图表、仪表盘等形式，实时展现监测信息。
[0134]
需要说明的是，本发明实施例提供的边缘网络客服质量评价系统，包括视频客服客户端、边缘计算平台服务器、云平台服务器等，每个视频客服客户端、边缘节点、云中心均具有唯一静态地址，视频客服客户端通过音视频采集装置将服务期间采集运行状态参数上传给上述边缘计算平台服务器；边缘计算系统包括物理层和应用层两层结构，用于对音视频特征信息、客户端运行状态参数等进行数据清洗、上传，以及利用本地音视频管理评价模型计算服务评价结果并上传给云平台服务器。云平台端对音视频管理评价模型进行训练更新，得到精度更高的模型参数并发送至上述边缘计算系统，从而可计算得到精度更高的客户服务评价结果，保证了评价标准统一，同时极大减少边缘计算系统模型训练的计算压力。
[0135]
需要说明的是，本技术中的图6中所示视频客服客户端1、边缘计算平台服务器2、云平台服务器3的具体结构仅是示意，在具体应用时，本技术中的客服质量的评价系统可以比图6所示的视频客服客户端1、边缘计算平台服务器2、云平台服务器3具有多或少的结构。
[0136]
仍需要说明的是，上述实施例1中的任意一种可选的或优选的客服质量的评价方法，均可以在本实施例所提供的客服质量的评价中执行或实现。
[0137]
此外，仍需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
[0138]
实施例3
[0139]
根据本发明实施例，还提供了一种用于实施上述客服质量的评价方法的装置实施例，图7是根据本发明实施例的一种客服质量的评价装置的结构示意图，如图7所示，上述客服质量的评价装置，包括：获取模块20、第一计算模块22、第二计算模块24、确定模块26，其中：
[0140]
获取模块20，用于获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；
[0141]
第一计算模块22，用于采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；
[0142]
第二计算模块24，用于采用第二神经网络模型和第三神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；
[0143]
确定模块26，用于根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果。
[0144]
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
[0145]
此处需要说明的是，上述获取模块20、第一计算模块22、第二计算模块24、确定模块26对应于实施例1中的步骤s102至步骤s108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
[0146]
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
[0147]
上述的客服质量的评价装置还可以包括处理器和存储器，上述获取模块20、第一计算模块22、第二计算模块24、确定模块26等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0148]
处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
[0149]
根据本技术实施例，还提供了一种非易失性存储介质的实施例。可选的，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种客服质量的评价方法。
[0150]
可选的，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述非易失性存储介质包括存储的程序。
[0151]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；采用第二神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果。
[0152]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取上述音频信息中的语音序列；对上述语音序列进行分帧处理，提取上述语音序列的语音帧特征；对上述语音帧特征进行分段处理，得到上述语音序列的语音段特征；通过目标函数拟合上述语音段特征，得到上述语音序列的情感认知窗特征；基于上述语音帧特征、上述语音段特征以及上述情感认知窗特征，通过上述第一神经网络模型，计算上述音频特征分类评价结
果。
[0153]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：对上述视频信息进行分帧处理，得到多帧视频图像；从每一帧上述视频图像中提取上述目标对象的面部图像特征集；将上述面部图像特征集分别输入至上述第三神经网络模型和上述第四神经网络模型，得到上述视频特征分类评价结果。
[0154]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：采用目标分类器对每一帧上述视频图像进行分割处理，得到分割后的视频图像；采用第五神经网络模型对上述分割后的视频图像进行提取处理，得到上述目标对象的面部图像特征图；通过上述第三神经网络模型对上述面部图像特征图进行目标监测及精确定位处理，得到上述面部图像特征图对应的候选框区域；通过上述第四神经网络模型对上述候选框区域进行最大池化处理，得到上述面部图像特征集。
[0155]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：计算每一个上述情绪特征的评价结果对应的第一评价分数；对多个上述第一评价分数进行求和计算，得到第二评价分数；根据上述第二评价分数，确定上述客服质量评价结果。
[0156]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取上述音频信息中上述目标对象的第一违规行为对应的第一违规次数；获取上述视频信息中上述目标对象的第二违规行为对应的第二违规次数；对上述第一违规次数和上述第二违规次数进行求和计算，得到上述目标对象的违规总次数。
[0157]
可选的，上述方法还包括：判断上述目标对象的客服质量的评价指标是否达到告警阈值，其中，上述评价指标包括以下至少之一：上述音频特征分类评价结果、上述视频特征分类评价结果、上述客服质量评价结果以及上述违规总次数；若任意一项上述评价指标达到上述告警阈值，则发出告警指示。
[0158]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：对上述视频信息进行分帧处理，得到多帧视频图像；判断相邻两帧上述视频图像中存在的上述第二违规行为是否为同一违规行为；若判断结果为是，则将上述同一违规行为记为1次上述第二违规行为。
[0159]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：基于上述音频信息对上述第一神经网络模型进行训练，得到训练后的第一神经网络模型；基于上述视频信息对上述第二神经网络模型进行训练，得到训练后的第二神经网络模型；根据上述训练后的第一神经网络模型和上述训练后的第二神经网络模型，分别更新上述第一神经网络模型和上述第二神经网络模型。
[0160]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：按照预设时间长度对上述音频信息进行分段处理，得到多段音频样本；判断首段上述音频样本的声纹特征与预存声纹特征的匹配度；若上述匹配度大于或等于匹配度阈值，则获取上述语音序列；若上述匹配度小于上述匹配度阈值，则发出告警指示。
[0161]
可选的，在程序运行时控制非易失性存储介质所在设备执行以下功能：通过人脸识别模型检测每一帧上述视频图像中的人脸数量；判断上述人脸数量是否为1；若判断结果为是，则从每一帧上述视频图像中提取上述面部图像特征集；若判断结果为否，则发出告警指示。
[0162]
根据本技术实施例，还提供了一种处理器的实施例。可选的，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种客服质量的评价方法。
[0163]
根据本技术实施例，还提供了一种计算机程序产品的实施例，当在数据处理设备上执行时，适于执行初始化有上述任意一种的客服质量的评价方法步骤的程序。
[0164]
可选的，上述计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取客服服务监控信息，其中，上述客服服务监控信息为目标对象在执行服务过程中生成的音频信息和视频信息；采用第一神经网络模型，基于上述音频信息计算得到音频特征分类评价结果；采用第二神经网络模型，基于上述视频信息计算得到视频特征分类评价结果，其中，上述音频特征分类评价结果和上述视频特征分类评价结果中均包括至少一个情绪特征的评价结果；根据上述音频特征分类评价结果和上述视频特征分类评价结果，确定与上述目标对象对应的客服质量评价结果。
[0165]
根据本技术实施例，还提供了一种电子设备的实施例，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任意一种的客服质量的评价方法。
[0166]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0167]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0168]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0169]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0170]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0171]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0172]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应
视为本发明的保护范围。