用于呼叫中心响应生成的意图分析的制作方法

用于呼叫中心响应生成的意图分析
1.相关申请的交叉引用
2.本技术要求于2020年2月25日提交的名称为“intent analysis for call center response generation”的美国临时专利申请no.62/981,466的权益，该临时专利申请的全部内容通过引用并入本文中。
技术领域
3.本发明总体上涉及使用结构化框架来传递有利的对话响应的通信处理。更具体地，提供了部署框架以帮助虚拟和/或人工代理基于客户传达的意图向这些客户提供对话响应的技术。


技术实现要素：

4.下面详细讨论本发明的各种实施方式。尽管讨论了特定实现方式，但是应当理解，这仅出于说明目的。相关领域的技术人员能够认识到，在不脱离本发明的精神和范围的情况下，可以使用其他组件和配置。因此，以下描述和附图是说明性的而不能理解成是限制性的。描述了很多特定细节以提供对本发明的透彻理解。然而，在某些情况中，众所周知的或常规的细节没有被描述以避免使说明书含糊不清。对本发明的一个实施方式或一实施方式的提及可以是指同一实施方式或任一实施方式；并且，这种提及意味着实施方式中的至少一个实施方式。
5.对“一个实施方式”或“一实施方式”的提及意味着，结合该实施方式描述的特定特征、结构或特性被包括在本发明的至少一个实施方式中。在本说明书中各种地方出现的措词“在一个实施方式中”未必是全都引用同一实施方式，也不是与其他实施方式相互排斥的单独的或替选的实施方式。此外，描述了可以由一些实施方式具有而其他实施方式不具有的各个特征。
6.本说明书中所使用的术语在本发明的上下文中以及在使用各个术语的特定上下中，通常具有其在本领域中的通常含义。替选语言和同义词可用于本文中讨论的术语中的任一者或多者，并且本文是否详细阐述或讨论了术语不应有特别意义。在一些情况下，提供了用于某些术语的同义词。一个或多个同义词的记载并不排除其他同义词的使用。本说明书中任何地方使用的示例(包括本文讨论的任何术语的示例)仅是说明性的，并不旨在进一步限制本发明或任何示例术语的范围和含义。同样，本发明不限于本说明书中给出的各个实施方式。
7.不旨在限制本发明的范围，下面给出根据本发明的实施方式的仪器、装置、方法及其相关的结果的示例。需要注意的是，为了方便读者，示例中可以使用标题或副标题，其不应以任何方式限制本发明的范围。除非另有定义，否则本文中所使用的技术术语和科学术语具有本发明所属领域普通技术人员通常理解的含义。在有矛盾的情况下，将以包括定义的本技术文件为准。
8.本发明的附加特征和优势将在以下描述中进行阐述，并且某种程度上能够从描述
中显而易见或者可以从本文公开的原理的实践中习得。本发明的特征和优势可以通过所附权利要求中特别指出的仪器和结合来实现并获得。本发明的这些和其他特征能够从以下描述和所附权利要求变得更充分明显，或者可以从本文阐述的原理的实践中了解。
附图说明
9.结合附图描述本发明：
10.图1示出了根据至少一个实施方式的评估来自客户的意图以确定对该意图的解决方案并生成可由代理提供的响应的环境的说明性示例；
11.图2示出了根据至少一个实施方式的评估在客户与代理之间的通信会话期间获得的意图、响应和反馈以确定代理的表现的环境的说明性示例；
12.图3示出了根据至少一个实施方式的表现监控服务测量和管理组织的对话操作的表现的环境的说明性示例；
13.图4示出了根据至少一个实施方式的用于实现框架以帮助代理在对话期间对客户话语进行响应的过程400的说明性示例；
14.图5示出了根据至少一个实施方式的用于为客户端生成一组表现度量和用于改进或加强该组表现度量的建议的过程500的说明性示例；
15.图6示出了根据至少一个实施方式的用于通过将这些表现度量与跨各种表现度量的目标和/或行业组进行比较来对客户端的表现进行基准化的过程600的说明性示例；
16.图7示出了根据至少一个实施方式的用于基于一个或多个度量呈现客户端的表现概要的用户界面的说明性示例；
17.图8示出了根据至少一个实施方式的用于呈现计算的对应于不同表现度量的分数的用户界面的说明性示例；
18.图9示出了根据至少一个实施方式的用于通过可能的入口点呈现对关闭对话量的见解的用户界面的说明性示例；
19.图10示出了根据至少一个实施方式的用于呈现特定业务线的各种表现度量的用户界面的说明性示例；
20.图11示出了根据至少一个实施方式的用于提供可用于将关键绩效指标(kpi)与行业基准进行比较的信息的用户界面的说明性示例；
21.图12示出了根据至少一个实施方式的用于呈现用于改进一个或多个表现度量的建议和见解的用户界面的说明性示例；
22.图13示出了根据至少一个实施方式的用于呈现与指定日期范围内的关闭对话和代理登录时间相对应的数据的用户界面的说明性示例；
23.图14示出了根据至少一个实施方式的用于显示可以驱动客户端表现的配置设置的用户界面的说明性示例；
24.图15示出了根据各种实施方式的计算系统架构的说明性示例，该架构包括使用诸如总线的连接彼此电通信的各种组件；以及
25.图16示出了可以实现各种实施方式的环境的说明性示例。
26.在附图中，相似的组件和/或特征可以具有相同的附图标记。此外，相同类型的各种组件可以通过在附图标记后加上破折号和第二标记来区分，第二标记在相似的组件之间
进行区分。如果在说明书中仅使用了第一附图标记，则该描述适用于具有相同的第一附图标记的相似组件中的任一者，而与第二附图标记无关。
具体实施方式
27.随后的描述仅提供(一个或多个)实施方式的优选示例，并且不旨在限制本发明的范围、适用性或配置。相反，随后的(一个或多个)实施方式的优选示例的描述将向本领域技术人员提供用于实现实施方式的优选示例的使能描述。应当理解，在不脱离如所附权利要求书所阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
28.图1示出了根据至少一个实施方式的环境100的说明性示例，在该环境100中，评估来自客户108的意图以确定对该意图的解决方案并生成可由代理112提供的响应。特定实施方式涉及在网络设备110(其可以由客户108操作)与终端设备114(其可以由代理112操作)之间建立连接，以使客户108和代理112能够参与通信会话，例如客户服务消息传递会话。网络设备110可以包括移动设备(例如智能手机、平板电脑等)、计算设备(例如膝上型电脑、个人计算机、服务器等)、等等。
29.在一些实施方式中，客户108可以是访问客户服务呼叫中心102以提交可由客户服务呼叫中心102的代理112解决或以其他方式处理的问题或请求的个人。例如，客户108可以是希望代表他们执行服务的个人。此类服务可以包括回答问题、从代理获得任务或服务的帮助、进行交易等。
30.客户服务呼叫中心102可以是提供、操作或运行在线服务的实体，用于为客户端或其他组织的客户提供帮助，该客户端或其他组织向其客户(例如客户108)提供服务和/或商品。例如，客户服务呼叫中心102可以代表客户端或其他组织提供客户支持。在一些实施方式中，客户服务呼叫中心102由客户端或其他组织提供以处理客户端的客户提交的请求和/或问题。
31.客户服务呼叫中心102可以使用一个或多个代理112。代理112可以是个人，例如支持代理或销售助理，其任务是向客户108提供有关在线服务的支持或信息(例如，关于在线商店中可获得的产品的信息)和/或处理客户108提交的任何问题或请求(例如，退款请求、故障排除请求等)。代理112可以与客户端有关或无关。每个代理可以与一个或多个客户端相关联。在一些非限制性示例中，客户108可以是从个人计算设备110在在线商店购物的个人，客户端可以是在线销售产品的公司，并且代理112可以是由公司雇佣的销售助理。在各种实施方式中，客户108、客户端和代理120可以是其他个人或实体。
32.在一个实施方式中，客户服务呼叫中心102实现意图处理系统104，意图处理系统104被配置为处理来自客户108的传入意图。意图处理系统104可以评估从客户108到客户服务呼叫中心102的(例如，提取或接收的)消息，以与代理112互动来解决请求或问题。意图的示例可以包括(例如)主题(topic)、情绪、复杂性和紧急性。主题可以包括但不限于话题、产品、服务、技术问题、使用问题、投诉、退款请求或购买请求等。例如，可以基于对消息的语义分析(例如，通过识别关键字、句子结构、重复的词、标点符号和/或非冠词)、用户输入(例如，已经选择了一个或多个类别)、和/或与消息相关的统计信息(例如，键入速度和/或响应延迟)来确定意图。
33.在一个实施方式中，意图处理系统104分析来自客户108的传入消息以确定在其中
共享请求或问题的上下文。此外，意图处理系统104确定紧急程度如何、客户108的压力有多大、在处理请求或问题时是否有任何时间限制等。例如，如果该消息包括处理与客户的电视有关的问题的请求并且客户108已经指示客户108希望观看的大型游戏即将开始，则意图处理系统104可以确定存在处理这个问题的时间限制以及客户108可能表现出一定程度的压力或焦虑。
34.在一个实施方式中，意图处理系统104响应于获得新消息或客户话语，而从客户资料存储库116获得客户资料。客户资料存储库116可以由客户服务呼叫中心102维护或由客户端远程维护。客户资料可以包括关于客户108的历史信息和其他数据，包括但不限于客户108与客户服务呼叫中心102的代理之间的用于处理客户108可能具有的其他请求或问题的过往交互。意图处理系统104可以使用客户资料来更好地确定从客户108获得的消息的特征。
35.在一个实施方式中，意图处理系统104向代理112提供意图以及可以由代理112用来构建对意图或客户话语的响应的其他信息。在一些情况下，意图处理系统104可以向代理112提供基线响应，该基线响应包含可以产生来自客户108的积极响应的元素。例如，意图处理系统104可以指示，来自代理的响应112将包括特定的基础(例如，要传达的消息)、结尾(例如，消息的结果，例如解决问题/请求的时间线等)、和/或为可能吸引客户108的响应提供情趣或可以以其他方式减轻客户的顾虑并降低客户的压力水平的其他积极元素。由意图处理系统104提供的信息可以指导代理112在处理接收到的意图的同时准备针对客户已知或感知的偏好定制的响应。
36.在一个实施方式中，当代理112与客户108互动时，客户108可以通过在客户108和代理112之间建立的通信会话提供额外的话语或响应。这些额外的话语可以由意图处理系统104处理以进一步生成对这些话语的响应的建议和参数。因此，在通信会话期间，意图处理系统104可以评估新的话语，并且基于对客户资料的分析、产生新话语的上下文、客户108提交的原始意图、以及对话的其他特征，来确定代理112应如何响应客户108。在一些实施方式中，意图处理系统104包括机器学习模型或人工智能(ai)，其可用于处理作为输入的意图和其他客户话语以及客户资料，以生成响应。该响应可以提供给代理112，代理112可以将该定制响应提供给客户108。
37.在一个实施方式中，代理112使用被设计为帮助虚拟和/或人工代理向客户服务呼叫中心102的客户传递积极对话体验的框架来训练。例如，客户服务呼叫中心102可以包括代理训练系统118，该代理训练系统118定义了一系列动作，这些动作被执行为准确地捕获客户服务呼叫中心102的客户在与代理的对话中表达的关键元素，并确定如何最好地充分对客户进行响应。代理训练系统118可以使用与客户服务呼叫中心102相关联的计算设备(例如，由客户服务呼叫中心102提供、由与客户服务呼叫中心102相关联的第三方服务提供等)来实现。代理训练系统118可以被配置为处理情境和情绪元素(无论是明确的还是暗示的)以使代理能够满足客户意图和期望，同时保持流畅和自然的对话。
38.代理训练系统118可以在“分析、识别、响应”框架下操作，代理训练系统118可以通过该框架识别代理112可以做出的任何改进以更好地对客户服务呼叫中心102的客户进行响应。例如，在一个实施方式中，代理训练系统118处理与代理112和客户服务呼叫中心102的客户之间的先前交互相对应的历史数据。该历史数据可以从客户服务呼叫中心102维护
的客户关系管理(crm)系统(未示出)获得或从代理训练系统118维护的历史对话数据存储器获得。代理训练系统118可以处理与代理112和客户服务呼叫中心102的客户之间的对话相对应的历史对话数据、以及来自客户资料存储库116的客户的相应客户资料，以识别客户响应中的明确和隐含元素并将这些响应置于上下文中。
39.在一个实施方式中，代理训练系统118使用机器学习算法或人工智能来识别代理112可以采取的行动，以提高他们识别客户响应中的明确和隐含元素的能力，并将这些元素置于上下文中以确定它们可能与什么(例如，相关联的意图等)有关。机器学习算法或人工智能可以使用监督训练技术进行训练。例如，机器学习算法或人工智能可以使用样本对话和针对由机器学习算法或人工智能基于样本对话生成的建议提供的相应反馈来训练，以识别明确和隐含元素并将这些元素置于上下文中。作为说明性示例，机器学习算法或人工智能的评估者(例如，代理训练系统118的管理员、客户服务呼叫中心102的代理、被引入以执行此类评估的独立方等)可以审查提供的建议并确定这些建议是否有益于改进代理对客户的响应。在某些情况下，评估者可以充当客户，其可以将新消息发送给样本代理，以确定样本代理在响应这些消息方面的表现是否由于所提供的建议而有所改进。例如，评估者可以基于提供的建议确定代理是否能够快速识别评估者的意图并提供有利于评估者以积极方式处理意图的响应。基于该反馈，可以再训练机器学习算法或人工智能，以基于可用于代理的历史对话数据向代理提供更准确或改进的建议。
40.在一个实施方式中，机器学习算法或人工智能的输出提供条件逻辑，当代理识别检测到的客户消息的隐含和明确元素与什么相关时，代理可以使用该条件逻辑。该条件逻辑可以引入不同的元素来处理基于检测到的客户消息的隐含和明确元素而识别的意图。例如，条件逻辑可以包括用于处理客户意图的成分(例如，当客户开始向客户服务呼叫中心102传送消息时客户可能正在请求或想要什么)和构成对应于客户要采取的可能的下一个问题或动作的另一部分的成分。除了这些元素之外，机器学习算法或人工智能还可以提供建议，以便对对话中的积极或消极情绪元素(例如沮丧、失望、压力、快乐、幸福、满足等)做出适当的反应。
41.除了提供用于识别客户消息的隐含和明确元素的建议并基于这些元素确定、识别意图以及对对话中的情绪元素进行响应之外，机器学习算法或人工智能还可以进一步评估代理响应在提交之前的定性和定量方面。例如，当代理112生成要提交的对客户消息的响应时，代理训练系统118(使用机器学习算法或人工智能)可以实时评估该响应，以确定每个识别的元素是否已经在代理112提出的响应中被处理。此外，代理训练系统118可以根据识别的元素和客户108对努力的积极感知的可能性提供被认为对于改进响应所必需的任何反馈。
42.代理训练系统118可以基于通信会话的传入数据流和/或对话的脚本来确定代理112是否已经遵循代理训练系统118准备的建议或响应。如果代理训练系统118确定代理112没有遵循代理训练系统118准备的建议或响应，则代理训练系统118可以执行一个或多个补救动作，例如向代理112或代理112的监督者发送通知112以指示为改进代理112的表现而要采取的任何必要步骤。
43.在一个实施方式中，上述机器学习算法基于来自新对话的上下文、明确元素和隐含元素以及在这些新对话期间交换的消息、与在这些新对话期间提供给代理的建议相对应
的数据(例如，对建议的遵守率等)、以及与这些新对话的代理表现相对应的指标进行再训练。例如，如果机器学习算法正在生成未被遵守的建议，并且代理表现已显示出改进，则可以再训练机器学习算法以生成与代理执行的动作相对应的更准确或更适当的建议，从而导致改进的表现。替选地，如果代理遵守所提供的建议并且代理表现已经显示出这些对话的改进，则可以训练机器学习算法以加强类似建议的生成。
44.在一个实施方式中，客户服务呼叫中心102包括表现监控系统106，其被配置为基于客户108对在客户108和代理112之间的通信会话期间的代理响应的反馈来确定代理112的表现。例如，表现监控系统106可以处理通信会话的传入数据流和/或客户108和代理112之间的对话的脚本，以确定客户108如何对代理112的每个话语进行响应。
45.在一个实施方式中，表现监控系统106向代理训练系统118提供关于代理遵守由意图处理系统104和/或代理训练系统108准备的建议或响应的反馈。此外，表现监控系统106可以向代理训练系统118提供客户108关于客户108和代理112之间的通信会话提供的任何反馈。例如，在通信会话结束时或在通信会话期间的任何时间点，表现监控系统106可以向客户108发送请求以评估代理112在处理客户的意图或其他问题时的表现。表现监控系统106可以提示客户108指示代理112是否能够以积极的方式有效地响应客户的意图或其他问题。此外，表现监控系统106可以提示客户108指示其关于通信会话的情绪。例如，如果客户108在通信会话中对代理112有负面体验，则客户108可以提供用于代理改进和/或处理客户的意图或其他问题的反馈。替选地，如果客户108在通信会话中对代理112有正面体验，则客户108可以提供指示代理112在识别客户的意图或其他问题以及处理该意图或其他问题时正确地做了什么的反馈。
46.在一些实施方式中，表现监控系统106基于客户108在通信会话期间如何响应代理的话语来更新客户108的客户资料。例如，表现监控系统106可以评估通信会话的传入数据流和/或对话的脚本以确定客户的压力或焦虑水平是否由于代理对意图的响应而降低。这可以包括与被归类为与客户压力或焦虑相关联的客户108的已知语义模式相比较的客户话语的语义分析。如果检测到客户情绪的这种变化，则表现监控系统106可以更新客户108的客户资料以指示代理的话语在安抚客户108或使客户108平静方面是有效的。
47.在一个实施方式中，表现监控系统106还评估通信会话的传入数据流和/或对话的脚本以确定代理112是否满足了意图。例如，表现监控系统106可以确定客户108是否已经对其请求或由代理112成功解决的问题提供了感谢或其他确认。如果是，则表现监控系统106可以指示由意图处理系统104生成的响应在解决问题或请求方面是有效的。然而，如果表现监控系统106确定没有满足意图，则表现监控系统106可以更新意图处理系统104以使意图处理系统104生成可用于满足意图的替选响应。这可包括更新可用于训练由意图处理系统104使用的机器学习模型或ai的训练数据以生成对客户意图的响应。
48.表现监控系统106可以通过其他机制获得客户反馈。例如，在通信会话结束时，可以向客户108提供可以由客户108完成的表格或调查，以便提供其关于代理112的表现的反馈。可以提示客户108来指示代理112是否能够有效地使用对话镀金并对对话的情绪方面进行响应。此外，可以提示客户108来确定代理112是否能够成功地满足客户的意图。表现监控系统106可以使用来自客户108的该反馈来如上所述评估代理112。
49.在一个实施方式中，表现监控系统106跟踪每个代理112的表现并将该表现与客户
服务呼叫中心102的现有表现度量相关联，以便准确地识别代理组或个体的训练和辅导机会、它们如何影响客户端运营的整体表现，并确定补救活动的优先级。例如，在一个实施例中，表现监控系统106向代理训练系统118提供对应于每个代理112的表现的详细度量，以识别可以被执行以改进这些代理在响应客户消息方面的表现的一系列动作。作为说明性示例，代理训练系统118可以使用与代理112针对一个或多个对话的表现相对应的详细度量、以及与这一个或多个对话相对应的脚本或交换消息作为机器学习算法或人工智能的输入，以生成可以由代理112执行的用于表现改进的建议，从而提高代理112识别客户意图并以可能产生来自客户的积极响应的方式对这些意图进行响应的能力。在一些情况下，表现监控系统106可以跟踪代理112对代理训练系统118提供的建议和训练的遵守情况，由此表现监控系统106可以将这些建议的遵守和训练与代理112在向与客户服务呼叫中心102相关联的客户提供积极客户体验方面的表现相关联。
50.在一个实施方式中，表现监控系统106向客户端提供门户，该门户可用于跟踪客户端的各种表现指标，以及将客户端的表现与竞争对手的表现进行比较。表现监控系统106可以通过门户或其他界面提供平衡效率和有效性的度量驱动的最佳实践。例如，表现监控系统106可以提供用户界面，该用户界面提供一组与不同测量支柱(例如，操作、自动化、意图、销售等)对应的交互式面板。这些衡量支柱中的每一个都可能包括面板模块和实现框架，用于阐明主要和次要kpi如何影响成功和客户端表现。用户界面可以提供具有相关上下文的不同客户端度量的综合视图，例如行业基准、账户设置和度量相关性。
51.表现监控系统106用来提供对与客户服务呼叫中心102相关联的代理的表现的见解的框架可以依赖于基于努力、情绪、效率和有效性生成的度量。例如，与努力相关联的度量可以对应于客户服务呼叫中心102的代理或与客户服务呼叫中心102互动的其他客户端处理客户意图所需的努力量。例如，基于在代理处理客户意图和问题时的表现，表现监控系统106可以确定代理处理客户意图和问题所需的努力量并计算对应于该努力量的一个或多个度量。作为说明性示例，如果客户108需要与客户服务呼叫中心102反复联系以处理他们的问题、经历代理之间的多次转移以处理他们的问题、和/或经历相当长的等待时间以处理他们的问题，则表现监控系统106可以分配与处理客户意图和其他问题所需的高努力量对应的分数。例如，表现监控系统106可以分配对应于所需的高努力量的高分数，而低分数可以对应于代理处理客户意图或问题所需的少努力量。
52.类似地，表现监控系统106可以确定客户服务呼叫中心102或与客户服务呼叫中心102相关联的其他客户端的客户的情绪水平，以计算代理的情绪分数。例如，如果大量对话与取消和计费纠纷有关，这有在情绪上发生变化的很高的倾向，进而导致更多的代理投诉或升级，则表现监控系统106可以计算与客户的消极情绪负荷相对应的情绪分数。替选地，如果大量对话得到积极解决，从而客户对解决方案感到满意，则表现监控系统106可以计算与客户的积极情绪负荷相对应的情绪分数。
53.表现监控系统106可以进一步确定代理在随时间推移处理客户意图或问题方面的效率水平，以计算客户服务呼叫中心102或与客户服务呼叫中心102相关联的其他客户端的效率分数。例如，表现监控系统106可以权衡可用资源(例如，代理可用性等)和需求(例如，与客户服务呼叫中心102的客户联系等)之间的平衡。例如，如果代理具有低在线率，从而代理只能在白天/轮班期间的有限时间段内接收新对话，则表现监控系统106可以分配与代理
的低效率水平相对应的效率分数。替选地，如果代理具有高在线率并且能够在白天/轮班期间在更广泛的时间范围内接收新对话，则表现监控系统106可以分配与代理的较高效率水平相对应的效率分数。
54.表现监控系统106使用的框架可以进一步用于确定代理在利用可用能力和工具处理客户意图和问题方面的有效性水平。例如，如果表现监控系统106基于对代理的表现的评估确定代理没有利用自动化工具来结束对话或在代理之间分配对话，则表现监控系统106可以分配与代理的低有效性水平相对应的有效性分数。类似地，如果表现监控系统106确定代理正在以高于平均水平的快速速率发送多条消息，同时几乎没有时间来设计针对客户意图或问题的解决方案，则表现监控系统106可以分配与代理的低有效性水平相对应的有效性分数。
55.如上所述，表现监控系统106可以通过门户或其他界面向客户服务呼叫中心102或与客户服务呼叫中心102相关联的其他客户端的管理员提供上述分数和其他度量。在一个实施方式中，除了这些分数和其他度量之外，表现监控系统106利用机器学习算法或人工智能来自动提供对所有对话操作的评估，这可以导致数据驱动的决策制定以改进代理表现。例如，表现监控系统106可以提供与代理和客户之间的对话相对应的度量和特征(例如，对话主题或意图、客户调查或反馈、消息传递速率度量、代理可用性度量、与自动化工具或能力的使用相关联的度量等)、实际对话脚本等作为机器学习算法或人工智能的输入，以获得对代理表现的评估并确定用于改进的可能的解决方案或建议。例如，机器学习算法或人工智能的输出可以提供对代理和客户之间已经发生或正在发生的已经导致这些代理的当前表现水平的事情的描述。此外，机器学习算法或人工智能的输出可以提供与关于已经发生或正在发生的事情的根本原因相对应的诊断信息。例如，输出可以指示客户对代理提供的响应不满意，因为代理的响应时间过长，并且通常无法及时识别客户问题或无法处理客户问题。
56.在一些情况下，表现监控系统106用来提供对代理表现的评估以及确定解决方案和改进建议的机器学习算法可以基于代理因遵守或忽略所提供的解决方案和建议而导致的更新的表现度量来再训练。例如，客户端可以提供关于代理表现的反馈，这些反馈是由所提供的解决方案和建议的实施而产生的。该反馈可用于再训练机器学习算法以加强算法(例如，遵守解决方案和建议导致代理表现显著改进)或再训练算法以提供更准确或适当的解决方案和建议(例如，遵守解决方案和建议不会导致代理表现变化或显著恶化)。在一些情况下，表现监控系统106可以随着时间评估代理表现、以及对提供的解决方案和建议的遵守情况，以确定代理表现与对提供的解决方案和建议的遵守之间是否存在相关性。基于该评估，表现监控系统106可以再训练机器学习算法以基于代理表现提供更好的解决方案和建议。
57.除了提供对客户-代理对话所面临的问题和这些问题背后的原因的描述之外，机器学习算法或人工智能可以提供关于如何纠正这些问题以改善客户体验的一个或多个建议。例如，使用由于代理响应客户时间过长且无法及时识别客户问题而导致客户不满意的上述示例，机器学习算法或人工智能可以建议对代理进行补救训练，以更好地使用自动化工具、例如被配置为处理客户消息以识别问题或意图的工具来识别这些问题。如果已经实施了这些工具，但代理没有有效地使用这些工具，则机器学习算法或人工智能可以建议，训
练代理如何有效地利用这些工具，或者替选地，如何使用这些工具自动处理所有消息，以便为代理提供识别和处理客户意图和问题的适当建议。
58.在一个实施方式中，使用机器学习算法或人工智能的表现监控系统106可以进一步通过门户或其他界面提供关于在上述建议被实施的情况下代理的表现改进的预测。例如，机器学习算法或人工智能可以指示，如果实施所提供的建议，则与努力、情绪、效率和有效性相对应的度量可能会提高一定的幅度。机器学习算法或人工智能可以使用数值度量值(例如，“效率将提高56％”等)和/或描述性叙述(例如，“代理效率应该明显提高”)来提供这种预测，该预测可以通过门户或其他界面结合已识别问题的描述、描述这些问题为什么正在发生或已经发生的诊断信息以及处理这些问题的建议被呈现。
59.机器学习算法或人工智能可以使用监督训练技术进行动态训练。例如，可以选择输入对话、反馈、代理表现度量、已知改进程序以及由于应用或忽略改进程序而引起的结果的数据集来训练机器学习模型。可以评估机器学习模型以基于供应给机器学习模型的样本输入来确定机器学习模型是否基于代理在处理客户意图或问题方面的表现来提取预期的建议和预测。基于该评估，可以修改机器学习模型以增加机器学习模型生成期望结果的可能性。机器学习模型还可以通过从客户端(包括客户服务呼叫中心102或与代理112相关联的客户端)征求关于机器学习算法或人工智能提供的评估、建议和预测的反馈来动态训练以改进代理表现。例如，如果客户服务呼叫中心102实施由机器学习算法或人工智能提供的一个或多个建议，则表现监控系统106可以基于代理112在处理与客户的对话方面的表现来获得对应于代理112的新表现度量。表现监控系统106可以确定客户服务呼叫中心102和代理112采取了哪些步骤来处理表现监控系统106识别的问题，并确定新的表现度量是否对应于机器学习算法或人工智能指示的预测的表现改进。该确定(包括变动等)可用于进一步训练机器学习算法或人工智能，以提供更准确的表现改进的预测并更好地生成表现改进的建议。
60.在一个实施方式中，表现监控系统106还提供基准面板或其他界面，管理员可以通过这些基准面板或其他界面将他们的代理的表现与跨各种kpi的目标和/或行业组(例如上述那些)进行比较。例如，管理员和其他实体可以通过基准面板选择一个或多个目标和/或行业组，表现监控服务106可以针对这些目标和/或行业组生成跨各种kpi的比较。这一个或多个目标和/或行业组还可以利用表现监控系统106来评估他们的代理和组织关于他们在与客户的对话中的表现。附加地或替选地，表现监控系统106可以通过其他来源(例如，出版物、第三方表现评估者等)获得这一个或多个目标和/或行业组的各种表现度量。
61.表现监控系统106可以通过基准面板指示与管理员选择的一个或多个目标和/或行业组为实现其表现度量所采取的行动有关的任何见解。例如，表现监控系统106可以针对特定目标提供执行一个或多个动作之前的表现度量(例如，实施用于识别客户意图的自动化能力、训练代理以遵守来自代理训练系统118的建议等)和执行一个或多个动作之后的表现度量。这可以允许管理员容易地确定这些动作的影响并确定是否可以对其代理实施类似的动作。在一些情况下，表现监控系统106可以提供关于一个或多个目标和/或行业组遇到的问题、遇到这些问题的原因、为处理这些问题采取或建议的动作、以及由这些动作的执行或忽略产生的结果的见解。
62.在一些情况下，表现监控系统106可以通过基准面板提供组织(例如，客户服务呼
叫中心102等)的kpi与按意图和/或业务线划分的一个或多个目标和/或行业组的kpi的比较。例如，表现监控系统106可以根据由表现监控系统106通过评估对话脚本和提供的关于组织的运营的任何信息(例如，业务单元、组织通常处理的问题等)确定的特定意图、意图类别和/或业务线来汇总各种代理112的表现度量。表现监控系统106可以根据管理员利用基准面板选择的特定意图、类别和/或业务线来生成组织的表现度量与一个或多个目标和/或行业组之间的比较。这可以提供关于代理112在处理不同意图或处理与不同业务线相关的问题方面的表现的更多粒度的细节。
63.表现监控系统106可以包括允许客户端(例如，客户服务呼叫中心102等)定义报告单元并将数据以相关分段保存的配置引擎。这些分段可能会随着时间的推移而持续存在，从而消除了定义过滤器所花费的时间，进而减少了产生见解的时间。客户端还可以通过用户界面使用描述性数据(例如全天候运营(24/7运营)、专用消息传递代理、程序目标等)标记报告单元。
64.图2示出了根据至少一个实施方式的评估在客户206和代理210之间的通信会话期间获得的意图214、响应216和反馈以确定代理210的表现的环境200的说明性示例。客户206和代理210可以分别参与通过网络设备208和终端设备212建立的通信会话。
65.在环境200中，客户206可以通过通信会话向意图处理系统202提交意图214。如图2所示，客户206已经指示它正尝试在其主账户和它已经开设的新弹性账户之间转移资金。意图处理系统202可以评估该意图214以确定客户206希望处理的问题。在该特定情况中，客户206可能在将资金从一个在线账户转移到另一个账户时遇到问题。基于提供的意图214，意图处理系统202可以确定请求或问题被共享的上下文、紧急程度、客户206的压力或焦虑水平、是否存在时间压力等。此外，意图处理系统202可以基于意图214识别客户206希望解决的问题。
66.在一个实施方式中，基于识别的意图214，意图处理系统202识别解决客户206提供的问题或请求所需的过程。例如，基于客户206提供的意图214，意图处理系统202可以确定在客户可以将资金转入账户之前必须对账户进行授权。此外，意图处理系统202可以确定对账户进行授权可以在线执行。基于所识别的过程，意图处理系统202可以形成用于以不仅解决意图而且以导致积极的客户体验的方式来响应客户意图214的策略。这可以包括形成响应的基础、响应的期望结果、和/或任何积极的补充以对响应形成认识。可以通过分析过去的客户与代理的交互，基于客户资料中识别的客户偏好来生成提议的响应的内容。
67.意图处理系统202可以向代理210提供提议的响应策略和准备好的响应，代理210可以使用这些响应策略和响应来准备对客户意图214的响应。如图2中所示，代理210可以提供指示它理解问题(“我看到了问题”)并使用可能吸引客户206的语言来提供对意图214的解决方案的确认。
68.在一个实施方式中，代理训练系统204监控客户206和代理210之间的交互以确定代理210是否遵守由意图处理系统202在处理意图214时生成的提议的响应策略。例如，代理训练系统204可以评估任何客户话语以确定意图214是否正在被满足。此外，表现监控系统204可以评估代理的话语以确定这些话语是否符合由意图处理系统202提供的提议的响应和策略。作为说明性示例，代理训练系统204可以确定当客户206用“好”进行响应时，客户206已经确认代理的指令并且能够按照这些指令成功地执行操作。此外，当客户206用“谢
谢！这行得通！”进行响应时，代理训练系统204可以确定客户206感谢代理210提供的帮助并且具有积极的体验。该信息可用于衡量代理210的表现，以及可用于更新客户资料以提供用于确定如何最好地响应客户意图的附加数据点的输入。
69.在一个实施方式中，如果代理训练系统204确定代理210没有遵守由意图处理系统202提供的提议的响应策略和准备好的响应，或者没有遵守代理训练系统提供的建议，则代理训练系统204可以与代理210通信以加强所提议的响应策略，从而进一步鼓励代理210在与客户关于特定和/或类似意图进行通信时并入所提议的响应策略和准备好的响应。附加地或替选地，代理训练系统204可以向代理210的管理员或其他监督者发送通知以指示将采取的任何必要步骤以鼓励代理210遵守代理训练系统204提供的建议和/或意图处理系统202提供的提议的响应策略和准备好的响应。
70.如上所述，代理训练系统204提供被设计成帮助虚拟和/或人工代理向客户传递积极对话体验的框架。代理训练系统204可以在“分析、识别、响应”框架下操作，代理训练系统204可以通过该框架识别代理210可以做出的任何改进以更好地对客户进行响应。代理训练系统204可以处理与代理和客户之间的先前交互相对应的历史数据，以识别客户响应中的明确和隐含元素并将这些响应置于上下文中。此过程可以导致创建条件逻辑，当代理识别出检测到的客户消息的隐含和明确元素与什么相关时，代理可以使用该条件逻辑。在一些实施方式中，该条件逻辑和所识别的改进可用于进一步增强意图处理系统202以使意图处理系统202能够更好地实时识别客户响应中的明确和隐含元素并动态生成可以提供给代理210的建议的响应，以更好地指导代理210向客户提供可能对客户的意图产生积极解决方案的响应。此外，代理训练系统204可以在代理响应被提交之前评估代理响应的定性和定量方面。代理训练系统204可以实时评估该响应以确定代理210在提议的响应中是否已经处理了每个识别的元素。
71.图3示出了根据至少一个实施方式的表现监控服务302测量和管理组织的会话操作的表现的环境300的说明性示例。在环境300中，表现监控系统302可以处理基于客户314和与客户服务呼叫中心相关联的代理316之间的对话而生成的对话数据318，以生成代理316的表现度量并提供与这些代理316的表现相关的各种见解。在一个实施方式中，表现监控系统302包括表现评估子系统304，其被配置为处理对话数据318以生成代理316的表现度量。表现评估子系统304可以使用与表现监控系统302相关联的计算设备来实现。
72.表现评估子系统304可以周期性地获得对话数据318。例如，表现评估子系统304可以访问由客户服务呼叫中心或负责维护与客户314和代理316之间的现有对话相关联的记录的其他实体所维护的对话数据存储库或数据存储器。对话数据存储库或数据存储器可以包括与客户服务呼叫中心处理的每个对话相对应的对话脚本或记录。对话脚本或记录可以包括在对话过程期间在特定客户与一个或多个代理之间交换以处理特定意图或问题的各种消息。因此，对话脚本或记录可以与特定客户以及客户试图解决的特定意图或问题相关联。此外，对话脚本或记录可包括识别信息，该识别信息和与客户互动以处理特定意图或问题的代理或代理组(例如，虚拟和/或人工)相关联。因此，表现评估子系统304可以处理现有对话并生成与现有对话的代理或代理组相关联的表现度量，将这些表现度量与特定意图、客户和/或业务线相关联，以及在代理的表现与特定意图/意图类型、客户和/或业务线之间创建相关性。
73.在一个实施方式中，表现评估子系统304可以实时处理对话的对话数据318以确定代理或代理组关于特定对话的实时表现。例如，表现评估子系统304可以被配置为评估与客户314和代理316之间的现有对话相对应的消息的传入数据流，以实时确定这些代理316的表现度量的动态集合。作为说明性示例，当在特定客户和代理之间交换新消息时，表现评估子系统304可以为代理计算一个或多个表现度量。如果表现评估子系统304检测到新消息已被交换，则表现评估子系统304可以动态且实时地重新计算代理的一个或多个表现度量，从而为代理提供更新的表现度量。
74.如上所述，这些表现度量可以对应于建立在与努力、情绪、效率和有效性相关的客户和客户端利益之上的框架。例如，与努力相关的度量可以对应于代理316处理客户意图所需的努力量。例如，基于代理316在处理客户意图和问题方面的表现，表现评估子系统304可以确定代理316处理客户意图和问题所需的努力量并计算对应于该努力量的一个或多个度量。类似地，表现评估子系统304可以在参与和代理316的对话以计算代理的情绪分数的同时，确定客户314的情绪水平。表现评估子系统304可以进一步确定随着时间的推移代理316在处理客户意图或问题方面的效率水平，以通过权衡可用资源(例如代理可用性等)和需求(例如，客户与客户端的联系等)之间的平衡来计算每个代理的效率分数。表现评估子系统304还可以确定代理316在利用可用能力和工具处理客户意图和问题方面的有效性水平。
75.在一个实施方式中，表现评估子系统304通过表现监控系统302提供的面板310向客户端312呈现为每个代理或代理组316计算的表现度量。表现评估子系统304可以根据客户端312提供的一个或多个配置设置呈现计算的表现度量。例如，如果客户端312指示它想要根据业务线或代理的其他分类查看代理的汇总表现度量，则表现评估子系统304可以根据业务线或代理的其他分类(如客户端312所示的)汇总这些表现度量，并通过面板310将汇总的表现度量呈现给客户端312。在一些情况下，客户端312可以通过面板310提交查询以获得特定代理或代理组的表现度量。响应于该查询，表现评估子系统304可以汇总特定代理或代理组的表现度量并更新面板310以提供汇总的表现度量。在一个实施方式中，表现评估子系统304可以动态地和实时地更新面板310以在客户314和代理316之间实时交换消息的同时为代理316提供最新的表现度量。这可以允许客户端312实时跟踪任何代理的表现并且潜在地在任何代理问题发生时识别这些代理问题。
76.在一个实施方式中，除了这些表现度量之外，表现监控系统302可以生成对代理表现的各种见解，这些见解可以用于识别与客户端312相关联的代理316的改进或加强领域。例如，如图3所示，表现评估子系统304可以将对话数据318以及计算的代理316的表现度量发送到表现见解生成器308，以识别这些改进或加强领域并提供对客户端312的对话操作的任何有价值的见解。表现见解生成器308可以使用与表现监控系统302相关联的计算设备来实现。
77.在一个实施方式中，表现见解生成器308利用机器学习算法或人工智能来自动提供对客户端的对话操作的评估，这可以导致数据驱动的决策制定以改进代理表现。例如，表现见解生成器308可以提供与代理和客户之间的对话相对应的度量和特征(例如，对话主题或意图、客户调查或反馈、消息传递速率度量、代理可用性度量、与自动化工具或能力的使用相关联的度量等)、实际对话脚本等(如由表现评估子系统304提供、直接从客户端312获得，等等)作为机器学习算法或人工智能的输入，以获得对代理表现的评估并确定用于改进
的可能的解决方案或建议。机器学习算法或人工智能的输出可以提供对代理316和客户314之间已经发生或正在发生的已经导致这些代理316的当前表现水平的事情的描述。此外，机器学习算法的输出或人工智能的输出可以提供与关于已经发生或正在发生的事情的根本原因相对应的诊断信息。例如，该输出可以指示客户314对代理316提供的响应不满意，因为代理316的响应时间过长，并且通常无法及时识别客户问题或者无法处理客户问题。
78.表现见解生成器308还可以提供关于如何纠正这些问题以改善客户体验的一个或多个建议。例如，使用由于代理响应客户时间过长且无法及时识别客户问题而导致客户不满意的上述示例，表现见解生成器308使用的机器学习算法或人工智能可以建议对代理进行补救训练，以更好地使用自动化工具来识别这些问题。如果已经实施了这样的工具，但代理316没有有效地使用这些工具，则机器学习算法或人工智能可以建议，训练代理316如何有效地利用这些工具，或者替选地，如何使用这些工具自动处理所有消息，以便为代理提供识别和处理客户意图和问题的适当建议。
79.除了提供用于改进或加强代理表现的一个或多个建议之外，表现见解生成器308还可以提供关于代理316的表现可能如何通过实施一个或多个建议而受到影响的预测。例如，表现见解生成器308可以指示如果实施所提供的建议，则与努力、情绪、效率和有效性相对应的度量可能会提高一定的幅度。表现见解生成器308可以使用数值度量值(例如，“效率将提高56％”等)和/或描述性叙述(例如，“代理效率应该明显提高”)来提供这种预测，该预测可以通过面板310结合已识别问题的描述、描述这些问题为什么正在发生或已经发生的诊断信息以及处理这些问题的建议被呈现。
80.如上所述，表现监控系统302可以提供面板310，客户端312可以通过面板310将其代理316的表现与跨各种表现度量(例如kpi)的目标和/或行业组进行比较。例如，客户端312可以通过面板310选择一个或多个目标和/或行业组，表现监控服务302可以针对这些目标和/或行业组生成跨各种表现度量的比较。这一个或多个目标和/或行业组还可以利用表现监控系统302来评估他们的代理和组织关于他们在与客户的对话中的表现。附加地或替选地，表现监控系统302可以通过其他来源(例如，出版物、第三方表现评估者等)获得这一个或多个目标和/或行业组的各种表现度量。
81.在一个实施方式中，表现监控系统302将与客户端312以及与其他目标和/或行业组相关联的表现数据存储在比较数据存储器306中。例如，当表现评估子系统304计算与客户端312相关联的一组代理的表现度量时，表现评估子系统304可以将与客户端312相关联的表现度量存储在比较数据存储器306中。此外，由表现见解生成器308基于与客户端312相关联的代理316的表现度量生成的见解、建议和预测也可以与由表现评估子系统304为代理316计算的表现度量相关联地存储在比较数据存储器306中。可以为与表现监控系统302相关联每个客户端执行该过程，使得比较数据存储器306可以为每个客户端存储可比较的表现度量和见解。
82.此外，比较数据存储器306可以存储可能不能由表现监控系统302服务但可以提供用于确定与表现监控系统302相关联的客户端的相对表现的基准的其他目标和/或行业组的数据。例如，表现监控系统302可以通过其他来源(例如，出版物、第三方表现评估者等)获得这一个或多个目标和/或行业组的各种表现度量。例如，表现监控系统302可以订阅与表现度量的其他来源相关联的一个或多个数据流，以获得这一个或多个目标和/或行业组的
表现度量。在一些情况下，如果所获得的与一个或多个目标和/或行业组相关联的表现度量或其他数据的格式不益于提供与客户端312的表现度量的基准比较，则表现监控系统302可以处理使用表现评估子系统304获得的表现度量或其他数据以生成可用于本文所述的基准比较目的的用于一个或多个目标和/或行业组的一组新的表现度量。
83.通过面板310，表现监控系统302可以指示与客户端312选择的一个或多个目标和/或行业组采取的动作相关的任何见解，以实现他们根据不同分类(例如，业务线、每种代理类型等)的相应表现度量。例如，表现监控系统302可以针对特定目标并通过面板310提供执行一个或多个动作(例如，实施用于识别客户意图的自动化能力、训练代理遵守来自代理训练系统的建议等)之前的特定目标的表现度量和执行一个或多个动作之后的特定目标的表现度量。这可以允许客户端312容易地确定这些动作的影响并确定是否可以对其代理316实施类似的动作。在一些情况下，表现监控系统302可以通过表现见解生成器308提供关于一个或多个目标和/或行业组遇到的问题、遇到这些问题的原因、为处理这些问题而采取或建议的动作、以及由这些行动的执行或忽略产生的结果的见解。
84.在一些情况下，基于由表现见解生成器308提供并通过面板310呈现的见解和建议，客户端312可以请求，代理训练系统使用所提供的见解和建议来定义为准确捕获客户314在与代理316的对话中表达的关键元素并确定如何最好地充分响应客户314而执行的一系列动作。如上所述，代理训练系统可以被配置为处理情境和情绪元素(无论是明确的还是隐含的)，以使代理316能够满足客户的意图和期望，同时保持流畅且自然的对话。基于由表现见解生成器308提供的见解和建议，代理训练系统可以识别可以采取的动作来处理这些元素，以便使代理316能够根据生成的见解和建议来满足客户的意图和期望。
85.图4示出了根据至少一个实施方式的用于实现帮助代理在对话期间对客户话语进行响应的框架的过程400的说明性示例。过程400可以由客户服务呼叫中心的代理训练系统来执行。如上所述，代理训练系统可以被配置为定义一系列动作，这些动作为准确捕获客户在与代理的对话中表达的关键元素并确定如何最好地充分响应客户而执行。此外，代理训练系统还可以被配置为处理情境和情绪元素(无论是明确的还是隐含的)，以使代理能够满足客户的意图和期望，同时保持流畅且自然的对话。
86.在步骤402，代理训练系统处理对应于与客户端相关联的代理和客户之间的先前交互的历史数据。该历史数据可以从由客户端维护的crm系统或由代理训练系统维护的历史对话数据存储器中获得。代理训练系统118可以处理与代理和客户端的客户之间的对话相对应的历史对话数据、以及客户的相应客户资料，以识别客户响应中的明确和隐含元素并且将这些响应置于上下文中。在一些情况下，代理训练系统可以从表现监控系统获得与客户端相关联的表现度量。例如，代理训练系统可以查询表现监控系统以获得与客户端相关联的每个代理的表现度量以及由表现监控系统生成的用于改进这些表现度量的任何见解或建议。
87.在步骤404，代理训练系统识别在历史数据中指定的先前交互中的明确和隐含元素。代理训练系统可以使用机器学习算法或人工智能来处理这些先前的交互，该机器学习算法或人工智能经训练以提取这些先前交互中的明确和隐含元素并识别相应客户在这些交互期间呈现的任何意图和/或问题。另外，在一个实施方式中，代理训练系统可以评估这些交互以测量在这些先前交互期间识别客户话语中的明确和隐含元素方面的代理表现。可
以根据从相应代理的表现监控系统获得的表现度量来评估在识别明确和隐含元素方面的代理表现，从而在识别对话中的明确和隐含元素方面的代理表现与由代理的表现监控系统计算的表现度量之间创建相关性。
88.在步骤406，代理训练系统可以使用历史数据内的关键信息将所识别的先前交互的明确和隐含元素置于上下文中。例如，代理训练系统可以获得与过往通信会话的先前评估对应的数据，过往通信会话由与历史数据中记录的先前交互相关联的客户提供。对应于这些先前评估的数据可以指示客户通信的特定元素，这些元素可能指示某些情绪、压力、意图等。因此，基于这些历史和从客户话语中识别的元素，代理训练系统可以确定客户话语中识别的元素在先前交互的上下文中属于什么。
89.在步骤408，代理训练系统生成条件逻辑，代理可以使用该条件逻辑来基于客户话语的明确和隐含元素来处理意图。例如，上述机器学习算法或人工智能的输出可以提供条件逻辑，在代理识别出检测到的客户消息的隐含和明确元素属于什么时，代理可以使用该条件逻辑。该条件逻辑可以引入不同的元素来处理基于检测到的客户消息的隐含和明确元素而识别的意图。例如，条件逻辑可以包括用于处理客户意图的成分(例如，当客户开始向客户端传送消息时客户可能正在请求或想要什么)和构成对应于客户要采取的可能的下一个问题或动作的另一部分的成分。
90.在步骤410，除了这些元素之外，代理训练系统还可以提供建议，以便对对话中的积极或消极情绪元素(例如沮丧、失望、压力、快乐、幸福、满足等)做出适当的反应。例如，代理训练系统可以提供对与对话中的不同情绪元素相对应的客户话语的样本响应作为建议。可以生成这些样本响应以提供来自客户的更积极的情绪响应，这反过来可以导致改进的客户关于对话的反馈。一个或多个建议还可以向代理提供使用一个或多个自动化工具的指令，以更有效地处理某些意图或问题。例如，如果客户的意图与支付账单有关，则代理训练系统可能会建议代理使用自动计费系统来自动处理客户的意图。
91.在步骤412，代理训练系统可以监控代理对条件逻辑以及代理训练系统向与客户端相关联的代理提供的建议的遵守情况。例如，代理训练系统可以在代理响应被提交之前评估代理响应的定性和定量方面。当代理生成要提交的对客户消息的响应时，代理训练系统(使用机器学习算法或人工智能)可以实时评估该响应以确定每个识别的元素是否已经在代理提出的响应中被处理。此外，代理训练系统可以根据识别的元素和客户对努力的积极感知的可能性提供被认为对于改进响应所必需的任何反馈。代理训练系统可以评估通信会话的传入数据流和/或对话的脚本，以确定代理是否遵循代理训练系统提供的建议或条件逻辑。如果代理训练系统确定代理没有遵循代理训练系统准备的建议或条件逻辑，则代理训练系统可以执行一个或多个补救动作，例如向代理或代理的监督者发送通知以指示为改进代理的表现而要采取的任何必要步骤。
92.图5示出了根据至少一个实施方式的用于为客户端生成一组表现度量和用于改进或加强该组表现度量的建议的过程500的说明性示例。过程500可以由表现监控系统执行，该表现监控系统可以生成用于改进与客户端的代理相关联的表现度量的见解和建议。在步骤502，表现监控系统获得基于客户和与客户端相关联的代理之间的对话而生成的对话数据。对话数据可以包括对应于在一段时间内在客户和与客户端相关联的代理之间交换的消息的脚本或其他数据。例如，特定对话的对话数据可以包括客户与一个或多个代理之间为
解决客户呈现的意图或其他问题而交换的消息。此外，对话数据可以包括客户提供的关于客户可能已经与之交互的一个或多个代理的表现的任何反馈。表现监控系统可以访问由客户端或其他实体所维护的对话数据存储库或数据存储器，该客户端或其他实体负责维护与客户和代理之间的现有对话相关联的记录，以获得对话数据。
93.在步骤504，表现监控系统可以基于对话数据的评估来计算代理的一个或多个表现度量(例如，kpi)。如上所述，这些表现度量可能对应于建立在与努力、情绪、效率和有效性相关的客户和客户端利益之上的框架。与努力相关的表现度量可以对应于代理处理客户意图所需的努力量。类似地，表现监控系统可以在客户与代理进行对话时确定客户的情绪水平，以计算代理的情绪分数。表现监控系统还可以确定随着时间的推移代理在处理客户意图或问题方面的效率水平，以通过权衡可用资源(例如代理可用性等)和需求(例如，客户与客户端的联系等)之间的平衡来计算每个代理的效率分数。表现监控系统还可以确定代理在利用可用能力和工具处理客户意图和问题方面的有效性水平。
94.在步骤506，表现监控系统可以基于计算的表现度量生成一个或多个见解和/或建议。例如，在一个实施方式中，表现监控系统可以使用机器学习算法或人工智能来自动提供对所有对话操作的评估，这可以导致数据驱动的决策制定以改进代理表现。例如，表现监控系统可以提供与代理和客户之间的对话相对应的度量和特征(例如，对话主题或意图、客户调查或反馈、消息传递速率度量、代理可用性度量、与自动化工具或能力的使用相关联的度量等)、实际对话脚本等作为机器学习算法或人工智能的输入，以获得对代理表现的评估并确定用于改进的可能的解决方案或建议。机器学习算法或人工智能的输出可以提供与已经发生或正在发生的事情的根本原因相对应的诊断信息。此外，该输出可以提供关于如何纠正这些问题以改善客户体验的一个或多个建议。
95.在步骤508，表现监控系统生成一个或多个预测，该一个或多个预测对应于对由表现监控系统生成的见解和/或建议的遵守情况。例如，使用上述机器学习算法或人工智能，表现监控系统可以提供关于在上述见解和/或建议被实施的情况下代理表现的改进的一个或多个预测。例如，机器学习算法或人工智能可以指示，如果实施所提供的建议，则与努力、情绪、效率和有效性相对应的度量可能会提高一定的幅度。机器学习算法或人工智能可以使用数值度量值(例如，“效率将提高56％”等)和/或描述性叙述(例如，“代理效率应该明显提高”)来提供这种预测。
96.在步骤510，表现监控系统可以通过面板或客户端可访问的其他界面呈现计算的表现度量、见解和/或建议以及预测。例如，通过面板，可以向客户端呈现上述预测、连同已识别问题的描述、描述这些问题为什么正在发生或已经发生的诊断信息、以及处理这些问题的建议。此外，通过面板，可以基于客户端期望的数据呈现方式向客户端呈现跨各种意图、代理类型和/或业务线的表现度量。
97.图6示出了根据至少一个实施方式的用于通过将这些表现度量与跨各种表现度量的目标和/或行业组进行比较来对客户端的表现进行基准化的过程600的说明性示例。过程600可以由上述表现监控系统执行，该表现监控系统可以获得和处理对应于一个或多个目标和/或行业组的表现数据，以提供关于与客户端相关联的代理的表现的额外见解和建议。在步骤602，表现监控系统可以接收来自客户端的将客户端表现与跨各种表现度量(例如，kpi)的一个或多个目标和/或行业组进行比较的请求。例如，通过由表现监控系统提供的面
板或其他界面，客户端可以选择一个或多个目标和/或行业组，对于该一个或多个目标和/或行业组，客户端想要为其代理获得跨一个或多个表现度量的基准。该一个或多个目标和/或行业组可以对应于表现监控系统的其他客户端以及可以通过一个或多个远程来源获得表现数据的其他实体，如本文所述。
98.在步骤604，表现监控系统可以确定用于所选择的目标和/或行业组的表现度量在表现监控系统的比较数据存储器中是否可获得。例如，如果所选择的目标和/或行业组是表现监控系统的客户端，则表现监控系统在步骤610可以从比较数据存储器获得用于这些目标和/或行业组的表现度量。替选地，如果所选择的目标和/或行业组的表现度量不能通过比较数据存储器获得，则表现监控系统在步骤606可以从一个或多个远程来源获得与所选择的目标和/或行业组相关联的表现数据。这些远程来源可以包括出版物、第三方表现评估者、或表现监控系统可以订阅以获得表现数据的任何其他来源。
99.在步骤608，表现监控系统可以使用从远程来源获得的数据生成用于所选择的目标和/或行业组的表现度量。例如，如果所获得的与一个或多个目标和/或行业组相关联的表现度量或其他数据的格式不益于提供与客户端的表现度量的基准比较，则表现监控系统可以使用表现评估子系统处理获得的表现度量或其他数据以生成可用于基准比较目的的用于一个或多个目标和/或行业组的一组新的表现度量。在一些情况下，表现监控系统可以将所选择的目标和/或行业组的表现度量匿名化，以掩盖这些表现度量的来源。
100.在步骤612，表现监控系统可以将客户端的表现度量与客户端根据一个或多个分类选择的一个或多个目标和/或行业组的表现度量进行比较。所述一个或多个分类可以对应于特定意图、意图类型和/或业务线等。此外，在步骤614，表现监控系统可以基于上述表现度量的比较来生成见解和/或建议。例如，表现监控系统可以生成与客户端选择的一个或多个目标和/或行业组采取的动作相关的见解，以实现他们根据不同分类的相应表现度量。例如，表现监控系统可以针对特定目标确定执行一个或多个动作(例如，实施用于识别客户意图的自动化能力、训练代理遵守来自代理训练系统的建议等)之前的特定目标的表现度量和执行一个或多个动作之后的特定目标的表现度量。在一些情况下，表现监控系统可以生成关于一个或多个目标和/或行业组遇到的问题、遇到这些问题的原因、为处理这些问题而采取或建议的动作、以及由这些行动的执行或忽略产生的结果的见解。
101.在步骤616，表现监控系统可以通过面板或其他界面向客户端呈现由表现监控系统生成的比较和任何见解和/或建议。例如，表现监控系统可以通过面板提供客户端的表现度量与所选择的目标和/或行业组的表现度量的比较。类似地，表现监控系统可以更新面板以提供对一个或多个目标和/或行业组采取的用于改进他们的表现度量的动作的见解。如上所述，对应于所选择的一个或多个目标和/或行业组的信息可以被匿名化以确保实体的隐私，从该实体获得表现度量和为改进表现度量而被执行的已知动作。
102.图7示出了根据至少一个实施方式的用于基于一个或多个度量为客户端呈现表现概要的用户界面700的说明性示例。通过用户界面700，可以通过一组图表、图形或其他图形表示向客户端呈现各种表现度量。此外，这些表现度量可以基于操作模型进行分类。例如，如图7所示，客户端的各种表现度量可以分类为效率支柱、有效性支柱、努力支柱和情绪支柱的一部分。应当注意的是，图7中呈现的类别用于说明目的，并且可以通过用户界面700实现和呈现附加的、更少的或替选的类别。
103.如图7所示，表现监控系统可以通过用户界面700向客户端提供一个或多个选项来定义向客户端呈现什么数据、以及用于呈现数据的粒度水平。例如，表现监控系统可以允许客户端通过用户界面700选择客户端可能希望获得表现度量的(一条或多条)业务线，选择要通过用户界面700呈现的数据的日期范围以及要在指定日期范围内呈现的数据的粒度水平(例如，如图7所示的每周或每月、或任何其他粒度水平)。
104.表现监控系统可以提供与努力、情绪、效率和有效性支柱相对应的kpi的概要，并指示(通过图形、表格等)在客户端指示的指定日期范围内对这些kpi的任何更改。例如，如图7所示，对于效率支柱，表现监控系统可以指示所选择的业务线的当前每个登录小时的关闭对话(ccplh)。此外，表现监控系统可以指示ccplh在指定日期范围内的任何变化，以向客户端提供在该指定日期范围内所选择的业务线的效率的任何变化的指示。作为另一个说明性示例，对于有效性支柱，表现监控系统可以指示所选择的业务线的当前3天重复联系率(rcr 3d)。业务线的rcr 3d可以对应于同一客户标识符在1到3天中打开后续对话的关闭对话的百分比。与ccplh的图形表示在指定日期范围内改变类似，表现监控系统可以指示rcr 3d在指定日期范围内的任何改变，以在该指定日期范围内处理客户意图或问题时向客户端提供所选择的业务线的有效性的任何改变的指示。
105.关于努力支柱，表现监控系统可以指示所选择的业务线的当前1小时重复联系率(rcr 1hr)。业务线的rcr 1hr可以对应于同一客户标识符在一小时内打开后续对话的关闭对话的百分比。与rcr 3d不同，rcr 1hr可以用作以适当方式处理客户意图或问题以产生积极解决方案的代理努力的指示。作为说明性示例，如果代理在解决客户意图或问题方面付出很少甚至没有付出任何努力就结束了与特定客户的对话，那么客户在短时间内为相同或相似意图打开后续对话的可能性可能会增加。
106.情绪支柱可以通过用户界面700使用有意义的对话分数(mcs)来表示，mcs表示对包括任何未分配的对话在内的关闭对话的客户情绪的自动、实时测量。在某些情况下，mcs仅归因于对话中最后分配的代理。在一个实施方式中，表现监控系统利用机器学习算法或其他人工智能来确定与所选择的业务线相关联的代理的mcs。例如，机器学习算法或其他人工智能可以处理与客户和代理之间的对话相对应的对话数据，以实时分析客户与这些代理的实际对话的语气、内容和情绪。例如，机器学习算法或其他人工智能可以利用自然语言处理(nlp)来实时评估对话，并识别在这些对话期间交换的每条消息背后的语气、内容和情绪。每条消息都可以被分配mcs，并且可以基于对话的所有消息mcs的组合来确定对话mcs。这些分数可以被聚合以形成所选择的业务线的mcs，其可以通过用户界面700来表示。
107.除了提供与上述不同表现支柱相对应的表现度量之外，表现监控系统还可以通过用户界面700提供机会面板。通过机会面板，表现监控系统可以基于与行业基准或目标值(如由客户端定义并由度量配置(基准或数值目标)确定的)的偏差，跨不同表现支柱对主要和次要表现度量进行排名。在一些情况下，机会面板中表示的表现度量可以通过它们各自的表现支柱进行颜色编码，然后基于哪个表现度量与所选择的基准或数值目标的偏差最大来进行排名。这可以允许客户端专注于最有影响力的表现度量，该最有影响力的表现度量将在与客户的对话中改进整体客户端表现。
108.在一些情况下，表现监控系统可以允许客户端根据各种表现度量的相应表现支柱来过滤各种表现度量。例如，表现监控系统可以提供过滤器下拉菜单，该过滤器下拉菜单可
以显示多选选项，该多选选项允许客户端选择表现支柱以显示在机会面板中。此外，表现监控系统可以允许客户端选择与特定表现度量相对应的每个单独的条(bar)，以自动导航到界面的表现支柱细节部分中的该表现度量，如本文更详细描述的。
109.表现监控系统还可以通过用户界面700提供受控交付面板，通过该面板，选择的每条业务线由双轴图表上的点表示。受控交付面板中显示的图表可以比较每条业务线的效率(例如，以最佳方式执行且资源浪费最少)的总分数和有效性(例如，实现解决客户意图或问题的预期结果的能力)的总分数。总分数可以通过效率和有效性的表现度量类别内的所有主要和次要表现度量的加权分数来确定。通过受控交付面板，客户端可以基于这些业务线在图表中的位置评估要关注的业务线。例如，位于图表右上角的业务线(例如，高有效性和高效率)的有效性和效率可能非常高，而位于图表左下角的业务线的有效性和效率可能非常低。在一些情况下，如果客户端使用光标悬停在图表内的特定数据点上，则表现监控系统可以通过用户界面700呈现业务线的名称和业务线的整体表现分数。此外，图表内的数据点的选择可以使表现监控系统更新用户界面700以呈现表现概要细节面板，如本文更详细描述的。
110.图8示出了根据至少一个实施方式的用于呈现对应于不同表现度量的计算分数的用户界面800的说明性示例。通过用户界面800，表现监控系统可以根据上述每个表现支柱(例如，效率、有效性、努力和情绪)提供表现度量的概要。例如，通过用户界面800，表现监控系统可以为每个表现支柱生成综合表现分数，以向客户端提供关于他们针对每个表现支柱的表现的概要。对于每个表现支柱，表现监控系统可以并入与表现支柱相关联的所有主要和次要表现度量。此外，表现监控系统可以基于每个表现度量的所识别的影响水平来权衡这些表现度量中的每一个。
111.在一个实施方式中，表现监控系统通过用户界面800提供与上述每个表现支柱的行业基准相比的客户端的表现。例如，表现监控系统可以以25％的增量显示行业基准，从而可以根据特定的行业基准四分位对每个表现支柱的客户端表现进行量化。在一些情况下，这些百分位增量可以用颜色编码，其中红色可用于表示低于第50百分位的四分位，而绿色可用于表示高于第50百分位的四分位。因此，每个表现支柱的表现分数可以根据行业基准进行调整或缩放，以确定相对于行业基准的客户端表现。作为说明性示例，可以为客户端的效率支柱的表现分数分配值55％(如图8所示)，这可以用作客户端在特定行业内的表现在第50-75百分位(第三四分位)内的指示。
112.除了为每个表现支柱提供表现分数之外，表现监控系统可以在每个表现支柱内提供对客户端表现的任何额外见解。如上所述，表现监控系统可以生成对代理表现的各种见解，这些见解可用于识别与客户端相关联的代理的改进或加强领域。例如，表现监控系统可以利用对话数据以及计算的代理的表现度量来识别这些改进或加强领域，并为客户端的对话操作提供任何有价值的见解。可以根据用户界面800中表示的每个表现支柱来生成这些改进/加强领域和见解。因此，除了根据行业基准量化客户端沿各个表现支柱的表现之外，表现监控系统还可以在用户界面800内限定客户端的表现。
113.图9示出了根据至少一个实施方式的用于通过可能的入口点呈现对关闭对话量的见解的用户界面900的说明性示例。用户界面900可以提供通道特定视图，该视图使客户端能够了解跨各种入口点(例如，社交媒体平台、跨不同操作系统的应用等)的活动。例如，如
图9所示，表现监控系统可以提供条形图，该条形图显示关闭的对话跨各种入口点的分布，这些入口点由客户端用于客户和代理之间的对话。
114.除了上述条形图之外，表现监控系统可以通过用户界面900向客户端呈现针对每个入口点的随时间的关闭对话量的图形表示。例如，如图9所示，表现监控系统可以根据客户端使用的每个可能的入口点生成显示入口点量随时间的折线图。
115.图10示出了根据至少一个实施方式的用于呈现特定业务线的各种表现度量的用户界面1000的说明性示例。表现监控系统可以通过用户界面1000显示与上述表现支柱相对应的各种表现度量。例如，表现监控系统可以提供与效率、有效性、努力和情绪支柱相对应的主要和次要表现度量。在一些情况下，表现监控系统可以通过用户界面1000向客户端提供一个或多个选项以过滤所提供的表现度量。例如，客户端可以选择显示与特定表现支柱相关的表现度量。替选地，客户端可以选择将通过用户界面1000显示的特定表现度量。
116.在一个实施方式中，表现监控系统可以根据各种基准(例如，相对于行业基准的表现)、目标(例如，目标值(如果由客户端定义的话)和趋势(例如，上升或下降趋势))提供与特定客户端业务线的表现相对应的数据。客户端通过用户界面1000可以切换与用于根据基准、目标和/或趋势显示表现度量的各种选项相对应的选择。在一些情况下，表现监控系统可以提供各种默认选项来呈现特定业务线的表现度量。例如，表现监控系统可以基于客户端输入的过滤日期范围(例如，图7中定义和示出的日期范围等)为每个表现度量提供基准值、实际值、趋势值和偏差值。
117.图11示出了根据至少一个实施方式的用于提供可用于将kpi与行业基准进行比较的信息的用户界面1100的说明性示例。表现监控系统通过用户界面1100可以向客户端提供大量信息以允许客户端比较上述每个表现支柱的表现度量。通过用户界面1100，客户端可以将这些表现支柱中的每一个的主要和次要表现度量与行业基准和/或目标进行比较。例如，如图11所示，可以向客户端呈现每个表现支柱的实际表现度量值(使用白色数值呈现)，以及与行业基准相比客户端的趋势如何(例如，具有上升或下降趋势指标的较小值)，以及他们的表现与行业基准的差异(以百分比表示，指示期望什么与发生了什么之间的差距)。此外，可以通过用户界面1100向客户端呈现每个表现度量的详细趋势线以及根据相应表现度量的它们的表现的最小值、最大值和平均值。
118.一个实施方式中，表现监控系统还通过用户界面1100提供诊断部分。用户界面1100的诊断部分可以提供客户端业务线的表现的详细叙述。如上所述，表现监控系统可以使用机器学习算法或人工智能来自动提供对客户端的对话操作的评估，这可以导致数据驱动的决策制定以用于改进代理表现。例如，表现监控系统可以提供与代理和客户之间的对话相对应的度量和特征(例如，对话主题或意图、客户调查或反馈、消息传递速率度量、代理可用性度量、与自动化工具或能力的使用相关联的度量等)、实际对话脚本等作为机器学习算法或人工智能的输入，以获得对客户端表现的评估并确定用于改进的可能的解决方案或建议。机器学习算法或人工智能的输出可以提供对客户端的业务线中已经发生或正在发生的已经导致当前表现水平的事情的描述。此外，机器学习算法或人工智能的输出可以提供与关于已经发生或正在发生的事情的根本原因相对应的诊断信息。
119.通过用户界面1100的诊断部分，表现监控系统可以根据客户端选择的各种表现支柱和账户配置设置将客户端的表现度量数据置于上下文中，以为客户端提供自动化和定制
的建议，从而基于所选择的业务线和日期范围来改进表现。在一些情况下，表现监控系统可以提供包括可以执行以改进客户端表现的操作程序的诊断手册或其他资源。
120.图12示出了根据至少一个实施方式的用于呈现用于改进一个或多个表现度量的建议和见解的用户界面1200的说明性示例。可以通过客户端与上述用户界面1100的交互来访问用户界面1200。例如，在一个实施方式中，表现监控系统可以通过用户界面1100的诊断部分提供关于以下的指示：特定表现度量是否可能需要改进(例如，表现度量未能满足可接受的阈值)、在可接受的参数内(例如，表现度量在被认为对应于可接受状态的范围内)、或被认为处于优选状态(例如，表现度量在被认为对应于优选状态的范围内)。此外，表现监控系统可以为每个表现度量提供标头，该标头可以对应于用于改进表现度量的建议和见解。
121.在一个实施方式中，对标头的选择导致表现监控系统为选择的表现度量提供用户界面1200。例如，如图12所示，用户界面1200可以对应于客户端选择的业务线的ccplh表现度量。通过用户界面1200，表现监控系统可以提供关于所选择的表现度量的上下文。例如，表现监控系统可以为所选择的表现度量提供定义，并可以提供表现度量可以如何影响客户端的整体表现的见解。例如，如图12所示，表现监控系统可以
122.此外，表现监控系统可以提供用于改进度量表现的一个或多个建议。例如，如图12所示，对于ccplh度量，表现监控系统可以指示客户端应确保代理有足够的容量以保持恒定的生产力状态，配置自动化和过程以从代理中移除不必要的管理，查看更高表现代理的对话脚本以确定改进机会，并确保代理使用的任何系统工具都针对异步工作进行了优化。除了这些建议之外，表现监控系统还可以提供关于这些建议的额外见解。例如，如图12所示，表现监控系统可以指示代理应专注于以尽可能少的消息提供整体解决方案，并且过程应设计为尽可能减少对其他部门或个体的依赖以充分授权代理解决客户查询。因此，表现监控系统可以加强所提供的建议，以激励对这些建议的遵守。
123.如上所述，基于由表现监控系统提供并通过用户界面1200呈现的见解和建议，客户端可以请求代理训练系统使用所提供的见解和建议来定义一系列动作，这些动作被执行以准确地捕获客户在与代理的对话中表达的关键元素，并确定如何最好地充分对客户进行响应。基于表现监控系统提供的见解和建议，代理训练系统可以识别可以采取什么动作来处理这些元素，以使代理能够根据生成的见解和建议来满足客户意图和期望。
124.图13示出了根据至少一个实施方式的用于呈现与指定日期范围内的关闭对话和代理登录时间相对应的数据的用户界面1300的说明性示例。表现监控系统通过用户界面1300可以呈现与可用客户端资源(例如，代理可用性等)和对客户端的需求(例如，关闭对话的量等)相关的趋势。通过用户界面1300，客户端可以(例如通过上述用户界面700)查看在客户端指定的日期范围内的关闭对话量(例如，由代理关闭、由客户关闭或自动关闭)和代理登录时间。客户端可以使用同一时间跨度内的关闭对话量与代理登录时间之间的相关性来优化其代理人员配置和/或实施自动化工具(例如，机器人等)以处理随时间推移出现的需求高峰。
125.图14示出了根据至少一个实施方式的用于显示可以驱动客户端表现的配置设置的用户界面1400的说明性示例。如图14所示，账户配置可以包括自动关闭时间、非活动时间、智能容量最小值、和智能容量最大值。这些设置中的每一个的值可以由客户端通过用户界面1400来定义。这些设置可以用于确定代理表现对每一个表现支柱的影响。例如，自动关
闭时间的设置可能会潜在影响与对话中测量的努力支柱相关联的表现度量。除了这些账户配置之外，表现监控系统还可以提供代理最大时隙分布的图表或其他图形表示。
126.图15示出了根据一些实现方式的计算系统架构1500，其包括使用诸如总线的连接1506彼此电通信的各种部件。示例系统架构1500包括处理单元(cpu或处理器)1504和系统连接1506，系统连接1506将包括系统存储器1520(例如rom 1518和ram 1516)的各种系统部件联接到处理器1504。系统架构1500可以包括高速存储器的高速缓存1502，该高速存储器直接与处理器1504连接、极为接近于处理器1504、或者集成为处理器1504的一部分。系统架构1500可以将数据从存储器1520和/或存储设备1508复制到高速缓存1502以便由处理器1504快速访问。以这种方式，高速缓存可以提供性能提升，避免处理器1504在等待数据时延迟。这些和其他模块可以控制或被配置为控制处理器1504执行各种动作。
127.也可以使用其他系统存储器1520。存储器1520可以包括具有不同性能特征的多种不同类型的存储器。处理器1504可以包括：任何通用处理器和硬件或软件服务，例如存储在存储设备1508中的服务1 1510、服务2 1512和服务3 1514，这些服务被配置为控制处理器1504；以及，软件指令被并入实际的处理器设计中的专用处理器。处理器1504可以是包含多个核或处理器、总线、存储器控制器、高速缓存等的完全独立的计算系统。多核处理器可以是对称的或不对称的。
128.为了能够与计算系统架构1500进行交互，输入设备1522可以表示任何数量的输入机构，诸如用于讲话的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、讲话等等。输出设备1524也可以是本领域技术人员已知的多种输出机构中的一种或多种输出机构。在一些情况下中，多模式系统可以使用户能够提供多种类型的输入以与计算系统架构1500通信。通信接口1526可以总体上管理和控制用户输入和系统输出。对在任何特定硬件布置上的操作没有限制，因此随着硬件或固件布置的发展，这里的基本特征可以很容易替代为改进的硬件或固件布置。
129.存储设备1508是非易失性存储器并且可以是硬盘或者可以存储可由计算机访问的数据的其他类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储器设备、数字通用光盘、盒式磁带、ram 1516、rom 1518及其混合。
130.存储设备1508可以包括用于控制处理器1504的服务1510、1512、1514。可以设想其他硬件或软件模块。存储设备1508可以连接到系统连接1506。在一个方面，执行特定功能的硬件模块可以包括存储在与所需的硬件部件连接的计算机可读介质中的软件组件，以执行所述功能，所述硬件部件诸如处理器1504、连接1506、输出设备1524等等。
131.图16示出了可以实现各种实施方式的环境1600的说明性示例。在环境1600中，呈现了分析-识别-响应(air)框架，该框架并入了上文结合图1和图2描述的意图处理系统和表现监控系统。通过该air框架，可以生成对客户意图的响应，并且可以评估响应客户意图的代理的表现，以确定它们在提供积极的客户体验方面的效能。如上所述，表现监控系统可以向客户服务呼叫中心内的不同实体(例如，训练员、团队经理、质量保证团队、领导人员等)提供关于代理表现的反馈，这可以允许这些实体指导代理如何最好地响应客户或执行其他补救任务。
132.通过air框架执行的评估可用于为客户端生成一组度量和其他表现数据，其可在4e(有效性、努力、情绪和效率(effectiveness、effort、emotion和efficiency))框架内编
译。通过4e框架，可以向客户端呈现用户界面，例如以上结合图7-图14描述的那些用户界面，客户端可以通过这些用户界面获得该客户端和其他客户端的这些各种度量和其他表现数据。这允许客户端确定其代理的总体表现如何，并将其表现与其他客户端的表现进行比较。这可以帮助客户端定义可能的改进途径。
133.可以使用计算系统执行所公开的方法。示例计算系统可以包括处理器(例如，中央处理单元)、存储器、非易失性存储器、和接口设备。存储器可以存储数据和/或一个或多个代码集、软件、脚本等。计算机系统的组件可以经由总线或通过某一其他已知或方便的设备联接在一起。处理器可以被配置成例如通过执行例如存储在存储器中的代码来执行本文所描述的方法的全部或部分。用户设备或计算机、提供商服务器或系统、或者暂停数据库更新系统中的一者或多者可以包括计算系统的组件或这种系统的变型系统的组件。
134.本发明预想到采用任何合适的物理形式的计算机系统，包括但不限于销售点系统(“pos”)。作为示例而非限制，计算机系统可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(诸如，例如模块计算机(com)或模块系统(som))、台式计算机系统、膝上型或笔记本计算机系统、交互式自助服务终端(kiosk)、大型机、计算机系统网格、移动电话、个人数字助理(pda)、服务器、或以上两者或更多者的组合。适当时，计算机系统可以：包括一个或多个计算机系统；为统一的或分布式的；跨多个位置；跨多个机器；和/或驻留在云中，该云可以包括一个或多个网络中的一个或多个云组件。适当时，一个或多个计算机系统可以基本上没有空间或时间限制而执行本文所描述或所示出的一种或多种方法的一个或多个步骤。作为示例而非限制，一个或多个计算机系统可以实时或以批量模式执行本文所描述或所示出的一种或多种方法的一个或多个步骤。适当时，一个或多个计算机系统可以在不同时间或在不同位置执行本文所描述或所示出的一种或多种方法的一个或多个步骤。
135.处理器可以例如为传统微处理器，诸如英特尔奔腾微处理器或摩托罗拉功率pc微处理器。相关领域技术人员能够认识到术语“机器可读(存储)介质”或“计算机可读(存储)介质”包括可由处理器访问的任何类型的设备。
136.存储器可以通过例如总线联接到处理器。通过示例而非限制，存储器可以包括随机存取存储器(ram)，诸如动态ram(dram)和静态ram(sram)。存储器可以是本地的、远程的、或分布式的。
137.总线还可以将处理器联接到非易失性存储器和驱动单元。非易失性存储器通常是磁性软盘或硬盘、磁光盘、光盘、只读存储器(rom)(诸如cd-rom、eprom、或eeprom)、磁卡或光卡、或另一种形式的用于大量数据的存储装置。该数据中的某些数据通常在计算机中的软件执行期间通过直接存储器访问过程来写入存储器中。非易失性存储装置可以是本地的、远程的、或分布式的。非易失性存储器是可选的，因为可以使用存储器中可用的所有适用数据创建系统。典型的计算机系统通常会至少包括处理器、存储器、以及将存储器联接到处理器的设备(例如，总线)。
138.软件可以存储在非易失性存储器和/或驱动单元中。实际上，对于大的程序，甚至可能不能将整个程序存储在存储器中。然而，应当理解，对于要运行的软件，如果需要，其可以移动到适于处理的计算机可读位置，并且为了说明目的，该位置在本文中称为存储器。即使当软件被移动到存储器以用于执行，处理器也可以使用硬件寄存器来存储与软件相关联的值以及使用理想地用于加速执行的本地缓存。如本文所使用的，当软件程序被称为“在计
算机可读介质中实施的”时，软件程序被假设为存储在任何已知或方便位置(从非易失性存储装置至硬件寄存器)。当与程序相关联的至少一个值存储在可由处理器读取的寄存器中时，该处理器被认为是“被配置成执行程序”。
139.总线还可以将处理器联接到网络接口设备。接口可以包括调制解调器或网络接口中的一者或多者。能够理解，调制解调器或网络接口可以被视为计算机系统的一部分。接口可以包括模拟调制解调器、综合业务数字网(isdn)调制解调器、线缆调制解调器、令牌环接口、卫星传输接口(例如，“直接pc”)、或其他用于将一计算机系统联接到其他计算机系统的接口。接口可以包括一个或多个输入和/或输出(i/o)设备。通过示例而非限制，i/o设备可以包括键盘、鼠标或其他定点设备、磁盘驱动器、打印机、扫描仪、以及其他输入和/或输出设备(包括显示设备)。通过示例而非限制，显示设备可以包括阴极射线管(crt)、液晶显示器(lcd)、或某一其他适用的已知或方便的显示设备。
140.在操作中，计算机系统可由包括文件管理系统(诸如磁盘操作系统)的操作系统软件控制。具有相关联的文件管理系统软件的操作系统软件的一个示例是来自华盛顿州雷德蒙德的microsoft corporation(微软公司)的被称为的操作系统系列及其相关联的文件管理系统。具有其相关联的文件管理系统软件的操作系统软件的另一个示例是linux
tm
操作系统及其相关联的文件管理系统。文件管理系统可以存储在非易失性存储器和/或驱动单元中，并且可以使处理器执行由操作系统所需的各种动作，以输入和输出数据以及将数据存储在存储器中，包括将文件存储在非易失性存储器和/或驱动单元上。
141.具体实施方式的某些部分可以依据对计算机存储器中的数据位的操作的算法和符号表示来呈现。这些算法描述和表示是数据处理领域的技术人员所使用的手段，以将其工作的实质最有效地传达给本领域的其他技术人员。算法在这里并且通常被设想成导致所期望的结果的操作的自洽序列。操作是那些需要物理量的物理操纵的操作。通常，虽然非必须，但这些物理量采用能够被存储、被转移、被组合、被比较、和以其他方式被操纵的电信号或磁信号的形式。已经证实，主要出于常用的原因，将这些信号称为位、值、元素、符号、字符、项、数字等有时是方便的。
142.然而，应当记住，所有这些术语和类似术语是与合适的物理量相关联的并且仅仅是应用于这些物理量的方便的标签。除非以与以下讨论明显不同的方式明确声明，否则应当理解，贯穿整个说明书，使用诸如“处理”或“计算(computing)”或“计算(calculating)”或“确定”或“显示”或“生成”等的术语的讨论是指计算机系统或类似电子计算设备的动作和过程，所述计算机系统或类似电子计算设备将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵并转换成其他类似地表示为计算机系统的存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量的数据。
143.本文中呈现的算法和显示并非固有地与任何特定计算机或其他装置相关。各种通用系统可以与根据本文教导的程序一起使用，或者可以证实构建更专门的装置来执行一些示例的方法是方便的。根据以下描述，所需的用于各种这些系统的结构将显现。此外，并未参考任何特定编程语言来描述技术，因此各种示例可以使用各种编程语言来实现。
144.在各种实现方式中，系统作为独立设备进行操作或者可以连接(例如，联网)到其他系统。在联网部署中，系统可以在客户端-服务器网络环境中作为服务器或客户端系统进行操作，或者在点对点(或分布式)网络环境中作为对等系统进行操作。
145.系统可以是服务器计算机、客户端计算机、个人计算机(pc)、平板pc、膝上型计算机、机顶盒(stb)、个人数字助理(pda)、蜂窝电话、iphone(苹果手机)、blackberry(黑莓手机)、处理器、电话、网络设备、网络路由器、交换机或桥接器、或能够执行指定待由该系统采取的动作的一组指令(按顺序或者以其他方式)的任何系统。
146.虽然机器可读介质或机器可读存储介质作为示例被示为单个介质，但术语“机器可读介质”和“机器可读存储介质”应被理解为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。术语“机器可读介质”和“机器可读存储介质”还应理解为包括能够存储、编码或携带一组供系统执行的指令并且使系统执行本文公开的任何一种或多种方法或模块的任何介质。
147.通常，被执行以实现本发明的实现方式的例程可以实现为操作系统或专用应用程序、组件、程序、对象、模块或被称为“计算机程序”的指令序列的一部分。计算机程序通常包括在不同时间在计算机中的各种存储器和存储设备中设置的一个或多个指令，并且所述指令在被计算机中的一个或多个处理单元或处理器读取并执行时，致使该计算机进行操作以执行涉及本发明的各种方面的元素。
148.此外，尽管已经在功能完善的计算机和计算机系统的上下文中描述了示例，但是本领域技术人员能够理解，各种示例能够作为程序客体而以各种形式分布，而且不管实际用于实现分布的机器或计算机可读介质的具体类型如何，本发明都同样适用。
149.机器可读存储介质、机器可读介质、或计算机可读(存储)介质的其他示例包括但不限于：可记录类型介质，诸如易失性和非易失性存储器设备、软盘和其他可移除磁盘、硬盘驱动器、光盘(例如，光盘只读存储器(cd rom)、数字通用光盘(dvd)等)等等；以及传输类型介质，诸如数字和模拟通信链路。
150.在一些情况中，存储器设备的操作(诸如从二进制1到二进制0的状态改变或者反之亦然)例如可以包括变换(诸如物理变换)。利用特定类型的存储器设备，这种物理变换可以包括物品向不同状态或事物的物理变换。例如，但非限制地，对于某些类型的存储器设备，状态的改变可以涉及电荷的积累和存储或者所存储的电荷的释放。类似地，在其他存储器设备中，状态的改变可以包括磁取向的物理改变或变换或者分子结构的物理改变或变换，诸如从晶体到非晶体或者反之亦然。前述内容不意图为其中存储器设备中从二进制1到二进制0(或者反之)的状态改变可以包括变换(诸如物理变换)所有示例的穷尽列表。而是，前述内容意图作为说明性示例。
151.存储介质通常可以为非暂时性设备或者可以包括非暂时性设备。在该情况下，非暂时性存储介质可以包括有形设备，这意味着该设备具有具体的物理形式，但是该设备的物理状态可以改变。因此，例如，非暂时性是指尽管状态改变但是保持有形的设备。
152.以上描述和附图是说明性的而不能解释为将主题限制到所公开的确切形式。相关领域的技术人员能够理解，鉴于上述公开内容可以有许多修改和变型。描述了许多具体细节来提供对本发明的透彻理解。然而，在某些情况中，众所周知的或常规的细节没有被描述，从而避免使描述模糊不清。
153.如本文中所使用的，术语“连接”、“联接”、或其任何变型当应用于系统的模块时，意味着两个或更多个元件之间直接或间接的任何连接或联接；元件之间的联接或连接可以是物理的、逻辑的、或其任何组合。此外，词语“本文”、“以上”、“以下”、以及类似含义的词
语，当用于本技术中时，应该是指本技术整体，而不是本技术的任何特定部分。当上下文允许时，在以上具体实施方式部分中的使用单数或复数的词语也可以分别包括复数或单数。在关于两个或更多个项目的列表中，词语“或”涵盖该词语的所有如下解释：列表中项目的任一者、列表中所有项目、或者列表中项目的任何组合。
154.本领域技术人员能够理解，所公开的主题可以以下面未示出的其他形式和方式来实施。应当理解，关系型术语的使用(如果有的话，诸如第一、第二、顶部和底部等)仅用于将一个实体或动作与另一个实体或动作区分开，而不必要求或暗示这些实体或动作之间的任何这种实际关系或顺序。
155.尽管过程或方框以给定顺序呈现，但是替选实现方式可以执行具有不同顺序的步骤的例程或采用具有不同顺序的方框的系统，并且一些过程或方框可以被删除、移动、添加、细分、取代、组合和/或修改，以提供替选组合或子组合。可以以各种不同方式实现这些过程或方框中的每一者。此外，尽管过程或方框有时被示出为串行执行，但是这些过程或方框也可以并行执行或者可以在不同时间执行。另外，本文中提到的任何特定数字都只是示例：替选实现方式可以采用不同的值或范围。
156.本文中提供的本发明的教导可以应用于其他系统，而不必是上述系统。上述各种示例的元素和动作可以被结合以提供进一步的示例。
157.以上提到的任何专利和申请和其他参考文件(包括可能在所附递交文件中列出的任何参考文件)通过引用并入本文。如果需要，可以修改本发明的方面来采用上述各个参考文件的系统、功能和概念，以提供本发明的其它进一步的示例。
158.可以根据以上具体实施方式来对本发明做出这些和其他改变。尽管以上描述描述了特定示例，并且描述了预期的最好方式，但是不管上述内容的文本呈现得多么详细，教导都可以以许多方式实践。系统的细节可以在其实现方式细节上进行相当大的变化，但是仍然被本文所公开的主题所包括。如上所述，当描述本发明的某些特征或方面时所使用的特定术语不应当被看作是暗示该术语在本文中被重新定义以限制到与该术语相关联的本发明的任何特定特性、特征或方面。通常，在所附权利要求书中所使用的术语不应当被解释为将本发明限制到说明书中所公开的特定实现方式，除非以上具体实施方式部分明确定义了这些术语。因此，本发明的实际范围不仅包括所公开的实现方式，而且包括根据权利要求实践或实现本发明的所有等同方式。
159.尽管以某些权利要求形式呈现了本发明的某些方面，但是发明人预期到任何数量的权利要求形式的本发明的各个方面。任何旨在根据35 u.s.c.
§
112(f)进行处理的权利要求将以表述“用于
……”
开头。因此，申请人保留在递交本技术之后添加附加权利要求的权利以寻求这些用于本发明的其他方面的附加权利要求形式。
160.在本发明的上下文内，在本说明书中所使用的术语通常具有其在本领域和在每个术语所使用的特定上下文中的通常含义。用于描述本发明的特定术语在以上或者说明书中的其他地方进行讨论，以为实践者提供关于本发明的描述的附加指导。为了方便，某些术语可以被突出，例如使用大写、斜体、和/或引号。使用突出不会对术语的范围和含义有任何影响；在同一上下文中，无论术语是否被突出，该术语的范围和含义都是相同的。能够理解，同一元素可以以多于一种的方式被描述。
161.因此，本文所讨论的任何一个或多个术语可以使用替选语言和同义词，但也不是
基于术语是否在本文中详尽或讨论而对其赋予任何特殊意义。提供了某些术语的同义词。一个或多个同义词的记载并不排除其他同义词的使用。包括本文所讨论的任何术语的示例的本说明书中任何地方使用的示例都仅是说明性的，并且不意图进一步限制本发明或任何示例性术语的范围和含义。同样地，本发明并不限于本说明书中所给出的各个示例。
162.下面给出根据本发明的示例的设备、装置、方法及其相关结果的示例，但不意图进一步限制本发明的范围。需要注意的是，为了阅读者方便，可以在示例中使用标题或副标题，但不以任何方式限制本发明的范围。除非另外定义，否则本文所使用的所有技术术语和科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。在有冲突的情况下，将以包括定义的本文为准。
163.本说明书的一些部分描述了对信息进行操作的算法和符号表示的示例。这些算法描述和表示通常由数据处理领域的技术人员用于将其工作实质有效地传达给本领域的其他技术人员。当从功能上、从计算上、或从逻辑上描述这些操作时，这些操作被理解成将由计算机程序或等效电路、微代码等实现。此外，还已经证实将这些操作的布置称为模块有时是方便的，且不失通用性。所描述的操作及其相关联的模块可以体现在软件、固件、硬件、或其任意组合中。
164.本文描述的任何步骤、操作、或过程可以利用一个或多个硬件或软件模块单独地或与其他设备结合地执行或实现。在一些示例中，软件模块利用包括计算机可读介质的计算机程序客体来实现，计算机可读介质包含计算机程序代码，计算机程序代码可由计算机处理器执行以用于执行所描述的步骤、操作、或过程中的任一者或全部。
165.示例还可以涉及用于执行本文中的操作的装置。该装置可以被专门构建以用于所需目的，和/或该装置可以包括通过计算机中存储的计算机程序选择性激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性、有形的计算机可读存储介质或适用于存储电子指令的任何类型的介质中，所述介质可以联接到计算机系统总线。此外，本说明书中提及的任何计算系统都可以包括单个处理器或者可以是采用多处理器设计以提高计算能力的架构。
166.示例还可以涉及由本文描述的计算进程形成的客体。该客体可以包括由计算进程产生的信息，其中该信息存储在非暂时性、有形的计算机可读存储介质上以及可以包括计算机程序客体或本文描述的其他数据组合的任何实现方式。
167.已经主要出于可读性和指导目的而选择本说明书中所使用的语言，而不是选择这些语言来描绘或约束主题。因此，不意图通过详细描述来限制本发明的范围，而是通过基于本技术发布的任何权利要求来限制。因此，示例的公开意图是说明性的，而非对主题的范围的限制，主题的范围在所附权利要求中阐述。
168.在以上描述中给出了特定细节以提供对用于上下文连接系统的系统和组件的各种实现方式的透彻理解。然而，本领域普通技术人员应当理解，可以在没有这些特定细节的情况下实践上述实现方式。例如，电路、系统、网络、进程、和其他组件可以被示为框图形式中的组件，以免在不必要的细节上使实施方式模糊不清。在其他情况下，可以示出公知的电路、进程、算法、结构和技术而没有不必要的细节，以避免使实施方式模糊不清。
169.另外，应当注意，各个实现方式可以被描述为过程，该过程被描绘为流程图、作业图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以
并行或同时执行。另外，可以重新安排操作的顺序。当一个过程的操作完成时，该过程将终止，但是可以具有未包含在图中的附加步骤。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，其终止可对应于该函数返回到调用函数或主函数。
170.客户端设备、网络设备、和其他设备可以是计算系统，该计算系统包括一个或多个集成电路、输入设备、输出设备、数据存储设备、和/或网络接口等等。集成电路可以包括例如一个或多个处理器、易失性存储器、和/或非易失性存储器等等。输入设备可以包括例如键盘、鼠标、小键盘、触摸界面、麦克风、相机和/或其他类型的输入设备。输出设备可以包括例如显示屏、扬声器、触觉反馈系统、打印机和/或其他类型的输出设备。诸如硬盘驱动器或闪存的数据存储设备可以使计算设备能够临时地或永久地存储数据。诸如无线或有线接口的网络接口可以使计算设备能够与网络通信。计算设备的示例包括台式计算机、膝上型计算机、服务器计算机、手持计算机、平板电脑、智能电话、个人数字助理、数字家庭助理、以及已经并入计算设备的机器和装置。
171.术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光存储设备、以及能够存储、包含、或承载(一个或多个)指令和/或数据的各种其他介质。计算机可读介质可以包括非暂时性介质，该非暂时性介质中可以存储数据，并且不包括无线地或通过有线连接传播的载波和/或暂时性电信号。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如光盘(cd)或数字通用光盘(dvd)的光存储介质、闪存、存储器或存储器设备。计算机可读介质可以具有其上存储的代码和/或机器可执行指令，其可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合。一代码段可以通过传递和/或接收信息、数据、自变量、参数、或存储内容而与另一代码段或硬件电路关联。信息、自变量、参数、数据等可以通过包括存储器共享、消息传递、令牌传递、网络传输等的任何适当手段来进行传递、转发或传输。
172.以上讨论的各种示例还可以通过硬件、软件、固件、中间件、微代码、硬件描述语言、或它们的任何组合来实现。当以软件、固件、中间件或微代码实现时，执行必要任务的程序代码或代码段(例如，计算机程序产品)可以存储在计算机可读或机器可读存储介质(例如，用于存储程序代码或代码段的介质)中。在集成电路中实现的(一个或多个)处理器可以执行必要任务。
173.当组件被描述成“被配置成”执行某些操作时，这种配置可以例如通过将电子电路或其他硬件设计成执行操作、通过将可编程电子电路(例如，微处理器、或其他合适的电子电路)编程为执行操作、或者其任何组合来完成。
174.结合本文公开的实现方式描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、固件、或其组合。为了清楚地说明硬件和软件的这种可互换性，以上已经在其功能方面总体上描述了各种说明性组件、块、模块、电路、和步骤。这种功能被实现为硬件还是软件取决于特定应用和对整个系统的设计约束。技术人员可以针对每种特定应用以不同方式实现所描述的功能，但是这种实现决策不应被解释为造成偏离本发明的范围。
175.本文描述的技术也可以在电子硬件、计算机软件、固件或其任何组合中实现。这样的技术可以在多种设备中的任何一种中实现，例如通用计算机、无线通信设备手机、或具有多种用途的集成电路设备，包括在无线通信设备手机和其他设备中的应用程序。描述为模
块或组件的任何特征都可以在集成逻辑设备中一起实现，或者作为分立但可互操作的逻辑设备单独实现。如果以软件实现，则该技术可以至少部分地由包括程序代码的计算机可读数据存储介质实现，该程序代码包括指令，该指令当被执行时，执行上述方法中的一种或多种。计算机可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括包装材料。计算机可读介质可以包括存储器或数据存储介质，例如随机存取存储器(ram)(例如同步动态随机存取存储器(sdram))、只读存储器(rom)、非易失性随机存取存储器(nvram)、电可擦可编程只读存储器(eeprom)、闪存、磁或光数据存储介质等。附加地或替选地，这些技术可以至少部分地通过计算机可读通信介质来实现，该计算机可读通信介质承载或传送指令或数据结构形式的程序代码并且这些指令或数据结构可以由计算机访问、读取和/或执行，例如传播的信号或波。
176.程序代码可以由处理器执行，处理器可以包括一个或多个处理器，诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)、或其他等效的集成或离散逻辑电路。这种处理器可以被配置成执行本发明中描述的任何技术。通用处理器可以是微处理器；但是在替选方案中，处理器可以是任何常规处理器、控制器、微控制器、或状态机。处理器也可以实现为计算设备的组合，例如dsp和微处理器的组合、多个微处理器、与dsp核结合的一个或多个微处理器、或者任何其他这种配置。因此，本文中所使用的术语“处理器”可以是指任何前述结构、前述结构的任何组合、或适于实现本文所描述的技术的任何其他结构或装置。此外，在一些方面中，可以在被配置成用于实现暂停数据库更新系统的专用软件模块或硬件模块内提供本文所描述的功能。
177.已经出于说明和描述的目的呈现了技术的前述详细描述。该详细描述并非详尽的，也不意图将技术限制到所公开的确切形式。鉴于以上教导可以有许多修改和变型。选择所描述的实施方式是为了最好地解释技术的原理、其实践应用、以及使本领域其他技术人员能够在各种实施方式中利用该技术并且与适用于预期的特定用途的各种修改一起利用该技术。意图通过权利要求来限定该技术的范围。