虚拟对话系统性能评估与丰富的制作方法

背景技术：

1、本发明实施例中的一个或多个实施例涉及一种采用自动虚拟对话代理(诸如，聊天机器人(chatbot))的虚拟对话系统以及相关的计算机程序产品和计算机实现的方法。在特定示例性实施例中，评估并选择性地解析对应的自动虚拟对话代理交互的质量标准，该解析针对将一个或多个补救动作选择性地应用于自动虚拟对话代理，例如，以改进关于自然语言(nl)对话事件的性能。

2、自动虚拟对话代理使用人工智能(ai)作为平台来进行自动虚拟对话代理与通常诸如消费者或客户端之类的用户或甚至另一对话代理之间的nl交互。交互可涉及产品销售、客户服务、信息获取或其他类型的交互或事务。聊天机器人通过对话与用户交互，对话通常是文本的(例如，在线的或者通过文本的)或者是听觉的(例如，通过电话)。本领域已知聊天机器人充当用户和ai平台之间的问题-答案组件。问题(或查询)和答案(或响应)的质量从问题理解、问题转换和答案解析的质量来导出。通常在请求相应响应的不适当或低效率的问题生成中发现未达到质量标准的常见原因。这可能是由于缺乏将问题有效转换成映射到答案的等效知识表示的知识，或者它可能是由于ai平台或聊天机器人内的低效率。例如，缺少同义词或概念关系可限制ai平台确定由客户或客户端输入的问题等效于或相关于数据集或数据库内可得到答案的已知问题的能力。

3、企业可对虚拟协助提出期望在虚拟系统的商业部署之前被满足的特定要求，如准确度或交互质量。例如，对于支持代理用户库(base)，虚拟系统可能具有例如50％准确度的最小性能要求，或者对于最终用户库，具有例如90％准确度的最小性能要求。因此，希望在部署之前使对话系统经历基准测试或质量测试。

技术实现思路

1、实施例包括用于改进对话系统的性能的系统、计算机程序产品和方法。提供本“
技术实现要素：
”以便以简化形式介绍在以下“具体实施方式”中进一步描述的代表性概念的选择。本“发明内容”并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于以任何方式限制所要求保护的主题的范围。

2、在一个方面中，提供一种计算机系统，其具有在操作上耦接到存储器的处理器和在操作上耦接到所述处理器的人工智能(ai)平台。所述ai平台包括用于改进虚拟对话代理的性能的一个或多个工具。所述工具包括地面实况(gt)管理器、模拟器、评估管理器以及补救管理器。所述gt管理器被配置为从知识源自动生成gt。所述模拟器被配置为使用所述虚拟对话代理来模拟nl对话交互。更具体地，所述模拟器被配置为利用所述gt来驱动所模拟的nl对话所生成的输出，并且创建对应的模拟日志。所述评估管理器被配置为在考虑所述gt的情况下评估所述虚拟对话代理关于所述模拟日志的性能。所述补救管理器被配置为在考虑性能阈值的情况下识别并选择性地实现对所述对话系统的一个或多个补救动作。

3、在另一个方面中，提供一种计算机程序产品，其具有计算机可读存储介质以及存储在所述计算机可读存储介质上的程序代码。所述程序代码能够由计算机处理器执行以提高虚拟对话代理的性能。提供程序代码以从知识源自动生成地面实况(gt)。还提供程序代码以使用所述虚拟对话代理来模拟nl对话交互。所述模拟利用所述gt来驱动所模拟的nl对话所生成的输出，以及创建对应的模拟日志。提供程序代码以在考虑所述gt的情况下评估所述虚拟对话代理关于所述模拟日志的性能，以及在考虑性能阈值的情况下识别并选择性地实现对所述对话系统的一个或多个补救动作。

4、在又一个方面中，提供了一种用于改进虚拟对话代理的性能的计算机实现的方法。所述方法被配置为从知识源自动生成地面实况(gt)。nl对话交互经历使用所述虚拟对话代理的模拟。所述模拟利用所述gt来驱动所模拟的nl对话交互所生成的输出，以及创建对应的模拟日志。在考虑所述gt的情况下评估所述虚拟对话代理关于所述模拟日志的性能。在考虑性能阈值的情况下识别并选择性地实现对所述对话系统的一个或多个补救动作。

5、通过结合附图进行的当前示例性实施例的以下详细描述，这些和其他特征和优点将变得显而易见。

技术特征：

1.一种计算机系统，包括：

2.根据权利要求1所述的计算机系统，其中，所述gt数据包括使用日志以及与所述使用日志相对应的反馈、结构化数据、由主题专家生成的记录、或它们的任意组合。

3.根据权利要求1所述的计算机系统，其中，所述评估管理器被配置为将所述gt中的查询-响应对与所述模拟日志中的对应的查询-响应对进行比较。

4.根据权利要求1所述的计算机系统，其中，所述gt管理器进一步被配置为编辑第一消歧选择路径，所述编辑包括：

5.根据权利要求4所述的计算机系统，其中，所述模拟器进一步被配置为编辑第二消歧选择路径，所述编辑包括：

6.根据权利要求5所述的计算机系统，其中，所述评估管理器进一步被配置为将所记录的第一日志与所记录的第二日志进行比较。

7.一种用于改进虚拟对话代理的性能的计算机程序产品，所述计算机程序产品包括：

8.根据权利要求7所述的计算机程序产品，其中，所述gt数据包括使用日志以及与所述使用日志相对应的反馈、知识图、由主题专家生成的记录、或它们的任意组合。

9.根据权利要求7所述的计算机程序产品，其中，能够由所述计算机处理器执行以评估性能的所述程序代码包括：能够由所述计算机处理器执行以将所述gt中的查询-响应对与所述模拟日志中的对应的查询-响应对进行比较的计算机代码。

10.根据权利要求7所述的计算机程序产品，其中，能够由所述计算机处理器执行以利用所述gt数据的所述程序代码包括：能够由所述计算机处理器执行以编辑第一消歧选择路径的程序代码，所述编辑包括：

11.根据权利要求10所述的计算机程序产品，其中，能够由所述计算机处理器执行以进行模拟的所述程序代码进一步包括：能够由所述计算机处理器执行以编辑第二消歧选择路径的程序代码，所述编辑包括：

12.根据权利要求11所述的计算机程序产品，其中，能够由所述计算机处理器执行以评估自动虚拟对话代理的性能的所述程序代码进一步包括：能够由计算机处理器执行以将所记录的第一日志与所记录的第二日志进行比较的程序代码。

13.一种涉及改进虚拟对话代理系统的性能的计算机实现的方法，所述方法包括：

14.根据权利要求13所述的计算机实现的方法，其中，所述gt数据包括使用日志以及与所述使用日志相对应的反馈、结构化数据、由主题专家生成的记录、或它们的任意组合。

15.根据权利要求13所述的计算机实现的方法，其中，所述评估包括：将所述gt中的查询-响应对与所述模拟日志中的对应的查询-响应对进行比较。

16.根据权利要求13所述的计算机实现的方法，其中，利用所述gt数据包括由所述计算机处理器编辑第一消歧选择路径，所述编辑包括：

17.根据权利要求16所述的计算机实现的方法，其中，所述模拟进一步包括由所述计算机处理器编辑第二消歧选择路径，所述编辑包括：

18.根据权利要求17所述的计算机实现的方法，其中，评估所述自动虚拟对话代理的性能进一步包括：将所记录的第一日志与所记录的第二日志进行比较。

技术总结
提供了涉及用于改进采用自动虚拟对话代理的虚拟对话代理系统的性能的计算机系统、计算机程序产品和计算机实现的方法的实施例。实施例涉及从用户的知识库生成地面实况(GT)，以及利用GT来评估虚拟对话代理使用GT执行的情况。评估测量多轮虚拟对话的质量，以及生成针对虚拟对话代理的算法改进的补救计划。

技术研发人员：R·马亨德鲁,A·库马尔,A·曼达尔,D·罗苏
受保护的技术使用者：国际商业机器公司
技术研发日：
技术公布日：2024/1/15