对话内容处理方法、对话理解模型的训练方法和装置与流程

本公开涉及人工智能领域，具体涉及自然语言处理、深度学习技术、对话理解技术，特别涉及一种对话内容处理方法、对话理解模型的训练方法、对话内容处理装置、对话理解模型的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、任务式对话(task-oriented dialogue，tod)系统旨在通过对话帮助用户完成指定的任务或者达成预定的目标，例如：预订酒店、询问天气、日程安排和路线导航等。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本公开提供了一种对话内容处理方法、对话理解模型的训练方法、对话内容处理装置、对话理解模型的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面，提供了一种对话内容处理方法，包括：获取用户的对话内容；利用对话理解模型对对话内容进行内容理解，以生成基于自然语言的对话查询文本；以及基于对话查询文本，确定对对话内容的回复内容。

3、根据本公开的一方面，提供了一种对话理解模型的训练方法，包括：获取样本用户的样本对话内容和与样本对话内容对应的真实回复内容；利用对话理解模型对样本对话内容进行内容理解，以生成基于自然语言的样本对话查询文本；基于样本对话查询文本，确定对对话内容的样本回复内容；以及基于样本回复内容和真实回复内容，调整对话理解模型的参数，以得到训练后的对话理解模型。

4、根据本公开的一方面，提供了一种对话内容处理装置，包括：第一获取单元，被配置为获取用户的对话内容；第一内容理解单元，被配置为利用对话理解模型对对话内容进行内容理解，以生成基于自然语言的对话查询文本；以及第一确定单元，被配置为基于对话查询文本，确定对对话内容的回复内容。

5、根据本公开的一方面，提供了一种对话理解模型的训练装置，包括：第三获取单元，被配置为获取样本用户的样本对话内容和与样本对话内容对应的真实回复内容；第二内容理解单元，被配置为利用对话理解模型对样本对话内容进行内容理解，以生成基于自然语言的样本对话查询文本；第三确定单元，被配置为基于样本对话查询文本，确定对对话内容的样本回复内容；以及调参单元，被配置为基于样本回复内容和真实回复内容，调整对话理解模型的参数，以得到训练后的对话理解模型。

6、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，这些指令被至少一个处理器执行，以使至少一个处理器能够执行上述方法。

7、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述方法。

8、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述方法。

9、根据本公开的一个或多个实施例，通过将对话内容理解为一种自然语言形式的查询文本，无需提前定义领域的词槽信息，泛化性更强。这样的方式还能够有效迁移至一个新的领域，并且具有较强的领域自适应能力，因而无需针对不同领域训练多个模型。此外，通用的基于自然语言的查询文本，可以适配任何下游的知识检索工具或者模型，不需要单独训练一个检索模型。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种对话内容处理方法，包括：

2.根据权利要求1所述的方法，其中，所述对话查询文本为对所述对话内容的概括性描述。

3.根据权利要求2所述的方法，其中，所述对话内容包括所述用户当前轮的对话信息以及所述用户的历史对话信息。

4.根据权利要求1所述的方法，其中，基于所述对话查询文本，确定对所述对话内容的回复内容包括：

5.根据权利要求4所述的方法，还包括：

6.根据权利要求1所述的方法，其中，所述对话理解模型基于transformer架构的编码器-解码器预训练语言模型。

7.一种对话理解模型的训练方法，包括：

8.一种对话内容处理装置，包括：

9.根据权利要求8所述的装置，其中，所述对话查询文本为对所述对话内容的概括性描述。

10.根据权利要求9所述的装置，其中，所述对话内容包括所述用户当前轮的对话信息以及所述用户的历史对话信息。

11.根据权利要求8所述的装置，其中，所述第一确定单元包括：

12.根据权利要求11所述的装置，还包括：

13.根据权利要求8所述的装置，其中，所述对话理解模型基于transformer架构的编码器-解码器预训练语言模型。

14.一种对话理解模型的训练装置，包括：

15.一种电子设备，包括：

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种对话内容处理方法、对话理解模型的训练方法和装置，涉及人工智能领域，具体涉及自然语言处理、深度学习技术、对话理解技术。该方法包括：获取用户的对话内容；利用对话理解模型对对话内容进行内容理解，以生成基于自然语言的对话查询文本；以及基于对话查询文本，确定对对话内容的回复内容。

技术研发人员：宋梦菲,田昕,林英展,黄世维
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13