人机交互及其模型训练方法、及电子设备与流程

本申请实施例涉及人工智能，尤其涉及一种人机交互方法、一种人机交互模型的训练方法、及一种电子设备。

背景技术：

1、在人工智能技术领域，gm(graph model，图模型)和可执行开放式任务的交互式语言模型如llm(large language model，大语言模型)是其中较为重要的两种模型。其中，大语言模型是指基于海量文本数据训练的深度学习模型，具有强大的开放式任务处理能力，能够实现诸如生成自然语言文本、深入理解文本含义，处理各种自然语言任务(如文本摘要、问答、翻译等)等功能。而图模型则擅长于预定义形式的任务，基本不具备执行开放式任务的能力。

2、为了能够使得图模型也可利用诸如llm这类具有开放式任务执行能力的交互式语言模型的能力，以提升图模型的任务执行效果，在一种方式中，如图1所示，先使用llm对图数据进行处理，利用其海量知识增强节点的文本属性，然后通过gm生成预测。通过这种方式，虽然可以使得gm对预定义的任务进行准确的预测，但仍然不能处理开放式任务。

3、因此，如何将诸如llm的交互式语言模型和gm有效结合，以充分利用交互式语言模型处理开放式任务的能力，成为亟待解决的问题。

技术实现思路

1、有鉴于此，本申请实施例提供一种人机交互及其模型训练方案，以至少部分解决上述问题。

2、根据本申请实施例的第一方面，提供了一种人机交互方法，包括：确定与输入的问题数据对应的知识图谱，并通过图模型获得所述知识图谱中与所述问题数据相匹配的节点对应的节点数据；基于所述节点数据，生成可被第一交互式语言模型接受的输入数据，其中，所述第一交互式语言模型为用于执行开放式任务的语言模型；基于所述输入数据和所述问题数据，通过所述第一交互式语言模型进行回复生成，以生成所述问题数据对应的回复数据。

3、根据本申请实施例的第二方面，提供了一种人机交互模型训练方法，包括：获取知识图谱样本中样本节点的节点属性文本，并通过预训练完成的图模型，生成样本节点的节点表征；基于所述节点属性文本，通过生成器生成用于描述所述样本节点的节点描述文本；基于所述节点表征和所述节点描述文本，构造模态对齐数据；使用所述模态对齐数据，对连接所述图模型和预训练完成的第一交互式语言模型的翻译模型进行第一阶段训练，以获得能够将所述图模型的输出转换为可被所述第一交互式语言模型接受的输入的翻译模型；其中，所述第一交互式语言模型为用于执行开放式任务的语言模型。

4、根据本申请实施例的第三方面，提供了另一种人机交互方法，包括：确定与输入的表单问题对应的表单文本属性图，并通过图模型获得所述表单文本属性图中与所述表单问题相匹配的节点对应的节点数据，其中，所述表单文本属性图中的节点对应表单实体，所述节点的表单文本属性用于描述表单结构信息和/或表单内容信息；基于所述节点数据，生成可被第一交互式语言模型接受的输入数据，其中，所述第一交互式语言模型为用于执行开放式任务的语言模型；基于所述输入数据和所述表单问题，通过所述第一交互式语言模型进行回复生成，以生成所述表单问题对应的回复数据。

5、根据本申请实施例的第四方面，提供了再一种人机交互方法，包括：确定与输入的用户信息问题对应的用户文本属性图，并通过图模型获得所述用户文本属性图中与所述用户信息问题相匹配的节点对应的节点数据，其中，所述用户文本属性图中的节点对应用户实体，所述节点的用户文本属性用于描述用户的属性信息；基于所述节点数据，生成可被第一交互式语言模型接受的输入数据，其中，所述第一交互式语言模型为用于执行开放式任务的语言模型；基于所述输入数据和所述用户信息问题，通过所述第一交互式语言模型进行回复生成，以生成所述用户信息问题对应的回复数据。

6、根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面或第三方面或第四方面所述方法对应的操作。

7、根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面或第三方面或第四方面所述的方法。

8、根据本申请实施例提供的方案，为了将交互式语言模型和图模型的能力进行有效结合和利用，在确定了问题数据对应的知识图谱后，首先通过图模型gm提取获得该知识图谱中与问题数据相匹配的节点的节点数据。gm虽然可以较为准确地确定出节点数据，但其缺乏开放式回复生成的能力，并且，该节点数据也无法被交互式语言模型(即第一交互式语言模型)如llm接受，两者之间存在着模态差异。因此，本申请实施例中，会基于确定的节点数据，生成可被交互式语言模型(即第一交互式语言模型)如llm接受的输入数据，由交互式语言模型(即第一交互式语言模型)基于该输入数据和问题数据，利用其自身的开放式任务处理能力，进行开放式回复生成。由此，使得本申请实施例的人机交互方案不仅能够保证任务处理的准确性，又能够充分利用交互式语言模型处理开放式任务的能力，使得方案具有较好的开放性，可灵活适用于各种场景和环境。

技术特征：

1.一种人机交互方法，包括：

2.根据权利要求1所述的方法，其中，所述基于所述节点数据，生成可被第一交互式语言模型接受的输入数据，包括：

3.根据权利要求2所述的方法，其中，所述基于所述节点数据对应的节点向量，获得对应的文本特征，包括：

4.根据权利要求1-3任一项所述的方法，其中，所述确定与输入的问题数据对应的知识图谱，并通过图模型获得所述知识图谱中与所述问题数据相匹配的节点对应的节点数据，包括：

5.一种人机交互模型训练方法，包括：

6.根据权利要求5所述的方法，其中，至少基于所述节点属性文本，通过生成器生成用于描述所述样本节点的节点描述文本，包括：

7.根据权利要求6所述的方法，其中，所述基于所述样本节点的节点属性文本和所述样本节点的邻居节点的节点属性文本，通过生成器生成用于表征所述样本节点自身特征的节点信息文本、用于表征所述样本节点的邻居节点特征的邻居信息文本、和用于表征所述样本节点和所述邻居节点之间的共性的共性信息文本，包括：

8.根据权利要求5-7任一项所述的方法，其中，所述使用所述模态对齐数据，对连接所述图模型和预训练完成的第一交互式语言模型的翻译模型进行第一阶段训练，包括：

9.根据权利要求8所述的方法，其中，所述基于所述节点特征向量和所述节点文本向量的注意力处理结果，对所述翻译模型进行训练，包括：

10.根据权利要求5-7任一项所述的方法，其中，所述方法还包括：

11.根据权利要求10所述的方法，其中，所述通过所述第一交互式语言模型，基于所述参数进行回复生成，包括：

12.一种人机交互方法，包括：

13.一种人机交互方法，包括：

14.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

技术总结
本申请实施例提供了一种人机交互及其模型训练方法、及电子设备，其中，人机交互方法包括：确定与输入的问题数据对应的知识图谱，并通过图模型获得所述知识图谱中与所述问题数据相匹配的节点对应的节点数据；基于所述节点数据，生成可被第一交互式语言模型接受的输入数据，其中，所述第一交互式语言模型为用于执行开放式任务的语言模型；基于所述输入数据和所述问题数据，通过所述第一交互式语言模型进行回复生成，以生成所述问题数据对应的回复数据。通过本申请实施例，不仅能够保证任务处理的准确性，又能够充分利用交互式语言模型处理开放式任务的能力，使得方案具有较好的开放性，可灵活适用于各种场景和环境。

技术研发人员：张梦玫,孙铭蔚,王鹏,范深,莫燕虎,徐萧萧,刘洪,杨成,石川
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：
技术公布日：2024/5/16