一种面向智能对话系统的对话状态追踪方法

本发明涉及深度学习、自然语言处理，尤其涉及一种面向智能对话系统的对话状态追踪方法。

背景技术：

1、对话状态追踪是任务型对话系统的重要组成部分，在任务型对话系统中，对话状态是对当前所有轮次对话信息的紧凑的表示，通常由一组槽值对组成。对话状态追踪的目标是在对话的每一轮根据用户的输入更新对话状态，从而理解用户的目标和意图。高效准确的对话状态追踪的结果对于下一步的系统反馈、对话生成具有重要的意义。

2、现有的基于深度学习的对话状态追踪方法大多基于三种策略：基于预定义本体、基于跨度预测和基于文本生成。基于本体的方法假定所有的槽位候选值都是给定的，这类方法实现简单且容易理解。然而，这种方法不能识别出预先定义的值以外的结果。基于跨度的预测方法通过在用户语句中标记出槽位对应的值的开始和结束位置从用户语句中提取出槽词对应的值。但是由于对话领域的多样性，很难获得足够的标注数据，导致模型泛化能力较差。随着对话轮次的不断增加，历史对话语句的拼接也越来越长，将会产生大量的训练数据和推理的计算复杂度。

技术实现思路

1、鉴于上述现有技术中存在的问题，提出了本发明。

2、因此，本发明提供了一种面向智能对话系统的对话状态追踪方法解决现有的方法忽视了数据量巨大、保存大量噪声信息和领域在对话状态追踪任务中的指导性作用以及对高效上下文进行编码存在信息不完整的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、本发明实施例提供了一种面向智能对话系统的对话状态追踪方法，包括：

5、获取智能对话系统中的对话语句以及对话状态，并对所述对话语句以及对话状态进行预处理；

6、根据预处理后的数据，结合bert预训练模型，获取词向量特征表示矩阵；

7、对所述词向量特征表示矩阵中的特征向量进行第一领域分类，结合槽门机制，获得带有领域信息的槽位上下文向量；

8、对所述带有领域信息的槽位上下文向量进行第二状态分类，根据分类后的操作状态的标识符确定槽位对应的新槽词，根据所述新槽词完成对智能对话系统的对话状态追踪。

9、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：所述根据分类后的操作状态确定槽位对应的新槽词，根据所述新槽词完成对智能对话系统的对话状态追踪包括：

10、当操作状态的标识符为第一标识时，新槽词对应的值结果不变，和上一轮次的结果保持一致；

11、当操作状态的标识符为第二标识时，将槽词对应的值置为第一槽值，此时新槽词对应的值为第一槽值；

12、当操作状态的标识符为第三标识时，将槽词对应的值置为第二槽值，此时新槽词对应的值为第二槽值；

13、当操作状态的标识符为第四标识时，槽位对应的新槽词使用循环神经网络作为解码器生成对应的值，并利用包含领域信息的向量和带有领域信息的槽位上下文向量初始化循环神经网络。

14、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：还包括：

15、在每一步都使用上一时间步生成的隐藏向量和当前输入的词嵌入向量生成新的隐藏向量，直至结束标记符生成；

16、将每个时间步的隐藏向量转换为词表上的分布；

17、使用软复制机制来获得基于候选词的最终单词分布，确定新槽词的值，根据所述新槽词完成对智能对话系统的对话状态追踪。

18、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：第二状态分类包括：

19、；

20、其中，为前馈神经网络参数，为其偏置，表示第个对话回合中第个槽的操作状态分布，|o|=4，表示操作状态的标识符种类，为第对话轮次中第个槽所对应的操作的索引值，为第轮次中第个槽位的隐藏向量。

21、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：对所述词向量特征表示矩阵中的特征向量进行第一领域分类，结合槽门机制，获得带有领域信息的槽位上下文向量包括：

22、所述第一领域分类包括：

23、；

24、其中，为包含领域信息的向量，为前馈神经网络的参数，为其偏置，为第轮次的对话语句在各个领域上的概率分布，表示占位符“[cls]”对应的特征向量。

25、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：所述槽门机制包括：抽取编码器输出中对应的特征向量表示为：

26、；

27、其中，，为第轮次中第个槽位的表征向量，gather函数的作用是按照索引收集特征向量，表示所在的位置索引。

28、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：还包括：将领域信息向量和槽信息向量输入槽门机制中以获得上下文加权特征，表示为：

29、；

30、其中，和为可训练的参数，为槽位数量；

31、基于上下文加权特征获取带有领域信息的槽位上下文向量，表示为：

32、；

33、其中，为可以学习的参数，为第轮次中第个槽位的表征向量，为第轮次中第个槽位的隐藏向量。

34、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：对对话语句以及对话状态进行预处理包括：拼接处理与格式转换；

35、记每个对话轮次的语句拼接为；

36、其中，表示轮次，为第轮次的系统回复，为用户输入的语句，公式中符号“；”是系统回复和用户语句之间的分隔符，[sep]是用于标记对话回合结束的特殊符号。

37、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：还包括：

38、记对话状态是固定大小的槽值对集合；

39、其中，是第个槽位的槽词，是其对应的值；

40、记每个轮次的对话状态表示为；

41、其中，为第个槽词及其对应的结果词，-是槽词和值之间的连接符，是一种特殊的标记，用于将第个槽的槽值对的信息汇聚为单个向量。

42、作为本发明所述的面向智能对话系统的对话状态追踪方法的一种优选方案，其中：根据预处理后的数据，结合bert预训练模型，获取词向量特征表示矩阵包括：

43、预处理后的数据表示为：

44、；

45、其中，表示高效上下文，表示对话状态，至为第轮次的l轮对话语句；

46、将普通单词形式的数据转化为数据形式。

47、与现有技术相比，本发明的有益效果：本发明通过获取智能对话系统中的对话语句以及对话状态，并对对话语句以及对话状态进行预处理；再根据预处理后的数据，结合bert预训练模型，获取词向量特征表示矩阵；再对词向量特征表示矩阵中的特征向量进行第一领域分类，结合槽门机制，获得带有领域信息的槽位上下文向量；再对带有领域信息的槽位上下文向量进行第二状态分类，根据分类后的操作状态的标识符确定槽位对应的新槽词，根据新槽词完成对智能对话系统的对话状态追踪。减少了数据量的同时也使用了历史对话信息的高度提炼保存了关键信息。