文本匹配模型的训练方法、意图识别方法及装置与流程

本技术涉及机器学习，尤其涉及一种文本匹配模型的训练方法、意图识别方法及装置。

背景技术：

1、语音机器人对话系统是一种对话问答(question&answer，qa)系统，通常由客户向语音机器人提出问题，由语音机器人对客户提出的问题给出回答。在构建语音机器人对话系统时，对客户提出的问题进行准确的意图识别是语音机器人提供优质回答的前提条件，也是系统的难点。

2、随着深度学习的发展，一些适用于文本匹配的方法被提出，其中比较经典的有两种：基于表示的方法和基于交互的方法。基于表示的方法，对两段文本分别进行编码得到各自的特征向量，然后通过相似度计算函数或相关结构得到最终匹配关系。基于交互的方法，通过对两段文本进行不同粒度(词语级、短语级等)的交互，然后将各个粒度的匹配结果通过一种结构聚合起来，将此作为一个特征向量得到最终匹配关系。

3、不管采用何种的文本匹配方法，一个常见的语音机器人对话系统需要识别客户的诸多意图。在冷启动场景下，语音机器人仅能根据客服人员在知识库中所录入的相似问题数据进行模型训练，训练数据通常很少，只有几条至几十条数据，无法支撑训练，导致文本匹配的准确率较低。另外，语音机器人的输入依赖于上游的语音识别结果，语音识别结果通常存在较多的错字、别字等不完全准确的情况，会降低文本匹配的准确率，从而加剧了意图识别的难度。如何充分利用有限的训练数据提升文本匹配的准确率，并且减少语音识别结果不准确的情况对意图识别带来的不利影响，是业界面临的技术难题。

技术实现思路

1、本技术实施例的目的是提供一种文本匹配模型的训练方法，以及意图识别方法和装置，用以提升文本匹配的准确率和意图识别的准确率。

2、为了实现上述目的，本技术实施例采用下述技术方案：

3、第一方面，提供一种文本匹配模型的训练方法，包括：

4、基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本，所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句；

5、在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；

6、根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。

7、第二方面，提供一种意图识别方法，包括：

8、获取待识别语音对应的语音识别语句；

9、将所述语音识别语句与知识库中的标准问题语句输入预先训练的文本匹配模型，输出所述语音识别语句与所述标准问题语句之间的匹配度；其中，所述文本匹配模型根据如第一方面所述的文本匹配模型的训练方法训练得到；

10、基于所述语音识别语句与每个标准问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。

11、第三方面，提供一种文本匹配模型的训练装置，包括：

12、构建模块，用于基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本，所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句；

13、多样性训练模块，用于在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；

14、第一调整模块，用于根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。

15、第四方面，提供一种意图识别装置，包括：

16、获取模块，用于获取待识别语音对应的语音识别语句；

17、文本匹配模块，用于将所述语音识别语句与知识库中的标准问题语句输入预先训练的文本匹配模型，输出所述语音识别语句与所述标准问题语句之间的匹配度；其中，所述文本匹配模型根据如第一方面所述的文本匹配模型的训练方法训练得到；

18、意图识别模块，用于基于所述语音识别语句与每个标准问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。

19、第五方面，提供一种电子设备，包括：

20、处理器；

21、用于存储所述处理器可执行指令的存储器；

22、其中，所述处理器被配置为执行所述指令，以实现如第一方面、或者第二方面所述的方法。

23、第六方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面、或者第二方面所述的方法。

24、本技术实施例提供的文本匹配模型的训练方案，针对仅能根据知识库中的相似问题数据进行模型训练，训练数据较少的问题，对训练样本集中每个训练样本进行了数据扩充，每个训练样本除了包括标准问题语句及其同类样本之外，增加了标准问题语句的异类样本；在使用训练样本集进行多样性阶段的迭代训练过程中，对训练样本中的标准问题语句、同类样本、以及异类样本采用基于线性插值的混合编码处理进行数据增强之后，再输入初始文本匹配模型，通过样本间的对比调整文本匹配模型的模型参数。通过对训练样本集中每个训练样本进行数据扩充，并且由于客户提出的问题是多种多样的，采用基于线性插值的混合编码处理进行数据增强，能够在有限的训练数据基础上提升模型输入数据的多样性，从而通过多样性阶段的迭代训练能够有效提升文本匹配模型的准确率。

25、本技术实施例提供的意图识别方案，使用上述文本匹配模型的训练方法训练得到的文本匹配模型，对待识别语音对应的语音识别语句与知识库中的标准问题语句进行文本匹配，由于文本匹配模型的训练方法中针对训练数据较少的问题，对训练样本集进行了数据扩充，除了包括标准问题语句及其同类样本之外，增加了标注问题语句的异类样本，并且在多样性阶段采用了基于线性插值的混合编码处理进行数据增强，提升模型输入数据的多样性，因此能够提升文本匹配模型的准确率，使得训练出的文本匹配模型适用于待识别语音具有多样性的意图识别场景，在文本匹配模型针对多种多样的待识别语音进行准确地文本匹配的基础上，能够准确地识别出所述待识别语音所表达的真实客户意图，从而提升意图识别的准确率。