一种意图分类的方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种意图分类的方法和装置、存储介质以及计算机程序产品。


背景技术：

2.意图识别能力是对话机器人的重要程度的体现，意图识别本质是个多分类问题，将待识别的文字输入至意图识别模型中，输出为某个特定的意图。
3.意图识别模型的识别能力决定了意图识别结果的优劣。目前，对于意图识别模型的训练语料主要是通过对收集到的人机对话语料进行人工的标注，得到一批标准的训练数据，再利用标注好的训练数据训练得到意图识别模型。
4.由于现有技术中的语料过多地依赖人工标注，标注资源成本比较高，且容易导致文本语义的变化，进而影响意图识别模型的识别性能。


技术实现要素：

5.本发明提供一种意图分类的方法和装置、存储介质以及计算机程序产品，用以解决现有技术中人工标注导致标注资源成本比较高，且容易导致文本语义变化，影响意图识别模型的识别性能的缺陷。
6.本发明提供一种意图分类的方法，包括：
7.将待增强语句抽取关键词；
8.将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
9.通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
10.将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
11.其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
12.根据本发明提供的一种意图分类的方法，将待增强语句抽取关键词，包括：
13.将所述待增强语句进行词语分割，得到多个词语；
14.构建词语之间的连通权重图，基于所述词语之间的连通权重图确定权重排序，根据权重排序确定所述关键词；
15.或
16.将所述待增强语句输入至预先训练的主题模型中，输出候选关键词和所述待增强语句对应的文章主题；
17.确定所述文章主题以及候选关键词的相似度并排序，将前n个候选关键词作为所述关键词，其中，n为大于1的整数。
18.根据本发明提供的一种意图分类的方法，将所述关键词进行掩盖处理得到处理后的待增强语句，包括：
19.确定每个所述关键词包括的字单元个数；
20.设置不同字单元个数对应的关键词的掩盖比例；
21.基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
22.根据本发明提供的一种意图分类的方法，基于所述初始样本语句的词语掩盖预测任务对所述意图分类模型进行训练，包括：
23.对所述初始样本语句抽取样本关键词；
24.将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，将所述掩盖样本语句输入至意图分类模型，输出每个所述掩盖样本语句对应的增强样本语句；
25.确定所述初始样本语句与所述增强样本语句的内容差异度和语义相似度；
26.基于预设的第二评估函数以及所述初始样本语句与所述增强样本语句的内容差异度和语义相似度，对所述意图分类模型进行训练，直至第二评估函数达到收敛条件；其中，所述第二评估函数用于评估所述初始样本语句与所述增强样本语句的内容差异度和语义相似度的综合值。
27.根据本发明提供的一种意图分类的方法，将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，包括：
28.确定每个所述样本关键词包括的字单元个数；
29.设置不同字单元个数对应的样本关键词的掩盖比例；
30.基于所述掩盖比例，分别将所述初始样本语句中不同字单元个数对应的样本关键词进行掩盖处理，得到所述掩盖样本语句。
31.根据本发明提供的一种意图分类的方法，基于所述标注语句的意图分类任务对所述意图分类模型进行训练，包括：
32.通过预设的损失函数，所述标注语句及其对应的意图分类标签，对所述意图分类模型进行有监督训练，直至所述损失函数的损失值小于预设值。
33.根据本发明提供的一种意图分类的方法，所述第一评估函数包括：
34.t＝min(j(a1,b1))+max(sim(a1,b1))
35.其中，j(a1,b1)为待增强语句a1和所述增强预测语句b1的内容差异度；
[0036][0037]
sim(a1,b1)为待增强语句a1和所述增强预测语句b1的语义相似度；
[0038][0039]
本发明还提供一种意图分类的装置，包括：
[0040]
抽取模块，用于将待增强语句抽取关键词；
[0041]
增强预测模块，用于将所述关键词进行掩盖处理得到处理后的待增强语句，将所
述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
[0042]
评估模块，用于通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
[0043]
意图分类模块，用于将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
[0044]
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
[0045]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述意图分类的方法的步骤。
[0046]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述意图分类的方法的步骤。
[0047]
本发明提供的意图分类的方法和装置，通过训练好的意图分类模型根据输入的待增强语句得到多个增强预测语句，再通过第一评估函数对增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句，将最终增强语句再次输入至意图分类模型，确定最终增强语句对应的意图分类；其中，意图分类模型为通过执行词语掩盖预测任务和意图分类任务进行联合训练，不仅可以有效利用初始样本语句中的未标注语句，避免人工标注导致的语义变化给模型的训练过程的负面影响，而且能够提高意图分类模型的鲁棒性，进而提升模型的识别性能。
附图说明
[0048]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1是本发明提供的意图分类的方法的流程示意图之一；
[0050]
图2是本发明提供的意图分类的方法的流程示意图之二；
[0051]
图3是本发明的意图分类模型的训练方法的流程示意图；
[0052]
图4是本发明提供的意图分类的方法的流程示意图之三；
[0053]
图5是本发明提供的方法中生成增强预测语句的示意图；
[0054]
图6是本发明提供的意图分类的装置的结构示意图；
[0055]
图7是本发明提供的电子设备的结构示意图。
具体实施方式
[0056]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
下面结合图1-图5描述本发明实施例的意图分类的方法。
[0058]
本发明实施例公开了一种意图分类的方法，参见图1，包括：
[0059]
101、将待增强语句抽取关键词。
[0060]
首先，对本实施例中提到的增强任务进行解释。
[0061]
文本增强，指的是通过输入的一种意图的文本，生成一个能表示相同意图但是内容上面存在比较大点的差异的文本，这样能够让意图识别模型学习到这种差异，提高意图分类模型的鲁棒性。
[0062]
例如输入的文本为“今天天气如何”，通过文本增强任务，可以生成的增强文本为“今天气象如何”。
[0063]
本实施例中，待增强语句可以为一个，也可以为多个，例如输入的一篇文章，文章包括多个语句。
[0064]
其中，抽取关键词的方法有多种，例如：
[0065]
一种方式下，将所述待增强语句进行词语分割，得到多个词语；构建词语之间的连通权重图，基于所述词语之间的连通权重图确定权重排序，根据权重排序确定所述关键词。
[0066]
以pagerank方法为例，其原理参见以下公式(1)：
[0067]
pr(a)＝(1-d)+d(pr(t1)/c(t1)+
……
+pr(tn)/c(tn))
ꢀꢀꢀꢀ
(1)
[0068]
其中，pr(a)为词语a的pr值，在本实施例中可以为排序值；
[0069]
pr(ti)为词语ti的pr值；其中，词语ti是与词语a有关联的任一词语；其中，i＝1至n。
[0070]
c(ti)是词语ti的出度，也即词语ti指向其他词语的边的个数；其中，i＝1至n。
[0071]
d为阻尼系数。
[0072]
另一种方式下，抽取关键词的方法可以包括：将所述待增强语句输入至预先训练的主题模型中，输出候选关键词和所述待增强语句对应的文章主题；确定所述文章主题以及候选关键词的相似度并排序，将前n个候选关键词作为所述关键词，其中，n为大于1的整数。
[0073]
最终的结果，可以将上述两种方式取并集，得到最终的关键词。
[0074]
102、将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句。
[0075]
具体地，参见图2，步骤102中将所述关键词进行掩盖处理得到处理后的待增强语句，包括：
[0076]
201、确定每个所述关键词包括的字单元个数。
[0077]
202、确定不同字单元个数对应的关键词的掩盖比例。
[0078]
203、基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
[0079]
本实施例中，针对部分关键词执行n-gram mask任务，例如一种方式下，确定包括1个字单元的关键词的掩盖比例为0.3，2个字单元的关键词的掩盖比例为0.4，3个字单元的关键词的掩盖比例为0.3，则将文本中的所有待增强语句中的关键词按比例进行掩盖，即替换为mask，得到处理后的待增强语句。
[0080]
本实施例中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述
初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
[0081]
以意图分类模型为bert模型为例，现有的bert模型的预训练任务为随机的词语掩盖预测任务，其任务会比较简单：将随机选定的词语用mask替代，然后让模型学习被mask掉的内容，从而能让bert模型学习到词的向量表示。由于是随机的mask，导致被选中的词很分散，不能很好地学习到词与词之间的关系，尤其是词之间的关联不能被很好学习到。
[0082]
例如以语句“i am going to work”为例，将am和to用mask替代，则生成待预测语句“i《mask》going《mask》work”，将该待预测语句输入至bert模型中，目标是输出“i am going to work”，从而让bert模型识别到语句中的词语之间的关系。
[0083]
本实施例中在对意图分类模型进行训练的过程中，通过执行两个训练任务：基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务，以提升意图分类模型的鲁棒性，从而可以提升模型的性能。
[0084]
103、通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句。
[0085]
其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值。
[0086]
具体地，第一评估函数包括下式(2)-(4)：
[0087]
t1＝min(j(a1,b1))+max(sim(a1,b1))
ꢀꢀ
(2)
[0088]
其中，j(a1,b1)为待增强语句a1和所述增强预测语句b1的内容差异度；
[0089][0090]
sim(a1,b1)为待增强语句a1和增强预测语句b1的语义相似度；
[0091][0092]
例如，通过将处理后的待增强语句输入意图分类模型，得到5个增强预测语句，然后通过第一评估函数对5个增强预测语句进行评估，得到的评估分数分别为0.8、0.7、0.65、0.53和0.3。将评估分数为0.8的增强预测语句作为最终增强语句。
[0093]
104、将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类。
[0094]
需要说明的是，本实施例中的意图分类模型可以完成两个任务：增强预测任务和意图分类任务。
[0095]
例如最终增强语句为“查询到北京的路径”，则确定最终的意图分类为“路途查询”；最终增强语句为“查询北京的天气”，则确定最终的意图分类为“天气查询”。
[0096]
对应地，通过在训练阶段对意图分类模型执行对应的上述两个训练任务，可以提升模型的鲁棒性，使模型在执行任务时有更好的性能。
[0097]
本发明实施例提供的意图分类的方法，通过训练好的意图分类模型根据输入的待增强语句得到多个增强预测语句，再通过第一评估函数对增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句，将最终增强语句再次输入至意图分类模型，确定最终增强语句对应的意图分类；其中，意图分类模型为通过执行词语掩盖预测任务和
意图分类任务进行联合训练，不仅可以有效利用初始样本语句中的未标注语句，避免人工标注导致的语义变化给模型的训练过程的负面影响，而且能够提高意图分类模型的鲁棒性，进而提升模型的识别性能。
[0098]
在确定所述最终增强语句对应的意图分类后，将携带有意图分类标签的增强语句和待增强语句作为训练语料添加至训练集中，重新训练意图分类模型，验证效果如下表1所示：
[0099]
表1
[0100]
训练用数据模型意图分类准确率原始训练集bert0.88加入增强语句的训练集bert0.93
[0101]
从表中数据可见，通过本实施例的方法生成的增强语句能够显著的提高意图分类的准确率和鲁棒性。
[0102]
进一步地，下面对本发明实施例的意图分类模型的训练过程进行说明。本发明实施例的意图分类模型包括两个训练任务：
[0103]
对于第一个训练任务，为基于所述初始样本语句的词语掩盖预测任务，参见图3，包括：
[0104]
步骤301、对所述初始样本语句抽取样本关键词。
[0105]
步骤302、将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句。
[0106]
具体地，步骤302包括：确定每个所述样本关键词包括的字单元个数；设置不同字单元个数对应的样本关键词的掩盖比例；基于所述掩盖比例，分别将所述初始样本语句中不同字单元个数对应的样本关键词进行掩盖处理，得到所述掩盖样本语句。
[0107]
本实施例中，针对样本关键词执行n-gram mask任务，例如一种方式下，确定包括1个字单元的关键词的掩盖比例为0.3，2个字单元的关键词的掩盖比例为0.4，3个字单元的关键词的掩盖比例为0.3，则将文本中的所有待增强语句中的关键词按比例进行掩盖，从而增大训练任务的难度，提高意图分类模型的训练效果。
[0108]
步骤303、将所述掩盖样本语句输入至意图分类模型，输出每个所述掩盖样本语句对应的增强样本语句。
[0109]
步骤304、确定所述初始样本语句与所述增强样本语句的内容差异度和语义相似度。
[0110]
步骤305、基于预设的第二评估函数以及所述初始样本语句与所述增强样本语句的内容差异度和语义相似度，对所述意图分类模型进行训练，直至第二评估函数达到收敛条件。
[0111]
其中，所述第二评估函数用于评估所述初始样本语句与所述增强样本语句的内容差异度和语义相似度的综合值，如下式(5)-(7)：
[0112]
t2＝min(j(a2,b2))+max(sim(a2,b2))
ꢀꢀꢀ
(5)
[0113]
其中，j(a2,b2)为初始样本语句a2和增强样本语句b2的内容差异度；
[0114][0115]
sim(a2,b2)为待增强语句a2和所述增强预测语句b2的语义相似度；
[0116][0117]
由上述公式可见，为了使生成的句子内容差异比较大、且语义度比较高，在训练过程中使用t2第二评估函数作为评估方法来选择最优的意图分类模型。
[0118]
在第一个训练任务中，用于训练的样本为初始样本语句，其中初始样本语句包括标注语句和未标注语句。
[0119]
对于第二个训练任务，通过预设的损失函数，所述标注语句及其对应的意图分类标签，对所述意图分类模型进行有监督训练，直至所述损失函数的损失值小于预设值。
[0120]
其中，损失函数如下式(8)所示：
[0121][0122]
其中，xi表示第i个标注语句，yi表示第i个标注语句对应的意图分类标签，h(xi)表示第i个标注语句与其对应的意图分类标签的映射函数；l表示标注语句的数量。
[0123]
为了进一步地对本实施例的方法进行说明，下面以一个具体示例进行示意性的说明。
[0124]
参见图4和图5，本实施例的意图分类的方法包括：
[0125]
401、将待增强语句抽取关键词。
[0126]
例如，将待增强语句“帮我查一下明天天气”抽取关键词，例如“天气”。则对应地，“天”和“天气”均作为关键词。
[0127]
402、确定每个所述关键词包括的字单元个数。
[0128]
确定关键词“天”包括的字单元为1，关键词“天气”包括的字单元为2。
[0129]
403、设置不同字单元个数对应的关键词的掩盖比例。
[0130]
404、基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
[0131]
本实施例中，生成处理后的待增强语句“帮我查一下明《mask》《mask》《mask》”。
[0132]
405、将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句。
[0133]
本实施例中，得到的增强预测语句包括：
[0134]
帮我查一下明个气象；
[0135]
帮我查一下明个天气；
[0136]
帮我查一下明天天象。
[0137]
406、通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句。
[0138]
其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值。
[0139]
得到的增强预测语句的评估分数为：
[0140]
帮我查一下明个气象，对应的评估分数为0.8；
[0141]
帮我查一下明个天气，对应的评估分数为0.3；
[0142]
帮我查一下明天天气，对应的评估分数为0。
[0143]
由上可见，对于与待增强语句完全一致的增强预测语句，应当将其排除。最终，确
定“帮我查一下明个气象”作为最终增强语句。
[0144]
407、将最终增强语句“帮我查一下明个气象”再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类为“天气查询”。
[0145]
本实施例的方法，还带来了以下技术效果：
[0146]
1)将预训练任务进行改造，实现两个训练任务相结合，可以有效解决现有技术中通过对文本修改进行增强带来的语义变化、语法不通顺的问题。
[0147]
2)能够将标注语句和未标注语句都用上，降低标注资源成本。
[0148]
3)能够明显地提升文本增强生成的文本的质量，保证语义的一致性和语法的通顺性，减少句子的困惑度。
[0149]
4)在将生成的最终增强语句增加到训练数据后，能够明显提升模型的意图分类的准确率。
[0150]
下面对本发明提供的意图分类的装置进行描述，下文描述的意图分类的装置与上文描述的意图分类的方法可相互对应参照。
[0151]
本发明实施例公开了一种意图分类的装置，参见图6，包括：
[0152]
抽取模块601，用于将待增强语句抽取关键词；
[0153]
增强预测模块602，用于将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
[0154]
评估模块603，用于通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
[0155]
意图分类模块604，用于将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
[0156]
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
[0157]
可选地，抽取模块601，具体用于：
[0158]
将所述待增强语句进行词语分割，得到多个词语；
[0159]
构建词语之间的连通权重图，基于所述词语之间的连通权重图确定权重排序，根据权重排序确定所述关键词；
[0160]
或
[0161]
将所述待增强语句输入至预先训练的主题模型中，输出候选关键词和所述待增强语句对应的文章主题；
[0162]
确定所述文章主题以及候选关键词的相似度并排序，将前n个候选关键词作为所述关键词，其中，n为大于1的整数。
[0163]
可选地，增强预测模块602，具体用于：
[0164]
确定每个所述关键词包括的字单元个数；
[0165]
设置不同字单元个数对应的关键词的掩盖比例；
[0166]
基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
[0167]
可选地，所述装置还包括第一训练模块，用于：
[0168]
对所述初始样本语句抽取样本关键词；
[0169]
将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，将所述掩盖样本语句输入至意图分类模型，输出每个所述掩盖样本语句对应的增强样本语句；
[0170]
确定所述初始样本语句与所述增强样本语句的内容差异度和语义相似度；
[0171]
基于预设的第二评估函数以及所述初始样本语句与所述增强样本语句的内容差异度和语义相似度，对所述意图分类模型进行训练，直至第二评估函数达到收敛条件；其中，所述第二评估函数用于评估所述初始样本语句与所述增强样本语句的内容差异度和语义相似度的综合值。
[0172]
可选地，第一训练模块，具体用于：
[0173]
确定每个所述样本关键词包括的字单元个数；
[0174]
设置不同字单元个数对应的样本关键词的掩盖比例；
[0175]
基于所述掩盖比例，分别将所述初始样本语句中不同字单元个数对应的样本关键词进行掩盖处理，得到所述掩盖样本语句。
[0176]
可选地，所述装置还包括第二训练模块，用于：
[0177]
通过预设的损失函数，所述标注语句及其对应的意图分类标签，对所述意图分类模型进行有监督训练，直至所述损失函数的损失值小于预设值。
[0178]
可选地，第一评估函数包括：
[0179]
t＝min(j(a1,b1))+max(sim(a1,b1))
[0180]
其中，j(a1,b1)为待增强语句a1和所述增强预测语句b1的内容差异度；
[0181][0182]
sim(a1,b1)为待增强语句a1和所述增强预测语句b1的语义相似度；
[0183][0184]
本发明实施例提供的意图分类的装置，通过训练好的意图分类模型根据输入的待增强语句得到多个增强预测语句，再通过第一评估函数对增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句，将最终增强语句再次输入至意图分类模型，确定最终增强语句对应的意图分类；其中，意图分类模型为通过执行词语掩盖预测任务和意图分类任务进行联合训练，不仅可以有效利用初始样本语句中的未标注语句，避免人工标注导致的语义变化给模型的训练过程的负面影响，而且能够提高意图分类模型的鲁棒性，进而提升模型的识别性能。
[0185]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行意图分类的方法，该方法包括：
[0186]
将待增强语句抽取关键词；
[0187]
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
[0188]
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
[0189]
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
[0190]
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
[0191]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0192]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的意图分类的方法，该方法包括：
[0193]
将待增强语句抽取关键词；
[0194]
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
[0195]
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
[0196]
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
[0197]
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
[0198]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的意图分类的方法，该方法包括：
[0199]
将待增强语句抽取关键词；
[0200]
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
[0201]
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
[0202]
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
[0203]
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
[0204]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0205]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0206]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。