基于标签向量的意图识别方法、装置、电子设备及介质与流程

文档序号:26543122发布日期:2021-09-07 22:38阅读:116来源:国知局
基于标签向量的意图识别方法、装置、电子设备及介质与流程

1.本发明涉及智能决策技术领域,尤其涉及一种基于标签向量的细粒度意图识别方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.随着人工智能的发展,对话系统等人机自动化交互系统有了广泛应用。在人机自动化交互系统中,通常需要对用户输入的文本进行文本意图识别,从而获取用户的真实需求。由于中文语言的复杂性,现有技术中,对于用户输入的文本通常只能进行宽泛的语义分类,即判断输入的文本属于哪一类,这导致对文本意图识别的精准度不够高,从而为人及自动化交互带来障碍,例如,使得对话系统出现答非所问的情况。


技术实现要素:

3.本发明提供一种基于标签向量的细粒度意图识别方法、装置、电子设备及计算机可读存储介质,其主要目的在于精准地识别文本意图。
4.为实现上述目的,本发明提供的一种基于标签向量的细粒度意图识别方法,包括:
5.获取训练文本集,以及获取预创建的细粒度意图标签集,所述细粒度意图标签集包含多个细粒度意图标签;
6.将所述训练文本集进行编码和向量化得到向量化文本集,将多个所述细粒度意图标签进行编码和向量化得到多个向量化意图标签;
7.利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器;
8.获取待识别文本,将所述待识别文本进行编码和向量化,得到向量化待识别文本;
9.通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值;
10.获取所述匹配值大于预设阈值时对应的细粒度意图标签为所述待识别文本的意图识别标签。
11.可选地,所述获取预创建的细粒度意图标签集之前,所述方法还包括:
12.获取多个预置标签;
13.计算所述多个预置标签的相似度,并根据所述相似度构建标签二叉树;
14.将所述标签二叉树中所有叶子节点对应的预置标签汇集为细粒度意图标签集。
15.可选地,所述将所述训练文本集进行编码和向量化得到向量化文本集,包括:
16.识别所述训练文本集的文本类别;
17.获取与所述文本类别对应的编码代码;
18.通过与所述文本类别对应的编码代码对所述训练文本集进行编码,得到编码文本集;
19.对所述编码文本集中的多个编码文本进行向量化,得到向量化文本集。
20.可选地,所述对所述编码文本集中的多个编码文本进行向量化,得到向量化文本集,包括:
21.所述编码文本集中的多个编码文本分别进行分词操作,得到多个编码分词集合;
22.将多个所述编码分词集合中编码分词分别通过预训练的词向量模型进行向量化和向量组合,得到多个编码分词集合对应的编码向量;
23.确定多个所述编码向量组成所述向量化文本集。
24.可选地,所述利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器,包括:
25.获取所述文本匹配器包含的文本匹配函数;
26.利用所述向量化文本集和多个所述向量化意图标签分别调整所述文本匹配函数,得到与多个所述向量化意图标签对应的多个训练匹配函数;
27.确定多个包含所述训练匹配函数的所述文本匹配器为与多个所述向量化意图标签对应的多个意图标签文本匹配器。
28.可选地,所述通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值,包括:
29.获取多个所述意图标签文本匹配器对应的多个所述向量化意图标签;
30.利用多个所述意图标签文本匹配器中的相似度计算函数计算对应的多个向量化意图标签和所述向量化待识别文本的相似度值,得到所述向量化待识别文本对应不同细粒度标签的匹配值。
31.可选地,所述对所述编码文本集中的多个编码文本分别进行分词操作,得到多个编码分词集合,包括:
32.利用与编码代码对应的解码代码将多个所述编码文本进行解码,获取多个解码文本;
33.获取与所述解码文本集的类型对应的文本语料库;
34.根据所述文本语料库建立多个所述解码文本的联合分布概率;
35.基于所述联合分布概率筛选得到多个所述解码文本的多个解码分词文本集合;
36.利用所述编码代码将多个所述解码分词文本集中的解码分词文本进行编码,得到多个编码分词集合。
37.为了解决上述问题,本发明还提供一种基于标签向量地细粒度意图识别装置,所述装置包括:
38.标签获取模块,用于获取训练文本集,以及获取预创建的细粒度意图标签集,所述细粒度意图标签集包含多个细粒度意图标签;
39.向量处理模块,用于将所述训练文本集进行编码和向量化得到向量化文本集,将多个所述细粒度意图标签进行编码和向量化得到多个向量化意图标签;
40.匹配器训练模块,用于利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器;
41.匹配值获取模块,用于获取待识别文本,将所述待识别文本进行编码和向量化,得到向量化待识别文本,通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值;
42.识别模块,用于获取所述匹配值大于预设阈值时对应的细粒度意图标签为所述待识别文本的意图识别标签。
43.为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
44.存储器,存储至少一个计算机程序;及
45.处理器,执行所述存储器中存储的计算机程序以实现上述所述的基于标签向量的细粒度意图识别方法。
46.为了解决上述问题,本发明还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现如上所述的基于标签向量的细粒度意图识别方法。
47.本发明实施例中,利用训练文本集和多个细粒度意图标签训练文本匹配器,得到各个细粒度意图标签对应的意图标签文本匹配器,在获取到待识别文本时进行编码和向量化,进而通过多个意图标签文本匹配器分别计算向量化待识别文本对应不同细粒度意图标签的匹配值,实现了将待识别文本与多个细粒度标签的分别比对,能够得到待识别标签分别对应哪些意图识别标签,而非仅仅判断待识别文本属于哪一宽泛的语义类别,实现了精准地识别文本意图的目的。
附图说明
48.图1为本发明一实施例提供的一种基于标签向量的细粒度意图识别方法的流程示意图;
49.图2为本发明一实施例提供的基于标签向量地细粒度意图识别装置的模块示意图;
50.图3为本发明一实施例提供的实现基于标签向量的细粒度意图识别方法的电子设备的内部结构示意图;
51.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
52.应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
53.本技术实施例提供一种基于标签向量的细粒度意图识别方法。所述基于标签向量的细粒度意图识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之,所述基于标签向量的细粒度意图识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
54.参照图1所示,为本发明一实施例提供的一种基于标签向量的细粒度意图识别方法的流程示意图。在本实施例中,所述基于标签向量的细粒度意图识别方法包括:
55.s1、获取训练文本集,以及获取预创建的细粒度意图标签集,所述细粒度意图标签集包含多个细粒度意图标签。
56.本发明实施例中,所述训练文本集可以为利用爬虫从互联网爬取的训练文本构成的集合或从预设文本数据库内提取的训练文本组成的集合。
57.本发明实施例中,所述多个细粒度意图标签为多个不同语义和相似语义的标签。
58.具体的,所述细粒度意图标签可以从预设的标签数据库中获取。
59.本实施例中,训练文本集为多个长句或短句。例如,训练文本包含“我想购买日历”,“我后天放假”等句子。
60.本发明实施例中,所述获取预创建的细粒度意图标签集之前,所述方法还包括:
61.获取多个预置标签;
62.计算所述多个预置标签的相似度,并根据所述相似度构建标签二叉树;
63.将所述标签二叉树中所有叶子节点对应的预置标签汇集为细粒度意图标签集。
64.具体的,在构建标签二叉树时,相似度大于预设相似度阈值的阈值标签分别为不同的二叉树的根节点,再根据预置标签与根节点的相似度分别构建不同的标签二叉树。
65.本实施例中,通过将所有叶子节点对应的预置标签汇集为细粒度意图标签,则细粒度意图标签集中的细粒度意图标签可以包含多个相似语义的标签,从而能够训练到更精准地进行文本匹配的意图标签文本匹配器。
66.s2、将所述训练文本集进行编码和向量化得到向量化文本集,将多个所述细粒度意图标签进行编码和向量化得到多个向量化意图标签。
67.详细地,所述将所述训练文本集进行编码和向量化得到向量化文本集包括:
68.识别所述训练文本集的文本类别;
69.获取与所述文本类别对应的编码代码;
70.通过与所述文本类别对应的编码代码对所述训练文本集进行编码,得到编码文本集;
71.对所述编码文本集中的多个编码文本进行向量化,得到向量化文本集。
72.本发明实施例中,所述识别所述训练文本集的文本类别可以通过自然语言处理(natural language processing,nlp)实现,所述编码代码为将所述训练文本转化为计算机可以识别的二进制数据的代码。
73.例如,获取到训练文本集中训练文本对应的文本类型为英文文本时,所述编码代码可以为ascii编码代码。
74.本发明实施例中,所述向量化文本集为利用所述编码代码,将所述训练文本集进行二进制编码,并通过所述预训练的神经网络截取特定层向量作为编码文本的向量文本,其中所述预训练的神经网络如bert、rnn、lstm等神经网络。
75.类似地,也可以将细粒度意图标签集中各个细粒度意图标签通过编码代码进行二进制编码,并通过所述预训练的神经网络进行向量化得到向量化意图标签。
76.进一步地,所述对所述编码文本集中的多个编码文本进行向量化,得到向量化文本集包括:
77.对所述编码文本集中的多个编码文本分别进行分词操作,得到多个编码分词集合;
78.将多个所述编码分词集合中编码分词分别通过预训练的词向量模型进行向量化和向量组合,得到多个编码分词集合对应的编码向量;
79.确定多个所述编码向量组成所述向量化文本集。
80.详细地,所述对所述编码文本集中的多个编码文本分别进行分词操作,得到多个
编码分词集合包括:
81.利用与编码代码对应的解码代码将多个所述编码文本进行解码,获取多个解码文本;
82.获取与所述解码文本集的类型对应的文本语料库;
83.根据所述文本语料库建立多个所述解码文本的联合分布概率;
84.基于所述联合分布概率筛选得到多个所述解码文本的多个解码分词文本集合;
85.利用所述编码代码将多个所述解码分词文本集中的解码分词文本进行编码,得到多个编码分词集合。
86.本发明实施例中,编码文本集的类型为语言类型,则文本语料库为与所述编码文本集的语言类别获取的的预设预料库。
87.本实施例中,所述联合分布概率表示了所述解码文本中各种分词类型所占的概率。
88.例如,将二进制编码文本进行解码,得到解码中文文本再根据解码中文文本的文本类型获取中文文本语料库。
89.s3、利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器。
90.本发明实施例中,所述意图标签文本匹配器为利用所述向量化文本集和所述向量化意图标签训练预设的文本匹配器得到的。
91.在本实施例中,向量化意图标签有多少,就可以得到个意图标签文本匹配器。
92.例如,利用训练文本和购买数量标签训练得到基于购买数量相关的标签文本匹配器(如少量购买标签文本匹配器和大量购买标签文本匹配器),利用训练文本和购买地点标签训练得到基于购买地点标签的文本匹配器,利用训练文本和购买内容标签训练的到基于购买内容标签的文本匹配器。
93.详细地,所述利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器包括:
94.获取所述文本匹配器包含的文本匹配函数;
95.利用所述向量化文本集和多个所述向量化意图标签分别调整所述文本匹配函数,得到与多个所述向量化意图标签对应的多个训练匹配函数;
96.确定多个包含所述训练匹配函数的所述文本匹配器为与多个所述向量化意图标签对应的多个意图标签文本匹配器。
97.本发明实施例中,所述文本匹配器为卷积神经网络(convolutional neural networks)金字塔模型构建的文本匹配器,所述文本匹配函数为numpy数据库下的dot函数。
98.本实施例中,利用向量化文本集和多个向量化意图标签分别调整所述文本匹配函数包括,将向量化文本集输入至文本匹配函数,根据文本匹配函数的输出与向量化意图标签进行比对,从而调整文本匹配函数的的参数。
99.s4、获取待识别文本,将所述待识别文本进行编码和向量化,得到向量化待识别文本。
100.本发明实施例中,将所述待识别文本进行编码和向量化,得到向量化待识别文本的过程同上述将训练文本集进行编码和向量化的过程类似,此处不再赘述。
101.本发明实施例中,所述待识别文本为用户输入的或者从预构建的数据库中提取的,需要确认意图识别标签的文本。
102.s5、通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值。
103.详细地,所述通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值包括:
104.获取多个所述意图标签文本匹配器对应的多个所述向量化意图标签;
105.利用多个所述意图标签文本匹配器中的相似度计算函数计算对应的多个向量化意图标签和所述向量化待识别文本的相似度值,得到所述向量化待识别文本对应不同细粒度标签的匹配值。
106.本发明实施例中,所述相似度计算函数可以采用余弦相似度函数进行计算,具体地,相似度计算函数为:
[0107][0108]
其中,a为向量化意图标签,b为向量化待识别文本。
[0109]
进一步的,本发明其他实施例中,还可以用欧式距离、曼哈顿距离等计算函数计算所述向量化意图标签和所述向量化待识别文本之间的相似度值。
[0110]
s6、获取所述匹配值大于预设阈值时对应的细粒度意图标签为所述待识别文本的意图识别标签。
[0111]
具体的,可以将所述向量化待识别文本对应不同细粒度意图标签的匹配值和预设阈值进行对比,进而获取匹配值大于预设预置时对应的细粒度意图标签为待识别文本的意图识别标签。
[0112]
本发明实施例中,所述匹配值可以表示所述待识别文本和所述细粒度意图标签的匹配情况,所述匹配值越高,则所述待识别文本和所述细粒度意图标签越契合,所述匹配值越低,则所述待识别文本和所述细粒度意图标签契合度越低。
[0113]
本实施例中,通过多个意图标签文本匹配器得到的到的匹配值和预设阈值进行对比,可以达到筛选与待识别文本出契合度高的细粒度意图标签。
[0114]
进一步地,所述预设阈值为0.5,则本发明实施例中将筛选匹配值大于等于0.5的匹配值,并将匹配值大于等于0.5的意图标签文本匹配器对应的细粒度意图标签作为待识别文本的意图识别标签。
[0115]
本发明实施例中得到的待识别文本的意图识别标签包括一个或至少两个。若匹配值大于等于所述预设阈值的细粒度意图标签不唯一,则得到的对应的意图识别标签也并不唯一。
[0116]
例如,待识别文本为“我想购买一斤苹果”时,通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值有三个大于等于预设阈值,将三个匹配值对应的【购买意愿】、【购买数量】和【苹果】三个细粒度意图标签作为待识别文本“我想购买一斤苹果”的三个意图识别标签。
[0117]
本发明实施例中,在得到待识别文本的一个或至少两个意图识别标签后,可以将意图标签发送至智能对话应用服务,以使智能对话应用服务返回相应的信息,或者将意图
标签发送至购物app中,以使购物app根据意图标签推送一个或多个相关商品。
[0118]
本发明实施例中,利用训练文本集和多个细粒度意图标签训练文本匹配器,得到各个细粒度意图标签对应的意图标签文本匹配器,在获取到待识别文本时进行编码和向量化,进而通过多个意图标签文本匹配器分别计算向量化待识别文本对应不同细粒度意图标签的匹配值,实现了将待识别文本与多个细粒度标签的分别比对,能够得到待识别标签分别对应哪些意图识别标签,而非仅仅判断待识别文本属于哪一宽泛的语义类别,实现了精准地识别文本意图的目的。
[0119]
如图2所示,是本发明基于标签向量地细粒度意图识别装置的模块示意图。
[0120]
本发明所述基于标签向量地细粒度意图识别装置100可以安装于电子设备中。根据实现的功能,所述基于标签向量地细粒度意图识别装置可以包括标签获取模块101、向量处理模块102、匹配器训练模块103、匹配值获取模块104和识别模块105。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
[0121]
在本实施例中,关于各模块/单元的功能如下:
[0122]
所述标签获取模块101,用于获取训练文本集,以及获取预创建的细粒度意图标签集,所述细粒度意图标签集包含多个细粒度意图标签。
[0123]
本发明实施例中,所述训练文本集可以为利用爬虫从互联网爬取的训练文本构成的集合或从预设文本数据库内提取的训练文本组成的集合。
[0124]
本发明实施例中,所述多个细粒度意图标签为多个不同语义和相似语义的标签。
[0125]
具体的,所述细粒度意图标签可以从预设的标签数据库中获取。
[0126]
本实施例中,训练文本集为多个长句或短句。例如,训练文本包含“我想购买日历”,“我后天放假”等句子。
[0127]
本发明实施例中,所述标签获取模块还用于:
[0128]
获取预创建的细粒度意图标签集之前,获取多个预置标签;
[0129]
计算所述多个预置标签的相似度,并根据所述相似度构建标签二叉树;
[0130]
将所述标签二叉树中所有叶子节点对应的预置标签汇集为细粒度意图标签集。
[0131]
具体的,在构建标签二叉树时,相似度大于预设相似度阈值的阈值标签分别为不同的二叉树的根节点,再根据预置标签与根节点的相似度分别构建不同的标签二叉树。
[0132]
本实施例中,通过将所有叶子节点对应的预置标签汇集为细粒度意图标签,则细粒度意图标签集中的细粒度意图标签可以包含多个相似语义的标签,从而能够训练到更精准地进行文本匹配的意图标签文本匹配器。
[0133]
所述向量处理模块102,用于将所述训练文本集进行编码和向量化得到向量化文本集,将多个所述细粒度意图标签进行编码和向量化得到多个向量化意图标签。
[0134]
详细地,所述将所述训练文本集进行编码和向量化得到向量化文本集包括:
[0135]
识别所述训练文本集的文本类别;
[0136]
获取与所述文本类别对应的编码代码;
[0137]
通过与所述文本类别对应的编码代码对所述训练文本集进行编码,得到编码文本集;
[0138]
对所述编码文本集中的多个编码文本进行向量化,得到向量化文本集。
[0139]
本发明实施例中,所述识别所述训练文本集的文本类别可以通过自然语言处理(natural language processing,nlp)实现,所述编码代码为将所述训练文本转化为计算机可以识别的二进制数据的代码。
[0140]
例如,获取到训练文本集中训练文本对应的文本类型为英文文本时,所述编码代码可以为ascii编码代码。
[0141]
本发明实施例中,所述向量化文本集为利用所述编码代码,将所述训练文本集进行二进制编码,并通过所述预训练的神经网络截取特定层向量作为编码文本的向量文本,其中所述预训练的神经网络如bert、rnn、lstm等神经网络。
[0142]
类似地,也可以将细粒度意图标签集中各个细粒度意图标签通过编码代码进行二进制编码,并通过所述预训练的神经网络进行向量化得到向量化意图标签。
[0143]
进一步地,所述对所述编码文本集中的多个编码文本进行向量化,得到向量化文本集包括:
[0144]
对所述编码文本集中的多个编码文本分别进行分词操作,得到多个编码分词集合;
[0145]
将多个所述编码分词集合中编码分词分别通过预训练的词向量模型进行向量化和向量组合,得到多个编码分词集合对应的编码向量;
[0146]
确定多个所述编码向量组成所述向量化文本集。
[0147]
详细地,所述对所述编码文本集中的多个编码文本分别进行分词操作,得到多个编码分词集合包括:
[0148]
利用与编码代码对应的解码代码将多个所述编码文本进行解码,获取多个解码文本;
[0149]
获取与所述解码文本集的类型对应的文本语料库;
[0150]
根据所述文本语料库建立多个所述解码文本的联合分布概率;
[0151]
基于所述联合分布概率筛选得到多个所述解码文本的多个解码分词文本集合;
[0152]
利用所述编码代码将多个所述解码分词文本集中的解码分词文本进行编码,得到多个编码分词集合。
[0153]
本发明实施例中,编码文本集的类型为语言类型,则文本语料库为与所述编码文本集的语言类别获取的的预设预料库。
[0154]
本实施例中,所述联合分布概率表示了所述解码文本中各种分词类型所占的概率。
[0155]
例如,将二进制编码文本进行解码,得到解码中文文本再根据解码中文文本的文本类型获取中文文本语料库。
[0156]
所述匹配器训练模块103,用于利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器。
[0157]
本发明实施例中,所述意图标签文本匹配器为利用所述向量化文本集和所述向量化意图标签训练预设的文本匹配器得到的。
[0158]
在本实施例中,向量化意图标签有多少,就可以得到个意图标签文本匹配器。
[0159]
例如,利用训练文本和购买数量标签训练得到基于购买数量相关的标签文本匹配
器(如少量购买标签文本匹配器和大量购买标签文本匹配器),利用训练文本和购买地点标签训练得到基于购买地点标签的文本匹配器,利用训练文本和购买内容标签训练的到基于购买内容标签的文本匹配器。
[0160]
详细地,所述匹配器训练模块103具体用于:
[0161]
获取所述文本匹配器包含的文本匹配函数;
[0162]
利用所述向量化文本集和多个所述向量化意图标签分别调整所述文本匹配函数,得到与多个所述向量化意图标签对应的多个训练匹配函数;
[0163]
确定多个包含所述训练匹配函数的所述文本匹配器为与多个所述向量化意图标签对应的多个意图标签文本匹配器。
[0164]
本发明实施例中,所述文本匹配器为卷积神经网络(convolutional neural networks)金字塔模型构建的文本匹配器,所述文本匹配函数为numpy数据库下的dot函数。
[0165]
本实施例中,利用向量化文本集和多个向量化意图标签分别调整所述文本匹配函数包括,将向量化文本集输入至文本匹配函数,根据文本匹配函数的输出与向量化意图标签进行比对,从而调整文本匹配函数的的参数。
[0166]
所述匹配值获取模块104,用于获取待识别文本,将所述待识别文本进行编码和向量化,得到向量化待识别文本,通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值。
[0167]
本发明实施例中,将所述待识别文本进行编码和向量化,得到向量化待识别文本的过程同上述将训练文本集进行编码和向量化的过程类似,此处不再赘述。
[0168]
本发明实施例中,所述待识别文本为用户输入的或者从预构建的数据库中提取的,需要确认意图识别标签的文本。
[0169]
详细地,所述通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值包括:
[0170]
获取多个所述意图标签文本匹配器对应的多个所述向量化意图标签;
[0171]
利用多个所述意图标签文本匹配器中的相似度计算函数计算对应的多个向量化意图标签和所述向量化待识别文本的相似度值,得到所述向量化待识别文本对应不同细粒度标签的匹配值。
[0172]
本发明实施例中,所述相似度计算函数可以采用余弦相似度函数进行计算,具体地,相似度计算函数为:
[0173][0174]
其中,a为向量化意图标签,b为向量化待识别文本。
[0175]
进一步的,本发明其他实施例中,还可以用欧式距离、曼哈顿距离等计算函数计算所述向量化意图标签和所述向量化待识别文本之间的相似度值。
[0176]
所述识别模块105,用于获取所述匹配值大于预设阈值时对应的细粒度意图标签为所述待识别文本的意图识别标签。
[0177]
具体的,可以将所述向量化待识别文本对应不同细粒度意图标签的匹配值和预设阈值进行对比,进而获取匹配值大于预设预置时对应的细粒度意图标签为待识别文本的意图识别标签。
[0178]
本发明实施例中,所述匹配值可以表示所述待识别文本和所述细粒度意图标签的匹配情况,所述匹配值越高,则所述待识别文本和所述细粒度意图标签越契合,所述匹配值越低,则所述待识别文本和所述细粒度意图标签契合度越低。
[0179]
本实施例中,通过多个意图标签文本匹配器得到的到的匹配值和预设阈值进行对比,可以达到筛选与待识别文本出契合度高的细粒度意图标签。
[0180]
进一步地,所述预设阈值为0.5,则本发明实施例中将筛选匹配值大于等于0.5的匹配值,并将匹配值大于等于0.5的意图标签文本匹配器对应的细粒度意图标签作为待识别文本的意图识别标签。
[0181]
本发明实施例中得到的待识别文本的意图识别标签包括一个或至少两个。若匹配值大于等于所述预设阈值的细粒度意图标签不唯一,则得到的对应的意图识别标签也并不唯一。
[0182]
例如,待识别文本为“我想购买一斤苹果”时,通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值有三个大于等于预设阈值,将三个匹配值对应的【购买意愿】、【购买数量】和【苹果】三个细粒度意图标签作为待识别文本“我想购买一斤苹果”的三个意图识别标签。
[0183]
本发明实施例中,在得到待识别文本的一个或至少两个意图识别标签后,可以将意图标签发送至智能对话应用服务,以使智能对话应用服务返回相应的信息,或者将意图标签发送至购物app中,以使购物app根据意图标签推送一个或多个相关商品。
[0184]
本发明实施例中,利用训练文本集和多个细粒度意图标签训练文本匹配器,得到各个细粒度意图标签对应的意图标签文本匹配器,在获取到待识别文本时进行编码和向量化,进而通过多个意图标签文本匹配器分别计算向量化待识别文本对应不同细粒度意图标签的匹配值,实现了将待识别文本与多个细粒度标签的分别比对,能够得到待识别标签分别对应哪些意图识别标签,而非仅仅判断待识别文本属于哪一宽泛的语义类别,实现了精准地识别文本意图的目的。
[0185]
如图3所示,是本发明实现基于标签向量的细粒度意图识别方法的电子设备的结构示意图。
[0186]
所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于标签向量的细粒度意图识别程序。
[0187]
其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于标签向量的细粒度意图识别程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
[0188]
所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。
所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如基于标签向量的细粒度意图识别程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0189]
所述通信总线12可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0190]
所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如wi

fi接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light

emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0191]
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0192]
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi

fi模块等,在此不再赘述。
[0193]
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0194]
所述电子设备中的所述存储器11存储的基于标签向量的细粒度意图识别程序是多个计算机程序的组合,在所述处理器10中运行时,可以实现:
[0195]
获取训练文本集,以及获取预创建的细粒度意图标签集,所述细粒度意图标签集包含多个细粒度意图标签;
[0196]
将所述训练文本集进行编码和向量化得到向量化文本集,将多个所述细粒度意图标签进行编码和向量化得到多个向量化意图标签;
[0197]
利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器;
[0198]
获取待识别文本,将所述待识别文本进行编码和向量化,得到向量化待识别文本;
[0199]
通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值;
[0200]
获取所述匹配值大于预设阈值时对应的细粒度意图标签为所述待识别文本的意图识别标签。
[0201]
本发明实施例中,利用训练文本集和多个细粒度意图标签训练文本匹配器,得到各个细粒度意图标签对应的意图标签文本匹配器,在获取到待识别文本时进行编码和向量化,进而通过多个意图标签文本匹配器分别计算向量化待识别文本对应不同细粒度意图标签的匹配值,实现了将待识别文本与多个细粒度标签的分别比对,能够得到待识别标签分别对应哪些意图识别标签,而非仅仅判断待识别文本属于哪一宽泛的语义类别,实现了精准地识别文本意图的目的。
[0202]
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read

only memory)。
[0203]
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
[0204]
获取训练文本集,以及获取预创建的细粒度意图标签集,所述细粒度意图标签集包含多个细粒度意图标签;
[0205]
将所述训练文本集进行编码和向量化得到向量化文本集,将多个所述细粒度意图标签进行编码和向量化得到多个向量化意图标签;
[0206]
利用所述向量化文本集和多个所述向量化意图标签分别训练多个文本匹配器,得到与多个所述向量化意图标签对应的多个意图标签文本匹配器;
[0207]
获取待识别文本,将所述待识别文本进行编码和向量化,得到向量化待识别文本;
[0208]
通过与多个所述向量化意图标签对应的多个意图标签文本匹配器分别计算所述向量化待识别文本对应不同细粒度意图标签的匹配值;
[0209]
获取所述匹配值大于预设阈值时对应的细粒度意图标签为所述待识别文本的意图识别标签。
[0210]
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0211]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0212]
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0213]
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
[0214]
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本
发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0215]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0216]
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
[0217]
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1