一种文本扩展方法、装置、设备及介质与流程

文档序号:31169995发布日期:2022-08-17 09:16阅读:40来源:国知局
一种文本扩展方法、装置、设备及介质与流程

1.本发明涉及短文本扩展领域,特别涉及一种文本扩展方法、装置、设备及介质。


背景技术:

2.短文本语义扩展的目的是将语义信息有限的短文本扩展为语义信息更为丰富的长文本,可以应用于各种文本改写任务,自动文本生成、数据增强和文本分类任务等场景。现有的短文本扩充方法的目的主要是对短文本中的特征词进行扩充。例如,微博短文本“一辈子的朋友”,加入“狗”的标签后可以扩充为长文本“我和我的小狗每天愉快地玩耍,我们是永远的好朋友”或者加入“闺蜜”的标签后可以扩充为“我和闺蜜无话不谈,我们是一辈子的朋友”。
3.与该短文本扩展相似的任务是文本扩充和短文本扩充,前者主要将少量文本扩充到大量句式多样且语义保真的相似文本,后者是将短文本有限的语义特征扩展到更多维度。三个任务均属于文本增强任务,主要的方法有人工标注、词替换、语法树、回译、神经网络等方法。人工标注法是早期语料扩充的主要方式,其扩充的语料质量很高,但工作周期长、成本高。词替换法通过将文本中的非核心词替换为其同义词、插入删除虚词和助词等多种方式来实现文本语料的扩充,这种方式快速便捷,但扩充的文本句式单一。回译法是近年来使用较多的一种文本增强方法,它通过将源语言翻译成另一种语言,再将得到另一种语言的句子翻译回源语言的方式,构造出源语言的增强数据;回译法虽然能生成不同句型的语料,但在文本中包含口语化的词、错别字的词、或领域专业词汇的情况下,该方法容易导致生成句子的语义发生变化。语法树的方法主要是通过分析文本的句法依存和语义角色,通过编制好的变换规则,对句子进行句式的改变。
4.由上可见,在短文本扩展过程中,如何避免扩展后文本的语义变化不够丰富,语义信息容易发生改变的情况是本领域有待解决的问题。


技术实现要素:

5.有鉴于此,本发明的目的在于提供一种文本扩展方法、装置、设备及介质,能够将短文本扩展为语义丰富、情感一致的长文本。其具体方案如下:第一方面,本技术公开了一种文本扩展方法,包括:确定待扩展文本,并从所述待扩展文本中确定目标名词;对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义;将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分;将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本;利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的
语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。
6.可选的,所述从所述待扩展文本中确定目标名词,包括:利用预设的词性标注工具对所述待扩展文本进行词性标注,以获取带有词性标签的待扩展文本;从所述带有词性标签的待扩展文本中确定词性标签为名词词性的词组作为目标名词。
7.可选的,所述利用预设的词性标注工具对所述待扩展文本进行词性标注,以获取带有词性标签的待扩展文本,包括:利用stanza对所述待扩展文本进行词性标注,以获取带有词性标签的待扩展文本。
8.可选的,所述确定待扩展文本,并从所述待扩展文本中确定目标名词,包括:确定待扩展文本,并从所述待扩展文本中确定目标名词,以生成名词列表;相应的,所述对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义,包括:对所述名词列表中的所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义。
9.可选的,所述确定目标扩展实体与目标扩展语义之后,还包括:利用知识图谱确定所述目标名词的上下位关系列表;基于所述上下位关系列表与所述目标扩展实体生成实体扩展列表;基于所述上下位关系列表与所述目标扩展语义生成语义扩展列表。
10.可选的,所述利用知识图谱确定所述目标名词的上下位关系列表,包括:利用conceptnet的检索接口对所述目标名词的上下位关系进行检索,以确定所述目标名词的上下位关系列表。
11.可选的,所述基于所述上下位关系列表与所述目标扩展实体生成实体扩展列表,基于所述上下位关系列表与所述目标扩展语义生成语义扩展列表,包括:提取所述上下位关系列表中关系为预设第一关系的尾实体,以构成实体扩展列表;提取所述上下位关系列表中关系为预设第二关系的尾实体,以构成语义扩展列表。
12.可选的,所述确定待扩展文本,并从所述待扩展文本中确定目标名词之前,还包括:从预设社交平台中收集文本,并利用预设分类规则将所述文本分类为短文本与长文本;相应的,所述确定待扩展文本,包括:将所述短文本确定为待扩展文本。
13.可选的,所述将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分之前,还包括:利用预设的词性标注工具对所述长文本进行词性标注,以获取带有词性标签的长
文本,然后从所述带有词性标签的长文本中确定词性标签为动词词性与名词词性的词组;将同一所述长文本中的动词词组与名词词组确定为具备相关性的词组,并将所述具备相关性的词组作为训练数据,输入至预设语言表征模型中进行训练,以得到训练后模型。
14.可选的,所述将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分,包括:将所述目标扩展实体与所述目标扩展语义两两组合输入至所述训练后模型中;获取所述训练后模型输出的每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。
15.可选的,所述将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,包括:确定所述目标扩展实体与所述目标扩展语义的全部组合的相关性得分,并按照所述相关性得分对所述全部组合进行排序;分别确定每个所述目标扩展实体对应的相关性得分中得分排序为前预设数量组的组合;将每个所述目标扩展实体对应的所述得分排序为前预设数量组的组合与所述待扩展文本输入至预设文本生成模型中。
16.可选的,所述将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,包括:利用预设拼接方法将所述待扩展文本与所述相关性得分满足第一预设条件的组合进行拼接,以生成拼接后序列;将所述拼接后序列输入至预设文本生成模型中。
17.第二方面,本技术公开了一种文本扩展装置,包括:目标名词确定模块,用于确定待扩展文本,并从所述待扩展文本中确定目标名词;实体语义扩展模块,用于对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义;实体语义组合模块,用于将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分;文本扩展模块,用于将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本;目标扩展后文本输出模块,用于利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。
18.第三方面,本技术公开了一种电子设备,包括:存储器,用于保存计算机程序;处理器,用于执行所述计算机程序,以实现前述的文本扩展方法。
19.第四方面,本技术公开了一种计算机存储介质,用于保存计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的文本扩展方法的步骤。
20.本技术中,首先通过确定待扩展文本,并从所述待扩展文本中确定目标名词,对所
述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义,将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分,将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本,利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。这样一来,本技术通过利用实体扩展与语义扩展实现对待扩展的短文本的精确扩展,其中还利用了预设文本生成模型以及预设文本语义相似度评价模型进行文本生成与文本相似度的评价,提升了文本扩展的效率,解决短文本扩展时语义不够丰富和语义发生变化的问题,本技术在保证语义丰富的同时还能保证语义的一致性,提升了文本扩展的精确度。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
22.图1为本技术提供的一种文本扩展方法流程图;图2为本技术提供的一种具体的文本扩展方法流程图;图3为本技术提供的一种方法流程示意图;图4为本技术提供的一种具体的文本扩展方法流程图;图5为本技术提供的一种系统框架图;图6为本技术提供的一种文本扩展装置结构示意图;图7为本技术提供的一种电子设备结构图。
具体实施方式
23.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
24.现有技术中,在短文本扩展过程中,扩展后文本的语义变化不够丰富,且语义信息容易发生改变。在本技术中,能够将短文本扩展为语义丰富、情感一致的长文本,在保证语义丰富的同时还能保证语义的一致性,进而提升文本扩展的精确度。
25.本发明实施例公开了一种文本扩展方法,参见图1所述,该方法包括:步骤s11:确定待扩展文本,并从所述待扩展文本中确定目标名词。
26.本实施例中,在确定待扩展文本t之后,会从所述待扩展文本中确定目标名词。其中所述从所述待扩展文本中确定目标名词,所述包括:利用预设的词性标注工具对所述待扩展文本进行词性标注,以获取带有词性标签的待扩展文本;从所述带有词性标签的待扩展文本中确定词性标签为名词词性的词组作为目标名词。在一种具体的实施方式中,可以
使用词性标注工具stanza对所述待扩展文本t进行词性分析,将所有标签为nn或nnp的名词提取作为目标名词,在一种具体的实施方式中,也可以根据提取出来的目标名词生成实体集合。
27.所述确定待扩展文本,并从所述待扩展文本中确定目标名词,包括:确定待扩展文本,并从所述待扩展文本中确定目标名词,以生成名词列表;相应的,所述对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义,包括:对所述名词列表中的所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义。可以理解的是,可以将从待扩展文本中确定出的目标名词存放至名词列表中,相应的在对目标名词进行扩展时,可以从名词列表中提取目标名词,然后对所述目标名词进行扩展。
28.步骤s12:对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义。
29.本步骤中会对目标名词进行实体扩展与语义扩展两方面的扩展。在一些具体的实施方式中,若目标名词为“朋友”,则可能生成的目标扩展实体为:宠物、狗、女朋友、伙伴、知己;可能生成的目标扩展语义为:聊天、依靠、玩游戏。
30.步骤s13:将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。
31.本实施例中,会对所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中目标扩展实体与目标扩展语义之间的相关性得分。在一些具体实施方式中,可以使用训练后的人工智能模型对每组的相关性得分进行计算。
32.本实施例中,所述计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分之后,还可以包括:将所述相关性得分按照降序排序,选取预设前n组作为下一步输入预设文本生成模型的拼接序列。
33.步骤s14:将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本。
34.所述将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,包括:利用预设拼接方法将所述待扩展文本与所述相关性得分满足第一预设条件的组合进行拼接,以生成拼接后序列;将所述拼接后序列输入至预设文本生成模型中。可以理解的是,本实施例中将待扩展文本与上一步骤中得到的组合进行拼接,以生成拼接后序列,然后将拼接后序列输入至已经预训练好的文本生成模型中,以获取模型生成的语义更加丰富的长文本,也就是扩展后文本。在一些具体实施方式中,所述预设文本生成模型包括但不限于gpt3模型(即generative pre-trained transformer 3,自回归语言模型)。
35.步骤s15:利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。
36.在获取到预设文本生成模型生成的扩展后文本后,可以通过预设文本语义相似度评价模型计算所述扩展后文本与待扩展文本之间的语义相似度,然后可以选择排序前n的扩展后文本作为最终输出的长文本,其中n为正整数,且可以根据用户需求随意设置或更
五类关系的尾实体构成实体扩展列表,例如“朋友”在概念图谱符合上述五种关系的实体有{宠物,狗,女朋友,伙伴,知己,猫咪

};还需要提取上下位关系列表中“subevents of”(带来),“is capable of”(能够),“things motivated by”(被驱动去做),“location of”(地点),“wants”(想要),“is motivated by”(被驱动),“things that make you want”(让你需要),“causes of”(原因),“makes you want
…”
(让你想要做)八类关系的尾实体和关系构成语义扩展列表,例如“朋友”在概念图谱中符合上述八种关系的语义有{“聊天”,“依靠”,“玩游戏
”…
}。
46.步骤s24:将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。
47.其中,关于步骤s24的更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
48.步骤s25:将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本。
49.其中,关于步骤s25的更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
50.步骤s26:利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。
51.其中,关于步骤s26的更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
52.图3为本实施例提出的一种方法流程示意图,首先利用conceptnet对目标名词进行实体扩充与语义扩充,然后计算所述扩展实体与扩展语义之间的相关性,并将相关性得分满足第一预设条件的组合输入至预设文本生成模型中生成长文本,接着来用文本相似度模型对输出的长文本进行打分,根据得分进行排序,最终确定输出显示的长文本。
53.本实施例中,先确定待扩展文本,并利用stanza对所述待扩展文本进行词性标注,以获取带有词性标签的待扩展文本,然后从所述带有词性标签的待扩展文本中确定词性标签为名词词性的词组作为目标名词。接着对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义。然后利用知识图谱确定所述目标名词的上下位关系列表,并基于所述上下位关系列表与所述目标扩展实体生成实体扩展列表,基于所述上下位关系列表与所述目标扩展语义生成语义扩展列表。下一步将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本。最后利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。本实施例中通过知识图谱确定目标名词的上下位关系列表,并基于所述上下位
关系列表与所述目标扩展实体生成实体扩展列表,基于所述上下位关系列表与所述目标扩展语义生成语义扩展列表。本发明中提出的利用概念图谱提取相关的实体和语义作为候选扩展,且利用语义相关性评价模型对最后生成的长文本进行打分的方法,能够保证扩展后的长文本的语义和情感一致性,提升了文本扩展的精确度。
54.图4为本技术实施例提供的一种具体的文本扩展方法流程图。参见图4所示,该方法包括:步骤s31:从预设社交平台中收集文本,并利用预设分类规则将所述文本分类为短文本与长文本,然后将所述短文本确定为待扩展文本,并从所述待扩展文本中确定目标名词。
55.本实施例中,可以在预设社交平台中收集文本,并将中文字符长度小于等于10的文本定义为短文本,长度大于10的文本定义为长文本,然后将短文本作为待扩展文本,并从待扩展文本中确定目标名词。本实施例中所述预设社交平台包括但不限于微博。
56.步骤s32:对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义。
57.其中,关于步骤s32的更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
58.步骤s33:利用预设的词性标注工具对所述长文本进行词性标注,以获取带有词性标签的长文本,然后从所述带有词性标签的长文本中确定词性标签为动词词性与名词词性的词组。
59.本实施例中可以利用预设的词性标注工具对所述长文本进行词性标注,以获取带有词性标签的长文本,然后从所述带有词性标签的长文本中确定词性标签为动词词性与名词词性的词组。
60.步骤s34:将同一所述长文本中的动词词组与名词词组确定为具备相关性的词组,并将所述具备相关性的词组作为训练数据,输入至预设语言表征模型中进行训练,以得到训练后模型。
61.本实施例中,可以将在同一条文中出现的动词和名词之间的相关度确定为1,否则为0,然后将具备相关性的词组作为训练数据,输入至bert(即bidirectional encoder representation from transformers,预训练的语言表征模型)模型中进行训练,得到相关性计算模型。
62.步骤s35:将所述目标扩展实体与所述目标扩展语义两两组合输入至所述训练后模型中,并获取所述训练后模型输出的每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。
63.本步骤中可以将目标扩展实体与所述目标扩展语义两两组合输入至所述训练后的相关性计算模型中,并获取所述相关性计算模型输出的每一组合中目标扩展实体与目标扩展语义之间的相关性得分。
64.步骤s36:将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本。
65.所述将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设
文本生成模型中,包括:确定所述目标扩展实体与所述目标扩展语义的全部组合的相关性得分,并按照所述相关性得分对所述全部组合进行排序;分别确定每个所述目标扩展实体对应的相关性得分中得分排序为前预设数量组的组合;将每个所述目标扩展实体对应的所述得分排序为前预设数量组的组合与所述待扩展文本输入至预设文本生成模型中。
66.在一些具体的实施方式中,可以将同一目标扩展实体所对应的全部相关性得分进行排序,选取其中相关性得分前十的组合,并与待扩展文本进行拼接得到拼接后序列,并将拼接后序列输入至预设文本生成模型gpt-3中,得到输出的长文本t ̀
。可以理解的是,本步骤中所述预设数量可以根据用户需求随意设置与更改。
67.步骤s37:利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。
68.本步骤中,可以将待扩展文本t与步骤s36中生成的扩展后文本t ̀
输入到文本相似度计算模型dssm模型中,得到待扩展文本与每个扩展后文本至今的相似度得分,然后可以选取前预设数量个待扩展文本作为最终的目标扩展后文本进行输出。可以理解的是,本步骤中所述预设数量可以根据用户意愿随意设置与更改。
69.图5为本实施例提出的一种系统框架图,图中通过对利用长文本对预设语言表征模型进行训练,并利用训练后的模型对待扩展文本的目标扩展实体与目标扩展语义之间的相关性得分进行评价。其中首先对获取到的长文本进行名词与动词的词性标注,并在确定这些动词与名词之间的相关度后,对预设的模型进行训练,并获取到训练后的相关性模型。在获取到短文本后,会先确定包含有目标名词的实体集合,然后基于知识图谱技术中的概念图对目标名词进行实体扩展与语义扩展,并将实体扩展与语义扩展输入至所述相关性模型中,以确定每个实体与语义的组合的相关性得分,在对得分进行排序后,将排序后的实体语义组合输入预设文本生成模型gpt3中,然后获取gpt3输出的长文本,最终利用dssm模型对待扩展文本与gpt3输出的长文本进行相似度排序,并最终确定排序前5的长文本。
70.本实施例中,先通过从预设社交平台中收集文本,并利用预设分类规则将所述文本分类为短文本与长文本,然后将所述短文本确定为待扩展文本,并从所述待扩展文本中确定目标名词,对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义。然后利用预设的词性标注工具对所述长文本进行词性标注,以获取带有词性标签的长文本,然后从所述带有词性标签的长文本中确定词性标签为动词词性与名词词性的词组。接着将同一所述长文本中的动词词组与名词词组确定为具备相关性的词组,并将所述具备相关性的词组作为训练数据,输入至预设语言表征模型中进行训练,以得到训练后模型。然后将所述目标扩展实体与所述目标扩展语义两两组合输入至所述训练后模型中,并获取所述训练后模型输出的每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。最后将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入
至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本。通过本实施例中提出的文本扩展方法,可以利用从预设社交平台上获取的长文本对预设语言表征模型进行训练,并利用训练后的模型对待扩展文本的目标扩展实体与目标扩展语义之间的相关性得分进行评价,提升了本方法的适用性。且本实施例中在对短文本进行扩展的过程中,在保证语义丰富的同时还能保证语义的一致性,提升了文本扩展的精确度。
71.参见图6所示,本技术实施例公开了一种文本扩展装置,具体可以包括:目标名词确定模块11,用于确定待扩展文本,并从所述待扩展文本中确定目标名词;实体语义扩展模块12,用于对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义;实体语义组合模块13,用于将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分;文本扩展模块14,用于将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本;目标扩展后文本输出模块15,用于利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。
72.本技术中,首先通过确定待扩展文本,并从所述待扩展文本中确定目标名词,对所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义,将所述目标扩展实体与所述目标扩展语义两两组合,并计算每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分,将所述待扩展文本与所述相关性得分满足第一预设条件的组合输入至预设文本生成模型中,以获取所述预设文本生成模型输出的扩展后文本,利用预设文本语义相似度评价模型对所述扩展后文本与所述待扩展文本之间的语义相似度进行评价,并从所述扩展后文本中确定语义相似度满足预设相似条件的扩展后文本作为目标扩展后文本进行输出。这样一来,本技术通过利用实体扩展与语义扩展实现对待扩展的短文本的精确扩展,其中还利用了预设文本生成模型以及预设文本语义相似度评价模型进行文本生成与文本相似度的评价,提升了文本扩展的效率,解决短文本扩展时语义不够丰富和语义发生变化的问题,在保证语义丰富的同时还能保证语义的一致性,提升了文本扩展的精确度。
73.在一些具体实施例中,所述目标名词确定模块11中,可以包括:第一词性标注单元,用于利用预设的词性标注工具对所述待扩展文本进行词性标注,以获取带有词性标签的待扩展文本;目标名词提取单元,用于从所述带有词性标签的待扩展文本中确定词性标签为名词词性的词组作为目标名词。
74.在一些具体实施例中,所述第一词性标注单元,包括:词性标注工具应用单元,用于利用stanza对所述待扩展文本进行词性标注,以获取带有词性标签的待扩展文本。
75.在一些具体实施例中,所述目标名词确定模块11中,包括:名词列表生成单元,用于确定待扩展文本,并从所述待扩展文本中确定目标名词,
以生成名词列表;相应的,所述实体语义扩展模块12中,包括:实体语义扩展单元,用于对所述名词列表中的所述目标名词进行实体扩展与语义扩展,以确定目标扩展实体与目标扩展语义。
76.在一些具体实施例中,所述文本扩展装置中,还包括:列表确定单元,用于利用知识图谱确定所述目标名词的上下位关系列表;第一列表生成单元,用于基于所述上下位关系列表与所述目标扩展实体生成实体扩展列表;第二列表生成单元,用于基于所述上下位关系列表与所述目标扩展语义生成语义扩展列表。
77.在一些具体实施例中,所述列表确定单元,包括:名词检索单元,用于利用conceptnet的检索接口对所述目标名词的上下位关系进行检索,以确定所述目标名词的上下位关系列表。
78.在一些具体实施例中,所述第一列表生成单元与第二列表生成单元中,包括:第一尾实体提取单元,用于提取所述上下位关系列表中关系为预设第一关系的尾实体,以构成实体扩展列表;第二尾实体提取单元,用于提取所述上下位关系列表中关系为预设第二关系的尾实体,以构成语义扩展列表。
79.在一些具体实施例中,所述文本扩展装置中,还包括:文本收集单元,用于从预设社交平台中收集文本,并利用预设分类规则将所述文本分类为短文本与长文本;相应的,所述目标名词确定模块11中,包括:短文本确定单元,用于将所述短文本确定为待扩展文本。
80.在一些具体实施例中,所述文本扩展装置中,还包括:长文本标注单元,用于利用预设的词性标注工具对所述长文本进行词性标注,以获取带有词性标签的长文本,然后从所述带有词性标签的长文本中确定词性标签为动词词性与名词词性的词组;模型训练单元,用于将同一所述长文本中的动词词组与名词词组确定为具备相关性的词组,并将所述具备相关性的词组作为训练数据,输入至预设语言表征模型中进行训练,以得到训练后模型。
81.在一些具体实施例中,所述文本扩展装置中,还包括:将所述目标扩展实体与所述目标扩展语义两两组合输入至所述训练后模型中;获取所述训练后模型输出的每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。
82.在一些具体实施例中,所述实体语义组合模块13中,还包括:第一文本输入单元,用于将所述目标扩展实体与所述目标扩展语义两两组合输入至所述训练后模型中;得分输出单元,用于获取所述训练后模型输出的每一组合中相应的所述目标扩展实体与所述目标扩展语义之间的相关性得分。
83.在一些具体实施例中,所述文本扩展模块14中,包括:得分排序单元,用于确定所述目标扩展实体与所述目标扩展语义的全部组合的相关性得分,并按照所述相关性得分对所述全部组合进行排序;组合确定单元,用于分别确定每个所述目标扩展实体对应的相关性得分中得分排序为前预设数量组的组合;第二文本输入单元,用于将每个所述目标扩展实体对应的所述得分排序为前预设数量组的组合与所述待扩展文本输入至预设文本生成模型中。
84.在一些具体实施例中,所述文本扩展模块14中,包括:序列拼接单元,用于利用预设拼接方法将所述待扩展文本与所述相关性得分满足第一预设条件的组合进行拼接,以生成拼接后序列;序列输入单元,用于将所述拼接后序列输入至预设文本生成模型中。
85.进一步的,本技术实施例还公开了一种电子设备,图7是根据示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本技术的使用范围的任何限制。
86.图7为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、显示屏24、输入输出接口25、通信接口26和通信总线27。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的文本扩展方法中的相关步骤。另外,本实施例中的电子设备20具体可以为电子计算机。
87.本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口26能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
88.另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222及虚拟机数据223等,虚拟机数据223可以包括各种各样的数据。存储方式可以是短暂存储或者永久存储。
89.其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的文本扩展方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
90.进一步的,本技术还公开了一种计算机可读存储介质,这里所说的计算机可读存储介质包括随机存取存储器(random access memory,ram)、内存、只读存储器(read-only memory,rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中,所述计算机程序被处理器执行时实现前述公开的文本扩展方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
91.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分
说明即可。专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
92.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
93.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
94.以上对本发明所提供的文本扩展方法、装置、设备、存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1