基于模板桥接的机器阅读理解事件抽取方法、装置及介质

文档序号:39242844发布日期:2024-09-03 17:24阅读:26来源:国知局
基于模板桥接的机器阅读理解事件抽取方法、装置及介质

本发明涉及自然语言处理(nlp),尤其涉及一种基于模板桥接的机器阅读理解事件抽取方法、装置及介质。


背景技术:

1、事件抽取(ee)是自然语言处理中的一个重要且具有挑战性的任务,已被广泛应用于如知识图谱构建、信息检索、问答、推荐等领域。由于事件提及的语义歧义和事件结构具有多样性,事件抽取仍然面临巨大的挑战。事件抽取的目标是从非结构化文本中提取结构化的事件信息,通常是将事件抽取划分为两个子任务:事件检测(ed)和论元提取(eae),其中ed旨在识别事件触发词并区分它们的类型,eae则是为了识别给定事件触发词的论元并分类其角色。以图1为例,句子s1是一个含有“start-position”事件子类型的疼痛文本,其中触发词是“hired”。此外,s1包含四个实体:“1997”、“company”、“john d.idol”和“chiefexecutive”,这些实体即为事件论元,它们被赋予不同的角色,如“time”、“entity”、“person”和“position”。

2、不同于需要依赖于人工特征的传统方法,深度学习可以自动提取特征,因而如卷积神经网络(cnn)、循环神经网络(rnn)、图神经网络(gnn)和预训练语言模型(plms)等深度学习模型在ee中取得了显著的成果。其中,cnn可以自动捕捉文本的特征,而由于其核窗口的限制,信息中的词语无法包含长距离依赖关系,基于rnn的模型能够利用文本序列的顺序获得词语之间的长距离关系,然而rnn模型无法有效地捕捉远离且不连续的触发词与其论元之间的依赖关系。gnn则是应用于图结构上的多个神经元,对于事件抽取任务,gnn通常使用触发词与其论元之间的依赖树来更新节点信息,因而基于gnn的模型能够捕捉非局部的语法关系。plms可以从大规模未标记语料库中学习通用语言表示,因而预训练和微调范式是自然语言处理领域中常用的策略。

3、但是,采用上述基于深度学习模型的事件抽取方法时会存在以下问题:

4、1、由于通常是直接从文本中抽取事件信息,问题模板与纯文本之间是相互独立的,没有充分利用问题模板与纯文本之间的语义关系,缺少触发词和事件类型对论元角色的提示,尤其是对于在训练阶段很少或没有示例的论元角色时,实际事件抽取的效率以及精度并不高。

5、2、传统深度学习模型的可移植性较差,即使采用预训练和微调范式,也需要根据特定的下游任务构建不同的模型。


技术实现思路

1、本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一种实现方法简单、事件抽取效率以及精度高、抽取性能好且具有良好可移植性的基于模板桥接的机器阅读理解事件抽取方法、装置及介质。

2、为解决上述技术问题,本发明提出的技术方案为:

3、一种基于模板桥接的机器阅读理解事件抽取方法,步骤包括:

4、步骤s01.触发词问题生成:获取输入文本以及触发词问题提示模板并进行组合,形成带有触发词问题提示模板的输入实例;

5、步骤s02.事件检测:对带有触发词提示问题的输入实例进行语法分析,形成用于描述输入实例中单词之间关系的邻接图,根据邻接图将输入文本与触发词问题提示模板进行连接操作得到链接图,以将问题与上下文进行桥接,重新构建形成问题和文本之间的关系,再根据链接图从输入实例中提取出全局特征;将所述全局特征以及输入实例的语义特征进行融合后,识别出触发词以及触发词类型;

6、步骤s03.论元问题生成:根据识别出的触发词以及触发词类型生成论元问题提示模板,将所述论元问题提示模板与输入文本进行组合形成带有论元问题提示模板的输入实例;

7、步骤s04.论元提取:对所述带有论元问题提示模板的输入实例进行论元提取,得到论元以及论元类型输出。

8、进一步的,步骤s02中将输入文本以及所述触发词问题提示模板进行连接操作时,将输入文本的各单词与所述触发词提示问题的单词嵌入之间的关系转换为邻接矩阵an×n,其中,n是输入实例qa中的单词数,邻接矩阵an×n中的矩阵元素为其中,vi、vj分别是输入实例qa中第i个单词i、第j个单词,e包括poss、nsubj、dobj、prompt和其他关系,poss表示占有修饰词是所有格限定词,nsubj表示名词性主语,dobj表示直接宾语,prompt表示对事件抽取任务的提示问题模板。

9、进一步的,步骤s02中,采用gcn从输入实例中提取出全局特征,其中在进行节点信息更新时采用如下公式:

10、

11、其中,表示第l+1层节点v的表征,表示优化后第l+1层节点v的表征,l表示图神经网络的层数,v表示节点,即单词,v表示节点的集合,i为单位矩阵,是a的度矩阵,a为输入实例中单词与触发词提示问题的单词嵌入之间的关系转换得到的邻接矩阵,dii=∑jaij,d表示提示问题模板的长度,w(l)表示第l层的权重矩阵,表示第l+1层包含关于提示问题模板的总体信息,relu表示激活函数,[cls]表示所述信息汇集节点,g()表示特征变换函数。

12、进一步的,所述采用gcn从输入实例中提取出全局特征时还包括使用门控机制按照下式过滤掉干扰项:

13、

14、其中,g(hv)表示门控函数,表示节点v的归一化表示,n代表输入实例的长度,α和∈分别为可训练的参数,表示v的所有邻居节点表示的平方根,hu表示v的邻居节点的表示,u表示v的邻居节点,n(v)表示v的所有邻居节点的集合。

15、进一步的,步骤s02中,通过注意力机制将所述全局特征以及输入实例的语义特征进行融合,计算表达式为:

16、

17、crossattention(s,g)=γattentions+λattentiong

18、其中,表示经过线性变换的语义特征,表示全局特征,m是句子中的单词数,dk表示词嵌入的维度,crossattention(s,g)表示特征qs和kg的融合特征,γ、λ表示权重系数;

19、触发词识别过程中按照如下公式预测识别出触发词:

20、

21、outputtrigger=max(ap1,ap2,…,apn)

22、其中,api表示第i个单词wi是触发词的概率,n代表输入实例的长度,是可训练参数,h是ai的维度,n是触发词的类型数,outputtrigger表示预测识别出的触发词。

23、进一步的,步骤s04包括:

24、步骤s401.eae表示:获取输入实例的语义特征ea以及输入实例中每个单词的poe特征,所述poe特征用于表示单词是否为触发词;

25、步骤s402.特征融合:将输入实例的语义特征ea与所述每个单词的poe特征进行融合,得到关键词特征ec,分别使用所述语义特征ea、poe特征以及关键词特征ec得到事件论元提取的表示;

26、步骤s403.论元预测识别:根据所述事件论元提取的表示预测识别出论文以及论元类型。

27、进一步的,步骤s402中,按照下式得到所述关键词特征ec:

28、ec=α⊙relu(multiply(ea,ta))+β⊙ea

29、其中,α、β表示可学习参数,multiply表示乘法运算;

30、所述事件论元提取的表示为:

31、

32、其中,表示不同类型数据的拼接,nor表示归一化操作,n表示输入实例的长度。

33、进一步的,步骤s403中,按照下式进行论元预测识别:

34、ps(wi)=softmax(fiws)

35、pe(wi)=softmax(fiwe)

36、其中,ps(wi)和pe(wi)表示第i个单词wi作为论元开始和结束的概率,和是可训练参数;

37、论元a的跨度包括起始偏移量sa和结束偏移量ea,所述起始偏移量sa和结束偏移量ea满足以下规则:

38、0≤sa≤n和0≤ea≤n;

39、ea-sa≥0;

40、ps(sa)≥threshold≥max(ps([cls]),ps([sep]))

41、pe(ea)≥threshold≥max(pe([cls]),pe([sep]));

42、以及ea和sa属于论元a,并且不能属于其他论元。

43、一种基于模板桥接的机器阅读理解事件抽取装置,包括:

44、触发词问题生成模块,用于获取输入文本以及触发词问题提示模板并进行组合,形成带有触发词问题提示模板的输入实例;

45、事件检测模块,用于对带有触发词提示问题的输入实例进行语法分析,形成用于描述输入实例中单词之间关系的邻接图,根据邻接图将输入文本与触发词问题提示模板进行连接操作得到链接图,以将问题与上下文进行桥接,重新构建形成问题和文本之间的关系,再根据链接图从输入实例中提取出全局特征;将所述全局特征以及输入实例的语义特征进行融合后,识别出触发词以及触发词类型;

46、论元问题生成模块,用于根据识别出的触发词以及触发词类型生成论元问题提示模板,将所述论元问题提示模板与输入文本进行组合形成带有论元问题提示模板的输入实例;

47、论元提取模块,用于对所述带有论元问题提示模板的输入实例进行论元提取,得到论元以及论元类型输出。

48、一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现如上述方法。

49、与现有技术相比,本发明的优点在于:本发明基于机器阅读理解方法,在事件抽取过程中通过将问题模板与输入文本进行连接操作,重新构建问题和文本之间的关系,使得不再将问题模板中的单词视为独立的个体,而是通过完全连接的形式获得模板的整体表示,采用问题-上下文桥接方式将问题模板与文本紧密的联系在一起,进而充分利用提示问题模板与输入文本之间的语义关联性实现触发词和事件类型对论元角色的提示功能,从而大大提高事件检测与抽取的效率以及精度,提升事件抽取性能,且提示问题模板具有良好的可移植性,还可以提升模型的可移植性能。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1
专利分类正在加载中....