基于可回溯序列生成方法的事件检测方法和系统

文档序号:30211395发布日期:2022-05-31 11:50阅读:来源:国知局

技术特征:
1.基于可回溯序列生成方法的事件检测方法,其特征在于,包括:对作为训练文本的输入句子进行编码;对编码后的输入句子计算luong注意力,并根据计算出的注意力权重定位出输入句子中权重最大的单词;对计算luong注意力后的输入句子计算其中上下文向量;根据所述上下文向量,对输入句子进行解码,每时刻解码出一个事件类型的名称;根据解码结果、输入句子中包含的事件触发词、触发词触发的事件类型和预先定义的目标函数训练模型,得到事件监测模型;将作为待测文本的输入句子输入所述事件监测模型得到事件检测结果。2.根据权利要求1所述的基于可回溯序列生成方法的事件检测方法,其特征在于,对作为训练文本的输入句子进行编码为:使用基于bert和双向lstm的编码器对输入句子进行编码。3.根据权利要求2所述的基于可回溯序列生成方法的事件检测方法,其特征在于,对编码后的输入句子计算luong注意力,并根据计算出的注意力权重定位出输入句子中权重最大的单词为:luong注意力机制计算出t时刻对输入句子中第i个单词的初始注意力权重:;其中,是输入句子中第i个单词经过编码器输出的隐状态,是输入句子中第j个单词经过编码器输出的隐状态,i代表第i个单词,j代表第j个单词,是输入句子中第t个解码时刻的隐状态,t表示解码器输出的第t个时刻,是一个可学习的参数构成的矩阵;通过遍历输入句子中每个单词的初始注意力权重,得到注意力权重最大的单词,通过掩码操作将这个单词的注意力权重设置为1,对其他单词的权重设置为0,具体计算如下:;其中,是初始注意力权重,是最终的注意力权重,是一个独热掩码向量,用于选择权重最大的单词并过滤其余单词,是逐元素乘法。4.根据权利要求3所述的基于可回溯序列生成方法的事件检测方法,其特征在于,对计算luong注意力后的输入句子计算其中上下文向量为:对于解码器的每个时刻,基于伯努利分布采样一个采样结果m∈{0,1},并执行以下计算:;其中,表示真实触发词对应的维度为1的独热向量,表示初始注意力权重最大的单词对应的维度为1的独热向量;在时刻t传递给解码器的最终的上下文向量计算为:
;其中,为解码器在t时刻对输入句子中第i个单词的注意力权重。5.根据权利要求4所述的基于可回溯序列生成方法的事件检测方法,其特征在于,根据所述上下文向量,对输入句子进行解码,每时刻解码出一个事件类型的名称为:使用lstm作为解码器,解码器在时刻t的隐藏状态的计算过程如下:;其中,是t-1时刻所有事件类型上的概率分布,是概率分布中具有最大概率的事件类型,是解码器t-1时刻的隐状态,是t-1时刻传递给解码器的上下文向量;在得到t时刻解码器的隐藏状态和上下文向量后,按照如下公式计算时刻t输出的概率分布:;;其中是可学习的参数;是时刻t下各个事件类型的预测评分,评分越大,是该事件类型的可能性越大;是t时刻所有事件类型上的概率分布,在t时刻的解码出的事件类型的名称为概率分布中概率最大的事件类型的名称。6.根据权利要求5所述的基于可回溯序列生成方法的事件检测方法,其特征在于,所述目标函数训练模型为:;其中,为有监督注意损失函数,其基于kl散度进行计算,计算过程如下:;其中,表示kl散度函数,是t时刻注意力的事件类型,即t时刻解码出的事件类型对应的触发词的位置为1,其余位置为0;是初始注意力权重;为用于生成的目标函数,计算公式为:;给定时刻t的事件类型,表示时刻t的交叉熵损失,其中表示t时刻之前生成的事件类型,s表示输入句子,d表示所有训练输入句子,p表示条件概率函数;为用于惩罚错误的目标函数,计算公式为:;其中,为维度等于总事件类型数的向量,其每个维度的值代表每个事件类型出现在
输入句子中的概率,计算公式为:;是sigmoid函数;表示输入句子中标注的事件类型,如果某些事件类型出现在输入句子中则该事件类型对应的维度为1,否则为0;和分别是有监督注意损失函数和用于惩罚错误的目标函数的权重。7.根据权利要求6所述的基于可回溯序列生成方法的事件检测方法,其特征在于,将作为待测文本的输入句子输入所述事件监测模型得到事件检测结果包括:将作为待测文本的输入句子输入训练得到的所述事件监测模型中,采用集束搜索算法确定输入句子中排名最高的预测路径;通过可回溯注意力分数定位预测路径中出现的事件类型对应的触发词在输入句子中的位置;将构成一个单词的子单词的注意得分之和作为该单词的注意得分;设置一个阈值,将每个时刻注意力分数大于阈值的单词作为该时刻解码出的事件类型对应的触发词,从而得到事件检测结果。8.基于可回溯序列生成方法的事件检测系统,其特征在于,包括:编码模块,对作为训练文本的输入句子进行编码;权重计算模块,对编码后的输入句子计算luong注意力,并根据计算出的注意力权重定位出输入句子中权重最大的单词;上下文向量计算模块,对计算luong注意力后的输入句子计算其中上下文向量;解码模块,根据所述上下文向量,对输入句子进行解码,每时刻解码出一个事件类型的名称;模型训练模块,根据解码结果、输入句子中包含的事件触发词、触发词触发的事件类型和预先定义的目标函数训练模型,得到事件监测模型;检测模块,将作为待测文本的输入句子输入所述事件监测模型得到事件检测结果。9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于可回溯序列生成方法的事件检测方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于可回溯序列生成方法的事件检测方法。

技术总结
本发明涉及软件检测技术领域,提出一种基于可回溯序列生成方法的事件检测方法和系统,其中方法包括:对作为训练文本的输入句子进行编码;对编码后的输入句子计算Luong注意力,并根据计算出的注意力权重定位出输入句子中权重最大的单词;对计算Luong注意力后的输入句子计算其中上下文向量;根据所述上下文向量,对输入句子进行解码,每时刻解码出一个事件类型的名称;根据解码结果、输入句子中包含的事件触发词、触发词触发的事件类型和预先定义的目标函数训练模型,得到事件监测模型;将作为待测文本的输入句子输入所述事件监测模型得到事件检测结果。根据本发明的方案,事件检测效率高,准确度高。准确度高。准确度高。


技术研发人员:谢睿 张世琨 叶蔚 习翔宇 杨洋
受保护的技术使用者:北京大学
技术研发日:2022.04.25
技术公布日:2022/5/30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1