基于提示对比学习的持续学习下小样本关系抽取方法

文档序号:35399370发布日期:2023-09-09 17:35阅读:来源:国知局

技术特征:

1.一种基于提示对比学习的持续学习下小样本关系抽取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,对任务中的句子进行信息增强,得到增强后的句子,包括:

3.根据权利要求2所述的方法,其特征在于,根据预先构建的模板映射函数对所述增强后的句子进行映射,得到基于提示的数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述初始cfre模型的总损失函数包括交叉熵损失函数、句子特征混合损失函数和对比损失函数;在每个任务中根据所述标签集上的概率分布、隐藏表示、规范化嵌入表示和数据增强策略构建初始cfre模型的总损失函数,包括:

5.根据权利要求4所述的方法,其特征在于,根据所述标签集上的概率分布构建交叉熵损失函数,包括:

6.根据权利要求5所述的方法,其特征在于,利用所述插值结果构建句子特征混合损失函数,包括:

7.根据权利要求6所述的方法,其特征在于,根据规范化嵌入表示构建对比损失函数,包括:

8.根据权利要求1所述的方法,其特征在于,根据对比学习和知识蒸馏方法对所述初始持续小样本关系抽取模型进行优化之前,还包括:

9.根据权利要求8所述的方法,其特征在于,根据对比学习和知识蒸馏方法对所述初始持续小样本关系抽取模型进行优化,得到持续学习下小样本关系抽取模型,包括:

10.根据权利要求9所述的方法,其特征在于,对每个样本和上一个任务中所有关系原型之间的相似度和不相似度之间的一致性进行计算,包括:


技术总结
本申请涉及一种基于提示对比学习的持续学习下小样本关系抽取方法。所述方法包括:将基于提示的数据输入预训练BERT模型获得句子的向量表示并将句子的向量表示映射到低维嵌入空间,得到隐藏表示;对隐藏表示进行归一化处理,得到规范化嵌入表示;根据标签集上的概率分布、隐藏表示、规范化嵌入表示和数据增强策略构建初始CFRE模型的总损失函数,利用训练数据集和总损失函数对初始CFRE模型进行训练,最小化初始CFRE模型的损失函数来优化模型中的参数,根据对比学习和知识蒸馏方法对初始持续小样本关系抽取模型进行优化,利用持续小样本关系抽取模型进行关系抽取。采用本方法能够提高实体关系抽取准确率。

技术研发人员:谭真,张翀,吴菲,庞宁,赵翔,葛斌,肖卫东,唐九阳,潘岩,胡艳丽
受保护的技术使用者:中国人民解放军国防科技大学
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1