基于知识图谱的生成式大模型建模方法、系统及设备与流程

文档序号:37314384发布日期:2024-03-13 21:06阅读:来源:国知局

技术特征:

1.一种基于知识图谱的生成式大模型建模方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述提取所述图神经网络的特征的步骤包括:

3.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述注意力系数的计算公式为:

4.根据权利要求2所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述节点k的聚合特征向量的计算公式如下:

5.根据权利要求2所述的基于知识图谱的生成式大模型建模方法,其特征在于,节点k的隐状态的计算公式如下:

6.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述“实体-关系-实体”三元组是基于实体区间词向量得到的,方法包括:用命名实体识别模型来识别所述实体区间词向量的实体类型,然后利用深度学习模型或机器学习模型来识别所述实体区间词向量之间的关系。

7.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述“实体-关系-实体”三元组是基于实体区间词向量得到的,方法包括:使用多任务联合学习框架同时进行实体类型识别和关系抽取,所述多任务联合学习框架包括共享层和任务特定层,所述实体区间词向量输入共享层提取特征,所述特征输入任务特定层训练后输出结果,在所述任务特定层定义实体类型识别任务和关系抽取任务各自的损失函数,所述任务特定层联合两个任务的所述损失函数作为训练的总损失函数,通过优化所述总损失函数来优化模型参数,所述任务特定层输出实体类型识别和关系抽取的结果得到所述“实体-关系-实体”三元组。

8.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述向量化表示方法包括下列方法中的一种或几种:词袋模型、tf-idf、word2vec、glove、fasttext、预训练的bert。

9.根据权利要求8所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述预训练的bert的关键组成部分包括:transformer架构、双向上下文表示、以及预训练模块,所述文本数据集输入transformer架构得到包含注意力信息的词向量,所述包含注意力信息的词向量输入所述上下文表示模块中通过mlm任务结合了上下文信息后输入所述预训练模块训练,所述预训练模块包括mlm任务和nsp任务,通过所述预训练得到语言的深层次特征后输出所述初级词向量。

10.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述生成式大模型包括下列模型中的一种或几种:transformer、gpt、bert、t5、xlnet、roberta、albert、dall-e、wavegan、biggan、unilm、clip。

11.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述生成式大模型的训练步骤包括:

12.一种基于知识图谱的生成式大模型建模系统,其特征在于,包括:

13.一种基于知识图谱的生成式大模型建模设备,其特征在于,包括:存储器和处理器;所述存储器用于存储程序指令;所述处理器用于调用程序指令,当程序指令被执行时实现权利要求1-11任意一项所述的基于知识图谱的生成式大模型建模方法。

14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-11任意一项所述的基于知识图谱的生成式大模型建模方法。


技术总结
本发明属于智能医疗领域,具体涉及一种基于知识图谱的生成式大模型建模方法、系统及设备。方法包括获取文本数据集;对所述文本数据集向量化表示得到初级词向量;对所述初级词向量进行实体区间判断得到实体区间词向量;基于所述实体区间词向量得到“实体‑关系‑实体”三元组;将所述三元组作为生成式大模型的训练数据集,训练得到生成式大模型。训练得到的生成式大模型可在医学领域的知识图谱的构建、问答系统、文本生成、辅助决策等场景中使用。本申请通过实体区间识别方法能更准确地识别和提取文本中的关键信息、提高信息处理的质量和效率。

技术研发人员:孙宇慧,何昆仑
受保护的技术使用者:中国人民解放军总医院
技术研发日:
技术公布日:2024/3/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1