1.一种基于知识图谱的生成式大模型建模方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述提取所述图神经网络的特征的步骤包括:
3.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述注意力系数的计算公式为:
4.根据权利要求2所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述节点k的聚合特征向量的计算公式如下:
5.根据权利要求2所述的基于知识图谱的生成式大模型建模方法,其特征在于,节点k的隐状态的计算公式如下:
6.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述“实体-关系-实体”三元组是基于实体区间词向量得到的,方法包括:用命名实体识别模型来识别所述实体区间词向量的实体类型,然后利用深度学习模型或机器学习模型来识别所述实体区间词向量之间的关系。
7.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述“实体-关系-实体”三元组是基于实体区间词向量得到的,方法包括:使用多任务联合学习框架同时进行实体类型识别和关系抽取,所述多任务联合学习框架包括共享层和任务特定层,所述实体区间词向量输入共享层提取特征,所述特征输入任务特定层训练后输出结果,在所述任务特定层定义实体类型识别任务和关系抽取任务各自的损失函数,所述任务特定层联合两个任务的所述损失函数作为训练的总损失函数,通过优化所述总损失函数来优化模型参数,所述任务特定层输出实体类型识别和关系抽取的结果得到所述“实体-关系-实体”三元组。
8.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述向量化表示方法包括下列方法中的一种或几种:词袋模型、tf-idf、word2vec、glove、fasttext、预训练的bert。
9.根据权利要求8所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述预训练的bert的关键组成部分包括:transformer架构、双向上下文表示、以及预训练模块,所述文本数据集输入transformer架构得到包含注意力信息的词向量,所述包含注意力信息的词向量输入所述上下文表示模块中通过mlm任务结合了上下文信息后输入所述预训练模块训练,所述预训练模块包括mlm任务和nsp任务,通过所述预训练得到语言的深层次特征后输出所述初级词向量。
10.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述生成式大模型包括下列模型中的一种或几种:transformer、gpt、bert、t5、xlnet、roberta、albert、dall-e、wavegan、biggan、unilm、clip。
11.根据权利要求1所述的基于知识图谱的生成式大模型建模方法,其特征在于,所述生成式大模型的训练步骤包括:
12.一种基于知识图谱的生成式大模型建模系统,其特征在于,包括:
13.一种基于知识图谱的生成式大模型建模设备,其特征在于,包括:存储器和处理器;所述存储器用于存储程序指令;所述处理器用于调用程序指令,当程序指令被执行时实现权利要求1-11任意一项所述的基于知识图谱的生成式大模型建模方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-11任意一项所述的基于知识图谱的生成式大模型建模方法。