基于大语言模型的结构化知识查询系统

文档序号:39057233发布日期:2024-08-17 22:23阅读:3来源:国知局
本发明属于结构化知识存储与查询,具体涉及一种基于大语言模型的结构化知识查询系统。
背景技术
::1、近年来,随着人工智能技术的不断发展,知识表示与推理是实现人工智能的关键主题之一。表格、三元组、时序三元组等结构化知识大量出现在人们日常生活中,对人类社会发展中影响深远,对于结构化知识的表示与推理已经成为人工智能时代的重要一环。2、已经提出了许多结构化知识表示与推理方法,例如使用sparql查询语言的知识图谱、使用图查询语言的通用图和使用sql查询语言的表格等。掌握查询语言需要大量的学习工作,而想要访问结构化数据的人可能不熟悉查询语言。3、通过自然语言进行的现有结构化知识查询工作要分为两类:(1)将nl问题翻译为结构化查询并通过执行这些查询获得答案,简称nl2sq2a(自然语言到结构化查询到答案),(2)在不依赖结构化查询的情况下回答问题,简称nl2a(自然语言到答案)。这两种方法各有优劣,具体应用取决于问题的复杂程度和对准确性的要求。4、自然语言到结构化查询的转换被称为nl2sq,其中nl2sq方法包括了几种不同的策略。首先,基于架构的方法通过分析数据库的结构和数据索引来构建sql查询。其次,基于解析的方法依赖于语法结构的解析,以理解自然语言问题的含义。另外,基于神经机器翻译的方法将nl2sq任务形式化为语言翻译问题。预训练语言模型(plms)具有良好的语言理解能力,因此也被应用于nl2sql任务中。这些方法通常会在标注的训练集上对plms进行微调,以使其能够生成准确的sql查询。5、在知识图谱问答(kgqa)的背景下,通常使用的查询语言是sparql,因此自然语言到结构化查询的转换被称为nl2sparql。nl2sparql方法通常包括三个步骤:问题理解、链接和过滤。在问题理解阶段,一些方法使用了nl解析器,如依存解析、成分解析、amr解析,而另一些方法则使用序列到序列生成方法获取图模式。链接步骤将从问题中提取的元素映射到知识图谱中的实体和关系,通常采用映射字典、索引系统、嵌入生成系统等技术。在过滤步骤中,通常会应用类型约束来过滤答案。利用llms,一些方法如kb-binder利用llms生成问题的逻辑形式草稿,并通过少量提示将元素绑定到知识图谱中的实体和关系。然而,大多数nl2sq2a方法都是针对特定查询语言进行训练的,有时甚至是针对特定数据集,因此它们并不是结构化知识查询的通用解决方案。6、nl2a方法与nl2sq2a方法不同,它直接生成答案,而不需要生成和执行结构化查询的步骤。举例来说,一些研究将知识图谱问答任务视为沿着关系进行多跳推理直到达到答案。其中,一些方法训练文本编码器来编码问题,并使用推理模块(如图神经网络)执行多跳推理。还有一些工作采用了统一模型,同时负责文本编码和推理。这些方法需要在特定数据集上进行训练,因为它们的性能与数据集的特征密切相关。7、为了提出更一般的、适用于跨数据集的预训练解决方案,一些研究提出了tablegpt。tablegpt是一个统一的微调框架,旨在使llms能够理解和操作符合自然语言的表格数据。它预先训练了一个通用的表格编码器,并通过在广泛的语料库上对llm进行提示调优,输入是表格嵌入。然而,这些预训练方法通常只适用于特定类型的结构化知识。另一方面,先驱性工作structgpt是一个解决方案,适用于不同类型的结构化知识。它通过不同结构化数据的接口从结构化数据中获取相关知识,并将其线性化后输入llm,直接生成答案。然而,structgpt在llm的提示中输入了大量结构化知识,存在较高的潜在数据泄露风险。技术实现思路1、鉴于上述,本发明的目的是提供一种基于大语言模型的结构化知识查询系统,将结构化查询语言的高准确性与llms的良好泛化能力相结合,在不泄露数据的前提下实现对各类结构化知识的准确查询。2、为实现上述发明目,本发明实施例提供了一种基于大型语言模型的结构化知识查询系统,包括知识表示模块、函数生成模块、以及查询模块;3、所述知识表示模块用于将结构化知识转换为条件图,条件图包括知识元素组成的节点集合和由条件三元组组成的条件集合;4、所述函数生成模块用于基于咨询提示和查询问题采用大语言模型生成用于查询的函数;5、所述查询模块用于基于函数在条件图中进行知识查询得到查询结果。6、优选地,将结构化知识转换为条件图,包括:7、当结构化知识为m行和n列的表格时,表格的第一行记录每列的语义含义,第二行起的每一行表示一条知识记录,将表格转换为条件图时,为每一行添加一个等于行顺序的数字,并为除了第一行以外的每个记录值生成两个条件三元组,表示为:8、9、其中,和分别表示表格对应条件图中的节点集合和条件集合,i表示行索引,j表示列索引,vi,j表示第i行第j列的记录值,v1,j表示第1行第j列的语义含义即该列的列名,(i,v1,j,[])表示行索引不需要通过任何条件即可与列名构建成条件为空的三元组,(v1,j,vi,j,[i])表示通过行信息[i]使得v1,j与vi,j相互关联构成条件三元组。10、优选地,将结构化知识转换为条件图,包括:11、当结构化知识为知识图谱时,其中ε1、和分别是实体集合、关系集合和三元组集合,是表示实体(h1,t1)之间关系r1的三元组集合,将知识图谱转换为条件图,表示为:12、13、其中,和分别表示知识图谱对应条件图中的节点集合和条件集合,(h1,r1,[])表示h1与r1不需要通过任何条件即可相连构成为条件为空的三元组,(r1,t1,[h1])表示通过头实体[h1]条件,关系r1与t1相互关联构成条件三元组。14、优选地,将结构化知识转换为条件图,包括:15、当结构化知识为时间知识图谱其中ε2、和分别是实体集合、关系集合和时间集合,是五元组集合,表示事实(h2,r2,t2)的开始时间和结束时间,将时间知识图谱转换为条件图,表示为:16、17、其中,和分别表示时间知识图谱对应条件图中节点集合和条件集合,将中的每个(h2,r2,t2,st,ed)转换为至少5个条件三元组来构建5个条件三元组分别是(h2,r2,[])、(r2,t2,h2)、(start time,st,[h2,r2,t2])、(end time,et,[h2,r2,t2])和(time,time,[h2,r2,t2]),时刻time∈时间区间[st,et],start time表示起始时间,end time表示终止时间,(h2,r2,[])表示不需要条件h2和r2可以构成条件为空的三元组,(r2,t2,h2)表示通过条件头实体h2,关系r2和t2构成条件三元组,(start time,st,[h2,r2,t2])通过条件三元组[h2,r2,t2],起始时间start time和时间st构成条件三元组表示三元组发生的起始时间,(endtime,et,[h2,r2,t2])表示为终止时间,(time,time,[h2,r2,t2])表示发生时间。18、优选地,采用大语言模型生成的函数,包括预先定义的语言查询函数、推理函数、以及未定义的随机函数中至少一种;19、语言查询函数是指逐步解决咨询问题的查询步骤,包含头实体、尾实体、关系、键、以及值的信息;20、推理函数包括集合操作和统计计算,用于处理和推理条件图中的知识;21、未定义的随机函数是指大语言模型随机生成的未经过提示学习的函数。22、优选地,推理函数的生成过程,包括:23、将咨询提示和咨询问题输入至生成式大语言模型,大语言模型通过下个token预测的自回归的推理方式得到初步的查询推理函数,然后选择初步生成查询推理函数的参数在可选参数中相似度最大的作为最终推理函数,实现参数的对齐,其中咨询提示包括生成指令,以及生成推理函数的样例。24、优选地,所述基于函数在条件图中进行知识查询得到查询结果,包括:25、当大语言模型生成用于查询的函数仅包含知识查询函数时,基于知识查询函数在条件图中进行知识查询,包括:26、元素映射和对齐:将知识查询函数中的知识元素与咨询问题中的知识元素进行对齐和映射,即将咨询问题中知识元素替换知识查询函数中的对应知识元素,得到对齐的知识查询函数;27、函数转换:将对齐的知识查询函数转换为执行查询函数,其中执行查询函数包括查询节点函数、查询条件函数、以及比较函数三类;28、知识查询:通过执行查询函数在条件图中进行搜索得到查询结果。29、优选地,当大语言模型生成用于查询的函数包含知识查询函数和推理函数时,基于知识查询函数和推理函数在条件图中进行知识查询,包括对知识查询函数处理的元素映射和对齐步骤、函数转换步骤,还包括:30、在知识查询步骤中,通过执行查询函数和推理函数在条件图中进行搜索得到查询结果,包括:首先通过执行查询函数在条件图中进行搜索得到候选查询结果,然后通过推理函数对候选查询结果进行推理,得到查询结果:31、或,首先通过推理函数得到问题查选条件,然后结合问题查选条件再执行查询函数得到最终查询结果。32、优选地,所述查询模块还包括预先定义的一种llm函数,当大语言模型生成用于查询的函数包含预定义的语言查询函数、推理函数、以及未定义的随机函数中至少一种,且预定义的语言查询函数和/或推理函数无法解决咨询问题,或仅出现未定义的随机函数时,使用llm函数通过大语言模型生成查询结果。33、与现有技术相比,本发明具有的有益效果至少包括:34、通过将结构化知识转换为条件图,实现知识表示的统一性,便于后续知识的查询。在此基础上,为了避免数据泄露,基于大语言模型生成用于对条件图查询的函数,并利用生成的函数在条件图中进行知识查询,这样可以在保护数据隐私的情况下实现结构化知识的准确查询。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1