一种基于层次建模的知识图谱常识生成方法

本发明属于计算机，尤其涉及基于层次建模的知识图谱常识生成方法。

背景技术：

1、知识图谱是知识工程的一个分支，以知识工程中语义网络作为理论基础，并且结合了机器学习，自然语言处理和知识表示和推理的最新成果，在大数据的推动下受到了业界和学术界的广泛关注，其中机器学习、自然语言处理和知识表示和推理都是人工智能的重要方面。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

2、常识知识是构建强大人工智能的关键。因为知识图谱被广泛用来组织和存储知识，所以出现了部分常识知识库，例如临床蛋白质组学数据知识图谱ckg、conceptnet、atomic、ascent，ascent++。最近的研究关注于肯定知识的获取，否定知识却鲜少关注。然而，知道和理解“不要做什么”也很重要。对于传统模型，否定知识帮助机器学习模型更好地训练，从而提高模型性能。对于大语言模型(large language models，llms)，否定陈述让llms确切的知道否定知识，从而在一定程度上减轻其产生错误的问题。

3、生成负例最常见的方法是负采样，它从给定的分布中采样负例，例如uniform,nscaching和m-mix。但是，这些方法是任务为导向的，在否定常识知识生成方面作用较小。因此，近年来，部分工作开始研究如何获得高质量的否定常识知识。这些研究大多数遵循“生成-过滤”的两阶段框架，通过以相似实体替换头或者尾实体短语生成否定三元组候选，再通过过滤生成最终的否定常识知识。negater是较早的研究工作，它利用k近邻生成相似实体来替换头尾实体短语，同时，微调语言模型得到高质量的肯定知识，再通过和语言模型中肯定知识的矛盾程度对否定候选进行排名。uncommonsense首先提取出常识知识库中概念的相似概念，将相似概念的短语作为否定候选，再通过过滤得到最终的否定常识知识。此外，最近的工作利用零样本和小样本的llms直接生成否定常识知识。

4、近年来，知识图谱，或者也被称为知识库是研究热点。知识图谱以三元组的形式储存知识。同时，也有许多常识知识库构建的研究。conceptnet是目前使用广泛且一直更新的常识知识库，其中的三元组由头尾实体和预定义结构化关系构成。此外，atomic专注于以变量的类型化if-then关系组织的推理知识。而ascent和ascent++打破conceptnet预定义关系的限制，从大量的网页文本中抽取自然语言形式的三元组。临床蛋白质组学数据知识图谱ckg数据库不断增长，目前使用10个本体从26个生物医学数据库中收集注释，并将这些信息组织到由2.2亿个关系连接的近2000万个节点中。这些关系中有超过5000万个涉及“出版物”节点，这些节点将有关人类系统研究的科学出版物(使用pubmed标识符编码)与蛋白质、药物、疾病、功能区域和组织联系起来。

5、一个常识知识库通常由有限的肯定三元组(h,r,t)组成，记为κpos＝{(h,r,t)i,i＝1,2,...,m}，其中，h是头实体短语，t是尾实体短语，r指代h和r之间的关系，m是常识知识库中三元组的数量。常识知识库包含的三元组称为肯定知识，记为+(h,r,t)，高维表示为+(xh,xr,xt)。根据以往研究的定义，将将否定知识定义为-(h',r,t),h'∈cskb,-(h,r,t'),t'∈cskb。同时，常识知识库也能被表示为一个有向图g。否定常识知识生成的目标是在给定肯定事实的前提下，生成一系列否定且具有迷惑的常识知识κneg。根据前人的研究，否定常识知必须语法正确，语义合理，同时考虑到常识知识库以外的三元组并不全是错误的，因此还需避免虚假的否定知识。更多情况下，否定常识知识是具有迷惑性的，即否定常识知识需要难以被人类发觉是错误的。

6、一些常识知识库在构建过程中具有附属的否定常识知识。conceptnet中定义了六种否定关系，并给出了对应的否定三元组。通过抽取文本数据得到的quasimodo包含了350k的否定陈述，但是由于提取步骤的原因，该否定陈述的质量不佳。近年来，否定知识生成也得到了关注。negater通过替换头尾实体短语获得否定候选，然后微调语言模型删除低质量的三元组。uncommonsense将相似实体的肯定陈述短语作为否定候选，进而通过步骤设计对候选进行过滤。此外，arnaout等人利用大语言模型生成否定常识知识。然而，他们发现大语言模型通常生成低质量或者模糊的否定常识知识。更进一步，现有技术分析了大语言模型处理否定知识的能力，并且指出大语言模型缺乏对于否定知识深层理解。

7、虽然现有的方法能生成大量的否定常识知识，但是其中大多数是不正确的。基于llms的方法，由于缺乏对否定知识的深层理解，llms总是生成错误或者模糊的否定常识知识，例如图1展示的(sea fish,isa,fish)和(blue planet,isa,mammal)。比较来说，两阶段框架能生成更多具有信服力的否定常识知识，但是它们还有以下两个缺陷：(1)在候选生成阶段，实体短语之间层次关系的不充分建模。如图2所示，实体短语之间具有层次关系，例如鲸鱼和鲨鱼都属于海洋生物，因此生成鲸鱼的相似实体时应该考虑该层次关系，从而生成更多令人信服的否定常识知识，例如(blue whale,isa,fish)和(shark,isa,mammal)。然而，negater只考虑了预训练语言模型的高维嵌入去选择相似实体。虽然arnaout等人利用系统性的维基百科数据来指导相似实体的生成，但这种方式具有局限性且不适用。(2)候选过滤阶段的低效。对于大量的否定候选，现有的过滤方法效率不高。negater需要12个小时来微调整个模型从而对否定候选进行筛选。对于uncommonsense，其中基于语言模型的步骤需要将否定候选逐个放入语言模型中询问，这个步骤耗时较长。

技术实现思路

1、llms在大量的数据上训练，包含百亿级参数。特别地，当模型参数规模突破某个临界值时，大语言模型会出现涌现能力，能大幅提升下游任务的性能，例如翻译和问答任务。虽然大语言模型具有强大的生成能力，但是其缺乏对生成内容的虚假检测能力。因此，本发明避免直接处理否定知识，而是通过大语言模型强大的生成能力来选择肯定陈述。

2、有鉴于此，为了解决上述提到的问题，本技术提出了一个基于层次建模的高效否定常识知识生成框架。在候选生成阶段，为了得到更相关的相似实体，本发明利用盒嵌入表示实体短语，因为盒子自身的结构蕴含了层次信息。接着，通过用盒嵌入生成的相似实体替换每个肯定三元组中的头或者尾实体短语来生成否定候选。在候选过滤阶段，本发明设计了高效的两步过滤策略。首先，本发明用可达路径搜索做初步过滤，删除在原常识知识库中具有可达路径的否定三元组。然后，本发明设计了基于分组指令的llms，该策略先对否定候选分组，再将分组之后的否定候选输入llm进行过滤操作。该策略不仅减少了时间消耗，还使否定候选能够获取同组竞争者的信息，从而产生了更好的结果。本发明从内外两个方面对本发明进行了评估，结果表明本发明达到了更好的效果且能够生成更具迷惑性的否定常识知识。

3、与现有技术相比，本发明的有益效果如下：

4、提出了基于层次建模的高效否定常识知识生成框架，该方法能够生成具有迷惑性的否定知识。

5、利用盒嵌入识别相似实体，它能够捕捉实体短语之间的层次关系从而生成更多有意义的否定候选。

6、通过两步过滤策略来识别有价值的否定陈述，包含可达路径搜索和基于分组指令的llms。