知识图谱补全方法、装置、电子设备及存储介质与流程

本发明涉及人工智能技术领域，具体涉及一种知识图谱补全方法、装置、电子设备及存储介质。

背景技术：

为了补全知识图谱中实体间缺失的关系，可以通过利用开放世界中的资源来获取知识，将知识图谱中未出现的新实体添加到知识图谱中去。

现有技术中，通常使用开放世界中的实体描述文本，或者联合使用实体描述文本和知识图谱的拓扑结构来对知识图谱进行补全。开放世界中知识的复杂度很高，使得现有的补全方法对实体描述文本的利用率低，补全后的知识图谱准确度差。

技术实现要素：

本发明实施例提供一种知识图谱补全方法、装置、电子设备及存储介质，用以解决现有的知识图谱补全方法对实体描述文本的利用率低，补全后的知识图谱准确度差的问题。

第一方面，本发明实施例提供一种知识图谱补全方法，包括：

确定待补全的头实体和关系对应的多个候选尾实体的描述文本；

将所述头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到所述知识图谱补全模型输出的补全结果；

其中，所述知识图谱补全模型基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，并基于每一候选尾实体的描述特征确定所述头实体和关系对应的补全结果；

所述知识图谱补全模型是基于样本头实体和样本关系及其对应的多个样本候选尾实体的描述文本，以及样本补全结果训练得到的。

可选地，所述将所述头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到所述知识图谱补全模型输出的补全结果，具体包括：

将所述头实体和关系，以及多个候选尾实体的描述文本输入至所述知识图谱补全模型的特征编码层，得到所述特征编码层输出的所述头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征；

将每一候选尾实体的描述文本的编码特征输入至所述知识图谱补全模型的候选文本关联层，得到所述候选文本关联层输出的每一候选尾实体的描述特征；

将所述头实体和关系的编码特征，以及每一候选尾实体的描述特征输入至所述知识图谱补全模型的实体补全层，得到所述实体补全层输出的所述补全结果。

可选地，所述将每一候选尾实体的描述文本的编码特征输入至所述知识图谱补全模型的候选文本关联层，得到所述候选文本关联层输出的每一候选尾实体的描述特征，具体包括：

将所述每一候选尾实体的描述文本的编码特征输入至所述候选文本关联层的关联特征提取层，得到所述关联特征提取层基于注意力机制输出的任一候选尾实体的描述文本与其余每一候选尾实体的描述文本之间的关联特征；

将任一候选尾实体与其余每一候选尾实体之间的关联特征，以及所述任一候选尾实体的描述文本的编码特征输入至所述候选文本关联层的描述特征提取层，得到所述描述特征提取层输出的所述任一候选尾实体的描述特征。

可选地，所述将任一候选尾实体与其余每一候选尾实体之间的关联特征，以及所述任一候选尾实体的描述文本的编码特征输入至所述候选文本关联层的描述特征提取层，得到所述描述特征提取层输出的所述任一候选尾实体的描述特征，具体包括：

将任一候选尾实体与其余每一候选尾实体之间的关联特征，以及所述任一候选尾实体的描述文本的编码特征输入至所述描述特征提取层，由所述描述特征提取层将所述任一候选尾实体的描述文本的编码特征，以及所述编码特征和所述关联特征之间的差值进行融合，得到所述描述特征提取层输出的融合结果作为所述任一候选尾实体的描述特征。

可选地，所述将所述头实体和关系，以及多个候选尾实体的描述文本输入至所述知识图谱补全模型的特征编码层，得到所述特征编码层输出的所述头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征，具体包括：

将所述头实体的描述文本、所述头实体和关系，以及多个候选尾实体的描述文本输入至所述特征编码层的特征表示层，得到所述特征表示层输出的所述头实体的描述文本的特征表示、所述头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示；

将所述头实体的描述文本的特征表示、所述头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示输入至所述特征编码层的上下文编码层，得到所述上下文编码层输出的所述头实体的描述文本的编码特征、所述头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征。

可选地，所述将所述头实体的描述文本、所述头实体和关系，以及多个候选尾实体的描述文本输入至所述特征编码层的特征表示层，得到所述特征表示层输出的所述头实体的描述文本的特征表示、所述头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示，具体包括：

将所述头实体的描述文本、所述头实体和关系，以及任一候选尾实体的描述文本输入至所述特征表示层，由所述特征表示层对所述头实体的描述文本的向量表示、所述头实体和关系的向量表示，以及所述任一候选尾实体的描述文本的向量表示两两进行注意力交互，得到所述特征表示层输出的所述头实体的描述文本的特征表示、所述头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示。

可选地，所述头实体的描述文本的特征表示还包括所述头实体的词性向量、实体类型向量和词频共现向量中的至少一种。

可选地，所述将所述头实体和关系的编码特征，以及每一候选尾实体的描述特征输入至所述知识图谱补全模型的实体补全层，得到所述实体补全层输出的所述补全结果，具体包括：

将所述头实体的描述文本的编码特征、所述头实体和关系的编码特征，以及每一候选尾实体的描述特征输入至所述实体补全层的特征交互层，由所述特征交互层对所述头实体和关系的编码特征进行自注意力变换，得到问题特征，将所述问题特征分别与所述头实体的描述文本的编码特征和每一候选尾实体的描述文本的描述特征进行注意力交互，得到所述特征交互层输出的所述头实体的描述文本的交互编码特征，以及每一候选尾实体的描述文本的交互编码特征；

将所述头实体的描述文本的交互编码特征，以及每一候选尾实体的描述文本的交互编码特征输入至所述实体补全层的结果输出层，由所述结果输出层确定所述头实体的描述文本的交互编码特征分别与每一候选尾实体的描述文本的交互编码特征的相似度，基于每一候选尾实体对应的相似度进行补全，得到所述结果输出层输出的所述补全结果。

第二方面，本发明实施例提供一种知识图谱补全装置，包括：

文本确定单元，用于确定待补全的头实体和关系对应的多个候选尾实体的描述文本；

图谱补全单元，用于将所述头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到所述知识图谱补全模型输出的补全结果；

其中，所述知识图谱补全模型基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，并基于每一候选尾实体的描述特征确定所述头实体和关系对应的补全结果；

所述知识图谱补全模型是基于样本头实体和样本关系及其对应的多个样本候选尾实体的描述文本，以及样本补全结果训练得到的。

第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的知识图谱补全方法、装置、电子设备及存储介质，基于多个候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，使得每一候选尾实体的描述特征均能充分反映对应候选尾实体相较于其余每一候选尾实体的突出区别，基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果，实现了描述文本所包含信息的充分利用，提高了知识图谱补全的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的知识图谱补全方法的流程示意图；

图2为本发明实施例提供的知识图谱补全结果模型的运行流程示意图；

图3为本发明实施例提供的候选尾实体的描述特征确定方法的流程示意图；

图4为本发明实施例提供的特征编码层的运行流程示意图；

图5为本发明实施例提供的特征交互与结果输出方法的流程示意图；

图6为本发明实施例提供的知识图谱补全模型的框架示意图；

图7为本发明实施例提供的知识图谱补全装置的结构示意图；

图8为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

知识图谱（knowledgegraph，kg）旨在构建一个结构化信息的数据库，将世界上的具象事物（如人名、地名、机构名等专有名词）与抽象概念表示为实体，将实体之间的交互与联系表示为关系。实体与实体之间的关系构成一张巨大的图，其中实体是图中的节点，而关系则作为图中的边。在知识图谱中，世界的海量知识被表示为实体之间利用关系作为连接的三元组（triplet）。

知识图谱补全旨在寻找出知识图谱中三元组（头实体，关系，尾实体）中缺失的部分，从而使知识图谱变得更加完整。通常利用开放世界中的知识来补全知识图谱，由于开放世界中知识的复杂度很高，使得现有的补全方法对实体描述文本的利用率低，知识图谱补全的准确度差。

针对现有技术的不足，图1为本发明实施例提供的知识图谱补全方法的流程示意图，如图1所示，该方法包括：

步骤110，确定待补全的头实体和关系对应的多个候选尾实体的描述文本；

具体地，实体的描述文本为利用自然语言对实体进行解释的文本。开放世界中实体的描述文本可以来自在线百科全书，也可以来自公开语料库，例如新闻语料库、英语语料库、汉语语料库等。

三元组中仅存在头实体和关系，不存在尾实体时，其中的头实体和关系即可以作为待补全的头实体和关系，该三元组中缺失的尾实体即需要进行补全的部分。对于待补全的头实体和关系，在开放世界中存在多个候选尾实体，每一候选尾实体均对应有描述文本。例如，待补全的头实体“男演员a”和关系“现任妻子”，开放世界中存在两个候选尾实体“女演员b”和“女演员c”，其中“女演员b”和“女演员c”的描述文本分别为“男演员a和女演员b今年元旦举办婚礼”和“男演员a和女演员c已于去年秘密结束婚姻”。

利用开放世界知识补全知识图谱的过程可以理解为根据知识图谱中的头实体和关系，从开放世界中实体的描述文本中寻找最符合关系要求的尾实体。上述示例中，知识图谱补全的任务就是要从候选尾实体的描述文本中确定最符合待补全的头实体和关系对应的问题“谁是男演员a的现任妻子”的尾实体。

步骤120，将头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到知识图谱补全模型输出的补全结果；

其中，知识图谱补全模型基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，并基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果；

知识图谱补全模型是基于样本头实体和样本关系及其对应的多个样本候选尾实体的描述文本，以及样本补全结果训练得到的。

具体地，不同候选尾实体的描述文本并不是完全独立的，不同候选尾实体的描述文本之间可能存在一些相互关联或者重合的内容。各个候选尾实体的描述文本之间的关联性可以体现为各个候选尾实体的描述文本中语义信息的相关程度。

知识图谱补全模型在得到各个候选尾实体的描述文本之后，可以捕捉各个候选尾实体的描述文本之间的关联性，在此基础上，针对于其中一个候选尾实体的描述文本，可以根据该候选尾实体的描述文本与其余每一候选尾实体的描述文本的关联性，模拟在候选尾实体的选择过程中其余每一候选尾实体对于该候选尾实体的影响，进而得到能够充分反映该候选尾实体相较于其余每一候选尾实体的突出区别的描述特征。此处，任一候选尾实体的描述特征即基于该候选尾实体的描述文本，以及其余各个候选尾实体的描述文本与该候选尾实体的描述文本之间的关联性确定的，用于反映该候选尾实体的描述文本中区别于其他候选尾实体的描述文本的特征。

知识图谱补全模型在得到每一候选尾实体的描述特征，可以基于每一候选尾实体的描述特征，结合待补全的头实体和关系的中携带的信息，从所有候选尾实体中选取出对应头实体和关系的尾实体作为补全结果。

例如上述示例中，将头实体“男演员a”和关系“现任妻子”，以及两个候选尾实体的描述文本“男演员a和女演员b今年元旦举办婚礼”和“男演员a和女演员c已于去年秘密结束婚姻”输入至知识图谱补全模型，由知识图谱补全模型捕捉两个候选尾实体的描述文本之间的关联性，进而弱化两个候选尾实体描述文本中相关程度较高的信息，例如“男演员a”，进而突出描述文本中关联程度交低、区分性较大的信息，例如“举办婚礼”、“结束婚姻”等，从而得到两个候选尾实体分别凸显了“举办婚礼”和“结束婚姻”的描述特征，在此基础上，知识图谱补全模型结合待补全的头实体“男演员a”和关系“现任妻子”，基于两个候选尾实体的描述特征，从两个候选尾实体中选取出描述特征更符合“男演员a的现任妻子”的尾实体“女演员b”，作为补全结果输出。

在执行步骤120之前，可以预先训练得到知识图谱补全模型，具体可以通过如下训练方式得到知识图谱补全模型：首先，收集大量的样本头实体和样本关系，以及每一样本头实体和样本关系对应的多个样本候选尾实体的描述文本。通过人工标注得到每一样本头实体和样本关系对应的样本补全结果。随即将大量的样本头实体和样本关系，每一样本头实体和样本关系对应的多个样本候选尾实体的描述文本，以及每一样本头实体和样本关系对应的样本补全结果输入至初始模型进行训练，从而得到知识图谱补全模型。

本发明实施例提供的知识图谱补全方法，基于多个候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，使得每一候选尾实体的描述特征均能充分反映对应候选尾实体相较于其余每一候选尾实体的突出区别，基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果，实现了描述文本所包含信息的充分利用，提高了知识图谱补全的准确度。

基于上述实施例，知识图谱补全模型包括特征编码层、候选文本关联层和实体补全层。对应地，图2为本发明实施例提供的知识图谱补全模型的运行流程示意图，如图2所示，步骤120具体包括：

步骤121，将头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型的特征编码层，得到特征编码层输出的头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征；

具体地，将头实体和关系，以及多个候选尾实体的描述文本输入至特征编码层，由特征编码层对输入的头实体和关系，以及多个候选尾实体的描述文本分别进行特征编码，从而得到头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征。

步骤122，将每一候选尾实体的描述文本的编码特征输入至知识图谱补全模型的候选文本关联层，得到候选文本关联层输出的每一候选尾实体的描述特征；

具体地，候选文本关联层可以根据输入的每一候选尾实体的描述文本的编码特征，捕捉每一候选尾实体的描述文本之间的关联性，弱化每一候选尾实体描述文本中相关程度较高的信息，突出描述文本中关联程度交低、区分性较大的信息，从而得到每一候选尾实体的描述特征。需要说明的是，此处每一候选尾实体的描述文本之间的关联性的捕捉，可以通过注意力交互机制实现。

步骤123，将头实体和关系的编码特征，以及每一候选尾实体的描述特征输入至知识图谱补全模型的实体补全层，得到实体补全层输出的补全结果。

具体地，实体补全层根据输入的每一候选尾实体的描述特征与头实体和关系的编码特征，确定头实体和关系对应的候选尾实体作为实体补全层输出的补全结果。例如，可以根据每一候选尾实体的描述特征与头实体和关系的编码特征，计算每一候选尾实体与头实体和关系之间的匹配程度，从而确定补全结果。

基于上述任一实施例，候选文本关联层包括关联特征提取层和描述特征提取层。图3为本发明实施例提供的候选尾实体的描述特征确定方法的流程示意图，如图3所示，步骤122具体包括：

步骤1221，将每一候选尾实体的描述文本的编码特征输入至候选文本关联层的关联特征提取层，得到关联特征提取层基于注意力机制输出的任一候选尾实体的描述文本与其余每一候选尾实体的描述文本之间的关联特征；

具体地，由于多个候选尾实体之间不是独立的，它们之间存在相互联系，在任一候选尾实体的描述文本中的部分信息可能会多次出现在其余每一候选尾实体的描述文本中。该部分信息重复多次出现，会削弱各个候选尾实体的描述文本中具有突出区别的信息，对知识图谱的补全带来干扰，导致多个候选尾实体难以被准确区分，造成知识图谱补全的准确度低。例如，上述示例中，两个候选尾实体的描述文本“男演员a和女演员b今年元旦举办婚礼”和“男演员a和女演员c已于去年秘密结束婚姻”均出现了相同的信息“男演员a”和关联性极高的信息“婚姻”、“婚礼”，削弱了两个描述文本中实际上具有突出区分性的能够表征夫妻关系的开始和结束的信息，使得候选尾实体“女演员b”和“女演员c”变得难以区分。

针对上述问题，关联特征提取层基于注意力机制，对输入的任一候选尾实体的描述文本的编码特征与其余每一候选尾实体的描述文本的编码特征进行注意力交互，得到任一候选尾实体的描述文本与其余每一候选尾实体的描述文本之间的关联特征。

此处，关联特征为任一候选尾实体与其余候选尾实体在描述文本中相关联的特征，可以用于表征其余每一候选尾实体对于该候选尾实体的影响因素。

进一步地，可以用表示第i个候选尾实体的描述文本，用表示第i个候选尾实体的描述文本的编码特征，用表示第j个候选尾实体的描述文本的编码特征，则第i个候选尾实体和第j个候选尾实体之间的相关性可以用公式表示为：

式中，为关联计算矩阵，该矩阵可以通过模型训练的方式得到。

在此基础上，对进行归一化，即可得到第j个候选尾实体相对于第i个候选尾实体的关联系数，可以用公式表示为：

式中，m为候选尾实体的数量，k为候选尾实体的标号，为以自然常数为底的指数函数。

第i个候选尾实体的描述文本与其余每一候选尾实体的描述文本之间的关联特征可以用公式表示为：

式中，k为候选尾实体的标号。

步骤1222，将任一候选尾实体与其余每一候选尾实体之间的关联特征，以及该候选尾实体的描述文本的编码特征输入至候选文本关联层的描述特征提取层，得到描述特征提取层输出的该候选尾实体的描述特征。

具体地，描述特征提取层用于结合任一候选尾实体与其余每一候选尾实体之间的关联特征，以及该候选尾实体的描述文本的编码特征，提取该候选尾实体的描述特征。

此处，任一候选尾实体的描述特征可以采用求和、求差或其他运算方式对关联特征和编码特征进行处理后得到，本发明实施例对此不做具体限定。

基于上述任一实施例，步骤1222具体包括：

将任一候选尾实体与其余每一候选尾实体之间的关联特征，以及该候选尾实体的描述文本的编码特征输入至描述特征提取层，由描述特征提取层将该候选尾实体的描述文本的编码特征，以及编码特征和关联特征之间的差值进行融合，得到描述特征提取层输出的融合结果作为该候选尾实体的描述特征。

具体地，描述特征提取层将第i个候选尾实体的描述文本的编码特征，以及编码特征和关联特征之间的差值进行融合，得到融合结果作为该候选尾实体的描述特征。进一步地，此处任一候选尾实体的描述特征可以直接表示为该候选尾实体的描述文本的编码特征，以及编码特征和关联特征之间的差值的拼接形式，用公式表示为：

其中，任一候选尾实体的描述文本的编码特征与该候选尾实体与其余每一候选尾实体之间的关联特征的差值，消除了候选尾实体的描述文本之间的关联性对该候选尾实体的影响，使得该候选尾实体相较于其余每一候选尾实体具有区分性的信息能够得到凸显；此外，该候选尾实体的描述文本的编码特征的保留，使得该候选尾实体的描述特征中不会遗漏任何描述文本的信息，方便知识图谱补全模型更加准确地进行补全。

基于上述任一实施例，特征编码层包括特征表示层和上下文编码层。图4为本发明实施例提供的特征编码层的运行流程示意图，如图4所示，步骤121，包括：

步骤1211，将头实体的描述文本、头实体和关系，以及多个候选尾实体的描述文本输入至特征编码层的特征表示层，得到特征表示层输出的头实体的描述文本的特征表示、头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示；

具体地，开放世界的知识中，头实体的描述文本包含了很多与头实体相关的描述信息，这些描述信息也很有可能出现在候选尾实体的描述文本中，充分利用这些描述信息，能够细化知识图谱补全模型对于头实体、关系和尾实体之间匹配程度的评价依据。因此，本发明实施例将头实体的描述文本也作为知识图谱补全模型的一个输入，从而提高知识图谱补全的准确度。

此外，待补全的头实体和关系的组合可以构成问题的形式，例如头实体为“男演员a”，关系为“现任妻子”，两者组合而成的问题即“男演员a的现任妻子是谁”。上述问题形式的表示方式，更加有助于知识图谱补全模型理解用于补全的候选尾实体所需要满足的信息。因此，本发明实施例中将待补全的头实体和关系的组合也作为知识图谱补全模型的一个输入。

假设头实体的描述文本为、头实体和关系为，以及多个候选尾实体的描述文本为，则将各文本分别进行分词后可以得到各文本对应的单词序列，具体表示为：

头实体的描述文本的单词序列表示为，其中，为头实体的描述文本的单词长度，z为头实体的描述文本中任一单词的标号。

头实体和关系的单词序列表示为，其中，为头实体和关系的单词长度，j为头实体和关系中任一单词的标号。

候选尾实体的单词序列表示为，其中，为任一候选尾实体的描述文本的单词长度，n为任一候选尾实体的描述文本中任一单词的标号，i为任一候选尾实体的标号。

特征表示层将输入的头实体的描述文本、头实体和关系，以及多个候选尾实体的描述文本中的每个单词进行向量转换，得到具有固定长度的语义向量作为特征表示层输出的头实体的描述文本的特征表示、头实体和关系的特征表示，以及每一候选尾实体的描述文本的特征表示。

步骤1212，将头实体的描述文本的特征表示、头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示输入至特征编码层的上下文编码层，得到上下文编码层输出的头实体的描述文本的编码特征、头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征。

具体地，头实体的描述文本、头实体和关系以及多个候选尾实体的描述文本的特征表示都是由单词序列组成的。由于开放世界中的知识较复杂，使得实体的描述文本中包含的单词数量较多，单词序列较长。在序列中的各个单词之间存在语义上的逻辑关系，即其中一个单词表达的信息往往与序列中该单词前后的若干个单词所表达的信息相关联。

为了提高特征的语义表示能力，上下文编码层对输入的头实体的描述文本的特征表示、头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示分别进行基于上下文的语义编码，从而得到头实体的描述文本的编码特征、头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征。此处，上下文编码层可以采用bi-lstm（bi-directionallongshort-termmemory，双向长短期记忆）网络。

本发明实施例中，通过将头实体的描述文本、头实体和关系以及多个候选尾实体的描述文本作为知识图谱补全模型的输入，由知识图谱补全模型对输入的各个文本进行基于上下文的语义编码，对各文本中的各个单词之间存在语义上的逻辑关系进行了挖掘，提高了各文本对应的编码特征的语义表示能力。

基于上述任一实施例，步骤1211具体包括：

将头实体的描述文本、头实体和关系，以及任一候选尾实体的描述文本输入至特征表示层，由特征表示层对头实体的描述文本的向量表示、头实体和关系的向量表示，以及任一候选尾实体的描述文本的向量表示两两进行注意力交互，得到特征表示层输出的头实体的描述文本的特征表示、头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示。

具体地，特征表示层用于对头实体的描述文本的向量表示、头实体和关系的向量表示，以及任一候选尾实体的描述文本的向量表示两两进行注意力交互，其中头实体的描述文本的向量表示与头实体和关系的向量表示之间的注意力交互，有助于突出头实体的描述文本中与头实体和关系相关联的信息；任一候选尾实体的描述文本的向量表示与头实体和关系的向量表示之间的注意力交互，有助于突出该候选尾实体的描述文本中与头实体和关系相关联的信息；头实体的描述文本的向量表示和任一候选尾实体的描述文本的向量表示之间的注意力交互，有助于突出该候选尾实体的描述文本中与头实体的描述文本相关联的信息。

可选地，由此得到的头实体的描述文本的特征表示可以为结合了与头实体和关系的注意力交互结果后的表示；头实体和关系的特征表示可以为头实体和关系的向量表示本身；任一候选尾实体的描述文本的特征表示可以为结合了分别与头实体和关系的注意力交互结果以及与头实体的描述文本的注意力交互结果后的表示。

进一步地，特征表示层对每一次注意力交互可以采用同样的单词级别的序列对齐注意力机制，对于给定的输入单词向量x和单词向量序列，注意力函数为：

式中，p为单词向量序列中的单词向量的总数，q为单词向量序列y中单词向量的标号，为单词向量x与单词向量之间的注意力系数，可以用公式表示为：

式中，为具有relu激活函数，w为线性变换矩阵，可以通过模型训练方式得到。

下面根据上述单词级别的序列对齐注意力机制，依次求解头实体的描述文本中每个单词分别与头实体和关系中每个单词之间的注意力交互结果，任一候选尾实体的描述文本中每个单词分别与头实体和关系中每个单词之间的注意力交互结果，以及任一候选尾实体的描述文本中每个单词与头实体的描述文本中每个单词之间的注意力交互结果。

在进行注意力交互之前，可以通过运用glove（globalvectors，全局词向量）方法，根据头实体的描述文本、头实体和关系，以及任一候选尾实体的描述文本的单词序列分别创建对应的单词向量序列，并将其作为向量表示，例如可以将头实体的描述文本的词向量，将头实体和关系的词向量，以及任一候选尾实体的描述文本的词向量分别作为头实体的描述文本、头实体和关系，以及任一候选尾实体的描述文本的向量表示。

通过特征表示层对头实体的描述文本的向量表示和头实体和关系的词向量进行注意力交互，得到头实体的描述文本与头实体和关系之间的注意力交互结果：

通过特征表示层对头实体和关系的特征表示，以及任一候选尾实体的描述文本的词向量进行注意力交互，得到任一候选尾实体的描述文本与头实体和关系之间的注意力交互结果：

通过特征表示层对头实体的描述文本的词向量和任一候选尾实体的描述文本的词向量进行注意力交互，得到任一候选尾实体的描述文本与头实体的描述文本之间的注意力交互结果：

最后，特征表示层将头实体的描述文本的向量表示以及头实体的描述文本与头实体和关系之间注意力交互结果相结合，作为头实体的描述文本的特征表示，将头实体和关系的向量表示作为头实体和关系的的特征表示，将任一候选尾实体的描述文本的向量表示，以及该候选尾实体的描述文本分别与头实体的描述文本、头实体和关系的注意力交互结果、作为该候选尾实体的描述文本的特征表示。

基于上述任一实施例，头实体的描述文本的特征表示还包括头实体的词性向量、实体类型向量和词频共现向量中的至少一种。

具体地，词性向量用于表征头实体的描述文本中每个单词的词性，具体可以通过spacy（python自然语言处理工具包）或者其他词性标注工具进行词性标注得到；

实体类型向量用于表征头实体的描述文本中每个单词描述的实体类型，具体可以通过spacy（python自然语言处理工具包）或者其他实体类型识别工具进行实体类型识别得到；

词频共现向量用于表征头实体的描述文本的单词在头实体和关系的单词序列或者候选尾实体的描述文本的单词序列中是否出现，具体可以通过词频统计工具或者自定义添加得到。

需要说明的是，头实体描述文本的向量表示中同样也可以包括头实体的词性向量、实体类型向量和词频共现向量中的至少一种，且头实体的词性向量、实体类型向量和词频共现向量中的至少一种可以不参与特征表示层的注意力交互，直接作为头实体的描述特征中的一部分。

进一步地，假设对头实体的描述文本的单词序列进行词性标注，得到词性向量；

对头实体的描述文本的单词序列进行实体类型的识别，得到实体类型向量；

根据头实体的描述文本的单词在头实体和关系的单词序列或者候选尾实体的描述文本的单词序列中是否出现进行识别，得到词频共现向量，当头实体的描述文本的单词出现在头实体和关系的单词序列或者候选尾实体的描述文本的单词序列中时，词频共现向量为真值1，反之为0。

将上述四种嵌入方法得到的向量进行融合，得到头实体的向量表示为：

此外，可以对头实体和关系的单词序列运用词向量创建和词性标注，得到头实体和关系的向量表示为：

对候选尾实体的单词序列表示为运用词向量创建，得到候选尾实体的描述文本的向量表示为：

相应地，上下文编码层可以对头实体的描述文本的向量表示、头实体和关系的向量表示，候选尾实体的描述文本的向量表示，以及进行注意力交互后头实体的描述文本的特征表示、头实体和关系的特征表示，以及候选尾实体的描述文本的特征表示，分别使用独立的bi-lstm网络进行特征提取，得到头实体的描述文本的编码特征、头实体和关系的编码特征，以及任一候选尾实体的描述文本的编码特征，用公式表示为：

基于上述任一实施例，实体补全层包括特征交互层和结果输出层。图5为本发明实施例提供的特征交互与结果输出方法的流程示意图，如图5所示，步骤123，具体包括：

步骤1231，将头实体的描述文本的编码特征、头实体和关系的编码特征，以及每一候选尾实体的描述特征输入至实体补全层的特征交互层，由特征交互层对头实体和关系的编码特征进行自注意力变换，得到问题特征，将问题特征分别与头实体的描述文本的编码特征和每一候选尾实体的描述文本的描述特征进行注意力交互，得到特征交互层输出的头实体的描述文本的交互编码特征，以及每一候选尾实体的描述文本的交互编码特征；

具体地，特征交互层对输入的头实体和关系的编码特征进行自注意力变换，得到问题特征，用公式表示为：

特征交互层将问题特征分别与头实体的描述文本的编码特征和每一候选尾实体的描述文本的描述特征进行注意力交互，得到特征交互层输出的头实体的描述文本的交互编码特征，以及每一候选尾实体的描述文本的交互编码特征，用公式表示为：

其中，交互编码特征表示问题特征与头实体的描述文本的编码特征采用单词级别的序列对齐注意力机制交互后的编码特征，表征了头实体和关系对应的问题特征与头实体的描述文本的编码特征之间的关联性。

交互编码特征表示问题特征与每一候选尾实体的描述文本的描述特征采用单词级别的序列对齐注意力机制交互后的编码特征，表征了头实体和关系对应的问题特征与每一候选尾实体的描述文本的描述特征之间的关联性。

由于生成问题特征的，头实体的描述文本的编码特征以及每一候选尾实体的描述文本的描述特征都是基于上下文编码层处理后得到的，对各文本中的各个单词之间存在语义上的逻辑关系进行了挖掘，语义表示能力更准确，在此基础上得到的交互编码特征对描述文本中信息利用程度达到了单词级别的水平，大大提高了知识图谱补全的准确度。

步骤1232，将头实体的描述文本的交互编码特征，以及每一候选尾实体的描述文本的交互编码特征输入至实体补全层的结果输出层，由结果输出层确定头实体的描述文本的交互编码特征分别与每一候选尾实体的描述文本的交互编码特征的相似度，基于每一候选尾实体对应的相似度进行补全，得到结果输出层输出的补全结果。

具体地，头实体的描述文本的交互编码特征与任一候选尾实体的描述文本的交互编码特征的相似度反映的是头实体的描述文本和该候选尾实体的描述文本中分别与待补全的头实体和关系相关联的信息中重合的多少，相似度高则重合的信息越多，将该候选尾实体作为补全结果的概率越高。

例如，结果输出层根据头实体的描述文本的交互编码特征与任一候选尾实体的描述文本的交互编码特征进行相似度计算的公式可以表示为：

式中，为第i个候选尾实体对应的相似度，为相似度线性变换，可以通过自定义设置或通过训练方式得到。

由于每一候选尾实体对应的相似度都是单独计算的绝对值，各个候选尾实体对应的相似度缺乏相互比较，结果输出层可以对各个候选尾实体对应的相似度进行softmax处理，从而在各个候选尾实体中选取相似度最高的候选尾实体作为补全结果。相似度比较结果可以用比较序列y表示：

式中，m为候选尾实体的数量。

经过softmax处理后，比较序列将各个候选尾实体对应的相似度映射到(0，1)区间内，使得各个候选尾实体的相似度实现了相互比较，且满足概率分布，概率值最大的候选尾实体相似度最高。

最后，结果输出层将相似度最高的候选尾实体作为补全结果进行输出，从而补全知识图谱。

本发明实施例提供的知识图谱补全方法，通过对头实体和关系的编码特征进行自注意力变换，更加关注头实体和关系的内部相关性，提高了知识图谱补全模型的补全效率。

基于上述任一实施例，图6为本发明实施例提供的知识图谱补全模型的框架示意图，如图6所示，该知识图谱补全模型可以包括特征编码层、候选文本关联层和实体补全层。其中，特征编码层包括特征表示层和上下文编码层，候选文本关联层包括关联特征提取层和描述特征提取层，实体补全层包括特征交互层和结果输出层。将待补全知识图谱对应的头实体的描述文本、头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型的特征表示层，知识图谱补全模型基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，并基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果，并将补全结果从结果输出层输出，对知识图谱进行补全。

基于上述任一实施例，图7为本发明实施例提供的知识图谱补全装置的结构示意图，如图7所示，该装置包括：

文本确定单元710，用于确定待补全的头实体和关系对应的多个候选尾实体的描述文本；

图谱补全单元720，用于将头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到知识图谱补全模型输出的补全结果；

其中，知识图谱补全模型基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，并基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果；

知识图谱补全模型是基于样本头实体和样本关系及其对应的多个样本候选尾实体的描述文本，以及样本补全结果训练得到的。

具体地，文本确定单元710用于确定待补全的头实体和关系对应的多个候选尾实体的描述文本。图谱补全单元720用于将文本确定单元710确定的头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到知识图谱补全模型输出的补全结果。

知识图谱补全模型基于注意力机制，利用多个候选尾实体的描述文本中的有效信息，确定多个候选尾实体的描述文本之间的关联性，并基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，进而基于每一候选尾实体的描述特征，确定每一候选尾实体与头实体和关系的之间的相似度，最后确定头实体和关系对应的补全结果。

本发明实施例提供的知识图谱补全装置，基于多个候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，使得每一候选尾实体的描述特征均能充分反映对应候选尾实体相较于其余每一候选尾实体的突出区别，基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果，实现了描述文本所包含信息的充分利用，提高了知识图谱补全的准确度。

基于上述任一实施例，图谱补全单元720具体包括：

特征编码子单元，用于将头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型的特征编码层，得到特征编码层输出的头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征；

候选文本关联子单元，用于将每一候选尾实体的描述文本的编码特征输入至知识图谱补全模型的候选文本关联层，得到候选文本关联层输出的每一候选尾实体的描述特征；

实体补全子单元，用于将头实体和关系的编码特征，以及每一候选尾实体的描述特征输入至知识图谱补全模型的实体补全层，得到实体补全层输出的补全结果。

基于上述任一实施例，候选文本关联子单元具体包括：

关联特征提取模块，用于将每一候选尾实体的描述文本的编码特征输入至候选文本关联层的关联特征提取层，得到关联特征提取层基于注意力机制输出的每一候选尾实体的描述文本与其余每一候选尾实体的描述文本之间的关联特征；

描述特征提取模块，用于将任一候选尾实体与其余每一候选尾实体之间的关联特征，以及任一候选尾实体的描述文本的编码特征输入至候选文本关联层的描述特征提取层，得到描述特征提取层输出的任一候选尾实体的描述特征。

基于上述任一实施例，描述特征提取模块具体用于：

将任一候选尾实体与其余每一候选尾实体之间的关联特征，以及任一候选尾实体的描述文本的编码特征输入至描述特征提取层，由描述特征提取层将任一候选尾实体的描述文本的编码特征，以及编码特征和关联特征之间的差值进行融合，得到描述特征提取层输出的融合结果作为任一候选尾实体的描述特征。

基于上述任一实施例，特征编码子单元包括：

特征表示模块，用于将头实体的描述文本、头实体和关系，以及多个候选尾实体的描述文本输入至特征编码层的特征表示层，得到特征表示层输出的头实体的描述文本的特征表示、头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示；

上下文编码模块，用于将头实体的描述文本的特征表示、头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示输入至特征编码层的上下文编码层，得到上下文编码层输出的头实体的描述文本的编码特征、头实体和关系的编码特征，以及每一候选尾实体的描述文本的编码特征。

基于上述任一实施例，特征表示模块具体用于：

将头实体的描述文本、头实体和关系，以及任一候选尾实体的描述文本输入至特征表示层，由特征表示层对头实体的描述文本的向量表示、头实体和关系的向量表示，以及任一候选尾实体的描述文本的向量表示两两进行注意力交互，得到特征表示层输出的头实体的描述文本的特征表示、头实体和关系的特征表示，以及多个候选尾实体的描述文本的特征表示。

基于上述任一实施例，头实体的描述文本的特征表示还包括头实体的词性向量、实体类型向量和词频共现向量中的至少一种。

基于上述任一实施例，实体补全子单元具体包括：

特征交互模块，用于将头实体的描述文本的编码特征、头实体和关系的编码特征，以及每一候选尾实体的描述特征输入至实体补全层的特征交互层，由特征交互层对头实体和关系的编码特征进行自注意力变换，得到问题特征，将问题特征分别与头实体的描述文本的编码特征和每一候选尾实体的描述文本的描述特征进行注意力交互，得到特征交互层输出的头实体的描述文本的交互编码特征，以及每一候选尾实体的描述文本的交互编码特征；

结果输出模块，用于将头实体的描述文本的交互编码特征，以及每一候选尾实体的描述文本的交互编码特征输入至实体补全层的结果输出层，由结果输出层确定头实体的描述文本的交互编码特征分别与每一候选尾实体的描述文本的交互编码特征的相似度，基于每一候选尾实体对应的相似度进行补全，得到结果输出层输出的补全结果。

基于上述任一实施例，图8为本发明实施例提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器（processor）810、通信接口（communicationsinterface）820、存储器（memory）830和通信总线（communicationsbus）840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令，以执行如下方法：

确定待补全的头实体和关系对应的多个候选尾实体的描述文本；将头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到知识图谱补全模型输出的补全结果；其中，知识图谱补全模型基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，并基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果；知识图谱补全模型是基于样本头实体和样本关系及其对应的多个样本候选尾实体的描述文本，以及样本补全结果训练得到的。

此外，上述的存储器830中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：

确定待补全的头实体和关系对应的多个候选尾实体的描述文本；将头实体和关系，以及多个候选尾实体的描述文本输入至知识图谱补全模型，得到知识图谱补全模型输出的补全结果；其中，知识图谱补全模型基于每一候选尾实体的描述文本之间的关联性确定每一候选尾实体的描述特征，并基于每一候选尾实体的描述特征确定头实体和关系对应的补全结果；知识图谱补全模型是基于样本头实体和样本关系及其对应的多个样本候选尾实体的描述文本，以及样本补全结果训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。