基于图注意力网络与额外信息的常识知识图谱补全方法与流程

1.本技术涉及知识图谱技术领域，特别是涉及基于图注意力网络与额外信息的常识知识图谱补全方法。


背景技术：

2.本部分的陈述仅仅是提到了与本技术相关的背景技术，并不必然构成现有技术。
3.在构建知识图谱的过程中，大量知识信息来源于文档和网页信息，在从文档提取知识的过程中往往会有偏差，这些偏差来自于看两方面：(1)文档中会有很多噪声信息，即无用信息，它的产生可能来自于知识抽取算法本身，也可能和语言文字本身的有效性有关；(2)文档信息量有限，不会把所有知识都涵盖进去，尤其是很多常识性知识。
4.以上都会导致知识图谱的不完整，综上所述，大部分知识图谱都存在数据不完整、需要不断完善的问题，所以知识图谱补全在构建知识图谱中日益重要。
5.根据使用模型方法不同，知识图谱补全技术大体可以分为三类。基于翻译模型的知识图谱补全方法通过知识表示学习将实体和关系映射到低维连续向量空间中，获得低维稠密的向量表示，然后通过计算向量之间的距离预测三元组之间的关系。另外一类基于张量分解的知识图谱补全方法，通过将实体或关系表示为张量的形式来解决实体和关系的多义性。除此之外，神经网络也被运用到知识图谱的补全任务中，神经网络具有更强的特征提取能力，还有一些神经网络具有聚合邻域信息等功能，可以更好的表示实体和关系，提高知识图谱的补全效率。
6.常识知识图谱中包含大量的人物关系、地理信息等常识，但知识实体之间关系挖掘不够充分，并存在一些不完整的三元组，比如知识图谱freebase中饭大约有71％的人物没有出生地信息，75％没有国籍信息；知识图谱dbpedia中有大量人物的实体没有出生地的信息，比例高达66％，有58％的科学家没有相应的研究领域信息。
7.目前大多数的知识图谱补全方法仅针对三元组进行表示，少数方法通过利用实体的描述信息等三元组之外的信息或者通过聚合目标节点的邻域信息来增加实体的语义信息。除此之外，在不同事实语境下，同一个实体或者关系会有不同的含义，但没有将这些信息系统的利用起来。因此，面对常识知识图谱的上述特点，现有的知识图谱补全方法无法对常识知识图谱进行准确的、完整的补全。


技术实现要素：

8.为了解决现有技术的不足，本技术提供了一种基于图注意力网络与额外信息的常识知识图谱补全方法、系统、电子设备及计算机可读存储介质，将邻域三元组与额外信息的结合，明确地将事实信息和实体描述信息融入到实体向量表达的学习中，并通过图注意力网络聚合邻域信息，进而提升实体与关系的特征表示能力，克服因常识知识图谱信息缺失和知识实体之间关系挖掘的不充分造成的常识知识图谱补全不准确和不完整的问题，提高常识知识图谱补全的准确性和完整性。
9.第一方面，本技术提供了基于图注意力网络与额外信息的常识知识图谱补全方法；
10.基于图注意力网络与额外信息的常识知识图谱补全方法，包括：
11.获取常识知识图谱中实体的额外信息，其中，额外信息包括实体描述信息和事实信息、实体的邻域信息；对实体描述信息和事实信息进行编码处理；
12.将编码处理后的实体描述信息以及事实信息和常识知识图谱中的实体和关系分别进行融合，得到融合嵌入表示；
13.将融合嵌入表示输入图注意力网络层，聚合实体的邻域信息，获取实体嵌入表示和关系嵌入表示；
14.对实体嵌入表示和关系嵌入表示进行特征解码。
15.进一步的，对实体描述信息进行编码处理的具体步骤为：
16.通过词向量生成工具将实体描述信息中的每一个词语向量化，得到实体描述信息对应的词向量；
17.将词向量输入bi-lstm层进行训练得到实体描述嵌入表示。
18.进一步的，对事实信息进行编码处理的具体步骤包括：
19.利用transe模型生成常识知识图谱的初始实体嵌入和初始关系嵌入，将初始实体嵌入和初始关系嵌入输入bi-lstm层,得到事实的正向嵌入表示和反向嵌入表示；
20.将事实的正向嵌入表示和反向嵌入表示融合，通过一维卷积神经网络提取特征，获取事实信息嵌入表示。
21.进一步的，所述将编码处理后的实体描述信息以及事实信息和知识图谱中的实体和关系进行融合，得到融合嵌入表示的具体步骤包括：
22.将常识知识图谱的初始实体嵌入和编码处理后的实体描述信息以及事实信息拼接，再通过全连接神经网络层进行融合降维，得到实体融合嵌入表示；
23.将常识知识图谱的初始关系嵌入和编码处理后的事实信息拼接，再通过全连接神经网络层进行融合降维，得到关系融合嵌入表示。
24.进一步的，将实体融合嵌入表示作为图注意力网络的初始节点，将邻域信息与关系进行加权求和，计算每一个邻域实体的注意力值并进行归一化处理；
25.通过多头注意力机制将注意力值进行加权平均，得到初始实体嵌入表示；
26.根据初始的实体融合嵌入表示，对初始实体嵌入表示进行线性变换，获取实体嵌入表示。
27.进一步的，根据初始的关系融合嵌入表示，对关系嵌入表示进行线性变换，获取关系嵌入表示。
28.进一步的，所述对实体嵌入表示和关系嵌入表示进行特征解码的具体步骤为：
29.将实体嵌入表示和关系嵌入表示输入convkb模型进行解码。
30.第二方面，本技术提供了基于图注意力网络与额外信息的常识知识图谱补全系统；
31.基于图注意力网络与额外信息的常识知识图谱补全系统，包括：
32.额外信息编码器，被配置为：获取常识知识图谱的额外信息，其中，额外信息包括实体描述信息和事实信息、实体的邻域信息；对实体描述信息和事实信息进行编码处理；
33.额外信息融合编码器，被配置为：将编码处理后的实体描述信息、事实信息和常识知识图谱中的实体和关系进行融合，得到融合嵌入表示；
34.编码器，被配置为：将融合嵌入表示输入图注意力网络层，聚合实体的邻域信息，获取实体嵌入表示和关系嵌入表示；
35.解码器，被配置为：对实体嵌入表示和关系嵌入表示进行特征解码。
36.第三方面，本技术提供了一种电子设备；
37.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述基于图注意力网络与额外信息的常识知识图谱补全方法的步骤。
38.第四方面，本技术提供了一种计算机可读存储介质；
39.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于图注意力网络与额外信息的常识知识图谱补全方法的步骤。
40.与现有技术相比，本技术的有益效果是：
41.本发明充分利用了实体描述信息与事实信息并将其融入到实体和关系中，并通过图注意力网络分配邻域权值，聚合邻域信息，极大程度丰富实体与关系的语义信息，提升了三元组额外信息的利用程度，为实体和关系增添了不同语义下的表达，解决了当前知识图谱补全方法只考虑三元组信息或只利用了单一额外信息、不考虑语境等问题，从而提升常识常识知识图谱补全的准确度和提升补全效率，完善常识知识图谱中实体之间的关联关系，提升常识知识图谱的完整性。
附图说明
42.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
43.图1为本技术实施例提供的流程示意图；
44.图2为本技术实施例提供的系统架构示意图。
具体实施方式
45.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本技术使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
46.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
47.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
48.实施例一
49.首先，对本实施例提供的技术方案相关的技术术语的含义进行说明：
50.实体：是指客观世界中的具体事物，如某一个人、某一座城市、某一种植物、某一件商品等。世界万物由具体事物组成，此指实体。实体是知识图谱中的最基本元素，不同的实体间存在不同的关系。
51.关系：描述节点之间客观存在的关联，如首都描述了北京和中国的关系。
52.实体描述信息：解释该实体是什么、有什么样的特性的信息。
53.事实信息：知识图谱由三元组构成，一个三元组就是一条事实信息。
54.bi-lstm层：双向长短期记忆神经网络。
55.transe模型：translating embeddings for modeling multi-relational data，一种经典的知识图谱嵌入模型，可以将三元组中的实体和关系按照“头实体+关系≈尾实体”进行向量化。
56.现有技术中的常识知识图谱补全方法只考虑三元组信息或只利用了单一额外信息、不考虑语境等问题，无法适用于信息量有限、知识实体之间关系挖掘不够充分且存在一些不完整的三元组的常识知识图谱补全；因此，本技术提供了一种基于图注意力网络与额外信息的常识知识图谱补全方法。
57.接下来，结合图1-2对本实施例公开的一种基于图注意力网络与额外信息的常识知识图谱补全方法进行详细说明。该基于图注意力网络与额外信息的常识知识图谱补全方法包括如下步骤：
58.s1、获取常识知识图谱中实体的实体描述信息，对实体描述信息进行编码处理；具体步骤包括：
59.s101、通过glove词向量生成工具将实体描述信息中句子的每一个单词向量化；其中，词向量维度为100，输出维度为100；头实体的实体描述信息表示为尾实体的实体描述信息表示为其中，表示组成实体描述信息的词向量，i∈(1,2,3,...,n)。
60.s102、通过预处理将实体描述信息中句子的平均长度定为69，超过69的句子截断，少于69的句子用0填充，得到文本序列。
61.s103、将文本序列送入bi-lstm层中进行训练得到实体描述嵌入表示。
62.当句子比较长时，仅从单个方向对进行建模可能会造成信息损失；因此，使用了bi-lstm，bi-lstm可以视为两个方向不同的lstm，一个lstm从左到右描述文本，另一个lstm从右到左描述文本，可同时在两个方向上捕获实体的描述信息。再将两个lstm的输出直接拼接，得到bi-lstm在第t个时间步的输出，从而得到每个句子的特征表示。
63.s2、获取事实信息，对事实信息进行编码处理；具体步骤包括：
64.s201、利用transe模型对常识知识图谱中的实体和关系进行编码处理和嵌入表示，得到每个三元组的实体嵌入表示和关系嵌入表示；其中，维度为300，头实体的嵌入表示为hs，关系的嵌入表示为r，尾实体的嵌入表示为ts。
65.s202、将三元组的嵌入表示输入至bi-lstm层以捕获三元组的序列信息特征，输入事实正向和反向以获得更全面的事实信息的向量表达；具体的，将三元组的初始嵌入表示输入到bi-lstm中，最后通过一维卷积神经网络提取特征得到事实信息，计算如下：
66.f＝relu(bi-lstm(h，r，t)*ω)
67.其中，relu是激活函数，ω代表卷积核的参数，f表示事实信息编码器输出的事实信息嵌入表示。
68.s3、将编码处理后的实体描述信息、事实信息和常识知识图谱中的实体和关系进行融合，得到融合嵌入表示；具体步骤包括：
69.s301、将常识知识图谱的初始实体嵌入表示(头实体的嵌入表示和尾实体的嵌入表示)和实体描述嵌入表示、事实信息嵌入表示拼接，再通过全连接神经网络层进行融合降维，得到实体融合嵌入表示，实体融合嵌入表示为
70.v＝concat(hs，hh，f)
·
w171.或
72.v＝concat(ts，th，f)
·
w173.其中，concat表示拼接操作。
74.s302、将常识知识图谱的初始关系嵌入表示和事实信息嵌入表示拼接，再通过全连接神经网络层进行融合降维，得到关系融合嵌入表示；
75.r＝concat(r,f)
·
w276.其中，concat表示拼接操作。
77.s4、将融合嵌入表示输入图注意力网络层，聚合邻域信息，获取实体嵌入表示并更新关系嵌入表示；具体步骤包括：
78.s401、将实体融合嵌入表示作为图注意力网络层的节点输入特征集，表示为v＝{v1,v2,...,vn}，将目标节点vi(头实体)相邻的邻域节点vj(尾实体)与关系组成邻域三元组集，邻域节点用uj表示，为了将关系信息加到邻域节点vj中，通过uj＝ρvj+(1-ρ)ri将关系加入聚合邻域的过程中，uj表示加入关系信息后的邻域节点，ρ为权值系数且0《ρ《1，本实施例中，ρ＝0.5，ri为关系融合嵌入表示。
79.s402、首先，计算每一个邻域实体的注意力值，计算公式表示为
80.e
ij
＝a(wvi，wuj)
81.其中，w是线性变换权重矩阵，a是计算注意力系数的函数；
82.具体公式如下：
83.e
ij
＝leakyrelu(a
t
[wvi]||[wuj])
[0084]
其中，||为拼接操作，执行拼接操作后再与权值向量a进行线性变换，并通过leakyrelu函数进行非线性激活，leakyrelu中的α设置为0.2。
[0085]
再将其进行归一化处理，得到
[0086][0087]
s403、通过多头注意力机制对归一化后的注意力值进行加权求和通过k平均计算得到初始实体嵌入表示v
″
＝{v1″
，v2″
，
…
，vn″
}，其中，
[0088][0089]
s404、为了防止在获取新的实体嵌入表示过程中丢失初始实体融合嵌入信息，通过在最后得到的实体嵌入表示中添加经过线性变换的实体的初始实体融合嵌入表示来解
决，表示为
[0090]h′
＝hwe+hf[0091]
其中，h
′
为实体嵌入表示、hf为通过图注意力层得到的初始实体嵌入表示、h为初始实体融合嵌入表示。
[0092]
使得线性变换实体的初始嵌入保留先前储存的信息，得到最终的实体嵌入表示。
[0093]
s405、在完成图注意力的计算后，对关系融合嵌入表示进行线性变换，获取关系嵌入表示，公式如下：
[0094]r′
＝rwr[0095]
其中，r
′
为关系嵌入表示，wr是维度为t
×
t
′
的线性变换矩阵，t代表输入关系融合嵌入表示的维度，t
′
是输出关系嵌入表示的维度，r为关系融合嵌入表示。
[0096]
距离函数为
[0097]d(h,r,t)
＝||h+r-t||2，
[0098]
损失函数定义为
[0099][0100]
距离函数和损失函数用于对最终的实体嵌入表示和关系嵌入表示的训练。
[0101]
其中，g'＝{(h',r,t)|h'∈e\h}∪{(h,r,t')|t'∈e\t}，完成编码器操作。
[0102]
s5、将实体嵌入表示、关系嵌入表示输入convkb模型进行解码；其中，得分函数为再通过损失函数进行计算，损失函数表示为
[0103][0104]
迭代训练3000次，每500次更新学习率，初始学习率设置为0.001，每次对全部训练数据进行批量训练，使用adam优化器通过最小化损失函数进行训练，l2正则化防止过拟合，模型drop_out设置为0.3。
[0105]
实施例二
[0106]
本实施例公开了一种基于图注意力网络与额外信息的常识知识图谱补全系统，包括：
[0107]
额外信息编码器，被配置为：获取常识知识图谱的额外信息，其中，额外信息包括实体描述信息、事实信息以及实体的邻域信息；对实体描述信息和事实信息并进行编码处理；实体描述信息由文本编码器进行编码处理，事实信息由事实编码器进行编码处理，实体的邻域信息由编码器进行编码处理，编码后的实体描述信息和事实信息通过额外信息融合编码器进行融合。
[0108]
额外信息融合编码器，被配置为：将编码处理后的额外信息和常识知识图谱中的实体和关系进行融合，得到融合嵌入表示；
[0109]
编码器，被配置为：将融合嵌入表示输入图注意力网络层，聚合实体的邻域信息，获取实体嵌入表示和关系嵌入表示；
[0110]
解码器，被配置为：对实体嵌入表示和关系嵌入表示进行特征解码。
[0111]
此处需要说明的是，上述额外信息编码器、额外信息融合编码器、编码器、解码器对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限
于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0112]
实施例三
[0113]
本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述基于图注意力网络与额外信息的常识知识图谱补全方法的步骤。
[0114]
实施例四
[0115]
本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于图注意力网络与额外信息的常识知识图谱补全方法的步骤。
[0116]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0117]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0118]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0119]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0120]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。