技术特征：
1.一种面向时间知识图谱中新实体的知识推理方法，其特征在于，包括：步骤1、处理数据，构建负样本；步骤2、融合三种结构的编码器对步骤1数据进行编码；步骤3、结合解码器对模型进行训练；步骤4、利用步骤3训练得到的推理模型，实现面向新实体的推理预测。2.如权利要求1所述的面向时间知识图谱中新实体的知识推理方法，其特征在于，步骤1：处理数据，构建负样本；1.1：处理数据实体i，对于该实体i在时间知识图谱中存在的相关四元组(i，r1，j1，τ1)，(i，r2，j2，τ2)，
…
，(i，r
n
，j
n
，τ
n
)，j
k
为实体i的邻居实体，r
k
为实体间关系，τ
k
为实体关系对应的时间标签，k∈(1，
…
，n)；编码器以实体的邻居实体与关系对为输入，通过省去已知的实体i，将上述四元组数据处理为可以满足编码器输入需求的三元组，即(r1，j1，τ1)，(r2，j2，τ2)，
…
，(r
n
，j
n
，τ
n
)；之后，将处理后的正样本集x输出给步骤1.2和步骤2；1.2：构建负样本为了避免随机生成负样本，借助实体的邻居关系，提出一种邻居结构感知的负样本生成方法，通过划分不同跳级的邻居实体去生成不同范围的负样本；概括为：对于实体i的某正样本三元组(r1，j1，τ1)，若存在与实体j1相关的三元组(r
k1
，k1，τ
k1
)，则k1为实体i的二跳邻居实体，通过替换正样本中的实体j1，得到一个二跳范围的负样本(r1，k1，τ1)；若存在与实体k1相关的三元组(r
l1
，m1，τ
l1
)，则m1为实体i的三跳邻居实体，通过替换正样本中的实体j1，得到一个三跳范围的负样本(r1，m1，τ1)，以此类推，获得较随机生成方法生成的相关性更强的负样本集x
′
；之后，将负样本集数据输出给步骤2。3.如权利要求1所述的面向时间知识图谱中新实体的知识推理方法，其特征在于，步骤2：融合三种结构的编码器对步骤1的数据进行编码；2.1：基于r-gcn的编码器为了有效的学习三元组数据中的邻居语义信息，借助了r-gcn编码器结构，通过参数共享和矩阵分解的方法，利用邻居信息去获取当前实体的向量表示；为了适应时间知识图谱中存在的新实体，在r-gcn编码器中去除了自旋边的参数，具体的说明如下所述：通过r-gcn学习步骤1所得三元组数据中的邻居结构信息，r-gcn是gcn在多关系图上的变体，利用参数共享或矩阵分解的方法，用比较少的参数，从实体的邻居信息中提取实体的特征；r-gcn通过层层叠加，组成深网络，其中每一层r-gcn计算得到的实体向量表示与上一层r-gcn得到的向量表示有关；实体i在第l+1层的向量表示为：其中，σ(
·
)为激活函数，通常使用relu函数，为知识图谱中的关系集，为知识图谱中实体i在关系r下的邻居实体集；c
i，r
为标准化参数，通常设置为为标准化参数，通常设置为为关系r的参数矩阵；而为自旋边的参数；自旋边是为了防止在层间传播过程中，实体的表示的计算只利用邻居信息，最终完全丢失了当前实体的初始信息而为每个
实体加上的连接自己的边；为了解决新实体问题，本发明完全抛弃当前实体的信息，只使用邻居的信息编码当前实体，取消了自旋边，相应的实体i的向量表示为这里的编码器选用单层r-gcn，并将r-gcn的输出作为实体i的向量表示输出给步骤2.4；2.2：基于lstm的编码器针对时间知识图谱中广泛存在的时间序列信息，基于lstm编码器结构去学习三元组数据中的时间关联信息；为了更好地学习时间关联信息，首先将三元组数据按照时间顺序进行排序，之后进行相应的线性变换，再使用lstm编码器进行编码；2.3基于注意力机制的编码器为了充分挖掘学习邻居实体间的相互影响，基于注意力机制的编码器首先执行一次自注意力机制，然后再执行一次注意力机制；2.4融合三种编码器对步骤2.1、2.2和2.3得到的表示进行联合，得到实体的最终表示；对于实体i，在关系r与时间τ下的最终表示为：为：其中σ为sigmoid函数，参数为实体基于结构信息的表示的权重；相应的，实体j的最终表示记为e
j(τ，r)
。4.如权利要求1所述的面向时间知识图谱中新实体的知识推理方法，其特征在于，步骤2.2，具体流程如下所述：2.2.1：考虑到时间知识图谱中广泛存在的时间标签，先将步骤1得到的三元组数据中的邻居实体和关系对，按照时间顺序进行排序，得到一个有序序列(r1，j1，τ1)，(r2，j2，τ2)，
…
，(r
n
，j
n
，τ
n
)，τ1≤τ2≤
…
≤τ
n
；2.2.2：对步骤2.2.1得到的有序序列进行线性变换：其中为关系r
n
的相关参数，为实体j
n
的初始向量，d为向量的维度；通过线性变换，将实体j
n
与关系r
n
的信息融合到向量x
n
中；对于实体i，得到向量序列：x
1：n
＝[x1，x2，
…
，x
n
]2.2.3：将步骤2.2.2得到的向量序列x
1：n
输入lstm，一个lstm单元接受一个输入向量x
t
∈x
1：n
，以及上一个lstm的隐藏状态作为输入；通过遗忘门f
t
∈[0，1]
d
决定丢弃之前的单元状态的哪些信息，0表示丢弃所有信息，1表示保留所有信息：f
t
＝σ(w
f
x
t
+u
f
h
t-1
+b
f
)其中，σ(
·
)表示sigmoid函数，为遗忘门的权重矩阵，为偏置；2.2.4：更新单元状态；首先，由输入门i
t
∈[0，1]
d
决定更新哪些信息：i
t
＝σ(w
i
x
t
+u
i
h
t-1
+b
i
)然后，使用一个tanh层来生成新的候选向量
接下来就将lstm区块的状态从c
t-1
更新到c
t
：这里，为门的权重矩阵，为门的偏置，
⊙
表示元素相乘；2.2.5：获得实体的编码表示；由输出门确定输出什么信息：o
t
＝σ(w
o
x
t
+u
o
h
t-1
+b
o
)h
t
＝o
t
⊙
tanhc
t
同样的，表示权重矩阵，b
o
表示偏置；通过以上过程，输入序列x
1：n
被转换为n个隐藏状态h1，h2，
…
，h
n
；由于每个隐藏状态都由上一个隐藏状态结合当前输入向量计算得来，最后一个隐藏状态h
n
已涵盖了整个输入序列x
1：n
的信息，所以将输出h
n
作为实体i的表示输出给步骤2.4。5.如权利要求1所述的面向时间知识图谱中新实体的知识推理方法，其特征在于，步骤2.3：其中，在注意力机制过程中，将自注意力机制得到的向量序列进行均值求和，由此得到对应实体的粗糙表示，并将其作为查询向量进行学习，具体的流程如下所述：2.3.1：考虑到不同的邻居实体对当前实体的重要程度不同，通过引入注意力机制来突出学习关键信息，同时利用自注意力机制来挖掘邻居实体间的相互影响；同步骤2.2.2对步骤1输出数据进行线性变换，得到融合了邻居实体与关系信息的输入序列x
1：n
＝[x1，x2，
…
，x
n
]；2.3.2：对于输入序列x
1：n
，执行一次自注意力机制；对于每一个输入向量，自注意力机制将计算该向量对输入序列其他向量的关注程度；2.3.2.1：将每个输入向量与三个权重矩阵相乘，得到三个向量：键向量k
i
、查询向量q
i
和值v
i
向量，即向量，即向量，即2.3.2.2：自注意力机制将当前输入x
i
的查询向量q
i
与其他输入向量x
j
的键向量k
j
相乘，得到一个得分s，即：2.3.2.3：为了防止在应用softmax时得分存在较大偏差，将得分进行归一化：由此得到一个由得分构成的向量s
′
i，1：n
＝[s
′
i，1
，s
′
i，2
，
…
，s
′
i，n
]；2.3.2.4：对s
′
i，1：n
应用softmax函数，即得到当前输入x
i
对其他输入的关注程度：α
i，1：n
＝softmax(s
′
i，1：n
)2.3.2.5：将每一个输入向量x
j
的值向量v
j
与对应的权重α
i，j
相乘，并将得到的所有向量进行求和，即：
其中z
i
已经包含了所有其他输入对当前输入的影响，将z
i
作为输入x
i
在本层的输出；因此，对于输入序列x
1：n
，自注意力层输出向量序列z
1：n
＝[z1，z2，
…
，z
n
]；2.3.3：对于向量序列z
1：n
＝[z1，z2，
…
，z
n
]，执行一次注意力机制，得到当前实体的向量表示；将向量序列z
1：n
进行均值求和得到当前实体的粗糙表示，并作为本层注意力机制的查询向量q，即：因此，每个输入向量的权重为：α
j
＝softmax(qz
j
)最终对所有输入向量进行加权求和得到当前实体i的向量表示，并将输出给步骤2.4：6.如权利要求1所述的面向时间知识图谱中新实体的知识推理方法，其特征在于，步骤3：结合解码器对模型进行训练；3.1解码器对于一个四元组(i，r，j，τ)，解码器将利用hyte的评分函数计算四元组的得分，即：对于一个四元组(i，r，j，τ)，解码器将利用hyte的评分函数计算四元组的得分，即：对于一个四元组(i，r，j，τ)，解码器将利用hyte的评分函数计算四元组的得分，即：对于一个四元组(i，r，j，τ)，解码器将利用hyte的评分函数计算四元组的得分，即：其中，e
r
分别为头实体、尾实体和关系的向量，||w
τ
||2＝1；由于实体的表示已由步骤2中的编码器计算完成，解码器学习关系的向量表示以及时间超平面的法向量3.2计算损失值；对于步骤1得到的正样本x以及负样本x
′
，损失值loss＝max(0，f(x)-f(x
′
)+γ)，其中f为评分函数为向量的第一或第二范式，γ＞0为正负样本之间的间距；之后将损失值loss提供给步骤3.3；3.3：后向传播阶段优化模型参数；根据步骤3.2得到的损失值，使用梯度下降法或adam算法调整模型参数，最小化模型整体的损失值；3.4：迭代训练模型如果进行一次迭代后达到停止迭代的条件(损失值小于设置的阈值或迭代次数达到最大次数)，则结束训练，得到训练完的模型，提供给步骤4，否则继续步骤1.2。7.如权利要求1所述的面向时间知识图谱中新实体的知识推理方法，其特征在于，步骤
4：利用步骤3训练得到的推理模型，实现面向新实体的推理预测。8.如权利要求7所述的面向时间知识图谱中新实体的知识推理方法，其特征在于，步骤4，具体为：4.1：在步骤3.4得到的模型中，将知识图谱中的所有实体(或关系)分别代入到该四元组中，并根据步骤3.2中计算每次代入实体(或关系)后评分函数f的值，并将所有实体(或关系)的评分提供给步骤4.2；4.2：根据评分进行排序，选出评分最高的一个或多个实体(或关系)作为预测值。
技术总结
一种面向时间知识图谱中新实体的知识推理方法，适用于新闻语料等各自然语言相关领域，其特征在于，包括步骤1、处理数据，构建负样本；步骤2、融合三种结构的编码器对步骤1数据进行编码；步骤3、结合解码器对模型进行训练；步骤4、利用步骤3训练得到的推理模型，实现面向新实体的推理预测。本发明从实体的邻居信息出发，通过融合三种不同结构的编码器去学习图谱中实体的邻居语义信息，并提出基于邻居结构感知的负样本生成方法，通过利用实体的多跳邻居获取质量较高的负样本集，从而训练得到学习能力更强，准确率更高的新实体知识推理模型。准确率更高的新实体知识推理模型。准确率更高的新实体知识推理模型。
技术研发人员：翟鹏珺 方钰 周晓杰
受保护的技术使用者：同济大学
技术研发日：2022.08.04
技术公布日：2022/11/15