一种通过动态知识图谱预测实体及关系的方法

本发明属于知识图谱，更为具体地讲，涉及一种通过动态知识图谱预测实体及关系的方法。

背景技术：

1、随着大数据技术的不断发展，工业生产和日常生活产生了规模庞大的数据。这些数据主要分为以文本为主的非结构化数据和以关系型数据库表示和存储的结构数据，知识图谱可以高效管理和运用这些数据。从本质来说，知识图谱是由大量事实构建的语义图。知识图谱通常用形如(头实体，关系，尾实体)或(实体，属性，属性值)的三元组来描述现实世界客观存在的事实，例如(中国，首都，北京市)描述的是中国的首都是北京市这一客观事实。

2、尽管现有的知识图谱规模庞大，通常包含千万个实体和上亿个三元组，但是仍然存在稀疏和不完整这两个问题。知识图谱推理可以利用已有事实推理未知事实来补全知识图谱，知识图谱推理通常分为两类：(1)实体预测：已知头实体和关系来预测尾实体或者已知关系和尾实体来预测头实体。(2)关系预测：已知头实体和尾实体来预测关系。

3、然而，现有的知识图谱推理大多都仅仅聚焦于静态知识图谱，默认客观事实是不会随时间改变的，这忽略了事实的时序动态特性。但是，时间对于表示知识非常重要，因为知识仅在特定时期内有效而且事实发展遵循时间顺序。动态知识图谱相对传统知识图谱而言，增加了时间维度的知识。动态知识图谱推理技术可以既可以补全特定时间内的知识又可以预测未来还未发生的事实。然而，由于知识图谱的图结构信息随着时间变化而变化，动态知识图谱推理任务具有一定的挑战性。

4、动态知识图谱推理技术不像静态知识图谱推理技术那样发展迅速且技术成熟，目前的动态知识图谱推理模型主要分为三种类型：基于平移变换的方法、基于张量分解的方法和基于神经网络的方法。这些方法都为动态知识图谱推理技术的发展奠定了基础。

5、一个动态知识图谱实际上可以看作是一个不同时刻的知识图谱序列。一方面，某一时刻内的知识图谱中的实体关系间存在着结构依赖性。另一方面，相邻时刻内的知识图谱间包含着丰富的时间连续性。除此之外，实体的一些静态属性也对模型的表征能力具有不可忽视的影响。

6、虽然之前关于动态知识图谱推理的研究取得了很好的效果，但在模型整体表达能力上仍有很多内容值得研究。例如，有的基于逻辑规则的方法忽略了动态知识图谱的时序性；有的模型将时间添加到关系的表示中用静态推理的方法来实现动态知识图谱推理忽略了历史信息中携带的大量有用信息；有的模型考虑了时序模型却忽略邻居节点间的结构依赖性。不管是基于张量分解还是基于神经网络的动态推理模型，都存在表征能力不足的问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种通过动态知识图谱预测实体及关系的方法，通过动态知识图谱推理模型快速实现实体预测和关系预测。

2、为实现上述发明目的，本发明一种通过动态知识图谱预测实体及关系的方法，其特征在于，包括以下步骤；

3、(1)、下载动态知识图谱序列；

4、下载动态知识图谱序列g，g＝{g1,g2,…,gt,…,gt}，gt表示t时刻的知识图谱，t表示采样时刻数；

5、每个时刻的知识图谱由若干个三元组组成，每个三元组又包括头实体s、关系r、尾实体o，其中，t时刻的第i个三元组记为(st,i,rt,i,ot,i)，i＝1,2,…表示三元组编号，t时刻所有三元组事实记为ft；

6、(2)、实体关系随机初始化；

7、在每个时刻内，将头实体和尾实体统一记为实体et,i，实体的数量记为|e|，关系的数量记为|r|；

8、基于word2vec的词嵌入处理，将动态知识图谱序列g中每个时刻内的实体et,i和关系rt,i映射成多维的稠密向量，分别记作和实现实体和关系的随机初始化；

9、(3)、获得实体关系的分布式表示；

10、(3.1)、当t＝1时，将第1时刻内所有随机初始化的稠密向量堆叠而成的矩阵，得到第1时刻的实体分布式嵌入矩阵e1；将第1时刻内所有随机初始化的稠密向量堆叠而成的矩阵，得到第1时刻的关系分布式嵌入矩阵r1；

11、(3.2)、当t≠1时，将t时刻的实体分布式嵌入矩阵et、关系分布式嵌入矩阵rt，以及第t+1时刻内所有随机初始化的稠密向量输入至分布式表示学习单元，从而获得第t+1时刻实体分布式嵌入矩阵et+1、关系分布式嵌入矩阵rt+1；

12、(4)、构建实体的静态属性图；

13、(4.1)、在动态知识图谱序列g中，找出每个时刻的知识图谱中包含国别信息的实体，记为ea,j，j＝1,2,…，表示包含国别信息的实体编号；

14、(4.2)、将ea,j拆分成一个类型实体eb,j和一个国别实体ec,j，然后将eb,j和ec,j去重后存入数据集word2id；

15、(4.3)、根据word2id构建静态属性图gs；

16、静态属性图gs由若干个三元组组成，每个三元组又包括头实体ss、关系rs、尾实体ts，其中，第k个三元组记为(ss,k,rs,k,os,k)，k＝1,2,...表示三元组编号，其中，ss,k是来自g中的实体，os,k是来自数据集word2id中的实体；

17、(5)、获得实体的静态表示；

18、(5.1)、将静态属性图gs头实体和尾实体统一记为实体es,k；基于word2vec的词嵌入处理，gs的实体es,k和关系rs,k映射成多维的稠密向量，分别记作和实现实体和关系的随机初始化；

19、(5.2)、将和作为面向关系的图注意力relational-gat网络第一层的输入，再将第一层的输出作为第二层的输入，并将第二层的输出作为实体的静态表示，记作es；

20、其中，relational-gat网络包括两层，即l＝1,2；其中第l层更新实体表示的过程如下：

21、(5.2.1)、计算待更新实体的邻居实体的重要性；

22、将待更新实体及其邻居实体和连接两个实体的关系都乘以同一个权重矩阵w后进行拼接，将拼接而得的向量与权重向量a的转置向量at相乘后使用leakyrelu激活函数做非线性变换，利用softmax对非线性变换的结果做归一化处理可得邻居实体面向关系相对于待更新实体的重要性系数αk,n；

23、

24、(5.2.2)、根据待更新实体的所有邻居实体特征更新实体；

25、

26、其中，是实体在relational-gat网络中第l层的输出；σ()是sigmoid激活函数；nk是所有邻居实体集合；we是实体更新的线性变换矩阵；

27、(6)、训练动态知识图谱推理模型；

28、(6.1)、将步骤(3)获得的实体和关系的分布式嵌入矩阵et+1和rt+1输入conve网络分别计算实体预测任务中候选实体的概率向量p(ot+1|st+1,rt+1)和关系预测任务中候选关系的概率向量p(rt+1|st+1,ot+1)；

29、(6.2)、计算实体预测任务和关系预测任务的损失函数，计算公式如下：

30、

31、

32、其中，le和lr表示实体预测和关系预测的损失函数；t是训练集中时间戳的数量；是第i个元素；表示t+1时刻实体预测任务的标签向量，表示t+1时刻关系预测任务的标签向量,pi(ot+1|st+1,rt+1)是p(ot+1|st+1,rt+1)的第i个元素，pi(rt+1|st+1,ot+1)是p(rt+1|st+1,ot+1)的第i个元素；

33、(6.3)、将同一个实体ea,j在动态知识图谱g中每个时刻的分布式表示et,j和静态知识图谱的静态表示es,j融合；

34、(6.3.1)、设t时刻实体的两个向量融合时的角度阈值；

35、θt＝min(γτ,90°)

36、其中，θt表示两个嵌入向量间的角度阈值；γ是角度增加的速度；τ∈[1,2,...,m]是一个与时间相关的变量，m是历史知识图谱的长度；

37、(6.3.2)、计算静态属性融合模块的损失函数值：

38、

39、其中，lst表示t时刻实体静态表示和分布式表示融合的损失；

40、(6.4)、计算动态知识图谱推理模型整体损失函数；

41、l＝λ1le+λ2lr+λ3lst

42、其中，l是动态知识图谱推理模型是整体损失；λ1、λ2和λ3是控制损失的参数；

43、(6.5)、将动态知识图谱推理模型整体损失函数l送入adam优化器，优化步骤(2)和步骤(4)中的向量初始化方式；

44、(6.6)、循环步骤(6.1)-(6.6)，直至模型整体损失函数l收敛即完成模型训练任务；

45、(7)、设置待补全的查询三元组；

46、待补全的查询三元组包含头实体预测(？，关系，尾实体)、尾实体预测(头实体，关系，？)和关系预测(头实体，？，尾实体)；

47、(8)、根据动态知识图谱推理模型实现实体预测或关系预测；

48、(8.1)、将待补全的查询三元组输入动态知识图谱推理模型，从而获取对应的分布式表示嵌入向量；

49、(8.2)、若待补全的查询三元组为实体预测，则将分布式表示嵌入向量输入conve网络，然后按照骤(6.1)计算候选实体的概率，选择概率排名第一的实体作为输出；

50、(8.3)、若待补全的查询三元组为关系预测，则将分布式表示嵌入向量输入conve网络，然后按照步骤(6.1)计算候选关系的概率，选择概率排名第一的关系作为输出。

51、本发明的发明目的是这样实现的：

52、本发明一种通过动态知识图谱预测实体及关系的方法，先下载动态知识图谱序列，并随机初始化其中的实体和关系获得嵌入向量；然后通过分布式表示单元学习实体关系的分布式表示嵌入矩阵；接着根据实体的静态属性构建静态属性图，并利用relational-gat网络获取实体的静态表示嵌入矩阵；最后训练动态知识图谱推理模型，用于预测待补全的查询三元组的动态知识图谱推理。

53、同时，本发明一种通过动态知识图谱预测实体及关系的方法还具有以下有益效果：

54、(1)、本发明设计了一个实体关系的分布式表示学习单元，可以更好地学习某一时刻内知识图谱间的结构依赖性和相邻知识图谱间的时间连续性，从而提高推理模型的表达能力。

55、(2)、本发明设计了一个改进gru模块来捕捉相邻知识图谱的时间连续性以获得实体的分布式嵌入矩阵。改进gru模块在遵循gru网络对过去的历史信息进行选择性的保留和遗忘的同时却拥有更少的参数。

56、(3)、本发明构建三个静态属性图，将实体的静态属性和动态属性融合提高动态知识图谱推理模型的性能并设计了大量实验证明该模型的有效性。

57、(4)、本发明设计了一个面向关系的图注意力网络relational-gat以学习实体的静态表示，并有效地运用在模型训练中。