一种基于边信息增强的属性网络嵌入方法及系统

1.本发明涉及计算机数据挖掘领域，特别是涉及一种基于边信息增强的属性网络嵌入方法及系统。


背景技术：

2.近年来，属性网络嵌入的任务是结合网络结构和节点属性，共同学习节点的低维表示。与普通网络相比，属性网络具有更好的网络表达能力。因为它不仅反映了网络的拓扑结构，而且还带有节点的属性信息。节点属性不仅补充了网络节点的内容，而且能有效提高网络嵌入的质量，使得属性网络嵌入在网络分析任务中获得更好的性能。例如，在经典的属性网络嵌入模型tadw中，它在普通网络嵌入模型deepwalk的基础上添加节点属性信息，从而获得比deepwalk更好的性能。因此，通过利用网络结构和节点属性学习网络嵌入，可以有效提高节点表示的质量。然而，网络结构和节点属性是网络的两个不同信息源。如何有效地结合这两种异构信息也是许多学者的研究重点。
3.现有的属性网络嵌入模型仍然存在一些问题。首先，一些基于序列学习的属性网络嵌入模型仅依靠网络结构进行游走来获取节点序列，而没有考虑节点属性对序列生成的影响，在没有属性偏向的随机游动情况下获得的节点序列并不能完全反映属性网络中节点之间的关系。其次，在节点序列中，不仅存在节点之间的关系，而且还存在边之间的关系，大多数序列学习模型只考虑了序列中节点之间的位置关系，而没有考虑网络中边的信息对序列的影响以及节点属性与边两者之间的关系，和边反映了节点之间的关系相同，依靠节点属性度量的节点相似性也反映了节点之间的关系，所以，在序列学习中忽略了边和节点属性的信息会无法在网络嵌入学习中得到更多的网络信息，最终无法获得高质量的节点表示。第三，序列中的隐藏关系经常被忽略，这使得节点之间的各种潜在关系无法被挖掘，无法找到序列中的某些隐藏信息，这也会在一定程度上影响节点表示的质量。


技术实现要素：

4.本发明的目的是提供一种基于边信息增强的属性网络嵌入方法及系统，以解决现有的属性网络嵌入模型在没有属性偏向的随机游动情况下获得的节点序列并不能完全反映属性网络中节点之间的关系、无法获得高质量的节点表示以及无法找到序列中的某些隐藏信息的问题。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于边信息增强的属性网络嵌入方法，包括：
7.将节点属性相似度添加到随机游动中，生成属性偏向的游动，确定属性网络模型的样本序列；
8.根据所述样本序列生成节点序列，并将位置约束加入到所述节点序列中，生成带有位置约束的节点序列；
9.在所述带有位置约束的节点序列的基础上，将节点属性相似度作为约束条件加入
到所述属性网络模型的边序列中，生成带有属性约束的边序列；
10.利用自注意力机制来挖掘所述带有位置约束的节点序列的节点序列潜在相关性信息以及所述带有属性约束的边序列的边序列潜在相关性信息；
11.根据所述节点序列潜在相关性信息以及所述边序列潜在相关性信息生成最优属性网络表示。
12.可选的，属性偏向的游动过程中的属性偏向概率为：
13.其中，p(v
l
,v
c
,v
n
)为属性偏向概率，v
l
表示当前节点v
c
在游走时的上一个节点，v
n
为游走到的下一个节点，p为游走的第一概率值，q为游走的第二概率值，s
cn
为节点v
c
和节点v
n
之间的相似度，为节点v
l
与节点v
n
之间的关系，当时，表示节点v
l
与节点v
n
相同，当时，表示节点v
l
与节点v
n
相连，当时，表示节点v
l
与节点v
n
不相连。
14.可选的，所述利用自注意力机制来挖掘所述带有位置约束的节点序列的节点序列潜在相关性信息以及所述带有属性约束的边序列的边序列潜在相关性信息，具体包括：
15.将所述带有位置约束的节点序列作为输入，同时获取隐空间数量；
16.基于自注意力机制，在每一个所述隐空间中，随机初始化生成三个第一转化矩阵以及三个第一偏置矩阵；
17.根据所述第一转化矩阵以及所述第一偏置矩阵确定每个所述隐空间中经过自注意力机制转化后的节点序列矩阵；
18.将每个所述隐空间得到的所述节点序列矩阵进行组合，确定最终的节点序列矩阵；
19.根据所述最终的节点序列矩阵确定多个节点序列潜在相关性信息。
20.可选的，所述利用自注意力机制来挖掘所述带有位置约束的节点序列的节点序列潜在相关性信息以及所述带有属性约束的边序列的边序列潜在相关性信息，具体包括：
21.将所述带有属性约束的边序列作为输入，同时获取隐空间数量；
22.基于自注意力机制，在每一个所述隐空间中，随机初始化生成三个第二转化矩阵以及三个第二偏置矩阵；
23.根据所述第二转化矩阵以及所述第二偏置矩阵确定每个所述隐空间中经过自注意力机制转化后的边序列矩阵；
24.将每个所述隐空间得到的所述边序列矩阵进行组合，确定最终的边序列矩阵；
25.根据所述最终的边序列矩阵确定多个边序列潜在相关性信息。
26.可选的，所述根据所述节点序列潜在相关性信息以及所述边序列潜在相关性信息生成最优属性网络表示，之前还包括：
27.将交叉熵函数作为损失函数；所述损失函数用于判断所述最优属性网络是否达到最优情况。
28.一种基于边信息增强的属性网络嵌入系统，包括：
29.样本序列确定模块，用于将节点属性相似度添加到随机游动中，生成属性偏向的游动，确定属性网络模型的样本序列；
30.带有位置约束的节点序列生成模块，用于根据所述样本序列生成节点序列，并将位置约束加入到所述节点序列中，生成带有位置约束的节点序列；
31.带有属性约束的边序列生成模块，用于在所述带有位置约束的节点序列的基础上，将节点属性相似度作为约束条件加入到所述属性网络模型的边序列中，生成带有属性约束的边序列；
32.挖掘模块，用于利用自注意力机制来挖掘所述带有位置约束的节点序列的节点序列潜在相关性信息以及所述带有属性约束的边序列的边序列潜在相关性信息；
33.最优属性网络表示生成模块，用于根据所述节点序列潜在相关性信息以及所述边序列潜在相关性信息生成最优属性网络表示。
34.可选的，所述样本序列确定模块内属性偏向的游动过程中的属性偏向概率为：
35.其中，p(v
l
,v
c
,v
n
)为属性偏向概率，v
l
表示当前节点v
c
在游走时的上一个节点，v
n
为游走到的下一个节点，p为游走的第一概率值，q为游走的第二概率值，s
cn
为节点v
c
和节点v
n
之间的相似度，为节点v
l
与节点v
n
之间的关系，当时，表示节点v
l
与节点v
n
相同，当时，表示节点v
l
与节点v
n
相连，当时，表示节点v
l
与节点v
n
不相连。
36.可选的，所述挖掘模块，具体包括：
37.第一输入单元，用于将所述带有位置约束的节点序列作为输入，同时获取隐空间数量；
38.第一初始化单元，用于基于自注意力机制，在每一个所述隐空间中，随机初始化生成三个第一转化矩阵以及三个第一偏置矩阵；
39.节点序列矩阵确定单元，用于根据所述第一转化矩阵以及所述第一偏置矩阵确定每个所述隐空间中经过自注意力机制转化后的节点序列矩阵；
40.最终的节点序列矩阵确定单元，用于将每个所述隐空间得到的所述节点序列矩阵进行组合，确定最终的节点序列矩阵；
41.节点序列潜在相关性信息确定单元，用于根据所述最终的节点序列矩阵确定多个节点序列潜在相关性信息。
42.可选的，所述挖掘模块具体包括：
43.第二输入单元，用于将所述带有属性约束的边序列作为输入，同时获取隐空间数量；
44.第二初始化单元，用于基于自注意力机制，在每一个所述隐空间中，随机初始化生成三个第二转化矩阵以及三个第二偏置矩阵；
45.边序列矩阵确定单元，用于根据所述第二转化矩阵以及所述第二偏置矩阵确定每个所述隐空间中经过自注意力机制转化后的边序列矩阵；
46.最终的边序列矩阵确定单元，用于将每个所述隐空间得到的所述边序列矩阵进行组合，确定最终的边序列矩阵；
47.边序列潜在相关性信息确定单元，用于根据所述最终的边序列矩阵确定多个边序列潜在相关性信息。
48.可选的，还包括：
49.损失函数确定模块，用于将交叉熵函数作为损失函数；所述损失函数用于判断所述最优属性网络是否达到最优情况。
50.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于边信息增强的属性网络嵌入方法及系统，在样本序列生成的随机游走中考虑了节点属性对游走策略的影响，使得到的节点序列更符合属性网络的性质；在节点序列学习的基础上，考虑了网络中的边信息，在属性网络模型中加入了边序列学习，同时在边序列学习中加入节点属性作为约束，起到了信息增强的作用，提高了节点表示的质量，得到的节点表示在网络的链接预测任务中取得了更好的效果；在节点序列学习和边缘序列学习中，利用自注意力self
‑
attention机制来挖掘序列的相关性信息，并利用多个潜在空间中的self
‑
attention机制来学习到了序列中的多个潜在相关信息。
附图说明
51.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明所提供的基于边信息增强的属性网络嵌入方法流程图；
53.图2为本发明所提供的基于边信息增强的属性网络嵌入方法简化流程图；
54.图3为本发明所提供的基于边信息增强的属性网络嵌入系统结构图。
具体实施方式
55.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.本发明的目的是提供一种基于边信息增强的属性网络嵌入方法及系统，能够使得到的节点序列更符合属性网络的性质、提高了节点表示的质量，得到的节点表示在网络的链接预测任务中取得了更好的效果以及利用多个潜在空间中的self
‑
attention机制学习
到节点序列以及边序列中的多个潜在相关信息。
57.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
58.图1为本发明所提供的基于边信息增强的属性网络嵌入方法流程图，如图1所示，一种基于边信息增强的属性网络嵌入方法，包括：
59.步骤101：将节点属性相似度添加到随机游动中，生成属性偏向的游动，确定属性网络模型的样本序列。
60.将网络结构和节点之间的属性相似度相结合来进行属性偏向的随机游走，将随机游走得到的节点序列添加到后续的序列学习模块中，从而得到节点的低维表示。
61.属性相似度通过节点属性度量了节点之间的关系。两个节点具有的相同属性越多，说明两个节点就越相似。因此，将属性相似度添加到随机游动中以生成属性偏向的游动。用余弦相似度来计算节点的属性相似度：
[0062][0063]
其中，s
ij
表示节点v
i
和节点v
j
之间的相似度，a
i
为节点v
i
的属性向量，a
j
为节点v
j
的属性向量。
[0064]
考虑从当前节点v
c
随机游走到下一个邻居节点v
n
的概率，添加了属性相似度以实现属性偏向的游走。属性偏向概率描述为：
[0065][0066]
其中，p(v
l
,v
c
,v
n
)为属性偏向概率，v
l
表示当前节点v
c
在游走时的上一个节点，v
n
为游走到的下一个节点，p为游走的第一概率值，q为游走的第二概率值，p,q均为超参数，人为设定的一个值，s
cn
为节点v
c
和节点v
n
之间的相似度，为节点v
l
与节点v
n
之间的关系，当时，表示节点v
l
与节点v
n
相同，当时，表示节点v
l
与节点v
n
相连，当时，表示节点v
l
与节点v
n
不相连。通过属性偏向随机游走获得的这些序列用作模型学习的正样本序列，正样本序列表示为列用作模型学习的正样本序列，正样本序列表示为表示网络中的节点，ls为正样本序列长度，同时，通过随机替换正样本序列中的最后一个节点构造负序列用以训练模型。
[0067]
步骤102：根据所述样本序列生成节点序列，并将位置约束加入到所述节点序列中，生成带有位置约束的节点序列。
[0068]
节点序列学习根据属性偏向游走获得的样本序列以学习节点之间的相关性；同时在节点序列学习中加入位置约束来保证学习到节点的位置信息，h
v
∈r
|v|
×
k
表示随机初始化的节点表示矩阵，考虑序列长度为l
s
的序列从h
v
找到对应的节点来表示
该序列，表示从h
v
中提取出来的序列矩阵，表示随机初始化的位置约束矩阵；为了将位置约束加入到序列学习中，将h
l
和h
p
进行拼接得到：
[0069][0070]
表示节点序列学习中带有位置约束的输入。
[0071]
步骤103：在所述带有位置约束的节点序列的基础上，将节点属性相似度作为约束条件加入到所述属性网络模型的边序列中，生成带有属性约束的边序列。
[0072]
边序列学习通过边的序列来学习边之间的相关性，并将边序列信息添加到节点表示中；同时将节点属性的相似度作为约束条件加入到边序列学习中，起到信息增强的作用，在边序列中，将相邻节点的表示取均值作为节点之间的边表示，所以节点序列学习中得到的节点序列表示可以转化为相应的边序列表示同时，将节点属性相似度转化为属性约束矩阵
[0073]
h
a
＝s
l
·
w
[0074]
其中，为序列的属性相似度序列向量。w
t
∈r
2k
为随机的0
‑
均值高斯向量。将h
e
和h
a
进行拼接得到带有属性约束的边序列表示：
[0075][0076]
表示边序列学习中带有属性约束的输入。
[0077]
步骤104：利用自注意力机制来挖掘所述带有位置约束的节点序列的节点序列潜在相关性信息以及所述带有属性约束的边序列的边序列潜在相关性信息。
[0078]
为了学习序列中的多个潜在相关信息，使用了多个潜在空间中的self
‑
attention机制，对于序列中的每个节点，self
‑
attention会学习当前节点与其他节点之间的权重。根据对应节点的权重来更新当前节点的表示。在多个潜在空间中，self
‑
attention会为序列中的每个节点学习多个表示。为了融合多个潜在的相关信息，对节点的多个表示进行平均得到最终序列输出算法一中展示了在多个潜在空间中self
‑
attention机制的节点序列学习。
[0079][0080]
将带有位置约束的节点序列矩阵作为输入，同时自己设置隐空间的数量m。在每一个隐空间中，随机初始化生成三个转化矩阵量m。在每一个隐空间中，随机初始化生成三个转化矩阵和三个偏置矩阵置矩阵之后根据公式之后根据公式和得到各个节点之间的权重矩阵w
i
，再利用公式和h
i
＝w
i
·
v
i
得到每个隐空间中经过self
‑
attention转化后的节点序列矩阵h
i
。最后再将每个隐空间得到的节点序列矩阵进行组合输出得到最后的节点序列矩阵
[0081]
与节点序列学习相同，使用多个潜在空间中的self
‑
attention机制来学习序列中的多个潜在相关信息。最后将多个潜在空间的边表示进行平均得到最终边序列输出算法二中展示了多个潜在空间中的self
‑
attention机制的边序列学习。
[0082][0083]
将带有属性约束的边序列矩阵作为输入，同时设置隐空间的数量m。在每一个隐空间中，随机初始化生成三个转化矩阵在每一个隐空间中，随机初始化生成三个转化矩阵和三个偏置矩阵阵之后根据公式之后根据公式和得到各个节点之间的权重矩阵w
i
'，再利用公式和h'
i
＝w
i
'
·
v
i
'得到每个隐空间中经过self
‑
attention转化后的节点序列矩阵h'
i
。最后再将每个隐空间得到的边序列矩阵进行组合输出得到最后的边序列矩阵
[0084]
步骤105：根据所述节点序列潜在相关性信息以及所述边序列潜在相关性信息生成最优属性网络表示。
[0085]
属性网络表示指的是为网络中的节点学习得到一个低维向量，在后续的下游任务中用这个向量来表示该节点。比如在社交网络中，可以为每个用户学习得到一个向量，在之后的用户分类任务中，用该向量来表示任一用户进行分类任务。节点不只是通讯设备，所有可以抽象成网络的都可以做网络嵌入。
[0086]
所述步骤105之前还包括：将交叉熵函数作为损失函数；所述损失函数用于判断所述最优属性网络是否达到最优情况。
[0087]
损失函数的设置用于判断节点序列学习和边缘序列学习后的节点表示质量，并通
过反向传播迭代更新模型中的参数，以学习得到更高质量的节点表示。对于边序列学习得到的边序列表示，通过平均池化层将边序列表示转换为序列表示，之后将序列表示输入到全连接层将序列分为正样本和负样本。最后，使用正负样本的分离程度作为节点表示质量的标准，因此将交叉熵函数用作损失函数：
[0088][0089]
其中，n为序列的总数，y
i
∈{0,1}代表序列类别，其中1代表正序列，0代表负序列。表示全连接层输出的序列分类结果，对于正序列，的值应接近1，否则的值应接近0。
[0090]
根据设置的损失函数，使用adam算法对模型进行后向传播迭代来优化更新模型中的节点表示矩阵h
v
，位置矩阵h
p
，和self
‑
attention中的参数w
*
,b
*
；最后通过模型的迭代更新，根据设置的损失函数判断模型达到最优情况时，将节点表示矩阵h
v
作为输出得到最终的属性网络表示，其中每一行作为网络中每一个节点的低维表示，图2为本发明所提供的基于边信息增强的属性网络嵌入方法简化流程图，如图2所示。
[0091]
图3为本发明所提供的基于边信息增强的属性网络嵌入系统结构图，如图3所示，一种基于边信息增强的属性网络嵌入系统，包括：
[0092]
样本序列确定模块301，用于将节点属性相似度添加到随机游动中，生成属性偏向的游动，确定属性网络模型的样本序列。
[0093]
所述样本序列确定模块301内属性偏向的游动过程中的属性偏向概率为：
[0094]
其中，p(v
l
,v
c
,v
n
)为属性偏向概率，v
l
表示当前节点v
c
在游走时的上一个节点，v
n
为游走到的下一个节点，p为游走的第一概率值，q为游走的第二概率值，s
cn
为节点v
c
和节点v
n
之间的相似度，
[0095]
为节点v
l
与节点v
n
之间的关系，当时，表示节点v
l
与节点v
n
相同，当时，表示节点v
l
与节点v
n
相连，当时，表示节点v
l
与节点v
n
不相连。
[0096]
带有位置约束的节点序列生成模块302，用于根据所述样本序列生成节点序列，并将位置约束加入到所述节点序列中，生成带有位置约束的节点序列。
[0097]
带有属性约束的边序列生成模块303，用于在所述带有位置约束的节点序列的基础上，将节点属性相似度作为约束条件加入到所述属性网络模型的边序列中，生成带有属性约束的边序列。
[0098]
挖掘模块304，用于利用自注意力机制来挖掘所述带有位置约束的节点序列的节点序列潜在相关性信息以及所述带有属性约束的边序列的边序列潜在相关性信息。
[0099]
所述挖掘模块304具体包括：第一输入单元，用于将所述带有位置约束的节点序列作为输入，同时获取隐空间数量；第一初始化单元，用于基于自注意力机制，在每一个所述隐空间中，随机初始化生成三个第一转化矩阵以及三个第一偏置矩阵；节点序列矩阵确定单元，用于根据所述第一转化矩阵以及所述第一偏置矩阵确定每个所述隐空间中经过自注意力机制转化后的节点序列矩阵；最终的节点序列矩阵确定单元，用于将每个所述隐空间得到的所述节点序列矩阵进行组合，确定最终的节点序列矩阵；节点序列潜在相关性信息确定单元，用于根据所述最终的节点序列矩阵确定多个节点序列潜在相关性信息。
[0100]
所述挖掘模块304具体包括：第二输入单元，用于将所述带有属性约束的边序列作为输入，同时获取隐空间数量；第二初始化单元，用于基于自注意力机制，在每一个所述隐空间中，随机初始化生成三个第二转化矩阵以及三个第二偏置矩阵；边序列矩阵确定单元，用于根据所述第二转化矩阵以及所述第二偏置矩阵确定每个所述隐空间中经过自注意力机制转化后的边序列矩阵；最终的边序列矩阵确定单元，用于将每个所述隐空间得到的所述边序列矩阵进行组合，确定最终的边序列矩阵；边序列潜在相关性信息确定单元，用于根据所述最终的边序列矩阵确定多个边序列潜在相关性信息。
[0101]
最优属性网络表示生成模块305，用于根据所述节点序列潜在相关性信息以及所述边序列潜在相关性信息生成最优属性网络表示。
[0102]
本发明还包括：损失函数确定模块，用于将交叉熵函数作为损失函数；所述损失函数用于判断所述最优属性网络是否达到最优情况。
[0103]
本发明所提供的一种基于边信息增强的属性网络嵌入方法及系统，能够使得到的节点序列更符合属性网络的性质、提高了节点表示的质量，得到的节点表示在网络的链接预测任务中取得了更好的效果以及利用多个潜在空间中的self
‑
attention机制学习到节点序列以及边序列中的多个潜在相关信息。
[0104]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0105]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。