一种基于权重不确定的图卷积神经网络的优化方法、装置与流程

1.本发明涉及深度学习技术领域，尤其涉及一种基于权重不确定的图卷积神经网络的优化方法、装置、基于权重不确定的图卷积神经网络的节点分类系统、计算机设备和计算机可读存储介质。


背景技术：

2.在过去的十年中，深度学习在常规的欧式空间的数据上取得了巨大的成功，例如语音，图像和自然语言处理等。然而，非欧式数据结构在现实世界中是无处不在的，它可以代表对象之间的关系，例如社交网络，电子商务网络，生物结构网络和交通网络等。因此，如何利用深度学习方法来处理图结构数据，在过去几年中引起了广泛关注。
3.尽管现有方法成功地将卷积运算的思想应用于处理非欧几里德图数据，并获得了相当不错的性能，但是它们将图视为代表节点之间的真实关系来进行处理。在许多情况下，应用程序中使用的图形本身是从复杂的数据或不正确的建模假设中得出的。在这些复杂的图中，虚假边缘的存在或节点之间没有很强的关系会影响模型的学习。为了解决图结构数据的不确定性，有人提出了一种byesian(贝叶斯)框架，其中观察到的图被视为参数随机图模型描述的集合中的随机样本。然后，受这项工作的启发，pal等人分别提出了基于复制节点的图的非参数生成模型和图的替代生成模型。但是，这些方法侧重于如何有效地生成新图，然后通过采用图卷积神经网络(gcn)模型的方法来实际学习图结构表示。此外，这些方法无法正确评估训练数据中的不确定性，导致模型对正确的节点类别或预测会做出过分自信的决定，从而导致模型节点分类准确率的降低。


技术实现要素：

4.本申请实施例的目的在于提出一种基于权重不确定的图卷积神经网络的优化方法，以使图卷积神经网络在面对图结构数据时能够正确评估数据的不确定性，从而提高模型节点分类的准确率。
5.为了解决上述技术问题，本申请实施例提供一种基于权重不确定的图卷积神经网络的优化方法，采用了如下所述的技术方案：
6.获取图结构数据并进行预处理；
7.构建图卷积神经网络，并基于所述图卷积神经网络的权重参数先验分布，通过kl散度损失获取所述图卷积神经网络的权重参数后验分布；
8.根据所述权重参数后验分布更新所述图卷积神经网络，并使用所述图结构数据训练所述更新后的图卷积神经网络。
9.进一步的，所述基于所述图卷积神经网络的权重参数先验分布，通过kl散度损失获取所述图卷积神经网络的权重参数后验分布的步骤包括：
10.获取所述图卷积神经网络的权重参数先验分布，所述权重参数包括权重的期望和权重的方差；
11.初始化所述图卷积神经网络的权重参数后验分布并对进行重采样，得到所述权重参数后验分布重采样后的初始值；
12.根据所述权重参数先验分布和所述权重参数后验分布重采样后的初始值使用kl散度损失更新所述图卷积神经网络的权重参数后验分布。
13.进一步的，所述根据所述权重参数后验分布更新所述图卷积神经网络的步骤包括：
14.基于所述重采样权重参数后验分布进行所述图卷积神经网络的前向传播并计算交叉熵损失；
15.基于所述交叉熵损失和所述kl散度损失计算总损失；
16.根据所述总损失使用变分贝叶斯推理进行反向传播，计算出所述权重参数后验分布的梯度；
17.使用所述梯度对所述权重参数后验分布进行优化，并将优化后的权重参数后验分布更新所述图卷积神经网络的权重参数。
18.进一步的，所述使用所述梯度对所述权重参数后验分布进行优化包括：
19.根据所述梯度对所述权重参数后验分布进行随机梯度下降优化。
20.进一步的，所述kl散度损失使所述权重参数先验分布与所述权重参数后验分布之间的距离变小来更新所述权重参数后验分布。
21.进一步的，所述图结构数据的预处理包括归一化处理。
22.进一步的，为了解决上述技术问题，本申请实施例还提供了一种基于权重不确定的图卷积神经网络的优化装置，包括：
23.获取模块，用于获取图结构数据并进行预处理；
24.构建模块，用于构建图卷积神经网络，并基于所述图卷积神经网络的权重参数先验分布，通过kl散度损失获取所述图卷积神经网络的权重参数后验分布；
25.更新模块，用于根据所述权重参数后验分布更新所述图卷积神经网络，并使用所述图结构数据训练所述更新后的图卷积神经网络，得到优化后的图卷积神经网络。
26.进一步的，为了解决上述技术问题，本申请实施例还提供了一种基于权重不确定的图卷积神经网络的节点分类系统，包括用于获取并预处理图结构数据的获取单元、用于从所述图结构数据中提取节点特征并进行节点分类的基于权重不确定的图卷积神经网络模型，其中，所述图卷积神经网络模型根据所述的基于权重不确定的图卷积神经网络的优化方法进行优化训练而具有权重不确定的特性。
27.进一步的，为了解决上述技术问题，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现所述的基于权重不确定的图卷积神经网络的优化方法的步骤。
28.进一步的，为了解决上述技术问题，本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于权重不确定的图卷积神经网络的优化方法的步骤。
29.与现有技术相比，本申请实施例主要有以下有益效果：提供一种基于权重不确定的图卷积神经网络的优化方法，所述方法包括：获取图结构数据并进行预处理；用于构建图卷积神经网络，并基于所述图卷积神经网络的权重参数先验分布，通过kl散度损失获取所
述图卷积神经网络的权重参数后验分布；根据所述权重参数后验分布更新所述图卷积神经网络，并使用所述图结构数据训练所述更新后的图卷积神经网络。通过对构建的图卷积神经网络的权重参数先验分布进行kl散度计算图卷积神经网络的权重参数后验分布，并基于贝叶斯推理使用权重参数后验分布来更新和训练图卷积神经网络，从而在图卷积神经网络权重中引入不确定性，进而可以正确评估训练数据中的不确定性，降低了图卷积神经网络模型对正确的节点类别的预测的自信度，从而提高了图卷积神经网络模型进行图结构数据节点分类的准确率。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1示出了根据本申请的实施例提供的一种基于权重不确定的图卷积神经网络的优化方法的流程图；
32.图2示出了根据本申请的实施例提供的基于权重不确定的图卷积神经网络的优化装置的结构示意图；
33.图3示出了根据本申请的实施例提供的一种基于权重不确定的图卷积神经网络的节点分类系统的结构示意图；
34.图4是根据本申请的实施例提供的计算机设备基本结构框图。
具体实施方式
35.除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
36.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
37.为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
38.如图1所示，图1示出了根据本申请的基于权重不确定的图卷积神经网络的优化方法的流程图，该基于权重不确定的图卷积神经网络的优化方法包括步骤：
39.101、获取图结构数据并进行预处理；
40.102、用于构建图卷积神经网络，并基于所述图卷积神经网络的权重参数先验分
布，通过kl散度损失获取所述图卷积神经网络的权重参数后验分布；
41.103、根据所述权重参数后验分布更新所述图卷积神经网络，并使用所述图结构数据训练所述更新后的图卷积神经网络，得到优化后的图卷积神经网络。
42.首先阐述下本申请所述的图卷积神经网络。现实生活中有很多很多不规则的数据结构，典型的就是图结构，或称拓扑结构，如社交网络、化学分子结构、知识图谱等等；即使是语言，实际上其内部也是复杂的树形结构，也是一种图结构；而像图片，在做目标识别的时候，关注的实际上只是二维图片上的部分关键点，这些点组成的其实也是一个图的结构。图的结构一般来说是十分不规则的，可以认为是无限维的一种数据，所以它没有平移不变性。每一个节点的周围结构可能都是独一无二的，这种结构的数据，让传统的卷积神经网络(cnn)、循环神经网络(rnn)失效。图卷积神经网络(gcn)，跟cnn的作用一样，是一个特征提取器，只不过它的处理的对象是图数据。图卷积神经网络(gcn)精妙地设计了一种从图数据中提取特征的方法，从而让我们可以使用这些特征去对图数据进行节点分类(node classification)、图分类(graph classification)、链路预测(link prediction)，还可以顺便得到图的嵌入表示等。
43.具体的，假设有一批图数据，其中有n个节点(node)，每个节点都有自己的特征，我们设这些节点的特征组成一个n
×
d维的矩阵x，然后各个节点之间的关系也会形成一个n
×
n维的矩阵a，也称为邻接矩阵(adjacency matrix)，x和a便是图卷积神经网络模型的输入。图卷积神经网络gcn也是一个神经网络层，它的层与层之间的传播方式是：
44.z＝f(x，a)＝softmax(a relu(axw
(0)
)w
(1)
).
45.其中，代表具有增加的自连接的无向图的邻接矩阵，i
n
是单位矩阵。
46.为上述获取的图结构数据的预处理计算方式，即归一化预处理，因为a是没有经过归一化的矩阵，这样与特征矩阵相乘会改变特征原本的分布，产生一些不可预测的问题；所以需要对a做一个标准化预处理。代表节点的度矩阵，可以进一步把拆开与a相乘，得到一个对称且归一化的矩阵,即
47.是具有h个特征图的隐藏层的输入权重参数矩阵，是一个隐藏层的输出权重参数矩阵。softmax激活函数被定义为
48.在传统的神经网络中，上述输入权重参数和输出权重参数均为固定的值，而在本发明实施例中，提出一种基于kl散度损失计算和变分贝叶斯推理的反向传播算法，可以使得神经网络中的所有权重均由可传递值上的概率分布表示，而不再是单个固定值。该算法旨在利用变分贝叶斯学习在网络权重中引入不确定性，具体来说，对于给定的训练数据，神经网络的变分贝叶斯推理计算权重的后验分布p(w|d)。但是，此分布通过取得期望值来回馈有关隐藏数据的预测值：
[0049][0050]
也就是说，在权重的后验分布下取得期望等同于使用了由无数个神经网络组成的分布。但是，这对于任何实际规模的神经网络都是棘手的。因此，找到权重q(w|θ)上的先验
分布参数θ，通过使用kullback
‑
leibel(kl)散度，使权重参数后验分布与先验分布参数之间距离变小。
[0051]
首先根据上述图卷积神经网络的层与层之间的传播方式构建图卷积神经网络，并基于所述图卷积神经网络的权重参数的先验分布获取所述图卷积神经网络的权重参数后验分布。具体地如下：
[0052]
获取所述图卷积神经网络的权重参数q(w|θ)的先验分布，所述权重参数包括权重的期望μ和权重的方差s，上述权重参数先验分布可以是预先人工设置的先验值，如可以是μ＝0.5，s＝0.5。
[0053]
初始化所述图卷积神经网络的权重参数后验分布并对进行重采样，得到所述权重参数后验分布重采样后的初始值；具体可以以高斯分布来初始化上述权重参数的后验分布，用随机初始化高斯分布来模拟真实的权重参数的后验分布的初始值，并对所述权重参数的后验分布的初始值进行重采样，得到重采样权重参数后验分布，即：
[0054]
w
←
μ+exp(s)
·
∈
[0055]
然后基于所述重采样权重参数后验分布初始值和上述预先设置的权重参数先验分布使用上述kl散度损失计算并更新所述图卷积神经网络的权重参数后验分布，即所述kl散度损失使所述权重参数后验分布与所述权重参数先验分布之间的距离变小来计算所述权重参数的后验分布，让权重参数后验分布更逼近所给定的权重参数先验分布，以此来对权重参数的后验分布进行一个正则化操作。
[0056]
接着基于所述重采样权重参数后验分布进行所述图卷积神经网络的前向
[0057]
传播并计算交叉熵损失即使用交叉熵损失计算真值和预测值之间的损失；
[0058]
进一步的，基于所述交叉损失和所述kl散度损失计算总损失，根据所述
[0059]
总损失使用变分贝叶斯推理进行反向传播，计算出所述权重参数后验分布的梯度，即：
[0060]
l(μ,s)
←
loss
ce
+loss_kl
[0061][0062]
然后使用所述梯度对所述权重参数后验分布进行优化，并将优化后的权重参数更新所述图卷积神经网络的权重参数，接着使用上述预处理后的图结构数据来训练上述权重参数更新的图卷积神经网络，从而得到优化后的图卷积神经网络；具体使用随机梯度下降(sgd)算法进行优化：
[0063][0064]
由上述可知，本发明实施例根据构建的图卷积神经网络的权重参数先验分布进行kl散度损失计算来学习图卷积神经网络的权重参数后验分布，并基于变分贝叶斯推理使用权重参数后验分布来更新和训练图卷积神经网络，从而在图卷积神经网络权重中引入不确定性，进而可以正确评估训练数据中的不确定性，降低了图卷积神经网络模型对正确的节点类别的预测的自信度，从而提高了图卷积神经网络模型进行图结构数据节点分类的准确率。
[0065]
进一步的，为了解决上述技术问题，本申请实施例还提供了一种基于权
[0066]
重不确定的图卷积神经网络的优化装置200，如图2所示，该装置200包括：
[0067]
获取模块201，用于获取图结构数据并进行预处理；
[0068]
构建模块202，用于构建图卷积神经网络，并基于所述图卷积神经网络的权重参数先验分布，通过kl散度损失获取所述图卷积神经网络的权重参数后验分布；
[0069]
更新模块203，根据所述权重参数后验分布更新所述图卷积神经网络，并使用所述图结构数据训练所述更新后的图卷积神经网络，得到优化后的图卷积神经网络。
[0070]
进一步的，为了解决上述技术问题，本申请实施例还提供了一种基于权重不确定的图卷积神经网络的节点分类系统，如图3所示，该系统300包括用于获取并预处理图结构数据的获取单元301、用于从所述图结构数据中提取节点特征并进行节点分类的基于权重不确定的图卷积神经网络模型302，其中，所述图卷积神经网络模型302根据上述的基于权重不确定的图卷积神经网络的优化方法进行优化训练而具有权重不确定的特性，进而可以正确评估训练数据中的不确定性，降低图卷积神经网络模型对正确的节点类别的预测的自信度，从而可以提高图卷积神经网络模型进行图结构数据节点分类的准确率。
[0071]
为解决上述技术问题，本申请实施例还提供一种计算机设备，具体请参阅图4，图4为本实施例计算机设备基本结构框图。
[0072]
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41
‑
43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0073]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0074]
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备16上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于权重不确定的图卷积神经网络的优化方法的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0075]
所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计
算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行所述基于权重不确定的图卷积神经网络的优化方法的程序代码。
[0076]
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
[0077]
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于权重不确定的图卷积神经网络的优化程序，所述基于权重不确定的图卷积神经网络的优化方法程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于权重不确定的图卷积神经网络的优化方法的步骤。
[0078]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的基于权重不确定的图卷积神经网络的优化方法。
[0079]
应该理解的是，虽然附图的结构示意图中的各个子系统按照箭头的指示依次显示，但是这些子系统并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些子系统的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的结构示意图中的至少一部分子系统在执行时可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0080]
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。