基于图卷积神经网络的数据处理方法、装置、设备及介质与流程

文档序号:21651311发布日期:2020-07-29 03:04阅读:234来源:国知局
基于图卷积神经网络的数据处理方法、装置、设备及介质与流程

本发明涉及人工智能领域,尤其涉及一种基于图卷积神经网络的数据处理方法、装置、设备及介质。



背景技术:

随着计算机技术的发展,越来越多的技术(大数据、分布式、区块链blockchain、人工智能等)应用在金融领域,传统金融业正在逐步向金融科技(fintech)转变,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。

近年来,深度学习掀起了工业界、学术界的技术革命,促进了图像检测识别、自然语言处理、语音识别等各个方向的发展。目前,如何将深度学习技术,尤其是广泛应用的卷积神经网络,应用于复杂、高维的图结构数据(例如社交网络和蛋白质结构数据等)处理,是当前学术研究的热点,也是工业界的兴趣点。

图卷积神经网络(graphconvolutionalnetworks,gcn)为代表的神经消息传播机制(neuralmessagepassing)是将卷积操作拓展到图结构数据上的一个有前景的突破。但是gcn在进行邻域信息聚合时,对图结构数据中节点的所有邻居节点的信息进行聚合,而当邻居节点的重要程度不同时,不能够准确地挖掘出图结构数据中的信息,导致对图结构数据的处理结果不准确。



技术实现要素:

本发明的主要目的在于提供一种基于图卷积神经网络的数据处理方法、装置、设备及介质,旨在解决目前的图卷积神经网络gcn不能够准确地挖掘出图结构数据中的信息,导致对图结构数据的处理结果不准确的问题。

为实现上述目的,本发明提供一种基于图卷积神经网络的数据处理方法,所述基于图卷积神经网络的数据处理方法包括以下步骤:

获取待处理的第一图结构数据输入预先训练好的图卷积神经网络;

调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点;

调用所述图卷积神经网络基于更新后的各个第一节点得到所述第一图结构数据的处理结果。

可选地,所述调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点的步骤包括:

调用所述图卷积神经网络按照排列组合模式对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点,其中,所述排列组合模式为邻居节点采样操作和邻域信息聚合操作的排列组合模式。

可选地,当所述排列组合模式是一次邻居节点采样操作和一次邻域信息聚合的组合模式时,所述调用所述图卷积神经网络按照排列组合模式对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点的步骤包括:

调用所述图卷积神经网络基于所述图卷积神经网络中的采样参数,生成与所述第一图结构数据中各个第一节点分别对应的采样概率;

将所述各个第一节点对应的采样概率分别作为第一对角矩阵中与所述各个第一节点对应的第一对角元;

将所述第一图结构数据中的节点特征矩阵左乘所述第一对角矩阵,以对所述各个第一节点进行邻居节点采样得到第一采样结果;

调用所述图卷积神经网络基于所述第一采样结果对所述各个第一节点进行邻域信息聚合操作,以更新所述各个第一节点。

可选地,所述调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点的步骤包括:

调用所述图卷积神经网络分别基于所述图卷积神经网络中的各套采样参数,对所述第一图结构数据中各个第一节点进行多套邻居节点采样操作和邻域信息聚合操作,对应得到各套初更新节点;

对各套初更新节点中对应相同的节点进行信息合并,得到更新后的各个第一节点。

可选地,所述获取待处理的图结构数据输入预先训练好的图卷积神经网络的步骤之前,还包括:

获取第二图结构数据,并将所述第二图结构数据输入待训练图卷积网络;

调用所述待训练图卷积网络对所述第二图结果数据中各个第二节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第二节点;

调用所述待训练图卷积网络基于更新后的各个第二节点得到输出结果;

基于所述输出结果和所述第二图结构数据对应的标签数据对所述待训练图卷积网络进行更新,以对所述待训练图卷积网络进行训练得到训练完成的所述图卷积神经网络。

可选地,所述调用所述待训练图卷积网络对所述第二图结果数据中各个第二节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第二节点的步骤包括:

调用所述待训练图卷积网络基于所述待训练图卷积网络中的采样参数,并基于可导处理操作生成与所述第二图结构数据中各个第二节点分别对应的采样值;

将所述各个第二节点对应的采样值分别作为第二对角矩阵中与所述各个第二节点对应的第二对角元;

将所述第二图结构数据中的节点特征矩阵左乘所述第二对角矩阵,以对所述各个第二节点进行邻居节点采样得到第二采样结果;

调用所述待训练图卷积网络基于所述第二采样结果对所述各个第二节点进行邻域信息聚合操作,以更新所述各个第二节点。

可选地,所述第一图结构数据是待预测用户的社交网络数据,所述调用所述图卷积神经网络基于更新后的各个第一节点得到所述第一图结构数据的处理结果的步骤之后,还包括:

从所述处理结果中获取所述待预测用户的处理结果作为所述待预测用户的欺诈可能性预测结果。

为实现上述目的,本发明还提供一种基于图卷积神经网络的数据处理装置,所述基于图卷积神经网络的数据处理装置包括:

获取模块,用于获取待处理的第一图结构数据输入预先训练好的图卷积神经网络;

操作模块,用于调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点;

处理模块,用于调用所述图卷积神经网络基于更新后的各个第一节点得到所述第一图结构数据的处理结果。

为实现上述目的,本发明还提供一种基于图卷积神经网络的数据处理设备,所述基于图卷积神经网络的数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图卷积神经网络的数据处理程序,所述基于图卷积神经网络的数据处理程序被所述处理器执行时实现如上所述的基于图卷积神经网络的数据处理方法的步骤。

此外,为实现上述目的,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有基于图卷积神经网络的数据处理程序,所述基于图卷积神经网络的数据处理程序被处理器执行时实现如上所述的基于图卷积神经网络的数据处理方法的步骤。

本发明中,通过在对待处理的图结构数据进行处理时,调用图卷积神经网络对图结构数据进行邻居节点采样操作和邻域信息聚合操作,以更新各个节点,并调用图卷积神经网络基于更新后的第一节点得到图结构数据的处理结果。通过在图卷积神经网络中加入采样机制,对节点的邻居节点进行采样操作,使得在邻域信息聚合操作时,有被采样的邻居节点和不被采样的邻居节点的差别,从而实现对邻居节点的差别处理,挖掘出节点之间关系的差别性,并基于差别处理所更新的节点得到最终的处理结果,实现将差别性体现在处理结果中,从而使得本实施例中的图卷积神经网络相比于现有的图卷积神经网络,能够挖掘出图结构数据中更多的信息,依据挖掘出的更加充分的信息能够做出更加准确的处理结果。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的结构示意图;

图2为本发明基于图卷积神经网络的数据处理方法第一实施例的流程示意图;

图3为本发明基于图卷积神经网络的数据处理装置较佳实施例的功能示意图模块图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是,本发明实施例基于图卷积神经网络的数据处理设备可以是智能手机、个人计算机和服务器等设备,在此不做具体限制。

如图1所示,该基于图卷积神经网络的数据处理设备可以包括:处理器1001,例如cpu,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解,图1中示出的设备结构并不构成对基于图卷积神经网络的数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于图卷积神经网络的数据处理程序。其中,操作系统是管理和控制设备硬件和软件资源的程序,支持基于图卷积神经网络的数据处理程序以及其它软件或程序的运行。

在图1所示的设备中,用户接口1003主要用于与客户端进行数据通信;网络接口1004主要用于与服务器建立通信连接;而处理器1001可以用于调用存储器1005中存储的基于图卷积神经网络的数据处理程序,并执行以下操作:

获取待处理的第一图结构数据输入预先训练好的图卷积神经网络;

调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点;

调用所述图卷积神经网络基于更新后的各个第一节点得到所述第一图结构数据的处理结果。

进一步地,所述调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点的步骤包括:

调用所述图卷积神经网络按照排列组合模式对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点,其中,所述排列组合模式为邻居节点采样操作和邻域信息聚合操作的排列组合模式。

进一步地,当所述排列组合模式是一次邻居节点采样操作和一次邻域信息聚合的组合模式时,所述调用所述图卷积神经网络按照排列组合模式对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点的步骤包括:

调用所述图卷积神经网络基于所述图卷积神经网络中的采样参数,生成与所述第一图结构数据中各个第一节点分别对应的采样概率;

将所述各个第一节点对应的采样概率分别作为第一对角矩阵中与所述各个第一节点对应的第一对角元;

将所述第一图结构数据中的节点特征矩阵左乘所述第一对角矩阵,以对所述各个第一节点进行邻居节点采样得到第一采样结果;

调用所述图卷积神经网络基于所述第一采样结果对所述各个第一节点进行邻域信息聚合操作,以更新所述各个第一节点。

进一步地,所述调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点的步骤包括:

调用所述图卷积神经网络分别基于所述图卷积神经网络中的各套采样参数,对所述第一图结构数据中各个第一节点进行多套邻居节点采样操作和邻域信息聚合操作,对应得到各套初更新节点;

对各套初更新节点中对应相同的节点进行信息合并,得到更新后的各个第一节点。

进一步地,所述获取待处理的图结构数据输入预先训练好的图卷积神经网络的步骤之前,处理器1001还可以用于调用存储器1005中存储的基于图卷积神经网络的数据处理程序,执行以下操作:

获取第二图结构数据,并将所述第二图结构数据输入待训练图卷积网络;

调用所述待训练图卷积网络对所述第二图结果数据中各个第二节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第二节点;

调用所述待训练图卷积网络基于更新后的各个第二节点得到输出结果;

基于所述输出结果和所述第二图结构数据对应的标签数据对所述待训练图卷积网络进行更新,以对所述待训练图卷积网络进行训练得到训练完成的所述图卷积神经网络。

进一步地,所述调用所述待训练图卷积网络对所述第二图结果数据中各个第二节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第二节点的步骤包括:

调用所述待训练图卷积网络基于所述待训练图卷积网络中的采样参数,并基于可导处理操作生成与所述第二图结构数据中各个第二节点分别对应的采样值;

将所述各个第二节点对应的采样值分别作为第二对角矩阵中与所述各个第二节点对应的第二对角元;

将所述第二图结构数据中的节点特征矩阵左乘所述第二对角矩阵,以对所述各个第二节点进行邻居节点采样得到第二采样结果;

调用所述待训练图卷积网络基于所述第二采样结果对所述各个第二节点进行邻域信息聚合操作,以更新所述各个第二节点。

进一步地,所述第一图结构数据是待预测用户的社交网络数据,所述调用所述图卷积神经网络基于更新后的各个第一节点得到所述第一图结构数据的处理结果的步骤之后,处理器1001还可以用于调用存储器1005中存储的基于图卷积神经网络的数据处理程序,执行以下操作:

从所述处理结果中获取所述待预测用户的处理结果作为所述待预测用户的欺诈可能性预测结果。

基于上述的结构,提出基于图卷积神经网络的数据处理方法的各个实施例。

参照图2,图2为本发明基于图卷积神经网络的数据处理方法第一实施例的流程示意图。

本发明实施例提供了基于图卷积神经网络的数据处理方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。本发明基于图卷积神经网络的数据处理方法各个实施例的执行主体可以是智能手机、个人计算机和服务器等设备,为便于描述,以下各实施例中省略执行主体进行阐述。在本实施例中,基于图卷积神经网络的数据处理方法包括:

步骤s10,获取待处理的第一图结构数据输入预先训练好的图卷积神经网络;

图卷积神经网络用于对图结构数据进行处理。其中,图(graph)是一种比树型结构更复杂的非线性结构,是由非空的节点集合和一个描述节点之间关系的边的有限集合组成的一种数据结构;图结构数据包括了图中节点的信息以及边的信息,节点的信息可以包括节点的特征信息,边的信息可以包括边所连接的节点。

在本实施例中,预先可以训练一个图卷积神经网络,这个图卷积神经网络的结构可以是在现有的图卷积神经网络的基础上,增加一个采样机制。通过采样机制,对节点的邻居节点进行采样操作,在聚合邻域信息时,聚合操作对于被采样到的邻居节点和未被采样到的邻居节点有不同处理,从而实现对邻居节点进行差别对待。具体地,现有的图卷神经网络是在对节点进行邻域信息聚合时,无差别地聚合该节点的所有邻居节点的信息,而在本实施例中,基于该采样机制可以对各个节点进行邻居节点采样,也即,可以对节点的各个邻居节点进行采样,在对该节点进行邻域信息聚合时,聚合该节点的邻居节点中被采样到的邻居节点的信息,而不聚合没被采样到的邻居节点的信息。此外,采样机制中,对节点的各个邻居节点的采样是独立的,也即对各个邻居节点的采样概率是不同,从而实现一个有偏的采样,达到对各个邻居节点的区别对待。对图卷积神经网络进行训练,可以使得采样机制学习到如何区分邻居节点,使得重要的、关联性大的邻居节点被采样到的概率大,而不重要的、关联性小邻居节点被采样到的概率小,从而对应实现放大或抑制节点--邻居关系的消息流通。

需要说明的是,可以基于训练任务选择训练样本数据,采用训练样本数据进行训练获得用于实现某种特定预测或分类任务的图卷积神经网络,例如,训练样本数据可以采用各个用户的社交网络数据,社交网络数据可以来自于银行、电商、社交网络平台等等,采用这些社交网络数据,可以训练出一个用于预测用户是否为欺诈用户的图卷积神经网络。训练图卷积神经网络的方法可以采用常用的神经网络模型的训练方法,在此不进行详细赘述。

在训练得到图卷积神经网络后,可以使用该图卷积神经网络对图结构数据进行处理。具体地,可以获取待处理的第一图结构数据,例如,当图卷积神经网络是用于预测用户是否为欺诈用户时,获取的第一图结构数据可以是某个待预测用户的社交网络数据。第一图结构数据可以包括一个表示各个节点(以下称为第一节点)信息的节点特征矩阵,该节点特征矩阵的行是代表各个节点,列是代表各个特征,一行就表示某个节点的各个特征信息,用n*d的x来表示节点特征矩阵,其中,n表示节点数,d表示特征维度。第一图结构数据还可以包括表示各个节点之间关系的矩阵,该矩阵可以是邻接矩阵,也可以是邻接矩阵变换得到的矩阵,如拉普拉斯矩阵。

步骤s20,调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点;

调用图卷积神经网络对第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,通过两种操作后,可以更新各个第一节点的信息。其中,进行邻居节点采样操作可以是对某个节点,根据图卷积神经网络中训练好的采样参数,分别生成该节点的每个邻居节点的采样概率,若邻居节点的采样概率大于一个随机数,则表示该邻居节点被采样到,若不大于,则表示该邻居节点未被采样到。邻域信息聚合操作可以采用现有图卷积神经网络中的邻域信息聚合操作,例如,在节点特征矩阵上左乘邻接矩阵。

需要说明的是,邻居节点采样操作和邻域信息聚合操作的顺序,以及两种操作的次数可以是不限制的,例如,可以先进行一次邻居节点采样操作,再进行一次邻域信息聚合操作,也可以先进行一次邻域信息聚合操作,再进行一次邻居节点采样操作,或者还可以是多次邻居节点采样操作和多次邻域信息聚合操作的交替进行。

此外,图卷积神经网络的聚合层可以有多个,例如,有两个,两个聚合层的采样机制可以不一样,那么可以先调用第一个聚合层进行上述的邻居节点采样操作和邻域信息聚合操作后,再调用第二个聚合层对更新后的第一节点进行邻居节点采样操作和邻域信息聚合操作,将最终更新得到的第一节点信息输入到第二聚合层的下一层。也即,当图卷积神经网络有多个聚合层时,输入第一个聚合层的节点信息是初始节点信息,第一个聚合层输出的是聚合了邻居节点信息(邻域信息)的节点信息;第二聚合层以第一聚合层输出的节点信息为基础,再聚合邻居节点的信息,那么可以理解的是,经过两次聚合后,初始节点聚合了邻居的信息以及邻居的邻居的信息;后面聚合层所处理的节点信息是该聚合层的前一层聚合层输出的节点信息,也即,是一个递归的聚合模式。

通过采用训练得到的图卷积神经网络对各个第一节点进行邻居节点采样操作和邻域信息聚合操作,使得对第一节点进行邻域信息聚合时,考虑到了该第一节点的邻居节点的差别性,从而能够对邻居节点的信息进行有差别的聚合,更能够贴合实际应用场景中邻居节点重要程度不同的现实,从而使得基于差别性的聚合结果能够得到更准确的处理结果。具体地,对于比较重要的或与该邻居节点之间关系比较紧密的邻居节点被采样的概率比较大,从而达到放大该第一节点与该重要邻居节点之间消息通路的作用,使得该重要邻居节点的信息更多地被用于丰富该第一节点的信息,从而更能够发挥图卷积神经网络利用网络信息来优化处理结果的作用;相反地,对于不重要的或与该邻居节点之间关系不那么紧密的邻居节点被采样的概率比较小,从而达到抑制该第一节点与该不重要邻居节点之间消息通路的作用,使得该不重要邻居节点的信息不会干扰该第一节点的信息,从而实现在发挥图卷积神经网络利用网络信息来优化处理结果作用的同时,不会受到网络的干扰信息影响,从而进一步提高处理结果的准确性。

步骤s30,调用所述图卷积神经网络基于更新后的各个第一节点得到所述第一图结构数据的处理结果。

在更新各个第一节点的信息后,可调用图卷积神经网络基于更新后的各个第一节点得到第一图结构数据的处理结果。具体地,图卷积神经网络的聚合层后面可以是接上输出层,或者是根据具体的训练任务不同,接上其他网络层后再接输出层,也即,本实施例中图卷积神经网络在聚合层中采用了采样机制,而其他结构可以采用现有的图卷积神经网络的结构。那么,在聚合层更新各个节点的信息后,可以将更新后的节点信息输入到图卷积网络聚合层之后的网络层,调用后面网络层对信息进行处理得到输出结果,输出结果即作为对第一图结构数据的处理结果。

在本实施例中,通过在对待处理的图结构数据进行处理时,调用图卷积神经网络对图结构数据进行邻居节点采样操作和邻域信息聚合操作,以更新各个节点的信息,并调用图卷积神经网络基于更新后的第一节点得到图结构数据的处理结果。通过在图卷积神经网络中加入采样机制,对节点的邻居节点进行采样操作,使得在邻域信息聚合操作时,有被采样的邻居节点和不被采样的邻居节点的差别,从而实现对邻居节点的差别处理,挖掘出节点之间关系的差别性,并基于差别处理所更新的节点得到最终的处理结果,实现将差别性体现在处理结果中,从而使得本实施例中的图卷积神经网络相比于现有的图卷积神经网络,能够挖掘出图结构数据中更多的信息,依据挖掘出的更加充分的信息能够做出更加准确的处理结果。

进一步地,所述第一图结构数据是待预测用户的社交网络数据,所述步骤s30之后,还包括:

步骤s40,从所述处理结果中获取所述待预测用户的处理结果作为所述待预测用户的欺诈可能性预测结果。

进一步地,在本实施例中,训练任务可以是训练得到一个预测用户的欺诈可能性的图卷积神经网络。那么可以采用训练得到的图卷积神经网络预测某个用户是否是欺诈用户。那么待处理的第一图结构数据可以是待预测用户的社交网络数据,社交网络数据可以是以待预测用户为中心的一个网络结构数据,其中包括该待预测用户以及与该预测用户有关联的其他用户,这些用户作为图结构数据中的节点,节点的信息即各个用户的特征信息,特征信息可以包括用户基本的画像特征信息,还可以包括一些与欺诈可能性的判断有关的信息,例如交易特征信息,图结构数据中的边即连接有社交交集的用户。将待预测用户的社交网络数据作为图结构数据输入图卷积神经网络,按照上述步骤的处理之后得到处理结果,该处理结果可以是包括图结构数据中各个节点,也就是各个用户的欺诈可能性预测结果,也即,图卷积神经网络处理得到了每个用户节点的欺诈可能性预测结果,那么,可以从中选出待预测用户的欺诈可能性预测结果。欺诈可能性预测结果可以是0或1,0表示待预测用户不是欺诈用户,1表示待预测用户是欺诈用户。

在本实施例中,通过图卷积神经网络来对待预测用户的社交网络数据进行处理,得到待预测用户的欺诈可能性预测结果,相比于仅采用待预测用户个人的信息来进行预测,能够从更丰富的社交网络数据中挖掘出更多的信息,从而使得得到的欺诈可能性预测结果更加准确;在此基础上,相比于现有的图卷积神经网络,由于本实施例中的图卷积神经网络中引入了采样机制,对各个节点进行邻居节点采样操作,使得图卷积神经网络能够挖掘出待预测用户与不同用户之间不同的关系,从而基于挖掘出的差别性来区别利用邻居用户的信息,从而使得得到的欺诈可能性预测结果更加的准确。

进一步地,基于上述第一实施例,提成本发明基于图卷积神经网络的数据处理方法第二实施例,在本实施例中,所述步骤s20包括:

步骤s201,调用所述图卷积神经网络按照排列组合模式对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点,其中,所述排列组合模式为邻居节点采样操作和邻域信息聚合操作的排列组合模式。

在本实施例中,图卷积神经网络中可以有一个排列组合模式,该排列组合模式是邻居节点采样操作和邻域信息聚合操作的排列组合模型,排列组合模式中,两种操作的次数可以是各一次,也可以是多次,两种操作的先后顺序也可以是根据具体需要而设置的。例如,以a代表邻居节点采样操作,以b代表邻域信息聚合操作,则排列组合模式可以是ab、ba、aba、bab、aab、…等。可以调用图卷积神经网络按照该排列组合模式来对第一图结构数据中的各个第一节点进行操作,即按照排列组合模型中的顺序执行两种操作,例如,排列组合模式是ab时,可以对各个第一节点先进行邻居节点采样操作,再进行邻域信息聚合操作。需要说明的是,按照不同的排列组合模式实现的效果会有所差异,所以根据实际的应用场景不同,可以选择不同的排列组合模式以实现不同的效果。

进一步地,当所述排列组合模式是一次邻居节点采样操作和一次邻域信息聚合的组合模式时,所述步骤s201包括:

步骤s202,调用所述图卷积神经网络基于所述图卷积神经网络中的采样参数,生成与所述第一图结构数据中各个第一节点分别对应的采样概率;

在本实施例中,要对图卷积神经网络中的各个节点进行伯努利采样,每个节点是否被采样是相互独立的,每个节点各自对应一个采样概率,而采样概率的大小反应了节点的重要性,越有概率被采样从而参与聚合过程的节点,它在图中的重要性就越大。图卷积神经网络中可以包括采样参数,可以是每个节点对应一个或一套采样参数,可以采用该节点对应的采样参数和该节点的信息,生成该节点的采样概率,例如,可以采用如下公式来生成节点i的采样概率pi。

其中,pi的取值范围是0~1,s是可学习的参数向量,即采样参数,w可以是图卷积神经网络的聚合层中的线性变换参数,即可以采用参数共享,h是节点特征矩阵。公式中,(hw)i与s做点积。

由于图卷积神经网络在训练过程中,通过训练使得采样参数学习到了基于节点的信息获得不同的采样概率,从而能够挖掘出节点之间关系的差别性。

步骤s203,将所述各个第一节点对应的采样概率分别作为第一对角矩阵中与所述各个第一节点对应的第一对角元;

将各个第一节点对应的采样概率分别作为第一对角矩阵中与各个第一节点对应的第一对角元。其中,第一对角矩阵是一个除了对角元其余的元素都是0对角矩阵,第一对角矩阵每一行的对角元分别对应一个节点,那么将该节点的采样概率作为该节点所对应的对角元的值,就可以得到第一对角矩阵的各个对角元的值。

步骤s204,将所述第一图结构数据中的节点特征矩阵左乘所述第一对角矩阵,以对所述各个第一节点进行邻居节点采样得到第一采样结果;

在得到第一对角矩阵后,要对各个第一节点进行邻居节点采样操作,可以在第一图结构数据的节点特征矩阵的基础上,左乘该第一对角矩阵,得到一个矩阵,将该矩阵作为第一采样结果。而根据矩阵乘法的原理,两个矩阵相乘后得到的矩阵中,采样概率大的节点所对应的信息被大部分保留,采样概率小的节点所对应的信息被小部分保留、甚至完全为0。通过矩阵相乘的效果是,在进行邻域信息聚合操作时,能够使得采样概率大的节点将其信息大部分地传递给其邻居节点,也即,对于其邻居节点来说,该节点是被采样到的邻居节点;而采样概率小的节点将其信息小部分地传递给了其邻居节点,也即,对于其邻居节点来说,该节点是未被采样到的邻居节点;从而达到了节点与邻居节点之间的消息流通的放大或抑制作用。

步骤s205,调用所述图卷积神经网络基于所述第一采样结果对所述各个第一节点进行邻域信息聚合操作,以更新所述各个第一节点。

在得到第一采样结果后,可以调用图卷积神经网络基于第一采样结果对第一节点进行邻域信息聚合操作,以达到对各个第一节点信息的更新。具体地,邻域信息聚合操作可以是将第一采样结果左乘图结构数据的邻接矩阵或邻接矩阵的变换形式,之后再采用线性变换参数结果进行线性变换,再进行非线性变换,得到更新后的各个第一节点。例如,当有多个聚合层时,x是图结构数据的节点特征矩阵,初始有h=x,q是对角矩阵,a是邻接矩阵或邻接矩阵的变换形式,σ()是非线性激活函数,w是聚合层的线性变换参数,则h可以递归地由h=σ[(aqhw)]生成。

在本实施例中,通过生成各个节点的采样概率,将各个节点的采样概率作为对角矩阵的对角元,将图结构数据的节点特征矩阵左乘该对角矩阵,实现了一种有偏的节点采样聚合模式,使得图卷积神经网络能够挖掘出图结构数据中不同节点的差别性。

进一步地,根据排列组合模式,h=σ[(aqhw)]公式中,右边的h左边的a和q,即是按照排列组合模式进行排列的,例如,排列组合模式是aqa,则公式就对应变为了h=σ[(aqahw)],也即,先对节点特征矩阵进行邻域信息聚合操作,再左乘一个对角矩阵进行邻居节点采样操作,再进行邻域信息聚合操作,之后再进行线性变换和非线性变换。

进一步地,所述步骤s20包括:

步骤s201,调用所述图卷积神经网络分别基于所述图卷积神经网络中的各套采样参数,对所述第一图结构数据中各个第一节点进行多套邻居节点采样操作和邻域信息聚合操作,对应得到各套初更新节点;

进一步地,在本实施例中,图卷积神经网络中可以设置多套采样参数,那么对应的线性变换参数w也可以是多套的。调用图卷神经网络分别基于各套采样参数平行地对图结构数据中的各个第一节点进行邻居节点采样操作和邻域信息聚合操作,每一套邻居节点采样操作和邻域信息聚合操作之后,各个第一节点的信息都得到更新,那么就得到多套更新后的第一节点,一下称为多套初更新节点。而采用一套采样参数进行邻居节点采样操作和邻域信息聚合操作的过程可以参考本实施例中或第一实施例中的步骤,在此不进行详细赘述。

步骤s202,对各套初更新节点中对应相同的节点进行信息合并,得到更新后的各个第一节点。

可以理解的是,每套初更新节点中都包含每个节点的信息,将各套初更新节点中对应相同的节点进行信息合并,也即对于某个节点,将各套初更新节点中该节点的信息进行合并,得到更新后的该节点。其中,进行信息合并的方式可以是做向量拼接,将各套初更新节点中某个节点的向量形式的信息进行向量拼接,得到更新后的该节点,例如,有10套初更新节点,各套初更新节点中每个节点有50维信息,那么通过向量拼接的方式进行信息合并后,每个节点有500维信息。

在本实施例中,设置多套采样参数,并调用图卷积神经网络基于多套采样参数进行多套的邻居节点采样操作和邻域信息聚合操作,使得图卷积神经网络能够基于多套采样参数,挖掘出图结构数据中节点间关系的更多可能性,从而能够更进一步地提高图卷积神经网络进行数据处理的准确性。

进一步地,基于上述第一实施例和第二实施例,提出本发明基于图卷积神经网络的数据处理方法的第三实施例,在本实施例中,所述步骤s10之前,还包括:

步骤s50,获取第二图结构数据,并将所述第二图结构数据输入待训练图卷积网络;

进一步地,在本实施例中,图卷积神经网络的训练过程具体可以是,预先设置待训练的图卷积神经网络(以下称为待训练图卷积网络),待训练图卷积网络的结构可以设置为输入层、隐藏层、输出层,其中,隐藏层可以包括多个聚合层,这多个聚合层可以是串连的,也可以是并连的。根据具体的训练任务不同,隐藏层还可以包括一些图卷积神经网络中还可能会用到的其他网络层,在此不做限制。

获取用于训练图卷积神经网络的第二图结构数据,根据模型训练任务不同,第二图结构数据不同,例如,模型训练任务是预测用户是否为欺诈用户时,第二图结构数据可以是用户的社交网络数据。需要说明的是,第二图结构数据可以是一个图结构数据,一般为达到训练效果,会采用大量的图结构数据来进行训练,所以第二图结构数据也可以是多个图结构数据,以下为方便表述,以一个图结构数据进行说明。

将第二图结构数据输入待训练图卷积网络。

步骤s60,调用所述待训练图卷积网络对所述第二图结果数据中各个第二节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第二节点;

可以在待训练图卷积网络的各个聚合层中分别设置采样机制,可根据采样机制对节点进行邻居节点采样操作。调用待训练图卷积网络对第二图结构数据中各个第二节点进行邻居节点采样操作和邻域信息聚合操作,经过两个操作之后,第二图结构数据中各个第二节点的信息得到更新。具体地,进行邻居节点采样操作可以是对某个节点,根据待训练图卷积网络中的采样参数,分别生成该节点的每个邻居节点的采样概率,若邻居节点的采样概率大于一个随机数,则表示该邻居节点被采样到,若不大于,则表示该邻居节点未被采样到。邻域信息聚合操作可以采用现有图卷积神经网络中的邻域信息聚合操作,例如,在节点特征矩阵上左乘邻接矩阵。

步骤s70,调用所述待训练图卷积网络基于更新后的各个第二节点得到输出结果;

在更新各个第二节点的信息后,调用待训练卷积网络基于更新后的各个第二节点得到输出结果。具体地,待训练卷积网络的聚合层后面可以是接上输出层,或者是根据具体的训练任务不同,接上其他网络层后再接输出层。也即,本实施例中待训练图卷积网络在聚合层中采用了采样机制,而其他结构可以采用现有的图卷积神经网络的结构。那么,在聚合层更新各个节点的信息后,可以将更新后的节点信息输入到待训练图卷积网络聚合层之后的网络层,调用后面网络层对信息进行处理得到输出结果。

步骤s80,基于所述输出结果和所述第二图结构数据对应的标签数据对所述待训练图卷积网络进行更新,以对所述待训练图卷积网络进行训练得到训练完成的所述图卷积神经网络。

当对待训练图卷积网络采样有监督训练方式进行训练时,第二图结构数据对应有一个标签数据,用于对输出结果进行监督。例如,当训练任务是预测用户的欺诈可能性时,标签数据可以是第二图结构数据(社交网络数据)中各个用户是否为欺诈用户的真实标签。具体地,可以基于输出结果和第二图结构数据的标签数据构建待训练图卷积网络的损失函数,基于损失函数计算待训练图卷积网络中各个参数的梯度值,然后基于梯度值采用梯度下降法来更新各个参数,从而达到对待训练图卷积网络进行更新。经过多次的迭代更新后,可以得到训练完成的图卷积神经网络。需要说明的是,待训练图卷网络中的采样参数也得到了训练,通过训练过程,采样参数学习到了如何区分节点之间的关系,从而使得图卷积神经网络能够挖掘出节点之间的差别性。

进一步地,所述步骤s60包括:

步骤s601,调用所述待训练图卷积网络基于所述待训练图卷积网络中的采样参数,并基于可导处理操作生成与所述第二图结构数据中各个第二节点分别对应的采样值;

进一步地,在本实施例中,与第二实施例中的图卷积神经网络的使用过程对应地,待训练图卷积网络中可以有一个排列组合模式,该排列组合模式是邻居节点采样操作和邻域信息聚合操作的排列组合模型,排列组合模式中,两种操作的次数可以是各一次,也可以是多次,两种操作的先后顺序也可以是根据具体需要而设置的。可以调用图待训练图卷积网络按照该排列组合模式来对第二图结构数据中的各个第二节点进行操作,即按照排列组合模型中的顺序执行两种操作。

当排列组合模式是一次邻居节点采样操作和一次邻域信息聚合的组合模式时,要对图卷积神经网络中的各个节点进行伯努利采样,每个节点是否被采样是相互独立的,每个节点各自对应一个采样概率,而采样概率的大小反应了节点的重要性,越有概率被采样从而参与聚合过程的节点,它在图中的重要性就越大。图卷积神经网络中可以包括采样参数,可以是每个节点对应一个或一套采样参数,可以采用该节点对应的采样参数和该节点的信息,生成该节点的采样概率,例如,可以采用如下公式来生成节点i的采样概率pi。

可以依据该采样概率来进行邻居节点采样操作,但是,由于采样概率并不是简单的权重,而是一个分布,在神经网络中使用采样概率,会使得梯度无法传递,从而无法进行参数更新,也就无法完成对神经网络的训练。在本实施例中,可以调用待训练图卷积网络基于待训练图卷积网络中的采样参数,并基于可导处理操作生成与各个第二节点分别对应的采样值,然后采用采样值来进行邻居节点采用操作。其中,可导处理操作可以依据gumbelsoftmax技术(一种重参数化技巧)来进行处理。具体地,因为每个节点是服从概率的伯努利分布,也就是二分类,所以其实使用的是gumbelsigmoid技术(一种重参数化技巧)。参考gumbel-maxtrick(一种从离散分布取样的方法)的理论,从二分类的分布sigmoid(a)抽取一个样本(抽到为1,没抽到为0),可以表达为:

gumbel_sigm(a)=exp^([a+gumbel1]/t)/[exp^([a+gumbel1]/t)+exp^(gumbel2/t)]

根据sigmoid(s型生长曲线)的定义,可以进一步写成:

gumbel_sigm(a)=sigmoid([a+gumbel1-gumbel2]/t)

其中t>0表示的温度,控制着上式模拟抽样过程的程度,t越接近0则模拟得越好(不过可能会有数值上的问题,所以实际上取个适当的,比如0.1)。而gumbel1和gumbel2分别是从gumbel分布gumbel(0,1)抽到的样本,也就是gumbel1(gumbel2)=-log(-log(uniform(0,1)))。

也就是说,对于二分布sigmoid(a),如果gumbel_sigm(a)趋向于1,则该次采样被抽中,趋于0,则没有被抽中。结合上述pi的表达形式,我们可以得到,节点i的采样值qii为:

也即采用上述qii的公式来得到各个第二节点对应的采样值。

步骤s602,将所述各个第二节点对应的采样值分别作为第二对角矩阵中与所述各个第二节点对应的第二对角元;

将各个第二节点对应的采样概率分别作为第二对角矩阵中与各个第二节点对应的第二对角元。其中,第二对角矩阵是一个除了对角元其余的元素都是0对角矩阵,第二对角矩阵每一行的对角元分别对应一个节点,那么将该节点的采样值作为该节点所对应的对角元的值,就可以得到第二对角矩阵的各个对角元的值。

步骤s603,将所述第二图结构数据中的节点特征矩阵左乘所述第二对角矩阵,以对所述各个第二节点进行邻居节点采样得到第二采样结果;

在得到第二对角矩阵后,要对各个第二节点进行邻居节点采样操作,可以在第二图结构数据的节点特征矩阵的基础上,左乘该第二对角矩阵,得到一个矩阵,将该矩阵作为第二采样结果。

步骤s604,调用所述待训练图卷积网络基于所述第二采样结果对所述各个第二节点进行邻域信息聚合,以更新所述各个第二节点。

在得到第二采样结果后,可以调用待训练图卷积网络基于第二采样结果对第二节点进行邻域信息聚合操作,以达到对各个第二节点信息的更新。具体地,邻域信息聚合操作可以是将第二采样结果左乘第二图结构数据的邻接矩阵或邻接矩阵的变换形式,之后再采用线性变换参数结果进行线性变换,再进行非线性变换,得到更新后的各个第二节点。

在本实施例中,通过生成各个节点的采样值,将各个节点的采样值作为对角矩阵的对角元,将图结构数据的节点特征矩阵左乘该对角矩阵,实现了一种有偏的节点采样聚合模式,使得训练过程中,待训练图卷网络能够学习到挖掘出图结构数据中不同节点差别性的能力。并且,基于可导处理操作生成采样值,避免了神经网络中采用采样导致无法传递梯度信息。

在本实施例中,在使用训练得到的图卷积神经网络时,采用的是采样概率而不是采样值,使得使用模型时,不会因为采样造成损失部分信息而导致每次使用模型时得到的处理结果不同,也即通过在使用模型时采用采样概率而不是采样值让模型的使用过程成为一个确定性的过程。另一方面,背后的原理类似于深度学习中的神经元随机失活原理,使用模型的时候使用概率替代采样的结果,相当于最后的推断结果是无数次采样的结果的集成,使得图卷积神经网络的处理结果更加鲁棒。

并且,本实施例中的有偏的采样聚合模式,在实现放大或者抑制节点--邻居关系的消息流通作用的同时,由于训练过程中,采用的是对邻居节点采样的方式,也即,在每次训练过程中,邻居节点是否被采样到是随机的,进而邻居节点的信息是否被聚合也是随机的,这种随机选取、不选取得方式,类似于深度学习中的神经元随机失活原理,从而能够实现降低图卷积神经网络训练过程中的过拟合风险。

此外,此外本发明实施例还提出一种基于图卷积神经网络的数据处理装置,参照图3,所述基于图卷积神经网络的数据处理装置包括:

获取模块10,用于获取待处理的第一图结构数据输入预先训练好的图卷积神经网络;

操作模块20,用于调用所述图卷积神经网络对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点;

处理模块30,用于调用所述图卷积神经网络基于更新后的各个第一节点得到所述第一图结构数据的处理结果。

进一步地,所述操作模块20还用于:

调用所述图卷积神经网络按照排列组合模式对所述第一图结构数据中各个第一节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第一节点,其中,所述排列组合模式为邻居节点采样操作和邻域信息聚合操作的排列组合模式。

进一步地,当所述排列组合模式是一次邻居节点采样操作和一次邻域信息聚合的组合模式时,所述操作模块20包括:

第一生成单元,用于调用所述图卷积神经网络基于所述图卷积神经网络中的采样参数,生成与所述第一图结构数据中各个第一节点分别对应的采样概率;

第一确定单元,用于将所述各个第一节点对应的采样概率分别作为第一对角矩阵中与所述各个第一节点对应的第一对角元;

第一采样单元,用于将所述第一图结构数据中的节点特征矩阵左乘所述第一对角矩阵,以对所述各个第一节点进行邻居节点采样得到第一采样结果;

第一聚合单元,用于调用所述图卷积神经网络基于所述第一采样结果对所述各个第一节点进行邻域信息聚合操作,以更新所述各个第一节点。

进一步地,所述操作模块20包括:

操作单元,用于调用所述图卷积神经网络分别基于所述图卷积神经网络中的各套采样参数,对所述第一图结构数据中各个第一节点进行多套邻居节点采样操作和邻域信息聚合操作,对应得到各套初更新节点;

合并单元,用于对各套初更新节点中对应相同的节点进行信息合并,得到更新后的各个第一节点。

进一步地,所述获取模块10还用于获取第二图结构数据,并将所述第二图结构数据输入待训练图卷积网络;

所述操作模块20还用于调用所述待训练图卷积网络对所述第二图结果数据中各个第二节点进行邻居节点采样操作和邻域信息聚合操作,以更新所述各个第二节点;

所述基于图卷积神经网络的数据处理装置还包括:

输出模块,用于调用所述待训练图卷积网络基于更新后的各个第二节点得到输出结果;

训练模块,用于基于所述输出结果和所述第二图结构数据对应的标签数据对所述待训练图卷积网络进行更新,以对所述待训练图卷积网络进行训练得到训练完成的所述图卷积神经网络。

进一步地,所述调操作模块20还包括:

第二生成单元,用于调用所述待训练图卷积网络基于所述待训练图卷积网络中的采样参数,并基于可导处理操作生成与所述第二图结构数据中各个第二节点分别对应的采样值;

第二确定单元,用于将所述各个第二节点对应的采样值分别作为第二对角矩阵中与所述各个第二节点对应的第二对角元;

第二采样单元,用于将所述第二图结构数据中的节点特征矩阵左乘所述第二对角矩阵,以对所述各个第二节点进行邻居节点采样得到第二采样结果;

第二聚合单元,用于调用所述待训练图卷积网络基于所述第二采样结果对所述各个第二节点进行邻域信息聚合操作,以更新所述各个第二节点。

进一步地,所述第一图结构数据是待预测用户的社交网络数据,所述基于图卷积神经网络的数据处理装置还包括:

预测模块,用于从所述处理结果中获取所述待预测用户的处理结果作为所述待预测用户的欺诈可能性预测结果。

本发明基于图卷积神经网络的数据处理装置的具体实施方式的拓展内容与上述基于图卷积神经网络的数据处理方法各实施例基本相同,在此不做赘述。

此外,本发明实施例还提出一种计算机可读存储介质,所述存储介质上存储有基于图卷积神经网络的数据处理程序,所述基于图卷积神经网络的数据处理程序被处理器执行时实现如下所述的基于图卷积神经网络的数据处理方法的步骤。

本发明基于图卷积神经网络的数据处理设备和计算机可读存储介质的各实施例,均可参照本发明基于图卷积神经网络的数据处理方法各个实施例,此处不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1