一种具有自适应信息约束的鲁棒异构图神经网络解释方法

本发明属于图神经网络可解释性领域，特别涉及一种具有自适应信息约束的鲁棒异构图神经网络解释器。

背景技术：

1、图神经网络(gnn)作为从图结构数据中学习信息的强大工具，在各种现实场景中均有应用，如社交网络、引文网络和推荐系统等。gnn将节点特征和图结构信息集成到消息传递框架中，在图分类、节点分类和链路预测等许多任务中都取得了显著的性能。尽管gnn能够学习到丰富的网络信息，但gnn的决策过程是不透明的，缺乏对人类理解的可解释性解释。这种不透明性阻碍了它们在与公平、隐私和安全相关的关键领域的应用。因此，研究gnn的可解释性可以更好地理解其功能，并促进对有益结果的改进。

2、gnn解释器将原始图和模型作为输入，旨在识别对预测有显著影响的关键子图。现有的gnn解释器可以分为事后方法和内置方法。事后方法应用解释技术或在训练好的模型基础上建立解释模型，以衡量不同组成部分的贡献，从而解释工作机制或决策原理。常用的事后方法包括基于扰动的方法和基于代理模型的方法。内置方法在模型训练过程中生成解释，其中生成的图作为目标预测的解释，并期望满足特定的任务目标。常用的内置方法包括基于原型学习的方法和基于图生成的方法。由于内置方法是为特定模型量身定制的，需要针对不同场景进行单独训练，因此缺乏可推广性，而事后方法可以适用于大多数场景。

3、然而，现实世界的数据面临着许多挑战，限制了这些解释方法在实际应用中的适用性。首先，现实世界中的图通常是异构的，包含多种类型的节点和边，这增加了结构的复杂性。其次，现实世界中的图数据是有噪声的，具体而言，图结构中可能包含因噪声而增加或删除的边。同时，节点特征也会被噪声干扰，使其不真实。噪声对于异构图来说是一个至关重要的问题，因为节点类型之间固有的异构性导致噪声边携带错误的异构关系信息，并在消息传递过程中进一步传播。

4、现有的工作已经证明了噪声的存在会严重损害可解释器的性能，加剧了生成错误解释的风险。然而，还没有可解释方法针对异构图上的噪声进行研究。同时，噪声加剧了图结构的不规则性，并改变了节点的重要性，对于以往需要严格的结构约束(例如大小，预算，连通性)的可解释方法来说是不适用的，其会将噪声边考虑进去并在节点重要性的影响下排除掉部分正确的边。如何应对噪声情况下的图的不规则性并自适应的探索关键子图也对可解释方法提出了很大的挑战。

技术实现思路

1、针对上述挑战，本发明提出了一种具有自适应信息约束的鲁棒异构图神经网络解释器，重点研究事后方法，开发gnn解释器，可以在不同的真实世界场景中生成高质量的解释，提高可解释器的鲁棒性，提升在异构图中的可解释效果。

2、本发明包括以下步骤：

3、s1、通过网络数据获取不同类型的实体之间的关系，例如在引文网络中，实体类型为论文、作者、会议，网络中的关系为“作者-写作-论文”、“论文-发表在-会议”等。并将这些关系用“节点-边-节点”表示，并建模成图

4、并且由边组成边矩阵es；由实体的信息构成图的特征矩阵x。

5、s2、使用变分图自编码器获得图的图表示。

6、通过变分推断，可以从潜在空间而不是观察空间中有效地推断出潜在变量的统计信息，从而得到鲁棒的图信息。给定s1步骤观察到的图变分图自编码器假设数据是通过两个步骤独立同分布生成的。首先，使用一个初始化高斯分布生成潜在变量z的先验分布p(z)；其次，图和变量z的联合分布为其中θ代表需要优化的变分图自编码器参数，优化θ以最大化观察图的对数似然根据琴生不等式，推导如下：

7、

8、其中，是用来近似真实后验分布的后验分布，表示期望，λ表示要中估计的参数；证据下界表示为如下形式：

9、

10、其中，表示由z观察到的分布，kl(·||·)表示kl散度。

11、使用由图卷积神经网络构成的变分图自编码器估计上述证据下界中的参数，采样得到的潜在变量z和重构得到的邻接矩阵的计算过程如下：

12、z(l)＝gcn(z(l-1)，a)，z(0)＝x

13、μ＝gcnμ(z(l)，a)，logσ＝gcnσ(z(l)，a)

14、

15、其中，gcn为图卷积神经网络，a是图的邻接矩阵，z(l)为第l层的变量，即为该层的图表示，l是模型的层数，μ和σ为高斯分布参数，sigmoid是激活函数；通过重构得到的邻接矩阵计算损失，对变分图自编码器进行训练。

16、由于变分推理的目的是让后验分布在捕获显著图信息的同时缓解噪声的影响，因此没有设计单独的异构语义学习模块。相反，将采样的潜在变量z输入到基于关系的解释生成器中，在该生成器中学习异构图上的复杂语义。

17、s3、使用基于关系的解释生成器，捕获图表示中的异质语义，生成对预测的解释子图。

18、假设解释子图是一个gilbert随机图，其中边是条件独立的，边矩阵es中每个元素eij是二进制变量，表示该边是否包含在子图中，当节点vi与节点vj之间存在一条边(i，j)时，eij＝1，否则为eij＝0，giibert随机图变量分解为：

19、

20、其中，eij是遵从伯努利分布bern(θij)的二元变量，p(eij)表示边(i，j)存在的概率；二元变量eij是离散的，应用重参数化方法将其松弛为0到1之间的连续变量，具体如下：

21、

22、其中，τ为平滑优化的温度系数，αij为参数，∈符合均匀分布uniform(0，1)。

23、为每个边类型分配一个边类型嵌入并同时利用边类型嵌入和节点嵌入计算αij：

24、

25、其中，a、w表示可学习的参数，zi表示图表示z中第i个值，表示节点i的邻居，wr是一个可学习的边类型权重矩阵，relu是激活函数。

26、所有的αij组成概率矩阵mp，从mp中采样生成解释子图

27、

28、as＝mp⊙a；xs＝mp⊙x

29、as为解释子图的邻接矩阵，xs为解释子图的特征矩阵，⊙表示元素点乘。

30、进一步的，所述变分图自编码器和解释生成器构成异构图解释网络模型，该网络模型损失函数构造如下：

31、由神经网络f构成预测器，解释子图通过预测器得到预测结果使用扩展的自信息约束优化由神经网络α构成的解释生成器，损失函数如下所示：

32、

33、表示通过预测器f得到的预测结果的分布，表示解释生成器α得到的的分布；

34、总损失函数如下：

35、

36、本发明有益效果：

37、本发明提出了一种具有自适应信息约束的鲁棒异构图神经网络解释器。使用变分推断来获得鲁棒的图表示，减轻噪声影响的同时提升模型的泛化能力。并使用神经网络参数化解释子图生成过程，在生成解释子图的过程中融合异构关系的权重，使其可以捕获异构图中的复杂语义。并通过自信息约束来获得最充分和必要的信息。此外，我们的方法可以解释节点、边和图级别的预测。