一种基于HGNN的节点依赖的语义搜索方法与流程

一种基于hgnn的节点依赖的语义搜索方法
技术领域
1.本发明涉及医学影像处理与理解领域，尤其涉及一种基于hgnn的节点依赖的语义搜索方法。


背景技术：

2.目前，图神经网络(graph neural networks，gnn)已经成为许多图学习任务上的先进技术，其通常采用消息传递方式，通过迭代聚合图上邻居特征来更新中心节点的表示。尽管gnn在同质图上取得了成功，但我们注意到，在异质图(heterogeneous graph，hg)上朴素的消息传递机制忽略了关系多样性，从而无法捕捉hg中的丰富语义，往往会导致下游任务的次优性能。
3.为了解决这一问题，许多研究者致力于对gnn进行改造，使其能够利用hg中丰富的语义来指导消息传递，设计了不同的异质图神经网络(heterogeneous graph neural networks，hgnn)。例如，异质图注意力网络(heterogeneous graph attention network，han)和元路径聚合图神经网络(metapath aggregated graph neural network，magnn)将人类定义的元路径加入消息传递中。然而现有提出的hgnn或主要依赖于人类定义的元路径，需要大量人力消耗及专家知识。
4.为了节省设计语义结构的人力，图transformer网络(graph transformer network，gtn)和异质图transformer(heterogeneous graph transformer，hgt)通过基于注意机制的关系融合来隐式学习元路径。然而，这种方式没有明确的关系选择，融合所有可用关系的方法仍然是噪声大、计算效率低的。因此在设计hgnn时，如何利用任务相关语义成为一个重要的问题。
5.最近提出的一种方法可微元图搜索(differentiable meta graph search，diffmg)利用可微神经架构搜索(neural architecture search，nas)显式搜索任务相关语义。但是，这种层间的消息传递只保留一种关系的方式，不可避免地会导致不必要的信息丢失，从而损害了搜得语义的表达力。
6.基于以上这些方法从不同角度来看都存在问题，因此，如何在任务相关语义的指导下有效地设计hgnn仍是一个有待研究的问题。另外，现有方法针对hg提出的语义搜索方法得到的是所有节点全局共享的任务级语义结构，忽略了不同节点的多样性。因此，如何基于hgnn展开节点依赖的语义搜索仍待研究。


技术实现要素：

7.本发明针对上述技术问题，提出一种基于hgnn的节点依赖的语义搜索方法(node-dependent semantic search framework，nds)。
8.为了实现上述目的，本发明提供如下技术方案：
9.本发明提供一种基于hgnn的节点依赖的语义搜索方法，包括以下步骤：
10.s1、在有向无环图的连续块之间的边分配关系选择运算，使hgnn层能保留任务相
关的关系并使消息传递沿着与任务相关的信息传播路径进行邻域聚合，以构建局部的语义结构；
11.s2、在有向无环图的非连续块之间的边分配连接选择运算，采用残差连接选择融合不同长度的信息传播路径所捕获的语义信息，以构建语义结构的高阶部分；
12.s3、将关系选择运算和连接选择运算结果求和得到hgnn层的最终输出表示。
13.进一步地，使用一个二进制掩码矩阵来表示选择策略和连接策略。
14.进一步地，步骤s1中关系选择的运算过程为：
15.在第l块中，经过关系感知的邻域聚合后，节点表示更新为：
[0016][0017]
其中，表示来自第l块的关系选择组件的表示，a
l
控制感知关系的聚合过程，a
l
也是关系选择运算的输出；
[0018]al
的生成过程如下：
[0019][0020]
其中
⊙
表示逐元素矩阵乘法，表示搜索得到的关系r在第l块上的二进制掩码矩阵。
[0021]
进一步地，步骤s2中连接选择运算过程为：
[0022]
第l块的连接选择过程在它与其所有非连续前驱块之间进行：
[0023][0024]
其中表示第l块的连接选择组件得到的表示，表示搜索得到的二进制连接掩码矩阵。
[0025]
进一步地，步骤s3中hgnn层的最终输出表示为：
[0026][0027]
关系掩码矩阵和连接掩码矩阵的集合表示为：
[0028][0029]
其中表示搜索得到的关系r在第l块上的二进制掩码矩阵，表示搜索得到的二进制连接掩码矩阵。
[0030]
进一步地，步骤s1中，给定第l层输入的目标节点表示及关系r，采用预测节点依赖的关系选择的预测器预测节点i的关系选择概率其中表示节点i在第l层做邻域聚合时关系r的选择策略，表示保留，反之亦然；获得硬选择概率的近似值后，二元关系掩码矩阵被计
算为：算为：其中表示的第i个列向量，1表示元素值均为1的n维列向量。
[0031]
进一步地，预测器以作为输入，使用两层的温度感知softmax推得到关系选择策略，如下所示：
[0032][0033][0034]
其中表示预测器的输出向量，τ是温度参数，当τ
→
0时，softmax的输出分布变为独热的。
[0035]
进一步地，步骤s2中，采用预测节点依赖的连接选择的预测器预测节点i的关系选择概率，得到二元连接掩码矩阵使用两层的温度感知softmax推得到连接选择策略。
[0036]
进一步地，步骤s2中，采用预测节点依赖的关系选择的预测器以第l层输入的目标节点表示作为输入，使用两层的温度感知softmax推得到连接选择策略，如下所示：
[0037][0038][0039]
其中表示预测器的输出向量，表示节点i的第k层与第l层之间的连接选择策略，连接掩码矩阵被表示为之间的连接选择策略，连接掩码矩阵被表示为其中表示的第i个行向量，1
′
表示元素值均为1的d维列向量。
[0040]
与现有技术相比。本发明的有益效果为：
[0041]
本发明提供一种基于hgnn的节点依赖的语义搜索方法，是首次尝试在hgnn上执行节点依赖语义搜索，构建了一个具有表达力的语义结构，包含关系选择和连接选择两个组件，并将hgnn上的语义搜索转化为搜索这两个关键组件中的选择策略。此外，为了提高本发明的自适应性，本发明进一步设计了预测器以达到节点依赖的语义搜索。通过大量实验结果表明，本发明在节点分类和连接预测任务上的性能普遍优于现有的所有基准方法，具有较高的推理效率，并能有效地捕获任务相关语义。
附图说明
[0042]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明实施例提供的基于hgnn的节点依赖的语义搜索方法架构图。
具体实施方式
[0044]
为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
[0045]
本发明的目的是如何有效地通过任务相关语义搜索设计hgnn。为实现这一目标，我们提出搜索语义结构，并在搜索语义结构的指导下构建hgnn架构。不同的语义结构可以传递hg中不同的语义，并可以无缝地集成到hgnn的异构消息传递过程中。因此，从搜索语义结构的角度出发，构建最优的hgnn架构，可以自然地实现在hgnn上的语义搜索。此外，考虑到hg中节点样本的多样性，任务相关语义应适应不同节点。为提升本框架的自适应性，我们进一步设计了预测器以完成节点依赖的语义搜索。
[0046]
关于hgnn上的语义结构，人工定义的“语义结构”(元路径或元图)，目的是描述节点之间的邻近性，与之不同的是，在hgnn上下文中的语义结构倾向于通过对关系的有效选择和融合来指导与任务相关的消息传递流。这种关系选择和融合的不同组合可以被解释为hgnn捕获的不同语义信息。因此，本发明将hgnn上的语义搜索转化为从语义结构搜索的角度设计hgnn架构。
[0047]
本发明的hgnn架构如图1所示，一个hgnn架构可以表示为一个有向无环图(directed acyclic graph，dag)。dag是一个由(l+1)块组成的有序序列，其中包含一个起点块和终点块。第l块表示第l层hgnn输出的节点表示h
l
，有向边(k，l)与施加于hk上的一个运算相关联。hgnn的最终输出h对应于终点块，然后被应用于下游任务。通过将运算分配到dag的有向边上，相应的hgnn架构可以具有语义表达能力。在我们的设计中，运算可以被分为关系选择和连接选择两种类型，它们分别有助于语义结构的局部和高阶构造。
[0048]
在连续块之间(图1中(b)的边(0,1)和(1,2))分配关系选择运算，使hgnn层能保留任务相关的关系并沿其进行邻域聚合，这有助于构造局部的语义结构。在每块中执行关系选择，消息传递沿着与任务相关的信息传播路径完成。这样的路径可以传递有意义的语义信息。
[0049]
另一方面，在非连续块之间(图1中(b)的边(0,2))之间分配连接选择运算，负责灵活融合不同长度的信息传播路径捕获的语义信息，这有助于构造语义结构的高阶部分。
[0050]
另外，我们进一步将hgnn上的语义搜索转化为搜索自适应的关系选择和连接选择策略来生成任务相关的语义结构。下文将介绍这两种选择运算的技术细节。
[0051]
本发明提出一种基于hgnn的节点依赖的语义搜索方法，包括以下步骤：
[0052]
s1、在有向无环图的连续块之间的边分配关系选择运算，使hgnn层能保留任务相关的关系并使消息传递沿着与任务相关的信息传播路径进行邻域聚合，以构建局部的语义结构；
[0053]
s2、在有向无环图的非连续块之间的边分配连接选择运算，采用残差连接选择融合不同长度的信息传播路径所捕获的语义信息，以构建语义结构的高阶部分；
[0054]
s3、将关系选择运算和连接选择运算结果求和得到hgnn层的最终输出表示。
[0055]
关于关系选择：
[0056]
hg上的多种关系提供了丰富的信息，有助于提高下游任务的性能。然而，任务无关的关系信息也会带来噪声。例如，在一个引文网络中，在预测作者的研究领域时，作者所属的机构可被认为是噪声。因此，当hgnn进行邻域聚合时，需要有选择地利用异构类型信息来衰减噪声，产生任务相关的消息流。基于以上讨论，我们对dag中的两个连续块之间的边赋关系选择的运算，选中的关系会指导邻居聚合，以构建局部的语义结构。
[0057]
具体地，如图1中(c)所示，在第l块中，经过关系感知的邻域聚合后，节点表示得以更新：
[0058][0059]
其中，表示来自第l块的关系选择组件的表示，a
l
控制感知关系的聚合过程，它也是关系选择运算的输出。
[0060]
关系选择通过搜索筛除任务无关的关系，并保留任务相关的关系。我们使用一个二进制掩码矩阵来表示选择策略。a
l
生成过程如下：
[0061][0062]
其中
⊙
表示逐元素矩阵乘法，表示搜索得到的关系r在第l块上的二进制掩码矩阵，其详细计算过程将在后文中详细介绍。
[0063]
在关系选择的指导下建立的hgnn的信息传播路径能够传递丰富的语义。
[0064]
关于连接选择：
[0065]
在探索了关系选择指导的局部邻域聚合后，我们接下来介绍通过连接选择构建语义结构的高阶部分来进一步提高其表达能力。不同长度的信息传播路径可以从不同的角度传递语义信息。较长的传播路径可能会带来不必要的噪声，而较短的传播路径又无法承载足够的语义信息，我们进一步使hgnn能够灵活地融合不同长度的信息传播路径所捕获的语义。我们采用残差连接选择作为对dag的两个非连续块之间边的运算。
[0066]
具体地，如图1中(d)所示，第l块的连接选择过程在它与其所有非连续前驱块之间进行：
[0067][0068]
其中表示第l块的连接选择组件得到的表示，表示搜索得到的二进制连接掩码矩阵，其计算过程将在后文中详细介绍。
[0069]
通过从关系选择和连接选择两部分构建hgnn架构，可以得到和这两个表示形式，它们组合得到第l个hgnn层的最终输出表示。这里，我们选择求和作为组合函数：
[0070]
[0071]
关系和连接掩码矩阵的集合，即关系和连接掩码矩阵的集合，即可以被解释为语义结构，因为它可以用捕获的语义信息指导hgnn的消息传递流程。为提高我们所提出的框架的自适应性，我们进一步细化语义结构搜索过程，使其节点依赖。
[0072]
关于节点依赖的语义结构：
[0073]
基于现有的方法是通过搜索全局共享的静态语义结构，不足以获取不同节点的动态语义信息。为克服这一局限性，我们提出了自适应搜索节点相关语义结构的方法。具体地，我们设计了预测器模块，用于预测节点依赖的关系选择和连接选择策略。
[0074]
我们首先介绍用于节点依赖关系选择的预测器。具体来说，如图1中(c)所示，给定第l层输入的目标节点表示及关系r，我们的目标是预测节点i的关系选择概率，即其中表示节点i在第l层做邻域聚合时关系r的选择策略。表示保留，反之亦然。预测器以作为输入，使用温度感知softmax推得到关系选择策略，如下所示：
[0075][0076][0077]
其中表示预测器的输出向量。
[0078]
本发明中，我们使用两层的多层感知机(multi-layer perceptron，mlp)作为预测器架构。τ是温度参数，控制输出分布的“尖锐程度”：当τ
→
0时，softmax的输出分布变为独热的。
[0079]
获得硬选择概率的近似值后，二元关系掩码矩阵后，二元关系掩码矩阵可被计算为：其中表示的第i个列向量，1表示元素值均为1的n维列向量。
[0080]
同理，连接掩码矩阵也可用类似的方法得到：
[0081][0082][0083]
其中表示预测器的输出向量，表示节点i的第k层与第l层之
间的连接选择策略，连接掩码矩阵可被表示为间的连接选择策略，连接掩码矩阵可被表示为其中表示的第i个行向量，1
′
表示元素值均为1的d维列向量。
[0084]
在预测器的帮助下，我们可以展开节点依赖的语义结构搜索，使hgnn能够动态捕获不同节点的任务相关语义。
[0085]
关于预测器与hgnn的优化：
[0086]
在节点依赖语义结构的指导下，hgnn执行l次消息传递步骤，得到最终表示矩阵h
l
，用于下游任务。
[0087]
预测器与gnn模块的优化是相互依赖的，从零开始联合训练它们可能会导致任务性能较差。设ω是gnn模块的参数集合，λ是预测器的参数集合。我们使用交替优化方式迭代更新ω和λ。
[0088]
本发明提供的基于hgnn的节点依赖的语义搜索方法，与以往的工作不同，本发明考虑到hg中节点的多样性，在节点依赖语义结构的指导下，首次尝试在hgnn上执行节点依赖语义搜索，构建了一个具有表达力的语义结构，包含关系选择和连接选择两个组件，并将hgnn上的语义搜索转化为搜索这两个关键组件中的选择策略。此外，为了提高本发明的自适应性，我们进一步设计了预测器以达到节点依赖的语义搜索，通过自适应关系选择和连接选择来指导hgnn的信息传递流。
[0089]
通过大量实验结果表明，本发明在节点分类和连接预测任务上的性能普遍优于现有的所有基准方法(如nas)，具有较高的推理效率，并能有效地捕获任务相关语义。此外，基于nas的方法需要两个阶段的训练过程，包括搜索和再训练，而本发明只需要单阶段训练，进一步提高运行效率。
[0090]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。