基于因果图注意力神经网络的复杂机电系统故障检测方法

1.本发明涉及复杂机电系统故障预测与健康管理领域，特别涉及一种基于因果图注意力神经网络的复杂机电系统故障检测方法。


背景技术：

2.作为现代先进技术的代表，各种复杂机电系统不断发展。这些系统基于各种机械、电子与液(气)压子系统的综合集成，最终实现复杂的系统功能。相比于传统的机械或电子系统，复杂机电系统内部的结构和功能复杂性显著增加：各模块的耦合关系更加复杂，子系统间的边界也愈发模糊。受这些原因影响，复杂机电系统对运行状态也更加敏感。微小的异常或故障通过级联和传播可能引起连锁反应，危及整个系统的运行。因此，如何及时有效检测故障、发现运行状态异常，是确保这类系统健康运行、提高系统安全性和可用性的关键之一。
3.当前基于数据驱动的故障检测方法，通常直接建模输入变量与故障的相关关系，忽视了变量间存在的因果关系和空间结构关系。图神经网络(gnn)在处理空间结构化数据方面有着卓越成效。gnn利用图结构提供的非欧几里得特征，能够挖掘节点(特征变量)及其边(关系)的信息。gnn在图像和视频分类任务中取得了巨大的突破，也激发了对其在故障检测方面的应用。然而，尽管基于gnn的方法在一定程度上提高了故障检测的性能，但当前基于gnn的故障检测方法对所有的邻居节点都采用相同的权重加合，忽视了不同节点的差异性贡献；此外，当前gnn大多利用通过特定领域知识构建的图，但对于故障机理复杂、监测变量众多的复杂机电系统，难以获得其空间结构；并且基于gnn的故障检测方法大多数假设变量之间的相关关系，造成故障检测的性能和可解释性有限；同时，随着gnn层数的增加，容易导致各节点的特征趋于相近，发生过度平滑的现象。
4.因果发现能够挖掘事物因果关系，应用在故障检测领域则可以分析监测变量间的复杂因果机理、了解故障发生传播过程，从而有助于提高故障检测模型的性能。然而，对于复杂机电系统，仅靠专家经验通常难以充分挖掘变量复杂系统的因果关系，而单纯使用数据驱动方法构建因果图则容易发生图结构不稳定、结果存在明显错误等问题。


技术实现要素：

5.为克服现有基于数据驱动的复杂机电系统故障检测技术缺陷，本发明提供了一种基于因果图注意力神经网络的复杂机电系统故障检测方法，该方法通过结合已知因果关系和基于约束的因果发现方法，构建复杂机电系统监测变量的因果关系图，能够克服单纯利用专家经验难以分析复杂系统、单纯基于约束的因果发现结果可能存在明显错误的问题；接着利用提出的因果图注意力神经网络，可以利用多头因果注意力机制，自适应地计算父节点的权重、生成子节点的嵌入表征；进一步，各节点提取的特征通过计算独立支持分数，并作为损失函数的约束项、提取具有因果分离性质的节点表征；最终，所有节点的表征通过平坦层和全连接神经网络映射，输出目标系统的故障检测结果。本发明提出的故障检测方
法能够从因果关系的角度出发，对复杂机电系统中高维监测变量的复杂关系进行挖掘，并克服了单纯依靠专家经验和单纯依靠数据因果发现方法存在的弊端；利用基于因果的多头注意力机制，可以自适应地计算父节点(原因变量)的权重、生成子节点(结果变量)的嵌入表征；并对各节点提取的特征计算独立支持分数，以约束节点表征的因果分离特性；最终，所有节点的表征通过平坦层和全连接神经网络映射，输出目标系统的故障检测结果，有效提高了复杂机电系统故障检测的性能。
6.具体地，本发明提供一种基于因果图注意力神经网络的复杂机电系统故障检测方法，其包括以下步骤：
7.s1：结合已知的因果关系与基于约束的因果发现方法，以复杂机电系统监测变量数据为输入，构建系统监测变量的因果关系图，其具体包括以下子步骤：
8.s11：根据已有知识确定因果路径约束和因果方向约束；
9.s12：生成因果图骨架，并根据因果路径约束添加或删除相应的边；
10.s13：进行数据预处理将所有数据转换为数值类型，再利用基于约束的因果发现算法继续搜索构建因果图，并根据因果方向约束添加相应的边；
11.s14：验证因果发现结果是否满足已知关系约束，若满足则输出结果因果图；若不满足则调整pc算法的参数阈值并重新回到步骤s12；pc算法是一种经典的基于约束的因果发现算法；
12.s2：利用提出的因果图注意力神经网络对因果图节点表征进行提取和学习，其具体包括以下子步骤：
13.s21：计算基于因果关系的注意力系数。每个节点的输入特征通过可训练参数werm×f变换至高维，再对每个因果节点对(父-子节点对，或原因-结果变量对)应用注意力机制，并通过非线性激活函数及标准化后得到因果对间注意力系数，如式(1)所示，其中xj∈x
pa(i)
表示子节点xi的父节点，||表示特征拼接操作，leakyrelu为非线性激活函数；对于没有父节点的节点(假设为xi)，定义其注意力系数为a
ij
＝0(j≠i)且a
ii
＝1；
[0014][0015]
式中，wa为可训练参数；分别表示节点xi、xj的输入特征，并且变量xj是xi的原因变量；表示将节点xi、xj的输入特征通过可训练参数w变换至m维并进行拼接后，使用可训练参数wa变换至1维；
[0016]
s22：利用多头因果注意力机制生成节点表征。每个节点的表征表示为其所有父节点(原因变量)特征的线性加权，并采用多头注意力机制，以充分提取特征如式(2)所示，其中表示节点xi的新生成表征；σ表示激活函数，和wk分别代表在第k头注意力中，子节点(结果变量)xi与其一个父节点(原因变量)xj之间的注意力系数，以及第k头注意力中的可训练变换参数；k表示注意力机制总头数；至此，每个节点生成的新表征共包括m
×
k个维度；
[0017][0018]
s3：将各因果图注意力神经网络层在步骤s2中提取的特征相加，并针对各节点表征计算其在不同注意力机制下的独立支持评分(ioss)，如式(3)所示，其中n表示所有节点
的数量，表示节点xi的表征，代表计算结果中针对变量i的β分位数：
[0019][0020]
式中，us为m
×
k维向量，表示节点特征的独立支持理论联合分布的s次随机抽样的第s次，该理论联合分布通过计算的联合分布得到，其中表示经最大-最小值归一化后节点xi的第m维表征；β
′
和β
″
表示β的具体数值；表示节点xi的新生成表征，包括m
×
k个维度；
[0021]
s4：将所有节点提取的特征输入平坦层进行拼接，拼接的特征输入到包含隐藏层和1层输出层的全连接神经网络，全连接神经网络中的激活函数对特征进行非线性处理，输出层负责输出复杂机电系统的故障检测结果。
[0022]
优选地，步骤s11中因果路径约束指的是通过已有知识确定变量xi和xj之间存在或不存在直接因果关系，即约束因果图节点xi和xj间存在或不存在边；因果方向约束指的是通过已有知识确定变量xi是引起变量xj原因，即约束因果图节点xi是xj的祖先节点；
[0023]
优选地，步骤s13采用pc算法作为基于约束的因果发现算法；
[0024]
优选地，步骤s4在模型训练过程中，其损失函数包括两部分：即模型输出故障检测结果与真实结果的交叉熵(ce)损失和模型提取节点特征计算得到的独立支持评分(ioss)损失，交叉熵的计算公式如式(4)所示，模型训练的总损失如式(5)所示，通过计算独立支持评分作为约束，能够约束各节点提取特征的因果分离性质，从而有利于缓解过度平滑问题、提高各节点特征提取的性能，其中n表示输入数据样本数，m表示系统特征的类别数，y
ij
和p
ij
分别代表真实系统状态和预测系统状态，α是两项损失的平衡系数。
[0025][0026]
l＝l
ce
+αioss
ꢀꢀꢀꢀ
(5)
[0027]
优选地，本发明提出的基于因果图注意力神经网络利用adam算法优化，步骤s21中高维空间维数m、步骤s22中因果注意力机制的头数k、步骤s3中分位数β及s4隐藏层层数和神经元个数等超参数通过网格搜索法确定。
[0028]
与现有技术相比，本发明具有以下有益效果：
[0029]
(1)本发明提供一种基于因果图注意力神经网络的复杂机电系统故障检测方法，该方法结合已知因果关系和基于约束的因果发现方法，构建反映复杂机电系统监测变量间因果关系的因果图；再通过因果图注意力神经网络，自适应地聚合父节点(原因变量)特征，以生成子节点(结果变量)的嵌入表征；各节点提取的特征通过计算独立支持分数作并为损失函数的约束项、约束节点表征的因果分离性；最终，所有节点的表征通过平坦层和全连接神经网络映射，输出复杂机电系统故障检测；能够有效提高当前复杂机电系统故障检测的性能；
[0030]
(2)本发明利用在因果图中子节点受父节点影响的这一特性，提出了一种因果图注意力神经网络，能够通过注意力机制自适应地计算父节点的权重以生成子节点的嵌入表征，从而实现根据重要性聚合原因变量、生成结果变量的嵌入表征，能够增进复杂机电系统故障特征提取的表现；
[0031]
(3)本发明考虑图神经网络随着层数增加可能导致节点特征趋同、发生过度平滑现象的问题，提出对每个节点的表征计算独立支持评分，并作为损失函数的约束项，促使提取的节点表征具有因果分离性质，有利于增强节点特征提取的效率；
[0032]
(4)本发明利用已知因果关系和监测数据构建复杂机电系统监测变量因果图，并根据系统故障发生和传播相关因果信息，结合因果影响机制、考虑原因变量不同重要性以提取特征、最终实现故障检测，提高了复杂机电系统的故障检测准确性和性能，具有极高的经济效益和社会效益。
附图说明
[0033]
图1为本发明提出的基于因果图注意力神经网络的复杂机电系统故障检测方法的步骤流程示意图；
[0034]
图2为本发明提出的基于因果图注意力神经网络的复杂机电系统故障检测方法的示例性步骤框架图；
[0035]
图3为本发明实施例中某高铁制动系统简化结构图；
[0036]
图4为本发明实施例中结合已知因果关系和基于约束的因果发现方法构建的因果图。
具体实施方式
[0037]
以下将参考附图详细说明本发明的示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0038]
具体地，本发明提供一种基于因果图注意力神经网络的复杂机电系统故障检测方法，如图1所示，其包括以下步骤：
[0039]
s1：结合已知的因果关系与基于约束的因果发现方法，以复杂机电系统监测变量数据为输入，构建系统监测变量的因果关系图，其具体包括以下子步骤：
[0040]
s11：根据已有知识确定因果路径约束和因果方向约束；
[0041]
s12：生成因果图骨架，并根据因果路径约束添加或删除相应的边；
[0042]
s13：进行数据预处理将所有数据转换为数值类型，再利用基于约束的因果发现算法继续搜索构建因果图，并根据因果方向约束添加相应的边；
[0043]
s14：验证因果发现结果是否满足已知关系约束，若满足则输出结果因果图；若不满足则调整pc算法的参数阈值并重新回到步骤s12；
[0044]
s2：利用提出的因果图注意力神经网络对因果图节点表征进行提取和学习，其具体包括以下子步骤：
[0045]
s21：计算基于因果关系的注意力系数。每个节点的输入特征通过可训练参数w∈rm×f变换至m维，m≥2，f表示原始特征的维数，再对每个因果节点对(父-子节点对，或原因-结果变量对)应用注意力机制，并通过非线性激活函数及标准化后得到因果对间注意力系数，如式(1)所示，其中xj∈x
pa(i)
表示节点xj是节点xi的父节点，即节点xj是节点xi的原因变量，||表示特征拼接操作，leakyrelu为非线性激活函数；对于没有父节点的节点，定义其注意力系数为a
ij
＝0(j≠i)且a
ii
＝1。
[0046][0047]
式中，wa、w为可训练参数；分别表示节点xi、xj的输入特征，并且节点xj是xi的原因变量；表示将节点xi、xj的输入特征通过可训练参数w变换至m维并进行拼接后，使用可训练参数wa变换至1维；
[0048]
s22：利用多头因果注意力机制生成节点表征。每个节点的表征表示为其所有父节点(原因变量)特征的线性加权，并采用多头注意力机制，以充分提取特征如式(2)所示，其中表示节点xi的新生成表征；σ表示激活函数，和wk分别代表在第k头注意力中，子节点(结果变量)xi与其一个父节点(原因变量)xj之间的注意力系数，以及第k头注意力中的可训练变换参数；k表示注意力机制总头数；至此，每个节点生成的新表征共包括m
×
k个维度。
[0049][0050]
s3：将各因果图注意力神经网络层在步骤s2中提取的特征相加，并针对各节点表征计算其在不同注意力机制下的独立支持评分(ioss)，如式(3)所示，其中n表示所有节点的数量，表示节点xi的第j维表征，代表计算结果中针对变量i的β分位数：
[0051][0052]
式中，us为m
×
k维向量，表示节点特征的独立支持理论联合分布的s次随机抽样的第s次，该理论联合分布通过计算的联合分布得到，其中表示经最大-最小值归一化后节点xi的第m维表征；β
′
和β
″
表示β的具体数值。表示节点xi的新生成表征，包括m
×
k个维度。
[0053]
其中，分位数(quantile)，亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数(即二分位数)、四分位数、百分位数等。此处是指，针对每个us，首先计算其与各个的距离的平方即请注意，由于一共有n个节点，因此对每个us可以得到一系列共计n个1维实数值，对这n个数取其β
′
分位数，即每个us都会得到一个分位数，最终所有us得到共计s个1维实数值；再对这s个数取β
″
的分位数，作为最终的计算结果，最终计算结果为1维实数，即ioss的数值，用于表示节点各维度表征的因果耦合损失。
[0054]
s4：将所有节点提取的特征输入平坦层进行拼接，拼接的特征输入到包含隐藏层和1层输出层的全连接神经网络，全连接神经网络中的激活函数对特征进行非线性处理，输出层负责输出复杂机电系统的故障检测结果。
[0055]
优选地，步骤s11中因果路径约束指的是通过已有知识确定变量xi和xj之间存在或不存在直接因果关系，即约束因果图节点xi和xj间存在或不存在边；因果方向约束指的是通过已有知识确定变量xi是引起变量xj原因，即约束因果图节点xi是xj的祖先节点；
[0056]
优选地，步骤s13采用pc算法作为基于约束的因果发现算法；
[0057]
优选地，步骤s4在模型训练过程中，其损失函数包括两部分：即模型输出故障检测结果与真实结果的交叉熵(ce)损失和模型提取节点特征计算得到的独立支持评分(ioss)
损失，交叉熵的计算公式如式(4)所示，模型训练的总损失如式(5)所示，通过计算独立支持评分作为约束，能够约束各节点提取特征的因果分离性质，从而有利于缓解过度平滑问题、提高各节点特征提取的性能，其中n表示输入数据样本数，m表示系统特征的类别数，y
ij
和p
ij
分别代表真实系统状态和预测系统状态，α是两项损失的平衡系数。
[0058][0059]
l＝l
ce
+αioss
ꢀꢀꢀꢀ
(5)
[0060]
优选地，本发明提出的基于因果图注意力神经网络利用adam算法优化，步骤s21中高维空间维数m、步骤s22中因果注意力机制的头数k、步骤s3中分位数β及s4隐藏层层数和神经元个数等超参数通过网格搜索法确定。
[0061]
以下将结合采集自某高铁制动系统的运行状态监测数据，对本发明故障检测过程做进一步的详细说明，图3是高铁制动系统简化结构图，该系统共包含39个监测变量(其中包括制动阀状态、线电压、线电流等信息，分别以x1，x2，
…
，x39指代)。采用本发明提出的基于多源因果图路径卷积的复杂机电系统故障检测方法，如图2所示，其具体实施步骤如下：
[0062]
s1：结合已知的因果关系与基于约束的因果发现方法，以39个监测变量数据为输入，构建该高铁制动系统监测变量的因果关系图，其具体包括以下子步骤：
[0063]
s11：根据已有知识确定高铁制动系统中监测变量的因果路径约束和因果方向约束如表1所示；
[0064]
s12：生成因果图骨架，并根据因果路径约束添加或删除相应的边；
[0065]
s13：进行数据预处理将所有数据转换为数值类型，具体采用标签编码、哑变量等编码方法将各个类别类型变量分别转换为数值类型，并利用最大-最小值方法对数据进行归一化，如：列车运行模式就是类别类型变量，其值显示的状态并不是数值，经过标签编码之后，则被转化为表征对应状态的数值编码如0，1，2；再利用基于约束的因果发现算法继续搜索构建因果图，并根据因果方向约束添加相应的边；基于约束的因果发现算法采用pc算法；
[0066]
s14：验证因果发现结果是否满足已知关系约束，若满足则输出结果因果图；若不满足则调整pc算法的参数阈值并重新回到s12。
[0067]
优选地，步骤s11中因果路径约束指的是通过已有知识确定变量xi和xj之间存在或不存在直接因果关系，即约束因果图节点xi和xj间存在或不存在边；因果方向约束指的是通过已有知识确定变量xi是引起变量xj原因，即约束因果图节点xi是xj的祖先节点；增加的已知因果关系能够抑制数据驱动因果发现算法产生的错误，提高结果的可靠性。
[0068]
优选地，步骤s13采用pc算法作为基于约束的因果发现算法，最终得到高铁制动系统监测变量因果关系图如图4所示。
[0069]
表1利用已知因果关系建立因果路径约束和因果方向约束
[0070][0071]
s2：利用提出的因果图注意力神经网络对图4得到的因果图节点特征进行提取和学习，其具体包括以下子步骤：
[0072]
s21：计算基于因果关系的注意力系数。每个节点的输入特征通过可训练参数w∈r2×1变换为2维向量，再对每个因果节点对(父-子节点对，或原因-结果变量对)应用注意力机制，并通过非线性激活函数及标准化后得到因果对间注意力系数，如式(1)所示，其中xj∈x
pa(i)
表示子节点xi的父节点，||表示特征拼接操作，leakyrelu为非线性激活函数，其计算如式(2)所示；对于没有父节点的节点，即x36，定义其注意力系数为a
36,j
＝0(j≠36)且a
36,36
＝1。
[0073][0074][0075]
s22：利用多头因果注意力机制生成节点表征。每个节点的表征表示为其所有父节点(原因变量)特征的线性加权，并采用多头注意力机制，以充分提取特征如式(3)所示，其中表示节点xi的新生成表征；采用elu作为激活函数，计算公式如式(4)所示,和wk分别代表在第k头注意力中，子节点(结果变量)xi与其一个父节点(原因变量)xj之间的注意力系数，以及第k头注意力中的可训练变换参数；共采用k＝8头注意力机制；每个节点生成的新表征共包括2
×
8个维度。
[0076][0077][0078]
s3：将3层因果图注意力神经网络层提取的特征叠加，并针对各节点表征计算其在
不同注意力机制下的独立支持评分(ioss)，如式(5)所示，其中n表示所有节点的数量，表示节点xi的表征，代表计算结果中针对变量i的β分位数：
[0079][0080]
式中，us表示节点特征的独立支持理论联合分布的s次随机抽样的第s次，该理论联合分布通过计算得到，其中表示经最大-最小值归一化后节点xi的第m维表征；β
′
和β
″
表示β的具体数值。表示节点xi的新生成表征，包括2
×
8个维度。
[0081]
s4：将所有节点提取的特征输入平坦层进行拼接，拼接的结果输入到分别包含8个和2个神经元的两层全连接神经网络中，最终经过sigmoid激活函数输出该高铁制动系统的故障检测结果：其中0表示正常，1表示故障。
[0082]
优选地，步骤s4在模型训练过程中，其损失函数包括两部分：即模型输出故障检测结果与真实结果的交叉熵(ce)损失和模型提取节点特征计算得到的独立支持评分(ioss)损失，交叉熵的计算公式如式(6)所示，模型训练的总损失如式(7)所示，通过计算独立支持评分作为约束，能够提高各节点提取特征的因果分离性，从而有利于缓解过度平滑问题、提高各节点特征提取的性能，其中n表示输入数据样本数，m＝2表示系统特征的类别数，y
ij
和p
ij
分别代表真实系统状态和预测系统状态，α＝1e-4是两项损失的平衡系数。
[0083][0084]
l＝l
ce
+αioss
ꢀꢀꢀꢀ
(7)
[0085]
其中，l
ce
为交叉熵损失，l为模型训练的损失函数。
[0086]
优选地，本发明提出的基于因果图注意力神经网络利用adam算法优化，步骤s21中高维空间维数m、步骤s22中因果注意力机制的头数k、步骤s3中分位数β及s4隐藏层中神经元个数等超参数通过网格搜索法确定。
[0087]
为进一步验证本发明的有效性和突出其性能，将本发明方法与支持向量机(svm)、人工神经网络(ann)、卷积神经网络(cnn)、传统图卷积神经网络(gcn)和传统图注意力神经网络(gat)方法对比，并选取两种常见的不平衡数据故障检测性能评价指标：f1评分和g-mean评分作为标准，进行方法性能对比，评分的计算公式如式(8)(9)所示：
[0088][0089][0090]
其中，precision＝tp/(tp+fp)，recall＝tpr＝tp/(tp+fn)，tnr＝tn/(tn+fp)；tp，fp，tn与fn分别表示被正确分类为故障的样本数、被错误分类为故障的样本数、被正确分类为正常的样本数和被错误分类为正常的样本数；f1和g-mean取值均在[0，1]区间内且数值越高，表示方法的性能越好。
[0091]
对比得到的结果如下表2所示，结果表明，本发明提出的复杂机电系统故障检测方法具有出色的故障检测能力。本发明提出的结合已有知识和基于约束的因果发现方法可以有效提取复杂机电系统中高维监测变量的因果关系，从而能够依据系统各组件的因果影响
进行故障检测建模；所提出的基于因果图注意力神经网络，可以结合因果关系的性质和注意力机制，根据父节点(原因变量)的不同重要度自适应地聚合父节点的特征以生成子节点(结果变量)的嵌入表征，改进了节点特征提取的表现；此外，本方法利用独立支持评分作为节点提取表征的约束，能够促使不同注意力机制下的特征具有因果分离性质，从而极大地提高了故障检测模型的性能。
[0092]
表2本发明方法与对比方法故障检测结果指标评价
[0093]
方法f1评分g-mean评分本发明方法0.84730.9634传统图注意力神经网络0.79740.9574传统图卷积神经网络0.79510.8396支持向量机0.68920.7451人工神经网络0.54540.6849卷积神经网络0.74700.7952
[0094]
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。