一种基于超图和Transformer的自适应诊断方法及系统

本发明涉及深度学习，具体涉及一种基于超图和transformer的自适应诊断方法及系统。

背景技术：

1、在现代工业的发展中，设备已成为自动化系统的重要组成部分。然而，随着时间的推移和运行环境的变化，设备会经历各种类型的故障，因此，以稳定可靠的方式进行诊断分析变得非常重要。深度学习的快速发展为端到端故障诊断提供了一种方法。成功地解决了依赖专家系统的问题，并能从大量数据中自动学习相似性和差异性。目前基于卷积神经网络的模型忽略了序列间的相关性，这导致了对序列信息获取的局限性。这种特性也使得模型容易受到噪声和其他干扰的影响，从而影响诊断的准确性。基于图神经网络的诊断方法只能捕获成对的序列信号，不能利用或解释复杂的高阶关系。另一方面在故障诊断领域的应用中因为生产环境以及采集环境的过程中还存在着噪声影响。

2、现有的故障诊断研究存在故障序列建模只考虑局部化或全局性的问题，缺乏对更丰富的故障信息的关注。同时，由于噪声、信息丢失等干扰因素的存在，导致采集到的故障序列数据具有较强的非平稳性。

技术实现思路

1、本发明目的在于提供一种基于超图和transformer的自适应诊断方法及系统，以解决上述现有技术存在的问题。从信号处理的角度出发提出了一种融合故障序列的高阶、局部和全局特征信息的自适应超图transformer方法(ahformer)，以提高复杂干扰下的端到端故障诊断性能。

2、本发明中所述一种基于超图和transformer的自适应诊断方法，包括以下步骤：

3、s1.获取自动化系统中设备的故障数据并进行数据预处理；

4、s2.对不具有图网络结构的数据，利用步骤s1得到的预处理后的数据进行构图，选择k个最近的子序列与中心子序列形成超图；

5、s3.超图数据输入到超图卷积和transformer中完成高阶、局部和全局信息的提取；

6、s4.基于自适应融合机制获得最终的融合特征zout；

7、s5.将融合特征zout使用多层感知机映射到相应的维度空间中，最后使用损失函数进行优化。

8、在步骤s1中，对故障数据进行归一化处理：

9、

10、其中，xi是输入序列，是xi中的最小值，是xi中的最大值，是归一化后的序列；

11、然后，将长度为l的故障数据划分为长度为s的子序列，确保每个子序列之间没有重叠，并为每个子序列设置相应的标签；得到的集合如下：

12、

13、其中，xl是划分以后的序列集合，n为分割完成以后具有的子序列数量。

14、在步骤s2中，对不具有图网络结构的数据进行超图构建时，利用最近邻计算算法实现：

15、x＝knn(fft(xl))；

16、其中，x为经过knn以后得到的超图节点的集合，fft(.)为快速傅里叶变换，knn为最近邻计算算法。

17、在步骤s3中，超图卷积消息传递是信息的传递和更新过程，具体运算如下：

18、

19、其中的是对超图中节点的度矩阵进行对称正则化，是对超图中边的度矩阵进行对称正则化，x(l)是第l层的特征表示，θ(l)是一个可学习的参数，h是关联矩阵，σ(.)为激活函数，w为权重矩阵。

20、令w权重矩阵设置为对角线为1的对角矩阵。

21、在步骤s3中，利用线性变换对特征x2、x1和x0完成映射，具体如下:

22、zq＝σ(wqx2+bq)，zk＝σ(wkx1+bk)，zv＝σ(wvx0+bv)；

23、其中，x2是第二层超图卷积输出特征，x1第一层超图卷积的输出特征，x0是第一层超图卷积的输入特征；zq是x2经过线性投影后的特征表示，zk是x1经过线性投影后的特征表示，zv是x0经过线性投影后的特征表示；wq是x2的转换矩阵，wk是x1的转换矩阵，wv是x0的转换矩阵；bq是x2的偏置，bk是x1的偏置，bv是x0的偏置；σ(.)是激活函数。

24、利用多头注意力进行计算：

25、mhformer(z)＝concat(head1,head2,…,headn)wm；

26、其中mhformer(z)是多头注意力的输出，concat(.)是拼接操作，headi是单头注意力，wm是多头注意力计算过程中的转换矩阵；

27、headi＝hformeri；

28、

29、其中是缩放因子，hformer(.)是每个单头注意力的计算过程；

30、接着增加批归一化和前馈网络进行计算：

31、m′(z)＝bn(mhformer(z))；

32、zh＝bn(ffn(m′(z)))；

33、bn(.)是批归一化处理，m′(z)为批归一化处理后的输出，zh为经过前馈网络和批归一化处理的输出。

34、在步骤s4中，对zh、zq求平均，然后增加残差连接：

35、zc＝(zh+zq)/2+azv；

36、zc是特征合并的输出结果；

37、对获得的不同节点特征表示进行自适应融合：

38、w＝[ω1,ω2,ω3]＝atention([zh,zq,zc])；

39、其中ω1是zh的贡献度权重矩阵，ω2是zq的贡献度权重矩阵，ω3是zc的贡献度权重矩阵；

40、使用计算出的贡献度权重矩阵对三个不同的特征表示求和，以获得最终的融合特征zout。

41、在步骤s5中的损失函数是交叉熵损失函数。

42、本发明中所述一种自适应诊断系统，利用所述自适应诊断方法进行自动化系统中设备的故障诊断。

43、本发明中所述一种基于超图和transformer的自适应诊断方法及系统，其优点在于，将序列信号表示为超图结构，利用超图卷积网络获取节点间的高阶复杂关系。结合超图和transformer的优点，对故障序列的局部和全局相关性进行建模。使用自适应融合模块来融合不同的特征。ahformer关注了局部和全局信息，增强了序列特征的利用，具有更好的泛化性能和鲁棒性能。在多种数据集和干扰场景下的实验结果表明，本发明所述方法及系统具有较好的泛化性能和较强的鲁棒性。

技术特征：

1.一种基于超图和transformer的自适应诊断方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于超图和transformer的自适应诊断方法，其特征在于，在步骤s1中，对故障数据进行归一化处理：

3.根据权利要求2所述一种基于超图和transformer的自适应诊断方法，其特征在于，在步骤s2中，对不具有图网络结构的数据进行超图构建时，利用最近邻计算算法实现：

4.根据权利要求3所述一种基于超图和transformer的自适应诊断方法，其特征在于，在步骤s3中，超图卷积消息传递是信息的传递和更新过程，具体运算如下：

5.根据权利要求4所述一种基于超图和transformer的自适应诊断方法，其特征在于，令w权重矩阵设置为对角线为1的对角矩阵。

6.根据权利要求5所述一种基于超图和transformer的自适应诊断方法，其特征在于，在步骤s3中，利用线性变换对特征x2、x1和x0完成映射，具体如下：

7.根据权利要求6所述一种基于超图和transformer的自适应诊断方法，其特征在于，利用多头注意力进行计算：

8.根据权利要求7所述一种基于超图和transformer的自适应诊断方法，其特征在于，在步骤s4中，对zh、zq求平均，然后增加残差连接：

9.根据权利要求8所述一种基于超图和transformer的自适应诊断方法，其特征在于，在步骤s5中的损失函数是交叉熵损失函数。

10.一种自适应诊断系统，其特征在于，利用如权利要求1-9任一所述的自适应诊断方法进行自动化系统中设备的故障诊断。

技术总结
本发明公开一种基于超图和Transformer的自适应诊断方法及系统，涉及深度学习技术领域，针对现有技术中噪声影响的问题提出本方案。包括：S1.获取自动化系统中设备的故障数据并进行数据预处理；S2.对不具有图网络结构的数据，利用步骤S1得到的预处理后的数据进行构图，选择K个最近的子序列与中心子序列形成超图；S3.超图数据输入到超图卷积和Transformer中完成高阶、局部和全局信息的提取；S4.基于自适应融合机制获得最终的融合特征；S5.将融合特征使用多层感知机映射到相应的维度空间中，最后使用损失函数进行优化。在多种数据集和干扰场景下的实验结果表明，具有较好的泛化性能和较强的鲁棒性。

技术研发人员：雷方元,陈紫威,周厚棉,张林玲,梁敏靖
受保护的技术使用者：广东技术师范大学
技术研发日：
技术公布日：2024/1/15