基于多模态信息融合的噪声环境滚动轴承故障诊断方法

本发明涉及故障检测，具体涉及一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法。

背景技术：

1、滚动轴承作为机械设备的重要零部件，在机械制造产业中发挥了重要的作用。由于轴承的工作环境一般属于高温、高压等恶劣工况，所以轴承经常会出现锈蚀磨损等故障状况。大部分机械设备出现问题基本上是由轴承故障引起的，因此对轴承故障诊断的深入研究是不可或缺的。

2、实际工业应用中，采集轴承故障信号中大量存在的噪声给高质量信号的提取造成了很大的困难。在深度学习模型训练过程中，当只采用单模态数据时，很难获得高质量的故障特征。与单模态数据相比，多模态数据通常包含互补的故障特征。

3、因此，现需要一种能够提取高质量故障特征的基于多模态信息融合的噪声环境滚动轴承故障诊断方法。

技术实现思路

1、本发明的主要目的在于提供一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，以解决现有技术中不能提取高质量故障特征的问题。

2、为实现上述目的，本发明提供了一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，具体包括如下步骤：

3、s1，首先对原始轴承数据加入高斯噪声模拟实际工况环境，然后进行连续小波变换得到时频频谱，将对应的振动信号与时频频谱进行标注，构建多模态数据集。

4、s2，基于改进的1d-cnn提取时域故障特征，基于resnet50网络对时频频谱提取时频域故障特征。

5、s3，将提取到的故障特征通过concat操作以及多头自注意力层，使得不同尺度的故障特征能够互补融合。

6、s4，使用softmax回归函数对经步骤s4融合后的数据进行故障分类，完成故障诊断。

7、进一步地，步骤s1具体包括如下步骤：

8、s1.1，对原始轴承数据添加高斯噪声, 信噪比定义为：

9、；

10、其中，和分别表示信号功率和高斯噪声的功率。

11、s1.2，对于加入噪声后的一维振动信号进行连续小波变换，表示为：

12、；

13、其中，为小波生成函数，是时移系数，为尺度系数，且0，为时频频谱。

14、进一步地，步骤s2具体包括如下步骤：

15、s2.1，在改进1d-cnn网络中，假设输入信号为x，进行卷积运算如下：

16、；

17、其中，为卷积层中神经元的核，为一维卷积，为卷积层中神经元的偏置，为激活函数，为卷积运算后得到的特征数据。

18、s2.2，应用最大池化操作降维，可得：

19、；

20、其中，为最大池化操作，为降维后的特征数据。

21、s2.3，进行批归一化处理，可得：

22、；

23、其中，为批归一化处理，为批归一化处理后的特征数据。

24、s2.4，将输入至gru运算单元中，经过重置门与更新门的计算后输出对应的预测数据：

25、；

26、；

27、；

28、；

29、其中，为重置门，为激活函数，为重置门中输入矩阵的权重矩阵，为重置门中前一时刻隐藏状态的权重矩阵，为重置门的偏置项；为更新门，决定了与当前时刻候选信息的占比，为更新门中输入矩阵的权重矩阵，为计算候选隐藏状态时输入数据的权重矩阵，为更新门中的权重矩阵；为更新门的偏置项；为激活函数，代表哈达玛积，为候选隐藏状态的权重矩阵，为候选隐藏状态的偏置项，表示当前时刻的最终信息状态。

30、s2.5，将得到的预测数据继续输入到下一层的卷积池化中进行运算，运算过程如步骤s2.1、步骤s2.2和步骤s2.3所示，最后通过全连接层将提取到的特征矩阵转化为一维的特征向量：

31、；

32、其中，为全连接层，表示经过l层卷积池化层处理后的特征数据。

33、s2.6，在二维时频域中，采用resnet50网络进行时频域故障特征的提。

34、进一步地，步骤s3具体包括如下步骤：

35、s3.1，特征提取阶段完成后，将使用双模态数据作为输入：

36、；

37、；

38、其中，，分别表示时域故障特征和时频域故障特征，、分别表示由、构成的集合，,分别表示时域故障特征和时频域故障特征嵌入，为特征维度。

39、s3.2，得到时域和时频域故障特征后通过concat操作进行拼接：

40、；

41、其中，为拼接后的向量。

42、s3.3，定义时域与时频域数据间的相似度关系为，通过计算公式表示为：

43、；

44、。

45、使用softmax函数计算时域和时频域两模态特征权重值为：

46、；

47、其中，分别表示输入数据的查询向量，键向量和值向量；向量集合和查询向量作为输入，并使用3个参数矩阵将、投影到不同的空间中，表示向量集合的元素个数；表示输入的数据嵌入维度; 表示键向量的转置；表示缩放因子，其中是键向量的维度。

48、s3.4，对原始的做多次线性映射，将映射的结果输入到缩放点积注意力中，每次得到的结果称为，多头注意力计算式为：

49、；

50、；

51、其中， 分别为第i次线性映射的参数矩阵，为缩放点积注意力，为权重矩阵，为多头自注意力。

52、进一步地，步骤s4具体包括如下步骤：

53、s4.1，softmax回归函数将提取的特征映射到所有的故障类别上，使得每个故障类别对应一个概率，表示为:

54、；

55、其中为softmax回归函数的第个输入，为故障类别总数，为第个故障类别对应的概率。

56、s4.2，通过交叉熵损失函数计算softmax回归函数输出与真实标签之间的误差：

57、；

58、其中，为输入的真实故障标号，为对应第个故障类别的softmax回归函数的输出概率。

59、s4.3，通过计算相对于变量参数的偏导数来更新权重和偏差，其中，权重ω的更新过程表示为:

60、；

61、其中，为更新前的权重，为更新后的权重，为迭代更新次数，为更新速度的学习率。

62、本发明具有如下有益效果：

63、本发明针对实际工况下故障诊断容易受到噪声环境的影响，基于改进的1d-cnn网络和resnet50网络搭建了多模态故障诊断模型。针对单模态数据容易受到噪声影响的问题，本发明充分提取时域和时频域故障特征，基于多头注意力层融合多模态特征，完成故障分类，对于深度学习故障检测的实际应用具有重要的意义。

技术特征：

1.一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，其特征在于，具体包括如下步骤：

2.根据权利要求1所述的一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，其特征在于，步骤s1具体包括如下步骤：

3.根据权利要求1所述的一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，其特征在于，步骤s2具体包括如下步骤：

4.根据权利要求1所述的一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，其特征在于，步骤s3具体包括如下步骤：

5.根据权利要求4所述的一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，其特征在于，步骤s3还包括如下步骤：

6.根据权利要求1所述的一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，其特征在于，步骤s4具体包括如下步骤：

技术总结
本发明提供了一种基于多模态信息融合的噪声环境滚动轴承故障诊断方法，涉及故障检测技术领域，具体包括如下步骤：对原始轴承数据加入高斯噪声模拟实际工况环境，然后进行连续小波变换得到时频频谱，将对应的振动信号与时频频谱进行标注，构建多模态数据集；基于改进的1D‑CNN提取时域故障特征，基于ResNet50网络对时频频谱提取时频域故障特征；将提取到的故障特征通过concat操作以及多头自注意力层，使得不同尺度的故障特征能够互补融合；使用softmax回归函数对数据进行故障分类，完成故障诊断。本发明的技术方案克服现有技术中不能对轴承故障信号进行高质量特征提取的问题。

技术研发人员：常辉,张欣哲,张燕,龙钰如,李玉霞,张坤
受保护的技术使用者：山东科技大学
技术研发日：
技术公布日：2024/9/26