一种基于多模态深度学习的发动机剩余寿命预测方法

本发明属于发动机，具体涉及一种基于多模态深度学习的发动机剩余寿命预测方法。

背景技术：

1、发动机是航空、航天、汽车等领域中至关重要的设备之一。随着发动机使用时间的增长和工作环境的恶劣，发动机的寿命会逐渐减少，而发动机寿命的预测可以帮助维护人员在维修和更换设备之前做好准备，减少意外事故的发生。

2、在发动机剩余寿命预测的研究中，传统方法通常采用机械振动信号、油液分析等方式来评估发动机的健康状况，但这些方法存在着精度不高、成本较高等缺点。近年来，随着深度学习的兴起，利用深度学习进行发动机剩余寿命预测的研究也逐渐受到了广泛的关注。

3、然而，现有的基于多模态深度学习的发动机剩余寿命预测方法易存在以下问题：(1)单一模态数据的局限性：现有方法大多只使用了某一种或少数几种数据模态进行预测，无法充分利用发动机多种类型的数据来提高预测精度；

4、(2)特征提取能力不足：现有的特征提取方法难以提取到发动机复杂多变的内部状态信息，对于某些异常情况的预测效果不佳；

5、(3)模型复杂度高：现有方法中使用的多个模型需要独立训练和融合，增加了系统的复杂度和训练的难度，并且预测精度有限，现有方法往往无法准确预测发动机的剩余寿命，误差较大，无法满足实际工程需求；以及

6、(4)如何选择最合适的深度学习网络结构，如何处理不同模态数据之间的融合等问题。

技术实现思路

1、本发明在于提供一种基于多模态深度学习的发动机剩余寿命预测方法，采用多模态融合的方式，通过将不同模态的数据进行多模态融合，充分挖掘数据的潜在关联性，以解决现有技术在发动机寿命预测中存在的准确性不高、依赖专家经验和数据量较小等技术问题。提高预测的准确性和鲁棒性。同时，利用卷积神经网络和门控机制glu构建模型，提高模型的自适应能力。

2、一种基于多模态深度学习的发动机剩余寿命预测方法，包括以下步骤：

3、s1：获取航空发动机全生命周期的多模态数据；

4、s2：对数据进行清洗和预处理；

5、s3：构建通道空间混合注意力层；

6、s4：使用卷积神经网络、门控机制和多条局部连接构建训练的模型；

7、s5：使用构建的模型进行训练，保存模型。

8、进一步地，所述步骤s2中对数据的清洗和预处理包括：

9、s21:对传感器的数据进行筛选，剔除与发动机退化无关的数据和剔除不随发动机运行的工作循环数变化数据；

10、s22：建立平滑窗口，滑动平均滤波对周期性的噪声具有抑制作用，在当前时刻的附近建立一个一维窗口，以该滑动窗口内的平均值作为当前时刻的值，其具体公式为：

11、

12、其中，表示滤波得到的t时刻值，xt为t时刻的测量值，m表示方法滑动窗口长度；

13、s23:对传感器的数据进行归一化处理，将各种传感器的数据范围限定在[0，1]，其具体的公式为：

14、

15、其中，xi(t)表示发动机物理状态的第i个传感器在t时刻监测的数据，max(xi)表示第i个传感器所有样本中的最大值，min(xi)表示第i个传感器所有样本中的最小值，x′i(t)表示第i个传感器归一化后的数据；

16、s24:使用皮尔逊系数计算传感器数据与发动机全周期数据的相关性，其相关权重系数作为多模态输入的初始权重，加快模型收敛速度，其公式为：

17、

18、其中，和分别表示时间序列xi和yi的均值，rxy指的是x和y的皮尔逊相关系数；

19、s25:对处理后的数据进行划分样本，以一定的比例划分训练集、验证集和测试集，每个样本对应的剩余寿命值为最后一个时刻对应的剩余寿命。

20、进一步的，所述步骤s3中通道空间混合注意力层包括通道注意力分支和空间注意力分支：

21、在通道注意力分支中，通过一个全局平均池化层得到每个通道的全局平均值，并经过两个全连接层分别学习通道的权重系数，将通道权重系数乘以原始的特征图，即可得到加权后的特征图，从而实现通道注意力机制；

22、在空间注意力分支中，通过全局平均池化层和全连接层学习每个空间位置的权重系数，将权重系数应用于原始的特征图上，即可得到加权后的特征图，从而实现空间注意力机制；

23、将通道注意力分支和空间注意力分支得到的特征图进行按位加权融合，得到最终的注意力加权结果。

24、进一步地，所述通道注意力分支为不同的通道特征分配了额外的权重信息，包括：

25、r1:利用全局平均和最大平均，将各部分映射到矢量，并将其长度作为特征维度，即：

26、

27、其中，xc(i,j)表示第c个通道xc在空间位置(i,j)的值，hap和hmp分别表示全局平均池化和最大池化函数，表示输入的特征图，gac和gmc使用全局平均和最大平均将各部分映射到矢量上；

28、r2:特征图从c×h×w到c×1×1改变形状，为了获得不同通道的权重函数，特征图通过了两个全连接层、一个relu激活函数层δ和一个sigmoid层σ，即：

29、

30、其中，caac，camc分别是平均池化和最大池化的通道注意力权重，cac是最后输出的通道注意力权重，w1,w2,w3,w4表示全连接层的权重，表示元素相加；

31、r3:通道注意力的输出fc*为：

32、

33、其中，表示元素相乘。

34、进一步地，所述空间注意力分支采用两个卷积层进行空间信息融合，获得空间维度上的基本特征，特征图fc*依次成功通过两个卷积层、批量归一化层η、relu函数层和sigmoid函数层，

35、空间注意力权重pa为：

36、pa＝σ(η(conv(δ(η(conv(fc*))))))，

37、空间注意力的输出为：

38、

39、进一步地，所述步骤s4中门控机制利用cnn模型的并行性，在cnn之后增加一个输出阈值，即：

40、

41、其中，w和v表示不同的卷积核，b和c表示偏差，h表示门控机制函数。

42、与现有技术相比，本发明有以下优点：

43、(1)传统的剩余寿命预测方法通常只使用单一类型的传感器数据，而本发明基于多模态深度学习的方法可以同时利用多种不同类型的传感器数据，如温度、压力、振动等，从不同角度全面分析发动机的状态信息，提高了预测精度和可靠性；结合多种传感器数据，提高了剩余寿命预测的精度和鲁棒性；

44、(2)采用了门控机制glu和cpam混合注意力层，优化了特征提取和建模过程；glu可以在保证模型复杂度的情况下，减少模型的参数数量，提高模型的泛化能力；cpam混合注意力层可以对不同特征图的通道和空间信息进行加权，提高模型对于不同特征的关注度和特征表达能力，进一步提升了剩余寿命预测精度。