一种基于注意力机制Dense-GRU网络的航空发动机剩余使用寿命预测方法

一种基于注意力机制dense-gru网络的航空发动机剩余使用寿命预测方法
技术领域
1.本发明属于航空发动机剩余寿命预测技术领域，具体涉及一种基于注意力机制dense-gru网络的航空发动机剩余使用寿命预测方法。


背景技术：

2.剩余使用寿命预测是通过分析发动机历史性能衰退的趋势，对发动机的剩余寿命进行估计，准确的剩余使用预测可以提高设备或者系统的可靠性和安全性，防止致命故障并降低维护成本，为航空公司制定发动机机队的长期维修计划提供支持。
3.目前，剩余使用寿命预测分为两个方向：基于物理退化模型和基于数据驱动。基于物理退化模型大多数采用数学过程进行描述，例如使用代数方程和微分方程来描述退化过程，从而进行剩余寿命预测。这种方法对设备退化过程的先验知识依赖性过高，由于系统退化过程的复杂性和随机性，很难通过数学模型准确描述并建模。基于数据驱动的方法从系统状态的监测数据出发，建立模型来探索传感器监测数据与系统退化状态之间的潜在关系。随着计算机和传感器技术的发展，基于数据驱动的方法在剩余使用寿命预测研究领域逐渐成为主流，它可以有效地降低研究成本并挖掘退化数据和剩余使用寿命之间的复杂关系。
4.随着深度学习的在计算机视觉领域取得巨大成功，剩余使用寿命预测的研究方法也逐渐从传统机器学习方法转向深度学习方法，神经网络方法逐渐成为基于数据驱动的剩余使用寿命预测方法的主流。目前，神经网络预测剩余使用寿命还存在以下问题：(1)航空发动机的监测数据为多个传感器时间序列数据，在处理多元时间序列时，往往忽略了传感器之间的重要程度，从而降低了预测的准确性。(2)深度神经网络大多采用堆叠多层的深层结构，这种结构只能利用最后一层提取的高级特征来预测剩余使用寿命，其他层的特征全部被忽略导致信息丢失。为了解决上述问题，提出了一种基于注意力机制dense-gru网络的航空发动机剩余使用寿命预测方法。


技术实现要素：

5.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于注意力机制dense-gru网络的航空发动机剩余使用寿命预测方法。首先，提出的模型在处理发动机的多维传感器数据中加入注意力机制，提高了对剩余使用寿命预测影响大的传感器数据的权值，使得网络模型更加注意对预测更有效的传感器。其次，网络主体部分为dense-gru网络，加强了多维时间序列特征的传播和重用，同时有效避免了时间序列深层网络的梯度消失问题。提出的方法充分考虑了传感器的差异对剩余使用寿命预测的影响，充分挖掘和利用多维传感器序列的退化信息，有效提升了剩余使用寿命预测的准确性。
6.为解决上述技术问题，本发明采用的技术方案是：一种基于注意力机制dense-gru网络的航空发动机剩余使用寿命预测方法，其特征在于，包括以下步骤：
7.步骤一、数据预处理：
8.步骤101：设发动机退化过程中包含时刻n个时刻，输入完整退化过程中m个传感器退化序列数据x
o1
＝[x1,x2,
…
,xm]，第j个传感器的退化序列表示为剔除与性能退化过程相关程度很小或者整个退化周期参数基本不变的传感器数据，最终保留k个传感器退化数据 x
o2
＝[x1,x2,
…
,xk]，k小于m；
[0009]
步骤102：对输入的k个传感器退化数据进行归一化处理，根据公式计算各个传感器归一化后的数据x
nor
＝[x1,x2,
…
,xk]，其中第j 个传感器归一化后的数据为
[0010]
步骤103：对归一化后的k个传感器数据x
nor
＝[x1,x2,
…
,xk]进行训练样本划分。采用滑动窗口的方法划分样本，样本的宽度为传感器维数k，长度为 n，样本表示为x＝[x1,x2,
…
,xk]，其中每个样本对应的剩余寿命值为样本最后一个时刻的剩余寿命值y
rul
；
[0011]
步骤二、构建注意力机制层：
[0012]
步骤201：根据公式h1＝relu(w1·
x+b1)建立注意力机制层的第一个线性层，其中x＝[x1,x2,
…
,xk]为输入样本，h1为第一个线性层的输出，w1和 b1表示第一个线性层的权重和偏置，激活函数采用relu函数；
[0013]
步骤202：根据公式h2＝relu(w2·
h1+b2)建立注意力机制层的第二个线性层，其中h1为第一个线性层的输出，h2为第二个线性层的输出，w2和b2表示第二个线性层的权重和偏置，激活函数采用relu函数；
[0014]
步骤203：根据公式w
x
＝softmax(h2)建立注意力机制层的权重生成层，其中h2为第二个线性层的输出，w
x
表示生成的权重，计算函数采用softmax函数；根据公式x
att
＝w
x
·
x将初始输入样本与生成的权重进行加权，最终生成注意力机制层的输出x
att
；
[0015]
步骤三、构建整体模型并训练：
[0016]
步骤301：整体模型包含l层gru单元层，采用密集连接的形式将l层 gru单元连接起来；根据公式计算第d层gru单元的输出，其中当前gru层的输入是前面d-1层的输出， d＝1,2,
…
l，最终计算得到最后一层gru单元的输出转
[0017]
步骤302：根据公式计算得到最终的剩余使用寿命预测值，其中为注意力机制dense-gru模型的输出，fc表示全连接层，表示最终的剩余寿命预测值；
[0018]
步骤303：根据公式计算模型的训练损失，其中表示模型的预测输出，y
t
表示样本的真实输出，s表示样本个数；模型激活函数选择relu函数，优化器选择为rmsprop优化器；
[0019]
步骤四、使用模型进行剩余使用寿命预测：
[0020]
步骤401：设待预测的样本为x
pre
＝[x1,x2,
…
,xk]，第j个传感器的退化序列表示为其中t表示样本的长度；根据步骤102对样本数据进行归一化，根据步骤103将样本的尺寸与模型输入尺寸匹配，生成输入样本x'
pre
＝[x1',x'2,
…
x'k]，第j个传感器的退化序列表示为其中n表示模型输入样本的长度；
[0021]
步骤402：将待测样本x'
pre
＝[x1',x'2,
…
x'k]输入到步骤三训练好的模型中，计算得出t+1时刻预测航空发动机的剩余使用寿命值
[0022]
本发明与现有技术相比具有以下优点：
[0023]
1、本发明提出的模型在处理多维传感器数据中加入注意力机制，提高了对剩余使用寿命预测影响大的传感器数据的权值，使得网络模型更加注意对预测更有效的传感器。
[0024]
2、本发明提出的网络模型主体部分以gru单位为基础，将密集连接 dense结构与gru单元结合起来组成dense-gru网络，充分挖掘和利用多维传感器序列的退化信息，加强了特征的传播和重用。
[0025]
综上所述，本发明提出的基于注意力机制dense-gru网络模型，充分考虑了传感器的差异对剩余使用寿命预测的影响，同时提出的网络模型有效挖掘和利用多维传感器序列的退化信息，加强了特征的传播和重用，有效避免了时间序列深层网络的梯度消失问题，为基于数据驱动的航空发动机剩余使用寿命预测提供了新的方案。
[0026]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0027]
图1为本发明的流程框图
[0028]
图2为注意力机制层图
[0029]
图3为模型整体结构图
[0030]
图4为实验结果mae的箱形图
[0031]
图5为fd001数据集生成的样本集
[0032]
图6为不同方法的实验结果
具体实施方式
[0033]
下面结合实施例对本发明的方法作进一步详细的说明。
[0034]
如图1所示，本发明包括以下步骤：
[0035]
步骤一、数据预处理：
[0036]
为了验证提出了方法的有效性，采用nasa公开的c-mapss数据集进行验证。采用c-mapss数据集中的fd001数据集进行训练模型和测试。
[0037]
步骤101：对归一化后的k个传感器数据x
nor
＝[x1,x2,
…
,xk]进行训练样本划分。采用滑动窗口的方法划分样本，样本的宽度为传感器维数k，长度为 n，样本表示为x＝[x1,x2,
…
,xk]，其中每个样本对应的剩余寿命值为样本最后
一个时刻的剩余寿命值y
rul
；
[0038]
实际使用过程中，滑动窗口法选择的窗口长度为测试集中发动机不完整退化数据的长度最小值，即在测试集中100台航空发动机的不完整退化数据中，选择退化周期最短的长度，作为生成样本的滑动窗口长度。在fd001数据集中，传感器最终筛选为16维传感器，测试集选择的最短长度为31个飞行循环，所以生成样本的长度为31，维度为16，样本集如图5所示。
[0039]
步骤二、构建注意力机制层：
[0040]
步骤201：根据公式h1＝relu(w1·
x+b1)建立注意力机制层的第一个线性层，其中x＝[x1,x2,
…
,xk]为输入样本，h1为第一个线性层的输出，w1和 b1表示第一个线性层的权重和偏置，激活函数采用relu函数；
[0041]
步骤202：根据公式h2＝relu(w2·
h1+b2)建立注意力机制层的第二个线性层，其中h1为第一个线性层的输出，h2为第二个线性层的输出，w2和b2表示第二个线性层的权重和偏置，激活函数采用relu函数；
[0042]
步骤203：根据公式w
x
＝softmax(h2)建立注意力机制层的权重生成层，其中h2为第二个线性层的输出，w
x
表示生成的权重，计算函数采用softmax函数；根据公式x
att
＝w
x
·
x将初始输入样本与生成的权重进行加权，最终生成注意力机制层的输出x
att
；
[0043]
实际使用过程中，注意力机制层的如图2所示，初始输入经过两个激活函数为relu的线性层,在通过softmax生成一系列权重，最终生成的权重与初始输入加权作为注意力机制层的输出。
[0044]
步骤三、计算多源传感器状态距离表征退化状态：
[0045]
步骤301：整体模型包含l层gru单元层，采用密集连接的形式将l层 gru单元连接起来；根据公式计算第d层gru单元的输出，其中当前gru层的输入是前面d-1层的输出， d＝1,2,
…
l，最终计算得到最后一层gru单元的输出转
[0046]
步骤302：根据公式计算得到最终的剩余使用寿命预测值，其中为注意力机制dense-gru模型的输出，fc表示全连接层，表示最终的剩余寿命预测值；
[0047]
步骤303：根据公式计算模型的训练损失，其中表示模型的预测输出，y
t
表示样本的真实输出，s表示样本个数；模型激活函数选择relu函数，优化器选择为rmsprop优化器；
[0048]
实际使用过程中，整体模型如图3所示，网络模型在输入端加入注意力机制层，在网络中以gru网络为基础单元，不同gru单元块之间采用密集连接结构形成dense-gru，最终输出通过一个全连接层得到最终的剩余使用寿命值。
[0049]
步骤四、使用模型进行剩余使用寿命预测：
[0050]
步骤401：设待预测的样本为x
pre
＝[x1,x2,
…
,xk]，第j个传感器的退化序列表示为
其中t表示样本的长度；根据步骤102对样本数据进行归一化，根据步骤103将样本的尺寸与模型输入尺寸匹配，生成输入样本x'
pre
＝[x1',x'2,
…
x'k]，第j个传感器的退化序列表示为其中n表示模型输入样本的长度；
[0051]
步骤402：将待测样本x'
pre
＝[x1',x'2,
…
x'k]输入到步骤三训练好的模型中，计算得出t+1时刻预测航空发动机的剩余使用寿命值
[0052]
实际使用过程中，利用fd001数据集进行实验，为了验证提出方法的有效性，选择了长短时记忆网络(lstm)、门控循环单元网络(gru)、双向长短时记忆网络(bi-lstm)和残差网络(resnet)等经典方法作为对比实验，评价准则选择平均绝对误差mae、均方根误差rmse和score指标，score 指标是针对与剩余寿命预测的模型定义的，score值越小表明模型的准确性越高。表2展示了不同的方法在fd001数据集中的测试集上的实验结果，本发明提出的方法mae为18.4415、rmse为22.9736、score为13.9694，结果表现最好。图4绘制了不同模型在fd001数据集下mae指标的箱型图，箱型图可以表示不同模型的剩余寿命预测结果的误差大小和分散程度，矩形框和虚线段表示mae的变化程度，矩形框和虚线段的长度越长，说明该模型的预测结果越分散，即该模型的预测稳定性越差，其中矩形框中间的线表示 mae的中位数，线的值越小，表明模型的预测误差越小。从结果来看，同样证明了本发明的有效性。
[0053]
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。