CN112149316A - 基于改进的cnn模型的航空发动机剩余寿命预测方法 - Google Patents

Abstract

本发明提供基于改进的CNN模型的航空发动机剩余寿命预测方法，属于故障预测与健康管理(Prognostics and Health Management,PHM)领域。首先对航空发动机退化特征进行一阶差分计算得到(新的)差分特征，并和原始特征一起来表征其退化。接着，通过在并行的CNN网络中嵌入SE模块来增强由卷积运算得到的有效特征并抑制无效特征或噪声的影响，从而提出改进的CNN模型。按照退化特征和剩余寿命之间的映射关系来构建样本的输入和输出，并用于训练模型。最后，对于在役航空发动机，按照同样的方式构建出测试样本的输入，形成测试集并输入到训练好的预测模型中，得到在役航空发动机的剩余寿命预测值。本发明所提出的方法计算过程简单有效，且预测精度很高。

Description

基于改进的CNN模型的航空发动机剩余寿命预测方法

技术领域

本发明是涉及航空发动机剩余寿命(Remaining Useful Life,RUL)预测方法，特别是涉及由差分技术生成新的特征、通过嵌入SE(Squeeze-and-Excitation)模块来对CNN(Convolutional Neural Network)网络不同通道提取的特征进行校准，在此基础上所构建的改进的并行CNN模型用来预测航空发动机的剩余寿命，属于故障预测与健康管理(Prognostics and Health Management,PHM)领域。

背景技术

在经济可承受性和维修保障模式改革需求的牵引下，PHM已成为航空发动机健康管理重点研究的关键技术之一。作为PHM的重要研究内容，剩余寿命预测旨在通过预知故障发生时刻以便提前采取恰当的维修措施，并最终为运行规划和维修决策提供支持。

传感器技术的飞速发展使得能够采集到大量的航空发动机监测数据，为航空发动机剩余寿命预测提供了坚实的数据基础。同时，深度学习技术由于其强大的非线性映射能力与表示学习能力，在自然语言处理、语音识别、自动变速器等领域取到了成功的应用。特别是CNN在其特征提取方面的优势，对于无论数据发生位移、扭曲、畸变等都具备保持数据信息的能力。基础的CNN网络经卷积后得到的特征表示，通常被认为在每个通道上的重要性都是相同的。为了提高CNN的性能，通过嵌入轻量级的SE模块来模拟卷积特征各个通道之间的作用关系，从而学习不同通道的权重大小。

发明内容

本发明要解决的技术问题在于：数据驱动的航空发动机剩余寿命预测的思想是通过从实时监测数据中提取到退化特征信息来评估其当前所处的健康状态，从而达到剩余寿命预测的目的，其中的关键在于如何从高维、高噪声数据中提取到高质量的退化特征。为了解决这一技术问题，本发明主要贡献体现在三个方面：(1)差分技术：通过对原始特征采用一阶差分计算得到的新特征称为差分特征，进一步刻画退化量变化量的信息；(2)通道注意力机制：在基础的CNN网络后面嵌入SE模块，通过模拟卷积特征各个通道之间的作用关系来学习特征权重，使得有效的特征增强，无效或效果小的特征减弱，从而明确提取特征的指向性；(3)并行结构：并行CNN的架构设计主要是为了分别对原始特征和新生成的差分特征分别进行卷积运算来进一步提取高质量的退化特征信息。因此，本发明提出基于改进的CNN模型的航空发动机剩余寿命预测方法。

为实现本发明之目的，采用以下技术方案予以实现：

基于改进的CNN模型的航空发动机剩余寿命预测方法，包括以下步骤：

步骤一，获取历史航空发动机失效数据，形成训练集X_L×V，其中，L＝L₁+L₂+…+L_N表示N个航空发动机样本总的运行轨迹长度，且N表示航空发动机样本个数，L_n表示第n个航空发动机样本的监测轨迹长度，n＝1,2,…,N，V表示航空发动机中传感器的个数；

步骤二，对V个监测变量进行特征选择，得到F个监测变量，原来的训练集降维为X_L×F；对F个监测变量按照“最小-最大”的方法进行标准化处理，计算公式如下：

其中，

表示第n个发动机信号j的第i个时刻的原始数据，

是

标准化后的值，而

和

分别表示信号j的最大值和最小值。

然后，将标准化后的变量做差分运算生成新的变量，和原始特征共同组成发动机性能退化的数据矩阵形式X_L×2F，且d阶差分运算的计算公式如下：

在本发明中，d默认取值为1，即进行一阶差分运算。通过一阶差分运算生成的新变量用来刻画系统退化的速度。

步骤三，构建嵌入SE模块的并行CNN网络架构

首先，建立监测变量X和剩余寿命RUL之间的映射关系，表示如下：

f:X→RUL i.e.,RUL(t)＝f(X_t-s+1,X_t-s+2,…,X_t)。

其中，t表示时刻，s表示时间步，X_i,i＝t-s+1,…,t表示时刻i所对应的监测数据，其长度为2F的向量形式。

在对航空发动机剩余寿命预测时，为了进一步提高CNN模型的预测性能，在分别对原始特征和差分特征通过卷积运算提取信息的基础上，通过嵌入SE模块来增强有效特征并抑制无效或噪声的影响。由于所收集到的数据来自于多个不同传感器监测到的时序数据，考虑到不同特征的差异性，在CNN中的卷积运算采用一维卷积运算，其目的是对同一特征上的数据才进行聚合操作，具体阐述如下：

确定输入的1维序列数据是x＝[x₁,x₂,…,x_N]，其中N表示序列长度，卷积层中的卷积运算定义为滤波器内核w，

和串联向量

的乘法运算，表示如下

其中，输出z_i是由卷积核w学得的特征，

表示非线性激活函数，b表示偏置，*^T表示转置操作，

表示一个从第i个数据点开始的窗口长度为F_L的序列数据，由

表示的如下数据连接操作：

因此，将经第j个卷积核操作后得到的特征图表示为：

其中，

表示第j个卷积核对序列

进行非线性操作

后的向量形式的输出。

在基础CNN后面接的SE模块包括压缩(Squeeze)和激励(Excitation)两部分，详述如下：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，通道c∈{1,2,…,C}，

是常规卷积操作后得到的通道c上的特征图，z_c表示通道c上特征图经平均池化后的结果，H、W、C分别表示多维特征图的高度、宽度和深度，

表示x经过压缩操作F_sq后的结果，s表示z经过激励操作F_ex后的结果，W₁、W₂分别表示降维参数和升维参数，δ为激活函数ReLU，σ为sigmoid函数。最后，所述模块的输出如下所示：

其中，

F_scale(x_c,s_c)表示标量s_c和特征图

的乘积，即经过SE模块得到的加权特征图的结果。

构造样本的输入和输出。对X_L×2F中每个发动机的退化轨迹数据分别采用窗口滑动法构建出训练样本的输入，且其对应输出的标签即剩余寿命RUL根据分阶线性函数进行修正，最终将得到成对的样本的输入和输出，其中窗口滑动法描述如下：

对于X_L×2F中第n个发动机的退化轨迹数据

表示为如下的二维矩阵形式

进一步，按照步长s＝1得到如下第n个发动机的第k个样本：

其中，N_t表示所构建样本时间窗口的长度。

其中分阶线性函数表达式如下：

其中，Label表示构建样本数据的标签，RUL表示获取到的历史航空发动机失效数据中的实际剩余寿命，R_early表示根据情况而设置的阈值，如在本发明中将其默认取值为125。

步骤四，对于待进行剩余寿命预测的在役航空发动机的监测数据，构建出测试样本的输入，形成测试集。将构建的测试集输入到训练好的航空发动机剩余寿命预测模型中，得到在役航空发动机的剩余寿命预测值。

本发明的优点在于：

以航空发动机的剩余寿命RUL为预测目标，首先，建立了用以表征系统退化过程的特征变量与预测目标之间的映射关系，且进一步采用差分技术生成新的特征变量以便提供更多的退化信息；其次，通过在CNN网络中嵌入SE模块来对不同通道学习到的特征进行校准，使网络从全局信息出发来选择性的放大有价值的特征通道并且抑制无用的特征通道。因此，在利用通道注意力机制的思想下，对于原始特征和差分特征构建出改进的并行CNN网络模型来学习上述这一映射关系。

附图说明

为了更清楚地说明本发明实施例中或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一实施例中基于差分技术和并行CNN模型的航空发动机剩余寿命预测方法的流程图；

图2为改进的CNN模型示意图；

图3为SE模块的示意图；

图4为一维卷积运算示意图；

图5为本发明一实施例中航空发动机结构和仿真模块逻辑关系图；

图6为本发明一实施例中航空发动其21个传感器信号散点图；

图7为改进的CNN模型的网络结构图；

图8为100个测试发动机按RUL排序后的预测结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造劳动前提下所获得的所有其它实施例，均属于本发明保护的范围。

参照图1，图1为本发明一实施例中航空发动机剩余寿命预测方法的流程图，包括以下步骤：

步骤一，获取历史航空发动机失效数据，形成训练集X_L×V，其中，L＝L₁+L₂+…+L_N表示N个航空发动机样本总的运行轨迹长度，且N表示航空发动机样本个数，L_n表示第n个航空发动机样本的监测轨迹长度，n＝1,2,…,N，V表示航空发动机传感器的个数；

步骤二，对V个监测变量进行特征选择，得到F个监测变量，原来的训练集降维为X_L×F。对F个监测变量按照“最小-最大”的方法进行标准化处理，计算公式如下：

其中，

表示第n个发动机信号j的第i个时刻的原始数据，

是

标准化后的值，而

和

分别表示信号j的最大值和最小值；

然后，将标准化后的变量做差分运算生成新的变量，和原始特征共同组成发动机性能退化的数据矩阵形式X_L×2F，且d阶差分运算的计算公式如下：

在本发明中，d默认取值为1，即进行一阶差分运算，通过一阶差分运算生成的新变量用来刻画系统退化的速度；

步骤三，构建嵌入SE模块的并行CNN网络架构

首先，建立监测变量X和剩余寿命RUL之间的映射关系，表示如下：

f:X→RUL i.e.,RUL(t)＝f(X_t-s+1,X_t-s+2,…,X_t)。

其中，t表示时刻，s表示时间步，X_i,i＝t-s+1,…,t表示时刻i所对应的监测数据，其长度为2F的向量形式；

在对航空发动机剩余寿命预测时，改进的CNN模型示意图如图2所示，为了进一步提高CNN模型的预测性能，在分别对原始特征和差分特征通过卷积运算提取信息的基础上，通过嵌入SE模块来增强有效特征并抑制无效或噪声的影响。由于所收集到的数据来自于多个不同传感器监测到的时序数据，考虑到不同特征的差异性，在CNN中的卷积运算采用图3中的一维卷积运算，以对同一特征上的数据才进行聚合操作，具体阐述如下：

确定输入的1维序列数据是x＝[x₁,x₂,…,x_N]，其中N表示序列长度，卷积层中的卷积运算定义为滤波器内核w，

和串联向量

的乘法运算，表示如下

其中，输出z_i是由卷积核w学得的特征，

表示非线性激活函数，b表示偏置，*^T表示转置操作，

表示一个从第i个数据点开始的窗口长度为F_L的序列数据，由

表示的如下数据连接操作：

因此，将经第j个卷积核操作后得到的特征图表示为：

其中，

表示第j个卷积核对序列

进行非线性操作

后的向量形式的输出。

在基础的CNN后面接的SE模块如图4所示，包括压缩(Squeeze)和激励(Excitation)两部分，详述如下：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，通道c∈{1,2,…,C}，

是常规卷积操作后得到的通道c上的特征图，z_c表示通道c上特征图经平均池化后的结果，H、W、C分别表示多维特征图的高度、宽度和深度，

表示x经过压缩操作F_sq后的结果，s表示z经过激励操作F_ex后的结果，W₁、W₂分别表示降维参数和升维参数，δ为激活函数ReLU，σ为sigmoid函数。最后，该模块的输出如下所示：

其中，

F_scale(x_c,s_c)表示标量s_c和特征图

的乘积，即经过SE模块得到的加权特征图的结果。

构造样本的输入和输出。对X_L×2F中每个发动机的退化轨迹数据分别采用窗口滑动法构建出训练样本的输入，且其对应输出的标签即剩余寿命RUL根据分阶线性函数进行修正，最终将得到成对的样本的输入和输出，其中窗口滑动法描述如下：

对于X_L×2F中第n个发动机的退化轨迹数据

表示为如下的二维矩阵形式

进一步，按照步长s＝1得到如下第n个发动机的第k个样本：

其中，N_t表示所构建样本时间窗口的长度。

其中分阶线性函数表达式如下：

其中，Label表示构建样本数据的标签，RUL表示获取到的历史航空发动机失效数据中的实际剩余寿命，R_early表示根据情况而设置的阈值，如在本发明中将其默认取值为125。

步骤四，对于待进行剩余寿命预测的在役航空发动机的监测数据，构建出测试样本的输入，形成测试集。将构建的测试集输入到训练好的航空发动机剩余寿命预测模型中，得到在役航空发动机的剩余寿命预测值。

下面结合一具体应用实例对本发明的实现过程以及预测效果进行说明：

本具体实施中，采用的是NASA提供关于航空发动机的CMAPSS仿真数据集。CMAPSS是美国NASA的格林研究中心研发了的一款模块化的航空推进系统仿真软件，旨在模拟出飞机由正常到故障的整个退化过程，为预测模型提供数据基础。仿真实验是在MatlabSimulink工具下创建的，仿真了具有90000磅推力的发动机模型，程序包括一个大气模型和电管理系统，涉及风扇、低压压缩机(LPC)、高压压缩机(HPC)、高压涡轮机(HPC)和低压涡轮机(LPT)五个部件模块。图5中显示了航空发动机仿真实验中的五个模块的逻辑结构关系。

该开源数据一共包含四组仿真数据，本发明具体实施过程分别选取“train_FD001”和“test_FD001”分别作为训练集和测试集，其中，每个子数据集含有26列，即包括编号、运行周期、环境设置1、环境设置2、环境设置3以及21个监测指标，而21个监测数据用于输出仿真实验中发动机退化过程中的信号数据，所代表的具体含义描述如表1所示。

表1.发动机监测指标描述

应用本发明方法进行寿命预测的具体过程如下：

步骤一，从第一组仿真数据集中的train_FD001.txt文件中可获取航空发动机失效数据X_20631×26，指的是从某一开始时刻到最终故障的全过程数据。20631行是100台发动机运行周期的总时长，26列包括编号、运行周期、环境设置1、环境设置2、环境设置3以及21个监测指标。其中，21个监测指标的可视化结果如图6所示。

步骤二，从图6中21个监测变量在整个寿命周期中的变化趋势将传感器数据大致分为两类：常值的和变化的(即递增或递减趋势的)。在对发动机退化过程的刻画上，常值的信号显然是不起作用的，故在后期模型的输入变量上将不予考虑。另外，Sensor 6同样被认为对刻画发动机退化现象是没有贡献的。因此，选取其中的14个指标作为RUL预测模型的原始输入特征，其编号分别为2、3、4、7、8、9、11、12、13、14、15、17、20和21。

接着，对选择的14个监测变量按照“最小-最大”的方法进行标准化处理，计算公式如下：

其中，

表示第n个发动机信号j的第i个时刻的原始数据，

是

标准化后的值，而

和

分别表示信号j的最大值和最小值；

然后，将标准化后的变量做一阶差分运算生成新的变量，和原始特征共同组成发动机性能退化的数据矩阵形式X_20631×28，一阶差分运算的计算公式如下：

步骤三，对于改进的CNN模型的参数设置后的网络结构图如图7所示。将由训练集构建的样本输入到所述网络架构中，训练轮次epoch＝200且损失函数cost＝RMSE+α·Score(α＝0.05)，得到训练好的航空发动机剩余寿命预测模型。其中，RMSE和Score的表达式如下所示：

其中，n表示样本个数，d_i＝RUL′_i-RUL_i表示第i个样本预测值和真实值之间的误差。

对于训练集中的每台发动机数据，按照时间窗方法构造出尺寸大小为N_t×N_f的样本输入，其中N_t＝30,N_f＝28；采用分阶线性函数方法对真实的剩余寿命进行重置形成样本输出，假设在初始阶段具有恒定的RUL值R_early＝125。

步骤四，对测试集test_FD001.txt中的数据经步骤二的数据预处理后，按照步骤三中相同的方法构建出预测模型的样本输入。将100台测试发动机的样本输入到训练好的航空发动机剩余寿命预测模型中，得到预测结果，如图8。

综上，本发明提建立了用以表征系统退化过程的特征变量与预测目标(RUL)之间的映射关系；根据差分技术来获得新生成的特征用以刻画系统退化的速度信息，而嵌入SE模块的并行CNN结构的设计则是为了分别从原始特征和新生成的特征中提取到高质量的退化信息，且进一步对特征图进行加权，用所构建网络模型来学习提出的映射关系。对原始监测数据进行预处理并构建出用于输入所提模型的样本，将所构建的样本输入到设置好的模型中训练得到最终的预测模型；最后将测试样本输入到训练好的模型中得到预测结果和预测性能指标。本发明通过上述步骤很好的解决了数据驱动的航空发动机剩余寿命预测问题，有助于建立起大数据和智能系统健康管理连接的桥梁。相比现有方法，本发明所提出的算法计算过程简单有效。通过上述具体实施方式可知，本发明所提出的算法预测精度很高。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当视权利要求书界定的范围为准。

Claims (3)

1.基于改进的CNN模型的航空发动机剩余寿命预测方法，其特征在于，包括以下步骤：

步骤一，获取历史航空发动机失效数据，形成训练集X_L×V，其中，L＝L₁+L₂+…+L_N表示N个航空发动机样本总的运行轨迹长度，N表示航空发动机样本个数，L_n表示第n个航空发动机样本的监测轨迹长度，n＝1,2,…,N，V表示航空发动机中传感器的个数；

步骤二，对V个监测变量进行特征选择，得到F个监测变量，原来的训练集降维为X_L×F；对F个监测变量按照“最小-最大”的方法进行标准化处理，计算公式如下：

其中，

表示第n个发动机信号j的第i个时刻的原始数据，

是

标准化后的值，而

和

分别表示信号j的最大值和最小值；

然后，将标准化后的变量做差分运算生成新的变量，最终得到发动机性能退化的数据矩阵X_L×2F，且d阶差分运算的计算公式如下：

步骤三，构建嵌入SE模块的并行CNN网络架构

首先，建立监测变量X和剩余寿命RUL之间的映射关系，表示如下：

f:X→RUL i.e.,RUL(t)＝f(X_t-s+1,X_t-s+2,…,X_t)；

其中，t表示时刻，s表示时间步，X_i,i＝t-s+1,…,t表示时刻i所对应的监测数据，其长度为2F的向量形式；

在对航空发动机剩余寿命预测时，为了进一步提高CNN模型的预测性能，在分别对原始特征和差分特征通过卷积运算提取信息的基础上，通过嵌入SE模块来增强有效特征并抑制无效或噪声的影响；由于所收集到的数据来自于多个不同传感器监测到的时序数据，考虑到不同特征的差异性，在CNN中的卷积运算采用一维卷积运算，其目的是对同一特征上的数据才进行聚合操作，具体阐述如下：

确定输入的1维序列数据是x＝[x₁,x₂,…,x_N]，其中N表示序列长度，卷积层中的卷积运算定义为滤波器内核w，

和串联向量

的乘法运算，表示如下

其中，输出z_i是由卷积核w学得的特征，

表示非线性激活函数，b表示偏置，*^T表示转置操作，

表示一个从第i个数据点开始的窗口长度为F_L的序列数据，由

表示的如下数据连接操作：

因此，将经第j个卷积核操作后得到的特征图表示为：

其中，

表示第j个卷积核对序列

进行非线性操作

后的向量形式的输出；

在基础CNN后面接的SE模块包括压缩(Squeeze)和激励(Excitation)两部分，详述如下：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，通道c∈{1,2,…,C}，

是常规卷积操作后得到的通道c上的特征图，z_c表示通道c上特征图经平均池化后的结果，H、W、C分别表示多维特征图的高度、宽度和深度，

表示x经过压缩操作F_sq后的结果，s表示z经过激励操作F_ex后的结果，W₁、W₂分别表示降维参数和升维参数，δ为激活函数ReLU，σ为sigmoid函数；最后，所述模块的输出如下所示：

其中，

F_scale(x_c,s_c)表示标量s_c和特征图

的乘积，即经过SE模块得到的加权特征图的结果；

构造样本的输入和输出，对X_L×2F中每个发动机的退化轨迹数据分别采用窗口滑动法构建出训练样本的输入，且其对应输出的标签即剩余寿命RUL根据分阶线性函数进行修正，最终将得到成对的样本的输入和输出，其中窗口滑动法描述如下：

对于X_L×2F中第n个发动机的退化轨迹数据

表示为如下的二维矩阵形式

进一步，按照步长s＝1得到如下第n个发动机的第k个样本：

其中，N_t表示所构建样本时间窗口的长度；

其中分阶线性函数表达式如下：

其中，Label表示构建样本数据的标签，RUL表示获取到的历史航空发动机失效数据中的实际剩余寿命，R_early表示根据情况而设置的阈值；

步骤四，对于待进行剩余寿命预测的在役航空发动机的监测数据，构建出测试样本的输入，形成测试集；将构建的测试集输入到训练好的航空发动机剩余寿命预测模型中，得到在役航空发动机的剩余寿命预测值。

2.如权利要求1所述的基于改进的CNN模型的航空发动机剩余寿命预测方法，其特征在于，所述步骤二中d取值为1，即进行一阶差分运算，通过一阶差分运算生成的新变量用来刻画系统退化的速度。

3.如权利要求1所述的基于改进的CNN模型的航空发动机剩余寿命预测方法，其特征在于，所述步骤三中R_early取值为125。

Images