CN109522600A - 基于组合深度神经网络的复杂装备剩余使用寿命预测方法 - Google Patents

Abstract

本发明公开了一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法。主要步骤为：获取复杂装备的多传感数据；进行特征选择获得有效测量数据；预处理得到多个切片样本；建立融合了注意力机制和深度神经网络的神经网络回归模型；将切片样本与其对应的标签输入到神经网络回归模型中离线训练神经网络回归模型；将待预测的多传感数据的切片样本输入到训练好的神经网络回归模型中，得到复杂装备的剩余使用寿命。本发明考虑到了多传感器信号的数据特征，充分挖掘了数据中的局部特征和时序信息，预测精度高，适用性广，能广泛应用于各种复杂装备中。

Description

基于组合深度神经网络的复杂装备剩余使用寿命预测方法

技术领域

本发明涉及了一种复杂装备性能预测方法，尤其是涉及了一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，属于系统健康管理领域。

背景技术

在工业上，对复杂装备的剩余使用寿命预测是非常有意义的，其能提供视情维护能力，为维修活动提供指导。还可以缩减检查成本、降低全寿命周期的成本，避免不必要的开销。最重要的是，通过寿命预测可以防止严重故障，能为工业活动和人员安全提供必要的保障。

复杂装备在工业和生产活动起着非常重要的作用。例如发动机是航空领域发展的核心部件，也是非常容易发生故障的部件之一，若发动机发生致命性故障，对于飞行器来说后果是非常严重的。因此研究出一种针对复杂装备的剩余使用寿命预测方法是非常必要的。

目前，基于数据驱动的剩余使用寿命预测已经成为复杂装备视情维护中常用的方法。但基于数据驱动的方法也有较大局限性，在实际应用中复杂装备的典型数据很难获取，即使能获取，这些数据也可能是不完整的且含有一定噪声，这就对模型的处理能力要求较高。从现有预测方法来看，预测模型的数据处理能力不强、预测准确性不高是基于数据驱动的故障预测亟待解决的问题。

目前主要的方法有支持向量机、相关向量机、隐马尔科夫模型、卷积神经网络、循环神经网络、长短期记忆网络及一些衍生方法。正如上文提到的，这些方法本身也有一定局限性，预测效果并没有得到最佳。具体原因有以下几点，有些方法本身对大规模数据不适用，预测精度较低，例如支持向量机和相关向量机等。此外，卷积神经网络虽然可以提取数据的重要特征，去除数据中的噪声，但其无法很好地获取传感器信号中的有用时序信息，预测精度不够理想。循环神经网络虽然能很好地处理时序信号，但其存在梯度消失问题，大大影响了模型的预测能力。综上所示，预测模型的数据处理能力不强和预测精度低是现有基于数据驱动的寿命预测技术的主要缺点和不足。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法。该方法能克服上述已有方法的不足，提高剩余使用寿命预测精度，为复杂装备维护提供参考信息，为正常运行提供了保障。且该方法能广泛应用于各种复杂装备中。

为达到上述目的，本发明中模型的建立包括以下具体步骤：

S1.获取复杂装备的多传感数据；

S2.对多传感数据进行特征选择，获得有效测量数据；

S3.对有效测量数据进行预处理，包括利用数据均值对缺失值进行填充、对各数据进行标准化处理以及对数据进行切片处理，得到多个切片样本；

S4.建立融合了注意力机制和组合深度神经网络的用于剩余使用寿命预测的神经网络回归模型；

S5.针对复杂装备已有剩余使用寿命标签的多传感数据进行步骤S1～S3后与其对应的标签输入到神经网络回归模型中，离线训练神经网络回归模型；

S6.针对复杂装备需要预测的多传感数据进行步骤S1～S3后输入到训练好的神经网络回归模型中，得到复杂装备的剩余使用寿命。

所述的复杂装备包括涡轮发动机、水轮机、数控机床、风机和机车等。

所述步骤S1中通过多种传感器分别间隔采样采集获得多方面的测量数据，作为多传感数据。具体实施中采集21种不同的传感数据值，形成21维数据充分代表了复杂装备的运行状态。

所述步骤S2中，根据方差特征选择原则，从多传感数据中选取方差大于特征阈值的传感数据作为有效特征，具体针对每种传感数据，计算每种传感数据所有时刻的方差值，将方差值和特征阈值比较，具体实施设定特征的特征阈值为10^-8，经过特征选取后保留下来的形成有效测量数据。

所述步骤S3具体如下：

S31.对于有效测量数据中存在的缺失值，求出数据的均值，利用均值作为填充值对缺失值进行数据填充；

所述的缺失值是指有效测量数据在某一时刻采集时由于传感器本身故障或数据处理软件缺陷等原因所造成的空缺值。

S32.对数据填充后的有效测量数据进行标准化处理，将各有效测量数据转换为均值为0、方差为1的无量纲数据序列；

S33.对无量纲数据序列进行切片处理，切片的时间长度为30，时间步长为1，获得多个切片样本。

本发明在神经网络回归模型中，输出为剩余使用寿命RUL。

所述步骤S4中，所述的神经网络回归模型构建为：

S41.构造连续两层卷积神经网络，每层卷积神经网络均包括连续依次连接的一个卷积层和一个池化层；卷积层由K个卷积滤波器组成，K个卷积滤波器的大小相同，但内部权值不同，对输入的数据进行卷积得到K个特征图谱；池化层采取最大池化策略，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱。

步骤S3获得切片数据输入到第一层卷积神经网络的卷积层，经卷积层卷积处理后获得多幅特征图谱，多个特征图谱经池化层池化后输入到第二层卷积神经网络的卷积层再次进行卷积处理，卷积后再次进行池化处理。两层卷积神经网络具有更强的特征提取能力，能很好的提取输入数据中的重要局部特征，同时也能实现较好的去噪效果，降低数据规模。

两层卷积神经网络中的两个卷积层的卷积滤波器数量和尺寸设置均不同。

S42.在两层卷积神经网络之后，构建尺寸转换层(Reshape)，第二层卷积神经网络的池化层输出的特征图谱通过尺寸转换层转化为后面长短期记忆网络(LSTM)的输入数据；

S43.尺寸转换层之后构造第一层长短期记忆网络，第一层长短期记忆网络中包括N个长短时记忆单元；

S44.第一层长短期记忆网络之后构建注意力机制层，注意力机制层添加注意力机制函数，激活函数采用softmax函数；

S45.注意力机制层之后构造第二层长短期记忆网络，第二层长短期记忆网络中包括N个长短时记忆单元；

尺寸转换层输出的数据分别输入到第一层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到注意力机制层，经注意力机制层进行权重处理后再输入到第二层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输出；

具体实施中，第一层长短期记忆网络和第二层长短期记忆网络的长短时记忆单元的个数均为20个。

S46.在第二层长短期记忆网络的最后一个长短时记忆单元之后连接构建连续的两个全连接层，第一层全连接神经元个数为10，第二层全连接层神经元个数为20；

S47.构建输出层，输出层神经元个数设置为1，输出复杂装备的剩余使用寿命的数值。

所述的神经网络回归模型都包括两层卷积神经网络、两层长短期记忆网络和两层全连接网络，在两层长短期记忆网络中间连接注意力机制层，通过两层长短期记忆网络和注意力机制层的设计融合能实现复杂装备的剩余使用寿命预测。

同时本发明在模型中加入三个dropout层，能够避免出现过拟合现象。

第二层卷积神经网络、第一层全连接网络和第二层全连接网络后均设有dropout层，dropout层的dropout率分别为：0.25、0.3、0.3。

对于神经网络回归模型，所述的输出层激活函数选则linear激活函数进行预测，模型损失函数则选择均方差损失函数(mean squared error)函数。

选用Adam优化算法，学习率设置为0.001，利用已作剩余使用寿命标签标记的多传感数据处理获得切片样本离线训练深度神经网络模型。

本发明首先使用卷积神经网络作为特征提取器，从输入的多传感器信号中提取稳定且信息丰富的局部特征，达到去噪的目的。构建连续两层卷积神经网络，每层卷积神经网络均包括连续依次的一个卷积层和一个池化层；卷积层由K个卷积滤波器组成，对输入的数据进行卷积得到K个特征图谱；池化层采取最大池化策略，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱；

在卷积神经网络后通过尺寸转换层(Reshape)对卷积神经网络输出的特征图谱进行尺寸转换，成为长短期记忆网络可接受的输入数据。

接着引入两层长短期记忆网络和注意力机制获得时序信号在时间上的依赖关系，避免了梯度消失的问题，有利于模型的成功预测；综合利用过去与当前的信息进行有效分析预测。在第一层LSTM后加入注意力机制，通过回顾LSTM层的输入序列，有助于模型的训练重点集中于有用部分，把握长期依赖关系，以此增强了模型的效果。

在第二层LSTM层后引入全连接网络，其与CNN和LSTM之间有互补之处。全连接网络则具有很好的拟合能力，可以将特征映射到预测结果上。最后一层为输出层，输出层神经元数量为1，输出复杂装备的剩余使用寿命。

这三种神经网络与注意力机制有机的结合在一起，能充分发挥各自的优势，起到互补的作用。特别是对于多传感器的多维长时序信号，通过对模型的训练，该方法能充分挖掘出其中的复杂关系，保证剩余使用寿命预测的可靠性。

与现有的技术与方法相比，本发明具有以下优势：

本发明提出的深度神经网络模型具有较强的特征提取能力，能抑制传感器数据中存在的噪声，保证了数据的可靠性。该模型考虑到了多传感器信号的数据特征，充分挖掘了数据中的局部特征和时序信息，预测精度高。而且该模型结构较为简单，易于理解，预测流程易于操作，能很好地应用于各种复杂装备上。特别是输入序列较长时，借助于注意力机制能很好地把握时序上的长期依赖关系，增强模型效果。

本发明方法能准确地预测复杂装备的剩余使用寿命，维护管理人员能更好地对复杂装备进行管理。最关键的是，通过该方法将大大提高复杂装备的有效寿命，避免工作过程中因不确定的故障造成严重的损失，最大限度地保障生命与财产安全。

本发明考虑到了多传感器信号的数据特征，充分挖掘了数据中的局部特征和时序信息，预测精度高，适用性广，能广泛应用于各种复杂装备中。

附图说明

图1为本发明方法的流程示意图。

图2为本发明实例中复杂装备剩余使用寿命的深度神经网络回归框架示意图。

图3为本发明实例中对数据切片的简单示意图。

图4为本发明实例中复杂装备的线性退化模型和分段退化模型。

图5为本发明实例中数据集1测试集的24号发动机单元退化轨迹预测图。

具体实施方式

下面结合附图与涡轮发动机数据集作为具体实例对本发明作进一步说明：

如图1所示，本发明实施例采用涡轮发动机作为实例进行说明，具体包括以下步骤：

本实例使用了美国国家航空航天局(NASA)预测数据仓库的C-MAPSS数据集来验证所提出方法的有效性。该数据集是通过使用美国国家航空航天局开发的商用模块化航空推进系统(C-MAPSS)进行仿真得到的模拟数据。根据运行状态和故障模式的不同，可以进一步分为4个独立子集，每个子集中包含一个训练集和一个测试集，每个子集都包含了通过21个传感器得到的发动机运行数据。

在仿真程序中，训练集包括在不同运行条件和故障模式下收集的多个涡轮发动机运行至故障的传感器数据记录。随着时间的推移，发动机单元不断退化，直到程序认为发动机达到系统故障。在训练中，可将发动机数据样本作为训练样本，每个样本相应的剩余使用寿命(RUL)作为标签。对于测试集，则是在退化过程中的某个时间点就停止，我们的目标就是预测测试数据集中每个发动机单元的剩余使用寿命(RUL)。

该数据集的描述如下表所示：

表1

由表格可以看出，数据集2和数据集4含有6种操作模式，剩余使用寿命与运行操作条件关系较大，单凭运行数据无法很好预测不能很好预测其剩余使用寿命，所以本文主要考虑数据集1和数据集3。

S1.获取涡轮发动机传感器的有效测量数据；

从C-MAPSS数据集的数据集1和数据集3中可以得到21维发动机的传感器测试数据，分别是：风扇进气口总温度、低压压缩机出气口总温度、高压压缩机出气口总温度、低压涡轮出气口总温度、风扇进气口压强、旁路导管总温度、高压压缩机出气口总压强、物理风扇转速、物理核心速度、引擎压强比、高压压缩机出气口统计压强、高压压缩机燃料流量、风扇修正转速、核心修正转度、主旁路比、燃烧室燃气比、热力泄漏量、风扇转速要求、风扇转速修正要求、高压涡轮冷却剂泄漏量、低压涡轮冷却剂泄漏量。

S2.对多传感器数据进行特征选择；

S21.根据方差特征选择原则，设定特征的方差阈值为10-8，所有数据中方差大于该阈值的作为有效特征，通过特征选取后剩下14个有效特征。

S22.由特征选择后的14个特征组成有效数据，这14个特征分别为：低压压缩机出气口总温度、高压压缩机出气口总温度、低压涡轮出气口总温度、高压压缩机出气口总压强、物理风扇转速、物理核心速度、高压压缩机出气口统计压强、高压压缩机燃料流量、风扇修正转速、核心修正转度、主旁路比、热力泄漏量、高压涡轮冷却剂泄漏量、低压涡轮冷却剂泄漏量。

S3.对数据进行预处理；

S31.在传感器测量过程中，各传感器数据可能存在缺失的情况。为避免缺失值对神经网络收敛造成不良影响，求出各维度传感器数据的平均值，利用均值作为填充值对缺失部分进行数据填充。

S32.对多传感器数据进行标准化处理，将各列传感器数据转换为均值为0，方差为1的无量纲数据序列。

S33.对标准化后的数据样本进行切片处理，切片长度为30，时间步长为1，获得多个切片样本。每一个切片作为一个输入样本，相对应的剩余使用寿命数值作为回归模型的标签。对数据切片的示意图如图3所示。

图3中，TW1表示对数据集进行切片处理得到的第一个切片样本，TW2表示第二个样本，TW3表示第三个样本，TW4表示第四个样本。

通常假设系统的发动机退化状态随着循环周期的进行而线性退化。但在实际过程中，往往发动机在开始使用时的退化几乎是可以忽略不计的。为了更好地模拟这种退化情况，本实例使用了剩余使用寿命的一个分段模型，限制剩余使用寿命的最大值为125。发动机退化的线性模型和分段退化模型如图4所示。

图4中，左子图表示发动机退化的线性模型，右子图表示设定的发动机分段退化模型。

S4.结合注意力机制，建立用于寿命预测的神经网络回归模型，详细步骤如下：

神经网络回归模型构建如图2所示。

S41.构造连续两层卷积神经网络，每层卷积神经网络均包括连续依次连接的一个卷积层和一个池化层；

第一层卷积神经网络的卷积层由8个卷积滤波器组成，每个卷积滤波器的大小相同，尺寸为12×1，但滤波器的内部权值不同，对输入的数据进行卷积得到8个特征图谱；池化层采取最大池化构造，池化尺寸为2×1，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱；

第二层卷积神经网络的卷积层由1个卷积滤波器组成，尺寸为3×1，对输入的数据进行卷积得到1个特征图谱；池化层采取最大池化构造，池化尺寸为2×1，对卷积层输出的特征图谱进行池化操作，得到池化后的特征图谱；

S42.在两层卷积神经网络之后，构建尺寸转换层(Reshape)，第二层卷积神经网络的池化层输出的特征图谱通过尺寸转换层转化为后面长短期记忆网络(LSTM)的输入数据；

S43.尺寸转换层之后构造第一层长短期记忆网络，第一层长短期记忆网络中包括20个长短时记忆单元；

S44.第一层长短期记忆网络之后构建注意力机制层，注意力机制层添加注意力机制函数，激活函数采用softmax函数；

S45.注意力机制层之后构造第二层长短期记忆网络，第二层长短期记忆网络中包括20个长短时记忆单元；

尺寸转换层输出的数据分别输入到第一层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到注意力机制层，经注意力机制层进行加权处理后再输入到第二层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输出；

具体实施中，第一层长短期记忆网络和第二层长短期记忆网络的长短时记忆单元的个数均为20个。

S46.在第二层长短期记忆网络的最后一个长短时记忆单元之后连接构建连续的两个全连接层，第一层全连接神经元个数为10，第二层全连接层神经元个数为20；

第二层卷积神经网络、第一层全连接网络和第二层全连接网络后均设有dropout层，dropout层的dropout率分别为：0.25、0.3、0.3。

S47.构建输出层，输出层神经元个数设置为1，输出为剩余使用寿命的数值，输出层激活函数选择linear函数，模型损失函数选择mean squared error函数。

S5.将数据集1和数据集3的数据样本与对应标签送入相应的深度神经网络模型中，采用Adam算法作为训练的优化算法，学习率设置为0.001，离线训练神经网络模型；

S6.将需要预测的数据传入训练好的神经网络模型中，得到涡轮发动机的剩余使用寿命。

本发明利用训练好的神经网络模型在数据集1和数据集3的测试集上具体实施进行了十次实验，取平均值作为预测值。获得的预测结果与真实值之间的误差较小，均方根误差的平均值和标准差如下表所示：

表2

从表中结果可以看出，实验结果的均方根误差较小，预测值与真实值接近，表明本方法具有较大优势。取数据集1测试集的24号测试单元作为示例，其退化轨迹预测如图5所示。

本实例首先利用了多种先进传感器采集了涡轮发动机的设备运行数据，然后对原始数据进行特征选择，剔除了没有价值的数据。接着对数据进行预处理，得到切片后的数据。通过建立卷积神经网络、长短期记忆网络与注意力机制相结合的深度神经回归网络模型进行剩余使用寿命预测，得到准确的预测结果。与单独应用卷积神经网络、循环神经网络或其他一些基本模型相比，准确度得到了大大提升。通过该方法提供的预测信息，能有效提高涡轮发动机的有效使用寿命，为发动机的维护管理提供了有效的信息，避免了工作过程中因不确定的故障造成的严重损失。

以上所述实例仅为本发明在该实例上的调优结果，但本发明的具体实施不仅局限于本实例。凡是依照本发明原理与思路提出的效果相似的替代方案，都应当视为本发明的保护范围。

Claims (8)

1.一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：包括以下步骤：

S1.获取复杂装备的多传感数据；

S2.对多传感数据进行特征选择，获得有效测量数据；

S3.对有效测量数据进行预处理，包括利用数据均值对缺失值进行填充、对各数据进行标准化处理以及对数据进行切片处理，得到多个切片样本；

S4.建立融合了注意力机制和组合深度神经网络的神经网络回归模型；

S5.针对复杂装备已有剩余使用寿命标签的多传感数据进行步骤S1～S3后与其对应的标签输入到神经网络回归模型中，离线训练神经网络回归模型；

S6.针对复杂装备需要预测的多传感数据进行步骤S1～S3后输入到训练好的神经网络回归模型中，得到复杂装备的剩余使用寿命。

2.根据权利要求1所述的一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：所述步骤S1中通过多种传感器分别间隔采样采集获得多方面的测量数据，作为多传感数据。

3.根据权利要求1所述的一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：所述步骤S2中，根据方差特征选择原则，从多传感数据中选取方差大于特征阈值的传感数据作为有效特征，经过特征选取后保留下来的形成有效测量数据。

4.根据权利要求1所述的一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：所述步骤S3具体如下：

S31.对于有效测量数据中存在的缺失值，求出数据的均值，利用均值作为填充值对缺失值进行数据填充；

S32.对数据填充后的有效测量数据进行标准化处理，将各有效测量数据转换为均值为0、方差为1的无量纲数据序列；

S33.对无量纲数据序列进行切片处理，切片的时间长度为30，时间步长为1，获得多个切片样本。

5.根据权利要求1所述的一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：所述步骤S4中，所述的神经网络回归模型构建为：

S41.构造连续两层卷积神经网络，每层卷积神经网络均包括连续依次连接的一个卷积层和一个池化层；卷积层由K个卷积滤波器组成，K个卷积滤波器的大小相同，但内部权值不同，对输入的数据进行卷积得到K个特征图谱；池化层采取最大池化策略，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱；

S42.在两层卷积神经网络之后，构建尺寸转换层(Reshape)，第二层卷积神经网络的池化层输出的特征图谱通过尺寸转换层转化为后面长短期记忆网络的输入数据；

S43.尺寸转换层之后构造第一层长短期记忆网络，第一层长短期记忆网络中包括N个长短时记忆单元；

S44.第一层长短期记忆网络之后构建注意力机制层，注意力机制层添加注意力机制函数；

S45.注意力机制层之后构造第二层长短期记忆网络，第二层长短期记忆网络中包括N个长短时记忆单元；

尺寸转换层输出的数据分别输入到第一层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到注意力机制层，经注意力机制层进行权重处理后再输入到第二层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输出；

S46.在第二层长短期记忆网络的最后一个长短时记忆单元之后连接构建连续的两个全连接层；

S47.构建输出层，输出层神经元个数设置为1，输出复杂装备的剩余使用寿命的数值。

6.根据权利要求5所述的一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：第二层卷积神经网络、第一层全连接网络和第二层全连接网络后均设有dropout层，dropout层的dropout率分别为：0.25、0.3、0.3。

7.根据权利要求5所述的一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：对于神经网络回归模型，所述的输出层激活函数选则linear激活函数进行预测，模型损失函数则选择均方差损失函数函数。

8.根据权利要求5所述的一种基于组合深度神经网络的复杂装备剩余使用寿命预测方法，其特征在于：选用Adam优化算法，学习率设置为0.001，利用已作剩余使用寿命标签标记的多传感数据处理获得切片样本离线训练深度神经网络模型。