Nothing Special   »   [go: up one dir, main page]

CN117473411A - 基于改进Transformer模型的轴承寿命预测方法 - Google Patents

基于改进Transformer模型的轴承寿命预测方法 Download PDF

Info

Publication number
CN117473411A
CN117473411A CN202310865817.4A CN202310865817A CN117473411A CN 117473411 A CN117473411 A CN 117473411A CN 202310865817 A CN202310865817 A CN 202310865817A CN 117473411 A CN117473411 A CN 117473411A
Authority
CN
China
Prior art keywords
vector
attention
bearing
model
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310865817.4A
Other languages
English (en)
Inventor
向玲
付晓梦婷
胡爱军
邴汉昆
朱国鹏
王凯伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202310865817.4A priority Critical patent/CN117473411A/zh
Publication of CN117473411A publication Critical patent/CN117473411A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

一种基于改进Transformer模型的轴承寿命预测方法,所述方法包括以下步骤：a.数据预处理；b.滚动轴承寿命预测模型的搭建：利用动态卷积层对数据进行特征提取，使用包含多头ProbSparse自注意力模块的编码器结构，对每个头采用不同的优化策略，搭建滚动轴承寿命预测模型；c.轴承剩余寿命预测模型的训练；d.轴承剩余寿命的预测。本发明采用动态卷积、Transformer模型架构和ProbSparse自注意力相结合的方法来预测滚动轴承剩余寿命，能够有效提取轴承振动信号中与寿命相关的特征，同时还对多个工况的轴承的预测具有泛化能力，可对轴承数据保持较高的预测精度，保证机械设备安全稳定运行。

Description

基于改进Transformer模型的轴承寿命预测方法
技术领域
本发明涉及轴承测试技术领域，特别是基于改进的Transformer模型的轴承测试技术领域。
背景技术
随着现代工业的发展，机械设备逐渐趋向于智能化和精密化，伴随而来的是对机械设备长期安全稳定运行的需求，这对机械零部件提出了更高的要求。滚动轴承作为决定旋转机械健康状况及其剩余寿命的关键部件，对设备的安全运行起着至关重要的作用，任何形式的轴承故障都可能导致整个设备的异常运行，准确预测轴承的剩余使用寿命是避免轴承及其系统失效的关键。因此，需要采用先进的算法来预测滚动轴承的剩余寿命，以避免设备风险产生。
授权公告号为CN 110232249 B的发明专利公开了“一种滚动轴承剩余寿命预测方法”，它通过训练多尺度卷积神经网络模型，用滚动轴承的振动信号对滚动轴承的寿命进行预测。该方法包括以下步骤：用多个未经使用的轴承，进行加速退化实验，获得其全寿命振动信号；利用反双曲正切函数将轴承的寿命转换为健康指标；建立多尺度卷积神经网络模型，用获得的数据对模型进行训练；利用加速度传感器测量待预测寿命的滚动轴承的振动信号；将所得振动信号输入训练后的多尺度卷积神经网络模型，获得待预测寿命的滚动轴承的健康指标；将获得的健康指标转换为待预测寿命的滚动轴承的剩余寿命。该专利的目的在于提供一种复杂工况下，能够高效准确的预测滚动轴承剩余寿命的预测方法。然而工业环境中所用滚动轴承的种类不尽相同，对于不同类型的轴承，即使在相同运行条件下，监测数据所包含的退化特征也会有较大差异，而且针对采集得到的大量数据，传统机器学习算法也难以准确地表征其中的复杂非线性关系，无法自适应调节数据特征权重，导致轴承寿命预测的准确度不高。因此，如何有效提取轴承退化特征，完成不同工况下的滚动轴承寿命预测就显得尤为重要。
发明内容
本发明的目的在于针对现有技术之弊端，提供一种基于改进Transformer模型的轴承寿命预测方法，它可以有效提取轴承退化特征，提高不同工况下的滚动轴承寿命预测的准确度。
本发明所述问题是以下述技术方案解决的：
一种基于改进Transformer模型的轴承寿命预测方法，所述方法包括以下步骤：
a.数据预处理：
①收集传感器监测得到的滚动轴承全寿命振动数据，挑选出其中的水平振动信号作为任务集；
②对水平时域信号进行快速傅里叶变换，转化为频域数据后，依次累加，得到累积幅值特征；
③将任务集划分为训练集与测试集；
b.滚动轴承寿命预测模型的搭建：
利用动态卷积层对轴承数据进行特征提取，再使用包含多头ProbSparse自注意力模块的编码器结构，对每个头采用不同的优化策略，建立所提取特征与健康指标的联系，结合Transformer搭建改进的Transformer模型，得到滚动轴承寿命预测模型；
c.轴承剩余寿命预测模型的训练：
将训练集提取累积幅值特征后，输入到改进的Transformer模型中进行训练，同时根据损失函数的变化情况调整网络参数；
d.轴承剩余寿命的预测：
将测试集提取累积幅值特征，输入已训练完备的滚动轴承寿命预测模型中，获得轴承剩余寿命的预测值。
上述基于改进Transformer模型的轴承寿命预测方法，对水平时域信号进行快速傅里叶变换转化为频域数据的计算公式如下：
其中，XN(k)为离散傅里叶变换函数，X1(k)为偶数项的离散傅里叶变换，X2(k)为奇数项的离散傅里叶变换，为旋转因子，N为离散傅里叶变换的变换区间长度。
上述基于改进Transformer模型的轴承寿命预测方法，利用动态卷积层对轴承数据进行特征提取的过程如下：
动态感知器通过集成多个线性函数来实现参数的分配更新，其过程如下所示：
其中，x与y分别表示输入与输出，g表示归一化函数，表示与输入对应的权重矩阵，K表示集成的线性函数的个数，πk(x)表示生成的第k个集成函数的注意力权重，/>与分别表示第k个集成函数的权重矩阵与偏置向量，/>与/>分别表示加权权值矩阵与加权偏置向量。
上述基于改进Transformer模型的轴承寿命预测方法，使用包含多头ProbSparse自注意力模块的编码器结构，对每个头采用不同的优化策略，避免信息丢失，其工作流程如下：
a.为每个查询向量与键向量赋予默认值5InL；
b.计算每个查询向量的稀疏性得分M(qi,K)，以此表示该查询向量与键向量之间的联系：
其中，qi表示第i个查询点，ki表示第i个键值点，L表示序列长度，d表示向量维度；
c.根据稀疏性得分选择最相关的查询向量与键向量(选取稀疏性得分最高的查询点与键值点，通过组合得到查询向量与键向量)，并计算注意力权重和输出向量，计算过程如下：
其中，Attention(Q,K,V)表示注意力函数，这里计算的是输出向量，通过下面的多头注意力函数计算的是总得分函数)，Q、K和V分别为查询向量、键向量和值向量，表示与Q大小相同的稀疏向量，dk为键向量维度，softmax为分类函数；
d.通过计算多个注意力系数，并将结果拼接，以捕获不同子空间上的相关信息：
首先将输入向量转换为三组向量，三组相同的项向量，通过与不同矩阵相乘得到不同权重矩阵，每组向量个数为h，且维度为dmodel/h，然后，将得到的向量通过多个注意力函数计算得到加权矩阵以及/>下面的公式将这几组矩阵分别带入计算，最终得到多头注意力结果)多头注意力的计算公式如下：
式中，Attention(·)为注意力函数，MultiHead(·)为多头注意力函数，dmodel表示嵌入维度，headi表示第i个注意力系数，WO表示权重矩阵。
上述基于改进Transformer模型的轴承寿命预测方法，所述滚动轴承寿命预测模型中，通过编码器将输入序列中的每个元素转换为高维向量，以此代表该元素在整个序列中的上下文信息，首先对输入向量进行多头自注意力操作，然后输入到前馈神经网络中，两者使用层归一化和剩余连接顺序连接，最终得到输出向量，前馈神经网络的计算公式如下：
其中，GeLU表示高斯误差线性单元激活函数，前面用g表示激活函数，W1，W2，b1，b2分别为两个全连接层的权重和偏差；
编码器的整个计算过程可以表示为：
其中，和/>分别为多头自注意力模块和前馈神经网络模块的输出，LN表示层归一化函数。
上述基于改进Transformer模型的轴承寿命预测方法，所述滚动轴承寿命预测模型包含一个动态卷积层，四个编码器和一个全连接层，卷积核大小为3，多头注意力头数h为8，嵌入维度dmodel为256，训练批次大小为128，学习率为0.001，循环次数为50。
上述基于改进Transformer模型的轴承寿命预测方法，所述累积幅值特征的计算过程如下：
a.假设原始振动时域信号为X＝[X1,X2,...,Xn]，n为样本总个数，其中，m表示每个样本长度；/>表示每组样本的样本点，i＝1,2，…，n，j＝1,2，…，m；
b.对原始振动时域信号进行快速傅里叶变换后，对每个样本中的幅值进行迭代求和，求得累积幅值特征，第t次采样TF特征计算公式如下：
有益效果
本发明采用动态卷积、Transformer模型架构和ProbSparse自注意力相结合的方法来预测滚动轴承剩余寿命，不仅能够有效提取轴承振动信号中与寿命相关的故障特征，同时还对多个工况的轴承的预测具有一定的泛化能力，可对多种工况轴承数据保持较高的预测精度，保证机械设备安全稳定运行。
附图说明
下面结合附图对本发明作进一步详述。
图1是本发明的整体流程图；
图2是动态卷积结构图；
图3(a)-图3(c)是编码器结构图；
图4是本发明模型框架结构图；
图5(a)-图5(f)是对于多个工况的轴承预测结果图。
文中所用符号为：X为原始振动时域信号，Xi为每个样本信号，TF为累积幅值特征信号，y表示动态卷积层的输出，Attention(·)为注意力函数，Q、K和V为输入数据经不同线性变换得到的向量，MultiHead(·)为多头注意力函数，FF(·)为前馈神经网络的结果。
具体实施方式
本发明针对现有轴承剩余寿命预测方法的局限性，提供了一种基于改进的Transformer模型的轴承寿命预测方法，该方法能够有效提取轴承退化特征，进而实现对滚动轴承剩余寿命的准确预测，确保设备正常运行。
参看图1，本发明包括以下步骤：
a.数据预处理：
①收集传感器监测得到的滚动轴承全寿命振动数据，挑选出其中的水平振动信号作为任务集；
②对水平时域信号进行快速傅里叶变换转化为频域数据后，依次累加，得到累积幅值特征；
③将任务集划分为训练集与测试集；
b.滚动轴承寿命预测模型的搭建：
利用动态卷积层对轴承数据进行特征提取，使用包含多头ProbSparse自注意力模块的编码器结构，对每个头采用不同的优化策略，建立所提取特征与健康指标的联系，结合Transformer搭建改进的Transformer模型，得到滚动轴承寿命预测模型；
c.轴承剩余寿命预测模型的训练：
将经过预处理的训练集输入到改进的Transformer模型中进行训练，同时根据损失函数的变化情况调整网络参数；
d.轴承剩余寿命的预测：
将预处理的测试集(见表2，测试集包括轴承1-3、轴承1-4、轴承1-5、轴承2-3、轴承2-4、轴承2-5)输入已训练完备的滚动轴承寿命预测模型中，获得轴承剩余寿命的预测值利用剩余寿命的量化指标对轴承剩余寿命进行预测(通过sigmoid函数输出实现轴承剩余寿命的预测)。
累积幅值特征的计算过程如下：
a.假设原始振动时域信号为X＝[X1,X2,...,Xn]，n为样本总个数，其中，m表示每个样本长度；/>表示每组样本的样本点，i＝1,2，…，n，j＝1,2，…，m；
b.对原始振动时域信号进行快速傅里叶变换后，依次进行迭代求和，求得累积幅值特征，简称为TF特征，第t次采样TF特征计算公式如下：
将原始时域数据转化为频域数据的方法如下：
频谱信号是时域信号经过离散傅里叶变换(DPT)后得到的，其主要用于描述原始信号的频率成分和各个频率成分的幅值大小。DPT计算公式如下：
其中，为旋转因子，x(i)为原始离散时域信号序列，N为离散傅里叶变换的变换区间长度，X(k)为相对幅度，k为序列号。
相比于离散傅里叶变换，快速傅里叶变换可以减少运算量，提高计算速度，进行快速傅里叶变换的公式如下：
其中，X1(k)为x(i)中偶数项的离散傅里叶变换，X2(k)为奇数项的离散傅里叶变换。
动态卷积网络是一种根据注意力机制动态地聚合多个并行卷积核的神经网络，能够根据不同的输入数据，自适应调整卷积参数，从而在增加少量网络计算量的前提下，显著增强模型的特征表达能力和泛化能力。利用动态卷积层对轴承数据进行特征提取过程如下：
a.传统卷积核的参数在模型运行时不发生变化，其结果如下所示：
y＝g(WTx+b)
其中，x与y分别表示输入与输出，g、WT和b分别表示激活函数、权重矩阵的转置和偏置向量。
b.动态卷积核通过集成多个线性函数来实现参数的分配更新，其过程如下所示：
其中，K表示集成的线性函数的个数，πk(x)表示生成的第k个集成函数的注意力权重，与/>分别表示第k个集成函数的权重矩阵与偏置向量，/>与/>分别表示加权权值矩阵与加权偏置向量。
动态卷积与动态感知器的结构相似，具有K个动态卷积核，其计算流程如图2所示，首先输入数据在注意力层中进行全局平均池化，然后经过全连接层、ReLU激活函数与softmax激活函数将得到的K个注意力权重归一化，并依次分配给对应卷积核，最后将所得乘积进行集成化处理，利用批归一化与激活层得到输出特征。
本发明中使用多头ProbSparse自注意力来代替编码器中的普通多头自注意力，通过对每个头采用不同的优化策略，避免信息丢失。其工作流程如下：
a.为每个查询向量与键向量赋予默认值5InL，即In(L),表示对数函数；其中查询向量表示要计算相关度的向量，代表每个点作为查询时候的表示，每个数据点都有一个查询向量；键向量表示这个点当作被比较的对象的表示向量，每个数据点也有一个键向量；
b.计算每个查询向量的稀疏性得分M(qi,K)，来表示该查询向量与键向量之间的联系，如下所示：
其中，qi表示第i个查询点，ki表示第i个键值点，L表示序列长度，d表示向量维度；
c.根据稀疏性得分选择最相关的键向量与值向量，并计算注意力权重和输出向量。计算过程如下式：
其中，Q、K和V分别为查询向量、键向量和值向量，表示与Q大小相同的稀疏向量，dk为键向量维度，softmax为分类函数；
d.多头注意力通过计算多个注意力系数，并将结果拼接，以捕获不同子空间上的相关信息。图3(a)和图3(b)解释了它的工作流程，首先将输入向量转换为三组不同的向量，每组向量个数为h，且维度为dmodel/h，然后，将得到的向量通过多个注意力函数计算得到加权矩阵以及/>多头注意力的计算公式如下：
式中，dmodel表示嵌入维度，headi表示第i个注意力系数，WO表示权重矩阵。
上述改进的Transformer模型中，通过编码器将输入序列中的每个元素转换为高维向量，以此代表该元素在整个序列中的上下文信息，其结构如图3(c)所示。首先对输入向量进行多头自注意力操作，然后输入到前馈层中，两者使用层归一化和剩余连接顺序连接，最终得到输出向量。
前馈层网络的计算公式如下：
其中，GeLU表示激活函数，W1，W2，b1，b2分别为两个全连接层的权重和偏差；
编码器的整个计算过程可以表示为：
其中，和/>分别为多头自注意力模块和前馈层模块的输出，LN表示层归一化函数。
改进的Transformer模型中，包含一个动态卷积层，四个编码器和一个全连接层，卷积核大小为3，多头注意力头数h为8，嵌入维度dmodel为256，训练批次大小为128，学习率为0.001，循环次数为50。
本发明采用动态卷积、Transformer模型架构和ProbSparse自注意力相结合的方法来预测滚动轴承剩余寿命，模型框架结构如图4所示，首先，通过动态卷积层捕获和丰富底层特征信息，并添加嵌入向量和位置编码来获得嵌入性输入；然后，将编码后的特征反馈给堆叠的ProbSparse自注意力模块，通过编码器捕获并学习数据中的高级特征表示；最后，经过由全连接层所组成的回归器的处理，建立起输出特征与剩余寿命标签之间的映射，以此完成轴承寿命预测。本发明不仅能够提取轴承信号中与寿命相关的故障特征，同时还对多个工况的轴承的预测具有一定的泛化能力，适应多种工况轴承数据预测，保持较高的预测精度，保证机械设备安全稳定运行。
本发明具有以下优点：
a.本发明引入动态卷积，使该模型结合动态卷积和注意力机制的优点，能够自适应地发现和突出有利于轴承寿命预测的特征信息；
b.本发明选择用ProbSparse自注意力代替传统的自注意力，降低了计算复杂度，提高了网络的学习能力；
c.本发明利用Transformer架构强大的特征提取能力对轴承剩余使用寿命进行估计，通过IEEE PHM 2012挑战数据集对所提出的方法进行了实验验证。实验结果表明，所提方法具有较高的预测精度，并且能够适应多种工况轴承数据预测。
下面通过对IEEE PHM 2012挑战数据集的实验分析来验证本发明的有效性。
获取数据集的实验平台(PRONOSTIA)，主要包含4个模块：采集模块、加载模块、动力模块以及测量模块。该数据集包含3种工况下6个运行至故障的训练数据集与11个测试轴承的监测数据集，各工况信息如表1所示，通过加速度传感器与温度传感器分别用来测量轴承水平方向和垂直方向的振动信号，传感器的采样频率为25.6kHz，采样间隔为10s，每次采样时长为0.1s，即每次采样2560个数据样本点。在径向载荷的影响下，水平振动信号包含更多的退化信息，因此只使用水平振动信号来减少噪声干扰。
表1轴承工况表
表2训练、测试集划分
数据集中轴承的失效原因和退化过程各不相同，训练集需要尽可能地包含所有退化特征，以提高预测精度。因此，一共进行了6组试验来验证方法的可靠性，具体安排如表2所示。
通过上述步骤对数据进行预处理及模型的搭建和预测，同时使用学习率为0.001的Adam优化器优化整个神经网络权值，使MSE损失函数损失值最小化。同时使用平均绝对误差(MAE)、均方根误差(RMSE)与平均得分Score作为评价指标，其中，MAE与RMSE的值越小，Score得分越高，说明模型预测效果越好，计算公式如下：
其中，n为样本总个数，yi表示第i个样本的实际剩余寿命百分比，表示第i个样本剩余寿命的预测值，Eri表示实际剩余寿命与预测值之间的误差，Ai表示第i个样本的评分。
表3给出了所提方法在每组任务上的实验结果。从结果可以看出，一些轴承的RMSE和MAE较小，得分较高，如轴承1-3和2-5，这说明这些数据对网络模型的适应性较高，包含的退化信息更丰富，因此预测效果更好。但是，一些轴承的预测结果较差，如轴承1-4和2-4，其RMSE和MAE明显较大。这是由于这两组数据样本数量相对较少，模型无法完全识别轴承中的退化信息，导致预测性能较低。
表3预测结果
轴承剩余寿命预测结果如图5(a)-图5(f)所示。从图中可以看出，预测结果与实际结果之间波动较小，这说明本发明对大多数轴承的剩余寿命均具有较高的预测精度，无论是在轴承退化早期还是后期，都能保持较高的稳定性。
为了验证在Transformer中引入动态卷积和ProbSparse自注意力机制的作用，另外建立了三组与本发明模型结构相似的网络，分别实验并进行对比，包括:(1)移除动态卷积层和ProbSparse自注意力(模型1)。(2)移除动态卷积层(模型2)。(3)移除ProbSparse自注意力(模型3)。所得结果与这些模型的预测结果如表4所示。
表4预测结果对比
从表中可以看出，模型2与模型3的结果优于模型1，说明动态卷积层和ProbSparse自注意力机制的引入对Transformer网络预测能力的提升有积极的影响。本发明将这两个模块集成到Transformer中，在早期使用动态卷积对退化特征进行优化，在后期使用ProbSparse自注意力对表征进一步深化，预测精度提高。与模型2和模型3相比，得分分别提高了12％和3％。因此，可以证明本章提出的关于轴承RUL预测改进方案对Transformer网络是有效的。

Claims (7)

1.一种基于改进Transformer模型的轴承寿命预测方法,其特征是，所述方法包括以下步骤：
a.数据预处理：
①收集传感器监测得到的滚动轴承全寿命振动数据，挑选出其中的水平振动信号作为任务集；
②对水平时域信号进行快速傅里叶变换转化为频域数据后，依次累加，得到累积幅值特征；
③将任务集划分为训练集与测试集；
b.滚动轴承寿命预测模型的搭建：
利用动态卷积层对轴承数据进行特征提取，再使用包含多头ProbSparse自注意力模块的编码器结构，对每个头采用不同的优化策略，建立所提取特征与健康指标的联系，结合Transformer搭建改进的Transformer模型，得到滚动轴承寿命预测模型；
c.轴承剩余寿命预测模型的训练：
将训练集提取累积幅值特征后，输入到改进的Transformer模型中进行训练，同时根据损失函数的变化情况调整网络参数；
d.轴承剩余寿命的预测：
将测试集提取累积幅值特征，输入已训练完备的滚动轴承寿命预测模型中，获得轴承剩余寿命的预测值。
2.根据权利要求1所述基于改进Transformer模型的轴承寿命预测方法，其特征是，对水平时域信号进行快速傅里叶变换转化为频域数据的计算公式如下：
其中，XN(k)为离散傅里叶变换函数，X1(k)为偶数项的离散傅里叶变换，X2(k)为奇数项的离散傅里叶变换，为旋转因子，N为离散傅里叶变换的变换区间长度。
3.根据权利要求2所述基于改进Transformer模型的轴承寿命预测方法，其特征是，利用动态卷积层对轴承数据进行特征提取的过程如下：
动态感知器通过集成多个线性函数来实现参数的分配更新，其过程如下所示：
其中，x与y分别表示输入与输出，g表示归一化函数，表示与输入对应的权重矩阵，K表示集成的线性函数的个数，πk(x)表示生成的第k个集成函数的注意力权重，/>与/>分别表示第k个集成函数的权重矩阵与偏置向量，/>与/>分别表示加权权值矩阵与加权偏置向量。
4.根据权利要求3所述基于改进Transformer模型的轴承寿命预测方法，其特征是，使用包含多头ProbSparse自注意力模块的编码器结构，对每个头采用不同的优化策略，避免信息丢失，其工作流程如下：
a.为每个查询向量与键向量赋予默认值5InL；
b.计算每个查询向量的稀疏性得分M(qi,K)，以此表示该查询向量与键向量之间的联系：
其中，qi表示第i个查询点，ki表示第i个键值点，L表示序列长度，d表示向量维度；
c.根据稀疏性得分选择最相关的查询向量与键向量，选取稀疏性得分最高的查询点与键值点，通过组合得到查询向量与键向量，并计算注意力权重和输出向量，计算过程如下：
其中，Attention(Q,K,V)表示注意力函数，这里计算的是输出向量，通过下面的多头注意力函数计算的是总得分函数，Q、K和V分别为查询向量、键向量和值向量，表示与Q大小相同的稀疏向量，dk为键向量维度，softmax为分类函数；
d.通过计算多个注意力系数，并将结果拼接，以捕获不同子空间上的相关信息：
首先将输入向量转换为三组向量，即，三组相同的项向量，通过与不同矩阵相乘得到不同权重矩阵，每组向量个数为h，且维度为dmodel/h，然后，将得到的向量通过多个注意力函数计算得到加权矩阵以及/>下面的公式是将这几组矩阵分别带入计算，最终得到多头注意力结果，多头注意力的计算公式如下：
式中，Attention(·)为注意力函数，MultiHead(·)为多头注意力函数，dmodel表示嵌入维度，headi表示第i个注意力系数，WO表示权重矩阵。
5.根据权利要求4所述基于改进Transformer模型的轴承寿命预测方法，其特征是，所述滚动轴承寿命预测模型中，通过编码器将输入序列中的每个元素转换为高维向量，以此代表该元素在整个序列中的上下文信息，首先对输入向量进行多头自注意力操作，然后输入到前馈神经网络中，两者使用层归一化和剩余连接顺序连接，最终得到输出向量，前馈神经网络的计算公式如下：
其中，GeLU表示高斯误差线性单元激活函数，用g表示激活函数，W1，W2，b1，b2分别为两个全连接层的权重和偏差；
编码器的整个计算过程可以表示为：
其中，和/>分别为多头自注意力模块和前馈神经网络模块的输出，LN表示层归一化函数。
6.根据权利要求5所述基于改进Transformer模型的轴承寿命预测方法，其特征是，所述滚动轴承寿命预测模型包含一个动态卷积层，四个编码器和一个全连接层，卷积核大小为3，多头注意力头数h为8，嵌入维度dmodel为256，训练批次大小为128，学习率为0.001，循环次数为50。
7.根据权利要求6所述基于改进Transformer模型的轴承寿命预测方法，其特征是，所述累积幅值特征的计算过程如下：
a.假设原始振动时域信号为X＝[X1,X2,...,Xn]，n为样本总个数，其中，m表示每个样本长度；/>表示每组样本的样本点，i＝1,2，…，n，j＝1,2，…，m；
b.对原始振动时域信号进行快速傅里叶变换后，对每个样本中的幅值进行迭代求和，求得累积幅值特征，第t次采样TF特征计算公式如下：
CN202310865817.4A 2023-07-14 2023-07-14 基于改进Transformer模型的轴承寿命预测方法 Pending CN117473411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310865817.4A CN117473411A (zh) 2023-07-14 2023-07-14 基于改进Transformer模型的轴承寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310865817.4A CN117473411A (zh) 2023-07-14 2023-07-14 基于改进Transformer模型的轴承寿命预测方法

Publications (1)

Publication Number Publication Date
CN117473411A true CN117473411A (zh) 2024-01-30

Family

ID=89629989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310865817.4A Pending CN117473411A (zh) 2023-07-14 2023-07-14 基于改进Transformer模型的轴承寿命预测方法

Country Status (1)

Country Link
CN (1) CN117473411A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118033732A (zh) * 2024-04-12 2024-05-14 中国石油大学(华东) 一种基于空域频域融合架构的地震数据重建方法
CN118133687A (zh) * 2024-05-06 2024-06-04 广东石油化工学院 轴承剩余寿命预测方法、装置、设备和存储介质
CN118587893A (zh) * 2024-07-31 2024-09-03 四川警察学院 基于动态自适应卷积神经网络的城市交通流预测方法
CN119045393A (zh) * 2024-11-01 2024-11-29 沈阳宸阳信息技术有限公司 一种工业设备故障预测与运维管理系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118033732A (zh) * 2024-04-12 2024-05-14 中国石油大学(华东) 一种基于空域频域融合架构的地震数据重建方法
CN118033732B (zh) * 2024-04-12 2024-06-07 中国石油大学(华东) 一种基于空域频域融合架构的地震数据重建方法
CN118133687A (zh) * 2024-05-06 2024-06-04 广东石油化工学院 轴承剩余寿命预测方法、装置、设备和存储介质
CN118133687B (zh) * 2024-05-06 2024-07-23 广东石油化工学院 轴承剩余寿命预测方法、装置、设备和存储介质
CN118587893A (zh) * 2024-07-31 2024-09-03 四川警察学院 基于动态自适应卷积神经网络的城市交通流预测方法
CN119045393A (zh) * 2024-11-01 2024-11-29 沈阳宸阳信息技术有限公司 一种工业设备故障预测与运维管理系统

Similar Documents

Publication Publication Date Title
CN111914873B (zh) 一种两阶段云服务器无监督异常预测方法
CN117473411A (zh) 基于改进Transformer模型的轴承寿命预测方法
CN112906739B (zh) 基于多头注意力及轴系设备周期性的故障诊断方法
Zhang et al. Intelligent machine fault diagnosis using convolutional neural networks and transfer learning
CN112308124B (zh) 一种面向用电信息采集系统的智能防窃电方法
CN111784061B (zh) 一种电网工程造价预测模型的训练方法、装置和设备
CN116007937B (zh) 一种机械设备传动部件智能故障诊断方法及装置
CN116738868B (zh) 一种滚动轴承剩余寿命预测方法
CN116150901A (zh) 一种基于注意力增强时频Transformer的滚动轴承剩余寿命预测方法
CN113984389A (zh) 一种基于多感受野与改进胶囊图神经网络的滚动轴承故障诊断方法
CN116559650A (zh) 一种基于多维熵距的自动转换开关故障识别方法
Techane et al. Rotating machinery prognostics and application of machine learning algorithms: Use of deep learning with similarity index measure for health status prediction
CN117494588B (zh) 一种风机轴承剩余有效寿命优化方法、设备及介质
CN113449465A (zh) 一种用于滚动轴承的寿命预测方法
CN118296452A (zh) 一种基于Transformer模型优化的工业设备故障诊断方法
CN117520809A (zh) 一种基于EEMD-KPCA-CNN-BiLSTM的变压器故障诊断方法
Wang et al. Remaining useful life prediction for space bearing with cage friction fault based on data pre-screening and gated recurrent unit
CN115048856A (zh) 一种基于ms-alstm的滚动轴承剩余寿命预测方法
Kang et al. Research on forecasting method for effluent ammonia nitrogen concentration based on GRA-TCN
Lv et al. A predictive analytics framework for rolling bearing vibration signal using deep learning and time series techniques
Xie et al. Multi-scale attention convolution subdomain adaption network for cross-domain fault diagnosis of machine
Yang et al. Multilayer extreme learning convolutional feature neural network model for the weak feature classification and status identification of planetary bearing
CN116010896B (zh) 基于对抗训练与Transformer的风力发电机故障诊断方法
CN119249917B (zh) 一种液压泵寿命预测方法及系统
CN118626948B (zh) 一种基于数据分析的风电机组故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination