Nothing Special   »   [go: up one dir, main page]

CN112147432A - 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统 - Google Patents

基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统 Download PDF

Info

Publication number
CN112147432A
CN112147432A CN202010861283.4A CN202010861283A CN112147432A CN 112147432 A CN112147432 A CN 112147432A CN 202010861283 A CN202010861283 A CN 202010861283A CN 112147432 A CN112147432 A CN 112147432A
Authority
CN
China
Prior art keywords
transformer
layer
bilstm
module
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010861283.4A
Other languages
English (en)
Inventor
陈洪岗
王劭菁
任茂鑫
任辰
徐鹏
盛戈皞
宋辉
江秀臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
State Grid Shanghai Electric Power Co Ltd
East China Power Test and Research Institute Co Ltd
Original Assignee
Shanghai Jiaotong University
State Grid Shanghai Electric Power Co Ltd
East China Power Test and Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, State Grid Shanghai Electric Power Co Ltd, East China Power Test and Research Institute Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN202010861283.4A priority Critical patent/CN112147432A/zh
Publication of CN112147432A publication Critical patent/CN112147432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing Electric Properties And Detecting Electric Faults (AREA)

Abstract

本发明公开了一种用于变压器状态诊断的基于注意力机制的BiLSTM模块,其包括:输入层,其用于输入表征变压器状态类型的原始数据;特征提取层,所述特征提取层包括若干个不同尺度的BiLSTM层以及融合层,其中各所述BiLSTM层提取所述原始数据中不同尺度的多重特征,并将提取后的多重特征分别输入到所述融合层,融合层将不同尺度的多重特征进行拼接,以形成原始特征矩阵;注意力模块,其对所述原始特征矩阵进行权重参数优化,以得到优化后的特征矩阵;分类层,其基于优化后的特征矩阵,对表征变压器状态的数据进行分类并输出变压器状态类型。此外,本发明还公开了一种变压器状态诊断方法。相应地,本发明还公开了一种变压器状态诊断系统,其用于实施上述诊断方法。

Description

基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统
技术领域
本发明涉及一种故障诊断方法和系统,尤其涉及一种变压器故障诊断方法和系统。
背景技术
变压器是电力系统中最为重要的设备之一,其是保证电力系统安全、可靠、经济、优质运行的关键。但是,需要说明的是,绝缘自然老化、环境条件恶劣和运行负荷过高等多种因素都可诱发电力变压器的故障,进而造成严重的社会经济损失。
基于已有的变压器故障案例的特征参量进行故障诊断的研究,有利于利用不同故障类型在指标属性上的差异化表现,准确识别故障类型,进而对于投运中的变压器的维护、制定合适的检修策略等具有重要的指导意义。
需要注意的是,传统的变压器故障诊断方法大多依赖于专家知识,通过人工手段对原始信号进行特征提取,该方式效率低下,且难以处理高速增长的海量数据。
在现有技术中,存在采用长短期记忆神经网络(LSTM)对变压器状态进行识别的方法。长短期记忆神经网络属于深度循环神经网络,其可以有效适用于处理时序性数据,解决传统算法无法学习长时间特征关系及梯度弥散的问题。因此,采用LSTM神经网络可以对电机进行故障诊断,并取得较好的诊断结果。
在现有技术中还存在利用自编码器对涡扇发动机信号提取特征,然后采用双向长短期记忆神经网络(BiLSTM)捕捉特征双向长程依赖的特性,从而对涡扇发动机的剩余使用寿命进行预测的方法。
然而,尽管LSTM神经网络和BiLSTM神经网络具有上述良好效果,但其在特征提取的深度和复杂程度上仍然存在欠缺。
基于此,为了克服以上缺陷,本发明提出了一种用于变压器状态诊断的基于注意力机制的BiLSTM模块,其可以以原始振动信号作为模型输入,利用多组BiLSTM网络从原始振动信号中自适应提取多尺度特征,并引入注意力机制,优化不同尺度下的特征权重参数,提高模型诊断精度,实现对故障状态的有效诊断。
发明内容
本发明的目的之一是提供一种用于变压器状态诊断的基于注意力机制的BiLSTM模块,该基于注意力机制的BiLSTM模块可以以原始振动信号作为模型输入,利用多组BiLSTM网络从原始振动信号中自适应提取多尺度特征,并引入注意力机制,优化不同尺度下的特征权重参数,提高模型诊断精度,实现对故障状态的有效诊断.
本发明所述的基于注意力机制的BiLSTM模块能够,准确有效的诊断变压器故障,其运行效率高,在保证整体分类性能及运行效率的同时,对少数类故障样本亦具有良好的识别诊断能力。
根据上述发明目的,本发明提出一种用于变压器状态诊断的基于注意力机制的BiLSTM模块,其包括:
输入层,其用于输入表征变压器状态类型的原始数据;
特征提取层,所述特征提取层包括若干个不同尺度的BiLSTM层以及融合层,其中各所述BiLSTM层提取所述原始数据中不同尺度的多重特征,并将提取后的多重特征分别输入到所述融合层,所述融合层将不同尺度的多重特征进行拼接,以形成原始特征矩阵;
注意力模块,其对所述原始特征矩阵进行权重参数优化,以得到优化后的特征矩阵;
分类层,其基于优化后的特征矩阵,对表征变压器状态的数据进行分类并输出变压器状态类型。
进一步地,在本发明所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块中,所述若干个不同尺度的BiLSTM层至少包括单层BiLSTM、双层BiLSTM和三层BiLSTM。
进一步地,在本发明所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块中,所述分类层包括全连接层和Softmax分类器,其中所述全连接层将注意力模块输出的优化后的特征矩阵转变为一维序列;所述Softmax分类器对表征变压器状态的数据进行分类并输出变压器状态类型。
进一步地,在本发明所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块中,所述BiLSTM模块采用交叉熵损失函数,以输出变压器状态类型。
相应地,本发明的另一目的在于提供一种变压器状态诊断方法,该变压器状态诊断方法可以准确有效的诊断变压器故障,其算法运行效率高,在保证整体分类性能及运行效率的同时,对少数类故障样本亦具有良好的识别诊断能力。
根据上述的发明目的,本发明提出了一种变压器状态诊断方法,其包括步骤:
(1)采集不同状态类型的变压器油色谱样本数据;
(2)对采集的变压器油色谱样本数据进行预处理;
(3)构建上述的基于注意力机制的BiLSTM模块,并采用经过预处理的变压器油色谱样本数据对其进行训练,在训练过程中,经过预处理的变压器油色谱样本数据作为表征变压器状态的所述原始数据被输入到所述输入层;
(4)将实测变压器油色谱样本数据作为表征变压器状态类型的所述原始数据输入经过训练的基于注意力机制的BiLSTM模块的输入层,则所述基于注意力机制的BiLSTM模块的分类层输出变压器状态类型。
进一步地,在本发明所述的变压器状态诊断方法中,在步骤(2)中,所述预处理包括归一化处理。
进一步地,在本发明所述的变压器状态诊断方法中,在步骤(1)中,所述变压器状态类型包括低能放电、高能放电、低能放电兼过热、高能放电兼过热、局部放电、中温过热、低温过热和高温过热。
此外,本发明的又一目的在于提供一种变压器状态诊断系统,该系统可以准确有效的诊断变压器故障,其算法运行效率高,在保证整体分类性能及运行效率的同时,对少数类故障样本亦具有良好的识别诊断能力。
根据上述的发明目的,本发明提出了一种变压器状态诊断系统,其包括:
数据采集装置,其采集不同状态类型的变压器油色谱样本数据以及实测变压器油色谱样本数据;
预处理单元,其对采集的变压器油色谱样本数据和实测变压器油色谱样本数据进行预处理;
控制模块,其进行下述步骤:
构建上述的基于注意力机制的BiLSTM模块,并采用经过预处理的变压器油色谱样本数据对其进行训练,在训练过程中,经过预处理的变压器油色谱样本数据作为表征变压器状态的所述原始数据被输入到所述输入层;
将实测变压器油色谱样本数据作为表征变压器状态类型的所述原始数据输入经过训练的基于注意力机制的BiLSTM模块的输入层,则所述基于注意力机制的BiLSTM模块的分类层输出变压器状态类型。
进一步地,在本发明所述的变压器状态诊断系统中,所述预处理单元进行归一化处理。
本发明所述的基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统相较于现有技术具有如下所述的优点以及有益效果:
本发明所述的基于注意力机制的BiLSTM模块可以以原始振动信号作为模型输入,利用多组BiLSTM网络从原始振动信号中自适应提取多尺度特征,并引入注意力机制,优化不同尺度下的特征权重参数,提高模型诊断精度,实现对故障状态的有效诊断.
本发明所述的基于注意力机制的BiLSTM模块能够,准确有效的诊断变压器故障,其运行效率高,在保证整体分类性能及运行效率的同时,对少数类故障样本亦具有良好的识别诊断能力。
相应地,本发明所述的变压器状态诊断方法及系统也同样具有上述的优点以及有益效果。
附图说明
图1示意性地显示了LSTM神经网络的结构。
图2为本发明所述的变压器状态诊断方法在一种实施方式下的故障诊断流程示意图。
图3为本发明所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块在一种实施方式下的故障诊断流程图。
图4示意性地显示了注意力机制特征优化的原理图。
图5示意性地显示了本发明所述的变压器状态诊断方法在一种实施方式下的超参数调优的目标函数拟合分布模型。
图6示意性地显示了本发明所述的变压器状态诊断方法在一种实施方式下的超参数调优的目标函数最小值变化曲线。
具体实施方式
下面将结合说明书附图和具体的实施例对本发明所述的基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统做进一步的解释和说明,然而该解释和说明并不对本发明的技术方案构成不当限定。
图1示意性地显示了LSTM神经网络的结构。
如图1所示,图1示意性地显示了长短期记忆(LSTM)神经网络的结构。循环神经网络(RNN)是一类适用于处理时域序列数据的神经网络模型,每一层的输出包括两部分,一部分传递给下一层,另一部分为“隐状态”,留在当前层用以处理下一个样本使用.然而在深层网络中,当单一时序数据的长度很大或时间很短时,RNN会存在梯度消失、梯度爆炸等问题,训练难度较大。因此在RNN中引入记忆细胞概念,从而可以得到LSTM模型,其具有如图1所示的前向传播链式结构。
需要说明的是,双向LSTM(bi-direction LSTM,BiLSTM)是在LSTM的基础上,借鉴人类理解文字的前后联系思想,引入正负时间方向概念形成的变形结构。BiLSTM神经网络结构的每个隐层单元保存两个信息:A和A*,A参与正向运算,A*参与反向运算,二者可以共同决定最终输出值y。当进行正向运算时,隐层单元St和St-1相关;当进行反向运算时,隐层单元St *和St+1 *相关。对于不依赖因果关系的时间序列,BiLSTM利用已知时间序列和反向位置序列,通过正反双向运算,加深对原序列特征提取层次,能够有效提高模型输出结果的准确性。
因此,BiLSTM在解决时序性问题方面往往能够取得比单向LSTM更好的效果。相比于其他神经网络结构,LSTM能够更加真实地模拟人类的行为逻辑和神经认知过程。
需要注意的是,本发明的核心技术特征在于构建应用于变压器状态诊断的基于注意力机制的BiLSTM模块,该基于注意力机制的BiLSTM模块的故障诊断流程如图2所示。
图2为本发明所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块在一种实施方式下的故障诊断流程图。
如图2所示,在本实施方式中,本发明所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块可以包括:输入层、特征提取层、注意力模块和分类层。其中,输入层可以用于输入表征变压器状态类型的原始数据。
需要说明的是,特征提取层包括若干个不同尺度的BiLSTM层以及融合层,其中各BiLSTM层可以提取原始数据中不同尺度的多重特征,并将提取后的多重特征分别输入到融合层中,融合层可以将不同尺度的多重特征进行拼接,从而形成原始特征矩阵注意力模块。
继续参阅图2可知,在本实施方式中,BiLSTM层包括单层BiLSTM、双层BiLSTM和三层BiLSTM。
相应地,注意力模块可以对上述融合层形成得到的原始特征矩阵进行权重参数优化,从而得到优化后的特征矩阵。本发明所述的分类层能够基于优化后的特征矩阵,对表征变压器状态的数据进行分类并输出变压器状态类型。
需要注意的是,如图2所示,在本实施方式中,分类层包括全连接层和Softmax分类器。其中,全连接层的主要作用是:对将注意力模块输出的优化后的特征矩阵进行展平操作,使之转变为一维序列。而Softmax分类器则可以对表征变压器状态的数据进行分类操作,并输出变压器状态类型。
在本发明所述的基于注意力机制的BiLSTM模块中,BiLSTM模块采用交叉熵损失函数通过比较Softmax分类器输出预测结果的概率分布与目标类别概率分布的相似程度,能够得到故障类型识别的准确率。其中,交叉熵损失函数能够有效克服传统均方差损失函数权值更新慢的弊端。
图3示意性地显示了注意力机制特征优化的原理图。
对于变压器故障的诊断,通常的做法是通过一系列特征提取手段得到设备状态的特征矩阵,再进行故障诊断。但由于特征矩阵中不同特征不一定有助于故障诊断,所以有必要引入注意力机制以对提取的特征进行筛选。相关注意力机制特征优化的原理如图3所示。
如图3所示,同时结合参考图2,图3示意性地显示了注意力模块优化原始特征矩阵的原理。将样本标签表示为Yi,将故障特征表示为Ki,其中,Ki={Ki1,Ki2,…,Kij},i表示不同样本,Kij(j=1,2,…,n)为第j个不同特征。通过全连接神经网络可以计算由每个特征Kij所得到的特征权重参数Wij,Wij用来表示由Kij所得目标值Yij与Yi的相关性,并经过Softmax归一化处理,能够得到所有特征权重之和为1的概率分布,对原始特征Kij进行加权,从而可以得到优化后的特征矩阵。
图4为本发明所述的变压器状态诊断方法在一种实施方式下的故障诊断流程示意图。
如图4所示,在本实施方式中,本发明所述的变压器状态诊断方法,包括如下步骤:
(1)采集不同状态类型的变压器油色谱样本数据;
(2)对采集的变压器油色谱样本数据进行预处理;
(3)构建基于注意力机制的BiLSTM模块,并采用经过预处理的变压器油色谱样本数据对其进行训练,在训练过程中,经过预处理的变压器油色谱样本数据可以作为表征变压器状态的原始数据被输入到输入层中;
(4)将实测变压器油色谱样本数据作为表征变压器状态类型的原始数据输入经过训练的基于注意力机制的BiLSTM模块的输入层,则基于注意力机制的BiLSTM模块的分类层可以输出变压器状态类型。
然而,在实际的油色谱故障样本中,部分特征气体的数值呈指数形增长,使同类故障样本距离较大,对基于度量距离进行分类的kNN算法有较大的影响。同时为了减小各特征气体浓度在不同案例中绝对数值波动的影响,需要在上述步骤(2)中,对采集的变压器油色谱样本数据进行预处理,预处理可以包括归一化处理。
结合参考图2、图3和图4,为了更好地说明本发明所述的变压器状态诊断方法的应用情况,以某电网公司的故障案例库以及相关领域已发表文献中的油色谱数据组成总样本数为662组的数据集为例进行进一步说明。
在本发明中,本发明所述的变压器状态诊断系统可以用于执行本发明所述的变压器状态诊断方法。
需要说明的是,在本实施方式中,本发明所述的变压器状态诊断系统包括:数据采集装置、预处理单元和控制模块。其中,数据采集装置可以采集不同状态类型的变压器油色谱样本数据以及实测变压器油色谱样本数据,预处理单元能够对采集的变压器油色谱样本数据和实测变压器油色谱样本数据进行预处理,其中预处理可以包括归一化处理。
相应地,在本发明所述的变压器状态诊断系统中,控制模块可以进行下述步骤:
构建本发明所述的基于注意力机制的BiLSTM模块,并采用经过预处理的变压器油色谱样本数据对其进行训练,在训练过程中,经过预处理的变压器油色谱样本数据作为表征变压器状态的所述原始数据被输入到输入层;
将实测变压器油色谱样本数据作为表征变压器状态类型的原始数据输入经过训练的基于注意力机制的BiLSTM模块的输入层,则上述基于注意力机制的BiLSTM模块的分类层输出变压器状态类型。
在本实施方式中,该电网公司的故障案例库每个样本含H2,CH4,C2H2,C2H4,C2H6,CO,CO2和总烃含量八个特征参量。变压器的故障类型分为低能放电LD、高能放电HD、低能放电兼过热LDT、局部放电PD、中温过热MT(300℃<T<700℃)、低温过热LT(T<300℃)、高能放电兼过热HDT和高温过热HT(T小于700℃)等八种。取其中的468组数据为训练集,194组数据为测试集,用于模型的参数训练和泛化性测试,数据集样本的数量分布见表1。
表1
状态类型 总样本数 训练样本数 测试样本数
LD 80 56 24
HD 279 196 83
LDT 90 63 27
MT 48 34 14
PD 31 22 9
HT 96 68 28
LT 24 18 6
HDT 14 10 4
总计 662 467 195
随后根据该电网公司历年的1104例故障样本的油色谱数据,采用本发明所述的方法,分别计算油色谱各气体参量的支持度而得到度量矩阵初值M0。以H2,CH4为例,两参量的值同时大于对应均值的样本有37例,根据关联规则支持度S的计算公式(1):
S(X→Y)=count(X∪Y)/||T|| (1)
其中,count代表项集在T中出现的次数,‖T‖为事务数据库记录总数。
根据上述公式(1),可以计算得到:S(CH4→H2)=S(CH4←H2)=37/1104=0.0335145。同理,可以对其余各参量进行计算,最终得到一个8维数据,如表2所示。
表2列出了油色谱样本参量相关性量化初始矩阵。
表2.
H<sub>2</sub> CH<sub>4</sub> C<sub>2</sub>H<sub>2</sub> C<sub>2</sub>H<sub>4</sub> C<sub>2</sub>H<sub>6</sub> CO CO<sub>2</sub> 总烃
H<sub>2</sub> 3.351 4.076 5.616 3.623 2.627 2.899 2.264 4.62
CH<sub>4</sub> 2.808 5.435 3.623 6.069 1.812 2.264 2.536 5.163
C<sub>2</sub>H<sub>2</sub> 1.721 2.083 2.627 1.812 3.351 1.359 1.268 2.355
C<sub>2</sub>H<sub>4</sub> 3.351 6.341 4.076 5.435 2.083 2.808 2.174 5.344
C<sub>2</sub>H<sub>6</sub> 3.533 3.351 3.351 2.808 1.721 2.627 1.449 3.08
CO 2.627 2.808 2.899 2.264 1.359 5.254 2.627 2.627
CO<sub>2</sub> 1.449 2.174 2.264 2.536 1.268 2.627 32.428 2.355
总烃 3.08 5.344 4.62 5.163 2.355 2.627 2.355 6.703
图5示意性地显示了本发明所述的变压器状态诊断方法在一种实施方式下的超参数调优的目标函数拟合分布模型。
图6示意性地显示了本发明所述的变压器状态诊断方法在一种实施方式下的超参数调优的目标函数最小值变化曲线。
如图5和图6所示,图5为根据历史观测集得到的目标函数分布模型,其中的稍小圆点表明已采样的观测点,稍大圆点为最佳估计可行点,即根据最新模型估计函数值最低的采集点。图6为训练过程中目标函数历史观测集最小值随迭代次数变化的曲线图,可以看出使用优化后超参数训练的模型,其测试集故障分类准确率增加,模型诊断性能增强。
采用本发明上述的变压器状态诊断系统对变压器的故障进行诊断,为进行比较,本发明同时采用其他传统方法对故障进行了诊断,分别是基于三层BP神经网络、选用径向基核函数(RBF)的支持向量机(SVM)、kNN和NCA-kNN的四种方法。对诊断准确率和运行时间进行了对比,依据故障样本数量,将局部放电PD,低温过热LT以及高能放电兼过热HDT归类为少数类样本,各模型测试集诊断准确率对比如表3所示。
表3.
Figure BDA0002648218660000101
需要说明的是,为了保证公平对比,相同的贝叶斯优化算法被用于各模型超参数的优化,学习率均设为0.001,精度为1e-5,同时SVM在训练时使用类间不平衡权值调整。
如表4所示,从整体诊断准确率方面看,传统的NCA-kNN具有五种方法中最好的表现,达到了92.8%,本发明改进的NCA-kNN模型次之,准确率为91.3%。从各个模型的运行时间看,两种NCA-kNN模型仅用约1/2至1/3的时间便能达到优于BPNN及SVM算法的性能。
但从少数类样本的分类准确率,即从召回率上看,本发明变压器状态诊断系统中使用的基于注意力机制的BiLSTM模块具有最好的表现,其达到了78.9%,同时在各故障类型上均不低于60%,相比其他几种模型有较为稳定的表现。而BPNN模型由于没有采用任何针对不平衡数据训练的方法,其少数类样本准确率仅为47.4%,在全体模型中表现最差。SVM虽然采取了类间不平衡的权值调整,稍稍缩小了少数类样本和多数类样本间的表现差异性,但其效果仍不够理想。
本发明提出的用于变压器状态诊断的基于注意力机制的BiLSTM模块,在总准确率仅低于全体模型最佳值1.5%的情况下,其少数类样本的准确率相比于其它模型提升了15%至31%,其在保证整体分类性能及运行效率的同时,对少数类样本亦具有良好的识别诊断能力。
综上所述可以看出,本发明所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块可以准确有效的诊断变压器故障,其运行效率高,在保证整体分类性能及运行效率的同时,对少数类故障样本亦具有良好的识别诊断能力。
相应地,本发明所述的变压器状态诊断方法及系统也同样具有上述的优点以及有益效果。
需要说明的是,本发明的保护范围中现有技术部分并不局限于本申请文件所给出的实施例,所有不与本发明的方案相矛盾的现有技术,包括但不局限于在先专利文献、在先公开出版物,在先公开使用等等,都可纳入本发明的保护范围。
此外,本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式,本案记载的所有技术特征可以以任何方式进行自由组合或结合,除非相互之间产生矛盾。
还需要注意的是,以上所列举的实施例仅为本发明的具体实施例。显然本发明不局限于以上实施例,随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的,均应属于本发明的保护范围。

Claims (9)

1.一种用于变压器状态诊断的基于注意力机制的BiLSTM模块,其特征在于,其包括:
输入层,其用于输入表征变压器状态类型的原始数据;
特征提取层,所述特征提取层包括若干个不同尺度的BiLSTM层以及融合层,其中各所述BiLSTM层提取所述原始数据中不同尺度的多重特征,并将提取后的多重特征分别输入到所述融合层,所述融合层将不同尺度的多重特征进行拼接,以形成原始特征矩阵;
注意力模块,其对所述原始特征矩阵进行权重参数优化,以得到优化后的特征矩阵;
分类层,其基于优化后的特征矩阵,对表征变压器状态的数据进行分类并输出变压器状态类型。
2.如权利要求1所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块,其特征在于,所述若干个不同尺度的BiLSTM层至少包括单层BiLSTM、双层BiLSTM和三层BiLSTM。
3.如权利要求1所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块,其特征在于,所述分类层包括全连接层和Softmax分类器,其中所述全连接层将注意力模块输出的优化后的特征矩阵转变为一维序列;所述Softmax分类器对表征变压器状态的数据进行分类并输出变压器状态类型。
4.如权利要求1所述的用于变压器状态诊断的基于注意力机制的BiLSTM模块,其特征在于,所述BiLSTM模块采用交叉熵损失函数,以输出变压器状态类型。
5.一种变压器状态诊断方法,其特征在于,包括步骤:
(1)采集不同状态类型的变压器油色谱样本数据;
(2)对采集的变压器油色谱样本数据进行预处理;
(3)构建如权利要求1-4中任意一项所述的基于注意力机制的BiLSTM模块,并采用经过预处理的变压器油色谱样本数据对其进行训练,在训练过程中,经过预处理的变压器油色谱样本数据作为表征变压器状态的所述原始数据被输入到所述输入层;
(4)将实测变压器油色谱样本数据作为表征变压器状态类型的所述原始数据输入经过训练的基于注意力机制的BiLSTM模块的输入层,则所述基于注意力机制的BiLSTM模块的分类层输出变压器状态类型。
6.如权利要求5所述的变压器状态诊断方法,其特征在于,在步骤(2)中,所述预处理包括归一化处理。
7.如权利要求5所述的变压器状态诊断方法,其特征在于,在步骤(1)中,所述变压器状态类型包括低能放电、高能放电、低能放电兼过热、高能放电兼过热、局部放电、中温过热、低温过热和高温过热。
8.一种变压器状态诊断系统,其特征在于,包括:
数据采集装置,其采集不同状态类型的变压器油色谱样本数据以及实测变压器油色谱样本数据;
预处理单元,其对采集的变压器油色谱样本数据和实测变压器油色谱样本数据进行预处理;
控制模块,其进行下述步骤:
构建如权利要求1-4中任意一项所述的基于注意力机制的BiLSTM模块,并采用经过预处理的变压器油色谱样本数据对其进行训练,在训练过程中,经过预处理的变压器油色谱样本数据作为表征变压器状态的所述原始数据被输入到所述输入层;
将实测变压器油色谱样本数据作为表征变压器状态类型的所述原始数据输入经过训练的基于注意力机制的BiLSTM模块的输入层,则所述基于注意力机制的BiLSTM模块的分类层输出变压器状态类型。
9.如权利要求8所述的变压器状态诊断系统,其特征在于,所述预处理单元进行归一化处理。
CN202010861283.4A 2020-08-25 2020-08-25 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统 Pending CN112147432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010861283.4A CN112147432A (zh) 2020-08-25 2020-08-25 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010861283.4A CN112147432A (zh) 2020-08-25 2020-08-25 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统

Publications (1)

Publication Number Publication Date
CN112147432A true CN112147432A (zh) 2020-12-29

Family

ID=73888487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010861283.4A Pending CN112147432A (zh) 2020-08-25 2020-08-25 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统

Country Status (1)

Country Link
CN (1) CN112147432A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158537A (zh) * 2021-01-18 2021-07-23 中国航发湖南动力机械研究所 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN113361197A (zh) * 2021-06-08 2021-09-07 山东大学 一种锂电池剩余使用寿命预测方法及系统
CN113537360A (zh) * 2021-07-19 2021-10-22 中国人民解放军国防科技大学 一种基于深度学习的逐点分类故障检测方法
CN114062812A (zh) * 2021-11-15 2022-02-18 国网四川省电力公司营销服务中心 一种计量柜故障诊断方法及系统
CN114707257A (zh) * 2022-02-18 2022-07-05 江苏赛德力制药机械制造有限公司 一种基于全状态注意力和BiLSTM的机械剩余使用寿命预测方法
CN115563528A (zh) * 2022-11-25 2023-01-03 四川飞宇电力股份有限公司 变压器维修设备控制方法、电子设备和介质
CN116930741A (zh) * 2023-07-19 2023-10-24 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 开关器件故障程度诊断方法、装置和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037378A (zh) * 2017-10-26 2018-05-15 上海交通大学 基于长短时记忆网络的变压器运行状态预测方法及系统
CN110501585A (zh) * 2019-07-12 2019-11-26 武汉大学 一种基于Bi-LSTM和油中溶解气体分析的变压器故障诊断方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037378A (zh) * 2017-10-26 2018-05-15 上海交通大学 基于长短时记忆网络的变压器运行状态预测方法及系统
CN110501585A (zh) * 2019-07-12 2019-11-26 武汉大学 一种基于Bi-LSTM和油中溶解气体分析的变压器故障诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王太勇: "基于注意力机制BiLSTM的设备智能故障诊断方法", 《天津大学学报(自然科学与工程技术版)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158537A (zh) * 2021-01-18 2021-07-23 中国航发湖南动力机械研究所 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN113361197A (zh) * 2021-06-08 2021-09-07 山东大学 一种锂电池剩余使用寿命预测方法及系统
CN113361197B (zh) * 2021-06-08 2022-10-25 山东大学 一种锂电池剩余使用寿命预测方法及系统
CN113537360A (zh) * 2021-07-19 2021-10-22 中国人民解放军国防科技大学 一种基于深度学习的逐点分类故障检测方法
CN113537360B (zh) * 2021-07-19 2023-02-03 中国人民解放军国防科技大学 一种基于深度学习的逐点分类故障检测方法
CN114062812A (zh) * 2021-11-15 2022-02-18 国网四川省电力公司营销服务中心 一种计量柜故障诊断方法及系统
CN114062812B (zh) * 2021-11-15 2024-05-07 国网四川省电力公司营销服务中心 一种计量柜故障诊断方法及系统
CN114707257A (zh) * 2022-02-18 2022-07-05 江苏赛德力制药机械制造有限公司 一种基于全状态注意力和BiLSTM的机械剩余使用寿命预测方法
CN115563528A (zh) * 2022-11-25 2023-01-03 四川飞宇电力股份有限公司 变压器维修设备控制方法、电子设备和介质
CN116930741A (zh) * 2023-07-19 2023-10-24 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 开关器件故障程度诊断方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN112147432A (zh) 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统
Liao et al. Fault diagnosis of power transformers using graph convolutional network
CN110929847A (zh) 一种基于深度卷积神经网络的换流变压器故障诊断方法
CN112016251B (zh) 一种核动力装置故障的诊断方法及系统
CN114169091B (zh) 工程机械部件剩余寿命的预测模型建立方法及预测方法
CN105606914A (zh) 一种基于iwo-elm的航空功率变换器故障诊断方法
CN111680726A (zh) 基于近邻成分分析和k近邻学习融合的变压器故障诊断方法和系统
CN115618732B (zh) 核反应堆数字孪生关键参数自主优化数据反演方法
CN116562114A (zh) 一种基于图卷积神经网络的电力变压器故障诊断方法
CN114143210B (zh) 一种基于深度学习的指挥控制网络关键节点识别方法
CN113887136A (zh) 一种基于改进GAN和ResNet的电动汽车电机轴承故障诊断方法
CN114167180B (zh) 一种基于图注意力神经网络的充油电气设备故障诊断方法
Chen et al. A novel Bayesian-optimization-based adversarial TCN for RUL prediction of bearings
CN114091504A (zh) 一种基于生成对抗网络的旋转机械小样本故障诊断方法
CN114266297A (zh) 火电装备语义知识库、构建方法及零样本故障诊断方法
CN116894215B (zh) 一种基于半监督动态图注意的齿轮箱故障诊断方法
CN114462459A (zh) 一种基于1dcnn-lstm网络模型的液压机故障诊断方法
CN117150383A (zh) 一种ShuffleDarkNet37-SE的新能源汽车动力电池故障分类方法
Saufi et al. Machinery fault diagnosis based on a modified hybrid deep sparse autoencoder using a raw vibration time-series signal
CN115659258B (zh) 一种基于多尺度图卷积孪生网络的配电网故障检测方法
CN114326639B (zh) 基于混合注意力卷积神经网络的工业过程性能评估方法
CN111695288A (zh) 一种基于Apriori-BP算法的变压器故障诊断方法
CN114581699A (zh) 考虑多源信息时基于深度学习模型的变压器状态评估方法
CN114139598A (zh) 基于深度代价敏感卷积网络的故障诊断方法及诊断框架
CN110674791B (zh) 一种基于多阶段迁移学习的强迫振荡分层定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201229