CN108062572A - 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统 - Google Patents

Abstract

本发明涉及水电机组故障诊断技术领域，具体涉及一种基于DdAE深度学习模型的水电机组故障诊断方法与系统。本发明建立在对水电机组原始振动数据分析的基础上，采用了基于多层神经网络模型的深度学习特征提取方法，不需要复杂的人工处理和特征提取过程，采用基于随机搜索的ASFA方法进行DdAE的结构参数调优，达到策略优化的目的。通过深度降噪自动编码器模型实现了原始数据的分布式表达，并将特征提取后的重构数据输入至Softmax回归模型判断水电机组的工作状态和故障类型。网络试验结果分析表明，该方法能有效地应用于水电机组的故障诊断。

Description

一种基于DdAE深度学习模型的水电机组故障诊断方法与系统

技术领域

本发明属于水电机组故障诊断技术领域，更具体地，涉及一种基于DdAE深度学习模型的水电机组故障诊断方法与系统。

背景技术

在一个水力发电系统中，水轮发电机组是最关键的主设备，它的运行状态是否安全可靠直接关系到水电站能否安全、经济的为国家各经济部门和人民的日常生活提供可靠的电力，也直接关系到水电站本身的安全。不断改进优化的状态监测与故障诊断系统，不仅能提高水电站的经济效益和社会效益，也有利于我国在大型水电机组故障诊断技术领域方面的发展。随着现在科学技术水平的日益提高，尤其是信号处理、知识工程和计算智能等理论技术的发展，水轮发电机组的故障诊断也正由人工诊断到智能诊断、由离线诊断到在线诊断，由现场诊断到远程诊断的逐渐发展。

传统机器学习和信号处理技术探索仅含单层非线性变换的浅层学习结构。浅层模型的一个共性是仅含单个将原始输入信号转换到特定问题空间特征的简单结构。典型的浅层学习结构包括传统隐马尔可夫模型(hidden Markov model，简写为：HMM)、条件随机场(conditional random field，简写为：CRFs)、最大熵模型(The Maximum Entropy model，简写为：MaxEnt)、支持向量机(Support Vector Machine，简写为：SVM)、核回归及仅多层感知器(Multi-Layer Perceptron，简写为：MLP)等。例如，SVM用包含一层或者零个特征转换层的浅层模式分离模型。浅层结构的局限性在于有限的样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。

水电机组的振动与一般动力机械的振动有所不同。除需考虑机组本身的转动或固定部分的振动外，水电机组振动尚需考虑作用于发电机部分的电磁力及作用于水电机过流部分的流体动压力对系统及其部件振动的影响。在机组运转的情况下，流体、机械、电磁三部分是相互影响的。因此，水电机组的振动是电气、机械、流体耦合振动。根据水电站所积累的典型经验，可将引起机组振动的原因划分为机械、水力、电气和噪声等方面因素。目前，在水力发电机组振动故障诊断中得以研究和应用的主要有故障树故障诊断方法、模糊诊断方法、小波分析和神经网络等方法。

故障树故障诊断方法在传统支持向量机(Classical-Support Vector Machine，简写为：C-SVM)的基础上，通过集成模糊聚类技术和支持向量机算法，构造一种适合于故障诊断的多级二叉树分类器。缺点是不能诊断不可预知的故障；诊断结果严重依赖于故障树信息的正确性和完整性。而且水电机组故障诊断一般为多故障诊断，支持向量机是一种典型的二分类分类器，用于多分类时会有计算量大的问题。

模糊诊断方法是利用集合论中的隶属度函数和模糊关系矩阵的概念来解决故障与征兆之间的不确定关系。模糊故障诊断方法的不足之处在于，复杂的诊断系统要建立正确的模糊规则和隶属函数非常困难，而且工作量大。

小波分析能够解决许多傅立叶变换难以解决的问题。它在时域和频域都有良好的局域化能力，能聚焦到信号的任意细节，对信号的突变有很强的识别能力，能有效地去噪和提取有用信号。但是小波分析方法中的小波基是很难选取的，一般很难选到非常符合要求的小波基，而且小波变换的实现效果在高维情况下不能得到保证。

神经网络的诊断方法一般为浅层网络，例如极限学习机(Extreme LearningMachine，简写为：ELM)，径向基网络(Radical Basis Function network，简写为：RBF)等。这一类浅层网络往往需要结合其他信号处理技术，以及一些用于参数优化的智能算法，在整个故障诊断流程中充当最后的分类器。其最终的诊断效果依赖于前面所做的信号处理即信号特征提取工作。

发明内容

本发明的目的是提供一种基于DdAE深度学习模型的水电机组故障诊断方法与系统，以解决海量监测数据带来的繁琐的人工工作的问题，并提高故障诊断系统的准确率和稳定性。

本发明采用的技术方案为：

第一方面，提供了一种基于DdAE深度学习模型的水电机组故障诊断方法，该方法包括如下内容：

步骤(1)：原始数据预处理：

该方法以水电机组振动的原始数据作为输入样本集x，首先采用归一化处理，即使处理后的数据按原始数据的分布比例分布在-1到1之间，得到新的输入样本集x'；然后将归一化处理后的样本集x'等分为k组数据块，考虑到水电机组振动故障的周期性，为了不破坏故障信息按照一个周期为准分组。从k组数据块中抽取n组组合成训练数据作为神经网络模型的输入，如此可得组训练数据，增大了有限数据的复用率，并且每组训练数据都相当于做了降噪处理，k的具体取值根据搜集到数据的实际情况来定。

步骤(2)：基于深度学习的无监督训练过程：

建立DdAE网络模型，采用训练样本对DdAE网络模型进行训练。通过加入dropout的无监督贪心逐层训练方法对DdAE网络模型进行训练，得到DdAE网络模型的连接权重。该过程是一种无监督的特征提取过程，贪心逐层训练提供特征提取过程中的无损保证，并且以最快的速度收敛。每次训练的初始化连接权重引导向不同方向的特征，提供特征选择的多样性保证。

步骤(3)：基于Softmax回归模型和BP的有监督训练过程：

经过第(2)步的DdAE网络模型做无监督的特征提取，可以得到一组重构特征向量，选择Softmax回归模型作为水电机组故障的分类方法，处理水电机组在多种故障下的多分类问题。重构出的特征向量经过一层全连接的组合网络，得到特征的一种线性组合作为Softmax模型的输入，计算出表示每一种故障的出现可能性的概率。通过最小化误差函数来修正特征组合网络的连接权重，用梯度下降和反向传播算法对整个网络的连接权重进行微调。

步骤(4)：基于AFSA的结构参数优化过程：

即自适应结构调整过程，过程包含了上述基于深度学习的无监督训练过程和基于Softmax回归模型和BP的有监督训练过程。将DdAE的结构参数和误差函数中的超参数作为AFSA的目标参数，模型输出结果的误差函数作为AFSA的目标函数，通过AFSA对整个模型中的超参数进行随机搜索优化，AFSA优化中的每一个人工鱼的每一步迭代过程即为一个DdAE网络模型的参数优化过程，最终得到位置最优的人工鱼即得到最优模型。

第二方面，本发明还提供了一种基于DdAE深度学习模型的水电机组故障诊断系统，所述系统包括训练数据处理模块、神经网络模型训练模块、重构特征向量生成模块和故障概率计算模块，上述各模块依次相连，具体的：

训练数据处理模块，用于获取数据集，并从数据集中抽取n组数据块，作为DdAE网络模型的训练数据；

神经网络模型训练模块，用于建立DdAE网络模型，并利用所述训练数据对DdAE网络模型进行训练，得到DdAE网络模型的连接权重；

重构特征向量生成模块，根据由所述连接权重构成的DdAE网络模型，获取一组重构特征向量；

故障概率计算模块，用于重构特征向量经过一层全连接的组合网络，得到特征的线性组合，并作为Softmax模型的输入，计算出表示每一种故障的出现可能性的概率。

本发明与现有技术相比的优点在于：

(1)区别于传统的时频域信号特征提取方法，为了摆脱对信号处理技术和诊断经验的依赖，提出了一种深度自动编码器特征学习方法，从测量的振动信号中自动有效地学习有用的故障特征。

(2)本发明优选方案中为了消除背景噪声影响，提高特征学习能力，在获取数据集的预处理过程中采用数据“破碎、重组”的操作降低噪声影响，以及在无监督训练过程中采用最大相关熵设计新的深度自编码器损失函数。很好的避免了未知噪声的影响，有效提高了深度学习模型的抗噪能力，使其在故障诊断中具有更高的准确性和更牢固的稳定性。

(3)本发明优选方案中为了避免深度学习模型经常出现的过拟合(overfitting)问题，在无监督学习过程中，对每层自动编码器AE的隐藏层神经元采用dropout操作，解决了参数优化的过拟合问题；在ASFA方法的目标函数设计时加入参数正则项，解决了结构优化过程中的过拟合问题。

(4)本发明优选方案中选择使用修正线性单元ReLU函数作为激励函数，避免了在BP过程中的梯度弥散和梯度爆炸的问题。

(5)本发明优选方案中将人工鱼群算法ASFA应用到深度学习的超参数调优中来，减少了对超参数选定的人工工作，使得整个方法的智能学习能力增强，进而达到对多种类似问题的泛化处理能力。

(6)本发明优选方案中提出深度学习水电机组故障诊断模型的训练分为两个过程：参数优化过程和策略优化过程，两者共同进行可以更快更精准的收敛到最优。参数优化过程包括无监督训练过程和有监督训练过程：无监督过程采用贪心逐层优化，为有监督过程的BP提供了良好的预训练参数，两个训练过程相互配合提高模型诊断精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于DdAE深度学习模型的水电机组故障诊断方法流程

图2为本发明实施例提供的一种自动编码器结构图；

图3为本发明实施例提供的一种DdAE结构示意图；

图4为本发明实施例提供的一种逐层贪心训练模型示意图；

图5为本发明实施例提供的一种AFSA流程示意图；

图6为本发明实施例提供的一种基于DdAE深度学习模型的水电机组故障诊断方法流程；

图7是本发明实施例提供的一种基于DdAE深度学习模型的水电机组故障诊断系统架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

自2006年以来，由加拿大Hinton教授提出的深度学习(deeplearning)已经成为机器学习领域的一个新兴领域。Hinton教授在《Science》发表论文提出了一种深度学习模型，深层信念网络(Deepbeliefnetwork，简写为：DBN)，该模型包含多层随机隐藏变量的概率生成模型。最上面两层无向对称连接，低层之间自上而下有向连接。

深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在很多方面都带来了显著的改善，包含最先进的语音识别、视觉对象识别、对象检测和很多其他领域，比如药物发现和基因组学等。深度学习可以发现大数据中的复杂结构。它是利用反向传播(BackPropagation，简写为：BP)算法来完毕这个发现过程的。BP算法可以指导机器怎样从前一层获取误差而改变本层的内部參数，这些内部參数可以用于计算表示。深度卷积网络在处理图像、视频、语音和音频方面带来了突破，而递归网络在处理序列数据，例如文本和语音方面表现出了闪亮的一面。

深度学习技术的发展已经对信号和信息过程领域产生广泛的影响，并将继续影响到机器学习和人工智能的其它关键领域，其中故障分类与诊断就是一个重要的发展领域。

实施例1：

本发明实施例基于深度降噪自动编码器(Deep denoising Autoencoder，简写为DdAE)深度学习模型的故障诊断方法流程如图1所示。包括以下执行步骤：

在步骤201中，获取数据集，并从数据集中抽取n组数据块，作为DdAE网络模型的训练数据。

以水轮发电机组为例，在步骤201中，以水电机组振动的原始数据作为输入样本集x，并在作为训练数据之前进行归一化处理，即使处理后的数据按原始数据的分布比例分布在-1到1之间，得到新的输入样本集x'；然后将归一化处理后的样本集x'等分为k组数据块，考虑到水电机组振动故障的周期性，为了不破坏故障信息按照一个周期为准分组。从k组数据块中抽取n组组合成训练数据作为神经网络模型的输入，如此可得组训练数据，增大了有限数据的复用率，并且每组训练数据都相当于做了降噪处理，其中，k的具体取值根据搜集到数据的实际情况来定。

其中，归一化可实现为：取样本集中最大值和最小值记为X_max和X_min；根据公式对样本集中所有数据做计算，由计算结果得到水电机组振动数据样本集x归一化后的样本集x'。

在步骤202中，建立DdAE网络模型，并利用所述训练数据对DdAE网络模型进行训练，得到DdAE网络模型的连接权重。

其中，所述DdAE网络模型由至少两个AE构成，其中，前一层AE的隐藏层作为后一层AE的输入层堆叠得到；每个AE的隐藏层各节点的值由输入层各节点值经线性加权连接求和，输入到一个激励函数中计算得到，即隐藏层中的输入到输出由一个激励函数连接。在深度神经网络中，第一层称为输入层，最后一层称为输出层，其他中间层称为隐藏层，隐藏层节点的输入和输出之间具有函数关系，这个函数称为激励函数。其中，所述激励函数可以是修正线性单元(Rectified Linear Unit，简写为：ReLU)函数。

在步骤203中，将DdAE的结构参数和误差函数中的超参数作为AFSA算法的目标参数，模型输出结果的误差函数作为AFSA的目标函数，通过AFSA对整个模型中的超参数进行随机搜索优化，AFSA优化中的每一个人工鱼的每一步迭代过程为一个DdAE网络模型的参数优化过程，以便得到最优DdAE网络模型；

在步骤204中，根据由所述连接权重构成的DdAE网络模型，获取一组重构特征向量。

在步骤205中，所述重构特征向量经过一层全连接的组合网络，得到特征的线性组合，并作为Softmax模型的输入，计算出表示每一种故障的出现可能性的概率。

本发明实施例提供了一种基于DdAE深度学习模型的水电机组故障诊断方法，以解决海量监测数据带来的繁琐的人工工作的问题，并提高了故障诊断系统的准确率和稳定性。

在本发明实施例中，为了进一步优化DdAE网络模型，还存在一种优选的实现内容，具体的：将DdAE的结构参数和误差函数中的超参数作为AFSA算法的目标参数，模型输出结果的误差函数作为AFSA的目标函数，通过AFSA对整个模型中的超参数进行随机搜索优化，AFSA优化中的每一个人工鱼的每一步迭代过程为一个DdAE网络模型的参数优化过程，以便得到最优DdAE网络模型。而上述优化DdAE过程可以是在上述步骤202-205中被及时的执行，而其触发执行的条件则是DdAE的结构参数和误差函数中的超参数。

在本发明实施例步骤202中，所述利用所述训练数据对DdAE网络模型进行训练，具体包括通过加入dropout的无监督贪心逐层训练方法对DdAE网络模型进行训练，所述无监督贪心逐层训练方法，具体为：

在无监督训练过程中，将DdAE网络模型的每一层作为一个独立的AE的输入层，其下一层作为独立AE的隐藏层，构造一个与输入层同维度的输出层，如此重构出多个AE进行单独训练；在无监督训练过程中，对每个单独AE的隐藏层神经元依概率P进行dropout操作。所述加入dropout的无监督贪心逐层训练方法包括：在DdAE网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃(对应内容，在后续对dropout展开阐述中涉及)。

标准自编码器损失函数采用MSE设计，对复杂信号的特征学习不具有鲁棒性，其对噪声的敏感度也很高。交叉熵是一种非线性和局部相似性度量，对于复杂和非平稳的背景噪声，最大相关熵是不敏感的。因此，最大相关函数具有匹配复信号特征的潜力，可以解决MSE的缺点。在本发明实施例中，采用最大相关熵来设计新的自编码器AE损失函数如下：

所述自编码器AE的损失函数为：

其中ω为AE权重参数组成的参数向量，m为输入层维度，z_i为故障分类的真实标签，为通过该方法的诊断结果，为梅森核函数，核函数用于估计真实值与预测值的交叉熵。其中，所述梅森核函数一般使用高斯核函数。所述高斯核函数表达式如下：

其中为高斯核函数，σ为高斯分布的方差，一般取值在0到10之间，e为自然对数。

从第一层AE开始训练，以最小化误差函数J(ω)为目标，对参数集θ进行优化，此后每一层AE输入为前一层隐藏层输出，依次训练整个网络。经过无监督训练过程可以得到一组整个神经网络的连接权重预训练结果，在此结果基础上进行下一步有监督的训练，即本发明实施例1的步骤205。

在本发明实施例的步骤202中，还可以通过加入dropout的无监督贪心逐层训练方法对DdAE网络模型进行训练，得到DdAE网络模型的连接权重。该过程是一种无监督的特征提取过程，贪心逐层训练提供特征提取过程中的无损保证，并且以最快的速度收敛。每次训练的初始化连接权重引导向不同方向的特征，提供特征选择的多样性保证。

在本发明实施例中dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，即按照概率确定是否在本轮输入的计算中忽略该网络单元，使其不参与本轮计算，而不影响其参与下一轮优化。在标准神经网络中，节点之间的相关性使得一个节点的噪声影响范围扩大，使网络的泛化能力减弱，导致过拟合问题，dropout破坏了这种相关性，避免了这些问题。

在整个特征学习过程中，dropout使得学习得到的特征向量更具有稀疏性，有助于DdAE网络模型的稀疏表达和分布式表达。dropout的丢弃概率P选择范围以0.5到0.8为优选值。

结合本发明实施例，存在一种优选的实现方案，可用于配合步骤203实现，具体的，通过最小化误差函数来修正特征组合网络的连接权重，用梯度下降和反向传播BP算法对整个网络的连接权重进行微调。

本发明实施例中的反向传播过程为基于梯度的优化过程，将Softmax分类的结果与训练数据标签对比，找到正确故障类型所对应的特征组合值序号j，由如下公式计算梯度：

其中Δ_i为梯度向量Δ的第i个元素，j为标签对应的真实故障类型的序号，z_j为与真实故障类型序号对应的特征组合值，z_i为与Δ_i序号对应的故障类型的特征组合值，z_k为对应第k种故障类型的特征组合值，K为总共可分类故障数。在本发明实施例中所提出的深度降噪自动编码器DdAE模型是基于传统的单隐层自动编码器(如图2所示)设计得到的，单隐层自动编码器AE由一个输入层、一个隐藏层和一个输出层组成，理论上要求输入层和输出层结果相等，这表示隐藏层节点所代表的特征能够重构输入层数据，达到无损特征提取的目的。该DdAE网络模型由多个AE抛弃掉输出层，以前一层AE的隐藏层作为后一层AE的输入层堆叠得到(如图3所示)，其中每个隐藏层各节点的值由输入层各节点值经线性加权连接求和，输入到一个激励函数中计算得到。其中隐藏层的输入到输出由一个激励函数连接，本发明实施例中选用ReLU函数作为激励函数。在整个DdAE网络模型中，除了第一层和最后一层，剩下所有中间层的神经元输入与输出之间都由激励函数连接。ReLU函数的良好特性可以有效避免BP过程中的梯度衰减，保证了训练的优化速率。

本发明实施例还提供了一种无监督训练的初始化的方法，具体的：

无监督训练的初始化包括DdAE网络模型的结构初始化和DdAE网络模型连接权重参数的初始化。本发明实施例对于DdAE网络模型的结构的初始化采用经验公式法，DdAE网络模型的输入层为128个节点，神经元节点数量逐层对半递减，最终输出层为8个节点，与一个6节点的组合层全连接线性组合后输入到Softmax模型中进行分类，DdAE网络模型部分共设计为5个隐藏层。DdAE网络模型层间连接权重参数的初始化采用经验公式其中n_j为权重矩阵W连接的前一层神经元节点数，n_j+1为权重矩阵W连接的后一层神经元节点数，权重矩阵W依这样一个均匀分布进行初始化。

另一方面，本发明实时还提供了一种优选的Softmax模型，具体的Softmax模型函数表达式为：

其中z为对应各种故障的特征向量，σ(z)_j为对应第j种故障的模糊评价值，z_j为对应第j种故障类型的特征组合值，z_k为对应第k种故障类型的特征组合值，K为总共可分类故障数。

将通过无监督部分学习的结果，即重构特征向量，进行一次全连接网络的线性组合，得到可以代表各种故障的组合特征向量z，输入到Softmax模型中得到对各种故障的隶属度，取隶属度最大故障类型为最终结果。

在本发明实施例中，所述人工鱼群算法过程AFSA是一种流行的优化方法，与其他优化算法相比，它有收敛速度快，对初始值容错度高，鲁棒性强的优势，并且可以找到全局最优解。因此，本发明实施例采用AFSA对深度自动编码器的关键参数进行二次优化。

在本发明实施例中，所提出的人工鱼群算法AFSA的具体实现如图5所示，包括步骤如下：

Step1：准备深度自编码器模型，该模型中的初始参数由本发明实施例步骤202中的无监督学习训练得到。

Step2：设置人工鱼群算法的基本参数，包括鱼群数量L，参数的调整范围LB、UB，鱼群的视野范围V，鱼群移动的最大步长S，觅食行为的尝试数try_number，最大繁衍代数Maxgen和拥挤因子δ。使用深度自动编码器的故障分类精度来设计AFSA的目标函数。

Step3：在参数变化范围内，根据Step1的模型初始参数集生成初始化鱼群的原始状态。建立公告，记录鱼群的最佳位置和每一代的最小目标函数值。

Step4：每个人工鱼(Artificial Fish，简写为：AF)根据优化规定尝试适当的行为。更新公告以记录最佳参数值。

Step5：检查最佳参数值对应的目标函数值是否达到优化目的，如果达到则完成优化并输出最优参数；否则，检查繁衍代数是否达到最大繁衍代数Maxgen，如果达到则完成优化，并输出最优参数；否则返回执行Step4。

结合本发明实施例，还提供了一种策略优化学习目标函数，具体为基于核极限学习机(Kerner Extreme Learning Machine，简写为：KELM)理论的误差函数。前馈神经网络的训练误差越小，权重的范数越小，网络趋向于获得更好的泛化性能。ELM倾向于同时最小化训练误差和最大化特征稀疏性的标准。

min||Hβ-T||²AND||β||

其中β为特征向量，H为特征组合矩阵，T为真实标签向量。Hβ可以由上述第三步的Softmax分类结果向量表示。具体目标函数设计为最小化如下函数：

其中x_i为第i组输入的诊断结果，z_i为第i组输入对应的标签向量，m为训练集大小。θ为待优化的参数向量，包括DdAE的隐藏层层数、每层神经元数量n_j、高斯核方差σ和dropout的丢弃概率P。

实施例2：

本发明实施例是将实施例1中诸多扩展和优选的方案整合到一起的复合型方案，其中，参考如图6所示的基于DdAE深度学习模型的水电机组故障诊断方法流程图。本实施例主要包括DdAE网络模型的训练和测试两个过程。DdAE网络模型的训练过程可总结如下：

步骤(1)：原始数据预处理

本发明实施例以水电机组振动的原始数据作为输入样本集x，首先采用归一化处理，即使处理后的数据按原始数据的分布比例分布在-1到1之间，得到新的输入样本集x'；然后将归一化处理后的样本集x'等分为k组数据块，考虑到水电机组振动故障的周期性，为了不破坏故障信息按照一个旋转周期为准来分组。从k组数据块中随机抽取n组组合成训练数据作为神经网络模型的输入，通过多层神经网络的深度学习来构建数据特征的分布式表达。如此可得组训练数据，增大了有限数据的复用率，并且每组训练数据都相当于做了降噪处理，k的具体取值根据搜集到数据的实际情况来定。用整个样本集作为模型的测试集。

上述归一化处理具体为：

假设得到的水电机组振动数据样本集为X，取样本集中最大值和最小值记为X_max和X_min，然后对样本集中所有数据做计算这样得到的新的样本集x’就是原样本集归一化后的数据。

步骤(2)：初始化ASFA模型

设置人工鱼群算法的基本参数，包括鱼群数量L(表示L个不同DdAE网络模型的超参数集)，参数的调整范围LB、UB(表示DdAE网络模型超参数的调节范围上下限)，鱼群的视野范围V(表示能够相互影响的两个人工鱼的最大距离)，鱼群移动的最大步长S(表示每次迭代中DdAE网络模型超参数调整的最大范围)，觅食行为的最大尝试数try_number(表示在视野范围内的DdAE网络模型超参数引导下的最大探索次数)，最大繁衍代数Maxgen(表示所有初始化的DdAE网络模型超参数集的最大迭代优化次数)和拥挤因子δ。ASFA模型中每个AF代表了一个确定超参数的DdAE网络模型(在本发明实施例也被简称为AF)，AF的位置确定了其表示的DdAE网络模型的超参数集(在本发明实施例也被简称为AF位置)

上述的AFSA模型的初始化方法具体为：

人工鱼群模型的AF位置参数包括DdAE网络模型的网络层数Layer，每层网络的神经元节点数Net_i，高斯分布的方差σ，dropout概率P。其中Layer一般选取在3到8之间，可选取范围内一随机值为初始化值；Net_i的选取范围在要求的分类种数到1024之间，Net₁一般根据一次输入数据的维数初始化为2的整数次方，Net_i初始化值由Net₁逐层减半得到，并且最后一层输出不小于要求的分类种数；σ的选取范围在0到10之间，一般初始化为1，概率P的选取范围在0.5到0.8之间，一般初始化为可选范围内一随机值。鱼群数量L初始化在10到100之间，视野范围V初始化在整个参数调整范围的0.01到0.02之间，最大步长S初始化为2*V，最大尝试数try_number初始化在5到10之间，最大繁衍代数Maxgen初始化在10到20之间，拥挤因子δ初始化在0.2到0.5之间。

步骤(3)：基于深度学习的无监督训练过程

根据ASFA模型中的每个人工鱼的位置所代表的超参数集，建立DdAE网络模型，采用步骤(1)中处理得到的训练数据对DdAE网络模型进行训练。通过加入dropout的无监督贪心逐层训练方法对DdAE网络模型进行训练，得到DdAE网络模型的连接权重。该过程是一种无监督的特征提取过程，贪心逐层训练提供特征提取过程中的无损保证，并且以最快的速度收敛。每次训练的初始化连接权重引导向不同方向的特征，提供特征选择的多样性保证。

上述深度降噪自动编码器(DdAE)模型具体为：

本发明实施例提出的深度降噪自动编码器(DdAE)模型是基于传统的单隐层自动编码器(如图2所示)设计得到的，单隐层自动编码器(AE)由一个输入层、一个隐藏层和一个输出层组成，理论上要求输入层和输出层结果相等，这表示隐藏层节点所代表的特征能够重构输入层数据，达到无损特征提取的目的。该DdAE网络模型由多个AE抛弃掉输出层，以前一层AE的隐藏层作为后一层AE的输入层堆叠得到(如图3所示)，其中每个隐藏层各节点的值由输入层各节点值经线性加权连接求和，输入到一个激励函数中计算得到。其中隐藏层的输入到输出由一个激励函数连接，本发明实施例选用ReLU函数作为激励函数。ReLU函数的良好特性可以有效避免BP过程中的梯度衰减，保证了训练的优化速率。

上述无监督贪心逐层训练过程具体为：

在无监督训练过程中，对DdAE网络模型的每一层连接权重W_i单独训练，从第一层连接权重W₁开始，将W₁的前一层神经元视为一个独立的单隐层自动编码器的输入层，将W₁的后一层神经元视为隐藏层，再为其构造一个与输入层同维度的输出层，隐藏层到输出层连接权重为W₁′，W₁′的初始值由得到，由此构建了一个单隐层AE的结构，如图4。以训练数据为输入，以设计的目标函数为指导，对这个单隐层AE进行训练，训练完成后的W₁作为DdAE网络模型的第一层连接权重，再以训练完成的连接权重计算这个单隐层AE的隐藏层输出数据，作为下一层训练的输入数据，依次逐层训练。

在无监督训练过程中，对每个单独AE的隐藏层神经元依概率P进行dropout操作。

标准自编码器损失函数采用基于均方误差(mean-square error，简写为：MSE)的设计，对复杂信号的特征学习不具有鲁棒性，其对噪声的敏感度也很高，非常容易被少量噪声影响。相关熵是一种非线性和局部相似性度量，对于复杂和非平稳的背景噪声，最大相关熵是不敏感的。因此，最大相关熵具有匹配复杂信号特征的潜力，可以解决MSE的缺点。在本发明实施例中，采用最大相关熵来设计新的自编码器损失函数如下。

其中ω为AE权重参数组成的参数向量，m为输入层维度，z_i为理想的输出结果，为通过隐藏层特征重构的输出结果，为梅森核函数，一般使用高斯核函数，高斯核函数用于估计真实值与预测值的交叉熵，表达式如下。

其中，σ为高斯分布的方差，一般取值在0到10之间，e为自然对数。

经过无监督训练过程可以得到一组整个神经网络的连接权重预训练结果，在此结果基础上进行下一步有监督训练。

上述无监督训练过程中的dropout操作具体为：

dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，即令其暂时不参与下一步计算。标准神经网络，节点之间的相关性使得一个节点的噪声影响范围扩大，使网络的泛化能力减弱，导致过拟合问题，dropout破坏了这种相关性，避免了这些问题。

在整个特征学习过程中，dropout使得学习的到的特征向量更具有稀疏性，有助于DdAE网络模型的稀疏表达和分布式表达。

上述的无监督训练的初始化方法具体为：

本发明实施例采用经验公式法，DdAE网络模型层间连接权重参数的初始化采用经验公式其中，n_j为权重矩阵W连接的前一层神经元节点数，n_j+1为权重矩阵W连接的后一层神经元节点数，权重矩阵W依这样一个均匀分布进行初始化。

步骤(4)：基于Softmax回归模型和BP的有监督训练过程

经过步骤(3)无监督的特征提取，可以得到一组重构特征向量，选择Softmax回归模型作为水电机组故障的分类方法，处理水电机组在多种故障下的多分类问题。重构出的特征向量经过一层全连接的组合网络，得到特征的一种线性组合作为Softmax模型的输入，计算出表示每一种故障的出现概率。通过最小化误差函数来修正特征组合网络的连接权重，用梯度下降和反向传播算法对整个网络的连接权重进行微调。

上述Softmax分类过程具体为：

Softmax模型的函数表达式为

其中z为对应各种故障的组合特征向量，σ(z)_j为对应第j种故障的模糊评价值，z_j为对应第j种故障类型的特征组合值，z_k为对应第k种故障类型的特征组合值，K为总共可分类故障数。

将通过无监督部分学习的结果，即特征提取结果，进行一次全连接网络的线性组合，得到可以代表各种故障的组合特征向量z，输入到Softmax模型中得到对各种故障的隶属度，取隶属度最大故障类型为最终结果。

上述BP优化过程具体为：

本发明实施例的反向传播过程为基于梯度的优化过程。将Softmax分类的结果与训练数据标签对比，找到正确故障类型所对应的特征组合值序号j，由如下公式计算梯度：

其中Δ_i为梯度向量Δ的第i个元素，j为标签对应的真实故障类型的序号，z_j为与真实故障类型序号对应的特征组合值，z_i为与Δ_i序号对应的故障类型的特征组合值，z_k为对应第k种故障类型的特征组合值，K为总共可分类故障数。

步骤(5)：计算AFSA中每个AF的目标函数。

经过步骤(3)的无监督训练和步骤(4)的有监督训练，得到一个参数优化完成的DdAE网络模型，将步骤(1)中处理得到的测试数据输入到该DdAE网络模型中，依据故障分类总精度设计AF的目标函数。

上述策略优化学习的目标函数设计具体为：

本发明实施例设计的策略优化学习目标函数是基于核极限学习机KELM理论的误差函数。前馈神经网络的训练误差越小，权重的范数越小，网络趋向于获得更好的泛化性能。ELM倾向于同时以最小化训练误差和最大化特征稀疏性为标准。

min||Hβ-T||²AND||β||

其中β为特征向量，H为特征组合矩阵，T为真实标签向量。Hβ可以由上述第三步的Softmax分类结果向量表示。具体目标函数设计为最小化如下函数：

其中x_i为第i组输入的诊断结果，z_i为第i组输入对应的标签向量，m为训练集大小。θ为待优化的参数向量，包括DdAE的隐藏层层数、每层神经元数量n_j、高斯核方差σ和dropout的丢弃概率P。

步骤(6)：根据优化规则选择每个AF的适当行为。

AF的行为包括觅食行为(Prey)，群聚行为(Swarm)，追尾行为(Follow)和随机行为(Move)。按照优化规则选择每个AF的在本次迭代过程中所进行的优化行为，即为每个DdAE网络模型超参数在本次迭代中的优化方向。

上述优化规则具体为：

1.优先尝试群聚行为，其计算公式为：

其中为预计下一步迭代中该AF的位置；为本次迭代中该AF的位置；X_c为当前AF视野范围内所有AF的位置中心；S为最大步长；Rand()为一个随机数生成函数，生成0到1之间的随机数。

计算X_c对应的AF位置的目标函数结果Y_c，对应的AF位置的目标函数结果Y_i。若其中n_f为视野范围内AF数量，则本次迭代优化中该AF选择群聚行为，否则尝试追尾行为。

2.尝试追尾行为，其计算公式为：

其中X_j为视野范围内最优AF位置。

计算X_j对应的AF位置的目标函数结果Y_j，对应的AF位置的目标函数结果Y_i。若则本次迭代优化中该AF选择追尾行为，否则尝试觅食行为。

3.尝试觅食行为，其计算公式为：

其中，X_j为视野范围内随机选取的一个AF的位置。

计算位置下的目标函数，若目标函数结果优于位置下结果，则本次迭代优化中该AF选择觅食行为；否则，若选择X_j次数小于最大尝试数try_number，则重新选择X_j；否则放弃觅食行为进行随机行为。

4.尝试随机行为，其计算公式为：

其中，V为视野范围。

随机行为是上述三种优化行为的缺省行为，在上述三种行为都不可选时执行随机行为。

步骤(7)：迭代进行结构优化过程

AFSA模型优化DdAE网络模型的超参数的过程即为结构优化过程。经过步骤(6)的鱼群行为执行后，在公告牌上记录最优目标函数对应的AF位置信息，并检查是否满足迭代中止条件，若达到中止条件则输出最后公告牌上记录的AF位置作为最终的DdAE网络模型超参数，确定一个DdAE网络模型结构作为用于故障诊断的模型结构；否则返回执行步骤(3)。

实施例3：

本发明实施例还提供了一种基于DdAE深度学习模型的水电机组故障诊断系统，如图7所示，所述系统包括训练数据处理模块、神经网络模型训练模块、DdAE网络模型优化模块、重构特征向量生成模块和故障概率计算模块，上述各模块依次相连，具体的：

训练数据处理模块，用于获取数据集，并从数据集中抽取n组数据块，作为DdAE网络模型的训练数据；

神经网络模型训练模块，用于建立DdAE网络模型，并利用所述训练数据对DdAE网络模型进行训练，得到DdAE网络模型的连接权重；

DdAE网络模型优化模块，用于将DdAE的结构参数和误差函数中的超参数作为AFSA算法的目标参数，模型输出结果的误差函数作为AFSA的目标函数，通过AFSA对整个模型中的超参数进行随机搜索优化，AFSA优化的每一步迭代过程为一组DdAE网络模型的参数优化过程，以便得到最优DdAE网络模型；

重构特征向量生成模块，根据由所述连接权重构成的DdAE网络模型，获取一组重构特征向量；

故障概率计算模块，用于重构特征向量经过一层全连接的组合网络，得到特征的线性组合，并作为Softmax模型的输入，计算出表示每一种故障的出现可能性的概率。

值得说明的是，上述系统内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例1中的叙述，此处不再赘述。

实施例4：

本发明实施例还提供了一种电子设备，用于实现实施例1或者实施例2所述的基于DdAE深度学习模型的水电机组故障诊断方法，所述装置包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述存储器存储有可被所述至少一个处理器执行的指令程序，所述指令被程序设置为执行实现实施例1或者实施例2所述的基于DdAE深度学习模型的水电机组故障诊断方法。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，方法包括：

获取数据集，并从数据集中抽取n组数据块，作为DdAE网络模型的训练数据；

建立DdAE网络模型，并利用所述训练数据对DdAE网络模型进行训练，得到DdAE网络模型的连接权重；DdAE网络模型中的每一层网络中的每一个神经元节点的输入值，均由前一层所有神经元节点的输出值求加权平均得到，所述每两层网络间的所有权值组合在一起形成一个连接权重矩阵，简称连接权重；

将DdAE的结构参数和误差函数中的超参数作为AFSA算法的目标参数，模型输出结果的误差函数作为AFSA的目标函数，通过AFSA对整个模型中的超参数进行随机搜索优化，AFSA优化的每一步迭代过程为一组DdAE网络模型的参数优化过程，以便得到最优DdAE网络模型；

根据由所述连接权重构成的DdAE网络模型，获取一组重构特征向量；

所述重构特征向量经过一层全连接的组合网络，得到特征的线性组合，并作为Softmax模型的输入，计算出表示每一种故障的出现可能性的概率。

2.根据权利要求1所述的基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，所述建立的DdAE网络模型具体为：

所述DdAE网络模型由至少两个AE构成，其中，前一层AE的隐藏层作为后一层AE的输入层堆叠得到；

每个AE的隐藏层各节点的值由输入层各节点值经线性加权连接求和，输入到一个激励函数中计算得到。

3.根据权利要求1所述的基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，所述利用所述训练数据对DdAE网络模型进行训练，具体包括通过加入dropout的无监督贪心逐层训练方法对DdAE网络模型进行训练，所述无监督贪心逐层训练方法，具体为：

在无监督训练过程中，将DdAE网络模型的每一层作为一个独立的单隐层自动编码器，重构出多个独立的AE进行单独训练；

所述加入dropout的无监督贪心逐层训练方法包括：在DdAE网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃；其中，暂时从网络中丢弃具体为：按照概率确定是否在本轮输入的计算中忽略该网络单元，使其不参与本轮计算，而在下一轮计算中重新由概率决定是否参与计算。

4.根据权利要求3所述的基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，所述DdAE网络模型的初始化包括结构初始化和参数初始化：

DdAE网络模型的结构初始化即为ASFA模型中AF位置初始化过程，包括DdAE网络模型层数，DdAE网络模型输入层神经元数量，高斯分布的方差σ和dropout概率P；ASFA模型中AF位置的初始化根据已初始化的参数调整范围LB、UB，均匀地分布在参数调整空间中；

DdAE网络模型的参数初始化即为无监督训练的初始化，对于DdAE网络模型连接权重参数的初始化采用经验公式法，采用经验公式其中n_j为权重矩阵W连接的前一层神经元节点数，n_j+1为权重矩阵W连接的后一层神经元节点数，权重矩阵W中每一个元素都依这样一个均匀分布进行初始化。

5.根据权利要求1-4任一所述的基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，所述Softmax模型的函数表达式为：

<mrow> <mi>&amp;sigma;</mi> <msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mi>j</mi> </msub> <mo>=</mo> <mfrac> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>j</mi> </msub> </msup> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>k</mi> </msub> </msup> </mrow> </mfrac> </mrow>

其中z为对应各种故障的特征向量，σ(z)_j为对应第j种故障的模糊评价值，z_j为对应第j种故障类型的特征组合值，z_k为对应第k种故障类型的特征组合值，K为总共可分类故障数。

6.根据权利要求1所述的基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，在计算出所述连接权重后，所述方法还包括通过最小化误差函数来修正组合网络的连接权重，用梯度下降和反向传播算法对整个网络的连接权重进行微调。

7.根据权利要求6所述的基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，所述梯度下降和反向传播算法具体为：

反向传播过程为基于梯度的优化过程，将Softmax分类的结果与训练数据标签对比，找到正确故障类型所对应的特征组合值序号j，由如下公式计算梯度：

<mrow> <msub> <mi>&amp;Delta;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mfrac> <mrow> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>i</mi> </msub> </msup> <mrow> <mo>(</mo> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>&amp;NotEqual;</mo> <mi>i</mi> </mrow> <mi>K</mi> </munderover> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>k</mi> </msub> </msup> </mrow> <mo>)</mo> </mrow> </mrow> <msup> <mrow> <mo>(</mo> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>k</mi> </msub> </msup> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> </mtd> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mi>j</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mfrac> <msup> <mi>e</mi> <mrow> <msub> <mi>z</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>z</mi> <mi>j</mi> </msub> </mrow> </msup> <msup> <mrow> <mo>(</mo> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>k</mi> </msub> </msup> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> </mtd> <mtd> <mrow> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中Δ_i为梯度向量Δ的第i个元素，j为标签对应的真实故障类型的序号，z_j为与真实故障类型序号对应的特征组合值，z_i为与Δ_i序号对应的故障类型的特征组合值，z_k为对应第k种故障类型的特征组合值。

8.根据权利要求1-7任一所述的基于DdAE深度学习模型的水电机组故障诊断方法，其特征在于，所述人工鱼群算法AFSA具体为：

Step1：准备深度自编码器模型；

Step2：设置人工鱼群算法的基本参数；其中，所述基本参数包括鱼群数量L，参数的调整范围LB、UB，鱼群的视野范围V，鱼群移动的最大步长S，觅食行为的尝试数try_number，最大繁衍代数Maxgen和拥挤因子δ中的一项或者多项，使用深度自动编码器的故障分类精度来设计AFSA的目标函数；

Step3：在参数变化范围内，根据Step1的模型初始参数集生成初始化鱼群的原始状态，记录鱼群的最佳位置和每一代的最小目标函数值；

Step4：每个人工鱼AF根据优化规定尝试适当的行为，记录最佳参数值；

Step5：检查最佳参数值对应的目标函数值是否达到优化目的，如果达到则完成优化并输出最优参数；否则，检查繁衍代数是否达到最大繁衍代数Maxgen，如果繁衍代数大于或等于Maxgen则完成优化，并输出最优参数；否则返回执行Step4。

9.一种基于DdAE深度学习模型的水电机组故障诊断系统，其特征在于，所述系统包括训练数据处理模块、神经网络模型训练模块、DdAE网络模型优化模块、重构特征向量生成模块和故障概率计算模块，上述各模块依次相连，具体的：

训练数据处理模块，用于获取数据集，并从数据集中抽取n组数据块，作为DdAE网络模型的训练数据；

神经网络模型训练模块，用于建立DdAE网络模型，并利用所述训练数据对DdAE网络模型进行训练，得到DdAE网络模型的连接权重；

DdAE网络模型优化模块，用于将DdAE的结构参数和误差函数中的超参数作为AFSA算法的目标参数，模型输出结果的误差函数作为AFSA的目标函数，通过AFSA对整个模型中的超参数进行随机搜索优化，AFSA优化的每一步迭代过程为一组DdAE网络模型的参数优化过程，以便得到最优DdAE网络模型；

重构特征向量生成模块，根据由所述连接权重构成的DdAE网络模型，获取一组重构特征向量；

故障概率计算模块，用于重构特征向量经过一层全连接的组合网络，得到特征的线性组合，并作为Softmax模型的输入，计算出表示每一种故障的出现可能性的概率。

10.根据权利要求9所述的基于DdAE深度学习模型的水电机组故障诊断系统，其特征在于，所述Softmax模型的函数表达式为：

<mrow> <mi>&amp;sigma;</mi> <msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mi>j</mi> </msub> <mo>=</mo> <mfrac> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>j</mi> </msub> </msup> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>k</mi> </msub> </msup> </mrow> </mfrac> </mrow>

其中z为对应各种故障的特征向量，σ(z)_j为对应第j种故障的模糊评价值，z_j为对应第j种故障类型的特征组合值，z_k为对应第k种故障类型的特征组合值，K为总共可分类故障数。