CN113837464A - 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 - Google Patents
一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 Download PDFInfo
- Publication number
- CN113837464A CN113837464A CN202111107392.8A CN202111107392A CN113837464A CN 113837464 A CN113837464 A CN 113837464A CN 202111107392 A CN202111107392 A CN 202111107392A CN 113837464 A CN113837464 A CN 113837464A
- Authority
- CN
- China
- Prior art keywords
- layer
- data
- attention
- model
- lstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000003245 coal Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims 2
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims 2
- 238000003860 storage Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010200 validation analysis Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000010678 Paulownia tomentosa Nutrition 0.000 description 1
- 240000002834 Paulownia tomentosa Species 0.000 description 1
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及基于CNN‑LSTM‑Attention的热电联产锅炉负荷预测方法,包括步骤:S1、数据采集;S2、数据预处理;S3、将源域数据集划分为训练集和测试集,目标域数据集设置为验证集;S4、搭建CNN‑LSTM‑Attention神经网络模型;S5、保存源域模型参数再转换为目标域模型,采用各个锅炉出口蒸汽流量作为负荷的预测目标;S6、采用两种评价指标对模型进行评价;S7、生成真实值‑预测值曲线图。本发明的有益效果是:本发明通过建立CNN‑LSTM‑Attention神经网络模型,高效利用海量热电联合电厂机组运行数据资源,结合历史存储资源,为锅炉的寿命预测以及实时调整设备运行参数提供可靠的依据。
Description
技术领域
本发明涉及复杂设备寿命预测领域,特别涉及基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法。
背景技术
目前,中国供热行业正在经历从传统走向现代化的创新发展之路,供热系统正在逐步实现从手动到自动、智能、智慧供热的跨越。在低碳清洁能源新情境下,应对区域热用户供热需求的波动性、变化因素显著增加,针对数十分钟至数小时的短周期,开展热电厂运行调度策略的实时优化研究具有显著的应用价值。
国内部分热电厂的运行方式为母管制,各台并列运行的锅炉之间通过主蒸汽母管相互联结,所有锅炉产生的蒸汽都先送入同一根母管中,再由蒸汽母管分别送入各台汽轮机组中。母管制系统中,锅炉与汽轮机并无一一对应的关系,主蒸汽将系统分为炉侧和机侧,各机组间可以通过相互调节配合来满足负荷需要,对负荷变化的适应性较强。例如浙江桐乡电厂采用的是3台锅炉加2台汽轮机的母管制运行方式(参考图1,包括锅炉1、蒸汽母管2、母管抽气管3、减温减压装置4、汽轮机5、发电机6、凝气机7、热用户8、电用户9),对不同锅炉和汽轮机进行负荷调度分配调节,需要提前准确预测出锅炉出口蒸汽流量的值以及变化趋势,进而充分有效的利用锅炉的全部负荷,避免资源浪费。进一步,可根据预测结果诊断锅炉当前工作状态,以作及时调整。
随着国内电力系统信息集成化的推广普及,热电厂发电机组在运行过程中积累了海量的数据,这些数据与机组的运行状态有着密不可分的联系,如何挖掘该数据背后的潜在价值并加以利用,以指导热电厂机组的优化运行,进而促进电力绿色环保发展具有重要意义。当前,国内外多采用大数据研究方法,对机组进行实时监测和优化,对提高热电厂装置效率及寿命具有一定的意义,更进一步,通过机器学习手段,根据电厂机组历史运行数据对设定工况下未来机组的运行状态(如负荷等)进行预测,从而提前做出有效的决策判断,调整机组相关联参数,以获得更高的经济效益,也具有广泛的研究价值。
近年来,随着人工智能技术的发展,越来越多的机器学习模型用于时间序列的数据预测中来。深度学习是机器学习发展最热门的分支,其中卷积神经网络(CNN)能有效处理空间信息,目前在机器视觉中广泛应用,长短期记忆(LSTM)神经网络能更好地处理时序信息,能有效地学习历史时序数据中的规律,并高效地预测未来某个时间点或时间段的数据分布情况,其在语音识别、机器翻译以及工业大数据领域的应用已相当成熟。在计算能力有限的情况下,注意力机制(Attention mechanism)作为一种资源分配方案,将有限的计算资源用于处理更重要的信息,是解决信息超载问题的主要手段。负荷预测时,增添注意力机制可以在处理大量输入信息时做灵活的取舍,选取一些关键信息处理,进而提高效率,保证精度。当前研究对热电联产设备的锅炉负荷产出的相关研究和预测相对较少。
发明内容
本发明的目的是克服现有技术中的不足,提供一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,通过建立CNN-LSTM-Attention神经网络模型,根据电厂机组运行历史数据中与锅炉负荷相关联度较高的参数来预测未来特定时间点(段)的负荷(变化),从而为热电联产锅炉的寿命预测以及实时调整设备运行参数提供可靠的依据。
这种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,包括以下步骤:
S1、数据采集:布置相关传感器,采集与联合循环功率预测相关联的状态参数,包括炉给水流量、瞬时总给煤量、除盐水流量、一次送风机出口风量和二次送风机出口风量;将热电厂历史数据作为源域数据,将热电厂在线数据作为目标域数据;
S2、数据预处理:对数据进行异常值处理、缺失值处理和归一化处理,并将数据转换为用于监督学习的数据类型,分为源域数据集和目标域数据集;
S3、将源域数据集划分为训练集和测试集,目标域数据集设置为验证集;
S4、搭建CNN-LSTM-Attention神经网络模型,该模型包括一个输入层、若干个中间层和一个输出层,依次连接;并将训练集和测试集数据代入源域模型进行训练,然后通过误差计算确定收敛后结束训练;
S5、源域模型训练结束后保存源域模型参数再转换为目标域模型,采用各个锅炉出口蒸汽流量作为负荷的预测目标,将验证集数据代入目标域模型进行预测;
S6、针对模型训练中的损失函数值和预测中的均方根误差两种评价指标对模型进行评价;
S7、生成真实值-预测值曲线图,直观评估模型的预测效果。
作为优选:步骤S1中,以传感器类别为列,以采集数据个数为行,制成表格存入数据库。
作为优选:步骤S2中,所述的缺失值处理为均值补全法,通过缺失值两侧值的平均数补全空缺;异常值处理则直接舍弃,其中异常值是指偏离机组正常工作时状态参数范围的值;归一化处理采用最大最小值归一化,公式为:
式中:xmax为样本数据的最大值,xmin为样本数据的最小值,x`为归一化结果,数值区间为[0,1]。
作为优选:步骤S4中,所述的输入层特征映射组为多维数组,维度为功率影响因素个数。
作为优选:步骤S4中,所述的中间层包括一个卷积层、一个池化层、一个Dropout层、一个LSTM层、一个全连接层、一个Attention层和一个Flatten层;
卷积层用于提取多维输入的空间特征,以卷积核或滤波核步长为单位纵向依次与数据进行卷积操作,得到简化数据,并进行最大值池化Max-pooling操作,取特征域的最大值作为结果输出;卷积过程采用非线性激活函数构造输出特征,其数学模型描述为:
Dropout层对卷积层的参数进行部分舍弃;
LSTM层对卷积层输出的特征映射在时间方向进行特征提取,将多维输入参数与预测目标建立映射关系,以一定长度的输入值预测输出值,再用生成的输出值与输入值合并预测下一个输出;
全连接层将LSTM层提取的特征输入到Attention层中处理,Attention层是一个融合了注意力机制的全连接层,其根据输入与输出各元素的注意力分值来优化权值分配;注意力机制的计算分为两步:一是在所有输入信息上计算注意力分布,二是根据注意力分布来计算输入信息的加权平均,计算式如下:
式中:αn为注意力分布;p表示概率;z∈[1,N]为注意力变量,表示被选择信息的索引位置;X=[x1,...,xN]∈RD×N表示N组输入信息,R表示实数集矩阵,维数为D;q为查询向量,表示输入向量与特定任务相关的信息;softmax函数将值转化为[0,1]内的概率分布;exp表示指数函数;s(xn,q)为注意力打分函数,由下式计算:
式中:xn为X中的一项;xT为x向量的转置;
最后将LSTM层的输出和经Attention操作后的权值一并输入Flatten层进行维数的削减,转化为一维向量,经过输出层输出预测序列结果。
作为优选:步骤S4中,将训练集和测试集数据输入源域模型中,设置训练集和测试集的比例、模型迭代次数和单次训练送入数据批量,并实时监测其损失函数值的变化。
作为优选:步骤S6中,模型评价指标为均方根误差RMSE和平均绝对百分比误差MAPE,公式如下:
采用MAPE作为损失函数,评价模型迭代时的收敛情况;采用RMSE作为进一步评估模型预测准确率的标准。
本发明的有益效果是:本发明提出了一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,通过建立CNN-LSTM-Attention神经网络模型,高效利用海量热电联合电厂机组运行数据资源,结合历史存储资源,为锅炉的寿命预测以及实时调整设备运行参数提供可靠的依据。该方法利用电厂历史数据进行实验,以锅炉出口蒸汽量为预测变量,通过相关度分析提取功率影响因素,以均方根误差和平均绝对百分比误差作为模型优劣的评价标准,最终实现对未来某一时刻电厂锅炉负荷的预测。
附图说明
图1是热电厂母管制锅炉和汽轮机布置图。
图2是本发明的CNN-LSTM-Attention神经网络结构示意图。
图3是本发明基于CNN-LSTM-Attention的热电联产锅炉负荷预测流程图。
图4是本发明的预测模型参数映射图。
图5是本发明的负荷预测结果对比图(其中图a、图b、图c分别表示三次预测结果对比图)。
图6是本发明与传统方法平均绝对百分比误差MAPE对比图。
图7是本发明与传统方法均方根误差RMSE对比图。
图8是本发明与传统方法MAE方差对比图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
实施例一
本申请实施例一提供一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法的组成部分,包括:基于数据采集、存储、预处理,CNN-LSTM-Attention神经网络模型搭建,神经网络模型训练,时间序列预测。其中:
数据采集部分:根据实际需求布置相关传感器,采集与本发明联合循环功率预测相关联的状态参数,包括炉给水流量、瞬时总给煤量、除盐水流量、一次送风机出口风量和二次送风机出口风量等,以传感器类别为列,以采集数据个数为行,制成表格存入Sqlserver数据库。
数据存储部分:利用Sql server数据库技术,建立热电联产发电机组工作状态数据库管理系统,实现数据的交互和有效存储。该系统一方面与用户和云端进行数据交互,实现接受来自用户的数据、提前为用户缓存数据、向云端上传数据等功能,另一方面存储系统的部分历史数据,为深度学习模块提供训练样本。
数据预处理部分:需将采集得到的原始状态参数进行缺失值、异常值及归一化处理,以保证后续模型训练的效率。
进一步地,所述的缺失值处理为均值补全法,通过缺失值两侧值的平均数补全空缺;异常值处理则直接舍弃,其中异常值是指偏离机组正常工作时状态参数范围的值;归一化处理采用最大最小值归一化,公式为:
式中:xmax为样本数据的最大值,xmin为样本数据的最小值,x`为归一化结果,数值区间为[0,1]。
CNN-LSTM-Attention神经网络模型搭建部分:采用Python语言搭建神经网络,该网络包括一个输入层、多个中间层(隐含层)和一个输出层(具体网络结构可以根据特定的数据规模进行调整),依次连接,可以对时间序列数据进行特征提取和预测,如图2所示。
进一步地,所述的输入层特征映射组为多维数组(维度即为功率影响因素个数),其中采用步长为24滑动窗口将数组转化为可用于监督学习的数据格式,将前24小时的负荷影响因素和负荷值与当前时间点的负荷值进行映射。
进一步地,所述的隐含层中,包含一个卷积层、一个池化层、一个Dropout层、一个LSTM层、一个全连接层、一个Attention层和一个Flatten层。
所述的CNN是一种具有局部连接、权值共享等特性的深层前馈神经网络,其在处理图像数据方面具有独特的优势;LSTM是循环神经网络的一种变体,一方面能够有效的挖掘时序数据的时间特性,另一方面能够解决梯度爆炸或消失问题;Attention机制是一种计算资源分配手段,其提取序列中不同元素对标签的关联程度来有效的分配模型计算时的权重,只选择一些关键的信息输入进行处理,以提高神经网络的效率。本文的热电厂锅炉负荷预测是一个多维时间序列预测一维时间序列(Seq2Seq)的问题,其输入量为影响负荷的多维因素,输出为一段时间负荷的数值。
卷积层部分用于提取多维输入的空间特征,以卷积核或滤波核(Kernel)步长为单位纵向依次与数据进行卷积操作,得到简化数据,并进行最大值池化(Max-pooling)操作,取特征域的最大值作为结果输出。卷积过程一般采用非线性激活函数构造输出特征,其数学模型描述为:
式中:表示第i个滤波核在l层的权重,表示第i个滤波核在l层的偏置,xl(j)表示第l层的第j个神经元的输入,表示第j个神经元在l+1层的输入,即第j个神经元在l层的输出。符号·表示内核与该局部区域的点积。该模型中的卷积层部分,对输入的多维时间序列进行卷积操作,能够提取各个维度元素之间的空间分布特性,提高深度挖掘效果,并且卷积神经网络拥有权值共享的特性,网络参数进行削减,对模型训练效率有着大幅度提升。
Dropout操作对卷积层的参数进行部分舍弃,从而降低神经网络的复杂度,提高训练效率。
LSTM层对卷积层输出的特征映射(长×宽的矩阵)在时间(长度)方向进行特征提取,将多维输入参数与预测目标建立映射关系,以一定长度的输入值预测输出值,再用生成的输出值与输入值合并预测下一个输出。
全连接层将LSTM层提取的特征输入到Attention层中处理,Attention层是一个融合了注意力机制的全连接层,其根据输入与输出各元素的注意力分值来优化权值分配。注意力机制的计算分为两步:一是在所有输入信息上计算注意力分布,二是根据注意力分布来计算输入信息的加权平均,计算式如下:
式中:αn为注意力分布;p表示概率;z∈[1,N]为注意力变量,表示被选择信息的索引位置;X=[x1,...,xN]∈RD×N表示N组输入信息,R表示实数集矩阵,维数为D;q为查询向量,是表示输入向量与特定任务相关的信息;softmax函数将值转化为[0,1]内的概率分布;exp表示指数函数;s(xn,q)为注意力打分函数,可由下式计算:
式中:xn为X中的一项;xT为x向量的转置。
最后将LSTM层的输出和经Attention操作后的权值一并输入Flatten(压平)层进行维数的削减,转化为一维向量,经过输出层输出预测序列结果。
该模型在传统的LSTM上引入了卷积层,提高了特征挖掘的效率,降低了网络的参数复杂度,引入注意力机制,充分考虑数据纵向维度之间的相关程度,优化权值分配,能够获得更好的预测效果。
神经网络模型训练部分:需要将上述处理后的数据输入待训练的神经网络中,设置训练集和测试集的比例(一般为4:1,数据量较大时可以适当提高测试集占比)、模型迭代次数(取50次,也可以根据数据量进行适当调整)、单次训练送入数据批量(32个样本,或32的整数倍),并实时监测其损失函数值的变化,最后以折线图的形式输出其误差。
进一步地,本发明采用的模型识别评价标准为均方根误差(RMSE)、平均绝对百分比误差(MAPE),分别如下式:
本发明采用MAPE作为损失函数,用于评价模型迭代时的收敛情况,采用RMSE作为进一步评估模型预测准确率的标准。
时间序列预测部分:本发明采用各个锅炉出口蒸汽流量作为负荷的预测目标,将一批与训练集分布相同的新数据作为验证集输入训练完成的模型,并绘制模型预测结果与真实数据的对比曲线图。
实施例二
本申请实施例二提供一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,如图3所示,包括:数据获取及预处理、离线训练、在线诊断,具体包括以下步骤:
S1:数据采集(本实施例为某热电联产电厂机组中3台锅炉、2台汽轮机运行数据,共采集约19000条、70维数据集),采集热电厂历史数据作为源域数据,采集热电厂在线数据作为目标域数据;
S2:数据预处理,对数据进行异常值处理、缺失值补全、归一化处理,并将数据转换为可用于监督学习的数据类型,分别为源域数据集和目标域数据集;
S3:将源域数据集划分为训练集和测试集,目标域数据集设置为验证集,训练集:测试集:验证集的数据比例为7:2:1;
S4:搭建CNN-LSTM-Attention神经网络模型,并将训练集和测试集数据代入CNN-LSTM-Attention神经网络模型(源域模型)进行训练,然后通过误差计算确定收敛后结束训练(即图3中的离线训练);
S5:源域模型训练结束后保存源域模型参数再转换为目标域模型,将验证集数据代入目标域模型进行预测(即图3中的在线诊断);
S6:针对模型训练中的损失值和预测中的均方根误差两种评价指标对模型进行评价,两者越小,表明模型预测准确率越高;
S7:生成真实值-预测值曲线图,直观评估模型的预测效果。
实施例三
如图4所示,为本发明预测模型参数映射图,根据物理机理分析法、方差检验法、皮尔逊相关度分析对70维数据进行筛选,挑选数据分布最优、与预测目标关联最密切的参数作为模型输入,经处理,模型输入为当前时刻炉给水流量、瞬时总给煤量、除盐水流量、一次送风机出口风量和二次送风机出口风量,输出为未来一小时的锅炉负荷即锅炉出口蒸汽流量。
根据CNN-LSTM-Attention神经网络模型以及多变量输入时间序列预测的原理,本实施例提出的基于CNN-LSTM-Attention网络的热电联产负荷预测模型具体结构参数如表1。
表1模型结构参数
利用预测时间点之前的负荷曲线和负荷影响因素对预测时间点的负荷进行预测,其基本结构如图2所示。模型的输出为预测时间点的负荷(出口蒸汽流量)值,如下式所示:
历史负荷为:
Lt,d-w={lt,d-1,lt,d-2,lt,d-3,…,It,d-w}
式中:lt,d-w为预测时间点前w个数据样本的负荷值。
负荷影响因素为:
Ft,d={at,d,bt,d,ct,d,dt,d,et,d}
式中:at,d为炉给水流量;bt,d为瞬时总给煤量;ct,d为除盐水流量;dt,d为一次送风机出口风量;et,d二次送风机出口风量。
神经网络模型搭建完成后,将预处理完成数据按照训练集/测试集输入到神经网络,设置模型迭代次数为50,每次训练批量为128,优化器选择Adam,初始学习率设置为0.001,模型训练方式为GPU。
为检验本实施例提出的基于CNN-LSTM-Attention的热电联产锅炉负荷预测模型效果,需输入验证集,以验证模型的预测准确性,并将预测结果与真实数据进行对比,并与单一的LSTM和CNN-LSTM算法进行对比。
如图5所示,本实施例提出的CNN-LSTM-Attention负荷预测模型的预测值与真实值贴合紧密,误差较小,而LSTM模型预测结果则与真实值有着较大差距,效果最差。对每个锅炉每个模型分别进行10次验证,预测误差平均值如图6、7所示。
本实施例提出的CNN-LSTM-Attention负荷预测模型在对三个锅炉进行负荷预测时,其RMSE均最小,MAPE均小于1%,具有极高的准确率。
在RMSE衡量方面,CNN-LSTM-Attention应用于三个锅炉负荷预测较LSTM分别提升4.762、3.008、3.766t/h,较CNN-LSTM分别提升0.982、0.747、0.362t/h;在MAPE衡量方面,CNN-LSTM-Attention较LSTM分别提升3.6%、1.712%、2.513%,较CNN-LSTM分别提升0.585%、0.406%、0.263%。
图8为各模型MAE方差值,CNN-LSTM-Attention模型的误差方差较小,表明其预测结果不仅准确而且稳定性高,在实际电力生产中具有更加优秀的应用效果。
Claims (7)
1.一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,其特征在于,包括以下步骤:
S1、数据采集:布置相关传感器,采集与联合循环功率预测相关联的状态参数,包括炉给水流量、瞬时总给煤量、除盐水流量、一次送风机出口风量和二次送风机出口风量;将热电厂历史数据作为源域数据,将热电厂在线数据作为目标域数据;
S2、数据预处理:对数据进行异常值处理、缺失值处理和归一化处理,并将数据转换为用于监督学习的数据类型,分为源域数据集和目标域数据集;
S3、将源域数据集划分为训练集和测试集,目标域数据集设置为验证集;
S4、搭建CNN-LSTM-Attention神经网络模型,该模型包括一个输入层、若干个中间层和一个输出层,依次连接;并将训练集和测试集数据代入源域模型进行训练,然后通过误差计算确定收敛后结束训练;
S5、源域模型训练结束后保存源域模型参数再转换为目标域模型,采用各个锅炉出口蒸汽流量作为负荷的预测目标,将验证集数据代入目标域模型进行预测;
S6、针对模型训练中的损失函数值和预测中的均方根误差两种评价指标对模型进行评价;
S7、生成真实值-预测值曲线图,直观评估模型的预测效果。
2.根据权利要求1所述的基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,其特征在于:步骤S1中,以传感器类别为列,以采集数据个数为行,制成表格存入数据库。
4.根据权利要求1所述的基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,其特征在于:步骤S4中,所述的输入层特征映射组为多维数组,维度为功率影响因素个数。
5.根据权利要求1所述的基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,其特征在于:步骤S4中,所述的中间层包括一个卷积层、一个池化层、一个Dropout层、一个LSTM层、一个全连接层、一个Attention层和一个Flatten层;
卷积层用于提取多维输入的空间特征,以卷积核或滤波核步长为单位纵向依次与数据进行卷积操作,得到简化数据,并进行最大值池化Max-pooling操作,取特征域的最大值作为结果输出;卷积过程采用非线性激活函数构造输出特征,其数学模型描述为:
Dropout层对卷积层的参数进行部分舍弃;
LSTM层对卷积层输出的特征映射在时间方向进行特征提取,将多维输入参数与预测目标建立映射关系,以一定长度的输入值预测输出值,再用生成的输出值与输入值合并预测下一个输出;
全连接层将LSTM层提取的特征输入到Attention层中处理,Attention层是一个融合了注意力机制的全连接层,其根据输入与输出各元素的注意力分值来优化权值分配;注意力机制的计算分为两步:一是在所有输入信息上计算注意力分布,二是根据注意力分布来计算输入信息的加权平均,计算式如下:
式中:αn为注意力分布;p表示概率;z∈[1,N]为注意力变量,表示被选择信息的索引位置;X=[x1,...,xN]∈RD×N表示N组输入信息,R表示实数集矩阵,维数为D;q为查询向量,表示输入向量与特定任务相关的信息;softmax函数将值转化为[0,1]内的概率分布;exp表示指数函数;s(xn,q)为注意力打分函数,由下式计算:
式中:xn为X中的一项;xT为x向量的转置;
最后将LSTM层的输出和经Attention操作后的权值一并输入Flatten层进行维数的削减,转化为一维向量,经过输出层输出预测序列结果。
6.根据权利要求1所述的基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法,其特征在于:步骤S4中,将训练集和测试集数据输入源域模型中,设置训练集和测试集的比例、模型迭代次数和单次训练送入数据批量,并实时监测其损失函数值的变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111107392.8A CN113837464A (zh) | 2021-09-22 | 2021-09-22 | 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111107392.8A CN113837464A (zh) | 2021-09-22 | 2021-09-22 | 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113837464A true CN113837464A (zh) | 2021-12-24 |
Family
ID=78960180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111107392.8A Pending CN113837464A (zh) | 2021-09-22 | 2021-09-22 | 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113837464A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114692992A (zh) * | 2022-04-18 | 2022-07-01 | 中国电力工程顾问集团西北电力设计院有限公司 | 基于lstm的电站锅炉煤灰生成量在线预测方法及系统 |
CN114881205A (zh) * | 2022-04-20 | 2022-08-09 | 苏州大学 | 盾构姿态预测方法、介质、电子设备及系统 |
CN114997051A (zh) * | 2022-05-30 | 2022-09-02 | 浙大城市学院 | 一种基于迁移学习的航空发动机寿命预测与健康评估方法 |
CN115017970A (zh) * | 2022-04-24 | 2022-09-06 | 西安建筑科技大学 | 一种基于迁移学习的用气行为异常检测方法及系统 |
CN115587617A (zh) * | 2022-10-17 | 2023-01-10 | 国网黑龙江省电力有限公司 | 长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 |
CN115657475A (zh) * | 2022-10-11 | 2023-01-31 | 中国矿业大学 | 一种基于cnn-lstm神经网络的采运装备速度协同控制方法 |
CN115860411A (zh) * | 2022-12-20 | 2023-03-28 | 广西电网有限责任公司 | 一种基于电力用户行为预测用户需求的方法 |
CN116523277A (zh) * | 2023-07-05 | 2023-08-01 | 北京观天执行科技股份有限公司 | 一种基于需求响应的智慧能源管理方法及系统 |
CN117369282A (zh) * | 2023-11-17 | 2024-01-09 | 上海四方无锡锅炉工程有限公司 | 一种自适应性分级送风的控制方法及其固废cfb锅炉 |
CN117808167A (zh) * | 2023-12-31 | 2024-04-02 | 中国矿业大学 | 通道选择卷积神经网络预测锅炉全负荷NOx排放的方法 |
CN117808167B (zh) * | 2023-12-31 | 2025-02-25 | 中国矿业大学 | 通道选择卷积神经网络预测锅炉全负荷NOx排放的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111522908A (zh) * | 2020-04-09 | 2020-08-11 | 国网上海市电力公司 | 一种基于BiGRU和注意力机制的多标签文本分类方法 |
CN111626785A (zh) * | 2020-05-29 | 2020-09-04 | 金陵科技学院 | 一种基于结合注意力的cnn-lstm网络基金价格预测方法 |
WO2020253965A1 (en) * | 2019-06-20 | 2020-12-24 | Toyota Motor Europe | Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time |
CN112529283A (zh) * | 2020-12-04 | 2021-03-19 | 天津天大求实电力新技术股份有限公司 | 基于注意力机制的综合能源系统短期负荷预测方法 |
CN112633317A (zh) * | 2020-11-02 | 2021-04-09 | 国能信控互联技术有限公司 | 基于注意力机制的cnn-lstm风机故障预测方法及系统 |
CN113128113A (zh) * | 2021-04-14 | 2021-07-16 | 国网上海市电力公司 | 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法 |
-
2021
- 2021-09-22 CN CN202111107392.8A patent/CN113837464A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020253965A1 (en) * | 2019-06-20 | 2020-12-24 | Toyota Motor Europe | Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time |
CN111522908A (zh) * | 2020-04-09 | 2020-08-11 | 国网上海市电力公司 | 一种基于BiGRU和注意力机制的多标签文本分类方法 |
CN111626785A (zh) * | 2020-05-29 | 2020-09-04 | 金陵科技学院 | 一种基于结合注意力的cnn-lstm网络基金价格预测方法 |
CN112633317A (zh) * | 2020-11-02 | 2021-04-09 | 国能信控互联技术有限公司 | 基于注意力机制的cnn-lstm风机故障预测方法及系统 |
CN112529283A (zh) * | 2020-12-04 | 2021-03-19 | 天津天大求实电力新技术股份有限公司 | 基于注意力机制的综合能源系统短期负荷预测方法 |
CN113128113A (zh) * | 2021-04-14 | 2021-07-16 | 国网上海市电力公司 | 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法 |
Non-Patent Citations (4)
Title |
---|
唐子惠: "《医学人工智能导论》", 30 April 2020, 上海:上海科学技术出版社 * |
李梅等: "基于注意力机制的CNN-LSTM模型及其应用", 《计算机工程与应用》 * |
杨博雄: "《深度学习理论与实践》", 30 September 2020, 北京:北京邮电大学出版社 * |
魏健等: "基于注意力机制的CNN-LSTM短期电力负荷预测方法", 《华北电力大学学报》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114692992A (zh) * | 2022-04-18 | 2022-07-01 | 中国电力工程顾问集团西北电力设计院有限公司 | 基于lstm的电站锅炉煤灰生成量在线预测方法及系统 |
CN114881205A (zh) * | 2022-04-20 | 2022-08-09 | 苏州大学 | 盾构姿态预测方法、介质、电子设备及系统 |
CN115017970A (zh) * | 2022-04-24 | 2022-09-06 | 西安建筑科技大学 | 一种基于迁移学习的用气行为异常检测方法及系统 |
CN114997051A (zh) * | 2022-05-30 | 2022-09-02 | 浙大城市学院 | 一种基于迁移学习的航空发动机寿命预测与健康评估方法 |
CN114997051B (zh) * | 2022-05-30 | 2023-05-09 | 浙大城市学院 | 一种基于迁移学习的航空发动机寿命预测与健康评估方法 |
CN115657475B (zh) * | 2022-10-11 | 2024-10-29 | 中国矿业大学 | 一种基于cnn-lstm神经网络的采运装备速度协同控制方法 |
CN115657475A (zh) * | 2022-10-11 | 2023-01-31 | 中国矿业大学 | 一种基于cnn-lstm神经网络的采运装备速度协同控制方法 |
CN115587617A (zh) * | 2022-10-17 | 2023-01-10 | 国网黑龙江省电力有限公司 | 长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 |
CN115860411A (zh) * | 2022-12-20 | 2023-03-28 | 广西电网有限责任公司 | 一种基于电力用户行为预测用户需求的方法 |
CN116523277B (zh) * | 2023-07-05 | 2023-10-20 | 北京观天执行科技股份有限公司 | 一种基于需求响应的智慧能源管理方法及系统 |
CN116523277A (zh) * | 2023-07-05 | 2023-08-01 | 北京观天执行科技股份有限公司 | 一种基于需求响应的智慧能源管理方法及系统 |
CN117369282A (zh) * | 2023-11-17 | 2024-01-09 | 上海四方无锡锅炉工程有限公司 | 一种自适应性分级送风的控制方法及其固废cfb锅炉 |
CN117369282B (zh) * | 2023-11-17 | 2024-04-19 | 上海四方无锡锅炉工程有限公司 | 一种自适应性分级送风的控制方法及其固废cfb锅炉 |
CN117808167A (zh) * | 2023-12-31 | 2024-04-02 | 中国矿业大学 | 通道选择卷积神经网络预测锅炉全负荷NOx排放的方法 |
CN117808167B (zh) * | 2023-12-31 | 2025-02-25 | 中国矿业大学 | 通道选择卷积神经网络预测锅炉全负荷NOx排放的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113837464A (zh) | 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 | |
CN113107626B (zh) | 一种基于多变量lstm的联合循环发电机组负荷预测方法 | |
CN111275367B (zh) | 一种区域综合能源系统能效状态评价方法 | |
CN109858673A (zh) | 一种光伏发电系统功率预测方法 | |
CN112149879B (zh) | 一种计及宏观波动性分类的新能源中长期电量预测方法 | |
CN110503462A (zh) | 基于灰色关联度分析的电网投资测算方法、系统及介质 | |
CN114119273B (zh) | 一种园区综合能源系统非侵入式负荷分解方法及系统 | |
CN110332605B (zh) | 基于bp神经网络的热网能耗指标分析预警方法 | |
CN113141008A (zh) | 一种数据驱动的配电网分布式新能源消纳能力评估方法 | |
CN114648176A (zh) | 一种基于数据驱动的风光电源消纳优化方法 | |
CN114066069B (zh) | 一种组合权重的副产煤气发生量预测方法 | |
CN107704958A (zh) | 一种多变量建模的火电厂发电量预测方法 | |
CN111507520A (zh) | 一种换热机组负荷的动态预测方法及系统 | |
CN116703644A (zh) | 一种基于Attention-RNN的短期电力负荷预测方法 | |
CN116596139A (zh) | 一种基于Elman神经网络的短期负荷预测方法及系统 | |
CN112990533B (zh) | 一种稀疏约束和动态权重分配的风电集群功率预测方法 | |
CN115526433A (zh) | 一种基于集成混合模型的电厂再热烟气挡板操作预测方法 | |
CN108182553A (zh) | 一种燃煤锅炉燃烧效率在线测量方法 | |
CN113722656B (zh) | 一种火力发电机组实时健康度评价方法及系统 | |
CN114065610A (zh) | 基于麻雀搜索算法优化核极限学习机的风电功率预测方法 | |
CN110033126A (zh) | 基于注意力机制与逻辑回归的长短期记忆网络预测方法 | |
CN118444610A (zh) | 一种基于多维智能方法的水压管理智慧节水系统 | |
CN115967092A (zh) | 一种数据驱动的新能源电力系统非参数概率最优潮流预测-分析一体化方法 | |
CN114297943A (zh) | 一种基于堆叠lstm的台区配电网光伏功率多元预测方法 | |
CN112348696A (zh) | 基于bp神经网络的供热机组调峰上限评估方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |