Nothing Special   »   [go: up one dir, main page]

CN111027772B - 基于pca-dbilstm的多因素短期负荷预测方法 - Google Patents

基于pca-dbilstm的多因素短期负荷预测方法 Download PDF

Info

Publication number
CN111027772B
CN111027772B CN201911263271.5A CN201911263271A CN111027772B CN 111027772 B CN111027772 B CN 111027772B CN 201911263271 A CN201911263271 A CN 201911263271A CN 111027772 B CN111027772 B CN 111027772B
Authority
CN
China
Prior art keywords
load
layer
output
input
dbilstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911263271.5A
Other languages
English (en)
Other versions
CN111027772A (zh
Inventor
李泽文
胡让
穆利智
易洋
钱雪社
刘湘
王梓糠
段芳铮
王志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN201911263271.5A priority Critical patent/CN111027772B/zh
Publication of CN111027772A publication Critical patent/CN111027772A/zh
Application granted granted Critical
Publication of CN111027772B publication Critical patent/CN111027772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于PCA‑DBILSTM的多因素短期负荷预测方法,首先对原始输入数据进行归一化和Onehot编码得到一个多维矩阵,并利用PCA方法对多维矩阵进行主成分提取,然后利用DBILSTM网络预测模型进行预测。通过与传统电力负荷预测方法对比,该方法平均绝对百分误差(MAPE)和均方根误差(RMSE)均有所下降,结果表明该方法具有较高的预测精度。

Description

基于PCA-DBILSTM的多因素短期负荷预测方法
技术领域
本发明涉及一种基于PCA-DBILSTM的多因素短期负荷预测方法。
背景技术
负荷预测在电力系统规划、能源交易、电力系统运行等方面起着主导作用。自上世纪90年代初以来,通过增加放松管制的结构和引入竞争市场,通过垄断的方式来管理的电力部门已经被重塑。短期负荷预测对于电力系统的可靠运行至关重要。电力系统短期负荷预测是一种基于历史负荷数据的方法,充分考虑气象、节假日等因素来预测未来几小时或几天的负荷。负荷预测的准确性将直接影响电力系统的安全性和经济性。在智能电网环境下,随着分布式发电、储能装置、电动汽车的发展,传统的电力负荷预测方法已经不能满足人们的需求。
目前,国内外研究学者对于电力系统短期负荷预测主要有两类预测方法:时间序列分析法和机器学习法。其中,时间序列分析法包含动平均法、指数平滑法、自回归求和移动平均(Auto-Regressive Integrated Moving Average,ARIMA)法等;其原理是利用历史负荷数据自身的时序性和自相关性进行分析,不需要考虑负荷产生的相关因素,只需要足够的序列样本就能够建立相应的预测模型,预测方法简单,但预测精度较低。机器学习法主要包含包括人工神经网络(Artificial Neural Networks,ANN)法、支持向量机(SupportVector Machines,SVM)、遗传算法、随机森林等,其中ANN方法更是受到国内外学者的关注。有文献提出了一种将遗传算法与反向传播(Back Propagation,BP)神经网络相结合的预测方法,由于遗传算法的全局搜索能力强,能够解决BP神经网络在学习过程中容易陷入到局部最小值的缺点,但BP神经网络在学习过程中,收敛速度较慢,算法效率低。现有技术中,使用SVM方法建立预测模型,由于SVM算法的本质就是解决一个线性约束的二次规划问题,能够确保它的解是唯一的、全局的和最优的。但对于大规模的样本学习时,其计算耗时较高,计算效率低。有文献中利用了循环神经网络(RNN),解决了前馈型神经网络无法处理序列数据的缺陷,但RNN的存储能力是有限的,随着时间序列之间的间隔增大,隐藏层的原有信息将会被覆盖,从而导致之前信息的缺失,容易造成梯度消失的情况。有文献提出了一种基于长短期记忆(long short-term memory networks,LSTM)网络的预测方法,LSTM网络通过引入状态记忆单元,能够有效地解决RNN梯度爆炸的问题。
由于机器学习方法在处理序列数据时往往只考虑历史信息,而忽略了未来的信息,因此,有必要设计一种基于PCA-DBILSTM的多因素短期负荷预测方法。
发明内容
本发明所要解决的技术问题是提供一种基于PCA-DBILSTM的多因素短期负荷预测方法,该基于PCA-DBILSTM的多因素短期负荷预测方法预测精度高。
发明的技术解决方案如下:
一种基于PCA-DBILSTM的多因素短期负荷预测方法,首先对原始输入数据进行归一化和Onehot编码得到一个多维矩阵,并利用PCA方法对多维矩阵进行主成分提取,然后利用DBILSTM网络预测模型进行预测。
步骤1:对原始输入数据进行归一化和Onehot编码得到一个多维矩阵;多维矩阵包括n个行向量,每个行向量中包含历史负荷以及多种影响因素(其中包含前一周同一时刻负荷、前一天同时刻负荷、前两天同一时刻负荷、前一天前一时刻负荷、预测日最高气温、预测日最低气温、预测日降水量、预测日湿度、预测日日期类型);
步骤2:对归一化后的数据集进行主成分分析,设定方差累计贡献率的阈值为95%,确定主成分的个数;
步骤3:将得到的主成分输入到DBILSTM网络中,得到当前时刻的预测值;输入到DBILSTM网络前,已经对所有的影响因素进行了PCA降维处理,其中包含了Onehot编码。
步骤4:利用均方根误差loss作为目标函数的损失值,计算当前输出值与负荷真实值间的误差,并利用Adamax算法对DBILSTM网络的权重参数进行更新,直到迭代完成;均方根误差loss计算公式为:
其中:y。为真实负荷值,yp为当前输出值,n为预测点个数;
步骤5:输入测试集数据,利用训练好的DBILSTM网络模型,对未来24小时的负荷进行预测。
步骤1包括:
(1)对用于表征工作日和非工作日的类别型变量进行Onehot编码处理,其中非工作日分为周末和法定节假日;经过Onehot编码后的特征向量为8维矩阵;当预测日为周日时,第7位为1,其余位为0,对于法定节假日,将第8位置1,其余位为0;例如当预测日为星期日时,特征为8列矩阵,第7位为1,其余位为0。对于节假日,第8位为1,其余位为0。这些特征进行处理后组成输入特征矩阵,作为模型的输入。
(2)对于数值型数据采用最大最小值归一化(Min-MaxNormalization)进行处理,其计算公式如下:
其中,表示归一化后的输入变量,x表示待归一化变量,即原始数值型数据,和分别表示待归一化变量的最小值和最大值;
为了使最终输出结果具有物理意义,对预测得到的负荷数据进行反归一化,其计算公式如下:
xscaler=xtd(max′(x)-min′(x))+min′(x);
其中,表示待反归一化的变量,和表示待反归一化变量中的最大值和最小值,表示反归一化获得的数值;本发明中,所有的历史负荷数据、温度、降水量、湿度均为数值型数据。日期类型为类别型数据,将其通过onehot变换后转化为数值型数据,将所有的输入变量组合成一个数值型矩阵。然后再对这个多维数值型矩阵进行PCA降维。
步骤2中,在原始负荷影响数据集X中有n条历史负荷数据,每条数据中有p个影响因素,则影响矩阵表示为:
对影响矩阵X的p个影响因素向量作线性变换得:
式中:线性组合T1,T2,...Tn为不相关的主成分,且T1为X1,X2,...,XP中方差最大者,T2是与T1不相关的X1,X2,...,XP的所有线性组合中方差最大者,Tp是与T1,T2,...,Tp-1都不相关的X1,X2,...,Xp所有线性组合中方差最大者;
计算过程如下:
4)计算原始负荷影响数据集的协方差矩阵:
∑(sij)p×p
此处的∑符号并非求和符号,而是协方差矩阵的一种书写形式。右下角的p*p表示为p行p列的矩阵。
式中:n为自然数,为x的平均值;
5)计算协方差矩阵的特征值λi及相应的正交化单位特征向量ai,原变量第i个主成分Fi为:
Fi=ai×X;
式中:
6)确定主成分个数;方差贡献率ηi和累计方差贡献率η(p)分别为:
计算主成分载荷系数l:
计算各影响因素在m个主成分上的得分:
Fi=a1iX1+a2iX2+...+apiXp,i=1,2,...,m,;
当累计方差贡献率达到75%~95%时,对应的前m个主成分就能够包含原始负荷影响数据集中的大部分信息,则主成分个数为m。
步骤3中,DBILSTM网络由输入层、输出层、隐藏层和一个Dense层组成,其中隐藏层由n个BILSTM网络组成,每个BILSTM层都包含一个正向LSTM网络和一个反向LSTM网络,使得每一层的BILSTM网络都能够同时获得前后两个方向的信息;前n-1层将返回全部输出序列,通过加法器进行信息融合后传递到下一层:第n层只返回输出序列最后一个时间步的结果,通过一个Dense层输出预测结果;
其计算过程如下:
设DBILSTM输入的第i个序列为xi=[x1,x2,...,xt,...,xv],则第一层的输出为:
其中 表示求加法(Add)计算,保持原数据维度不变;
第n层的输出序列表示为:
最终输出序列可表示为:
其中g为Dense层的激活函数,采用Rule函数;Wd,Wo分别表示Dense层和输出层的权重参数;bd表示Dense层的偏移量。Dense层又称全连接层,通常用于维度变换,尤其是可以把高维变到低维,同时把有用的信息保留下来。在本发明中使用Dense层可以确保输入的维度与目标维度一致。
有益效果:
针对传统神经网络利用时序性数据建模时无法对未来信息进行提取,本发明提出了一种基于主成分分析法(PCA)和深度双向长短期记忆(DBILSTM)神经网络的短期负荷预测模型。该模型运用主成分分析法对原始历史负荷数据、天气、节假日等信息组成的时间序列进行主成分提取,降低数据维度。然后通过建立DBILSTM网络对负荷相关因素和负荷实际输出序列之间的非线性关系建立网络模型,其中采用Adamax自适应优化算法修正模型参数。最后通过得到的网络模型进行负荷预测。通过与传统电力负荷预测方法对比,该方法平均绝对百分误差(MAPE)和均方根误差(RMSE)均有所下降,结果表明该方法具有较高的预测精度。
本发明考虑天气、节假日因素,提出了一种基于主成分分析法(principalcomponent analysis,PCA)和深度双向长短期记忆(DeepBi-directional Long Short-Term Memory,DBILSTM)神经网络的短期负荷预测方法,通过结合对我国某地区实际天气、负荷数据,验证了该方法的正确性与可行性。
附图说明
图1为典型的单一LSTM网络单元结构示意图;
图2为BILSTM网络拓扑图;
图3为DBILSTM网络模型示意图;
图4为PCA-DBILSTM组合预测模型示意图;
图5为Adamax算法流程图;
图6为实际负荷与预测负荷的对比图;
图7为PCA-DBILSTM与DBILSTM模型预测结果对比图;
图8为不同预测模型的结果对比图。
具体实施方式
以下将结合附图和具体实施例对本发明做进一步详细说明:
实施例1:
1、负荷影响因素提取
由于电力负荷往往会受到经济、气候、节假日等诸多因素的影响,需要在负荷预测模型中加以考虑。为了减少神经网络的输入维度提高计算效率,又不影响预测精度。本发明采用PCA方法对原始负荷数据进行预处理。
PCA的原理是通过将高维历史数据组合成一个矩阵,进行一系列的线性变换后得到若干个互不相关线性组合,使得新的线性组合在互不相关的前提下尽可能多的反映原始信息。若存在一个n维的原始数据,对其进行PCA处理后得到k(k<n)维正交化特征向量,我们称这k维正交化的特征为主成分。(PCA方法参见文献:周松林,茆美琴,苏建徽.基于主成分分析与人工神经网络的风电功率预测[J].电网技术,2011,35(09):128-132.)
假设在原始负荷影响数据集X中有n条历史负荷数据,每条数据中有p个影响因素,则影响矩阵可表示为:
对影响矩阵X的p个影响因素向量作线性变换得:
式中:线性组合T1,T2,...Tn为不相关的主成分,且T1为X1,X2,...,XP中方差最大者,T2是与T1不相关的X1,X2,...,XP的所有线性组合中方差最大者,Tp是与T1,T2,...,Tp-1都不相关的X1,X2,...,Xp所有线性组合中方差最大者。
其主要计算过程如下:
7)计算原始负荷影响数据集的协方差矩阵:
∑(sij)p×p (3)
式中:n为自然数,为x的平均值。
8)计算协方差矩阵的特征值λi及相应的正交化单位特征向量ai,原变量第i个主成分Fi为:
Fi=ai×X (4)
式中:
9)确定主成分个数。方差贡献率和累计方差贡献率分别为:
计算主成分载荷系数l:
计算各影响因素在m个主成分上的得分:
Fi=a1iX1+a2iX2+...+apiXp (7)
通常,当累计方差贡献率达到75%~95%时,对应的前m个主成分就能够包含原始负荷影响数据集中的大部分信息。于是,主成分个数为m个。
2、深度双向长短期记忆网络模型
2.1双向长短期记忆网络
文献“李鹏,何帅,韩鹏飞,等.基于长短期记忆的实时电价条件下智能电网短期负荷预测[J].电网技术,2018,42(12):4045-4052.”采用了LSTM网络对未来24小时的负荷进行预测,但由于LSTM网络只具有单向传递特点,导致LSTM网络在处理序列负荷数据时,只能利用当前时刻的历史信息,不能利用未来的信息,其原理图如图1所示。而双向长短期记忆网络(Bi-directional long short-term memory,BILSTM)能同时利用历史信息和未来信息。为了更好的获取影响负荷预测相关因素序列与负荷实际输出序列之间的非线性关系,本发明采用DBILSTM网络进行建模和预测。每一层双向长短期记忆网络由两个相反的LSTM组成,其原理图如图2所示。
根据图2可以看出BILSTM网络在t时刻的隐藏层包含前向和反向其中前向和利用了前一时刻的负荷响应量和负荷响应状态单元里所包含的信息。反向利用了下一个时刻的负荷响应量和负荷响应状态单元里所包含的信息。BILSTM网络实现了历史信息和未来信息的融合,具有更好的鲁棒性。由于正向过程与单一的LSTM网络相同,本发明将只介绍其反向过程,其计算过程如下:
1)在遗忘门中,sigmoid层将会选择性的遗忘t+1时刻的负荷响应状态,此时的输入为上一层的输出ht+1和当前时刻的输入xt,此刻遗忘门的输出为ft。当遗忘门的输出为0时,丢弃t+1时刻的全部信息;当遗忘门的输出为1时,则保留t+1时刻的全部信息。
式中:xt表示t时刻的输入;ht+1表示t+1时刻的负荷响应量;W1 f表示输入xt与遗忘门之间的权值矩阵;表示表示上一层输出ht+1与遗忘门之间的权值矩阵;bf表示LSTM网络的偏移量,均通过模型训练得到;δ激活函数,通常取sigmoid函数。
2)生成更新的负荷信息并储存在负荷响应状态记忆单元中,包含两个步骤:①输入门的sigmoid层决定需要更新的负荷信息;②将tanh层生成新的候选值Ct添加到负荷响应状态记忆单元中。Ct由前一个负荷响应状态Ct-1与ft相乘来遗忘不需要的信息,与新的候选信息相加得到。
式中:分别表示输入xt与输入门sigmoid层、输入门tanh层之间的权值矩阵;分别表示上一层输入ht+1与输入门sigmoid层、输入门tanh层之间的权值矩阵;bi,bc表示LSTM网络的偏移量。
式中:分别表示输入门、上一层输入ht+1与输出门之间的权值矩阵;bo为LSTM网络的偏移量。
于是,BILSTM的输出可表示为:
则BILSTM的输出又可以表示为:
其中:f为BILSTM网络的激活函数,其反向过程定义如式(8-10),正向过程同理。
2.2深度双向长短期记忆网络
考虑到影响负荷预测的因素较多,单层的BILSTM网络在处理复杂的时序型数据时表现欠佳,本发明提出了一种基于深度双向长短期记忆网络的电力系统短期负荷预测模型,其隐藏层由多个BILSTM网络单元组成,其网络结构如图3所示。
由图3可以看出,DBILSTM网络由输入层、输出层、隐藏层和一个Dense层组成,其中隐藏层由n个BILSTM网络组成,每个BILSTM层都包含一个正向LSTM网络和一个反向LSTM网络,使得每一层的BILSTM网络都能够同时获得前后两个方向的信息。前n-1层将返回全部输出序列,通过加法器进行信息融合后传递到下一层。第n层只返回输出序列最后一个时间步的结果,通过一个Dense层输出预测结果。其计算过程如下:
设DBILSTM输入的第i个序列为xi=[x1,x2,...,xt,...,xV],则第一层的输出为:
其中 表示Add计算,保持原数据维度不变。
第n层的输出序列可表示为:
最终输出序列可表示为:
其中g为Dense层的激活函数,通常为Rule函数;Wd,Wo分别表示Dense层和输出层的权重参数;bd表示Dense层的偏移量。
3、PCA-DBILSTM组合预测模型
3.1模型结构
本发明所提出的PCA-DBILSTM组合预测模型的构建思想为通过PCA方法对高维的原始负荷数据归一化后进行主成分分析,提取影响预测的主成分,然后输入到DBILSTM网络中进行训练,通过得到的训练模型进行预测。PCA-DBILSTM组合预测模型如图4所示。
PCA-DBILSTM组合预测模型由输入层、隐藏层、输出层和模型训练单元组成,输入层将历史负荷数据进行数据集的划分(训练集和测试集)并进行归一化,通过PCA提取主成分后将训练集输入到隐藏层中。在隐藏层中,通过DBILSTM网络计算输出当前预测值。输出层将当前输出结果经过反归一化后输入到模型训练单元,选用均方根误差作为DBILSTM网络的损失函数。确定损失函数后,于是将DBILSTM网络模型的学习问题转换成了最小化函数损失问题,算法原理详见3.2.1。
3.2 PCA-DBILSTM网络训练
3.2.1 Adamax算法
Adamax算法是一种自适应学习优化算法,是基于无穷范数的Adam算法的一种衍生形式,可根据损失函数对每个参数的梯度的一阶矩估计和指数加权无穷范数动态调整,其算法原理图如图5所示。Adamax将Adam中的L2范数拓展到了L范数,使得全局学习率对参数改变量的限制范围更加简单。经过实验证明,Adamax算法比随机梯度下降算法、Adam算法、RMSProp的效果更好。其算法原理图如图所示,算法原理如下:
(1)设定算法参数。本发明采用Adamax默认参数α=0.002,β1=0.9,β2=0.999,ε=10-8
(2)定义目标函数f(θ),初始化算法初值,θ为神经网络的权重参数。最大迭代次数tmax,当前迭代次数t=0,一阶矩估计m0=0,指数加权无穷大范数v0=0,迭代初始值θ0=0。
(3)计算目标函数的梯度:
(4)更新偏一阶原点矩:
mt=β1mt-1+(1-β1)gt (17)
(5)更新指数加权无穷范数:
vt=max(β2,vt-1,|gt|) (18)
(6)更新解向量:
(7)若t<tmax则返回(3)。
3.2.2训练流程
本发明首先对原始输入数据进行归一化和Onehot编码得到一个多维矩阵,并利用PCA方法对多维矩阵进行主成分提取,然后利用DBILSTM网络预测模型进行预测。具体预测流程为:
步骤1:对类别型变量(工作日和非工作日)进行Onehot编码处理,其中非工作日分为周末和法定节假日。经过Onehot编码后的特征向量为8维矩阵。例如,当预测日为周日时,第7位为1,其余位为0。对于法定节假日,将第8位置1,其余位为0。对于数值型数据采用最大最小值归一化(Min-MaxNormalization)进行处理,其计算公式如下:
其中,x′表示归一化后的输入变量,min(x)和max(x)分别表示待归一化变量的最小值和最大值。
为了使最终输出结果具有物理意义,对预测得到的负荷数据进行反归一化,其计算公式如下:
xscaler=xtd(max′(x)-min′(x))+min′(x) (21)
其中,xtd表示待反归一化的变量,表示待反归一化变量中的最大值和最小值。
步骤2:对归一化后的数据集进行主成分分析,设定方差累计贡献率的阈值为95%,确定主成分的个数。
步骤3:将得到的主成分输入到DBILSTM网络中,得到当前时刻的预测值。
步骤4:利用均方根误差(见式22)作为目标函数的损失值,计算当前输出值与负荷真实值间的误差,并利用Adamax算法对DBILSTM网络的权重参数进行更新,直到迭代完成。
其中:yo为真实负荷值,yp为当前输出值,n为预测点个数。
步骤5:输入测试集数据,利用训练好的DBILSTM网络模型,对未来24小时的负荷进行预测。
3.3实验评价指标
为了评估本发明所提出预测模型的预测精度,本发明选取平均绝对百分误差(MAPE)和均方根误差(RMSE)作为评价指标,其计算公式分别为:
式中:yf为预测值,yr为真实值,n为预测点个数。
4、实验及结果分析
为了验证PCA-DBILSTM网络模型的准确性,对中国某地区2012年6月30日每15min的负荷进行预测。训练集数据为该地区2012年1月1日至2012年6月29日的历史负荷数据、天气数据以及节假日数据(采样时间间隔为15min)。本发明所有数据分析的软硬件平台如下表所示。
表1软硬件实验平台
4.1数据预处理
由于电力负荷曲线具有明显的日周期性和周周期性,所以我们在对输入变量的选取时,要考虑到前一至两天的负荷情况和前一周同一时刻的负荷情况。而且电力负荷曲线具有一定的连续性,所以还需要考虑相邻时刻的历史数据。除了历史数据的影响,还存在一些外在因素对电力负荷也有一定的影响,例如:节假日、温度、湿度、降水量等。
本发明选定前一周同一时刻负荷、前一天同时刻负荷、前两天同一时刻负荷、前一天前一时刻负荷、预测日最高气温、预测日最低气温、预测日降水量、预测日湿度、预测日日期类型(使用8维矩阵表示),共16维数据作为输入数据。输出数据则为未来一天的负荷数据。
为了降低输入数据为维度,如果直接忽略某些影响因素可能会导致预测精度降低。为了保证预测精度,并降低输入数据的维度,可采用PCA方法对输入的历史负荷、天气和节假日信息进行主成分信息提取,确定最小输入变量的个数。得到的各个主成分的特征值、贡献率、累计贡献率如表2所示:
表2输入数据的特征值及累计方差贡献率
由表2可知,前6个主成分的累计贡献率达到了95.3086%,而后10个主成分的累计贡献率仅4.6914%,说明前6个主成分基本包含了原始数据的全部信息,后10个主成分可作为噪声不予考虑,因此选定前6个主成分代替原始输入数据进行BILSTM网络训练。在进行PCA处理前每一时刻有16个输入参数,而在PCA处理后每一时刻只有6个输入参数,在保证了信息最大程度保留的情况下,又降低了数据的维度,从而提升了算法效率。其主成分分析结果如表3所示。
表3主成分分析结果
由表3可以看出,主成分1主要和历史负荷相关,主成分2主要反映了节假日因素,主成分3主要和天气因素相关,基本包含了预测中所需的影响因素。
4.2实验算例及结果分析
对原始负荷数据进行主成分分析后,将筛选出来的主成分输入到DBILSTM网络模型中进行预测。使用Tensorflow深度学习框架作为后端的Kears建立DBILSTM网络模型,对该地区未来24小时的负荷进行滚动预测。考虑到计算的复杂性,本发明选取DBILSTM网络层数为3层,每一层中神经元的个数为28个,迭代次数为500次,Dropout为0.3,输入预测结果如图6所示。
图6中该日负荷的MAPE和RMSE分别为0.560%、43.927MW。以上实验验证了本发明提出的PCA-DBILSTM模型在电力负荷短期预测上具有良好的适用性。通过对电力负荷的短期预测,能够合理的安排日开停机计划和发电计划。
图7为本发明所提的PCA-DBILSTM模型与单一的DBILSTM模型的预测效果对比图,其中两种模型的网络隐含层层数都为3层,由表可知,本发明提出的PCA-DBILSTM模型RMSE误差比单一的DBILSTM模型降低了8.21%。
表4预测结果误差分析
通过对单一DBILSTM模型与PCA-DBILSTM网络模型的预测结果分析可知,提升相关变量与目标变量的相关性,能够有效的提升网络模型的预测精度。反之,相关程度较低的相关变量不仅仅会影响计算速度,还会降低预测精度。实验结果表明,相对于原始数据不进行PCA处理,即将原始数据直接作为输入参数,采用PCA对原始负荷数据进行处理后再作为网络输入的方法反而使得预测精度提升了0.082%。
4.3不同预测模型对比
为了更好的说明本发明提出的PCA-DBILSTM模型的预测性能,本发明采用ARIMA时序性预测模型和BP神经网络模型与之对比。预测结果图如图8所示,预测误差如表5所示。
表5不同预测模型误差对比
由图8、表5可知,对于不同的负荷预测模型,都能够反映出该地区的负荷变化趋势,但本发明提出的PCA-DBILSTM网络预测模型的预测误差相比于其他两种负荷预测模型,其MAPE分别降低了1.131%、0.357%。说明PCA-DBILSTM网络预测模型能够较好的实现短期负荷预测。
5、结论
本发明提出了一种基于PCA-DBILSTM网络的短期负荷预测模型。在模型输入变量的选择上,采用PCA方法选取合适的输入变量,降低了数据的维度。通过构建DBILSTM网络模型,使得预测方法能够同时考虑过去和未来的数据信息,并引入Adamax算法对模型的参数进行修正。最后,通过利用某地区的实测负荷数据,对文中所提方法进行验证。得出如下结论:
1)PCA方法能够实现在保留原始负荷序列数据所蕴含的大部分信息的情况下,降低数据维度,在保证预测精度的前提下,提高预测速度。并且相对于单一的DBILSTM网络,PCA-DBILSTM的预测精度也一定程度的提升。
2)DBILSTM网络模型是一种双向的神经网络模型,能够同时利用过去和未来的信息,能够有效地分析时序性数据。通过与其他网络预测模型对比,体现了该模型的准确性和适用性。

Claims (1)

1.一种基于PCA-DBILSTM的多因素短期负荷预测方法,其特征在于,首先对原始输入数据进行归一化和Onehot编码得到一个多维矩阵,并利用PCA方法对多维矩阵进行主成分提取,然后利用DBILSTM网络预测模型进行预测;
步骤1:对原始输入数据进行归一化和Onehot编码得到一个多维矩阵;
多维矩阵包括n个行向量,每个行向量中包含历史负荷以及多种影响因素,其中包含前一周同一时刻负荷、前一天同时刻负荷、前两天同一时刻负荷、前一天前一时刻负荷、预测日最高气温、预测日最低气温、预测日降水量、预测日湿度、预测日日期类型;
步骤2:对归一化后的数据集进行主成分分析,设定方差累计贡献率的阈值为95%,确定主成分的个数;
步骤3:将得到的主成分输入到DBILSTM网络中,得到当前时刻的预测值;
步骤4:利用均方根误差loss作为目标函数的损失值,计算当前输出值与负荷真实值间的误差,并利用Adamax算法对DBILSTM网络的权重参数进行更新,直到迭代完成;均方根误差loss计算公式为:
其中:yo为真实负荷值,yp为当前输出值,n为预测点个数;
步骤5:输入测试集数据,利用训练好的DBILSTM网络模型,对未来24小时的负荷进行预测;
步骤1包括:
(1)对用于表征工作日和非工作日的类别型变量进行Onehot编码处理,其中非工作日分为周末和法定节假日;经过Onehot编码后的特征向量为8维矩阵;当预测日为周日时,第7位为1,其余位为0,对于法定节假日,将第8位置1,其余位为0;
(2)对于数值型数据采用最大最小值归一化(Min-MaxNormalization)进行处理,其计算公式如下:
其中,x′表示归一化后的输入变量,x表示待归一化变量,min(x)和max(x)分别表示待归一化变量的最小值和最大值;
为了使最终输出结果具有物理意义,对预测得到的负荷数据进行反归一化,其计算公式如下:
xscaler=xtd(max'(x)-min'(x))+min'(x);
其中,xtd表示待反归一化的变量,表示待反归一化变量中的最大值和最小值;
步骤2中,在归一化后的数据集X中有n条历史负荷数据,每条数据中有p个影响因素,则影响矩阵表示为:
对影响矩阵X的p个影响因素向量作线性变换得:
式中:线性组合T1,T2,...Tn为不相关的主成分,且T1为X1,X2,...,XP中方差最大者,T2是与T1不相关的X1,X2,...,XP的所有线性组合中方差最大者,Tp是与T1,T2,...,Tp-1都不相关的X1,X2,...,Xp所有线性组合中方差最大者;
计算过程如下:
1)计算归一化后的数据集的协方差矩阵:
∑(sij)p×p
式中:n为自然数,为x的平均值;
2)计算协方差矩阵的特征值λi及相应的正交化单位特征向量ai,原变量第i个主成分Fi为:
Fi=ai×X;
式中:
3)确定主成分个数;方差贡献率ηi和累计方差贡献率ηΣ(p)分别为:
计算各影响因素在m个主成分上的得分:
Fi=a1iX1+a2iX2+...+apiXp,i=1,2,…,m,;
当累计方差贡献率达到75%~95%时,对应的前m个主成分就能够包含原始负荷影响数据集中的大部分信息,则主成分个数为m;
步骤3中,BILSTM网络在t时刻的隐藏层包含前向和反向其中前向中利用了前一时刻的负荷响应量和负荷响应状态单元里所包含的信息;反向利用了下一个时刻的负荷响应量和负荷响应状态单元里所包含的信息;反向过程计算过程如下:
1)在遗忘门中,sigmoid层将会选择性的遗忘t+1时刻的负荷响应状态,此时的输入为上一层的输出ht+1和当前时刻的输入xt,此刻遗忘门的输出为ft;当遗忘门的输出为0时,丢弃t+1时刻的全部信息;当遗忘门的输出为1时,则保留t+1时刻的全部信息;
式中:xt表示t时刻的输入;ht+1表示t+1时刻的负荷响应量;W1 f表示输入xt与遗忘门之间的权值矩阵;表示表示上一层输出ht+1与遗忘门之间的权值矩阵;bf表示LSTM网络的偏移量,均通过模型训练得到;δ激活函数取sigmoid函数;
2)生成更新的负荷信息并储存在负荷响应状态记忆单元中,包含两个步骤:①输入门的sigmoid层决定需要更新的负荷信息;②将tanh层生成新的候选值Ct添加到负荷响应状态记忆单元中;Ct由前一个负荷响应状态Ct-1与ft相乘来遗忘不需要的信息,与新的候选信息相加得到;
式中:W1 i,W1 C分别表示输入xt与输入门sigmoid层、输入门tanh层之间的权值矩阵;分别表示上一层输入ht+1与输入门sigmoid层、输入门tanh层之间的权值矩阵;bi,bc表示LSTM网络的偏移量;
式中:W1 o,分别表示输入门、上一层输入ht+1与输出门之间的权值矩阵;bo为LSTM网络的偏移量;
于是,BILSTM的输出表示为:
则BILSTM的输出又表示为:
其中:f为BILSTM网络的激活函数;
DBILSTM网络由输入层、输出层、隐藏层和一个Dense层组成,其中隐藏层由n个BILSTM网络组成,每个BILSTM层都包含一个正向LSTM网络和一个反向LSTM网络,使得每一层的BILSTM网络都能够同时获得前后两个方向的信息;前n-1层将返回全部输出序列,通过加法器进行信息融合后传递到下一层;第n层只返回输出序列最后一个时间步的结果,通过一个Dense层输出预测结果;
其计算过程如下:
设DBILSTM输入的第i个序列为xi=[x1,x2,...,xt,...,xV],则第一层的输出为:
其中, 表示求加法Add计算,保持原数据维度不变;
第n层的输出序列表示为:
最终输出序列可表示为:
其中g为Dense层的激活函数,采用Rule函数;Wd,Wo分别表示Dense层和输出层的权重参数;bd表示Dense层的偏移量。
CN201911263271.5A 2019-12-10 2019-12-10 基于pca-dbilstm的多因素短期负荷预测方法 Active CN111027772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911263271.5A CN111027772B (zh) 2019-12-10 2019-12-10 基于pca-dbilstm的多因素短期负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911263271.5A CN111027772B (zh) 2019-12-10 2019-12-10 基于pca-dbilstm的多因素短期负荷预测方法

Publications (2)

Publication Number Publication Date
CN111027772A CN111027772A (zh) 2020-04-17
CN111027772B true CN111027772B (zh) 2024-02-27

Family

ID=70205546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911263271.5A Active CN111027772B (zh) 2019-12-10 2019-12-10 基于pca-dbilstm的多因素短期负荷预测方法

Country Status (1)

Country Link
CN (1) CN111027772B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754037B (zh) * 2020-06-19 2023-01-20 国网河南省电力公司经济技术研究院 区域终端集成供能系统长期负荷混合预测方法
CN111784068A (zh) * 2020-07-09 2020-10-16 北京理工大学 基于eemd的电力负荷组合预测方法及装置
CN111861013B (zh) * 2020-07-23 2023-09-08 长沙理工大学 一种电力负荷预测方法及装置
CN112329990A (zh) * 2020-10-20 2021-02-05 昆明理工大学 一种基于lstm-bp神经网络的用户用电负荷预测方法
CN112418485A (zh) * 2020-10-27 2021-02-26 西安交通大学 基于负荷特性和用电行为模式的家庭负荷预测方法及系统
CN112348287A (zh) * 2020-11-26 2021-02-09 南方电网能源发展研究院有限责任公司 基于lstm分位数回归的电力系统短期负荷概率密度预测方法
CN112529268B (zh) * 2020-11-28 2023-06-27 广西大学 一种基于流形学习的中短期负荷预测方法及装置
CN112508286A (zh) * 2020-12-11 2021-03-16 上海电力大学 一种基于Kmeans-BiLSTM-DMD模型的短期负荷预测方法
CN113298289A (zh) * 2021-04-14 2021-08-24 北京市燃气集团有限责任公司 一种对燃气用户的燃气用气量进行预测的方法及装置
CN113139605A (zh) * 2021-04-27 2021-07-20 武汉理工大学 基于主成分分析和lstm神经网络的电力负荷预测方法
CN113484669B (zh) * 2021-06-23 2022-10-11 国网江苏省电力有限公司淮安供电分公司 一种基于双向lstm的配电网低电压原因定位方法
CN114066064A (zh) * 2021-11-18 2022-02-18 国网上海市电力公司 一种基于pca-lstm神经网络的空调负荷预测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651020A (zh) * 2016-12-16 2017-05-10 燕山大学 一种基于大数据简约的短期电力负荷预测方法
CN106779129A (zh) * 2015-11-19 2017-05-31 华北电力大学(保定) 一种考虑气象因素的短期电力负荷预测方法
CN108022001A (zh) * 2017-09-20 2018-05-11 河海大学 基于pca和分位数回归森林的短期负荷概率密度预测方法
CN109034490A (zh) * 2018-08-13 2018-12-18 广东工业大学 一种电力负荷预测方法、装置、设备及存储介质
CN109523084A (zh) * 2018-11-23 2019-03-26 东北大学 一种基于主元分析和机器学习的风电功率超短期预测方法
WO2019141040A1 (zh) * 2018-01-22 2019-07-25 佛山科学技术学院 一种短期电力负荷预测方法
CN110176306A (zh) * 2019-05-17 2019-08-27 上海交通大学 一种基于动态多元lstm网络的软组织漂移靶点自动定位方法
CN110222901A (zh) * 2019-06-13 2019-09-10 河海大学常州校区 一种基于深度学习的Bi-LSTM的电负荷预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260414A1 (en) * 2017-03-10 2018-09-13 Xerox Corporation Query expansion learning with recurrent networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779129A (zh) * 2015-11-19 2017-05-31 华北电力大学(保定) 一种考虑气象因素的短期电力负荷预测方法
CN106651020A (zh) * 2016-12-16 2017-05-10 燕山大学 一种基于大数据简约的短期电力负荷预测方法
CN108022001A (zh) * 2017-09-20 2018-05-11 河海大学 基于pca和分位数回归森林的短期负荷概率密度预测方法
WO2019141040A1 (zh) * 2018-01-22 2019-07-25 佛山科学技术学院 一种短期电力负荷预测方法
CN109034490A (zh) * 2018-08-13 2018-12-18 广东工业大学 一种电力负荷预测方法、装置、设备及存储介质
CN109523084A (zh) * 2018-11-23 2019-03-26 东北大学 一种基于主元分析和机器学习的风电功率超短期预测方法
CN110176306A (zh) * 2019-05-17 2019-08-27 上海交通大学 一种基于动态多元lstm网络的软组织漂移靶点自动定位方法
CN110222901A (zh) * 2019-06-13 2019-09-10 河海大学常州校区 一种基于深度学习的Bi-LSTM的电负荷预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于局部化双向LSTM和状态转移约束的养殖水质分类预测;商艳红;张静;;渔业现代化(02);全文 *
改进神经网络算法的智能电网短期负荷预测;韦琦;杨明;;哈尔滨理工大学学报(04);全文 *
聂佛辉."基于LSTM循环神经网络的TCP状态估计方法研究".《中国优秀硕士学位论文全文数据库信息科技辑》.2019,(第1期),第38、44-45页. *

Also Published As

Publication number Publication date
CN111027772A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111027772B (zh) 基于pca-dbilstm的多因素短期负荷预测方法
CN106651020B (zh) 一种基于大数据简约的短期电力负荷预测方法
CN101414366B (zh) 基于改进极端学习机方法的电力系统短期负荷预测方法
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
CN110245801A (zh) 一种基于组合挖掘模型的电力负荷预测方法及系统
CN111861013B (zh) 一种电力负荷预测方法及装置
CN110942194A (zh) 一种基于tcn的风电预测误差区间评估方法
CN114757427B (zh) 自回归修正的lstm智能风电场超短期功率预测方法
Chinnathambi et al. Deep neural networks (DNN) for day-ahead electricity price markets
CN116596044A (zh) 基于多源数据的发电负荷预测模型训练方法及装置
CN111079989A (zh) 一种基于dwt-pca-lstm的供水公司供水量预测装置
CN112508286A (zh) 一种基于Kmeans-BiLSTM-DMD模型的短期负荷预测方法
CN117277279A (zh) 一种基于粒子群优化的深度学习短期负荷预测方法
CN105184398A (zh) 一种电力最大负荷小样本预测方法
CN113449919B (zh) 一种基于特征和趋势感知的用电量预测方法及系统
CN111832839B (zh) 基于充分增量学习的能耗预测方法
CN110738363B (zh) 一种光伏发电功率预测方法
Zuo Integrated forecasting models based on LSTM and TCN for short-term electricity load forecasting
CN110458341A (zh) 一种考虑气象特性的超短期风电预测方法及系统
CN114239945A (zh) 短期电力负荷预测方法、装置、设备及存储介质
CN115860277B (zh) 一种数据中心能耗预测方法及系统
Duong et al. Application of Seasonal Trend Decomposition using Loess and Long Short-Term Memory in Peak Load Forecasting Model in Tien Giang
CN112446550B (zh) 一种短期建筑负荷概率密度预测方法
CN115238952A (zh) 一种Bi-LSTM-Attention的短期电力负荷预测方法
Martinez-Garcia et al. E-LSTM: An extension to the LSTM architecture for incorporating long lag dependencies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant