Nothing Special   »   [go: up one dir, main page]

CN114169416B - 一种基于迁移学习的小样本集下短期负荷预测方法 - Google Patents

一种基于迁移学习的小样本集下短期负荷预测方法 Download PDF

Info

Publication number
CN114169416B
CN114169416B CN202111442332.1A CN202111442332A CN114169416B CN 114169416 B CN114169416 B CN 114169416B CN 202111442332 A CN202111442332 A CN 202111442332A CN 114169416 B CN114169416 B CN 114169416B
Authority
CN
China
Prior art keywords
data
load
residual block
training
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111442332.1A
Other languages
English (en)
Other versions
CN114169416A (zh
Inventor
张真源
赵鹏飞
黄琦
胡维昊
易建波
李坚
井实
唐啸天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111442332.1A priority Critical patent/CN114169416B/zh
Publication of CN114169416A publication Critical patent/CN114169416A/zh
Application granted granted Critical
Publication of CN114169416B publication Critical patent/CN114169416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Water Supply & Treatment (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于迁移学习的小样本集下短期负荷预测方法，先采集多个源域用户的历史负荷数据及对应温度，从而构建多个输入特征；然后用输入特征训练多个深度残差网络模型，并利用贝叶斯加权概率平均法对深度残差网络模型进行自适应性迁移组合，迁移组合完成后目标用户的实时负荷预测。

Description

一种基于迁移学习的小样本集下短期负荷预测方法
技术领域
本发明属于电力负荷预测技术领域，更为具体地讲，涉及一种基于迁移学习的小样本集下短期负荷预测方法。
背景技术
负荷预测在现代电力系统的运行与控制中扮演着极为重要的角色。但随着大规模的可再生能源发电并网、电动汽车的普及、电力消费模式的日益多元化，现代电力系统的复杂性和不确定性日益增加。这给电力系统的管理带来了额外的挑战。应对上述问题，精确的居民负荷预测可以降低运行成本，并且促进电网的智能化运行。举例来说，如果我们可以得到精确且可靠的单个用户的负荷预测，那么可以通过蓄能管理、需求响应等项目削减用电峰谷带来的有害影响。
为了实现精确、可靠的负荷预测，目前涌现了很多机器学习和深度学习的方法。机器学习方法如：支持向量机回归(SVR)，决策树；深度学习方法如：深度残差网络(deepResNet)、长短时记忆神经网络(LSTM)。然而，机器学习和深度学习模型具有两个明显的缺点：一是需要大量的历史数据来训练模型参数；二是作为参数模型，无法量化负荷预测的不确定性。
然而，相比于高压侧，居民侧用电更不规律，对消费行为更敏感。同时，在电力系统中，缺少标签化的历史数据是极为常见的问题。这导致了上述机器学习和深度学习方法难以完成小样本历史负荷数据情景下的确定性预测和不确定性预测的任务。因此，需要一种方法完成在居民用户有限历史负荷数据情景下的负荷预测任务。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于迁移学习的小样本集下短期负荷预测方法，在有限历史负荷数据情景下，通过源域用户与目标用户在时间和空间上的相关性实现目标用户短期负荷的精准预测。
为实现上述发明目的，本发明一种基于迁移学习的小样本集下短期负荷预测方法，其特征在于，包括以下步骤：
(1)、数据采集与预处理；
(1.1)、设置负荷采样周期T；
(1.2)、按照负荷采样周期T对M个源域用户的历史负荷数据xload及对应温度xtemp进行采集，从而构建数据集和温度集，记第i个源域用户构建数据集为
Figure GDA0004094976870000021
和温度集为
Figure GDA0004094976870000022
其中，
Figure GDA0004094976870000023
分别表示第i个源域用户在第t个采样时刻采集到的历史负荷数据及对应温度，i＝1,2,…,M；
(1.3)、分别剔除
Figure GDA0004094976870000024
和
Figure GDA0004094976870000025
中的异常值，然后再进行线性插值，得到数据样本
Figure GDA0004094976870000026
最后再对数据样本Xi进行归一化处理，得到归一化以后的数据样本
Figure GDA0004094976870000027
(1.4)、为数据样本
Figure GDA0004094976870000028
加入时间特征变量
Figure GDA0004094976870000029
包含时序变量、天级变量、节假日变量，
Figure GDA00040949768700000210
以独热编码的形式作为输入特征，最终构造出M个输入特征为
Figure GDA00040949768700000211
(2)、搭建深度残差网络模型；
深度残差网络由L个残差块跳跃连接而成，其中，每一个残差块由卷积层、归一化层、Relu激活函数层构成；
(3)、基于源域用户数据训练深度残差网络模型；
(3.1)、从第i个输入特征
Figure GDA00040949768700000212
中随机选取
Figure GDA00040949768700000213
个时刻的数据作为一轮训练数据，
Figure GDA00040949768700000214
然后将每个时刻的数据依次输入到深度残差网络模型，通过输入层将该帧数据转换为张量形式输入至串联的残差块；
(3.2)、在深度残差网络模型中，设第l个残差块的输入张量为Z(l-1)，在第l个残差块的左侧分支中，张量Z(l-1)经过由多个扩张因果卷积构成的卷积核进行特征抽取，然后依次卷积层、归一化层、Relu激活函数层、卷积层、归一化层，得到左侧分支的输出张量
Figure GDA00040949768700000215
在第l个残差块的右侧分支中，张量Z(l-1)经1×1卷积，使其输出张量
Figure GDA00040949768700000216
匹配左侧分支输出张量的维度，然后两个分支的输出张量相加，得到第l个残差块的输出
Figure GDA00040949768700000217
第l个残差块的输出Z(l)和第(l-2)个残差块的输出相加，得到第(l+1)个残差块的输入(Zl+Z(l-2))；
(3.3)、重复步骤(3.2)，直到最后一个残差块输出Z(L)，最后将Z(L)经并联的两个全连接层输出，其输出记为
Figure GDA0004094976870000031
并作为t时刻的预测值；
(3.4)、当本轮训练数据训练完成后，计算本轮训练的损失函数值MAPE：
Figure GDA0004094976870000032
其中，
Figure GDA0004094976870000033
表示t时刻的观测值；
(3.5)、设置损失阈值Δ；计算本轮训练后的损失函数值与上一轮训练后的损失函数值的差值ΔMAPE，比较ΔMAPE与Δ的大小，如果ΔMAPE≤Δ，则训练结束，得到第i个深度残差网络模型；否则，利用批量梯度下降算法更新深度残差网络中的权重，然后再返回步骤(3.1)进行下一轮的训练；
(3.6)、按照步骤(3.1)-(3.5)完成M个输入特征对深度残差网络的训练，最终得到M个深度残差网络模型，记为{F1,F2,…,Fi,…,FM}；
(4)、利用贝叶斯加权概率平均法对深度残差网络模型进行自适应性组合；
(4.1)、设置目标用户的采集周期T1；
(4.2)、按照采样周期T1对目标用户的小样本历史负荷数据进行采样，得到负荷数据集
Figure GDA0004094976870000034
和温度数据集
Figure GDA0004094976870000035
其中
Figure GDA0004094976870000036
和
Figure GDA0004094976870000037
分别表示目标用户在第t个采样时刻采集到的历史负荷数据及对应温度，然后按步骤(1.3)-(1.4)构建输入特征，记为
Figure GDA0004094976870000038
(4.3)、构造输入特征对
Figure GDA0004094976870000039
其中，
Figure GDA00040949768700000310
表示t时刻的输入特征
Figure GDA00040949768700000311
表示t时刻的负荷观测值；
(4.4)、将输入特征
Figure GDA00040949768700000312
分别输入到M个深度残差网络模型中，从而得到预测输出
Figure GDA00040949768700000313
其中，
Figure GDA00040949768700000314
表示在t时刻第i个深度残差网络模型的预测值；
(4.5)、计算
Figure GDA00040949768700000315
的先验分布
Figure GDA00040949768700000316
Figure GDA00040949768700000317
其中，N表示高斯分布，
Figure GDA0004094976870000041
表示高斯噪声，ω＝{ω1，ω2,...,ωM}表示赋予给
Figure GDA0004094976870000042
不同的权值；
(4.6)、计算
Figure GDA0004094976870000043
的概率分：
Figure GDA0004094976870000044
其中，I表示单位矩阵；
(4.7)、假设权值ω的先验服从均值为0方差为Σp的高斯分布：
ω＝N(0,Σp)
根据贝叶斯推断理论计算权值ω的后验概率分布：
Figure GDA0004094976870000045
其中，
Figure GDA0004094976870000046
(5)、实时负荷预测；
(5.1)、实时采集目标用户的历史负荷数据以及温度数据，按步骤(1.1)-(1.4)构建输入特征为
Figure GDA0004094976870000047
(5.2)、根据输入特征
Figure GDA0004094976870000048
计算目标用户实时负荷预测值的概率分布：
Figure GDA00040949768700000410
其中，f*为概率分布函数；
(5.3)、将概率分布中均值
Figure GDA0004094976870000049
作为目标用户在T1+1时刻的负荷预测值。
本发明的发明目的是这样实现的：
本发明基于迁移学习的小样本集下短期负荷预测方法，先采集多个源域用户的历史负荷数据及对应温度，从而构建多个输入特征；然后用输入特征训练多个深度残差网络模型，并利用贝叶斯加权概率平均法对深度残差网络模型进行自适应性迁移组合，迁移组合完成后目标用户的实时负荷预测。
同时，本发明基于迁移学习的小样本集下短期负荷预测方法还具有以下有益效果：
(1)、本发明采用的深度残差网络具有跳跃连接的结构，可以降低训练过程中的信息损失和梯度消失问题，且有助于降低迁移过程中的信息损失，提高了迁移的鲁棒性；
(2)、在目标用户有限负荷数据的情景下进行自适应性迁移组合，模型组合过程能够消除负面迁移信息的影响(即消除与目标用户负荷特征差别较大的源域用户的影响)，从而构建适用于目标用户的最优小样本负荷预测模型；
(3)、本发明采用贝叶斯加权概率法对迁移模型进行自适应组合，该过程采用了极大似然估计，并利用最大化后验概率求解嵌入模型的权值，此法对样本的利用率为100％，同时提供了概率密度函数预测，从而量化了预测的不确定性。
附图说明
图1是本发明基于迁移学习的小样本集下短期负荷预测方法流程图；
图2是数据采集与预处理的流程图；
图3是深度残差网络的结构示意图；
图4是本发明所述方法与其他几种方法的确定性负荷预测曲线；
图5是本发明所述方法在不同预测区间情况下的概率密度预测曲线。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于迁移学习的小样本集下短期负荷预测方法流程图。
在本实施例中，选取的源域用户与目标用户负荷序列具有一定的相关性，如同属一个小区、一个城市，这保证了迁移知识的有效性。如图1所示，本发明一种基于迁移学习的小样本集下短期负荷预测方法，包括以下步骤：
S1、数据采集与预处理，具体流程如图2所示；
S1.1、设置负荷采样周期T，在本实施例中，负荷采样周期设置为1小时，即24点/日断面；
S1.2、按照负荷采样周期T对M＝19个源域用户的历史负荷数据xload及对应温度xtemp进行采集，从而构建数据集和温度集，记第i个源域用户构建数据集为
Figure GDA0004094976870000061
和温度集为
Figure GDA0004094976870000062
其中，
Figure GDA0004094976870000063
分别表示第i个源域用户在第t个采样时刻采集到的历史负荷数据及对应温度，i＝1,2,…,M；
S1.3、分别剔除
Figure GDA0004094976870000064
和
Figure GDA0004094976870000065
中的异常值，然后，并对空缺值进行进行线性插值，得到数据样本
Figure GDA0004094976870000066
最后再对数据样本Xi进行归一化处理，得到归一化以后的数据样本
Figure GDA0004094976870000067
S1.4、为数据样本
Figure GDA0004094976870000068
加入时间特征变量
Figure GDA0004094976870000069
包含时序变量(即每天的第几个小时)，天变量(即每周的第几天)，节假日变量(工作日为0，周末为1)，
Figure GDA00040949768700000610
以独热编码的形式作为输入特征，最终构造出M个输入特征为
Figure GDA00040949768700000611
S2、搭建深度残差网络模型；
如图3所示，深度残差网络由L个残差块跳跃连接而成。具体连接过程为：第l个残差块的输出与第l+2个残差块的输出相加作为第l+3个残差块的输入，第l+1个残差块的输出与第l+3个残差块的输出相加作为第l+4个残差块的输入……，其中l＝1,2,...,L。深度残差网络采用具有跳跃连接的结构方式可以降低训练过程中的信息损失和梯度消失问题。
每一个残差块又由卷积层、归一化层、Relu激活函数层构成；卷积层的卷积核大小设置为3×3。
在本实施例中，每个残差块用方程表示为：
Figure GDA0004094976870000071
其中，Wl表示第l个残差块的参数；xl表示第l个残差块的输入；xl+1表示第l个残差块的输出，同时也作为第l+1个残差块的输入；l＝1,2,…,L，L表示残差块数量；
S3、基于源域用户数据训练深度残差网络模型；
S3.1、从第i个输入特征
Figure GDA0004094976870000072
中随机选取
Figure GDA0004094976870000073
个时刻的数据作为一轮训练数据
Figure GDA0004094976870000074
然后将每个时刻的数据依次输入到深度残差网络模型，通过输入层将该帧数据转换为张量形式输入至串联的残差块；
S3.2、在深度残差网络模型中，设第l个残差块的输入张量为Z(l-1)，在第l个残差块的左侧分支中，张量Z(l-1)经过由多个扩张因果卷积构成的卷积核进行特征抽取，然后依次卷积层、归一化层、Relu激活函数层、卷积层、归一化层，得到左侧分支的输出张量
Figure GDA0004094976870000075
在第l个残差块的右侧分支中，张量Z(l-1)经1×1卷积，使其输出张量
Figure GDA0004094976870000076
匹配左侧分支输出张量的维度，然后两个分支的输出张量相加，得到第l个残差块的输出
Figure GDA0004094976870000077
第l个残差块的输出Z(l)和第(l-2)个残差块的输出相加，得到第(l+1)个残差块的输入(Zl+Z(l-2))；
S3.3、重复步骤S3.2，直到最后一个残差块输出Z(L)，最后将Z(L)经并联的两个全连接层输出，其输出记为
Figure GDA0004094976870000078
并作为t时刻的预测值；
S3.4、当本轮训练数据训练完成后，计算本轮训练的损失函数值MAPE：
Figure GDA0004094976870000079
其中，
Figure GDA00040949768700000710
表示t时刻的观测值；
S3.5、设置损失阈值Δ；计算本轮训练后的损失函数值与上一轮训练后的损失函数值的差值ΔMAPE，比较ΔMAPE与Δ的大小，如果ΔMAPE≤Δ，则训练结束，得到第i个深度残差网络模型；否则，利用批量梯度下降算法更新深度残差网络中的权重，然后再返回步骤S3.1进行下一轮的训练；
S3.6、按照步骤S3.1-S3.5完成M个输入特征对深度残差网络的训练，最终得到M个深度残差网络模型，记为{F1,F2,…,Fi,…,FM}；
S4、利用贝叶斯加权概率平均法对深度残差网络模型进行自适应性组合；
S4.1、设置目标用户的采集周期T1；
S4.2、按照采样周期T1实时采集只含有有限历史负荷数据的目标用户负荷值(该用户缺少历史负荷数据的原因可能为：此用户为新建用户、新搬来用户或该用户智能电表损坏等)，如1-2天的负荷数据
Figure GDA0004094976870000081
和温度数据
Figure GDA0004094976870000082
得到负荷数据集
Figure GDA0004094976870000083
和温度数据集
Figure GDA0004094976870000084
其中
Figure GDA0004094976870000085
和
Figure GDA0004094976870000086
分别表示目标用户在第t个采样时刻采集到的历史负荷数据及对应温度，然后按步骤S1.3-S1.4构建输入特征，记为
Figure GDA0004094976870000087
S4.3、构造输入特征对
Figure GDA0004094976870000088
其中，
Figure GDA0004094976870000089
表示t时刻的输入特征
Figure GDA00040949768700000810
表示t时刻的负荷观测值；
S4.4、将输入特征
Figure GDA00040949768700000811
分别输入到M个深度残差网络模型中，从而得到预测输出
Figure GDA00040949768700000812
其中，
Figure GDA00040949768700000813
表示在t时刻第i个深度残差网络模型的预测值；
S4.5、计算
Figure GDA00040949768700000814
的先验分布
Figure GDA00040949768700000815
Figure GDA00040949768700000816
其中，N表示服从高斯分布，ω＝{ω1，ω2,...,ωM}表示赋予给
Figure GDA00040949768700000817
不同的权值，
Figure GDA00040949768700000818
表示方差；
S4.6、计算
Figure GDA00040949768700000819
的概率分：
Figure GDA0004094976870000091
其中，I表示单位矩阵；
S4.7、此时模型组合问题转化为求解权值ω的后验分布。贝叶斯学派需要给所有权值一个先验，这代表了在得到观测值之前对权值的置信程度。假设权值ω的先验服从均值为0方差为Σp的高斯分布：
ω＝N(0,Σp)
根据贝叶斯推断理论计算权值ω的后验概率分布：
Figure GDA0004094976870000092
其中，
Figure GDA0004094976870000093
式中ω后验概率分布的均值
Figure GDA0004094976870000094
和方差A-1均为1×M的矩阵，将ω与Y相乘，即
Figure GDA0004094976870000095
从而实现了对M个深度残差网络模型的迁移组合。在本实施例中，在目标用户有限负荷数据的情景下进行迁移组合，模型组合这个过程能够消除负面迁移信息的影响，从而构建适用于目标用户的最优小样本负荷预测模型。
S5、实时负荷预测；
S5.1、实时采集目标用户的历史负荷数据以及温度数据，按步骤S1.1-S1.4构建输入特征为
Figure GDA0004094976870000096
S5.2、根据输入特征
Figure GDA0004094976870000097
计算目标用户实时负荷预测值的概率分布：
Figure GDA0004094976870000101
其中，f*为概率分布函数；
S5.3、将概率分布中均值
Figure GDA0004094976870000102
作为目标用户在T1+1时刻的负荷预测值，方差
Figure GDA0004094976870000103
用来评估目标用户在T1+1时刻负荷预测的不确定性。
验证：
为了准确有效的评估确定性预测和不确定性预测，本发明使用MAPE评估确定性预测效果，CRPS评估不确定性预测效果，CRPS表达式如下：
Figure GDA0004094976870000104
其中，CDF表示累积分布函数。CRPS可以综合评估概率密度估计的可靠性和区间锐度。
表1对比了本发明所述方法和其他几种方法在不同用户下的确定性预测表现，即不同模型MAPE的值。其中线性回归模型LR、高斯过程GP、长短时记忆神经网络LSTM、贝叶斯线性回归BLR仅在目标用户有限的历史数据下训练，多元核迁移模型M-BTMKR、传统加权平均法WA、表现最好的单个迁移模型BI为迁移预测方法，可以很明显看出本发明的模型在每个情景下都要优于其他模型。本发明方法的平均预测误差只有3.2％，这意味着本发明可以进一步运用到实际工程与生产中。图4是本发明所述方法与其他几种方法的确定性负荷预测曲线。由图4可以看出，相比于其他方法，本发明方法的预测值明显更加接近实际值，这意味着本发明方法相比于其他方法有着更高的预测精度。
表2对比了本发明所述方法与其他几种方法的不确定性预测表现，即概率密度函数预测的CRPS对比，其中L-GP表示仅在有限历史数据下的GP的概率密度函数预测结果，L-BLR表示仅在有限历史数据下的BLR的概率密度函数预测结果，S-GP表示在充足的历史负荷数据下GP的概率密度函数预测结果，S-BLR表示在充足的历史负荷数据下BLR的概率密度函数预测结果。可以看出对比方法无论在有限的历史数据情景下还是充足的历史数据情景下，预测效果都不及本发明所述方法。即使S-GP模型和S-BLR模型在充足的样本下进行的训练，其CRPS在每个用户下都不及本发明方法。图5展示了本发明方法在90％置信度下的预测区间，可以看出基本有90％的样本落入本发明方法的预测区间里面，这说明本发明方法具有较高的可靠性。基于本发明方法的不确定性估计得到的预测区间，在实际生产中，可做出一定的风险决策，量化预测的不确定性。
表1是不同模型的MAPE[％]对比；
Figure GDA0004094976870000111
表2是不同模型CRPS对比；
Figure GDA0004094976870000112
Figure GDA0004094976870000121
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于迁移学习的小样本集下短期负荷预测方法，其特征在于，包括以下步骤：
(1)、数据采集与预处理；
(1.1)、设置负荷采样周期T；
(1.2)、按照负荷采样周期T对M个源域用户的历史负荷数据xload及对应温度xtemp进行采集，从而构建数据集和温度集，记第i个源域用户构建数据集为
Figure FDA0004078045120000011
和温度集为
Figure FDA0004078045120000012
其中，
Figure FDA0004078045120000013
分别表示第i个源域用户在第t个采样时刻采集到的历史负荷数据及对应温度，i＝1,2,…,M；
(1.3)、分别剔除
Figure FDA0004078045120000014
和
Figure FDA0004078045120000015
中的异常值，然后再进行线性插值，得到数据样本
Figure FDA0004078045120000016
最后再对数据样本Xi进行归一化处理，得到归一化以后的数据样本
Figure FDA0004078045120000017
(1.4)、为数据样本
Figure FDA0004078045120000018
加入时间特征变量
Figure FDA0004078045120000019
包含时序变量、天级变量、节假日变量，
Figure FDA00040780451200000110
以独热编码的形式作为输入特征，最终构造出M个输入特征为
Figure FDA00040780451200000111
(2)、搭建深度残差网络模型；
深度残差网络由L个残差块跳跃连接而成，其中，每一个残差块由卷积层、归一化层、Relu激活函数层构成；
(3)、基于源域用户数据训练深度残差网络模型；
(3.1)、从第i个输入特征
Figure FDA00040780451200000112
中随机选取
Figure FDA00040780451200000113
个时刻的数据作为一轮训练数据，
Figure FDA00040780451200000117
然后将每个时刻的数据依次输入到深度残差网络模型，通过输入层将该帧数据转换为张量形式输入至串联的残差块；
(3.2)、在深度残差网络模型中，设第l个残差块的输入张量为Z(l-1)，在第l个残差块的左侧分支中，张量Z(l-1)经过由多个扩张因果卷积构成的卷积核进行特征抽取，然后依次卷积层、归一化层、Relu激活函数层、卷积层、归一化层，得到左侧分支的输出张量
Figure FDA00040780451200000114
在第l个残差块的右侧分支中，张量Z(l-1)经1×1卷积，使其输出张量
Figure FDA00040780451200000115
匹配左侧分支输出张量的维度，然后两个分支的输出张量相加，得到第l个残差块的输出
Figure FDA00040780451200000116
第l个残差块的输出Z(l)和第(l-2)个残差块的输出相加，得到第(l+1)个残差块的输入(Zl+Z(l-2))；
(3.3)、重复步骤(3.2)，直到最后一个残差块输出Z(L)，最后将Z(L)经并联的两个全连接层输出，其输出记为
Figure FDA0004078045120000021
并作为t时刻的预测值；
(3.4)、当本轮训练数据训练完成后，计算本轮训练的损失函数值MAPE：
Figure FDA0004078045120000022
其中，
Figure FDA0004078045120000023
表示t时刻的观测值；
(3.5)、设置损失阈值Δ；计算本轮训练后的损失函数值与上一轮训练后的损失函数值的差值ΔMAPE，比较ΔMAPE与Δ的大小，如果ΔMAPE≤Δ，则训练结束，得到第i个深度残差网络模型；否则，利用批量梯度下降算法更新深度残差网络中的权重，然后再返回步骤(3.1)进行下一轮的训练；
(3.6)、按照步骤(3.1)-(3.5)完成M个输入特征对深度残差网络的训练，最终得到M个深度残差网络模型，记为{F1,F2,…,Fi,…,FM}；
(4)、利用贝叶斯加权概率平均法对深度残差网络模型进行自适应性组合；
(4.1)、设置目标用户的采集周期T1；
(4.2)、按照采样周期T1对目标用户的小样本历史负荷数据进行采样，得到负荷数据集
Figure FDA0004078045120000024
和温度数据集
Figure FDA0004078045120000025
其中
Figure FDA0004078045120000026
和
Figure FDA0004078045120000027
分别表示目标用户在第t个采样时刻采集到的历史负荷数据及对应温度，然后按步骤(1.3)-(1.4)构建输入特征，记为
Figure FDA0004078045120000028
(4.3)、构造输入特征对
Figure FDA0004078045120000029
其中，
Figure FDA00040780451200000210
表示t时刻的输入特征
Figure FDA00040780451200000211
表示t时刻的负荷观测值；
(4.4)、将输入特征
Figure FDA00040780451200000212
分别输入到M个深度残差网络模型中，从而得到预测输出
Figure FDA00040780451200000213
其中，
Figure FDA00040780451200000214
Figure FDA00040780451200000215
表示在t时刻第i个深度残差网络模型的预测值；
(4.5)、计算
Figure FDA00040780451200000216
的先验分布
Figure FDA00040780451200000217
Figure FDA0004078045120000031
其中，N表示高斯分布，
Figure FDA0004078045120000032
表示高斯噪声，ω＝{ω1，ω2,...,ωM}表示赋予给
Figure FDA0004078045120000033
不同的权值；
(4.6)、计算
Figure FDA0004078045120000034
的概率分：
Figure FDA0004078045120000035
其中，I表示单位矩阵；
(4.7)、假设权值ω的先验服从均值为0方差为Σp的高斯分布：
ω＝N(0,Σp)
根据贝叶斯推断理论计算权值ω的后验概率分布：
Figure FDA0004078045120000036
其中，
Figure FDA0004078045120000037
(5)、实时负荷预测；
(5.1)、实时采集目标用户的历史负荷数据以及温度数据，按步骤(1.1)-(1.4)构建输入特征为
Figure FDA0004078045120000038
(5.2)、根据输入特征
Figure FDA0004078045120000039
计算目标用户实时负荷预测值的概率分布：
Figure FDA00040780451200000310
其中，f*为概率分布函数；
(5.3)、将概率分布中均值
Figure FDA0004078045120000041
作为目标用户在T1+1时刻的负荷预测值。
2.根据权利要求1所述的基于迁移学习的小样本集下短期负荷预测方法，其特征在于，所述残差块用方程表示为：
Figure FDA0004078045120000042
其中，Wl表示第l个残差块的参数；xl表示第l个残差块的输入；xl+1表示第l个残差块的输出，同时也作为第l+1个残差块的输入；l＝1,2,…,L，L表示残差块数量。
CN202111442332.1A 2021-11-30 2021-11-30 一种基于迁移学习的小样本集下短期负荷预测方法 Active CN114169416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111442332.1A CN114169416B (zh) 2021-11-30 2021-11-30 一种基于迁移学习的小样本集下短期负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111442332.1A CN114169416B (zh) 2021-11-30 2021-11-30 一种基于迁移学习的小样本集下短期负荷预测方法

Publications (2)

Publication Number Publication Date
CN114169416A CN114169416A (zh) 2022-03-11
CN114169416B true CN114169416B (zh) 2023-04-21

Family

ID=80481698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111442332.1A Active CN114169416B (zh) 2021-11-30 2021-11-30 一种基于迁移学习的小样本集下短期负荷预测方法

Country Status (1)

Country Link
CN (1) CN114169416B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115508709A (zh) * 2022-08-31 2022-12-23 贵州电网有限责任公司 一种基于迁移学习的移动储能系统串联电池组soh估计方法
DE102023000954A1 (de) 2023-03-13 2024-09-19 Mercedes-Benz Group AG Verfahren zur Vorhersage des Strombedarfs von in einem Bordnetz angeordneten, elektrischen Komponenten eines Fahrzeuges
CN117081082B (zh) * 2023-10-17 2024-01-23 国网上海市电力公司 基于高斯过程回归的有源配电网运行态势感知方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903067A (zh) * 2014-04-09 2014-07-02 上海电机学院 风电功率短期组合预测方法
CN109711620A (zh) * 2018-12-26 2019-05-03 浙江大学 一种基于gru神经网络和迁移学习的短期电力负荷预测方法
WO2019141040A1 (zh) * 2018-01-22 2019-07-25 佛山科学技术学院 一种短期电力负荷预测方法
CN110969293A (zh) * 2019-11-22 2020-04-07 上海交通大学 一种基于迁移学习的短期广义负荷预测方法
WO2021042935A1 (zh) * 2019-09-05 2021-03-11 苏州大学 基于隐马尔科夫模型和迁移学习的轴承寿命预测方法
CN113032916A (zh) * 2021-03-03 2021-06-25 安徽大学 一种基于迁移学习的贝叶斯网络的机电设备轴承故障预测方法
CN113111578A (zh) * 2021-04-01 2021-07-13 上海晨翘智能科技有限公司 电力负荷预测方法、装置、计算机设备及存储介质
CN113627659A (zh) * 2021-07-29 2021-11-09 南京亚派软件技术有限公司 基于深度残差网络的园区需求侧短期负荷预测系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903067A (zh) * 2014-04-09 2014-07-02 上海电机学院 风电功率短期组合预测方法
WO2019141040A1 (zh) * 2018-01-22 2019-07-25 佛山科学技术学院 一种短期电力负荷预测方法
CN109711620A (zh) * 2018-12-26 2019-05-03 浙江大学 一种基于gru神经网络和迁移学习的短期电力负荷预测方法
WO2021042935A1 (zh) * 2019-09-05 2021-03-11 苏州大学 基于隐马尔科夫模型和迁移学习的轴承寿命预测方法
CN110969293A (zh) * 2019-11-22 2020-04-07 上海交通大学 一种基于迁移学习的短期广义负荷预测方法
CN113032916A (zh) * 2021-03-03 2021-06-25 安徽大学 一种基于迁移学习的贝叶斯网络的机电设备轴承故障预测方法
CN113111578A (zh) * 2021-04-01 2021-07-13 上海晨翘智能科技有限公司 电力负荷预测方法、装置、计算机设备及存储介质
CN113627659A (zh) * 2021-07-29 2021-11-09 南京亚派软件技术有限公司 基于深度残差网络的园区需求侧短期负荷预测系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tehreem Ashfaq 等.Short-term Electricity Load and Price Forecasting using Enhanced KNN .2019 International Conference on Frontiers of Information Technology (FIT).2020,266-271. *
苏娟 等.基于模态组合的短期负荷预测方法.农业工程学报.2021,第37卷(第14期),186-196. *
赵鹏飞.基于深度残差网络的短期电力负荷预测研究.中国优秀硕士学位论文全文数据库工程科技Ⅱ辑.2023,(第01期),C042-1916. *

Also Published As

Publication number Publication date
CN114169416A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN114169416B (zh) 一种基于迁移学习的小样本集下短期负荷预测方法
CN110969290B (zh) 一种基于深度学习的径流概率预测方法及系统
CN113128113B (zh) 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法
CN111079989B (zh) 一种基于dwt-pca-lstm的供水公司供水量预测装置
CN111861013B (zh) 一种电力负荷预测方法及装置
CN114297036B (zh) 数据处理方法、装置、电子设备及可读存储介质
CN112100911B (zh) 一种基于深度bilstm的太阳辐射预测方法
CN110910004A (zh) 一种多重不确定性的水库调度规则提取方法及系统
CN111461463A (zh) 一种基于tcn-bp的短期负荷预测方法、系统及设备
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN109919356A (zh) 一种基于bp神经网络区间需水预测方法
CN113240181B (zh) 一种水库调度运行滚动模拟方法及装置
CN115619028A (zh) 一种基于聚类算法融合的电力负荷精准预测方法
CN112232604A (zh) 基于Prophet模型提取网络流量的预测方法
CN115456287A (zh) 一种基于长短时记忆网络的综合能源系统多元负荷预测方法
CN115907131B (zh) 一种北方地区电采暖负荷预测模型搭建方法和系统
CN111612648B (zh) 光伏发电预测模型的训练方法、装置和计算机设备
CN118137582A (zh) 基于区域级电力系统源网荷储多目标动态调度方法及系统
CN117252367A (zh) 基于领域对抗的迁移学习模型的需求响应潜力评估方法与系统
CN118017482A (zh) 基于预测误差特征提取的灵活性爬坡容量需求分析方法
CN116960975A (zh) 一种光伏发电量预测方法及装置
CN116632841A (zh) 融合多时序特征的配电台区短期用电负荷预测方法及系统
Viana et al. Load forecasting benchmark for smart meter data
CN113836814B (zh) 一种基于多流神经网络的太阳能能量预测方法
Zhang et al. Multiscale Spatio-Temporal Enhanced Short-term Load Forecasting of Electric Vehicle Charging Stations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant