CN108022001A - 基于pca和分位数回归森林的短期负荷概率密度预测方法 - Google Patents

Abstract

本发明公开一种基于PCA和分位数回归森林的短期负荷概率密度预测方法，包括以下步骤：1)收集电力系统短期负荷预测所需的基本数据，如负荷历史数据，温度、湿度等气象信息，日期类型等；2)从影响因素中选取相关性较强的输入变量，并构造合适的训练样本集；3)采用主成分分析对输入变量集合进行降维处理；4)对降维处理后的数据建立分位数回归森林预测模型，获得任意分位点条件下的回归预测结果；5)通过核密度估计获得短期负荷概率密度预测。本发明提供的方法有效地提高了短期负荷预测精度，可以获得任意时刻负荷概率密度预测结果，能够较好解决电力系统短期负荷预测问题。

Description

基于PCA和分位数回归森林的短期负荷概率密度预测方法

技术领域

本发明涉及一种电力系统短期负荷概率密度预测方法，对电力系统负荷进行预测，属于电力系统技术领域。

背景技术

电力系统负荷预测是保障电网安全稳定运行技术措施之一，不同时间尺度的负荷预测对安排电力生产调度、设备检修计划及中长期电网规划都具有极其重要的意义。

长期以来，国内外学者对电力系统短期负荷预测进行了大量深入研究，取得了丰硕成果，同时在实际现场应用中得到了有效检验。常用的负荷预测主要有时间序列分析、人工神经网络、支持向量机、相关向量机及其改进方法。然而随着新能源，如风能、太阳能大规模接入电网，对电网的安全稳定运行带来了极大的挑战。2030～2050年，我国可再生能源的发电量占比达30％以上，高比例可再生能源并网将成为未来电力系统的重要特征，对复杂运行场景下的电力负荷预测理论与方法提出了更高的要求。此外，一般的负荷预测方法只能给出确定性的点预测结果，难以反映负荷的不确定性特征。电力负荷概率密度预测方法相对于传统的点预测与区间预测方法，能获得更丰富信息，从而为电力系统风险分析、可靠性分析提供更科学的决策依据。

电力系统负荷受多种因素影响，如经济、气象、社会政策、节假日等，表现出显著的非线性特征。这些因素间往往存在较强的相关性，当有多个相关量时，网络的高维数和各相关量之间的自相关性将使得模型训练复杂，影响着运算效率及模型精度。因此，有必要对模型的输入变量进行预处理，从输入变量集合中提取出一部分相关性较大的相关量代替所有的输入变量，同时舍弃一些相关性较小的相关量。为有效提高负荷预测精度，本发明采用主成分分析(principal component analysis,PCA)对原始输入变量集合进行降维处理。

分位数回归森林(quantile regression forests,QRF)模型是由Nicolai在2006年提出的非参数集成机器学习方法，结合了分位数回归理论与随机森林(random forest,RF)方法优点，能够给出不同分位点回归预测结果。同时QRF兼具运算速度快、模型性能受参数影响小、较强容噪性等优点。本发明借助QRF强大的数据处理能力，建立电力负荷预测模型，通过算例验证本发明方法的有效性。

综上所述，本发明结合PCA和QRF优点，建立PCA-QRF短期负荷概率密度预测模型。首先，从负荷影响因素中选取一定数量的输入变量，采用PCA对输入变量集合进行降维处理。其次，对降维后的数据建立QRF预测模型，获得任意分位点负荷回归预测结果。最终，采用核密度估计获得负荷概率密度预测。

发明内容

发明目的：本发明针对现有电力系统负荷预测技术中存在的问题，如一般的负荷预测方法只能输出确定性的点预测结果、计算效率低等，提供一种基于PCA 和分位数回归森林的短期负荷概率密度预测方法。首先，从影响因素中选取一定数量的输入变量，采用PCA方法对原始输入变量集合进行降维处理。其次，对预处理后的数据建立基于分位数回归森林的短期负荷预测模型，并获得不同分位点条件下的回归预测结果。最后，采用核密度估计获得短期负荷概率密度预测。

技术方案：一种基于PCA和分位数回归森林的短期负荷概率密度预测方法，包括以下步骤：

(1)收集电力系统短期负荷预测所需的基本数据，如负荷历史数据，温度、湿度等气象信息，日期类型等；

(2)从所有影响因素中选取相关性较强的输入变量，并构造合适的训练样本集；

(3)采用主成分分析对步骤(2)得到的输入变量集合进行降维处理；

(4)对降维处理后的数据建立分位数回归森林预测模型，获得任意分位点条件下的回归预测结果；

(5)通过核密度估计获得短期负荷概率密度预测。

进一步地，步骤(2)从影响因素中选取相关性较强的输入变量，并构造合适的训练样本集，所选取的输入变量集合为：预测日前一日负荷、预测日前两日负荷、预测日前三日负荷、预测日前七日负荷、预测日前八日负荷、预测日前十四日负荷、去年同期同时刻负荷；温度数据包括：预测日温度、预测日前一日温度、预测日前两日温度、预测日前三日温度、预测日前七日温度、预测日前八日温度、预测日前十四日温度、去年同期同时刻温度；湿度数据包括：预测日湿度、预测日前一日湿度、预测日前两日湿度、预测日前三日湿度、预测日前七日湿度、预测日前八日湿度、预测日前十四日湿度、去年同期同时刻湿度；候选输入变量同时包括预测日日期类型。

进一步地，步骤(3)采用主成分分析对输入变量集合进行降维处理，所述主成分分析具体计算过程为：

3.1对n×p维原始数据进行标准化处理；n为构造的原始数据中样本的数量，p为输入变量维数；

用X₁,X₂,L,X_p表示X的各列向量，则原始数据经标准化后形成的矩阵元素为：

式中：x_ij为原始数据第i个样本第j维元素取值，i＝1,2,L,n，j＝1,2,L,p； E(X_j)、Var(X_j)分别为第j列元素均值和方差，即

3.2计算样本各维间相关系数矩阵R＝(r_ij)_p×p，其元素计算方法为式中：为标准化后的矩阵第i列和第j列间协方差；

3.3计算特征值与特征向量。解特征方程|λI-R|＝0并求出特征值λ_j， j＝1,2,L,p，按降序进行排列，即λ₁≥λ₂≥L≥λ_p≥0；对每一特征值λ_j，求得其特征向量为e_j，j＝1,2,L,p；

3.4计算主成分贡献率及累计贡献率，主成分z_j贡献率为累计贡献率为一般取累计贡献率达到85％-95％的特征值λ₁,λ₂,Lλ_m为第一、第二、L、第m(m≤p)个主成分。

进一步地，步骤(4)对降维处理后的数据建立分位数回归森林预测模型，获得任意分位点条件下的回归预测结果；分位数回归森林作为一种非参数机器学习方法，以分位数回归为基础，结合了随机森林模型优点，从而可以给出任意分位点条件下回归预测结果；所述随机森林模型基本计算过程为：

4.1假定训练样本集(X,y)含n个观测值，输入变量维数为M，首先利用 bootstrap方法有放回的从原始训练样本集合中重复抽取b个子样本集，每个子集样本数为n，从而构建b颗回归决策树；

4.2抽取第i个子集时，未被选择的观测值构成袋外数据；构造第i颗决策树时，从M维输入变量中随机选取固定数量为m_try，可取m_try＝M/3，的输入变量集作为该颗决策树的特征空间；对于回归问题，分裂过程采用方差最小作为分支优度准则来选取分裂变量，即

式中，n为训练样本数，X_k为变量k的样本值，为变量k的样本均值，I即为此次最优分裂变量；

4.3每棵决策树采用无剪枝策略从根节点自顶向下递归分支，设定叶节点最小尺寸作为决策树生长终止条件；b颗决策树生长完成后，即可构建完整的随机森林回归模型；

4.4对于测试样本X*，利用每颗决策树进行预测，得到对应b颗决策树预测结果；取b颗决策树结果平均值，则可得到测试样本X*对应的最终预测结果y*为

其中，h_i(X_*)为第i个决策树预测结果；

4.5通过袋外数据预测准确度评价模型的预测性能，即

式中，n_OOB为袋外数据样本数量，y_i为真实值，为随机森林模型预测结果。

进一步地，步骤(4)对降维处理后的数据建立分位数回归森林预测模型，获得任意分位点条件下回归预测结果；所述分位数回归森林具体计算过程为：

5.1随机森林被看作是一个适应性近邻分类和回归过程，对每一个X＝x，可以得到原始n个观察值一个权重集合w_i(x)，i＝1,2,L,n；随机森林本质是利用所有因变量观测值的加权和作为因变量Y条件均值E(YX＝x)的估计；另外，分位数回归森林决策树是以标准随机森林算法产生，条件分布是通过观测到的因变量加权估计得到，其中每个观测值的权重等于随机森林算法权重；

5.2由此，QRF定义E(1_{Y≤y}|X＝x)的估计为观测值1_{Y≤y}的加权平均，即

5.3生成k棵决策树T(θ_t)，t＝1,2,L,k；对每棵决策树每个叶节点，考察该叶节点所有观测值；

5.4给定X＝x，遍历所有决策树；计算每棵决策树观测值的权重w_i(x,θ_t)， i∈{1,2,L,n}；通过对决策树权重w_i(x,θ_t)，t＝1,2,L,k取平均得到每个观测值 i∈{1,2,L,n}的权重w_i(x)；

5.5对所有y∈R，利用步骤5.4得出的权重，即可计算分布函数的估计；对每棵决策树的每个节点，随机森林回归只保留观测值的均值而忽略了其他信息，而分位数回归森林保留节点中所有观测值，并在此基础上计算出条件分布。

进一步地，步骤(5)中通过核密度估计获得短期负荷概率密度预测，所述核密度估计具体计算过程为：

核密度估计是通过一组观测的来自同一未知分布函数的随机变量来估计其密度函数的非参数计算方法；设X₁,X₂,L,X_n是取自一元连续总体样本，在任意点 x处的总体密度函数f(x)的核密度估计定义为

式中：K(x)为核函数，本发明采用的高斯核函数形式为 h为带宽系数，取值范围为1.8～2.0。

有益效果：本发明的电力系统短期负荷概率密度预测方法利用PCA对原始输入变量集合进行降维处理，提高了模型运算效率，增强了预测结果精确性与可靠性。同时，建立的分位数回归森林短期负荷预测模型具有计算效率高、预测精度受模型参数影响小、可获得不同分位点条件回归预测结果的优点。在此基础上，进一步采用核密度估计获得概率密度预测，相对于点预测和区间预测方法，能够给出负荷的波动范围及预测值出现的概率等更多信息。

附图说明

图1为随机森林模型结构示意图；

图2为主成分及其贡献率；

图3为PCA-QRF模型80％置信区间概率预测结果；

图4为8月25日1:00时负荷概率密度预测；

图5为8月25日12:00时负荷概率密度预测；

图6为8月25日24:00时负荷概率密度预测。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明建立了基于PCA-QRF的短期负荷概率密度预测方法，有效的提高了负荷预测精度。首先，从温度、湿度、历史负荷数据、日期类型等影响因素中选取一定数量的输入变量，并采用PCA方法对原始输入变量集合进行降维处理。其次，对预处理后的数据建立分位数回归森林短期负荷预测模型，获得不同分位点条件下的回归预测结果。最后，采用核密度估计获得短期负荷概率密度预测。

主成分分析是研究多个数值变量间相关性的一种多元统计方法。在基本保持原变量信息不变的前提下，能通过原变量的少数几个线性组合来代替原变量并揭示原变量之间关系。由于各主成分之间是相互独立的，所以由各个主成分组成的输入空间不存在自相关性。主成分分析具体计算步骤如下：

1)对n×p维原始数据进行标准化处理。用X₁,X₂,L,X_p表示X的各列向量，则原始数据经标准化后形成的矩阵元素为

式中：x_ij为原始数据第i个样本第j维元素取值，i＝1,2,L,n，j＝1,2,L,p；E(X_j)、Var(X_j)分别为第j列元素均值和方差，即

2)计算样本各维间相关系数矩阵R＝(r_ij)_p×p，其元素计算方法为

式中：为标准化后的矩阵第i列和第j列间协方差。

3)计算特征值与特征向量。解特征方程|λI-R|＝0并求出特征值λ_j， j＝1,2，L,p，并按降序进行排列，即λ₁≥λ₂≥L≥λ_p≥0。对每一特征值λ_j，求得其特征向量为e_j，j＝1,2,L,p；

4)计算主成分贡献率及累计贡献率。主成分z_j贡献率为

累计贡献率为

一般取累计贡献率达到85％-95％的特征值λ₁,λ₂,Lλ_m为第一、第二、L、第 m(m≤p)个主成分。

本发明建立分位数回归森林负荷预测模型，能够给出不同分位点条件的回归预测结果。分位数回归森林结合分位数回归理论与随机森林模型，具有计算速度快、容噪性强的优点。随机森林被看作是一个适应性近邻分类和回归过程。假定训练样本集(X,y)含n个观测值，输入变量维数为M，首先利用bootstrap方法有放回的从原始训练样本集合中重复抽取b个子样本集，每个子集样本数为n，从而构建b颗回归决策树；抽取第i个子集时，未被选择的观测值构成袋外数据 (out-of-bag,OOB)；构造第i颗决策树时，从M维输入变量中随机选取固定数量为m_try(可取m_try＝M/3)的输入变量集作为该颗决策树的特征空间。对于回归问题，分裂过程采用方差最小作为分支优度准则来选取分裂变量，即

式中，n为训练样本数，X_k为变量k的样本值，为变量k的样本均值，I即为此次最优分裂变量。

每棵决策树采用无剪枝策略从根节点自顶向下递归分支，设定叶节点最小尺寸作为决策树生长终止条件。b颗决策树生长完成后，即可构建完整的RF回归模型。

对于测试样本X*，利用每颗决策树进行预测，得到对应b颗决策树预测结果。取b颗决策树结果平均值，则可得到测试样本X*对应的最终预测结果y*为

其中，h_i(X_*)为第i个决策树预测结果。

最后，通过袋外数据预测准确度评价模型的预测性能，即

式中，n_OOB为袋外数据样本数量，y_i为真实值，为RF模型预测结果。

标准回归分析是在给定X＝x条件下，通过最小化平方误差损失函数获得因变量Y条件均值E(Y|X＝x)的估计，但该方法只能提供因变量Y条件分布的单方面信息，忽略了其他信息。此外，当Y的分布为厚尾或者数据中含有奇异值时，回归分析结果稳健性较差。而分位数回归是因变量Y的条件分位数对自变量X进行回归，从而获得所有分位点下回归预测模型。因此，分位数回归相对于普通最小二乘回归更能精确的描述自变量X对因变量Y的变化范围及条件分布形状的影响。

QRF是Breiman随机森林的改进算法，通过结合分位数回归特性，从而可以提供因变量的全部条件分布信息。QRF作为一种非参数机器学习方法，拥有理论基础，同时被证明具有一致性。

对每一个X＝x，随机森林模型可以得到原始n个观察值一个权重集合w_i(x)， i＝1,2,L,n。RF本质是利用所有因变量观测值的加权和作为因变量Y条件均值 E(YX＝x)的估计。另外，QRF决策树是以标准RF算法产生，条件分布是通过观测到的因变量加权估计得到，其中每个观测值的权重等于RF算法权重。

由此，QRF定义E(1_{Y≤y}|X＝x)的估计为观测值1_{Y≤y}的加权平均，即

QRF算法具体步骤为：

1)生成k棵决策树T(θ_t)，t＝1,2,L,k。对每棵决策树每个叶节点，考察该叶节点所有观测值；

2)给定X＝x，遍历所有决策树。计算每棵决策树观测值的权重w_i(x,θ_t)， i∈{1,2,L,n}。通过对决策树权重w_i(x,θ_t)，t＝1,2,L,k取平均得到每个观测值 i∈{1,2,L,n}的权重w_i(x)；

3)对所有y∈R，利用步骤2)得出的权重，通过公式(8)计算分布函数的估计。

对每棵决策树的每个节点，RF回归只保留观测值的均值而忽略了其他信息，而QRF保留节点中所有观测值，并在此基础上计算出条件分布。

在获得预测值的条件分布后，本发明采用核密度估计方法从条件分布中获得概率密度预测结果。核密度估计是通过一组观测的来自同一未知分布函数的随机变量来估计其密度函数的非参数计算方法。设X₁,X₂,L,X_n是取自一元连续总体样本，在任意点x处的总体密度函数f(x)的核密度估计定义为

式中：K(x)为核函数，本发明采用的高斯核函数形式为为带宽系数，取值范围为1.8～2.0。

采用某地区实测负荷值验证本发明方法的有效性。首先，收集电力系统短期负荷预测所需的基本数据，如负荷历史数据，温度、湿度等气象信息，日期类型等。电力负荷是多种因素共同作用的结果，本发明主要从气象因素、历史负荷值及预测日日期类型三个方面选取如表1所示的19个输入变量，并将所选的输入变量用x1-x19表示。

表1变量符号及其物理意义

为消除物理量纲的不同，在进行训练模型前需要对数据进行归一化处理，归一化公式为

式中：为某一输入变量归一化后的数据值；x(i)为输入变量原始数据；x_max、x_min分别为原始数据的最大值和最小值。

为量化预测值接近真实值的程度，本发明选择平均绝对百分比误差(MeanAbsolute Percentage Error,MAPE)和均方根误差(Root Mean Square Error,RMSE) 作为模型预测效果评价指标，计算公式分别为：

式中：n为预测点个数，y_i为第i个预测点负荷真实值，为第i个预测点预测值。

采用某电网负荷2015年6月15日1时至8月24日24时实测负荷值作为训练样本序列，数据采样时间间隔为1h，建立PCA-QRF预测模型，对8月25日负荷值进行提前一天的预测。对原始输入变量集合采用PCA方法进行降维处理，表2为获得的主成分及其方差贡献率，图2为主成分方差贡献率分布。前9个主成分累计方差贡献率为0.915469，基本反映所有原始输入变量的信息。因此，可用9个新变量代替原有的19个输入变量，且各新变量间互不相关。

表2主成分及其方差贡献率

表3为各主成分对原始输入变量的贡献率，可以看出各主成分基本包含原有输入变量的基本信息。

表3各主成分对原输入变量贡献率

对降维后的主成分建立分位数回归森林预测模型，分位数回归森林参数设置为：决策树数目为1000，节点最小尺寸为5，每棵决策树从输入变量集合中随机选取6个变量进行权重学习。为获得条件分布，本文设置分位点范围为0.01～0.99，步长为0.01，对每个预测点即可获得99个预测结果。同时，本文建立了BP、支持向量机(supportvector machines,SVM)对比模型。不同模型负荷预测结果如表4 和表5所示。从表5可以看出，QRF模型相对于BP和SVM模型，其预测精度有明显提高，验证了QRF模型的有效性。其中：QRF相对于BP和SVM模型， MAPE指标提高了44.99％和14.85，RMSE指标分别提高了43.97％和17.12％。此外，采用PCA对原始输入数据进行降维处理后，进一步提高了模型预测精度。 PCA-BP、PCA-SVM和PCA-QRF相对于BP、SVM和QRF模型，MAPE指标分别提高了35.61％、21.12％和10.47％，RMSE指标分别提高了34.26％、21.05％和3.25％。

表4不同模型负荷预测结果

表5不同模型预测结果指标比较

图3所示为在90％置信区间下负荷预测结果，可见负荷真实值全部落在置信区间范围内，所得结果为电力系统风险分析提供了科学指导依据。进一步的，对预测值条件分布采用核密度估计获得负荷概率密度预测。图4至图6分别为一天中不同时刻的负荷概率密度预测结果，从中可以获得负荷变化的更多信息，如预测值出现的概率等。

综上所述，本发明的一种基于PCA和分位数回归森林的短期负荷概率密度预测方法具有如下优势：1)采用PCA对原始输入变量集合进行降维处理，对独立的主成分建立预测模型，降低了预测误差；2)相对于BP、SVM预测模型，分位数回归森林能够给出任意分位点下的预测结果，同时具有更好的预测效果，提高了预测精度；3)本发明的概率密度预测模型能够给出负荷波动更多信息，有利于为电力系统运行提供更科学的决策依据。

本发明方法对电力系统安排日前调度计划及保证电网安全稳定运行具有一定的参考价值。

Claims (6)

1.一种基于PCA和分位数回归森林的短期负荷概率密度预测方法，其特征在于：包括以下步骤：

(1)收集电力系统短期负荷预测所需的基本数据，如负荷历史数据，温度、湿度等气象信息，日期类型等；

(2)从所有影响因素中选取相关性较强的输入变量，并构造合适的训练样本集；

(3)采用主成分分析对步骤(2)得到的输入变量集合进行降维处理；

(4)对降维处理后的数据建立分位数回归森林预测模型，获得任意分位点条件下的回归预测结果；

(5)通过核密度估计获得短期负荷概率密度预测。

2.根据权利要求1所述的基于PCA和分位数回归森林的短期负荷概率密度预测方法，其特征在于：步骤(2)从影响因素中选取相关性较强的输入变量，并构造合适的训练样本集，所选取的输入变量集合为：预测日前一日负荷、预测日前两日负荷、预测日前三日负荷、预测日前七日负荷、预测日前八日负荷、预测日前十四日负荷、去年同期同时刻负荷；温度数据包括：预测日温度、预测日前一日温度、预测日前两日温度、预测日前三日温度、预测日前七日温度、预测日前八日温度、预测日前十四日温度、去年同期同时刻温度；湿度数据包括：预测日湿度、预测日前一日湿度、预测日前两日湿度、预测日前三日湿度、预测日前七日湿度、预测日前八日湿度、预测日前十四日湿度、去年同期同时刻湿度；候选输入变量同时包括预测日日期类型。

3.根据权利要求1所述的基于PCA和分位数回归森林的短期负荷概率密度预测方法，其特征在于：步骤(3)采用主成分分析对输入变量集合进行降维处理，所述主成分分析具体计算过程为：

3.1对n×p维原始数据进行标准化处理；n为构造的原始数据中样本的数量，p为输入变量维数；

用X₁,X₂,L,X_p表示X的各列向量，则原始数据经标准化后形成的矩阵元素为：

式中：x_ij为原始数据第i个样本第j维元素取值，i＝1,2,L,n，j＝1,2,L,p；E(X_j)、Var(X_j)分别为第j列元素均值和方差，即

3.2计算样本各维间相关系数矩阵R＝(r_ij)_p×p，其元素计算方法为式中：为标准化后的矩阵第i列和第j列间协方差；

3.3计算特征值与特征向量。解特征方程|λI-R|＝0并求出特征值λ_j，j＝1,2,L,p，按降序进行排列，即λ₁≥λ₂≥L≥λ_p≥0；对每一特征值λ_j，求得其特征向量为e_j，j＝1,2,L,p；

3.4计算主成分贡献率及累计贡献率，主成分z_j贡献率为累计贡献率为一般取累计贡献率达到85％-95％的特征值λ₁,λ₂,Lλ_m为第一、第二、L、第m(m≤p)个主成分。

4.根据权利要求1所述的基于PCA和分位数回归森林的短期负荷概率密度预测方法，其特征在于：步骤(4)对降维处理后的数据建立分位数回归森林预测模型，获得任意分位点条件下的回归预测结果；分位数回归森林作为一种非参数机器学习方法，以分位数回归为基础，结合了随机森林模型优点，从而可以给出任意分位点条件下回归预测结果；所述随机森林模型基本计算过程为：

4.1假定训练样本集(X,y)含n个观测值，输入变量维数为M，首先利用bootstrap方法有放回的从原始训练样本集合中重复抽取b个子样本集，每个子集样本数为n，从而构建b颗回归决策树；

4.2抽取第i个子集时，未被选择的观测值构成袋外数据；构造第i颗决策树时，从M维输入变量中随机选取固定数量为m_try，可取m_try＝M/3，的输入变量集作为该颗决策树的特征空间；对于回归问题，分裂过程采用方差最小作为分支优度准则来选取分裂变量，即

<mrow> <mi>I</mi> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>k</mi> <mo>&amp;Element;</mo> <msub> <mi>m</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>y</mi> </mrow> </msub> </mrow> </munder> <mfrac> <mrow> <mi>&amp;Sigma;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mover> <mi>X</mi> <mo>&amp;OverBar;</mo> </mover> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mi>n</mi> </mfrac> </mrow>

式中，n为训练样本数，X_k为变量k的样本值，为变量k的样本均值，I即为此次最优分裂变量；

4.3每棵决策树采用无剪枝策略从根节点自顶向下递归分支，设定叶节点最小尺寸作为决策树生长终止条件；b颗决策树生长完成后，即可构建完整的随机森林回归模型；

4.4对于测试样本X*，利用每颗决策树进行预测，得到对应b颗决策树预测结果；取b颗决策树结果平均值，则可得到测试样本X*对应的最终预测结果y*为

<mrow> <msub> <mi>y</mi> <mo>*</mo> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>b</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>b</mi> </munderover> <msub> <mi>h</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mo>*</mo> </msub> <mo>)</mo> </mrow> </mrow>

其中，h_i(X*)为第i个决策树预测结果；

4.5通过袋外数据预测准确度评价模型的预测性能，即

<mrow> <msub> <mi>MSE</mi> <mrow> <mi>O</mi> <mi>O</mi> <mi>B</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>n</mi> <mrow> <mi>O</mi> <mi>O</mi> <mi>B</mi> </mrow> </msub> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msub> <mi>n</mi> <mrow> <mi>O</mi> <mi>O</mi> <mi>B</mi> </mrow> </msub> </mfrac> </mrow>

式中，n_OOB为袋外数据样本数量，y_i为真实值，为随机森林模型预测结果。

5.根据权利要求1所述的基于PCA和分位数回归森林的短期负荷概率密度预测方法，其特征在于：步骤(4)对降维处理后的数据建立分位数回归森林预测模型，获得任意分位点条件下回归预测结果；所述分位数回归森林具体计算过程为：

5.1随机森林被看作是一个适应性近邻分类和回归过程，对每一个X＝x，可以得到原始n个观察值一个权重集合w_i(x)，i＝1,2,L,n；随机森林本质是利用所有因变量观测值的加权和作为因变量Y条件均值E(Y|X＝x)的估计；另外，分位数回归森林决策树是以标准随机森林算法产生，条件分布是通过观测到的因变量加权估计得到，其中每个观测值的权重等于随机森林算法权重；

5.2由此，QRF定义E(1_{Y≤y}|X＝x)的估计为观测值1_{Y≤y}的加权平均，即

<mrow> <mover> <mi>F</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>y</mi> <mo>|</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <msub> <mn>1</mn> <mrow> <mo>{</mo> <mi>Y</mi> <mo>&amp;le;</mo> <mi>y</mi> <mo>}</mo> </mrow> </msub> </mrow>

5.3生成k棵决策树T(θ_t)，t＝1,2,L,k；对每棵决策树每个叶节点，考察该叶节点所有观测值；

5.4给定X＝x，遍历所有决策树；计算每棵决策树观测值的权重w_i(x,θ_t)，i∈{1,2,L,n}；通过对决策树权重w_i(x,θ_t)，t＝1,2,L,k取平均得到每个观测值i∈{1,2,L,n}的权重w_i(x)；

5.5对所有y∈R，利用步骤5.4得出的权重，即可计算分布函数的估计；对每棵决策树的每个节点，随机森林回归只保留观测值的均值而忽略了其他信息，而分位数回归森林保留节点中所有观测值，并在此基础上计算出条件分布。

6.根据权利要求1所述的基于PCA和分位数回归森林的短期负荷概率密度预测方法，其特征在于：步骤(5)中通过核密度估计获得短期负荷概率密度预测，所述核密度估计具体计算过程为：

核密度估计是通过一组观测的来自同一未知分布函数的随机变量来估计其密度函数的非参数计算方法；设X₁,X₂,L,X_n是取自一元连续总体样本，在任意点x处的总体密度函数f(x)的核密度估计定义为

<mrow> <msub> <mover> <mi>f</mi> <mo>^</mo> </mover> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>n</mi> <mi>h</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>K</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>x</mi> <mo>-</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> </mrow> <mi>h</mi> </mfrac> <mo>)</mo> </mrow> </mrow>

式中：K(x)为核函数，本发明采用的高斯核函数形式为h为带宽系数，取值范围为1.8～2.0。