CN115688035A - 一种基于自监督学习的时序电力数据异常检测方法 - Google Patents

Abstract

本发明公开了一种基于自监督学习的时序电力数据异常检测方法。首先构建基于门控循环神经网络自编码器的多任务的异常检测模型，包括样本间对比任务、重构任务和样本内预测任务；获取企业监测的用电量的时间序列数据集，预处理后，对每一个传感器的时间序列数据根据周期性规律切分成小样本，作为输入训练异常检测模型；将待检测的数据进行预处理并根据周期性规律切分输入异常检测模型，并输出重构任务损失与样本内预测任务损失，将二者输入异常评分模型得出异常评分；判断异常评分是否超过阈值，若超过，则为异常，否则视为正常。本发明将预测任务、对比任务和重构任务三个任务相结合，可以更好地表征时间序列数据，从而降低误报率。

Description

一种基于自监督学习的时序电力数据异常检测方法

技术领域

本发明涉及一种电力数据的异常检测技术，具体地说是一种基于自监督学习的时序电力数据异常检测方法。

背景技术

智能电网与物联网技术的融合在能源基础设施中发挥了重要作用。大数据和人工智能技术的发展，也不断提升智能电网的有效性和可靠性。其中一项重要的应用是检测智能电网中的异常情况，例如检测异常消费模式以防止窃电。根据是否提供标签，现有的时间序列异常检测方法可分为三类，即监督方法、半监督方法和无监督方法。带标签的监督方法通常将异常检测视为一项分类任务，带标签的监督方法的局限性在于异常现象罕见且难以收集，收集异常标签的成本高昂。

有研究提出了基于模式聚类的半监督模型，其中具有有限的异常标签。在智能电网中，为监督学习方法收集足够的异常标签非常耗时，几乎不可能。因此绝大多数研究集中在不使用标签的无监督方法。自监督方法可以被视为一种无监督方法。时间序列异常检测的无监督方法可进一步分为两大类，即基于预测的方法和基于重构的方法。基于预测的方法利用预测任务预测下一步的观测值，这种方法的异常预测误差较高。基于重构的方法假设异常很难重构，因此高重构误差表明存在异常。大多数现有方法只考虑时间异常模式或对单个任务建模以检测异常，这导致了较高的误报率。

发明内容

本发明的目的是提供一种基于自监督学习的时序电力数据异常检测方法，首先提出了一个由多头注意模块和多层感知机(Multi-layer perceptron,MLP)组成的对比任务来捕捉相互的异常模式。其次，将预测任务、对比任务和重构任务三个任务结合在一起，以更好地表示时间序列数据，从而降低误报率，降低安全风险。

本发明的目的通过以下技术方案实现：

一种基于自监督学习的时序电力数据异常检测方法，该方法包括：

1)模型设计：构建基于门控循环神经网络自编码器的多任务的异常检测模型，包括样本间对比任务、重构任务和样本内预测任务；

2)模型训练：获取企业监测的用电量的时间序列数据集X＝{x₁，x₂，...，x_N}，并进行预处理操作；预处理后，对每一个传感器的时间序列数据根据周期性规律切分成小样本，作为输入训练异常检测模型；

3)异常检测：模型训练好后，将待检测的数据进行预处理并根据周期性规律切分输入异常检测模型，并输出重构任务损失与样本内预测任务损失，将二者输入异常评分模型得出异常评分；判断异常评分是否超过阈值，若超过，则判断为异常，否则视为正常。

进一步地，所述异常检测模型使用三个GRU隐藏层大小分别为32、64、128的编码器和解码器，Dropout率设置为0.3，学习率设置为0.0005。GRU的形式化如下：

z_t＝sigmoid(W_z·[x_t，h_t-1]) r_t＝sigmoid(W_r·[x_t，h_t-1])

其中，x_t、z_t、r_t、h_t分别表示代表是时间步长t处的输入、更新门、重置门和隐藏状态；W_z、W_r、W_h是各自的可训练权重矩阵；

表示候选隐藏层状态，*代表哈达玛积，即按元素相乘。

进一步地，所述样本间对比任务通过多头注意力块和MLP层来捕捉不同监测点相互之间异常的模式。

1)X的每个输入都以一种自注意的方式表示，如公式所示：

其中，head_i代表多头注意力的个头部；Q_i、K_i、V_i分别表示个头部的查询向量、键矩阵、值矩阵；

表示可训练的权重矩阵，

是比例因子。

3)多头注意力可以表示为如下公式：

MultiHead(Q，K，V)＝[head₁，head₂，...，head_h]W^O

其中“[head₁，head₂，...，head_h]”表示矩阵拼接，W^O表示可训练的权重矩阵。

3)多头注意力的输出表示为c_j＝MultiHead(Q，K，V)

4)给定一批M个样本，将来自同一传感器的样本视为正对(c_j，c_j+)，来自不同的传感器视为负对(c_j，c_j-)。对比损失函数如下：

其中<c_j，c_j+>，<c_j，c_j->表示两个样本之间相似性的内积；τ表示温度参数；N_j表示来自与j同一传感器的样本集。

进一步地，所述样本内预测任务基于多个全连接层来捕获时间异常模式，将多个完全连接层和dropout层结合起来，给定时间序列X_t＝{x₁，x₂，...，x_t}，预测时间步长t+1处的观测X_t+1。将多个完全连接层与Dropout层结合起来以正则化模型，如公式所示：

其中，z^l+1代表经过dropout后全连接的输出，W^l+1是可训练权重矩阵，

表示第l层t时刻的隐藏状态；

是概率P(d)下降后的权重矩阵，

表示Dropout的

使用均方根误差(RMSE)作为预测损失，损失函数如下：

其中，

表示真实值，

表示预测值。

进一步地，所述重构任务使用门循环单元(GRU)自编码器来计算重构损失，通过GRU编码器将输入X编码为潜在表示。此任务尝试获得输入

的重构。重构损失函数表示如下：

其中，χ_i表示真实值，

代表χ_i的重构。

进一步地，所述的企业用电量数据集预处理方法，针对缺失值，若其前后相邻数据没有缺失值，则取平均值来填充此缺失值；否则填充为0。

进一步地，所述的根据周期性规律切分预处理后的时间序列，采用大小为w₀，步幅为1的滑动窗口进行切分；每个分段表示为

所有分段集合表示为

w₀为常数，分钟数据取值为64。

进一步地，所述的多任务的异常评分模型的公式如下：

Score＝λ₁Loss_inter+λ₂Loss_intra+λ₃Loss_recon

其中λ是三个任务的平衡参数，λ₁、λ₂、λ₃分别设置为0.25、0.25和0.5。

本发明首先提出了一个由多头注意模块和多层感知机(Multi-layerperceptron，MLP)组成的对比任务来捕捉相互的异常模式。其次，将预测任务、对比任务和重构任务三个任务结合在一起，以更好地表示时间序列数据，从而降低误报率。

与现有技术相比，本发明将预测任务、对比任务和重构任务三个任务相结合，可以更好地表征时间序列数据，从而降低误报率，降低安全风险。

附图说明

图1为本发明的整体流程图；

图2为本发明的异常检测模型流程图；

图3为本模型与其它四种方法在不同训练比率的性能对比图；

图4为本发明训练和验证数据的总损失对比图。

具体实施方式

下面结合附图和具体实施方式对本发明所属方法进一步说明。

一种基于自监督学习的时序电力数据异常检测方法，首先提出了一个由多头注意模块和多层感知机(Multi-layer perceptron，MLP)组成的对比任务来捕捉相互的异常模式。其次，将预测任务、对比任务和重构任务三个任务结合在一起，以更好地表示时间序列数据，从而降低误报率，降低安全风险。图1为本发明的整体流程图；具体如下：

步骤1、模型设计：构建基于门控循环神经网络自编码器的多任务的异常检测模型，如图2所示，包括样本间对比任务、重构任务和样本内预测任务；

异常检测模型使用三个GRU隐藏层大小分别为32、64、128的编码器和解码器，Dropout率设置为0.3，学习率设置为0.0005。批量大小设置为128，多头注意力的头数为2，隐藏大小设置为128。GRU的形式化如下：

z_t＝sigmoid(W_z·[x_t，h_t-1]) r_t＝sigmoid(W_r·[x_t，h_t-1])

其中，x_t、z_t、r_t、h_t分别表示代表是时间步长t处的输入、更新门、重置门和隐藏状态；W_z、W_r、W_h是各自的可训练权重矩阵；

表示候选隐藏层状态，*代表哈达玛积，即按元素相乘。

A1、样本间对比任务通过多头注意力块和MLP层来捕捉不同监测点相互之间异常的模式。

(1)X的每个输入都以一种自注意的方式表示，如公式所示：

其中，head_i代表多头注意力的个头部；Q_i、K_i、V_i分别表示个头部的查询向量、键矩阵、值矩阵；

表示可训练的权重矩阵，

是比例因子。

(2)多头注意力可以表示为如下公式：

MultiHead(Q，K，V)＝[head₁，head₂，...，head_h]W^O

其中“[head₁，head₂，...，head_h]”表示矩阵拼接，W^O表示可训练的权重矩阵。

(3)多头注意力的输出表示为c_j＝MultiHead(Q，K，V)

(4)给定一批M个样本，将来自同一传感器的样本视为正对(c_j，c_j+)，来自不同的传感器视为负对(c_j，c_j-)。对比损失函数如下：

其中<c_j，c_j+>，<c_j，c_j->表示两个样本之间相似性的内积；τ表示温度参数；N_j表示来自与j同一传感器的样本集。

A2、样本内预测任务基于多个全连接层来捕获时间异常模式，将多个完全连接层和dropout层结合起来，给定时间序列X_t＝{x₁，x₂，...，x_t}，预测时间步长t+1处的观测X_t+1。将多个完全连接层与Dropout层结合起来以正则化模型，如公式所示：

其中，z^l+1代表经过dropout后全连接的输出，W^l+1是可训练权重矩阵，

表示第l层t时刻的隐藏状态；

是概率P(d)下降后的权重矩阵，

表示Dropout的

使用均方根误差(RMSE)作为预测损失，损失函数如下：

其中，

表示真实值，

表示预测值。

A3、重构任务使用门循环单元(GRU)自编码器来计算重构损失，通过GRU编码器将输入X编码为潜在表示。此任务尝试获得输入

的重构。重构损失函数表示如下：

其中，χ_i表示真实值，

代表χ_i的重构。

步骤2、数据采集：获取中国国家电网公司(SGCC)的42372个企业监测的用电量的时间序列数据集，80％用于模型训练，20％用于测试。在该数据集中，约8.5％的客户显示异常用电量，可以作为真值标签来验证异常检测模型的性能。

步骤3、模型训练：对训练数据进行预处理操作。具体为，针对缺失值，若其前后相邻数据没有缺失值，则取平均值来填充此缺失值；否则填充为0。

预处理后，对每一个传感器的时间序列数据根据周期性规律切分成小样本，根据周期性规律切分预处理后的时间序列，采用大小为w₀，步幅为1的滑动窗口进行切分；每个分段表示为

所有分段集合表示为

w₀为常数，分钟数据取值为64。将样本序列长度默认设置为7。

最后，将样本序列送入本发明的模型中进行训练。

步骤4、异常检测：模型训练好后，将待检测的数据进行预处理并根据周期性规律切分输入异常检测模型，并输出重构任务损失Loss_recon与样本内预测任务损失Loss_intra，将二者输入异常评分模型得出异常评分；判断异常评分是否超过阈值，若超过，则判断为异常，否则视为正常。

多任务的异常评分模型的公式如下：

Score＝λ₁Loss_inter+λ₂Loss_intra+λ₃Loss_recon

其中λ是三个任务的平衡参数，λ₁、λ₂、λ₃分别设置为0.25、0.25和0.5。

图3展示了本发明与其它四种方法在不同训练比率的性能比较结果，ARIMA(差分整合移动平均自回归模型)和Wide&Deep CNN(基于广域和深度卷积神经网络)是基于预测的异常检测方法，LSTM-Autoencoder(长短期记忆网络自动编码器)和BeatGAN(结合自动编码器和生成对抗网络)是基于重构的方法。异常检测性能的评价指标包括两个，即AUC(接受者操作特征曲线ROC下方面积)和MAP(平均精度均值)。两个指标的值越高，表示性能越好。共设置三组实验，训练率分别为60％、70％和80％。其中突出显示了每个比率的最佳性能(标注数据标签)。本发明方法在三种训练率下的AUC均优于其他方法。每种方法在70％的训练率都取得较高的效果。此外，Wide&Deep CNN方法也很具有竞争力。但是由于本发明方法不需要标签信息，所以比用标签训练的Wide&Deep CNN方法更实用。

图4展示了训练和验证数据在不同迭代次数下的均方误差损失，训练和验证数据的总损失可以在有限的迭代内收敛，这表明了本发明的优越性。

Claims (8)

1.一种基于自监督学习的时序电力数据异常检测方法，其特征在于包括以下步骤：

1)模型设计：构建基于门控循环神经网络自编码器的多任务的异常检测模型，包括样本间对比任务、重构任务和样本内预测任务；

2)模型训练：获取企业监测的用电量的时间序列数据集X＝{x₁，x₂，...，x_N}，并进行预处理操作；预处理后，对每一个传感器的时间序列数据根据周期性规律切分成小样本，作为输入训练异常检测模型；

3)异常检测：模型训练好后，将待检测的数据进行预处理并根据周期性规律切分输入异常检测模型，并输出重构任务损失与样本内预测任务损失，将二者输入异常评分模型得出异常评分；判断异常评分是否超过阈值，若超过，则判断为异常，否则视为正常。

2.根据权利要求1所述一种基于自监督学习的时序电力数据异常检测方法，其特征在于，步骤1)所述异常检测模型使用三个GRU隐藏层大小分别为32、64、128的编码器和解码器，Dropout率设置为0.3，学习率设置为0.0005，GRU的形式化如下：

z_t＝sigmoid(W_z·[x_t，h_t-1]) r_t＝sigmoid(W_r·[x_t，h_t-1])

其中x_t、z_t、r_t、h_t分别表示代表是时间步长t处的输入、更新门、重置门和隐藏状态；W_z、W_r、W_h是各自的可训练权重矩阵；

表示候选隐藏层状态，*代表哈达玛积，即按元素相乘。

3.根据权利要求1所述一种基于自监督学习的时序电力数据异常检测方法，其特征在于，步骤1)所述样本间对比任务通过多头注意力块和MLP层来捕捉不同监测点相互之间异常的模式；

1)X的每个输入都以一种自注意的方式表示，如公式所示：

其中，head_i代表多头注意力的个头部；Q_i、K_i、V_i分别表示个头部的查询向量、键矩阵、值矩阵；

表示可训练的权重矩阵，

是比例因子；

2)多头注意力表示为如下公式：

MultiHead(Q，K，V)＝[head₁，head₂，...，head_h]W^O

其中“[head₁，head₂，...，head_h]”表示矩阵拼接，W^O表示可训练的权重矩阵；

3)多头注意力的输出表示为c_j＝MultiHead(Q，K，V)

4)给定一批M个样本，将来自同一传感器的样本视为正对(c_j，c_j+)，来自不同的传感器视为负对(c_j，c_j-)，对比损失函数如下：

其中<c_j，c_j+>，<c_j，c_j->表示两个样本之间相似性的内积；τ表示温度参数；N_j表示来自与j同一传感器的样本集。

4.根据权利要求1所述一种基于自监督学习的时序电力数据异常检测方法，其特征在于，步骤1)所述样本内预测任务基于多个全连接层来捕获时间异常模式，将多个完全连接层和dropout层结合起来，给定时间序列X_t＝{x₁，x₂，...，x_t}，预测时间步长t+1处的观测X_t+1；将多个完全连接层与Dropout层结合起来以正则化模型，如公式所示：

其中，z^l+1代表经过dropout后全连接的输出，W^l+1是可训练权重矩阵，

表示第l层t时刻的隐藏状态；

是概率P(d)下降后的权重矩阵，

表示Dropout的

使用均方根误差作为预测损失，损失函数如下：

其中，

表示真实值，

表示预测值。

5.根据权利要求1所述一种基于自监督学习的时序电力数据异常检测方法，其特征在于，步骤1)所述重构任务使用门循环单元自编码器来计算重构损失，通过GRU编码器将输入X编码为潜在表示；此任务尝试获得输入

的重构；重构损失函数表示如下：

其中，χ_i表示真实值，

代表χ_i的重构。

6.根据权利要求1所述一种基于自监督学习的时序电力数据异常检测方法，其特征在于，步骤2)所述的企业用电量数据集预处理方法，其特征在于，针对缺失值，若其前后相邻数据没有缺失值，则取平均值来填充此缺失值；否则填充为0。

7.根据权利要求1所述一种基于自监督学习的时序电力数据异常检测方法，其特征在于，步骤2)所述的根据周期性规律切分预处理后的时间序列，采用大小为w₀，步幅为1的滑动窗口进行切分；每个分段表示为

所有分段集合表示为

w₀为常数，分钟数据取值为64。

8.根据权利要求1所述一种基于自监督学习的时序电力数据异常检测方法，其特征在于，步骤3)所述的异常评分模型的公式如下：

Score＝λ₁Loss_inter+λ₂Loss_intra+λ₃Loss_recon

其中λ是三个任务的平衡参数，λ₁、λ₂、λ₃分别设置为0.25、0.25和0.5。

Images