CN115514620B - 一种异常检测的方法和云网络平台 - Google Patents

Abstract

本发明实施例提供了一种异常检测的方法和云网络平台，所述方法包括：获取在虚拟网络设备变更开始后采集的实时流量数据；在所述实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和所述数据模型输出针对所述实时流量数据的重构结果，生成第一偏差数据；根据所述第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。通过本发明实施例，实现了对虚拟网络设备变更导致网络流量异常的检测优化，能够满足大规模网络中对不同类型设备的通用性要求，有利于建立统一的网络变更管理平台，进而能够通过统一的网络变更管理平台实现对全网各类变更的虚拟网络设备进行统一的、自适应的异常检测。

Description

一种异常检测的方法和云网络平台

技术领域

本发明涉及网络技术领域，特别是涉及一种异常检测的方法和云网络平台。

背景技术

随着云技术的发展，越来越多的用户将基础信息服务迁移至公有云上，为了满足用户对于云上网络的需求，公有云为用户提供了大量的网络产品，如虚拟私有网络、IP地址转换网关、负载均衡器、云防火墙等虚拟网络设备。

在对虚拟网络设备进行变更时，如变更配置、升级配置等，通常存在两部分内容，一是设备变更流程的自动化合规执行，二是设备变更效果的智能化评估。其中，设备变更效果的智能化评估通常是依赖于异常检测技术，具体是通过在变更过程中对变更设备的网络流量是否产生异常进行监测，进而判断设备变更是否产生问题或故障。

在现有的异常检测技术中，可以采用配置一致性检验方法，其可以通过形式化描述变更过程，通过比较变更后的结果与预期目标是否形式一致，进而判断变更是否有异常。然而，这种方式通常需要针对不同类型的虚拟网络设备单独设计不同的检测逻辑和形式化表达方式，难以满足大规模网络中对不同类型设备的通用性要求。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种异常检测的方法和云网络平台，可以包括：

一种异常检测的方法，该方法可以包括：

获取在虚拟网络设备变更开始后采集的实时流量数据；

在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据；

根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。

可选地，在将实时流量数据输入预先训练的数据模型之前，还可以包括：

从实时流量数据中，去除噪声数据及突变数据。

可选地，从实时流量数据中，去除噪声数据及突变数据，可以包括：

从实时流量数据中，去除突变数据；

从去除突变数据的实时流量数据中，提取处于稳态的实时流量数据。

可选地，在将实时流量数据输入预先训练的数据模型之前，还可以包括：

对实时流量数据进行标准化。

可选地，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，可以包括：

根据第一偏差数据和异常数据阈值，确定异常点；

在异常点的数量大于预设异常点数量的情况下，判定检测异常。

可选地，还包括：

根据异常检测结果，进行异常告警。

可选地，数据模型可以通过如下方式训练：

获取在虚拟网络设备变更开始前采集的第一历史流量数据；

判断第一历史流量数据是否为具有时序特征的流量数据；

在第一历史流量数据为具有时序特征的流量数据的情况下，基于第一历史流量数据，对数据模型进行训练。

可选地，判断第一历史流量数据是否为具有时序特征的流量数据，可以包括：

对于第一历史流量数据中的数据序列，将其切分为多个子序列；

对多个子序列进行聚类；

根据聚类情况，判断第一历史流量数据是否为具有时序特征的流量数据。

可选地，在获取在虚拟网络设备变更开始后采集的实时流量数据之前，还可以包括：

获取在虚拟网络设备变更开始前采集的第二历史流量数据；

在第二历史流量数据为具有时序特征的流量数据的情况下，将第二历史流量数据输入数据模型，并根据第二历史流量数据和数据模型输出针对第二历史流量数据的重构结果，生成第三偏差数据；

根据第三偏差数据，确定异常数据阈值。

可选地，第一历史流量数据可以为在虚拟网络设备变更编排前采集的历史流量数据，第二历史流量数据可以为在虚拟网络设备变更编排后，且，变更开始前采集的历史流量数据。

一种云网络平台，云网络平台包括用户设备、虚拟网络设备、数据库、服务器；其中，

用户设备，用于通过虚拟网络设备与网络端进行交互；

虚拟网络设备，用于建立用户设备与网络端的交互通道，并采集交互过程中的流量数据，将流量数据存储于数据库中；

服务器，用于获取数据库中的流量数据以进行异常检测，具体包括：

实时流量数据获取模块，可以用于获取在虚拟网络设备变更开始后采集的实时流量数据；

第一时序特征拟合模块，可以用于在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据；

异常阈值检测模块，可以用于根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。

一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时可以实现如上的异常检测的方法。

一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时可以实现如上的异常检测的方法。

本发明实施例具有以下优点：

在本发明实施例中，通过获取在虚拟网络设备变更开始后采集的实时流量数据，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，实现了对虚拟网络设备变更导致网络流量异常的检测优化，能够满足大规模网络中对不同类型设备的通用性要求，有利于建立统一的网络变更管理平台，进而能够通过统一的网络变更管理平台实现对全网各类变更的虚拟网络设备进行统一的、自适应的异常检测。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种异常检测的架构示意图；

图2是本发明一实施例提供的一种异常检测的步骤流程图；

图3是本发明一实施例提供的另一种异常检测的方法的步骤流程图；

图4是本发明一实施例提供的另一种异常检测的方法的步骤流程图；

图5是本发明一实施例提供的另一种异常检测的方法的步骤流程图；

图6是本发明一实施例提供的一种云网络平台的结构框图；

图7是本发明一实施例提供的一种云网络平台中服务器的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了适用于大规模网络，可以采用核心指标异常检测方法，其可以对虚拟网络设备变更前、变更后的核心流量指标进行检测，通过判断核心流量指标是否有明显异常变化来确定变更过程是否产生网络流量异常，这种方法的优势在于“黑盒化”的特点，即对变更设备没有任何预先理解的前提下，通过对网络指标来实现异常检测。然而，在适用于大规模网络的同时，这种方法仍然难以满足对所采用算法的自适应能力、通用性、准确性要求，以及指标类型的普适性要求、网络动态性要求。

而在本发明实施例中，通过构建一个新型异常检测方法，可以将针对流量指标的序列分解、序列分类、循环神经网络以及基于极值理论的偏差告警相结合，能够有效地解决如上述虚拟网络设备变更导致网络流量异常检测所面临的问题。

以下结合图1对本发明实施例提出的新型异常检测方法进行说明：

在具体实现中，可以划分为变更准备和变更执行两个阶段，变更准备是指变更编排完成到执行变更之前这段预留时间，在这段时间内，将完成算法全部的模型训练，变更执行是指变更运行脚本在具体的变更设备上开始执行变更操作，在变更执行开始后，进入对变更设备的流量数据进行异常检测、告警的阶段，即利用已训练完成的模型对变更设备的流量数据进行实时的异常检测与告警。

在变更准备阶段中，可以获取针对虚拟网络设备的变更计划，根据变更计划确定变更设备集合，即要进行变更的虚拟网络设备集合，然后可以从数据库存储集群中获取相应的历史流量数据，依次进行预处理、序列分类、时序特征拟合，以及异常阈值训练。

对于预处理，可以对历史流量数据进行标准化处理，然后进行历史流量数据的序列分解操作，获取历史流量数据的稳态数据曲线、突刺数据曲线以及残差数据曲线。

其中，流量数据的数据曲线可以由流量数据的具体数值和时间构成，可以表征流量数据的具体数值和时间的变化关系，稳态数据曲线可以对应处于稳态的流量数据，用于后续时序特征拟合，突刺数据曲线可以对应存在徒增或徒降变化的突变数据，残差数据曲线可以对应无规律的噪声数据。

对于序列分类，可以对稳态数据曲线进行序列分类，具体采用基于DBSCAN（Density-Based Spatial Clustering of Applications with Noise，有代表性的基于密度的聚类算法）的子序列聚类算法对是否具有时序特征进行判定。对于具有时序特征的稳态数据曲线进行时序特征拟合，而没有时序特征的稳态数据曲线直接进入异常阈值训练。

对于时序特征拟合，可以采用基于循环编码器模型的算法，在时序拟合后会获取输入的稳态数据曲线的重构偏差曲线，进而会将重构偏差曲线输入异常阈值训练。

对于异常阈值训练，可以采用基于极值理论的算法，分别对有时序的重构偏差曲线与无时序的稳态数据曲线进行训练，进而对每条数据曲线产生自适应的异常阈值。

在变更执行阶段中，可以从数据采集中心获取变更设备在变更开始执行后的实时流量数据，将其依次输入已训练完成的预处理器、序列分类模型、时序特征拟合模型以及异常阈值检测模型中，然后产生相应事件告警，进而通知网络管理员进行后续处理。

以下进行进一步说明：

参照图2，示出了本发明一实施例提供的一种异常检测的方法的步骤流程图，该方法可以应用于统一的网络变更管理平台，通过统一的网络变更管理平台能够实现对全网各类变更的虚拟网络设备进行统一的异常检测，具体可以包括如下步骤：

步骤201，获取在虚拟网络设备变更开始后采集的实时流量数据。

其中，虚拟网络设备可以为云网络中网络组件。

在虚拟网络设备变更开始后，即变更执行阶段，其可以为通过运行脚本来虚拟网络设备上执行变更操作，进而可以采集针对虚拟网络设备的实时流量数据。

在一示例中，流量数据的采集时间间隔可以设置为预设采集时间间隔，如1分钟。

在一示例中，为了保证检测的实时性，实时流量数据可以为在变更开始后预设时长内采集的流量数据，如在变更开始后20分钟内。

步骤202，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据。

在实际应用中，可以预先训练数据模型，该数据模型可以为时序特征拟合模型，具体可以采用循环编码器模型，其可以将循环神经网络和重构模型相结合，进而在重构的同时有效地捕捉到流量数据的时序特征信息，从而实现高精确率的时序特征学习。

在获得实时流量数据后，可以将其输入训练好的数据模型，数据模型可以输出针对实时流量数据的重构结果，进而可以对实时流量数据和重构结果进行差值计算，得到第一偏差数据，也即是获得重构偏差曲线。

需要说明的是，由于云网络中不同用户的应用类型不同，导致不同的虚拟网络设备的流量数据呈现明显的差异性，其中最重要的区别是流量数据是否存在明显的时序相关性。为了能够有效地对不同类型的数据曲线使用合适的异常检测方式，对于具备时序特征的流量数据可以将其输入数据模型处理，以得到第一偏差数据，进而能够进行后续的异常检测，而对于不具备时序特征的流量数据，无需输入数据模型进行处理。

具体的，可以在数据模型的训练阶段，采用历史流量数据判断该虚拟网络设备的流量数据是否具有时序特征（具体参考后文步骤302及其子步骤）。

在获得判断结果后，可以将判断结果与该虚拟网络设备的设备ID建立关联关系，当获得该实时流量数据时，进而可以直接确定其是否具有时序特征，在实时流量数据为具有时序特征的流量数据的情况下，将其输入数据模型进行处理，在实时流量数据为不具有时序特征的流量数据的情况下，无需输入数据模型进行处理。

在本发明一实施例中，在步骤202之前，还可以包括：

从实时流量数据中，去除噪声数据及突变数据。

其中，噪声数据可以为流量数据中存在错误或异常(如偏离期望值)的数据，即噪声数据与其他流量数据之间不存在关联性、规律性，突变数据可以为流量数据中存在徒增或徒降变化的数据，即突变数据的流量变化幅度超出预设幅度区间。

由于受到用户应用波动的影响，流量数据中会存在噪声数据和存在徒增或徒降变化的突变数据，为了获得处于稳态的流量数据，可以将针对流量数据的原始数据曲线进行序列分解，可以分解为稳态数据曲线、突刺数据曲线以及残差数据曲线，如下所示：

其中，

为流量数据的原始数据曲线，

表示突刺数据曲线，

表示稳态数据曲线，

表示残差曲线。

其中，流量数据的数据曲线可以由流量数据的具体数值和时间构成，可以表征流量数据的具体数值和时间的变化关系，稳态数据曲线可以对应处于稳态的流量数据，用于后续时序特征拟合，突刺数据曲线可以对应存在徒增或徒降变化的突变数据，残差数据曲线可以对应无规律的噪声数据。

基于此，则可以对噪声数据及徒增或徒降变化的突变数据进行去除，即去除突刺数据曲线和残差数据曲线，进而可以获得处于稳态的流量数据，即获得稳态数据曲线，后续仅考虑处于稳态的流量数据。

在本发明一实施例中，从实时流量数据中，去除噪声数据及突变数据，可以包括：

子步骤11，从实时流量数据中，去除突变数据。

对于流量数据中的每个数据点，可以判断其是否为存在徒增或徒降变化的突变数据，若否，则不进行去除，若是，则可以对其进行去除。

具体而言，可以采用基于滑动窗口与

准则的方法，即判断当前的数据点是 否超过滑动窗口内所有点的

，其中，

表示滑动窗口内所有数据点的均值，

为 滑动窗口内所有数据点的标准差，

为预设的倍数。

当数据点大于

时，即表明数据点为陡增点，即存在徒增的突变数据，当数 据点小于

，即表明数据点为陡降点，即存在徒减的突变数据。

子步骤12，从去除突变数据的实时流量数据中，提取处于稳态的实时流量数据。

在从流量数据中去除突变数据后，可以进一步提取处于稳态的实时流量数据，处于稳态的实时流量数据可以为实时流量数据中除去突变数据和噪声数据之外的数据，处于稳态的实时流量数据的流量变化幅度在预设幅度区间内。具体而言，可以采用移动平均的方法，先计算滑动窗口的均值，然后采用均值替换窗口中原始数值，从而获取原始流量曲线的稳态数据曲线，即处于稳态的流量数据。通过在去除突变数据的实时流量数据中提取处于稳态的实时流量数据，同时也可以实现去除了实时流量数据中的噪声数据。

在本发明一实施例中，在步骤202之前，还可以包括：

对实时流量数据进行标准化。

其中，标准化可以为将流量数据转换为指定类型的数据的处理方式，如根据流量数据生成均值、标准差，将均值和标准差携带在流量数据中。

由于不同设备的流量指标存在数量级上的差异，为了消除差异性，可以对流量数据进行标准化，具体可以采用z-score标准化方法，其可以采用如下所示：

其中，mean（）和std（）分别表示流量数据的数据曲线x(t)的均值与标准差，每条数据曲线的均值与标准差在训练阶段会被存储记录。

步骤203，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。

在获得第一偏差数据后，可以通过异常阈值检测模型对第一偏差数据和预先确定的异常数据阈值进行对比分析，进而生成异常检测结果，即流量数据是否存在异常的结果。

在一示例中，对于实时流量数据中不具备时序特征的数据序列，可以直接根据对其与预先确定的异常数据阈值的对比分析，生成异常检测结果。

在本发明一实施例中，步骤203，可以包括：

子步骤21，根据第一偏差数据和异常数据阈值，确定异常点。

在具体实现中，可以通过第一偏差数据和异常数据阈值，确定流量数据中存在异常的数据点，即异常点，可以存在以一个异常点，也可以存在多个异常点。

子步骤22，在异常点的数量大于预设异常点数量的情况下，判定检测异常。

其中，异常点的数量为在变更开始后连续出现的异常点的数量。

由于设备变更可能会导致重启，重启会造成瞬时的流量徒降，根据单个异常点来判定异常可能不够准确，则可以在异常点的数量小于或等于预设异常点数量的情况下，判定检测正常，在异常点的数量大于预设异常点数量的情况下，判定检测异常。

在本发明一实施例中，还可以包括：

根据异常检测结果，进行异常告警。

在异常检测结果为检测正常的情况下，则可以不进行异常告警，在异常检测结果为检测异常的情况下，则可以进行异常告警，进而通知网络管理员进行后续处理。

在本发明实施例中，通过获取在虚拟网络设备变更开始后采集的实时流量数据，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，实现了对虚拟网络设备变更导致网络流量异常的检测优化，能够满足大规模网络中对不同类型设备的通用性要求，有利于建立统一的网络变更管理平台，进而能够通过统一的网络变更管理平台实现对全网各类变更的虚拟网络设备进行统一的、自适应的异常检测。

参照图3，示出了本发明一实施例提供的另一种异常检测的方法的步骤流程图，具体可以包括如下步骤：

步骤301，获取在虚拟网络设备变更开始前采集的第一历史流量数据。

在虚拟网络设备变更开始前，即变更准备阶段中的模型训练阶段，可以采集针对虚拟网络设备的第一历史流量数据，第一历史流量数据可以为在虚拟网络设备变更编排前采集的历史流量数据，如变更编排前3天采集的流量数据。

在一示例中，流量数据的采集时间间隔可以设置为预设采集时间间隔，如1分钟。

步骤302，判断第一历史流量数据是否为具有时序特征的流量数据。

由于云网络中不同用户的应用类型不同，导致不同的虚拟网络设备的流量数据呈现明显的差异性，其中最重要的区别是流量数据是否存在明显的时序相关性。为了能够有效地对不同类型的数据曲线使用合适的异常检测方式，可以通过序列分类模型对流量数据进行分类，即是否具有明显的时序相关性来进行分类，进而判断第一历史流量数据是否为具有时序特征的流量数据。在获得判断结果后，可以将判断结果与该虚拟网络设备的设备ID建立关联关系，以便于后续使用该关联关系来判断是否具有时序特征。

在本发明一实施例中，步骤302，可以包括：

子步骤31，对于第一历史流量数据中的数据序列，将其切分为多个子序列。

其中，数据序列即为按照时间顺序排列的流量数据集。

在具体实现中，可以预先固定时间间隔，将数据序列切分为多个子序列。

子步骤32，对多个子序列进行聚类。

如果某个数据序列具有明显的时序特征，则由其切分得到的多个子序列一定存在着不同的类别，而对于没有明显的时序特征的数据序列，由其切分得到的多个子序列通常会聚为一类，或者，由于难以找到相似的子序列而成为离散状态。

基于此，可以对多个子序列进行聚类，具体可以采用基于DBSCAN的子序列聚类算法对多个子序列进行聚类（在进行聚类时可以利用上文中残差曲线中的参数）。

子步骤33，根据聚类情况，判断第一历史流量数据是否为具有时序特征的流量数据。

在进行聚类后，如果多个子序列聚类为不同的类别，则第一历史流量数据为具有时序特征的流量数据，如果多个子序列聚类为一类或成为离散状态，则第一历史流量数据为不具有时序特征的流量数据。

在本发明一实施例中，在步骤302之前，还可以包括：

从第一历史流量数据中，去除噪声数据及突变数据。

在本发明一实施例中，从第一历史流量数据中，去除噪声数据及突变数据，可以包括：

从第一历史流量数据中，去除突变数据；从去除突变数据的第一历史流量数据中，提取处于稳态的第一历史流量数据。

在本发明一实施例中，在步骤302之前，还可以包括：

对第一历史流量数据进行标准化。

需要说明的是，步骤302之前对第一历史流量数据进行的标准化过程、去除噪声数据和突变数据过程与上文步骤202前对实时流量数据进行的标准化过程、去除噪声数据和突变数据过程相似，具体可以参考上文相关描述。

步骤303，在第一历史流量数据为具有时序特征的流量数据的情况下，基于第一历史流量数据，对数据模型进行训练。

在第一历史流量数据为具有时序特征的流量数据的情况下，可以采用第一历史流量数据对数据模型进行迭代训练，进而可以学习第一历史流量数据的时序特征，该数据模型可以为时序特征拟合模型，具体可以采用循环编码器模型，其可以将循环神经网络和重构模型相结合，进而在重构的同时有效地捕捉到流量数据的时序特征信息，从而实现高精确率的时序特征学习。

其中，循环编码器模型可以由编码器与解码器两个部分组成。具体地，可以按照神 经网络学习窗口长度进行切分，每个窗口数据表示为

。

在编码器阶段，每个窗口内的序列被输入进循环神经网络中，运行公式如下：

其中，

表示当前t时刻的神经元输出，

表示上一个时刻，即t-1时刻的神 经元输出，函数

表示一个非线性表征函数，神经元可以为LSTM（Long Short-term Memory，长短期记忆网络）神经元。

在解码器模型中，可以采用反向输出的形式，即编码器最后的状态输出对应解码器的第一位输入，运行公式如下:

其中，

表示t时刻解码器的输出，

表示下一个时刻，即t+1时刻的解码器 输出，

表示解码器中的非线性函数，

是解码器对于输入

的重构结果。

在一示例中，模型的训练损失函数采用重构平均方差的损失函数，如下公式所示：

步骤304，获取在虚拟网络设备变更开始后采集的实时流量数据。

步骤305，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据。

步骤306，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。

在本发明实施例中，通过获取在虚拟网络设备变更开始前采集的第一历史流量数据，判断第一历史流量数据是否为具有时序特征的流量数据，在第一历史流量数据为具有时序特征的流量数据的情况下，基于第一历史流量数据，对数据模型进行训练，获取在虚拟网络设备变更开始后采集的实时流量数据，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，实现了采用变更开始前采集的第一历史流量数据训练数据模型，进而通过该数据模型对在变更开始后采集的实时流量数据进行异常检测。

参照图4，示出了本发明一实施例提供的另一种异常检测的方法的步骤流程图，具体可以包括如下步骤：

步骤401，获取在虚拟网络设备变更开始前采集的第二历史流量数据。

在虚拟网络设备变更开始前，即变更准备阶段中的模型评估阶段，可以采集针对虚拟网络设备的第二历史流量数据，第二历史流量数据可以为在虚拟网络设备变更编排后，且，变更开始前采集的历史流量数据。

在一示例中，流量数据的采集时间间隔可以设置为预设采集时间间隔，如1分钟。

步骤402，在第二历史流量数据为具有时序特征的流量数据的情况下，将第二历史流量数据输入数据模型，并根据第二历史流量数据和数据模型输出针对第二历史流量数据的重构结果，生成第三偏差数据。

在实际应用中，可以预先训练数据模型，该数据模型可以为时序特征拟合模型，具体可以采用循环编码器模型，其可以将循环神经网络和重构模型相结合，进而在重构的同时有效地捕捉到流量数据的时序特征信息，从而实现高精确率的时序特征学习。

在获得第二历史流量数据后，可以将其输入训练好的数据模型，数据模型可以输出针对第二历史流量数据的重构结果，进而可以对第二历史流量数据和重构结果进行差值计算，得到第三偏差数据，也即是获得重构偏差曲线。

需要说明的是，由于云网络中不同用户的应用类型不同，导致不同的虚拟网络设备的流量数据呈现明显的差异性，其中最重要的区别是流量数据是否存在明显的时序相关性。为了能够有效地对不同类型的数据曲线使用合适的异常检测方式，对于具备时序特征的流量数据可以将其输入数据模型处理，以得到第三偏差数据，进而能够进行后续的异常检测，而对于不具备时序特征的流量数据，无需输入数据模型进行处理。

具体的，可以在数据模型的训练阶段，采用历史流量数据判断该虚拟网络设备的流量数据是否具有时序特征（具体参考前文步骤302及其子步骤）。

在获得判断结果后，可以将判断结果与该虚拟网络设备的设备ID建立关联关系，当获得该第二历史流量数据时，进而可以直接确定其是否具有时序特征，在第二历史流量数据为具有时序特征的流量数据的情况下，将其输入数据模型进行处理，在第二历史流量数据为不具有时序特征的流量数据的情况下，无需输入数据模型进行处理。

在本发明一实施例中，在步骤402之前，还可以包括：

从第二历史流量数据中，去除噪声数据及突变数据。

在本发明一实施例中，从第二历史流量数据中，去除噪声数据及突变数据，可以包括：

从第二历史流量数据中，去除突变数据；从去除突变数据的第二历史流量数据中，提取处于稳态的第二历史流量数据。

在本发明一实施例中，在步骤402之前，还可以包括：

对第二历史流量数据进行标准化。

需要说明的是，步骤402之前对第二历史流量数据进行的标准化过程、去除噪声数据和突变数据过程与上文步骤202前对实时流量数据进行的标准化过程、去除噪声数据和突变数据过程相似，具体可以参考上文相关描述。

步骤403，根据第三偏差数据，确定异常数据阈值。

在获得第三偏差数据后，可以根据第三偏差数据，基于极值理论确定异常数据阈值，异常数据预置可以包括徒增阈值和徒减阈值。

步骤404，获取在虚拟网络设备变更开始后采集的实时流量数据。

步骤405，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据。

步骤406，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。

在本发明实施例中，通过获取在虚拟网络设备变更开始前采集的第二历史流量数据，在第二历史流量数据为具有时序特征的流量数据的情况下，将第二历史流量数据输入数据模型，并根据第二历史流量数据和数据模型输出针对第二历史流量数据的重构结果，生成第三偏差数据，根据第三偏差数据，确定异常数据阈值，获取在虚拟网络设备变更开始后采集的实时流量数据，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，实现了采用变更开始前采集的第一历史流量数据训练异常数据阈值，进而可以根据异常数据阈值对在变更开始后采集的实时流量数据进行异常检测。

参照图5，示出了本发明一实施例提供的另一种异常检测的方法的步骤流程图，具体可以包括如下步骤：

步骤501，获取在虚拟网络设备变更开始前采集的第一历史流量数据，第一历史流量数据为在虚拟网络设备变更编排前采集的历史流量数据。

步骤502，判断第一历史流量数据是否为具有时序特征的流量数据。

步骤503，在第一历史流量数据为具有时序特征的流量数据的情况下，基于第一历史流量数据，对数据模型进行训练。

步骤504，获取在虚拟网络设备变更开始前采集的第二历史流量数据，第二历史流量数据为在虚拟网络设备变更编排后，且，变更开始前采集的历史流量数据。

步骤505，在第二历史流量数据为具有时序特征的流量数据的情况下，将第二历史流量数据输入数据模型，并根据第二历史流量数据和数据模型输出针对第二历史流量数据的重构结果，生成第三偏差数据。

步骤506，根据第三偏差数据，确定异常数据阈值。

步骤507，获取在虚拟网络设备变更开始后采集的实时流量数据。

步骤508，对实时流量数据进行标准化。

步骤509，从实时流量数据中，去除噪声数据及突变数据。

步骤510，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据。

步骤511，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。

步骤512，根据异常检测结果，进行异常告警。

在本发明实施例中，通过获取在虚拟网络设备变更开始前采集的第一历史流量数据，第一历史流量数据为在虚拟网络设备变更编排前采集的历史流量数据，判断第一历史流量数据是否为具有时序特征的流量数据，在第一历史流量数据为具有时序特征的流量数据的情况下，基于第一历史流量数据，对数据模型进行训练，获取在虚拟网络设备变更开始前采集的第二历史流量数据，第二历史流量数据为在虚拟网络设备变更编排后，且，变更开始前采集的历史流量数据，在第二历史流量数据为具有时序特征的流量数据的情况下，将第二历史流量数据输入数据模型，并根据第二历史流量数据和数据模型输出针对第二历史流量数据的重构结果，生成第三偏差数据，根据第三偏差数据，确定异常数据阈值，获取在虚拟网络设备变更开始后采集的实时流量数据，对实时流量数据进行标准化，从实时流量数据中，去除噪声数据及突变数据，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，根据异常检测结果，进行异常告警，实现了采用在虚拟网络设备变更编排前采集的历史流量数据训练数据模型，并采用在虚拟网络设备变更编排后，且，变更开始前采集的历史流量数据训练异常数据阈值，进而可以结合数据模型和异常数据阈值在变更开始后采集的实时流量数据进行异常检测。

为了验证对于复杂网络流量指标的适应能力，选择虚拟网络设备为云网络中的基础网络组件中本地虚拟交换机的变更场景，本地虚拟交换机是运行在物理主机上面的一种虚拟转发设备，用于将运行在物理主机上面的多台虚拟机进行连接，并将虚拟机的虚拟网卡与物理主机上的真实网卡进行流量交换。由于本地虚拟交换机承载着用户的少量虚拟机的流量转发，本地虚拟交换机上的流量指标数据受用户应用影响较大，往往呈现复杂多样性，因此流量异常检测的挑战也相对较大。

对于流量数据采集，变更的流量数据分为正常变更与异常变更两部分，由于网络变更中异常的产生是小概率事件，选择了与真实场景中类似的不平衡数据集用于测试在真实场景中的实际检测能力。具体地，采集了549台正常变更的本地虚拟交换机流量数据，采集了14台异常变更的本地虚拟交换机流量数据。

由于数据具有很强的不平衡性，选取的准确率评估指标为常用于不平衡数据的评价指标，具体包括精确率（Precision）、召回率（Recall）以及F1分数（F1-Score），将本发明实施例与Spacecraft、Donut、OmniAnomaly、SCWarn算法进行比较，如下表所示：

可见，本发明实施例相较于已有的算法，有着明显的性能提升。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明一实施例提供的一种云网络平台的结构示意图，该云网络平台可以包括用户设备601、与用户设备601连接虚拟网络设备602、与虚拟网络设备602连接的数据库603，以及与数据库603连接的服务器604。

用户设备601，可以用于通过虚拟网络设备602与网络端进行交互。

虚拟网络设备602，可以用于建立用户设备601与网络端的交互通道，并采集交互过程中的流量数据，将流量数据存储于数据库603中。

服务器604，可以用于获取数据库603中的流量数据以进行异常检测。

其中，服务器604的结构可以参考图7所示，具体可以包括如下模块：

实时流量数据获取模块701，可以用于获取在虚拟网络设备变更开始后采集的实时流量数据。

第一时序特征拟合模块702，可以用于在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据。

异常阈值检测模块703，可以用于根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果。

在本发明一实施例中，还可以包括：

第一预处理模块，可以用于从实时流量数据中，去除噪声数据及突变数据。

在本发明一实施例中，第一预处理模块，可以包括：

突变数据去除子模块，可以用于从实时流量数据中，去除突变数据。

稳态数据提取子模块，可以用于从去除突变数据的实时流量数据中，提取处于稳态的实时流量数据。

在本发明一实施例中，还可以包括：

第二预处理模块，可以用于对实时流量数据进行标准化。

在本发明一实施例中，异常阈值检测模块703，可以包括：

异常判定子模块，可以用于根据第一偏差数据和异常数据阈值，确定异常点；在异常点的数量大于预设异常点数量的情况下，判定检测异常。

在本发明一实施例中，还可以包括：

异常告警模块，可以用于根据异常检测结果，进行异常告警。

在本发明一实施例中，还可以包括：

第一历史流量数据获取模块，可以用于获取在虚拟网络设备变更开始前采集的第一历史流量数据。

序列分类模块，可以用于判断第一历史流量数据是否为具有时序特征的流量数据。

数据模型训练模块，可以用于在第一历史流量数据为具有时序特征的流量数据的情况下，基于第一历史流量数据，对数据模型进行训练。

在本发明一实施例中，还可以包括：

第二历史流量数据获取模块，可以用于获取在虚拟网络设备变更开始前采集的第二历史流量数据。

时序特征拟合模块，可以用于在第二历史流量数据为具有时序特征的流量数据的情况下，将第二历史流量数据输入数据模型，并根据第二历史流量数据和数据模型输出针对第二历史流量数据的重构结果，生成第三偏差数据。

异常阈值训练模块，可以用于根据第三偏差数据，确定异常数据阈值。

在本发明一实施例中，第一历史流量数据可以为在虚拟网络设备变更编排前采集的历史流量数据，第二历史流量数据可以为在虚拟网络设备变更编排后，且，变更开始前采集的历史流量数据。

在本发明实施例中，通过获取在虚拟网络设备变更开始后采集的实时流量数据，在实时流量数据为具有时序特征的流量数据的情况下，将实时流量数据输入预先训练的数据模型，并根据实时流量数据和数据模型输出针对实时流量数据的重构结果，生成第一偏差数据，根据第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，实现了对虚拟网络设备变更导致网络流量异常的检测优化，能够满足大规模网络中对不同类型设备的通用性要求，有利于建立统一的网络变更管理平台，进而能够通过统一的网络变更管理平台实现对全网各类变更的虚拟网络设备进行统一的、自适应的异常检测。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上异常检测的方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上异常检测的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种异常检测的方法和云网络平台，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种异常检测的方法，其特征在于，所述方法包括：

获取在虚拟网络设备变更开始后采集的实时流量数据；基于云网络中不同用户的应用类型的不同，所述虚拟网络设备的流量数据包括具有时序特征的流量数据和不具有时序特征的流量数据；

在所述实时流量数据为具有时序特征的流量数据的情况下，将所述实时流量数据输入预先训练的数据模型，并根据所述实时流量数据和所述数据模型输出针对所述实时流量数据的重构结果，生成第一偏差数据；

根据所述第一偏差数据和预先确定的异常数据阈值，生成异常检测结果；其中，所述异常数据阈值为对有时序的重构偏差曲线进行训练，进而对所述有时序的重构偏差曲线产生自适应的异常数据阈值，所述有时序的重构偏差曲线为对于具有时序特征的稳态数据曲线进行时序特征拟合获得的；

所述数据模型通过如下方式训练：

获取在所述虚拟网络设备变更开始前采集的第一历史流量数据；所述第一历史流量数据为在所述虚拟网络设备变更编排前采集的历史流量数据；

判断所述第一历史流量数据是否为具有时序特征的流量数据；

在所述第一历史流量数据为具有时序特征的流量数据的情况下，基于所述第一历史流量数据，对所述数据模型进行训练；

所述判断所述第一历史流量数据是否为具有时序特征的流量数据，包括：

对于所述第一历史流量数据中的数据序列，将其切分为多个子序列；

对所述多个子序列进行聚类；

根据聚类情况，判断所述第一历史流量数据是否为具有时序特征的流量数据；

将判断结果与所述虚拟网络设备的设备ID建立关联关系。

2.根据权利要求1所述的方法，其特征在于，在所述将所述实时流量数据输入预先训练的数据模型之前，还包括：

从所述实时流量数据中，去除噪声数据及突变数据。

3.根据权利要求2所述的方法，其特征在于，所述从所述实时流量数据中，去除噪声数据及突变数据，包括：

从所述实时流量数据中，去除突变数据；

从去除所述突变数据的实时流量数据中，提取处于稳态的实时流量数据。

4.根据权利要求1所述的方法，其特征在于，在所述将所述实时流量数据输入预先训练的数据模型之前，还包括：

对所述实时流量数据进行标准化。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一偏差数据和预先确定的异常数据阈值，生成异常检测结果，包括：

根据所述第一偏差数据和所述异常数据阈值，确定异常点；

在所述异常点的数量大于预设异常点数量的情况下，判定检测异常。

6.根据权利要求1所述的方法，其特征在于，还包括：

根据所述异常检测结果，进行异常告警。

7.根据权利要求1所述的方法，其特征在于，在所述获取在虚拟网络设备变更开始后采集的实时流量数据之前，还包括：

获取在所述虚拟网络设备变更开始前采集的第二历史流量数据；

在所述第二历史流量数据为具有时序特征的流量数据的情况下，将所述第二历史流量数据输入所述数据模型，并根据所述第二历史流量数据和所述数据模型输出针对所述第二历史流量数据的重构结果，生成第三偏差数据；

根据所述第三偏差数据，确定异常数据阈值。

8.根据权利要求7所述的方法，其特征在于，所述第二历史流量数据为在所述虚拟网络设备变更编排后，且，变更开始前采集的历史流量数据。

9.一种云网络平台，其特征在于，所述云网络平台包括用户设备、虚拟网络设备、数据库、服务器；其中，

所述用户设备，用于通过所述虚拟网络设备与网络端进行交互；

所述虚拟网络设备，用于建立所述用户设备与所述网络端的交互通道，并采集交互过程中的流量数据，将流量数据存储于所述数据库中；基于云网络中不同用户的应用类型的不同，所述虚拟网络设备的流量数据包括具有时序特征的流量数据和不具有时序特征的流量数据；

所述服务器，用于获取所述数据库中的流量数据以进行异常检测，具体包括：

实时流量数据获取模块，用于获取在虚拟网络设备变更开始后采集的实时流量数据；

第一时序特征拟合模块，用于在所述实时流量数据为具有时序特征的流量数据的情况下，将所述实时流量数据输入预先训练的数据模型，并根据所述实时流量数据和所述数据模型输出针对所述实时流量数据的重构结果，生成第一偏差数据；

异常阈值检测模块，用于根据所述第一偏差数据和预先确定的异常数据阈值，生成异常检测结果；其中，所述异常数据阈值为对有时序的重构偏差曲线进行训练，进而对所述有时序的重构偏差曲线产生自适应的异常数据阈值，所述有时序的重构偏差曲线为对于具有时序特征的稳态数据曲线进行时序特征拟合获得的；

所述数据模型通过如下方式训练：

获取在所述虚拟网络设备变更开始前采集的第一历史流量数据；所述第一历史流量数据为在所述虚拟网络设备变更编排前采集的历史流量数据；

判断所述第一历史流量数据是否为具有时序特征的流量数据；

在所述第一历史流量数据为具有时序特征的流量数据的情况下，基于所述第一历史流量数据，对所述数据模型进行训练；

所述判断所述第一历史流量数据是否为具有时序特征的流量数据，包括：

对于所述第一历史流量数据中的数据序列，将其切分为多个子序列；

对所述多个子序列进行聚类；

根据聚类情况，判断所述第一历史流量数据是否为具有时序特征的流量数据；

将判断结果与所述虚拟网络设备的设备ID建立关联关系。

10.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的异常检测的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的异常检测的方法。

Images