CN110704773A - 基于频繁行为序列模式的异常行为检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于频繁行为序列模式的异常行为检测方法及系统。所述方法包括根据所采集的数据，生成频繁行为序列模式集合；删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。本发明方法能够降低针对企业Web应用系统中的异常访问行为的检测模型构建和预测过程中的计算复杂度；并且减少模型的误报率，提高对于企业Web应用系统中的异常访问行为检测的准确程度。

Description

基于频繁行为序列模式的异常行为检测方法及系统

技术领域

本发明涉及数据分析处理领域，尤其涉及一种基于频繁行为序列模式的异常行为检测方法及系统。

背景技术

在企业的Web应用系统中，通常员工可以使用自己的账号登录企业的IT系统完成各种工作。Web应用系统给企业带来便利的同时也存在潜在的信息泄漏风险，比如员工之间通过共享账号看到了非职责范围内的信息或者由于账号被盗导致企业内部信息泄漏等。在企业中，每个员工的工作内容相对比较稳定，因此在使用企业不同Web应用系统过程中所产生的访问行为序列具有很强的规律性。通过检测员工登录不同Web应用系统(不同应用系统对应不同的IP地址和端口号)之后产生的访问行为序列发现异常的使用行为，及时采取相应措施，防止企业信息泄漏。

但是，目前的异常行为序列检测方法存在以下问题：

(1)目前的异常行为序列模式检测方法会产生大量的行为模式集合，造成在模型构建和预测过程中的计算复杂度比较大；

(2)目前的异常行为序列模式检测方法无法自动更新模型以适应实际行为模式的变化，导致模型的误报率越来越高。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

鉴于上述问题，本发明的第一个目的在于提供一种基于频繁行为序列模式的异常行为检测方法。该方法能够提高异常行为检测模型应对由于员工部分工作内容发生变化导致实际访问行为变化的能力，减少模型的误报率。

本发明的第二个目的在于提供一种基于频繁行为序列模式的异常行为检测系统。

本发明的第三个目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述方法中的步骤。

本发明的第四个目的在于提供一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法中的步骤。

为实现上述第一个目的，本发明采用了如下的技术方案：

一种基于频繁行为序列模式的异常行为检测方法，所述方法包括如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

优选地，根据所采集的数据，生成所述频繁行为序列模式集合的过程包括：

将所采集的数据按照时间划分为若干数据块；

针对数据块内的所有行为序列，生成行为序列模式，并统计每个行为序列模式的计数，得到行为序列模式集合；

计算行为序列模式集合中每个行为序列模式的支持度，得到行为序列模式支持度集合；

设定最小支持度阈值，挑选出行为序列模式支持度集合中大于最小支持度阈值的行为序列模式，组成新的集合，即为频繁行为序列模式集合。

优选地，所述支持度的定义为：

在行为序列模式集合中，任一行为序列模式的出现次数与该行为序列模式集合的大小之比，即为该行为序列模式的支持度。

优选地，剔除所述频繁行为序列模式集合中的所有子行为序列模式，对所述频繁行为序列模式集合进行压缩的过程包括：

从频繁行为序列模式集合中任选一个未被访问过的频繁行为序列模式B_i ^p，针对集合中除了B_i ^p以外的任一频繁行为序列模式B_j ^p，如果B_j ^p为B_i ^p子行为序列，则将B_j ^p从集合中删除；

如果不存在未被访问过的频繁行为序列模式，则输出所述频繁行为序列模式集合，否则重复上一步骤。

优选地，所述异常行为检测模型集合包括多个压缩后的频繁行为序列模式。

优选地，对所述异常行为检测模型集合进行动态更新的过程包括：

对于当前构建的异常行为检测模型集合，使用每一个模型对新产生的行为序列模式集合中的每一个行为序列模式进行预测，并根据预测结果将超过半数的结果作为最终输出结果；

根据最终输出结果计算各个异常行为检测模型的准确率，将准确率最低的异常行为检测模型从异常行为检测模型集合中删除，得到动态更新后的异常行为检测模型集合。

优选地，所述利用动态更新后的异常行为检测模型集合对新产生的频繁行为序列模式集合进行检测的过程包括：

利用动态更新后的异常行为检测模型集合中的各个模型对新产生的行为序列模式集合中的每个行为序列模式进行预测，得到预测结果；

针对每个行为序列模式，将超过多半数的预测结果作为最终预测结果。

优选地，所述利用动态更新后的异常行为检测模型集合中的各个模型对新产生的行为序列模式集合中的每个行为序列模式进行预测的过程为：

对于新产生的行为序列模式，如果满足以下2个条件之一，则认为该序列模式为正常行为序列模式，否则认为该行为序列模式为异常行为序列模式：

(1)新产生的行为序列模式为模型中某个频繁行为序列模式的子序列；

(2)新产生的行为序列模式与模型中某个频繁行为序列模式的编辑距离小于设定阈值。

为实现上述第二个目的，本发明采用了如下的技术方案：

一种基于频繁行为序列模式的异常行为检测系统，所述系统包括：

生成模块，用于根据所采集的数据，生成频繁行为序列模式集合；

压缩模块，用于删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

集成更新模块，用于基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

检测模块，用于利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

为实现上述第三个目的，本发明采用了如下的技术方案：

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

为实现上述第四个目的，本发明采用了如下的技术方案：

一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

本发明有益效果：

(1)本发明的方法能够减少异常行为序列模式构建过程中产生的冗余行为模式，降低针对企业Web应用系统中的异常访问行为的检测模型构建和预测过程中的计算复杂度；

(2)本发明的方法基于集成学习框架，动态更新模型，以适应实际行为模式的变化，减少模型的误报率，提高对于企业Web应用系统中的异常访问行为检测的准确程度。

附图说明

图1示出了实施例1中的基于频繁行为序列模式的异常行为检测方法流程图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明进行详细描述。在这些附图中，对于相同或者相当的构成要素，标注相同标号。以下仅为本发明的最佳实施方式，本发明并不仅限于下述内容。

实施例1

本实施例涉及一种基于频繁行为序列模式的异常行为检测方法。

图1示出了实施例1中的基于频繁行为序列模式的异常行为检测方法流程图。

在该实施例中，对相关术语进行如下定义：

针对术语“行为序列”，做如下定义：

对于访问Web应用系统行为b以及该访问行为发生的时间t，令元组(b,t)表示在时间t产生了行为b，则对于行为集合{(b₁,t₁),(b₂,t₂),...,(b_n,t_n)}，如果满足t₁＜t₂＜...＜t_n，其中t_i＜t_i+1表示时间t_i早于时间t_i+1，则称(b₁,b₂,...,b_n)为一个行为序列。

针对术语“行为序列模式”，做如下定义：

对于一个行为序列(b₁,b₂,...,b_n)，它的任一子序列(b_i,b_i+1,...,b_j)，其中1≤i＜j≤n，称为该行为序列的一个行为序列模式，记为B^p。

针对术语“支持度”，做如下定义：

在行为序列模式集合中，任一行为序列模式的出现次数与该行为序列模式集合的大小之比，即为该行为序列模式的支持度。

具体地，对于行为序列模式集合

n_i为行为序列模式

出现的次数，则称n_i/n为

的支持度。

针对术语“频繁行为序列模式”，做如下定义：

对于任一行为序列模式

如果它的支持度I_i大于最小支持度阈值I_min，则称为频繁行为序列模式。

本实施例的基于频繁行为序列模式的异常行为检测方法的基本思路是：采用频繁行为序列模式表示正常的行为模式，对于新产生的行为序列，如果与频繁行为序列模式不相符，则认为是异常行为。

如图1所示，本实施例的基于频繁行为序列模式的异常行为检测方法包括如下步骤：

步骤S1，从企业庞大的数据信息中采集所需的数据，所需的信息主要为访问企业Web应用系统的行为，以及该行为发生的时间。

步骤S2，根据所采集的数据，生成频繁行为序列模式集合。

上述生成频繁行为序列模式集合的过程包括如下步骤：

步骤S201，将所采集的数据按照时间划分为若干数据块。

步骤S202，针对数据块内的所有行为序列，生成行为序列模式，并统计每个行为序列模式的计数，得到行为序列模式集合。

具体地，例如针对数据块i内的所有行为序列(b₁,b₂,...,b_n)，生成行为序列模式B^p，并统计每个行为序列模式的计数，得到行为序列模式集合

n_i为行为序列模式出现的次数。

步骤S203，计算行为序列模式集合中每个行为序列模式的支持度，得到行为序列模式支持度集合。

具体地，例如计算行为序列模式集合S中各个行为序列模式的支持度，即I_i＝n_i/(n₁+n₂+...+n_n)，得到序列模式支持度集合

步骤S204，设定最小支持度阈值，挑选出行为序列模式支持度集合中大于最小支持度阈值的行为序列模式，组成新的集合，即为频繁行为序列模式集合。

具体地，例如根据最小支持度阈值I_min过滤集合S^I，即挑选出I_i＞I_min的元素，得到集合

其中k≤n；根据得到频繁行为序列模式集合

步骤S3，删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩。

在实际应用中，频繁行为序列模式集合中会存在冗余的行为序列模式，造成模型的计算复杂度比较高，为此采用频繁行为序列模式的子行为序列模式也是频繁行为序列模式的性质，去掉所有的子行为序列模式，只留下行为序列长度最长的模式，以此方式对频繁行为序列模式集合进行压缩。

该压缩过程具体包括如下步骤：

步骤S301，从频繁行为序列模式集合B^p中任选一个未被访问过的频繁行为序列模式

针对集合中除了以外的任一频繁行为序列模式

如果

为

子行为序列，则将

从集合B^p中删除。

步骤S302，如果不存在未被访问过的频繁行为序列模式，则输出所述频繁行为序列模式集合，否则重复上一步骤S301。

步骤S4，基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新。

针对实际应用中行为模式会随着时间发生变化的问题，解决的思路为首先将行为序列数据按照时间划分成多个数据块，然后在每个数据块上构建相应模型，最后基于集成学习框架对这些模型进行融合和更新，即为步骤4的集成模型过程。

基于压缩后的频繁行为序列模式集合构建的异常行为检测模型集合，实际上就是步骤S3中输出的压缩后的频繁序列模式集合，也即，异常行为检测模型包括多个压缩后的频繁行为序列模式，每个模型实际上由多个频繁行为序列模式组成。

步骤4中，当一个在新数据块上构建的模型被输出到集成模型过程时，如果当前模型的数量超过了设定的阈值，则需要删除其中性能比较差的一个模型，该过程即是对异常行为检测模型集合进行动态更新的过程。该过程采用少数服从多数的投票法进行判决，具体步骤如下：

步骤S401，对于当前构建的异常行为检测模型集合，使用每一个模型对新产生的行为序列模式集合中的每一个行为序列模式进行预测，并根据预测结果将超过半数的结果作为最终输出结果。

具体地，例如对于当前构建的异常行为检测模型集合E＝{E₁,E₂,...,E_p}和待测试的新产生的行为序列模式集合B，使用每一个模型E_i对B中的每一个行为序列模式进行预测，并根据预测结果将超过半数的结果作为最终输出结果。

步骤S402，根据最终输出结果计算各个异常行为检测模型的准确率，将准确率最低的异常行为检测模型从异常行为检测模型集合中删除，得到动态更新后的异常行为检测模型集合。

具体地，例如根据上一步S401得到的测试集合B的最终输出结果计算各个模型E_i的准确率，并将其中准确率最低的模型删除，即得到动态更新后的异常行为检测模型集合。

步骤S5，从企业庞大的数据信息中分离出新产生的行为序列模式集合，以便利用上述步骤S4中得到的动态更新后的异常行为检测模型集合对其进行检测。

步骤S6，利用动态更新后的异常行为检测模型集合对新产生的频繁行为序列模式集合进行检测，判断其是否为异常行为，并输出结果。

本步骤中，对于新产生的行为序列集合，检测的过程如下：

利用动态更新后的异常行为检测模型集合中的各个模型对新产生的行为序列模式集合中的每个行为序列模式进行预测，得到预测结果；

针对每个行为序列模式，将超过多半数的预测结果作为最终预测结果。

利用动态更新后的异常行为检测模型集合中的各个模型对新产生的行为序列模式集合中的每个行为序列模式进行预测的过程为：

对于新产生的行为序列模式，如果满足以下2个条件之一，则认为该序列模式为正常行为序列模式，否则认为该行为序列模式为异常行为序列模式：

(1)新产生的行为序列模式为模型中某个频繁行为序列模式的子序列；

(2)新产生的行为序列模式与模型中某个频繁行为序列模式的编辑距离小于设定阈值。

检测的具体步骤为：

步骤S601，针对新产生的行为序列模式B，生成它的行为序列模式集合，即为集合

步骤S602，利用动态更新后的检测模型集合E'＝{E'₁,E'₂,...,E'_p}中的每一个模型E’_i对B^m中的每一个行为序列模式B^m _i进行预测，得到预测结果R＝{R₁,R₂,...,R_n}，其中R_i＝{r₁,r₂,...,r_p}，其中，R_n表示E'对行为序列模式

的预测结果，r_n表示E'中第n个模型对行为序列模式

的预测结果。

步骤S603，对每个R_i＝{r₁,r₂,...,r_p}进行统计，将超过半数的预测结果作为行为序列模式

的最终预测结果

其中，在上述步骤S602中，利用E’_i对B^m _i进行预测的过程如下：

动态更新后的异常行为检测模型集合为E'＝{E₁',E₂',...,E_p'}，其中

对于

中的任意一个频繁行为序列模式

如果

是

的一个子序列或者与

的编辑距离小于人为设定的阈值d，则认为

为正常行为序列模式，否则为异常行为序列模式。

本实施例的方法能够提高异常检测模型应对由于员工部分工作内容发生变化导致实际访问行为变化的能力，减少模型的误报率，提高检测异常行为的准确性。

其中，针对实际应用过程中产生过多频繁行为序列模式导致计算复杂度较高的问题，本实施例采用频繁行为序列模式的子行为序列模式也是频繁行为序列模式的性质，去掉所有的子行为序列模式，只留下行为序列长度最长的模式，将频繁行为序列模式进行压缩。

其中，针对实际应用中行为模式会随着时间发生变化的问题，首先将行为序列数据按照时间划分成多个数据块，然后在每个数据块上构建相应模型，最后基于集成学习框架对这些模型进行融合和更新，得到动态更新后的检测模型集合。

实施例2

本实施例涉及一种基于频繁行为序列模式的异常行为检测系统，该系统包括：

生成模块，用于根据所采集的数据，生成频繁行为序列模式集合；

压缩模块，用于删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

集成更新模块，用于基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

检测模块，用于利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

实施例3

本实施例涉及一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

实施例4

本实施例涉及一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行上述程序时实现如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进。这些变型和改进也视为本发明的保护范围。

Claims (11)

1.一种基于频繁行为序列模式的异常行为检测方法，其特征在于，所述方法包括如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

2.根据权利要求1所述的基于频繁行为序列模式的异常行为检测方法，其特征在于，根据所采集的数据，生成所述频繁行为序列模式集合的过程包括：

将所采集的数据按照时间划分为若干数据块；

针对数据块内的所有行为序列，生成行为序列模式，并统计每个行为序列模式的计数，得到行为序列模式集合；

计算行为序列模式集合中每个行为序列模式的支持度，得到行为序列模式支持度集合；

设定最小支持度阈值，挑选出行为序列模式支持度集合中大于最小支持度阈值的行为序列模式，组成新的集合，即为频繁行为序列模式集合。

3.根据权利要求2所述的基于频繁行为序列模式的异常行为检测方法，其特征在于，所述支持度的定义为：

在行为序列模式集合中，任一行为序列模式的出现次数与该行为序列模式集合的大小之比，即为该行为序列模式的支持度。

4.根据权利要求1所述的基于频繁行为序列模式的异常行为检测方法，其特征在于，剔除所述频繁行为序列模式集合中的所有子行为序列模式，对所述频繁行为序列模式集合进行压缩的过程包括：

从频繁行为序列模式集合中任选一个未被访问过的频繁行为序列模式B_i ^p，针对集合中除了B_i ^p以外的任一频繁行为序列模式B_j ^p，如果B_j ^p为B_i ^p子行为序列，则将B_j ^p从集合中删除；

如果不存在未被访问过的频繁行为序列模式，则输出所述频繁行为序列模式集合，否则重复上一步骤。

5.根据权利要求1所述的基于频繁行为序列模式的异常行为检测方法，其特征在于，所述异常行为检测模型集合包括多个压缩后的频繁行为序列模式。

6.根据权利要求1所述的基于频繁行为序列模式的异常行为检测方法，其特征在于，对所述异常行为检测模型集合进行动态更新的过程包括：

对于当前构建的异常行为检测模型集合，使用每一个模型对新产生的行为序列模式集合中的每一个行为序列模式进行预测，并根据预测结果将超过半数的结果作为最终输出结果；

根据最终输出结果计算各个异常行为检测模型的准确率，将准确率最低的异常行为检测模型从异常行为检测模型集合中删除，得到动态更新后的异常行为检测模型集合。

7.根据权利要求1所述的基于频繁行为序列模式的异常行为检测方法，其特征在于，所述利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测的过程包括：

利用动态更新后的异常行为检测模型集合中的各个模型对新产生的行为序列模式集合中的每个行为序列模式进行预测，得到预测结果；

针对每个行为序列模式，将超过多半数的预测结果作为最终预测结果。

8.根据权利要求7所述的基于频繁行为序列模式的异常行为检测方法，其特征在于，所述利用动态更新后的异常行为检测模型集合中的各个模型对新产生的行为序列模式集合中的每个行为序列模式进行预测的过程为：

对于新产生的行为序列模式，如果满足以下2个条件之一，则认为该序列模式为正常行为序列模式，否则认为该行为序列模式为异常行为序列模式：

(1)新产生的行为序列模式为模型中某个频繁行为序列模式的子序列；

(2)新产生的行为序列模式与模型中某个频繁行为序列模式的编辑距离小于设定阈值。

9.一种基于频繁行为序列模式的异常行为检测系统，其特征在于，所述系统包括：

生成模块，用于根据所采集的数据，生成频繁行为序列模式集合；

压缩模块，用于删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

集成更新模块，用于基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

检测模块，用于利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

11.一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如下步骤：

根据所采集的数据，生成频繁行为序列模式集合；

删除频繁行为序列模式集合中的所有子行为序列模式，对频繁行为序列模式集合进行压缩；

基于压缩后的频繁行为序列模式集合构建异常行为检测模型集合，并对异常行为检测模型集合进行动态更新；

利用动态更新后的异常行为检测模型集合对新产生的行为序列模式集合进行检测，输出结果。

Images