CN117499103A - 一种用户异常行为检测方法、系统、装置及可读存储介质 - Google Patents
一种用户异常行为检测方法、系统、装置及可读存储介质 Download PDFInfo
- Publication number
- CN117499103A CN117499103A CN202311442663.4A CN202311442663A CN117499103A CN 117499103 A CN117499103 A CN 117499103A CN 202311442663 A CN202311442663 A CN 202311442663A CN 117499103 A CN117499103 A CN 117499103A
- Authority
- CN
- China
- Prior art keywords
- user
- data
- behavior
- log
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000006399 behavior Effects 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000001174 ascending effect Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000007639 printing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提出的一种用户异常行为检测方法、系统、装置及可读存储介质，属于计算机技术领域。所述方法包括：获取用户的操作日志和流量日志；将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储；针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集；利用基线算法生成每个用户的个体基线值；根据每个用户的个体基线值计算每种操作行为的群组基线值；实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。本发明可以更准确的检测用户的异常操作行为，并帮助分析人员识别那些基于固定规则无法发现的、未知的安全事件。
Description
技术领域
本发明涉及计算机技术领域，更具体的说是涉及一种用户异常行为检测方法、系统、装置及可读存储介质。
背景技术
随着网络安全技术的迅速发展，恶意程序不在是主要和必要攻击手段，以大数据、威胁情报、人工智能、协同联动等技术为代表的网络安全技术不断涌现。新技术的核心目标不在是程序与程序的对抗，而是人与人的对抗。与此同时，用户行为分析成为近年来各网络安全平台研究的重点。
用户行为分析中的分析过程有多种方式，其中规则分析是较为常用的一种。规则分析将分析逻辑规则化，通过构建一套规则描述语言，将复杂的分析逻辑使用规则来表达。基于规则的分析，通过规则配置可以快速应对不同的分析指标和分析需求，简化了分析过程的实现。
但是，传统的规则分析往往是“静态的”、“固化的”，其对已知特征的风险行为可以较好的支持，在面对动态变化的行为模式或未知异常时，规则分析就显得捉襟见肘。例如，当前常用的基于静态阈值规则的分析方法，由于不能应对实体行为模式的差异和变化，会导致分析结果的误报或漏报。
发明内容
针对以上问题，本发明的目的在于提供一种用户异常行为检测方法、系统、装置及可读存储介质，利用基于行为基线的分析方法，根据实体的历史行为数据，来生成可对比的动态基准数据，从而可以更准确的检测用户的异常操作行为，并帮助分析人员识别那些基于固定规则无法发现的、未知的安全事件。
本发明为实现上述目的，通过以下技术方案实现：一种用户异常行为检测方法，包括：
获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据；
将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储；
针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集；
利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值；
根据每个用户的个体基线值计算每种操作行为的群组基线值；
实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
进一步，所述获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据，包括：
通过日志采集工具获取用户的操作日志，通过流量监测器获取用户的流量日志；
其中，所述操作日志包括：记录用户操作应用系统行为、打印行为、刻录行为、卸载行为、删除行为、修改配置策略行为的日志；所述流量日志包括用户访问其他终端和服务器产生的日志。
进一步，所述将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储，包括：
将所述日志数据依次进行数据过滤、结构化转换；
根据不同的操作行为分成不同类型的日志数据，并存储到数据库中。
进一步，所述针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集，包括：
在每类日志数据中，根据固定的时间粒度统计每个用户在固定时间段内的事件数据，生成每个用户的数据集。
进一步，所述利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值，包括：
根据数据集X中每个数据元素的值，按升序对数据元素进行排序；
若数据集X的元素个数为奇数，则将排序后位于中间位置的数据元素的值作为数据集X的中位数Median；
若数据集X的元素个数为偶数，则获取排序后位于中间位置的两个数据元素的值，计算其平均值，作为数据集X的中位数Median；
对于数据集X中每个数据元素的值 xi，利用公式
Di=|xi - Median|计算xi与中位数 Median 的偏差值Di；
按升序对偏差值Di进行排序，并构建偏差数据集D；
若数据集D的元素个数为奇数，则将排序后位于中间位置的数据元素Di的值作为数据集X的绝对中位差MAD；
若数据集D的元素个数为偶数，则获取排序后位于中间位置的两个数据元素的值，计算其平均值，作为数据集X的绝对中位差MAD；
所述每个用户的个体基线值包括上偏移值和下偏移值；
根据以下公式计算出上偏移值A和下偏移值B；
A = Median + M*MAD
B = Median - N*MAD
其中，M、N均为可变参数。
进一步，所述根据每个用户的个体基线值计算每种操作行为的群组基线值，包括：
通过计算用户个体基线值的平均值或中位数，得到每种操作行为的群组基线值。
进一步，所述实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数，包括：
实时获取用户的操作行为数据；
根据操作行为类型选取相应的群组基线值；
判断操作行为数据的取值是否在群组基线值的取值范围内；若是，则用户行为正常；否则，用户行为异常；
统计预设时间段内，每种操作行为中识别为用户异常行为的数量，若该数量大于预设阈值，通过调整可变参数M、N，更新相应操作行为的群组基线值。
相应的，本发明还公开了一种用户异常行为检测系统，包括：
日志获取模块，配置用于获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据；
日志数据处理模块，配置用于将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储；
数据聚集模块，配置用于针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集；
第一计算模块，配置用于利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值；
第二计算模块，配置用于根据每个用户的个体基线值计算每种操作行为的群组基线值；
检测及更新模块，配置用于实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
相应的，本发明公开了一种用户异常行为检测装置，包括：
存储器，用于存储用户异常行为检测程序；
处理器，用于执行所述用户异常行为检测程序时实现如上文任一项所述用户异常行为检测方法的步骤。
相应的，本发明公开了一种可读存储介质，所述可读存储介质上存储有用户异常行为检测程序，所述用户异常行为检测程序被处理器执行时实现如上文任一项所述用户异常行为检测方法的步骤。
对比现有技术，本发明有益效果在于：本发明公开了一种用户异常行为检测方法、系统、装置及可读存储介质，利用基于行为基线的分析方法，根据实体的历史行为数据，来生成可对比的动态基准数据，从而可以更准确的检测用户的异常操作行为。
本发明采用基于行为的检测方法，使用检测对象数据和日志，采用各种方法学习出行为特征，建立安全基线，可以对异常检测、风险评分提供数据支持。通过构建群组分析，可以跨越单个用户、实体的局限，看到更大的事实；通过对比群组，可快速准确的实现异常检测；通过概率评估可以降低误报，提升信噪比；组合基线分析、群组分析，可以构成全时空的上下文环境；通过配置基线可以将某一类的规则合并，减少规则的数量，减少算力浪费。本发明不需要用户手工设置检查基线，通过动态调整正常用户行为轮廓窗口,连续更新最近的用户行为轮廓，极大的提高了检测效率。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明具体实施方式的方法流程图。
图2是本发明具体实施方式的系统结构图。
图中，1、日志获取模块；2、日志数据处理模块；3、数据聚集模块；4、第一计算模块；5、第二计算模块；6、检测及更新模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种用户异常行为检测方法，包括如下步骤：
S1：获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据。
在具体实施方式中，通过日志采集工具获取用户的操作日志，通过流量监测器获取用户的流量日志。
其中，用户的操作日志是指用户操作应用系统、打印、刻录、卸载、删除、修改配置策略等行为的日志，流量日志是指用户访问其他终端、服务器等产生的日志。可以通过流量监测器、日志分析工具等收集syslog、流量等网络行为日日志，将非结构化日志转换成结构化数据，用于行为分析。
S2：将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储。
在具体实施方式中，首先将所述日志数据依次进行数据过滤、结构化转换；然后根据不同的操作行为分成不同类型的日志数据，并存储到数据库中，得到易于分析的日志数据。
S3：针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集。
在具体实施方式中，在每类日志数据中，根据固定的时间粒度统计每个用户在固定时间段内的事件数据，生成每个用户的数据集。
可见，本步骤实现了数据聚集。作为示例的，取近一周，一月时间段内按照小时，天等时间粒度进行事件数据统计，例如统计近一月，不同用户每天的打印次数，每个用户得到一个数据集。
S4：利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值。
在具体实施方式中，本步骤所采用的计算原理具体如下：
1.计算中位数（Median）：
根据数据集X中每个数据元素的值，按升序对数据元素进行排序；
若数据集X的元素个数为奇数，则将排序后位于中间位置的数据元素的值作为数据集X的中位数Median；
若数据集X的元素个数为偶数，则获取排序后位于中间位置的两个数据元素的值，计算其平均值，作为数据集X的中位数Median。
需要特别说明的是，中位数是按顺序排列的一组数据中居于中间位置的数，代表一个样本分布中的一个数值，其可将数值集合划分为数量相等的上下两部分。
2、计算偏差：
对于数据集X中每个数据元素的值 xi，利用公式
Di=|xi - Median|计算xi与中位数 Median 的偏差值Di。
3、利用中位数的计算原理计算出绝对中位差MAD：
在统计学中，MAD值是对单变量数值型数据的样本偏差的一种鲁棒性测量，先计算出样本数据与他们的中位数之前的偏差，MAD值就是这些偏差的绝对值的中位数。其具体计算过程如下：
按升序对偏差值Di进行排序，并构建偏差数据集D；
若数据集D的元素个数为奇数，则将排序后位于中间位置的数据元素Di的值作为数据集X的绝对中位差MAD；
若数据集D的元素个数为偶数，则获取排序后位于中间位置的两个数据元素的值，计算其平均值，作为数据集X的绝对中位差MAD。
4、计算个体基线值：
其中，每个用户的个体基线值包括上偏移值和下偏移值；
根据以下公式计算出上偏移值A和下偏移值B；
A = Median + M*MAD
B = Median - N*MAD
其中，M、N均为可变参数。M、N的值越大基线偏移线覆盖的范围越大，反之越小，如可以定义M、N为1.25，计算出的结果即为中位数加上（减去）1.25倍的MAD值。推荐M、N的值定义为1.5以上，可以根据实际数据情况调整M、N的值对基线结果进行调优。
S5：根据每个用户的个体基线值计算每种操作行为的群组基线值。
在具体实施方式中，通过计算用户个体基线值的平均值或中位数，得到每种操作行为的群组基线值。
可见，本方法利用上述步骤计算出用户的行为基线，以利用行为基线进行行为的异常识别。其中，行为基线是指为用户行为或资产行为所建立的特征规律数据，通过行为样本数据与行为基线的对比，数据呈现概率分布，通过一定的评估方法和迭代成为基准数据，用来刻画行为真实情况，检测异常行为和行为模式预测。
本方法在计算每个时间段中位数的同时，计算这个时间段统计量的MAD值，通过上偏移和下偏移的不同，可以得到两条随着时间变化的偏差线，这里叫做轮廓线。实际网络行为的统计量可以和轮廓线进行比较，如果落在轮廓线区间内，则属于正常情况，否则，可判断为异常行为。
S6：实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
在具体实施方式中，首先实时获取用户的操作行为数据；并根据操作行为类型选取相应的群组基线值。
此时，判断操作行为数据的取值是否在群组基线值的取值范围内；若是，则用户行为正常；否则，用户行为异常。
然后，统计预设时间段内，每种操作行为中识别为用户异常行为的数量，若该数量大于预设阈值，通过调整可变参数M、N，更新相应操作行为的群组基线值。例如，用户下载数量和频次异常，可以通过对用户下载行为的数量和频次按时间段进行统计，和基线轮廓进行比较的方式判断出异常下载，但这种情况可能只是有突发情况需要打印文件数量较多而已，如果我们结合用户状态来进行分析，如果用户是离职办理中状态，则异常打印文件的概率会很大。
其中，可变参数M、N可通过如下规律进行调整：当发现异常识别的灵敏度过低，即群组基线的宽度过大，可采用提高M的取值或降低N的取值的方法来增加群组基线的宽度；相反的，如果异常识别的灵敏度过高，即群组基线的宽度过大，容易出现识别错误，则采用降低M的取值或提高N的取值的方法来增加群组基线的宽度。
由此可见，本发明提供了一种用户异常行为检测方法，基于中位数和MAD值（绝对中位差 Median Absolute Deviation）的多维度基线自学习和异常行为分析，通过动态自学习的时变行为轮廓异常分析方法，根据学习得到的正常用户的行为模式去判断某个给定的用户行为是否在设定的范围之内,作为异常检测的依据。本方法可以更准确的检测用户的异常操作行为，并帮助分析人员识别那些基于固定规则无法发现的、未知的安全事件。
基于上述实施例，如图2所示，本发明还公开了一种用户异常行为检测系统，包括：日志获取模块1、日志数据处理模块2、数据聚集模块3、第一计算模块4、第二计算模块5和检测及更新模块6。
日志获取模块1，配置用于获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据。
日志数据处理模块2，配置用于将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储。
数据聚集模块3，配置用于针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集。
第一计算模块4，配置用于利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值。
第二计算模块5，配置用于根据每个用户的个体基线值计算每种操作行为的群组基线值。
检测及更新模块6，配置用于实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
在具体实施方式中，本系统所采用的基线算法具体如下：
1.计算中位数（Median）：
对给定的数据集进行排序，将数据点按升序排列。
若数据集的元素个数为奇数，则中位数为排序后位于中间位置的数据点的值。
若数据集的元素个数为偶数，则中位数为排序后位于中间两个数据点之间的数据点的值的平均值。
2.计算偏差（Deviation）：
对于每个数据点 xi，计算其与中位数 Median 的差值的绝对值：|xi - Median|。
3.计算MAD值（Median Absolute Deviation）：
对第2步得到的偏差值进行排序，将其按升序排列，并计算中位数及MAD值。
MAD计算公式为： MAD = Median(|xi - Median|)
其中，xi 表示数据集中的每个数据点，Median 表示数据集的中位数。
4.计算个体基线值：
基线上偏移 = Median + M*MAD
基线下偏移 = Median - N*MAD
其中，M、N作为可变参数，M、N的值越大基线偏移线覆盖的范围越大，反之越小，如可以定义M、N为1.25，计算出的结果即为中位数加上（减去）1.25倍的MAD值。推荐M、N的值定义为1.5以上，可以根据实际数据情况调整M、N的值对基线结果进行调优。
本实施例的用户异常行为检测系统的具体实施方式与上述用户异常行为检测方法的具体实施方式基本一致，在此不再赘述。
本发明还公开了一种用户异常行为检测装置，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的用户异常行为检测程序时实现以下步骤：
1、获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据。
2、将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储。
3、针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集。
4、利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值。
5、根据每个用户的个体基线值计算每种操作行为的群组基线值。
6、实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
进一步的，本实施例中的用户异常行为检测装置，还可以包括：
输入接口，用于获取外界导入的用户异常行为检测程序，并将获取到的用户异常行为检测程序保存至所述存储器中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器中，以便处理器利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。
输出接口，用于将处理器产生的各种数据输出至与其相连的终端设备，以便于与输出接口相连的其他终端设备能够获取到处理器产生的各种数据。本实施例中，所述输出接口具体可以包括但不限于USB接口、串行接口等。
通讯单元，用于在用户异常行为检测装置和外部服务器之间建立远程通讯连接，以便于用户异常行为检测装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。
键盘，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。
显示器，用于运行用户异常行为检测过程的相关信息进行实时显示。
鼠标，可以用于协助用户输入数据并简化用户的操作。
本发明还公开了一种可读存储介质，这里所说的可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。可读存储介质中存储有用户异常行为检测程序，所述用户异常行为检测程序被处理器执行时实现以下步骤：
1、获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据。
2、将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储。
3、针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集。
4、利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值。
5、根据每个用户的个体基线值计算每种操作行为的群组基线值。
6、实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
综上所述，本发明利用基于行为基线的分析方法，根据实体的历史行为数据，来生成可对比的动态基准数据，从而可以更准确的检测用户的异常操作行为，并帮助分析人员识别那些基于固定规则无法发现的、未知的安全事件。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的用户异常行为检测方法、系统、装置及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种用户异常行为检测方法，其特征在于，包括：
获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据；
将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储；
针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集；
利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值；
根据每个用户的个体基线值计算每种操作行为的群组基线值；
实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
2.根据权利要求1所述的用户异常行为检测方法，其特征在于，所述获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据，包括：
通过日志采集工具获取用户的操作日志，通过流量监测器获取用户的流量日志；
其中，所述操作日志包括：记录用户操作应用系统行为、打印行为、刻录行为、卸载行为、删除行为、修改配置策略行为的日志；所述流量日志包括用户访问其他终端和服务器产生的日志。
3.根据权利要求2所述的用户异常行为检测方法，其特征在于，所述将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储，包括：
将所述日志数据依次进行数据过滤、结构化转换；
根据不同的操作行为分成不同类型的日志数据，并存储到数据库中。
4.根据权利要求3所述的用户异常行为检测方法，其特征在于，所述针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集，包括：
在每类日志数据中，根据固定的时间粒度统计每个用户在固定时间段内的事件数据，生成每个用户的数据集。
5.根据权利要求4所述的用户异常行为检测方法，其特征在于，所述利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值，包括：
根据数据集X中每个数据元素的值，按升序对数据元素进行排序；
若数据集X的元素个数为奇数，则将排序后位于中间位置的数据元素的值作为数据集X的中位数Median；
若数据集X的元素个数为偶数，则获取排序后位于中间位置的两个数据元素的值，计算其平均值，作为数据集X的中位数Median；
对于数据集X中每个数据元素的值 xi，利用公式
Di=|xi - Median|计算xi与中位数 Median 的偏差值Di；
按升序对偏差值Di进行排序，并构建偏差数据集D；
若数据集D的元素个数为奇数，则将排序后位于中间位置的数据元素Di的值作为数据集X的绝对中位差MAD；
若数据集D的元素个数为偶数，则获取排序后位于中间位置的两个数据元素的值，计算其平均值，作为数据集X的绝对中位差MAD；
所述每个用户的个体基线值包括上偏移值和下偏移值；
根据以下公式计算出上偏移值A和下偏移值B；
A = Median + M*MAD
B = Median - N*MAD
其中，M、N均为可变参数。
6.根据权利要求5所述的用户异常行为检测方法，其特征在于，所述根据每个用户的个体基线值计算每种操作行为的群组基线值，包括：
通过计算用户个体基线值的平均值或中位数，得到每种操作行为的群组基线值。
7.根据权利要求6所述的用户异常行为检测方法，其特征在于，所述实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数，包括：
实时获取用户的操作行为数据；
根据操作行为类型选取相应的群组基线值；
判断操作行为数据的取值是否在群组基线值的取值范围内；若是，则用户行为正常；否则，用户行为异常；
统计预设时间段内，每种操作行为中识别为用户异常行为的数量，若该数量大于预设阈值，通过调整可变参数M、N，更新相应操作行为的群组基线值。
8.一种用户异常行为检测系统，其特征在于，包括：
日志获取模块，配置用于获取用户的操作日志和流量日志，作为记录用户操作行为的日志数据；
日志数据处理模块，配置用于将所述日志数据进行结构化转换，按照不同的操作行为对日志数据进行分类存储；
数据聚集模块，配置用于针对每种操作行为的日志数据，通过进行事件数据统计，生成每个用户的数据集；
第一计算模块，配置用于利用基线算法计算数据集的中位数和相应的绝对中位差，并生成每个用户的个体基线值；
第二计算模块，配置用于根据每个用户的个体基线值计算每种操作行为的群组基线值；
检测及更新模块，配置用于实时获取用户的操作行为数据，根据操作行为类型选取相应的群组基线值检测用户的异常行为，总结检测结果并调节基线算法的参数。
9.一种用户异常行为检测装置，其特征在于，包括：
存储器，用于存储用户异常行为检测程序；
处理器，用于执行所述用户异常行为检测程序时实现如权利要求1至7任一项权利要求所述的用户异常行为检测方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有用户异常行为检测程序，所述用户异常行为检测程序被处理器执行时实现如权利要求1至7任一项权利要求所述的用户异常行为检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311442663.4A CN117499103A (zh) | 2023-11-01 | 2023-11-01 | 一种用户异常行为检测方法、系统、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311442663.4A CN117499103A (zh) | 2023-11-01 | 2023-11-01 | 一种用户异常行为检测方法、系统、装置及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117499103A true CN117499103A (zh) | 2024-02-02 |
Family
ID=89673758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311442663.4A Pending CN117499103A (zh) | 2023-11-01 | 2023-11-01 | 一种用户异常行为检测方法、系统、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117499103A (zh) |
-
2023
- 2023-11-01 CN CN202311442663.4A patent/CN117499103A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111475804B (zh) | 一种告警预测方法及系统 | |
| CN107493277B (zh) | 基于最大信息系数的大数据平台在线异常检测方法 | |
| CN111614690B (zh) | 一种异常行为检测方法及装置 | |
| CN111262722B (zh) | 一种用于工业控制系统网络的安全监测方法 | |
| CN111310139B (zh) | 行为数据识别方法、装置及存储介质 | |
| CN110895526A (zh) | 一种大气监测系统中数据异常的修正方法 | |
| Chang et al. | Anomaly detection for industrial control systems using k-means and convolutional autoencoder | |
| Ye et al. | EWMA forecast of normal system activity for computer intrusion detection | |
| EP3329640B1 (en) | Network operation | |
| WO2017083148A1 (en) | Periodicity analysis on heterogeneous logs | |
| CN114448657B (zh) | 一种配电通信网络安全态势感知与异常入侵检测方法 | |
| CN111092862A (zh) | 一种用于对电网终端通信流量异常进行检测的方法及系统 | |
| CN115883213B (zh) | 基于连续时间动态异质图神经网络的apt检测方法及系统 | |
| CN117094184B (zh) | 基于内网平台的风险预测模型的建模方法、系统及介质 | |
| CN116627707A (zh) | 一种用户异常操作行为的检测方法及系统 | |
| Yang et al. | Novel correlation analysis of alarms based on block matching similarities | |
| CN117499103A (zh) | 一种用户异常行为检测方法、系统、装置及可读存储介质 | |
| CN112039907A (zh) | 一种基于物联网终端评测平台的自动测试方法及系统 | |
| CN113642669B (zh) | 基于特征分析的防欺诈检测方法、装置、设备及存储介质 | |
| CN116582316A (zh) | 一种基于大数据的计算机网络数字化监测预警系统及方法 | |
| CN110705597B (zh) | 基于事件因果关系抽取的网络苗头事件检测方法及系统 | |
| Lijun et al. | An intuitionistic calculus to complex abnormal event recognition on data streams | |
| CN116668045A (zh) | 一种多维度的网络安全综合预警方法和系统 | |
| CN113535458A (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| CN114443407A (zh) | 一种服务器的检测方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |