Nothing Special   »   [go: up one dir, main page]

CN111935170A - 一种网络异常流量检测方法、装置及设备 - Google Patents

一种网络异常流量检测方法、装置及设备 Download PDF

Info

Publication number
CN111935170A
CN111935170A CN202010843494.5A CN202010843494A CN111935170A CN 111935170 A CN111935170 A CN 111935170A CN 202010843494 A CN202010843494 A CN 202010843494A CN 111935170 A CN111935170 A CN 111935170A
Authority
CN
China
Prior art keywords
flow
data
clustering
abnormal
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010843494.5A
Other languages
English (en)
Other versions
CN111935170B (zh
Inventor
王亚国
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN202010843494.5A priority Critical patent/CN111935170B/zh
Publication of CN111935170A publication Critical patent/CN111935170A/zh
Application granted granted Critical
Publication of CN111935170B publication Critical patent/CN111935170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种网络异常流量检测方法，能够采集目标设备的流量数据，提取流量数据中各个会话报文的流量规则特征，采用K值聚类算法结合层次聚类算法对会话报文进行聚类，提升聚类过程的可靠性，最终根据聚类结果检测得到流量数据中的异常会话报文。实现了自动检测网络异常流量的目的，有利于提升网络设备的安全性。此外，本申请还提供了一种网络异常流量检测装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

Description

一种网络异常流量检测方法、装置及设备
技术领域
本申请涉及网络安全技术领域，特别涉及一种网络异常流量检测方法、装置、设备及可读存储介质。
背景技术
传统的安全检测产品或者平台对于新型威胁无法做到更加有效的检测，再加之随着互联网技术的高速发展，网络环境中各类应用技术也更加复杂，使得互联网络边界、应用系统边界更加趋于动态化和模糊化。
同时，面临日益频繁的网络攻击，网络攻击手段也变得更加隐蔽和高级，而传统网络安全与威胁分析技术处理能力局限性较高，导致不能更加高效精准的获取分析利用威胁情报信息，且不能更好的预测网络安全态势，以致对目前和未来将要面临的网络攻击不能很好的应对。
可见，如何提供一种网络异常流量检测方案，提升网络安全性，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种网络异常流量检测方法、装置、设备及可读存储介质，用以解决传统网络安全防护方案能力局限性较高，不能高效精准的分析处理异常流量的问题。其具体方案如下：
第一方面，本申请提供了一种网络异常流量检测方法，包括：
对目标设备进行网络流量采集，得到流量数据；
提取所述流量数据中各个会话报文的流量规则特征；
将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果；
将所述初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；
根据所述目标聚类结果，确定所述流量数据中的异常会话报文。
优选的，所述对目标设备进行网络流量采集，得到流量数据，包括：
对交换设备进行网络流量采集，得到流量数据，其中所述交换设备位于子网连接主干网的出口处。
优选的，所述提取所述流量数据中各个会话报文的流量规则特征，包括：
根据当前通信协议的协议规范，检测所述流量数据是否包括完整的会话报文；
对于每个完整的会话报文，根据预先设置的当前通信协议的有限状态机，判断所述会话报文的行为是否正常，其中所述有限状态机用于描述当前通信协议下正常的会话行为和/或异常的会话行为；
若不正常，则提取所述会话报文的流量规则特征。
优选的，在所述提取所述流量数据中各个会话报文的流量规则特征之后，包括：
根据预先建立的流量规则特征与时间的关系函数，确定所述会话报文的流量规则特征的偏离幅度；
根据所述偏离幅度，确定是否发生攻击事件以及攻击事件的攻击强度。
优选的，所述根据所述目标聚类结果，确定所述流量数据中的异常会话报文，包括：
根据所述目标聚类结果，确定所述流量数据中的异常会话报文，将所述异常会话报文录入威胁情报库；
利用机器学习算法根据所述异常会话报文确定当前攻击事件的攻击行为类型。
优选的，所述将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果，包括：
将所述流量数据中各个会话报文的流量规则特征作为数据对象，得到二维数组；
根据所述二维数组确定每维流量规则特征的波动系数，并按照第一目标公式确定每维流量规则特征的特征权重，得到特征权重计算结果，其中所述第一目标公式为：
Figure BDA0002642263330000031
其中，qj表示第j维流量规则特征的波动系数，满足
Figure BDA0002642263330000032
和0＜wj＜1，m表示数据对象中流量规则特征的维度；
根据所述特征权重计算结果，按照第二目标公式计算各个数据对象之间的曼哈顿距离，其中所述第二目标公式为：
Figure BDA0002642263330000033
其中，xa,xb分别表示第a个数据对象和第b个数据对象，a和b均属于[1,n]且a不等于b，n表示二维数组中数据对象的总数量；xaj,xbj分别表示第a个数据对象的第j维流量规则特征和第b个数据对象的第j维流量规则特征；
根据各个数据对象之间的曼哈顿距离，确定初始的聚类中心；
通过迭代运算更新聚类中心，并进行数据对象的划分，直至达到迭代终止条件时，得到初始聚类结果。
优选的，所述根据各个数据对象之间的曼哈顿距离，确定初始的聚类中心，包括：
根据各个数据对象之间的曼哈顿距离，利用二叉树查找算法确定初始的聚类中心。
第二方面，本申请提供了一种网络异常流量检测装置，包括：
流量采集模块：用于对目标设备进行网络流量采集，得到流量数据；
特征提取模块：用于提取所述流量数据中各个会话报文的流量规则特征；
第一聚类模块：用于将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果；
第二聚类模块：用于将所述初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；
异常流量输出模块：用于根据所述目标聚类结果，确定所述流量数据中的异常会话报文。
第三方面，本申请提供了一种网络异常流量检测设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的网络异常流量检测方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的网络异常流量检测方法的步骤。
本申请所提供的一种网络异常流量检测方法，包括：对目标设备进行网络流量采集，得到流量数据；提取流量数据中各个会话报文的流量规则特征；将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果；将初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；根据目标聚类结果，确定流量数据中的异常会话报文。
可见，该方法能够采集目标设备的流量数据，提取流量数据中各个会话报文的流量规则特征，采用K值聚类算法结合层次聚类算法对会话报文进行聚类，提升聚类过程的可靠性，最终根据聚类结果检测得到流量数据中的异常会话报文。实现了自动检测网络异常流量的目的，有利于提升网络设备的安全性。
此外，本申请还提供了一种网络异常流量检测装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种网络异常流量检测方法实施例一的实现流程图；
图2为本申请所提供的一种网络异常流量检测方法实施例二的实现流程图；
图3为本申请所提供的一种网络异常流量检测方法实施例二中S208的细化流程图；
图4为本申请所提供的一种网络异常流量检测装置实施例的功能框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着云端技术和虚拟化技术的日益成熟并全面应用，使得网络边界安全更加重要。相应的网络攻击手段也更加先进，网络安全也将面临更大的挑战。网络异常流量来源种类多样化，例如计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等都可以产生对应不同特征的网络异常流量。通过对网络异常流量的分析来主动防御网络攻击无疑会成为一个趋势。
本申请的核心是提供一种网络异常流量检测方法、装置、设备及可读存储介质，实现了自动检测网络异常流量的目的，有利于提升网络设备的安全性。
下面对本申请提供的一种网络异常流量检测方法实施例一进行介绍，参见图1，实施例一包括：
S101、对目标设备进行网络流量采集，得到流量数据；
S102、提取所述流量数据中各个会话报文的流量规则特征；
S103、将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果；
S104、将所述初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；
S105、根据所述目标聚类结果，确定所述流量数据中的异常会话报文。
具体的，本实施例可以运行在子网连接主干网的出口处，以旁路的方式接入边界的交换设备中，本实施例用于对从交换设备中流过的流量数据进行捕获，处理，分析和判断。
在采集到流量数据之后，需要从中提取完整的会话报文，后续分析处理过程中以会话报文为基本单位进行操作。具体的，首先确定目标设备的网络通信协议，以下将目标设备的通信协议称为当前通信协议；然后根据当前通信协议的协议规范，确定判断会话报文是否完整的依据，根据该依据从流量数据中提取出完整的会话报文。
在实际应用中，可以构建会话正常行为模型，利用会话正常行为模型描述不同通信协议下会话报文的完整性判断依据。比如，TCP和UDP是网络传输层协议，承载着数据包传输，两种协议都是独立构成会话的。根据源地址、源端口、目的地址、目的端口和协议所构成的报文的五元组，TCP和UDP报文可以构成流或伪流，源和目的相反的流可以构成一个完整的会话。而ICMP协议是TCP/IP的一个子协议，不承载数据，不是用来传输用户数据，是用来传递控制消息的，即：网络通不通、主机是否可达。由于ICMP的特殊性，对于ICMP的报文，分别进行处理：ICMP(query)消息构成独立会话，而ICMP错误(error)消息则将的IP报头映射到由IP报头所制定的会话中去。
在正常的网络流量中，存在着稳定的流量规则特征。比如，在三次握手过程中一个IP收到和发出的含SYN标志位的报文与含ACK标志位的报文的比值、一个IP的出度和入度的比值、一个IP的平均会话错误数等。
这些网络特征量是判断在一定时间区间内一个IP是否行为异常的标准之一。在实际应用中，可以构建流量规则特征模型，利用流量规则特征模型完成对流量数据中各个会话文本的特征提取操作。这个模型对会话表中的会话摘要(一个含有会话特征的向量)进行统计，在会话正常行为模型基础上增加攻击行为判断的准确程度。
考虑到实际过程中，我们更关心的是异常的会话报文。因此，可以在对会话报文进行聚类之前，初步筛选正常的会话报文，后续过程中，过滤掉正常的会话报文，仅仅处理异常的会话报文。
对于正常会话报文的筛选方式，本实施例提供两种实现方式，在实际应用中，可以选用任意一种方式，甚至可以同时采用两种方式以增强筛选过程的可靠性：
方式一，利用会话正常行为模型描述不同通信协议的有限状态机，该有限状态机用于描述相应通信协议下的正常通信行为和/或异常通信行为。在利用会话正常行为模型提取出完整的会话报文之后，再利用会话正常行为模型进一步判断该会话报文的行为是否正常，如果正常，则放行。
方式二，记录单位时间内流量规则特征(如字节数、报文数、会话错误数等)的累加值，建立流量规则特征与时间关系函数，得到网络流量关联模型。通过对关系函数的计算分析，可以找到长期的均值、方差、周期、趋势等特征。通过判断会话报文的流量规则特征的偏离程度，判断是否会话报文异常。当攻击行为发生时，对比已有的关系函数，可以观察到的会话报文的流量规则特征偏离其长期特征。甚至，通过特征偏离的幅度就可以了确定攻击事件的攻击强度。
本实施例所提供一种网络异常流量检测方法，能够采集目标设备的流量数据，提取流量数据中各个会话报文的流量规则特征，采用K值聚类算法结合层次聚类算法对会话报文进行聚类，提升聚类过程的可靠性，最终根据聚类结果检测得到流量数据中的异常会话报文。实现了自动检测网络异常流量的目的，有利于提升网络设备的安全性。
下面开始详细介绍本申请提供的一种网络异常流量检测方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
具体的，实施例二同时采用了前述两种筛选正常会话报文的方式，而且实施例二采用改进的K值聚类算法进行聚类。
参见图2，实施例二具体包括：
S201、对交换设备进行网络流量采集，得到流量数据，其中所述交换设备位于子网连接主干网的出口处；
S202、根据当前通信协议的协议规范，从所述流量数据中筛选完整的会话报文；
S203、对于每个完整的会话报文，根据预先设置的当前通信协议的有限状态机，判断所述会话报文的行为是否正常，其中所述有限状态机用于描述当前通信协议下正常的会话行为和/或异常的会话行为；若正常，则放行；若不正常，则进入S204；
S204、根据预先建立的流量规则特征与时间的关系函数，确定所述会话报文的流量规则特征的偏离幅度；
S205、若所述偏离幅度大于预设阈值，则进一步判定该会话报文为异常会话报文，确定当前正在发生攻击事件，并确定攻击事件的攻击强度；
检测的主要攻击行为为ICMP攻击和TCP攻击，包括但不限于SYN Flood、RSTFlood、IP NULL攻击、IP Fragmentation攻击、IP Private Address Space攻击、UDP Flood攻击、扫描攻击等。
S206、提取各个完整且异常的会话报文的流量规则特征；
S207、将每个会话报文的流量规则特征作为数据对象，利用改进的K值聚类算法进行聚类，得到初始聚类结果；
S208、将所述初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；
S209、根据所述目标聚类结果，确定所述流量数据中的异常会话报文，将所述异常会话报文录入威胁情报库；
S210、利用机器学习算法根据所述异常会话报文确定当前攻击事件的攻击行为类型。
虽然前述步骤对流量数据进行了流量规则特征的统计分析，但是依然会有一定的误报率，经过K值聚类算法统计分析后，得到初步的聚类结果。针对这些流量特征数据，可通过特征熵来表征特征参数的分布变化，并进一步选用基于特征熵的异常流识别算法来提升检测率。
而针对一些未知的异常流量特征，往往需要人工审核筛选后入库，这便会伴随一些人为因素的干扰，同时耗费人力物力。鉴于这种情况，本实施例引入基于层次聚类的异常分类算法来建立最佳分类模型，从而选取能够精确区分异常类型的流特征的属性向量。所有完成检测后的异常数据将被录入程序特征库供程序学习新的检测方式，同时也录入威胁情报库。
如图3所示，上述S208具体包括：
S301、将所述流量数据中各个会话报文的流量规则特征作为数据对象，得到二维数组；
假设数据对象的数量为n，每个数据对象中流量规则特征的维度为m。即上述二维数组的大小为n*m，整个二维数组记为X，X中每一个元素记为xij，表示第i个数据对象的第j维流量规则特征，i属于[1,n]，m属于[1,m]。
S302、根据所述二维数组确定每维流量规则特征的波动系数，并按照第一目标公式确定每维流量规则特征的特征权重，得到特征权重计算结果，其中所述第一目标公式为：
Figure BDA0002642263330000101
其中，qj表示第j维流量规则特征的波动系数，满足
Figure BDA0002642263330000102
和0＜wj＜1，m表示数据对象中流量规则特征的维度。
S303、根据所述特征权重计算结果，按照第二目标公式计算各个数据对象之间的曼哈顿距离，其中所述第二目标公式为：
Figure BDA0002642263330000103
其中，xa,xb分别表示第a个数据对象和第b个数据对象，a和b均属于[1,n]且a不等于b，n表示二维数组中数据对象的总数量；xaj,xbj分别表示第a个数据对象的第j维流量规则特征和第b个数据对象的第j维流量规则特征。
通过第二目标公式计算第a个数据对象和第b个数据对象之间曼哈顿距离，第二目标公式的时间复杂度小于欧几里得距离公式的时间复杂度。为了有更快得检出效率，本实施例选择复杂度较小的曼哈顿距离进行计算，并通过第一目标公式得到特征权重对其进行改进。
S304、根据各个数据对象之间的曼哈顿距离，确定初始的聚类中心；
具体可以利用二叉树查找算法确定初始的聚类中心。
S305、通过迭代运算更新聚类中心，并进行数据对象的划分，直至达到迭代终止条件时，得到初始聚类结果。
可以理解的是，在迭代运算过程中，需要计算簇与簇之间的距离，此时仍然可以采用上述第二目标公式计算距离，只不过此时xa,xb分别表示第a个聚类中心和第b个聚类中心。
可见，本实施例提供的一种网络异常流量检测方法，通过获取网络流量，自动过滤，分类统计，聚类算法以及程序机器学习的相结合的方式，实现基于网络异常流量检测的威胁情报分析。
对从交换设备中流过的数据包进行捕获，处理，分析和判断，过滤掉正常的网络请求，对异常流量进行分析告警，并记录各类流量特征及其之间的关系，包括攻击方式、利用方法、攻击来源等，并以机器学习的方式将这些信息记录为威胁情报内容，然后在对获取的威胁情报信息进行分析当前或者未来的攻击趋势达到及时防御的目的。有利于实现情报共享、态势感知、攻击预测、威胁防御，有效的解决当前和未来所面临的更多的网络安全问题。
下面对本申请实施例提供的一种网络异常流量检测装置进行介绍，下文描述的一种网络异常流量检测装置与上文描述的一种网络异常流量检测方法可相互对应参照。
如图4所示，本实施例的网络异常流量检测装置，包括：
流量采集模块401：用于对目标设备进行网络流量采集，得到流量数据；
特征提取模块402：用于提取所述流量数据中各个会话报文的流量规则特征；
第一聚类模块403：用于将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果；
第二聚类模块404：用于将所述初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；
异常流量输出模块405：用于根据所述目标聚类结果，确定所述流量数据中的异常会话报文。
本实施例的网络异常流量检测装置用于实现前述的网络异常流量检测方法，因此该装置中的具体实施方式可见前文中的网络异常流量检测方法的实施例部分，例如，流量采集模块401、特征提取模块402、第一聚类模块403、第二聚类模块404、异常流量输出模块405，分别用于实现上述网络异常流量检测方法中步骤S101，S102，S103，S104，S105。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的网络异常流量检测装置用于实现前述的网络异常流量检测方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种网络异常流量检测设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上文所述的网络异常流量检测方法的步骤。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的网络异常流量检测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种网络异常流量检测方法，其特征在于，包括：
对目标设备进行网络流量采集，得到流量数据；
提取所述流量数据中各个会话报文的流量规则特征；
将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果；
将所述初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；
根据所述目标聚类结果，确定所述流量数据中的异常会话报文。
2.如权利要求1所述的方法，其特征在于，所述对目标设备进行网络流量采集，得到流量数据，包括：
对交换设备进行网络流量采集，得到流量数据，其中所述交换设备位于子网连接主干网的出口处。
3.如权利要求1所述的方法，其特征在于，所述提取所述流量数据中各个会话报文的流量规则特征，包括：
根据当前通信协议的协议规范，检测所述流量数据是否包括完整的会话报文；
对于每个完整的会话报文，根据预先设置的当前通信协议的有限状态机，判断所述会话报文的行为是否正常，其中所述有限状态机用于描述当前通信协议下正常的会话行为和/或异常的会话行为；
若不正常，则提取所述会话报文的流量规则特征。
4.如权利要求1所述的方法，其特征在于，在所述提取所述流量数据中各个会话报文的流量规则特征之后，包括：
根据预先建立的流量规则特征与时间的关系函数，确定所述会话报文的流量规则特征的偏离幅度；
根据所述偏离幅度，确定是否发生攻击事件以及攻击事件的攻击强度。
5.如权利要求1所述的方法，其特征在于，所述根据所述目标聚类结果，确定所述流量数据中的异常会话报文，包括：
根据所述目标聚类结果，确定所述流量数据中的异常会话报文，将所述异常会话报文录入威胁情报库；
利用机器学习算法根据所述异常会话报文确定当前攻击事件的攻击行为类型。
6.如权利要求1-5任意一项所述的方法，其特征在于，所述将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果，包括：
将所述流量数据中各个会话报文的流量规则特征作为数据对象，得到二维数组；
根据所述二维数组确定每维流量规则特征的波动系数，并按照第一目标公式确定每维流量规则特征的特征权重，得到特征权重计算结果，其中所述第一目标公式为：
Figure FDA0002642263320000021
其中，qj表示第j维流量规则特征的波动系数，满足
Figure FDA0002642263320000022
和0＜wj＜1，m表示数据对象中流量规则特征的维度；
根据所述特征权重计算结果，按照第二目标公式计算各个数据对象之间的曼哈顿距离，其中所述第二目标公式为：
Figure FDA0002642263320000023
其中，xa,xb分别表示第a个数据对象和第b个数据对象，a和b均属于[1,n]且a不等于b，n表示二维数组中数据对象的总数量；xaj,xbj分别表示第a个数据对象的第j维流量规则特征和第b个数据对象的第j维流量规则特征；
根据各个数据对象之间的曼哈顿距离，确定初始的聚类中心；
通过迭代运算更新聚类中心，并进行数据对象的划分，直至达到迭代终止条件时，得到初始聚类结果。
7.如权利要求6所述的方法，其特征在于，所述根据各个数据对象之间的曼哈顿距离，确定初始的聚类中心，包括：
根据各个数据对象之间的曼哈顿距离，利用二叉树查找算法确定初始的聚类中心。
8.一种网络异常流量检测装置，其特征在于，包括：
流量采集模块：用于对目标设备进行网络流量采集，得到流量数据；
特征提取模块：用于提取所述流量数据中各个会话报文的流量规则特征；
第一聚类模块：用于将每个会话报文的流量规则特征作为数据对象，利用K值聚类算法进行聚类，得到初始聚类结果；
第二聚类模块：用于将所述初始聚类结果作为输入，利用层次聚类算法再次进行聚类，得到目标聚类结果；
异常流量输出模块：用于根据所述目标聚类结果，确定所述流量数据中的异常会话报文。
9.一种网络异常流量检测设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的网络异常流量检测方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的网络异常流量检测方法的步骤。
CN202010843494.5A 2020-08-20 2020-08-20 一种网络异常流量检测方法、装置及设备 Active CN111935170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010843494.5A CN111935170B (zh) 2020-08-20 2020-08-20 一种网络异常流量检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010843494.5A CN111935170B (zh) 2020-08-20 2020-08-20 一种网络异常流量检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111935170A true CN111935170A (zh) 2020-11-13
CN111935170B CN111935170B (zh) 2022-06-07

Family

ID=73305970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010843494.5A Active CN111935170B (zh) 2020-08-20 2020-08-20 一种网络异常流量检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111935170B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147491A (zh) * 2019-12-26 2020-05-12 深信服科技股份有限公司 一种漏洞修复方法、装置、设备及存储介质
CN112231431A (zh) * 2020-12-11 2021-01-15 江苏苏宁银行股份有限公司 一种异常地址识别方法、设备和计算机可读存储介质
CN112468523A (zh) * 2021-02-02 2021-03-09 北京明略昭辉科技有限公司 异常流量检测方法、装置、设备及存储介质
CN112600792A (zh) * 2020-11-23 2021-04-02 国网山东省电力公司青岛供电公司 一种物联网设备的异常行为检测方法及系统
CN112738018A (zh) * 2020-11-30 2021-04-30 南方电网数字电网研究院有限公司 Arp欺骗攻击检测方法、装置、计算机设备和存储介质
CN112769633A (zh) * 2020-12-07 2021-05-07 深信服科技股份有限公司 一种代理流量检测方法、装置、电子设备及可读存储介质
CN113206798A (zh) * 2021-07-05 2021-08-03 北京简网科技有限公司 一种会话流量的处理方法、装置及系统
CN113645232A (zh) * 2021-08-10 2021-11-12 克拉玛依和中云网技术发展有限公司 一种面向工业互联网的智能化流量监测方法、系统及存储介质
CN113810401A (zh) * 2021-09-13 2021-12-17 杭州安恒信息技术股份有限公司 威胁数据检测方法、装置、电子装置和存储介质
CN114244549A (zh) * 2021-08-10 2022-03-25 和安科技创新有限公司 一种面向工业互联网的GSSK-means异常流量检测方法、存储器和处理器
CN114726570A (zh) * 2021-12-31 2022-07-08 中国电信股份有限公司 一种基于图模型的主机流量异常检测方法及装置
CN114745161A (zh) * 2022-03-23 2022-07-12 烽台科技（北京）有限公司 一种异常流量的检测方法、装置、终端设备和存储介质
CN114760152A (zh) * 2022-06-14 2022-07-15 湖南警察学院 一种云数据中心虚拟化节点网络安全预警方法
CN116112271A (zh) * 2023-02-13 2023-05-12 山东云天安全技术有限公司 一种会话数据处理方法、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004101A (ko) * 2009-07-07 2011-01-13 주식회사 케이티 계층적 클러스터링을 이용하여 비정상 트래픽을 분석하는 방법 및 장치
WO2016073383A1 (en) * 2014-11-03 2016-05-12 Vectra Networks, Inc. A system for implementing threat detection using threat and risk assessment of asset-actor interactions
CN109067722A (zh) * 2018-07-24 2018-12-21 湖南大学 一种基于两步聚类和检测片分析联合算法的LDoS检测方法
CN109150859A (zh) * 2018-08-02 2019-01-04 北京北信源信息安全技术有限公司 一种基于网络流量流向相似性的僵尸网络检测方法
US20190058719A1 (en) * 2017-08-21 2019-02-21 Cognizant Technology Solutions India Pvt. Ltd. System and a method for detecting anomalous activities in a blockchain network
CN109547409A (zh) * 2018-10-19 2019-03-29 中国电力科学研究院有限公司 一种用于对工业网络传输协议进行解析的方法及系统
CN110569922A (zh) * 2019-09-17 2019-12-13 深圳前海微众银行股份有限公司 交互式层次聚类实现方法、装置、设备及可读存储介质
CN110602105A (zh) * 2019-09-17 2019-12-20 国家电网有限公司 一种基于k-means的大规模并行化网络入侵检测方法
CN110650140A (zh) * 2019-09-25 2020-01-03 杭州安恒信息技术股份有限公司 基于kmeans的攻击行为监测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004101A (ko) * 2009-07-07 2011-01-13 주식회사 케이티 계층적 클러스터링을 이용하여 비정상 트래픽을 분석하는 방법 및 장치
WO2016073383A1 (en) * 2014-11-03 2016-05-12 Vectra Networks, Inc. A system for implementing threat detection using threat and risk assessment of asset-actor interactions
US20190058719A1 (en) * 2017-08-21 2019-02-21 Cognizant Technology Solutions India Pvt. Ltd. System and a method for detecting anomalous activities in a blockchain network
CN109067722A (zh) * 2018-07-24 2018-12-21 湖南大学 一种基于两步聚类和检测片分析联合算法的LDoS检测方法
CN109150859A (zh) * 2018-08-02 2019-01-04 北京北信源信息安全技术有限公司 一种基于网络流量流向相似性的僵尸网络检测方法
CN109547409A (zh) * 2018-10-19 2019-03-29 中国电力科学研究院有限公司 一种用于对工业网络传输协议进行解析的方法及系统
CN110569922A (zh) * 2019-09-17 2019-12-13 深圳前海微众银行股份有限公司 交互式层次聚类实现方法、装置、设备及可读存储介质
CN110602105A (zh) * 2019-09-17 2019-12-20 国家电网有限公司 一种基于k-means的大规模并行化网络入侵检测方法
CN110650140A (zh) * 2019-09-25 2020-01-03 杭州安恒信息技术股份有限公司 基于kmeans的攻击行为监测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐超等: "基于聚类分析的入侵检测算法", 《指挥控制与仿真》 *
李建国等: "高效的混合聚类算法及其在异常检测中的应用", 《计算机应用》 *
陈利跃等: "基于马氏距离的双层聚类电力远动异常检测", 《控制工程》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147491A (zh) * 2019-12-26 2020-05-12 深信服科技股份有限公司 一种漏洞修复方法、装置、设备及存储介质
CN112600792B (zh) * 2020-11-23 2022-04-08 国网山东省电力公司青岛供电公司 一种物联网设备的异常行为检测方法及系统
CN112600792A (zh) * 2020-11-23 2021-04-02 国网山东省电力公司青岛供电公司 一种物联网设备的异常行为检测方法及系统
CN112738018A (zh) * 2020-11-30 2021-04-30 南方电网数字电网研究院有限公司 Arp欺骗攻击检测方法、装置、计算机设备和存储介质
CN112769633A (zh) * 2020-12-07 2021-05-07 深信服科技股份有限公司 一种代理流量检测方法、装置、电子设备及可读存储介质
CN112231431A (zh) * 2020-12-11 2021-01-15 江苏苏宁银行股份有限公司 一种异常地址识别方法、设备和计算机可读存储介质
CN112468523B (zh) * 2021-02-02 2021-07-06 北京明略昭辉科技有限公司 异常流量检测方法、装置、设备及存储介质
CN112468523A (zh) * 2021-02-02 2021-03-09 北京明略昭辉科技有限公司 异常流量检测方法、装置、设备及存储介质
CN113206798A (zh) * 2021-07-05 2021-08-03 北京简网科技有限公司 一种会话流量的处理方法、装置及系统
CN113206798B (zh) * 2021-07-05 2021-09-03 北京简网科技有限公司 一种会话流量的处理方法、装置及系统
CN113645232A (zh) * 2021-08-10 2021-11-12 克拉玛依和中云网技术发展有限公司 一种面向工业互联网的智能化流量监测方法、系统及存储介质
CN114244549B (zh) * 2021-08-10 2023-10-03 和安科技创新有限公司 一种面向工业互联网的GSSK-means异常流量检测方法、存储器和处理器
CN114244549A (zh) * 2021-08-10 2022-03-25 和安科技创新有限公司 一种面向工业互联网的GSSK-means异常流量检测方法、存储器和处理器
CN113810401A (zh) * 2021-09-13 2021-12-17 杭州安恒信息技术股份有限公司 威胁数据检测方法、装置、电子装置和存储介质
CN114726570A (zh) * 2021-12-31 2022-07-08 中国电信股份有限公司 一种基于图模型的主机流量异常检测方法及装置
CN114745161A (zh) * 2022-03-23 2022-07-12 烽台科技（北京）有限公司 一种异常流量的检测方法、装置、终端设备和存储介质
CN114745161B (zh) * 2022-03-23 2023-08-22 烽台科技（北京）有限公司 一种异常流量的检测方法、装置、终端设备和存储介质
CN114760152A (zh) * 2022-06-14 2022-07-15 湖南警察学院 一种云数据中心虚拟化节点网络安全预警方法
CN114760152B (zh) * 2022-06-14 2022-08-19 湖南警察学院 一种云数据中心虚拟化节点网络安全预警方法
CN116112271A (zh) * 2023-02-13 2023-05-12 山东云天安全技术有限公司 一种会话数据处理方法、电子设备及存储介质
CN116112271B (zh) * 2023-02-13 2024-02-20 山东云天安全技术有限公司 一种会话数据处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN111935170B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN111935170B (zh) 一种网络异常流量检测方法、装置及设备
CN110011999B (zh) 基于深度学习的IPv6网络DDoS攻击检测系统及方法
CN108965347B (zh) 一种分布式拒绝服务攻击检测方法、装置及服务器
CN109600363B (zh) 一种物联网终端网络画像及异常网络访问行为检测方法
CN112019574B (zh) 异常网络数据检测方法、装置、计算机设备和存储介质
US9386028B2 (en) System and method for malware detection using multidimensional feature clustering
CN108429651B (zh) 流量数据检测方法、装置、电子设备及计算机可读介质
CN111277587A (zh) 基于行为分析的恶意加密流量检测方法及系统
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
CN109951491A (zh) 网络攻击检测方法、装置、设备及存储介质
Catak et al. Distributed denial of service attack detection using autoencoder and deep neural networks
US20060212942A1 (en) Semantically-aware network intrusion signature generator
Le et al. Data analytics on network traffic flows for botnet behaviour detection
CN113206860B (zh) 一种基于机器学习和特征选择的DRDoS攻击检测方法
CN109766695A (zh) 一种基于融合决策的网络安全态势感知方法和系统
CN110611640A (zh) 一种基于随机森林的dns协议隐蔽通道检测方法
Brahmi et al. Towards a multiagent-based distributed intrusion detection system using data mining approaches
CN109218321A (zh) 一种网络入侵检测方法及系统
CN111294342A (zh) 一种软件定义网络中DDos攻击的检测方法及系统
CN111835681B (zh) 一种大规模流量异常主机检测方法和装置
Fenil et al. Towards a secure software defined network with adaptive mitigation of dDoS attacks by machine learning approaches
CN112565229A (zh) 隐蔽通道检测方法及装置
CN113839925A (zh) 基于数据挖掘技术的IPv6网络入侵检测方法及系统
CN110912933B (zh) 一种基于被动测量的设备识别方法
CN112235242A (zh) 一种c&c信道检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant