CN114448657B - 一种配电通信网络安全态势感知与异常入侵检测方法 - Google Patents
一种配电通信网络安全态势感知与异常入侵检测方法 Download PDFInfo
- Publication number
- CN114448657B CN114448657B CN202111498284.8A CN202111498284A CN114448657B CN 114448657 B CN114448657 B CN 114448657B CN 202111498284 A CN202111498284 A CN 202111498284A CN 114448657 B CN114448657 B CN 114448657B
- Authority
- CN
- China
- Prior art keywords
- network
- forest
- connection
- data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000004891 communication Methods 0.000 title claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 20
- 238000009826 distribution Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000007637 random forest analysis Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 239000000523 sample Substances 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 20
- 238000000034 method Methods 0.000 description 26
- 238000004590 computer program Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种配电通信网络安全态势感知与异常入侵检测方法,包括,对网络关键节点中的原始网络行为数据进行数据预处理,并整合为标准化训练数据集;基于随机森林算法,从标准化训练数据集中提取影响网络异常状态的关键特征指标;根据标准化训练数据集构建特征层森林,并结合所述关键特征指标训练特征层森林,计算连接权重;根据连接权值建立网络异常检测模型,识别网络攻击类型;本发明加快了宽度森林学习算法建模的训练速度,降低学习任务的复杂度;同时降低了模型复杂度,加快了学习收敛速度,提高了检测准确度。
Description
技术领域
本发明涉及通信网络入侵检测的技术领域,尤其涉及一种配电通信网络安全态势感知与异常入侵检测方法。
背景技术
伴随着信息技术和网络技术的全面、快速发展,配电通信网络的运行可靠性以及运行稳定性得到了进一步的提升。信息技术的应用不仅提高了电力系统的工作效率,同时简化了工作流程,但是也因此带来了相应的网络安全防护问题,一旦配电通信网络受到外界影响,被破坏或者干扰,不能正常工作,将会严重地影响人民的生产生活,造成重大的经济损失。当前我国的配电通信网络安全依旧存在很多问题,制约了电力系统的整体发展,信息网络的安全防护问题已经成为当下配电通信网络亟待解决的问题。
为了提升网络的安全防护能力,对网络中入侵行为的异常检测技术对于网络安全具有重大意义。尽早发现入侵攻击迹象,分析入侵攻击事件,并及时、准确地检测出网络异常,能够辅助管理人员对网络进行管理,提高对主机和网络异常检测和分析效率,更快地排除网络异常,降低损失。传统的网络入侵行为检测方法检测时间长、检测效率低;基于机器学习的网络入侵行为检测方法,如基于聚类分析、支持向量机等方法,在入侵特征数据维度高、不同入侵类别之间数据差别较小时,不少入侵不能被准确检测到,同时也存在较高的误报率;基于神经网络的网络入侵行为检测方法虽然准确率有显著提高,但训练速度慢,分类精度低,实现复杂度也很高。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题,提出了本发明。
为解决上述技术问题,本发明提供如下技术方案:包括,对网络关键节点中的原始网络行为数据进行数据预处理,并整合为标准化训练数据集;基于随机森林算法,从标准化训练数据集中提取影响网络异常状态的关键特征指标;根据标准化训练数据集构建特征层森林,并结合所述关键特征指标训练所述特征层森林,计算连接权重;根据所述连接权重建立网络异常检测模型,识别网络攻击类型。
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:原始网络行为数据包括,原始网络行为数据的每条数据包含5方面属性:网络连接基本特征、网络连接内容特征、网络主机相关信息、网络流量特征和网络防护特征;其中,所述网络连接基本特征为:连接时长DURATION,连接协议类型PROTOCOL_TYPE,连接状态FLAG;所述网络连接内容特征为:登陆状态LOG_IN,今日登录次数NUM_LOGIN,今日操作次数NUM_OPERATION,今日受到威胁状态的次数NUM_COMPROMISED;所述网络主机相关信息为:主机标识HOST_ID,主机数量HOST_NUM,各主机的安全防护等级SECURE_LEVEL;所述网络流量特征为:连接服务数SERVICE_NUM,连接服务类型SERVICE_TYPE,连接相同服务的次数SAME_SERVICE_NUM,连接不同服务的次数DIFF_SERVICE_NUM;所述网络防护特征为:攻击标识类型ATTACK_NUM、源地址SIP、目的地址DIP。
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:数据预处理包括数据清洗、数据转化、数据归一化;通过对网络关键节点中的原始网络行为数据进行数据预处理,生成网络行为特征向量X∈RN×M;其中,R表示该特征向量的维度标识,N表示样本容量,M表示输入特征个数;
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:标准化训练数据集包括,按照攻击标识类型ATTACK_NUM对特征字段进行分类标注,正常记录标注为1,DoS攻击记录标注为2,Probe攻击记录标注为3,R2L攻击记录标注为4,U2R攻击记录标注为5,以符号Y表示;将所述网络行为特征向量X∈RN×M和攻击标识Y∈RN ×K组合为标准化训练数据集D:
D={(xi,yi),i=1,2,...,N}
其中,K表示所属类别个数,xi为第i个样本的网络行为特征向量,yi为第i个样本的攻击标识类别;
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:关键特征指标包括,根据重要性度量得分{Scorej}j=1,...,M对标准化训练数据集的M个特征进行排序,并设置参数r∈[0,1]作为特征选择的比率,选择出Q=rM个最重要特征作为关键特征指标;
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:特征层森林包括,特征层森林由n组森林组成,每组包含一个随机森林和一个完全随机森林;假设每个随机森林由T棵决策树组成,设置T=50;
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:训练所述特征层森林包括,
初步训练特征层森林,得到n组目标类别的预测概率Zn:
Zn={Zi}i=1,...,n
基于关键特征指标,设置参数r=0.45,将标准化训练数据集压缩为:
X’∈RN×Q
再次训练特征层森林,获得n组增强层森林,将初步训练特征层森林得到的Zn与X’结合作为增强层森林的输入,表示为:
[Zn|X’]∈RN×(2nK+Q)
其中,Zi∈RN×2K,Zn∈RN×2nK;Zi表示特征层森林输出的第i个预测概率,X’∈RN×Q为压缩后的标准化训练数据;
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:计算连接权重包括,通过训练所述增强层森林,获得新的预测概率Hm:
Hm={Hi}i=1,...,m
其中,Hi∈RN×2K,Hm∈RN×2mK,Hi表示增强层森林输出的第i个预测概率;
将Zn与Hm进行组合作为输出层的输入A,表示为:
A=[Zn|Hm]∈RN×(2nK+2mK)
通过对输入A求伪逆,计算连接权重
其中,λ是正则化参数;
结合岭回归获得的连接权重的最优解/>
其中,T为转置符;
作为本发明所述的配电通信网络安全态势感知与异常入侵检测方法的一种优选方案,其中:包括,网络异常检测模型的输出O为:
本发明的有益效果:本发明使用基于随机森林的重要特征选择算法,挖掘出影响网络异常的关键因子,选择更具代表性和更为相关的特征,去除冗余和无关特征,达到降维的效果。此外,正确的特征选择不仅能加快宽度森林学习算法建模的训练速度,还能够降低学习任务的复杂度,优化模型的泛化能力;同时针对现有模型复杂、训练慢且对于网络异常入侵的检测精度低的问题,采用随机森林和宽度学习结合的宽度森林模型,降低了模型复杂度,加快了学习收敛速度,提高了检测准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
其中:
图1为本发明第一个实施例所述的配电通信网络安全态势感知与异常入侵检测方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1,为本发明的第一个实施例,该实施例提供了一种配电通信网络安全态势感知与异常入侵检测方法,包括:
S1:对网络关键节点中的原始网络行为数据进行数据预处理,并整合为标准化训练数据集。
其中需要说明的是,原始网络行为数据的每条数据包含5方面属性:网络连接基本特征、网络连接内容特征、网络主机相关信息、网络流量特征和网络防护特征;
具体的,(1)网络连接基本特征为:连接时长DURATION,连接协议类型PROTOCOL_TYPE,连接状态FLAG;
(2)网络连接内容特征为:登陆状态LOG_IN,今日登录次数NUM_LOGIN,今日操作次数NUM_OPERATION,今日受到威胁状态的次数NUM_COMPROMISED;
(3)网络主机相关信息为:主机标识HOST_ID,主机数量HOST_NUM,各主机的安全防护等级SECURE_LEVEL;
(4)网络流量特征为:连接服务数SERVICE_NUM,连接服务类型SERVICE_TYPE,连接相同服务的次数SAME_SERVICE_NUM,连接不同服务的次数DIFF_SERVICE_NUM;
(5)网络防护特征为:攻击标识类型ATTACK_NUM、源地址SIP、目的地址DIP。
数据预处理包括数据清洗、数据转化、数据归一化;
具体的,(1)数据清洗:删除含有异常值、重复值以及缺失值的数据记录;
(2)数据转化:对数据记录中所有数据进行统一编码,将其转化为数值型:①对连接协议PROTOCOL_TYPE做如下处理:TCP标记为1,UDP标记为2,其他类型标记为3;②对连接状态FLAG,登陆状态LOG_IN,各主机的安全防护等级SECURE_LEVEL,连接服务类型SERVICE_TYPE做同样的处理;
(3)数据归一化:对数值区间较大的数据进行归一化处理,采用极值标准化法(0-1normalization)将原始数据映射到[0,1]值域区间,具体表达式如下:
通过对网络关键节点中的原始网络行为数据进行数据预处理,生成网络行为特征向量X∈RN×M;
其中,R表示该特征向量的维度标识,N表示样本容量,M表示输入特征个数;
进一步的,将预处理后得到的网络行为特征向量整合为标准化训练数据集,具体的,
(1)按照攻击标识类型ATTACK_NUM对特征字段进行分类标注,正常记录标注为1,DoS攻击记录标注为2,Probe攻击记录标注为3,R2L攻击记录标注为4,U2R攻击记录标注为5,以符号Y表示。
(2)将网络行为特征向量X∈RN×M和攻击标识Y∈RN×K组合为标准化训练数据集D:
D={(xi,yi),i=1,2,...,N}
其中,K表示所属类别个数,xi为第i个样本的网络行为特征向量,yi为第i个样本的攻击标识类别;
S2:基于随机森林算法,从标准化训练数据集中提取影响网络异常状态的关键特征指标。
输入:训练数据集D={(xi,yi),i=1,2,...,N}
输出:Q个重要特征A={ai1,ai2,...,aiq},q<m
(1)根据自助采样法,从标准化训练数据集D中有放回地随机抽取K组训练样本集,其容量与D相同,记为{D1,D2,...,DK};
(2)利用K组训练样本集对应地构造K棵分类树,记为{T1,T2,...,TK},同时,根据随机森林构造原理,产生了K组没有被采样到的袋外数据,记为{B1,B2,...,BK};
(3)当袋外数据为B1时,由样本集D1训练得到的分类树T1将用于分类B1;投票决定最优分类,统计正确分类的个数,记为R1;
(4)第j个特征表示为{xij,i=1,2,...,N},0≤j≤M,对B1的第j个特征值进行噪声干扰,并再次进行分类;投票决定最优分类,统计正确分类的个数,记为R1′;
(5)对剩下的袋外数据{B2,...,BK}重复步骤(3)和(4),得到对应的Rt和Rt′,t=1,2,...,K;
(6)通过以下公式计算出第j个特征的重要性度量得分Scorej;
(7)根据上述公式,重复步骤(5)到(6)计算出所有特征的重要性度量得分{Scorej}j=1,...,M;
(8)根据重要性度量得分{Scorej}j=1,...,M对标准化训练数据集的M个特征进行排序,并设置参数r∈[0,1]作为特征选择的比率,选择出Q=rM个最重要特征作为关键特征指标;
S3:根据标准化训练数据集构建特征层森林,并结合关键特征指标训练特征层森林,计算连接权重。
特征层森林由n组森林组成,每组包含一个随机森林和一个完全随机森林;假设每个随机森林由T棵决策树组成,设置T=50;
初步训练特征层森林,得到n组目标类别的预测概率Zn:
Zn={Zi}i=1,...,n
基于关键特征指标,设置参数r=0.45,将标准化训练数据集压缩为:
X’∈RN×Q
再次训练特征层森林,获得n组增强层森林,将初步训练特征层森林得到的Zn与X’结合作为增强层森林的输入,表示为:
[Zn|X’]∈RN×(2nK+Q)
其中,Zi∈RN×2K,Zn∈RN×2nK;Zi表示特征层森林输出的第i个预测概率,X’∈RN×Q为压缩后的标准化训练数据;
进一步的,计算连接权重包括,
通过训练所述增强层森林,获得新的预测概率Hm:
Hm={Hi}i=1,...,m
其中,Hi∈RN×2K,Hm∈RN×2mK,Hi表示增强层森林输出的第i个预测概率;
将Zn与Hm进行组合作为输出层的输入A,表示为:
A=[Zn|Hm]∈RN×(2nK+2mK)
通过对输入A求伪逆,计算连接权重
其中,λ是正则化参数;
结合岭回归获得的连接权重的最优解/>具体的,
将连接权重看作是求解一个岭回归最优化问题,即:
利用上式对求导,得到:
令导数为零,得到极值,即连接权重的最优解/>
Wn m′=(ATA+λI)-1ATY
其中,T为转置符;
最后,输出最终的宽度森林异常检测模型以及连接权重Wn m′。
S4:根据连接权重建立网络异常检测模型,识别网络攻击类型。
网络异常检测模型的输出O为:
0=[Zn|Hm]Wn m′。
输入网络中某一关键节点的网络行为数据x';
将x'作为网络异常检测模型的输入,输出预测概率,得到该节点所遭受的网络攻击的类型。
实施例2
为了对本方法中采用的技术效果加以验证说明,本实施例选择传统的技术方案和采用本方法进行对比测试,以科学论证的手段对比试验结果,以验证本方法所具有的真实效果。
传统的技术方案检测时间长、检测效率低,存在较高的误报率,实现复杂度也很高。
为验证本方法相对传统的技术方案具有较高的检测效率,本实施例中将采用传统的技术方案和本方法分别对3组网络节点进行入侵检测,结果如下表所示。
表1:入侵检测准确度对比。
N1 | N2 | N3 | 平均耗时 | |
传统的技术方案 | 76.19% | 79.52% | 81.56% | 5.12s |
本方法 | 98.75% | 99.12% | 98.47% | 0.93s |
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的,术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,组件可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种配电通信网络安全态势感知与异常入侵检测方法,其特征在于:包括,
对网络关键节点中的原始网络行为数据进行数据预处理,并整合为标准化训练数据集;
基于随机森林算法,从标准化训练数据集中提取影响网络异常状态的关键特征指标;
根据标准化训练数据集构建特征层森林,并结合所述关键特征指标训练所述特征层森林,计算连接权重;
根据所述连接权重建立网络异常检测模型,识别网络攻击类型;原始网络行为数据包括,
原始网络行为数据的每条数据包含5方面属性:网络连接基本特征、网络连接内容特征、网络主机相关信息、网络流量特征和网络防护特征;
其中,所述网络连接基本特征为:连接时长DURATION,连接协议类型PROTOCOL_TYPE,连接状态FLAG;
所述网络连接内容特征为:登陆状态LOG_IN,今日登录次数NUM_LOGIN,今日操作次数NUM_OPERATION,今日受到威胁状态的次数NUM_COMPROMISED;
所述网络主机相关信息为:主机标识HOST_ID,主机数量HOST_NUM,各主机的安全防护等级SECURE_LEVEL;
所述网络流量特征为:连接服务数SERVICE_NUM,连接服务类型SERVICE_TYPE,连接相同服务的次数SAME_SERVICE_NUM,连接不同服务的次数DIFF_SERVICE_NUM;
所述网络防护特征为:攻击标识类型ATTACK_NUM、源地址SIP、目的地址DIP;
数据预处理包括数据清洗、数据转化、数据归一化;
通过对网络关键节点中的原始网络行为数据进行数据预处理,生成网络行为特征向量X∈RN×M;
其中,R表示该特征向量的维度标识,N表示样本容量,M表示输入特征个数;
标准化训练数据集包括,
按照攻击标识类型ATTACK_NUM对特征字段进行分类标注,正常记录标注为1,DoS攻击记录标注为2,Probe攻击记录标注为3,R2L攻击记录标注为4,U2R攻击记录标注为5,以符号Y表示;
将所述网络行为特征向量X∈RN×M和攻击标识Y∈RN×K组合为标准化训练数据集D:
D={(xi,yi),i=1,2,...,N}
其中,K表示所属类别个数,xi为第i个样本的网络行为特征向量,yi为第i个样本的攻击标识类别;
关键特征指标包括,
根据重要性度量得分{Scorej}j=1,...,M对标准化训练数据集的M个特征进行排序,并设置参数r∈[0,1]作为特征选择的比率,选择出Q=rM个最重要特征作为关键特征指标;
特征层森林包括,
特征层森林由n组森林组成,每组包含一个随机森林和一个完全随机森林;假设每个随机森林由T棵决策树组成,设置T=50;
训练所述特征层森林包括,
初步训练特征层森林,得到n组目标类别的预测概率Zn:
Zn={Zi}i=1,....,n
基于关键特征指标,设置参数r=0.45,将标准化训练数据集压缩为:
X’∈RN×Q
再次训练特征层森林,获得n组增强层森林,将初步训练特征层森林得到的Zn与X’结合作为增强层森林的输入,表示为:
[Zn|X’]∈RN×(2nK+Q)
其中,Zi∈RN×2K,Zn∈RN×2nK;Zi表示特征层森林输出的第i个预测概率,X’∈RN×Q为压缩后的标准化训练数据;
计算连接权重包括,
通过训练所述增强层森林,获得新的预测概率Hm:
Hm={Hi}i=1,...,m
其中,Hi∈RN×2K,Hm∈RN×2mK,Hi表示增强层森林输出的第i个预测概率;
将Zn与Hm进行组合作为输出层的输入A,表示为:
A=[Zn|Hm]∈RN×(2nK+2mK)
通过对输入A求伪逆,计算连接权重
其中,λ是正则化参数;
结合岭回归获得的连接权重的最优解/>
其中,T为转置符;
包括,网络异常检测模型的输出O为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111498284.8A CN114448657B (zh) | 2021-12-09 | 2021-12-09 | 一种配电通信网络安全态势感知与异常入侵检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111498284.8A CN114448657B (zh) | 2021-12-09 | 2021-12-09 | 一种配电通信网络安全态势感知与异常入侵检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114448657A CN114448657A (zh) | 2022-05-06 |
CN114448657B true CN114448657B (zh) | 2023-12-01 |
Family
ID=81363755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111498284.8A Active CN114448657B (zh) | 2021-12-09 | 2021-12-09 | 一种配电通信网络安全态势感知与异常入侵检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114448657B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114978964A (zh) * | 2022-05-10 | 2022-08-30 | 未鲲(上海)科技服务有限公司 | 基于网络自检的通信公告配置方法、装置、设备及介质 |
CN115296851B (zh) * | 2022-07-06 | 2024-07-26 | 国网山西省电力公司信息通信分公司 | 一种基于互信息与灰狼提升算法的网络入侵检测方法 |
CN118740521B (zh) * | 2024-09-02 | 2024-11-05 | 江苏网擎安全技术有限公司 | 基于模式识别的网络攻击检测系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112187752A (zh) * | 2020-09-18 | 2021-01-05 | 湖北大学 | 一种基于随机森林的入侵检测分类方法及装置 |
CN113645182A (zh) * | 2021-06-21 | 2021-11-12 | 上海电力大学 | 一种基于二次特征筛选的拒绝服务攻击随机森林检测方法 |
CN115277159A (zh) * | 2022-07-22 | 2022-11-01 | 重庆邮电大学 | 一种基于改进随机森林的工业互联网安全态势评估方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10885469B2 (en) * | 2017-10-02 | 2021-01-05 | Cisco Technology, Inc. | Scalable training of random forests for high precise malware detection |
-
2021
- 2021-12-09 CN CN202111498284.8A patent/CN114448657B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112187752A (zh) * | 2020-09-18 | 2021-01-05 | 湖北大学 | 一种基于随机森林的入侵检测分类方法及装置 |
CN113645182A (zh) * | 2021-06-21 | 2021-11-12 | 上海电力大学 | 一种基于二次特征筛选的拒绝服务攻击随机森林检测方法 |
CN115277159A (zh) * | 2022-07-22 | 2022-11-01 | 重庆邮电大学 | 一种基于改进随机森林的工业互联网安全态势评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114448657A (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114448657B (zh) | 一种配电通信网络安全态势感知与异常入侵检测方法 | |
US20230013306A1 (en) | Sensitive Data Classification | |
CN111612041B (zh) | 异常用户识别方法及装置、存储介质、电子设备 | |
CN107493277B (zh) | 基于最大信息系数的大数据平台在线异常检测方法 | |
WO2019019630A1 (zh) | 反欺诈识别方法、存储介质、承载平安脑的服务器及装置 | |
US20170018030A1 (en) | System and Method for Determining Credit Worthiness of a User | |
CN111612038B (zh) | 异常用户检测方法及装置、存储介质、电子设备 | |
CN111754241A (zh) | 一种用户行为感知方法、装置、设备及介质 | |
CN115619245A (zh) | 一种基于数据降维方法的画像构建和分类方法及系统 | |
CN112202718B (zh) | 一种基于XGBoost算法的操作系统识别方法、存储介质及设备 | |
TWI677830B (zh) | 模型中關鍵變量的探測方法及裝置 | |
CN113642669B (zh) | 基于特征分析的防欺诈检测方法、装置、设备及存储介质 | |
KR20210091591A (ko) | 원천 기술의 평가 방법을 포함하는 전자 장치 | |
CN116545679A (zh) | 一种工业情境安全基础框架及网络攻击行为特征分析方法 | |
US20240152818A1 (en) | Methods for mitigation of algorithmic bias discrimination, proxy discrimination and disparate impact | |
CN114330987A (zh) | 电力监控系统运维行为分析方法、装置及计算机设备 | |
CN118432952B (zh) | 一种零信任环境下的异常检测方法、电子设备及存储介质 | |
Rachwał et al. | Isolation Forest with Exclusion of Attributes Based on Shapley Index | |
CN113904801B (zh) | 一种网络入侵检测方法及系统 | |
Chen et al. | Application of deep learning model in computer data mining intrusion detection | |
CN117499103A (zh) | 一种用户异常行为检测方法、系统、装置及可读存储介质 | |
Zhang et al. | A Relational Graph Convolution Network-Based Smart Risk Recognition Model for Financial Transactions | |
Zejian et al. | Power Outage Detection and Prediction Model Using Data Mining Technique | |
CN116797378A (zh) | 一种基于模糊邻域粗糙集的医保欺诈检测方法 | |
CN116346453A (zh) | 异常信息识别方法和装置、电子设备、计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |