Nothing Special   »   [go: up one dir, main page]

CN112565301B - 基于小样本学习的服务器运行网络流量异常数据检测方法 - Google Patents

基于小样本学习的服务器运行网络流量异常数据检测方法 Download PDF

Info

Publication number
CN112565301B
CN112565301B CN202011569465.0A CN202011569465A CN112565301B CN 112565301 B CN112565301 B CN 112565301B CN 202011569465 A CN202011569465 A CN 202011569465A CN 112565301 B CN112565301 B CN 112565301B
Authority
CN
China
Prior art keywords
sample
ano
abnormal
network
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011569465.0A
Other languages
English (en)
Other versions
CN112565301A (zh
Inventor
栾钟治
黄绍晗
刘轶
杨海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Publication of CN112565301A publication Critical patent/CN112565301A/zh
Application granted granted Critical
Publication of CN112565301B publication Critical patent/CN112565301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于小样本学习的服务器运行网络流量异常数据检测方法，该方法首先通过对网络流量出现的频次筛选切分出小样本训练数据，然后对小样本训练数据添加异常类型标记；带有标记的异常网络浏览数据采用CNN方法进行学习获得小样本异常元素；最后对小样本异常元素进行相似度和流量概率计算以此表征出样本是否为异常。采用网络流量出现频次的筛选方式用来解决服务器运行期间出现的异常网络流量数据与正常网络流量数据相差巨大的问题。本发明异常检测方法可以更好地应用于复杂多变的服务器所处的网络服务环境。

Description

基于小样本学习的服务器运行网络流量异常数据检测方法
技术领域
本发明涉及服务器网络服务环境的异常检测，更特别地说，涉及样本量不平衡的网络服务环境下的基于小样本学习的服务器运行网络流量异常数据检测方法。在本发明中，将异常网络流量数据采用小样本的学习训练过程称为构建ADMSS模型。
背景技术
随着云计算、大数据技术的快速发展，网络安全已经逐渐成为人们越来越关心的问题。网络异常检测作为重要的防护手段，是网络服务管理研究中的热点之一，也越来越受广大学者和工程人员的重视。如图1所示的一种网络入侵环境，攻击者通过僵尸主机向目标主机进行攻击。对于目标主机可以通过查询网络流量(network flow)来提取日志，从而判断出哪些网络流量数据(network traffic data)是存在风险的。
服务器，也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。在网络环境下，根据服务器提供的服务类型不同，分为文件服务器，数据库服务器，应用程序服务器，WEB服务器等。
机器学习技术被广泛地应用于异常检测领域。该技术主要以监督学习为主，通过训练机器学习模型，完成对网络入侵的检测。模型通过足够多的异常数据，完成对异常特征的抽取，根据抽取到的所述异常特征对异常情况进行分类。在机器学习模型训练过程中，需要足够多有标注的数据，当数据不足时，模型很难得到有效的训练。常见的网络异常检测模型有朴素贝叶斯模型、支持向量机模型，在近期的研究中，越来越多的神经网络模型被应用到网络异常检测领域。
传统的机器学习模型需要足够多的异常数据进行训练，当新的网络入侵环境出现时，很难提供足够多的异常标注数据。同时在新的网络环境中，往往也会产生分布不同的网络攻击，甚至会产生未知类型的网络攻击，传统的机器学习模型面对的网络环境，往往不能达到预期目标。
发明内容
为了解决服务器在面对新型的、异常的、小样本网络流量数据信息出现时，无法通过已有的检测模型来保障网络安全，从而造成服务器成为了被攻击目标的技术问题，本发明提出了一种基于小样本学习的服务器运行网络流量异常数据检测方法。
本发明提出的一种基于小样本学习的服务器运行网络流量异常数据检测方法，该方法应用于网络服务器中的异常检测。当服务器网络流量数据新出现或较少出现的情况时，在这些网络流量数据中往往会存在异常的网络流量，已有的服务器网络流量数据的异常检测方法将不能检测这些异常数据。本发明第一方面用出现频次切分来解决服务器运行期间出现的异常网络流量数据与正常网络流量数据在数据量相差巨大的问题；该频次切分能够有效的帮助ADMSS模型从带有标记为异常的网络流量数据中学习更多新的服务器网络服务环境的特征；第二方面通过服务器运行管理人员(server manager)给新出现的服务器网络流量异常数据添加标签，然后对标签后的异常网络流量数据进行小样本训练；第三方面应用本发明方法能够在新出现的服务器网络流量异常的环境下有效检测服务器异常。本发明所构建的小样本网络流量数据的异常检测方法，能够更好地应用于复杂多变的服务器所处的网络服务环境。
本发明的一种基于小样本学习的服务器运行网络流量异常数据检测方法，其特征在于包括有下列步骤：
步骤一，使用WireShark工具获取流量发生器的网络流量数据；
使用WireShark过滤器过滤由流量发生器产生的多个网络流量数据，得到正常的网络流量数据集合，记为正常－流集合FW，且FW＝{fw1,fw2,…,fwa,…,fwA}；
步骤二，使用WireShark工具获取攻击主机的网络流量数据；
使用WireShark过滤器过滤由攻击主机产生的多个网络流量数据，得到异常的网络流量数据集合，记为异常－流集合HW，且HW＝{hw1,hw2,…,hwb,…,hwB}；
步骤三，网络流量数据中正常－特征提取；
服务器的WireShark过滤器中是存在有多个特征向量的，为了实现对网络流量数据包中信息的提取，选取WireShark过滤器中已有的41个特征来对正常－流集合FW＝{fw1,fw2,…,fwa,…,fwA}和异常－流集合HW＝{hw1,hw2,…,hwb,…,hwB}进行特征提取；
所述的41个特征构成一个一维特征向量；
步骤31，将步骤一得到的正常－流集合FW＝{fw1,fw2,…,fwa,…,fwA}中的网络数据包提取出，得到正常－数据包集合DPFW，且
Figure BDA0002862322600000021
步骤32，依据一维特征向量提取所述
Figure BDA0002862322600000031
中特征，记为正常－特征集合，记为FV，且
Figure BDA0002862322600000032
步骤四，网络流量数据中异常－特征提取；
步骤41，将步骤二得到的异常－流集合HW＝{hw1,hw2,…,hwb,…,hwB}中的网络数据包提取出，得到异常－数据包集合DPHW，且
Figure BDA0002862322600000033
步骤42，依据一维特征向量提取所述
Figure BDA0002862322600000034
中特征，记为异常－特征集合，记为HV，且
Figure BDA0002862322600000035
步骤五，记录下所有网络流量数据的特征；
将步骤三得到的FV与步骤四得到的HV进行求并集，得到全特征集合VFH＝FV∪HV；则
Figure BDA0002862322600000036
步骤六，小样本集合与多样本集合的划分；
步骤61，异常类型标记；
设置的异常类型标记集合，记为ANO，且ANO＝{ano1,ano2,…,anoc,…,anoC}；
步骤62，建立支持样本；
从步骤四得到的异常－特征集合
Figure BDA0002862322600000037
中随机选取D(D＜B)个异常－特征，得到支持样本集合，记为SS，且
Figure BDA0002862322600000038
步骤63，支持样本异常划分；
依据步骤61得到的ANO＝{ano1,ano2,…,anoc,…,anoC}对步骤62得到的支持样本集合
Figure BDA0002862322600000039
进行异常类型划分，得到类型－支持样本集合，记为MSS，且
Figure BDA00028623226000000310
Figure BDA00028623226000000311
表示属于ano1的支持样本集合，且
Figure BDA00028623226000000312
Figure BDA00028623226000000313
表示属于ano2的支持样本集合，且
Figure BDA0002862322600000041
Figure BDA0002862322600000042
表示属于anoc的支持样本集合，且
Figure BDA0002862322600000043
Figure BDA0002862322600000044
表示属于anoC的支持样本集合，且
Figure BDA0002862322600000045
步骤64，选取小样本异常元素；
若将类型－支持样本集合
Figure BDA0002862322600000046
中的任意一个支持样本集合作为小样本异常元素，记为MSS小样本；则属于
Figure BDA0002862322600000047
中的其他支持样本集合将作为多样本异常元素，记为MSS多样本；
步骤七，训练相似度、流量概率；
步骤71，采用卷积神经网络CNN进行样本编码；
使用卷积神经网络CNN对属于ano1的支持样本集合
Figure BDA0002862322600000048
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA0002862322600000049
使用卷积神经网络CNN对属于ano2的支持样本集合
Figure BDA00028623226000000410
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA00028623226000000411
使用卷积神经网络CNN对属于anoc的支持样本集合
Figure BDA00028623226000000412
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA00028623226000000413
使用卷积神经网络CNN对属于anoC的支持样本集合
Figure BDA00028623226000000414
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA00028623226000000415
步骤72，训练样本选取；
从步骤五中得到的
Figure BDA00028623226000000416
中任意选取一个元素作为训练样本，记为tsVFH；
步骤73，训练样本编码；
使用卷积神经网络CNN对训练样本tsVFH进行编码，得到编码结果fθ(tsVFH)，下角标θ表示卷积神经网络CNN的学习参数；
步骤74，求取小样本相似度；
基于小样本的相似度为
Figure BDA0002862322600000051
步骤75，求取多样本相似度；
多样本的相似度为
Figure BDA0002862322600000052
步骤76，求取网络流量数据异常的概率；
计算元素x为异常网络流量的概率，记为y，且y＝sigmoid(W·fθ(x))⊙[simu(x,xi),simk(x,xi)]；sigmoid为Sigmoid函数；W为频次学习参数。
本发明基于小样本学习的服务器运行网络流量异常数据检测方法的优点在于：
①当新出现或较少出现的服务器运行网络流量数据的情况下，通过对网络流量标注异常类型为网络流量异常数据，并完成对这些异常数据的小样本学习训练，在下一次运行服务器时，服务器网络服务环境将取得较好的异常检测效果。
②本发明用出现频次切分来解决小样本与原有多数样本在数据量上不平衡的问题，帮助ADMSS模型从小样本中学习更多新型的服务器运行出现的网络流量异常的特征。
③本发明采用相似度和流量概率表征出样本是否异常，更能准确地从服务器运行的网络服务环境中检测出攻击内容。
④本发明ADMSS模型检测是辅助原有的异常检测模型(简称ABD模型)的，经初始化下异常检测的结果存储添加至异常网络流量行为资源库中，在下一次服务器运行时，也将作为ABD模型的检测项，故本发明的迭代小样本方式能够快速进行服务器的异常检测，降低攻击。
附图说明
图1是传统网络攻击的网络环境图。
图2是本发明基于小样本学习的服务器运行网络流量异常数据的检测流程图。
具体实施方式
为了更加明晰的阐述本发明的技术方案和内容，下面结合附图对本发明做进一步详细描述。
在本发明中，服务器运行期间已经记录的网络流量数据包括正常的网络流量数据和Satan类型、Ipsweep类型两种异常数据。使用WireShark过滤器过滤流量发生器中的多个网络流量数据，记为正常－流集合FW，且FW＝{fw1,fw2,…,fwa,…,fwA}。使用WireShark过滤器过滤攻击主机中的多个网络流量数据，记为异常－流集合HW，且HW＝{hw1,hw2,…,hwb,…,hwB}。
fw1表示第一个正常网络流量数据；所述fw1携带的网络数据包，记为
Figure BDA0002862322600000061
fw2表示第二个正常网络流量数据；所述fw2携带的网络数据包，记为
Figure BDA0002862322600000062
fwa表示任意一个正常网络流量数据；下角标a表示正常网络流量数据的标识号；所述fwa携带的网络数据包，记为
Figure BDA0002862322600000063
fwA表示最后一个正常网络流量数据；下角标A表示正常网络流量数据的总条数，a∈A。所述fwA携带的网络数据包，记为
Figure BDA0002862322600000064
hw1表示第一个异常网络流量数据；所述hw1携带的网络数据包，记为
Figure BDA0002862322600000065
hw2表示第二个异常网络流量数据；所述hw2携带的网络数据包，记为
Figure BDA0002862322600000066
hwb表示任意一个异常网络流量数据；下角标b表示异常网络流量数据的标识号；所述hwb携带的网络数据包，记为
Figure BDA0002862322600000067
hwB表示最后一个异常网络流量数据；下角标B表示异常网络流量数据的总条数，b∈B。所述hwB携带的网络数据包，记为
Figure BDA0002862322600000068
在本发明中，服务器运行期间已经记录的网络流量数据(network traffic data)包括正常的网络流量数据和Satan类型、Ipsweep类型的异常网络流量数据(abnormalnetwork traffic data)，原有的异常检测模型(简称ABD模型)是在这些网络流量数据上训练得到的。所述Satan类型、Ipsweep类型的异常网络流量数据也称为图2的大样本网络异常网络流量数据。当网络服务环境发生变化时，产生了新型的Smuf和新型的Portsweep两种服务器网络流量异常，则所述ABD模型很难对新型异常进行判断和检测。服务器运行管理人员(server manager)在这两种类型网络流量异常数据中，选择对新出现的或较少出现的网络流量异常数据进行人工添加一个类别标记ANO。人工添加类别标记的小样本数据一方面用来构建一个异常的服务器网络流量小样本训练数据，即构建新的ADMSS模型；另一方面人工添加类别标记的小样本数据交给服务器流量数据异常检测的组合模型；所述组合模型为ABD模型和ADMSS模型组成。
Satan类型是指美国林肯实验室建立的模拟美国空军局域网的网络环境收集的勒索信息数据异常类型。
Ipsweep类型是指美国林肯实验室建立的模拟美国空军局域网的网络环境收集的端口监视数据异常类型。
在本发明中，构建ADMSS模型是指对异常网络流量数据(abnormal networktraffic data)采用小样本的学习训练过程。异常网络流量数据是指服务器运行期间，采用出现频次切分后的较少出现过的或者新出现的异常网络流量数据(abnormal networktraffic data)。
将本发明构建得到的ADMSS模型存储于服务器的硬盘中。所述的硬盘中至少还存储有原有的异常检测模型(简称ABD模型)。参见图2所示，服务器初始化后进入工作状态，当服务器运行一段时间后，服务器会记录下一段时间以来的网络流量数据(network trafficdata)。通过对网络流量数据出现的频次筛选，第一方面能够获得大样本－异常网络流量实测数据；第二方面能够获得较少出现的异常网络流量数据；第三方面能够获得新出现的异常网络流量数据；第二方面和第三方面的网络流量数据统称为小样本－异常网络流量实测数据。
对于大样本－异常网络流量实测数据采用ABD模型进行网络实测大样本数据特征抽取，生成大样本－实测特征向量。
对于小样本－异常网络流量实测数据采用ADMSS模型进行网络实测小样本数据特征抽取，生成小样本－实测特征向量。
在本发明中，小样本－异常网络流量实测数据同时也将保存于异常网络流量行为资源库中。经初次处理后形成的异常网络流量行为资源库也将作为下一次网络流量异常数据切分的筛选信息。本发明对异常网络流量行为资源库为迭代更新，迭代小样本方式能够快速地进行服务器的异常检测，降低攻击。
本发明基于小样本学习的服务器运行网络流量异常数据检测方法，包括有下列步骤：
步骤一，使用WireShark工具获取流量发生器的网络流量数据；
使用WireShark过滤器，过滤由流量发生器产生的多个网络流量数据，得到正常的网络流量数据集合，记为正常－流集合FW，且FW＝{fw1,fw2,…,fwa,…,fwA}。
步骤二，使用WireShark工具获取攻击主机的网络流量数据；
使用WireShark过滤器，过滤由攻击主机产生的多个网络流量数据，得到异常的网络流量数据集合，记为异常－流集合HW，且HW＝{hw1,hw2,…,hwb,…,hwB}。
步骤三，网络流量数据中正常－特征提取；
服务器的WireShark过滤器中是存在有多个特征向量的，在本发明中，为了实现对网络流量数据包中信息的提取，选取WireShark过滤器中已有的41个特征来对正常－流集合FW＝{fw1,fw2,…,fwa,…,fwA}和异常－流集合HW＝{hw1,hw2,…,hwb,…,hwB}进行特征提取。所述的41个特征构成一个一维特征向量。
步骤31，将步骤一得到的正常－流集合FW＝{fw1,fw2,…,fwa,…,fwA}中的网络数据包提取出，得到正常－数据包集合DPFW，且
Figure BDA0002862322600000081
步骤32，依据一维特征向量提取所述
Figure BDA0002862322600000082
中特征，记为正常－特征集合，记为FV，且
Figure BDA0002862322600000083
Figure BDA0002862322600000084
表示属于
Figure BDA0002862322600000085
的正常－特征；
Figure BDA0002862322600000086
表示属于
Figure BDA0002862322600000087
的正常－特征；
Figure BDA0002862322600000088
表示属于
Figure BDA0002862322600000089
的正常－特征；
Figure BDA00028623226000000810
表示属于
Figure BDA00028623226000000811
的正常－特征。
步骤四，网络流量数据中异常－特征提取；
步骤41，将步骤二得到的异常－流集合HW＝{hw1,hw2,…,hwb,…,hwB}中的网络数据包提取出，得到异常－数据包集合DPHW，且
Figure BDA00028623226000000812
步骤42，依据一维特征向量提取所述
Figure BDA00028623226000000813
中特征，记为异常－特征集合，记为HV，且
Figure BDA00028623226000000814
Figure BDA00028623226000000815
表示属于
Figure BDA00028623226000000816
的异常－特征；
Figure BDA00028623226000000817
表示属于
Figure BDA00028623226000000818
的异常－特征；
Figure BDA00028623226000000819
表示属于
Figure BDA00028623226000000820
的异常－特征；
Figure BDA00028623226000000821
表示属于
Figure BDA00028623226000000822
的异常－特征。
步骤五，记录下所有网络流量数据的特征；
将步骤三得到的FV与步骤四得到的HV进行求并集，得到全特征集合VFH＝FV∪HV。则
Figure BDA0002862322600000091
步骤六，小样本集合与多样本集合的划分；
步骤61，异常类型标记；
在本发明中，设置的异常类型标记集合，记为ANO，且ANO＝{ano1,ano2,…,anoc,…,anoC}；
ano1表示第一种异常类型标记；比如，所述ano1可以是Satan类型标记。
ano2表示第二种异常类型标记；比如，所述ano2可以是Ipsweep类型标记。
anoc表示任意一种异常类型标记；下角标c是异常类型的标识号；比如，所述anoc可以是Smurf类型标记。
anoC表示最后一种异常类型标记；下角标C是异常类型的总类型数，c∈C。比如，所述anoC可以是Portsweep类型标记。
Satan类型是指美国林肯实验室建立的模拟美国空军局域网的网络环境收集的勒索信息数据异常类型。
Ipsweep类型是指美国林肯实验室建立的模拟美国空军局域网的网络环境收集的端口监视数据异常类型。
Smurf类型是指美国林肯实验室建立的模拟美国空军局域网的网络环境收集的拒绝服务攻击数据异常类型。
Portsweep类型是指美国林肯实验室建立的模拟美国空军局域网的网络环境收集的端口扫描数据异常类型。
步骤62，建立支持样本；
从步骤四得到的异常－特征集合
Figure BDA0002862322600000092
中随机选取D(D＜B)个异常－特征，得到支持样本集合，记为SS，且
Figure BDA0002862322600000093
Figure BDA0002862322600000094
表示从异常－特征集合HV中选取的第一个支持样本；
Figure BDA0002862322600000095
表示从异常－特征集合HV中选取的第二个支持样本；
Figure BDA0002862322600000101
表示从异常－特征集合HV中选取的任意一个支持样本；下角标d是异常－特征集合HV中选取的支持样本的标识号。
Figure BDA0002862322600000102
表示从异常－特征集合HV中选取的最后一个支持样本；下角标D是从异常－特征集合HV中选取的支持样本的总数，d∈D。
步骤63，支持样本异常划分；
依据步骤61得到的ANO＝{ano1,ano2,…,anoc,…,anoC}对步骤62得到的支持样本集合
Figure BDA0002862322600000103
进行异常类型划分，得到类型－支持样本集合，记为MSS，且
Figure BDA0002862322600000104
Figure BDA0002862322600000105
表示属于ano1的支持样本集合，且
Figure BDA0002862322600000106
Figure BDA0002862322600000107
表示属于ano1的第一个支持样本，
Figure BDA0002862322600000108
表示属于ano1的第二个支持样本，
Figure BDA0002862322600000109
表示属于ano1的任意一个支持样本，
Figure BDA00028623226000001010
表示属于ano1的最后一个支持样本。
Figure BDA00028623226000001011
表示属于ano2的支持样本集合，且
Figure BDA00028623226000001012
Figure BDA00028623226000001013
表示属于ano2的第一个支持样本，
Figure BDA00028623226000001014
表示属于ano2的第二个支持样本，
Figure BDA00028623226000001015
表示属于ano2的任意一个支持样本，
Figure BDA00028623226000001016
表示属于ano2的最后一个支持样本。
Figure BDA00028623226000001017
表示属于anoc的支持样本集合，且
Figure BDA00028623226000001018
Figure BDA00028623226000001019
表示属于anoc的第一个支持样本，
Figure BDA00028623226000001020
表示属于anoc的第二个支持样本，
Figure BDA00028623226000001021
表示属于anoc的任意一个支持样本，
Figure BDA00028623226000001022
表示属于anoc的最后一个支持样本。
Figure BDA00028623226000001023
表示属于anoC的支持样本集合，且
Figure BDA00028623226000001024
Figure BDA00028623226000001025
表示属于anoC的第一个支持样本，
Figure BDA00028623226000001026
表示属于anoC的第二个支持样本，
Figure BDA00028623226000001027
表示属于anoC的任意一个支持样本，
Figure BDA00028623226000001028
表示属于anoC的最后一个支持样本。
步骤64，选取小样本异常元素；
在本发明中，若将类型－支持样本集合
Figure BDA00028623226000001029
中的任意一个支持样本集合作为小样本异常元素，记为MSS小样本；则属于
Figure BDA00028623226000001030
中的其他支持样本集合将作为多样本异常元素，记为MSS多样本。
比如，若将
Figure BDA0002862322600000111
作为小样本异常元素，记为MSS小样本，且
Figure BDA0002862322600000112
则属于
Figure BDA0002862322600000113
中的
Figure BDA0002862322600000114
将作为多样本异常元素，记为MSS多样本，且
Figure BDA0002862322600000115
步骤七，训练相似度、流量概率；
在本发明中，基于小样本的相似度为
Figure BDA0002862322600000116
simu表示小样本相似度；
simu(x,xi)中的x表示从
Figure BDA0002862322600000117
中任意选取的一个元素；xi表示
Figure BDA0002862322600000118
中的任意一个元素；
Figure BDA0002862322600000119
为元素x与元素xi这两个样本之间的指数，e为自然对数的底，取值2.71828；下角标θ表示卷积神经网络CNN的学习参数；fθ(x)表示属于x的编码，fθ(xi)表示属于xi的编码；
xj表示从
Figure BDA00028623226000001110
中任意选取的一个元素；
Figure BDA00028623226000001111
为元素x与元素xj这两个样本之间的指数，e为自然对数的底，取值2.71828；下角标θ表示卷积神经网络CNN的学习参数；fθ(x)表示属于x的编码，fθ(xj)表示属于xj的编码。
在本发明中，多样本的相似度为
Figure BDA00028623226000001112
simk表示多样本相似度；
simk(x,xi)中的x表示从
Figure BDA00028623226000001113
中任意选取的一个元素；xi表示
Figure BDA0002862322600000121
中的任意一个元素；
Figure BDA0002862322600000122
为元素x与元素xi这两个样本之间的指数，e为自然对数的底，取值2.71828；下角标θ表示卷积神经网络CNN的学习参数；fθ(x)表示属于x的编码，fθ(xi)表示属于xi的编码；
xg表示从MSS多样本中任意选取的一个元素；
Figure BDA0002862322600000123
为元素x与元素xg这两个样本之间的指数，e为自然对数的底，取值2.71828；下角标θ表示卷积神经网络CNN的学习参数；fθ(x)表示属于x的编码，fθ(xg)表示属于xg的编码。
在本发明中，计算元素x为异常网络流量的概率，记为y，且y＝sigmoid(W·fθ(x))⊙[simu(x,xi),simk(x,xi)]；sigmoid为Sigmoid函数；W为频次学习参数，取值为小于100条异常网络流量。
步骤71，采用卷积神经网络CNN进行样本编码；
在本发明中，将类型－支持样本集合
Figure BDA0002862322600000124
中的任意一个支持样本集合作为卷积神经网络CNN的输入信息，将MSS中的各个样本与学习参数θ进行卷积运算，得到异常编码结果。
使用卷积神经网络CNN对属于ano1的支持样本集合
Figure BDA0002862322600000125
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA0002862322600000126
Figure BDA0002862322600000127
表示使用卷积神经网络CNN对
Figure BDA0002862322600000128
的编码结果。
Figure BDA0002862322600000129
表示使用卷积神经网络CNN对
Figure BDA00028623226000001210
的编码结果。
Figure BDA00028623226000001211
表示使用卷积神经网络CNN对
Figure BDA00028623226000001212
的编码结果。
Figure BDA00028623226000001213
表示使用卷积神经网络CNN对
Figure BDA00028623226000001214
的编码结果。
使用卷积神经网络CNN对属于ano2的支持样本集合
Figure BDA00028623226000001215
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA00028623226000001216
Figure BDA00028623226000001217
表示使用卷积神经网络CNN对
Figure BDA00028623226000001218
的编码结果。
Figure BDA00028623226000001219
表示使用卷积神经网络CNN对
Figure BDA00028623226000001220
的编码结果。
Figure BDA00028623226000001221
表示使用卷积神经网络CNN对
Figure BDA00028623226000001222
的编码结果。
Figure BDA00028623226000001223
表示使用卷积神经网络CNN对
Figure BDA00028623226000001224
的编码结果。
使用卷积神经网络CNN对属于anoc的支持样本集合
Figure BDA0002862322600000131
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA0002862322600000132
Figure BDA0002862322600000133
表示使用卷积神经网络CNN对
Figure BDA0002862322600000134
的编码结果。
Figure BDA0002862322600000135
表示使用卷积神经网络CNN对
Figure BDA0002862322600000136
的编码结果。
Figure BDA0002862322600000137
表示使用卷积神经网络CNN对
Figure BDA0002862322600000138
的编码结果。
Figure BDA0002862322600000139
表示使用卷积神经网络CNN对
Figure BDA00028623226000001310
的编码结果。
使用卷积神经网络CNN对属于anoC的支持样本集合
Figure BDA00028623226000001311
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure BDA00028623226000001312
Figure BDA00028623226000001313
表示使用卷积神经网络CNN对
Figure BDA00028623226000001314
的编码结果。
Figure BDA00028623226000001315
表示使用卷积神经网络CNN对
Figure BDA00028623226000001316
的编码结果。
Figure BDA00028623226000001317
表示使用卷积神经网络CNN对
Figure BDA00028623226000001318
的编码结果。
Figure BDA00028623226000001319
表示使用卷积神经网络CNN对
Figure BDA00028623226000001320
的编码结果。
在本发明中，卷积神经网络CNN参考了2017年7月出版的《浓度学习》第201－203页，作者(美)伊恩·古德费洛著；赵申剑，黎彧君，符天凡，李凯译。
步骤72，训练样本选取；
从步骤五中得到的
Figure BDA00028623226000001321
中任意选取一个元素作为训练样本，记为tsVFH；
比如，选取的训练样本是
Figure BDA00028623226000001322
步骤73，训练样本编码；
使用卷积神经网络CNN对训练样本tsVFH进行编码，得到编码结果fθ(tsVFH)，下角标θ表示卷积神经网络CNN的学习参数。
比如，使用卷积神经网络CNN对
Figure BDA00028623226000001323
进行编码，得到编码结果
Figure BDA00028623226000001324
步骤74，求取小样本相似度；
在本发明中，基于小样本的相似度为
Figure BDA00028623226000001325
比如，选取的训练样本是
Figure BDA0002862322600000141
所述
Figure BDA0002862322600000142
编码结果
Figure BDA0002862322600000143
比如，小样本异常元素是
Figure BDA0002862322600000144
经卷积神经网络CNN编码后，得到的小样本异常编码结果分别为
Figure BDA0002862322600000145
Figure BDA0002862322600000146
则
Figure BDA0002862322600000147
与小样本异常编码结果
Figure BDA0002862322600000148
和
Figure BDA0002862322600000149
进行两两相比，分别获得的相似度为：
Figure BDA00028623226000001410
与
Figure BDA00028623226000001411
的相似度为：
Figure BDA00028623226000001412
Figure BDA00028623226000001413
与
Figure BDA00028623226000001414
的相似度为：
Figure BDA00028623226000001415
Figure BDA00028623226000001416
与
Figure BDA00028623226000001417
的相似度为：
Figure BDA00028623226000001418
Figure BDA00028623226000001419
与
Figure BDA00028623226000001420
的相似度为：
Figure BDA00028623226000001421
步骤75，求取多样本相似度；
在本发明中，多样本的相似度为
Figure BDA0002862322600000151
比如，选取的训练样本是
Figure BDA0002862322600000152
所述
Figure BDA0002862322600000153
编码结果
Figure BDA0002862322600000154
比如，多样本异常元素是
Figure BDA0002862322600000155
经卷积神经网络CNN编码后，得到的多样本异常编码结果分别为
Figure BDA0002862322600000156
则
Figure BDA0002862322600000157
与多样本异常编码结果
Figure BDA0002862322600000158
中的元素进行两两相比，分别获得的相似度。
Figure BDA0002862322600000159
与
Figure BDA00028623226000001510
的相似度为：
Figure BDA00028623226000001511
依据
Figure BDA00028623226000001512
与
Figure BDA00028623226000001513
的相似度
Figure BDA00028623226000001514
同理可得，属于多样本中的其他元素的相似度；这个相似度则是分母值不变化，变化的是分子值。
步骤76，求取网络流量数据异常的概率；
在本发明中，计算元素x为异常网络流量的概率，记为y，且y＝sigmoid(W·fθ(x))⊙[simu(x,xi),simk(x,xi)]；sigmoid为Sigmoid函数；W为频次学习参数。
计算
Figure BDA0002862322600000161
的异常网络流量的概率为
Figure BDA0002862322600000162
表1，训练样本与任意样本元素之间的指数计算
Figure BDA0002862322600000163
在本发明中，
Figure BDA0002862322600000171
为属于ano1的支持样本集合
Figure BDA0002862322600000172
的样本指数之和，记为第一种标记类型样本指数之和
Figure BDA0002862322600000173
在本发明中，
Figure BDA0002862322600000174
为属于ano2的支持样本集合
Figure BDA0002862322600000175
的样本指数之和，记为第二种标记类型样本指数之和
Figure BDA0002862322600000176
在本发明中，
Figure BDA0002862322600000177
为属于anoc的支持样本集合
Figure BDA0002862322600000178
的样本指数之和，记为第c种标记类型样本指数之和
Figure BDA0002862322600000179
在本发明中，
Figure BDA00028623226000001710
为属于anoC的支持样本集合
Figure BDA00028623226000001711
的样本指数之和，记为第C种标记类型样本指数之和
Figure BDA00028623226000001712
比如，
Figure BDA00028623226000001713
下的样本指数的总和为
Figure BDA00028623226000001714
在本发明中，WireShark过滤器中已有的41个特征分别是：
Figure BDA0002862322600000181
Figure BDA0002862322600000191
本发明网络异常检测方法的关键是让ADMSS模型学会如何通过数量较少的服务器异常网络流量数据进行学习。该ADMSS模型的训练方法跟传统的异常检测模型的训练方法不同，在使用有类别标签的服务器网络流量数据对异常检测模型进行训练时，将原有服务器网络流量数据按照异常的类别标签进行随机划分，将其中一些较少出现或新出现的异常网络流量数据，称这些数据为小样本数据，其它服务器网络流量数据称为多数样本数据。通过这种方式让ADMSS模型在训练过程中就学习到如何处理这些小样本数据。小样本数据与原有多数样本数据存在数据不平衡的问题，本发明采用出现频次切分的作用是用来调节和学习小样本数据和多数样本数据之间的权重，该结构可以帮助ADMSS模型从小样本中学习更多服务器网络流量数据中新出现的异常特征。

Claims (3)

1.一种基于小样本学习的服务器运行网络流量异常数据检测方法，其特征在于包括有下列步骤：
步骤一，使用WireShark工具获取流量发生器的网络流量数据；
使用WireShark过滤器过滤由流量发生器产生的多个网络流量数据，得到正常的网络流量数据集合，记为正常－流集合FW，且FW＝{fw1,fw2,…,fwa,…,fwA}；
fw1表示第一个正常网络流量数据；所述fw1携带的网络数据包，记为
Figure FDA0003181243610000011
fw2表示第二个正常网络流量数据；所述fw2携带的网络数据包，记为
Figure FDA0003181243610000012
fwa表示任意一个正常网络流量数据；下角标a表示正常网络流量数据的标识号；所述fwa携带的网络数据包，记为
Figure FDA0003181243610000013
fwA表示最后一个正常网络流量数据；下角标A表示正常网络流量数据的总条数，a∈A；所述fwA携带的网络数据包，记为
Figure FDA0003181243610000014
步骤二，使用WireShark工具获取攻击主机的网络流量数据；
使用WireShark过滤器过滤由攻击主机产生的多个网络流量数据，得到异常的网络流量数据集合，记为异常－流集合HW，且HW＝{hw1,hw2,…,hwb,…,hwB}；
hw1表示第一个异常网络流量数据；所述hw1携带的网络数据包，记为
Figure FDA0003181243610000015
hw2表示第二个异常网络流量数据；所述hw2携带的网络数据包，记为
Figure FDA0003181243610000016
hwb表示任意一个异常网络流量数据；下角标b表示异常网络流量数据的标识号；所述hwb携带的网络数据包，记为
Figure FDA0003181243610000017
hwB表示最后一个异常网络流量数据；下角标B表示异常网络流量数据的总条数，b∈B；所述hwB携带的网络数据包，记为
Figure FDA0003181243610000018
步骤三，网络流量数据中正常－特征提取；
服务器的WireShark过滤器中是存在有多个特征向量的，为了实现对网络流量数据包中信息的提取，选取WireShark过滤器中已有的41个特征来对正常－流集合FW＝{fw1,fw2,…,fwa,…,fwA}和异常－流集合HW＝{hw1,hw2,…,hwb,…,hwB}进行特征提取；
所述的41个特征构成一个一维特征向量；
步骤31，将步骤一得到的正常－流集合FW＝{fw1,fw2,…,fwa,…,fwA}中的网络数据包提取出，得到正常－数据包集合DPFW，且
Figure FDA0003181243610000021
步骤32，依据一维特征向量提取所述
Figure FDA0003181243610000022
中特征，记为正常－特征集合，记为FV，且
Figure FDA0003181243610000023
Figure FDA0003181243610000024
表示属于
Figure FDA0003181243610000025
的正常－特征；
Figure FDA0003181243610000026
表示属于
Figure FDA0003181243610000027
的正常－特征；
Figure FDA0003181243610000028
表示属于
Figure FDA0003181243610000029
的正常－特征；
Figure FDA00031812436100000210
表示属于
Figure FDA00031812436100000211
的正常－特征；
步骤四，网络流量数据中异常－特征提取；
步骤41，将步骤二得到的异常－流集合HW＝{hw1,hw2,…,hwb,…,hwB}中的网络数据包提取出，得到异常－数据包集合DPHW，且
Figure FDA00031812436100000212
步骤42，依据一维特征向量提取所述
Figure FDA00031812436100000213
中特征，记为异常－特征集合，记为HV，且
Figure FDA00031812436100000214
Figure FDA00031812436100000215
表示属于
Figure FDA00031812436100000216
的异常－特征；
Figure FDA00031812436100000217
表示属于
Figure FDA00031812436100000218
的异常－特征；
Figure FDA00031812436100000219
表示属于
Figure FDA00031812436100000220
的异常－特征；
Figure FDA00031812436100000221
表示属于
Figure FDA00031812436100000222
的异常－特征；
步骤五，记录下所有网络流量数据的特征；
将步骤三得到的FV与步骤四得到的HV进行求并集，得到全特征集合VFH＝FV∪HV；则
Figure FDA00031812436100000223
步骤六，小样本集合与多样本集合的划分；
步骤61，异常类型标记；
设置的异常类型标记集合，记为ANO，且ANO＝{ano1,ano2,…,anoc,…,anoC}；
ano1表示第一种异常类型标记；
ano2表示第二种异常类型标记；
anoc表示任意一种异常类型标记；下角标c是异常类型的标识号；
anoC表示最后一种异常类型标记；下角标C是异常类型的总类型数，c∈C；
步骤62，建立支持样本；
从步骤四得到的异常－特征集合
Figure FDA0003181243610000031
中随机选取D，且D＜B个异常－特征，得到支持样本集合，记为SS，且
Figure FDA0003181243610000032
Figure FDA0003181243610000033
表示从异常－特征集合HV中选取的第一个支持样本；
Figure FDA0003181243610000034
表示从异常－特征集合HV中选取的第二个支持样本；
Figure FDA0003181243610000035
表示从异常－特征集合HV中选取的任意一个支持样本；下角标d是异常－特征集合HV中选取的支持样本的标识号；
Figure FDA0003181243610000036
表示从异常－特征集合HV中选取的最后一个支持样本；下角标D是从异常－特征集合HV中选取的支持样本的总数，d∈D；
步骤63，支持样本异常划分；
依据步骤61得到的ANO＝{ano1,ano2,…,anoc,…,anoC}对步骤62得到的支持样本集合
Figure FDA0003181243610000037
进行异常类型划分，得到类型－支持样本集合，记为MSS，且
Figure FDA0003181243610000038
Figure FDA0003181243610000039
表示属于ano1的支持样本集合，且
Figure FDA00031812436100000310
Figure FDA00031812436100000311
表示属于ano1的第一个支持样本，
Figure FDA00031812436100000312
表示属于ano1的第二个支持样本，
Figure FDA00031812436100000313
表示属于ano1的任意一个支持样本，
Figure FDA00031812436100000314
表示属于ano1的最后一个支持样本；
Figure FDA00031812436100000315
表示属于ano2的支持样本集合，且
Figure FDA0003181243610000041
Figure FDA0003181243610000042
表示属于ano2的第一个支持样本，
Figure FDA0003181243610000043
表示属于ano2的第二个支持样本，
Figure FDA0003181243610000044
表示属于ano2的任意一个支持样本，
Figure FDA0003181243610000045
表示属于ano2的最后一个支持样本；
Figure FDA0003181243610000046
表示属于anoc的支持样本集合，且
Figure FDA0003181243610000047
Figure FDA0003181243610000048
表示属于anoc的第一个支持样本，
Figure FDA0003181243610000049
表示属于anoc的第二个支持样本，
Figure FDA00031812436100000410
表示属于anoc的任意一个支持样本，
Figure FDA00031812436100000411
表示属于anoc的最后一个支持样本；
Figure FDA00031812436100000412
表示属于anoC的支持样本集合，且
Figure FDA00031812436100000413
Figure FDA00031812436100000414
表示属于anoC的第一个支持样本，
Figure FDA00031812436100000415
表示属于anoC的第二个支持样本，
Figure FDA00031812436100000416
表示属于anoC的任意一个支持样本，
Figure FDA00031812436100000417
表示属于anoC的最后一个支持样本；
步骤64，选取小样本异常元素；
若将类型－支持样本集合
Figure FDA00031812436100000418
中的任意一个支持样本集合作为小样本异常元素，记为MSS小样本；则属于
Figure FDA00031812436100000419
中的其他支持样本集合将作为多样本异常元素，记为MSS多样本；
步骤七，训练相似度、流量概率；
步骤71，采用卷积神经网络CNN进行样本编码；
使用卷积神经网络CNN对属于ano1的支持样本集合
Figure FDA00031812436100000420
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure FDA00031812436100000421
Figure FDA00031812436100000422
表示使用卷积神经网络CNN对
Figure FDA00031812436100000423
的编码结果；
Figure FDA00031812436100000424
表示使用卷积神经网络CNN对
Figure FDA00031812436100000425
的编码结果；
Figure FDA00031812436100000426
表示使用卷积神经网络CNN对
Figure FDA00031812436100000427
的编码结果；
Figure FDA00031812436100000428
表示使用卷积神经网络CNN对
Figure FDA00031812436100000429
的编码结果；
使用卷积神经网络CNN对属于ano2的支持样本集合
Figure FDA0003181243610000051
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure FDA0003181243610000052
Figure FDA0003181243610000053
表示使用卷积神经网络CNN对
Figure FDA0003181243610000054
的编码结果；
Figure FDA0003181243610000055
表示使用卷积神经网络CNN对
Figure FDA0003181243610000056
的编码结果；
Figure FDA0003181243610000057
表示使用卷积神经网络CNN对
Figure FDA0003181243610000058
的编码结果；
Figure FDA0003181243610000059
表示使用卷积神经网络CNN对
Figure FDA00031812436100000510
的编码结果；
使用卷积神经网络CNN对属于anoc的支持样本集合
Figure FDA00031812436100000511
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure FDA00031812436100000512
Figure FDA00031812436100000513
表示使用卷积神经网络CNN对
Figure FDA00031812436100000514
的编码结果；
Figure FDA00031812436100000515
表示使用卷积神经网络CNN对
Figure FDA00031812436100000516
的编码结果；
Figure FDA00031812436100000517
表示使用卷积神经网络CNN对
Figure FDA00031812436100000518
的编码结果；
Figure FDA00031812436100000519
表示使用卷积神经网络CNN对
Figure FDA00031812436100000520
的编码结果；
使用卷积神经网络CNN对属于anoC的支持样本集合
Figure FDA00031812436100000521
中的各个支持样本进行编码，分别得到小样本异常编码结果
Figure FDA00031812436100000522
Figure FDA00031812436100000523
表示使用卷积神经网络CNN对
Figure FDA00031812436100000524
的编码结果；
Figure FDA00031812436100000525
表示使用卷积神经网络CNN对
Figure FDA00031812436100000526
的编码结果；
Figure FDA00031812436100000527
表示使用卷积神经网络CNN对
Figure FDA00031812436100000528
的编码结果；
Figure FDA00031812436100000529
表示使用卷积神经网络CNN对
Figure FDA00031812436100000530
的编码结果；
步骤72，训练样本选取；
从步骤五中得到的
Figure FDA00031812436100000531
中任意选取一个元素作为训练样本，记为tsVFH；
步骤73，训练样本编码；
使用卷积神经网络CNN对训练样本tsVFH进行编码，得到编码结果fθ(tsVFH)，下角标θ表示卷积神经网络CNN的学习参数；
步骤74，求取小样本相似度；
基于小样本的相似度为
Figure FDA0003181243610000061
simu表示小样本相似度；
simu(x,xi)中的x表示从
Figure FDA0003181243610000062
中任意选取的一个元素；xi表示
Figure FDA0003181243610000063
中的任意一个元素；
Figure FDA0003181243610000064
为元素x与元素xi这两个样本之间的指数，e为自然对数的底，取值2.71828；下角标θ表示卷积神经网络CNN的学习参数；fθ(x)表示属于x的编码，fθ(xi)表示属于xi的编码；
xj表示从
Figure FDA0003181243610000065
中任意选取的一个元素；
fθ(xj)表示属于xj的编码；
步骤75，求取多样本相似度；
多样本的相似度为
Figure FDA0003181243610000066
simk表示多样本相似度；
simk(x,xi)中的x表示从
Figure FDA0003181243610000067
中任意选取的一个元素；xi表示
Figure FDA0003181243610000068
中的任意一个元素；
xg表示从MSS多样本中任意选取的一个元素；
fθ(x)表示属于x的编码，fθ(xg)表示属于xg的编码；
步骤76，求取网络流量数据异常的概率；
计算元素x为异常网络流量的概率，记为y，且y＝sigmoid(W·fθ(x))⊙[simu(x,xi),simk(x,xi)]；sigmoid为Sigmoid函数；W为频次学习参数。
2.根据权利要求1所述的基于小样本学习的服务器运行网络流量异常数据检测方法，其特征在于：步骤61中的异常类型有Satan类型、Ipsweep类型、Smurf类型和Portsweep类型。
3.根据权利要求1所述的基于小样本学习的服务器运行网络流量异常数据检测方法，其特征在于：异常网络流量数据是指服务器运行期间，采用出现频次切分后的较少出现或新出现的异常网络流量数据。
CN202011569465.0A 2019-12-26 2020-12-26 基于小样本学习的服务器运行网络流量异常数据检测方法 Active CN112565301B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911365025 2019-12-26
CN2019113650250 2019-12-26

Publications (2)

Publication Number Publication Date
CN112565301A CN112565301A (zh) 2021-03-26
CN112565301B true CN112565301B (zh) 2021-08-31

Family

ID=75033248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011569465.0A Active CN112565301B (zh) 2019-12-26 2020-12-26 基于小样本学习的服务器运行网络流量异常数据检测方法

Country Status (1)

Country Link
CN (1) CN112565301B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096393A (zh) * 2021-03-29 2021-07-09 中移智行网络科技有限公司 一种路况预警方法、装置及边缘云设备
CN113037783B (zh) * 2021-05-24 2021-08-06 中南大学 一种异常行为检测方法及系统
CN113191359B (zh) * 2021-06-30 2021-11-16 之江实验室 基于支持与查询样本的小样本目标检测方法与系统
CN114154001B (zh) * 2021-11-29 2024-09-10 北京国瑞数智技术有限公司 虚假媒体内容挖掘与识别的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138784A (zh) * 2019-05-15 2019-08-16 重庆大学 一种基于特征选择的网络入侵检测系统
CN110365659A (zh) * 2019-06-26 2019-10-22 浙江大学 一种小样本场景下的网络入侵检测数据集的构造方法
CN110363239A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 一种面向多模态数据的小样本机器学习方法、系统和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215151B1 (en) * 2011-12-14 2015-12-15 Google Inc. Dynamic sampling rate adjustment for rate-limited statistical data collection
CN105704103B (zh) * 2014-11-26 2017-05-10 中国科学院沈阳自动化研究所 基于OCSVM双轮廓模型的Modbus TCP通信行为异常检测方法
CN110381052B (zh) * 2019-07-16 2021-12-21 海南大学 基于CNN的DDoS攻击多元信息融合方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138784A (zh) * 2019-05-15 2019-08-16 重庆大学 一种基于特征选择的网络入侵检测系统
CN110365659A (zh) * 2019-06-26 2019-10-22 浙江大学 一种小样本场景下的网络入侵检测数据集的构造方法
CN110363239A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 一种面向多模态数据的小样本机器学习方法、系统和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multiple Algorithms Against Multiple Hardware Architectures: Data-Driven Exploration on Deep Convolution Neural Network;Chongyang Xu等;《Network and Parallel Computing. 16th IFIP WG 10.3 International Conference, NPC 2019》;20190929;第371-375页 *

Also Published As

Publication number Publication date
CN112565301A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112565301B (zh) 基于小样本学习的服务器运行网络流量异常数据检测方法
CN111428231B (zh) 基于用户行为的安全处理方法、装置及设备
Kayacik et al. Selecting features for intrusion detection: A feature relevance analysis on KDD 99 intrusion detection datasets
CN112866023B (zh) 网络检测、模型训练方法、装置、设备及存储介质
CN112468347B (zh) 一种云平台的安全管理方法、装置、电子设备及存储介质
CN112491796A (zh) 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法
CN115080756A (zh) 一种面向威胁情报图谱的攻防行为和时空信息抽取方法
Jia et al. MAGIC: Detecting Advanced Persistent Threats via Masked Graph Representation Learning
Harbola et al. Improved intrusion detection in DDoS applying feature selection using rank & score of attributes in KDD-99 data set
CN110598959A (zh) 一种资产风险评估方法、装置、电子设备及存储介质
CN112202718A (zh) 一种基于XGBoost算法的操作系统识别方法、存储介质及设备
Petersen Data mining for network intrusion detection: A comparison of data mining algorithms and an analysis of relevant features for detecting cyber-attacks
Alagrash et al. Machine learning and recognition of user tasks for malware detection
CN114817928A (zh) 网络空间数据融合分析方法、系统、电子设备及存储介质
CN110689074A (zh) 一种基于模糊集特征熵值计算的特征选择方法
Jittawiriyanukoon Evaluation of a multiple regression model for noisy and missing data
CN117579324B (zh) 基于门控时间卷积网络与图的入侵检测方法
CN113904801B (zh) 一种网络入侵检测方法及系统
CN115622750A (zh) 安全告警智能排查方法、网络设备及存储介质
CN117041362B (zh) 一种针对工控协议语义逆向结果的校验方法及系统
CN113221110B (zh) 一种基于元学习的远程访问木马智能分析方法
US20240220610A1 (en) Security data processing device, security data processing method, and computer-readable storage medium for storing program for processing security data
Patel et al. SQL Injection and HTTP Flood DDOS Attack Detection and Classification Based on Log Data
Vakkund et al. Enhancing Big Data Security Through Anomaly Detection
kyung Park et al. MalPaCA Feature Engineering-A comparative analysis between automated feature engineering and manual feature engineering on network traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant