CN118487973B - 实现多目标融合的智能电网细粒度流量测量方法和系统 - Google Patents
实现多目标融合的智能电网细粒度流量测量方法和系统 Download PDFInfo
- Publication number
- CN118487973B CN118487973B CN202410933196.3A CN202410933196A CN118487973B CN 118487973 B CN118487973 B CN 118487973B CN 202410933196 A CN202410933196 A CN 202410933196A CN 118487973 B CN118487973 B CN 118487973B
- Authority
- CN
- China
- Prior art keywords
- flow
- information
- tuple
- formula
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000000691 measurement method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012216 screening Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims description 50
- 238000013507 mapping Methods 0.000 claims description 27
- 238000007906 compression Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 6
- 230000009193 crawling Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 18
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/022—Capturing of monitoring data by sampling
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供实现多目标融合的智能电网细粒度流量测量方法和系统，属于网络流量测量领域。所述方法包括：在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取；接收和存储抓取的信息，并根据任务定义对采样得到的信息进行融合，从而得到网络流大小和网络流基数的估计值；所述SRAM在测量周期结束后重置所开辟的连续内存空间，并返回执行对新的数据包进行在线数据筛选和信息抓取的步骤。该方法可以通过一次性的实时在线数据筛选与抓取，同时实现不同定义下的流大小类和流基数类的流量测量。
Description
技术领域
本发明涉及网络流量测量领域，具体地涉及实现多目标融合的智能电网细粒度流量测量方法和系统。
背景技术
实时的网络流量测量可以为智能电网的资源最优调度、网络管理、网络安全等重要功能模块提供基础的数据支持，从而提升电力通信网的基础服务性能及运行的安全性。根据实际测量需求，通常将具有相同流标签的一组数据包抽象为一条流，并将流中具有相同标识符的数据包进一步抽象为一个元素，那么流量测量任务可以分为流大小测量（即：测量流中数据包的个数）、网络流基数测量（即：测量网络流中不同元素的数量）。其中，网络流标签和网络流元素可以根据应用需求灵活定义，例如将发往同一目的地址的数据包抽象为一条流，将源地址抽象为元素的标识符，那么该目的地址是该流的流标签，而每个不同的源地址是其中的一个元素。在智能电网中的每个核心网关上，实时测量所能监测到的每条流的大小和基数这类细粒度的流量信息，能够为负载均衡和攻击检测等关键网络功能提供决策依据。
在实际的智能电网运行环境下，核心网关需要同时实现对网络的性能监控、事件检测和攻击识别等功能，而不同的功能需要实现不同类型或级别的网络流量测量。例如，负载均衡需要以源和目的地址的组合作为流标签，测量每条流的大小，而扫描攻击检测则需要以源地址作为流标签抽象流，测量流的基数。然而，现有测量技术通常是为特定测量任务而设计的，其数据结构和任务类型有着紧耦合的关系。在这种情况下，要同时实现多目标的测量任务，就需要同时部署多个独立测量模块。虽然已有少量技术可以实现部分测量任务的融合测量，但大都仅支持同类型的测量任务融合，如不同定义下的流基数类测量任务融合，仍然无法满足实际的多目标、细粒度流量融合测量需求。
发明内容
本发明实施例的目的是提供实现多目标融合的智能电网细粒度流量测量方法和系统，该方法可以通过一次性的实时在线数据筛选与抓取，同时实现不同定义下的流大小类和流基数类的流量测量。
为了实现上述目的，本发明实施例提供一种实现多目标融合的智能电网细粒度流量测量方法，包括：
在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取；
接收和存储抓取的信息，并根据任务定义对采样得到的信息进行融合，从而得到网络流大小和网络流基数的估计值；
所述SRAM在测量周期结束后重置所开辟的连续内存空间，并返回执行对新的数据包进行在线数据筛选和信息抓取的步骤。
可选的，所述在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取包括：
获取所述数据包，并将所述数据包的细粒度信息映射到一个虚拟元素；
通过哈希技术对所述虚拟元素进行筛选并以预定义的概率对每个不同的所述虚拟元素进行抓取。
可选的，所述接收和存储抓取的信息，并根据任务定义对采样得到的信息进行融合，从而得到网络流大小和网络流基数的估计值包括：
接收所述虚拟元素和对应的数据包信息；
根据任务定义对数据包信息的细粒度信息进行融合，并获取流大小的估计值；
根据任务定义对数据包信息的细粒度信息进行融合，并获取流基数的估计值。
可选的，所述获取所述数据包，并将所述数据包的细粒度信息映射到一个虚拟元素包括：
对每个到来的所述数据包随机生成一个[0,1]之间的小数，其中为数据包，数据包的细粒度流标签信息为五元组，所有拥有相同五元组的数据包抽象为一条流，每条流对应一个包含个bitmap的虚拟空间，第个bitmap记为，其长度为，哈希概率为；
根据所述数据包的小数所属的区间以确定其所属bitmap的序号，其中，表示参数，表示第个bitmap的哈希概率；
根据所述数据包所属的序号的bitmap的随机生成一个[,]之间的整数；
根据所述数据包所属的序号和对应的整数生成虚拟元素。
可选的，所述通过哈希技术对所述虚拟元素进行筛选并以预定义的概率对每个不同的所述虚拟元素进行抓取包括：
获取压缩后的所述虚拟元素和相应的五元组的信息；
初始化连续内存空间中的所有位均为0；
根据公式（1）获取所述虚拟元素及其五元组映射在所述SRAM中的一块长度为的连续内存空间的映射结果：
公式（1）
其中，为映射在连续内存空间中的映射结果，为虚拟元素在连续内存空间映射的序号，为任意一个随机性很好的哈希函数，是按位求异或操作，为五元组流标签，为虚拟元素，表示连续内存空间的长度参数；
判断所述映射结果为1还是为0；
在所述映射结果为1的情况下，结束操作；
在所述映射结果为0的情况下，将所述映射结果置为1；
将计数器的值加一，所述计数器用于记录连续内存空间的中值为1的位的个数；
根据公式（2）获取对所述虚拟元素的采样概率；
公式（2）
其中，为对虚拟元素的采样概率，为无重复采样概率，为计数器的记录中值为1的位的个数；
根据采样概率对所述虚拟元素进行采样，以得到被采样的所述虚拟元素和所述虚拟元素对应的五元组的信息。
可选的，所述根据任务定义对数据包信息的细粒度流量信息进行融合，并获取流大小的估计值包括：
获取采集到的每一个虚拟元素和对应的和五元组；
将每个所述五元组对应一个计数器，多个所述计数器按照标签记作；
对每个计数器，获取满足条件的最小的序号和对应的计数器，和对应的五元组的bitmap的虚拟空间的长度；
根据公式（3）计算所述五元组的大小的粗估值：
公式（3）
其中，为五元组的大小的粗估值。
可选的，所述根据任务定义对数据包信息的细粒度流量信息进行融合，并获取流大小的估计值包括：
根据公式（4）计算流在第个bitmap的采样概率：
公式（4）
其中，为流在第个bitmap的采样概率，为流在上的压缩率；
根据所述公式（4）计算得到各个bitmap的整体采样概率；
获取整体采样概率最大的bitmap为，并根据公式（5）对采样到的流量信息的五元组的大小进行估计：
公式（5）
其中，为五元组大小的估计值；
对于根据任务定义的每个流，确定属于相同标签的五元组集合；
根据公式（6）确定属于同一集合的五元组的总的流的大小：
公式（6）
其中，表示标签包含的流的大小的估计值，表示由所有标签中包含的五元组构成的子流集合。
可选的，所述根据任务定义对数据包信息的细粒度信息进行融合，并获取流基数的估计值包括：
对于根据任务定义的每个流，确定属于相同标签和流的元素的五元组集合；
获取标签为的流，根据公式（7）确定流中的一个元素的采样概率：
公式（7）
其中，为元素的采样概率，表示标签中包含与的五元组构成的子流集合；
根据公式（8）计算流的基数的估计值：
公式（8）。
另一方面，本发明还提供一种实现多目标融合的智能电网细粒度流量测量系统，包括：
在线编码部分，所述在线编码部分用于实时在线数据筛选和细粒度流量信息抓取；
离线估计部分，用于接收和存储抓取的细粒度流量信息，并根据部署测量任务对流量信息进行融合，分别对流大小类任务和流基数类测量任务进行估计。
可选的，所述在线编码部分包括流量压缩模块，用于生成虚拟元素；无重采样模块，用于去除重复虚拟元素，并以恒定概率对不同的虚拟元素及对应细粒度流量信息进行采样；所述离线估计部分包括：流大小估计，用于所部署的流大小类任务定义对细粒度流量信息进行融合，并提供流大小的估计值；流基数估计，用于所部署的流基数类任务定义对细粒度流量信息进行融合，并提供流基数的估计值。
通过上述技术方案，本发明提供的实现多目标融合的智能电网细粒度流量测量方法和系统通过在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取，然后可以接收和存储抓取的信息。在得到信息后，可以根据任务定义对采样得到的信息进行融合，从而可以得到网络流大小和网络流基数的估计值。SRAM在测量周期结束后重置所开辟的连续内存空间，并且可以重新对新的数据包进行在线数据筛选和信息抓取。该方法可以实时在线数据筛选与抓取，同时实现不同定义下的流大小类和流基数类的流量测量。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的流程图；
图2是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的对数据包进行在线筛选和信息抓取的流程图；
图3是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的获取网络流大小和网络结束的估计值的流程图；
图4是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的生成虚拟元素的流程图；
图5是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的获取虚拟元素的流程图；
图6是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的获取流大小的估计值的第一流程图；
图7是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的获取流大小的估计值的第二流程图；
图8是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的获取流基数的估计值的流程图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是根据本发明的一个实施方式的实现多目标融合的智能电网细粒度流量测量方法的流程图。该方法的流程可以包括：
在步骤S1中，在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取。
在步骤S2中，接收和存储抓取的信息，并根据任务定义对采样得到的信息进行融合，从而得到网络流大小和网络流基数的估计值。
在步骤S3中，SRAM在测量周期结束后重置所开辟的连续内存空间，并返回执行对新的数据包进行在线数据筛选和信息抓取的步骤。
在本发明中，该方法可以包括在线编码和离线估计两个分部。在线编码操作在智能电网中的每个核心网关的SRAM上进行，包含流量压缩和无重复采样两个部分。在每个测量周期，SRAM上会开辟一块连续内存空间用于无重复采样。当有数据包到达时，流量压缩将该数据包的细粒度信息映射到一个虚拟元素，无重复采样将虚拟元素利用哈希技术记录到所开辟的连续内存空间中，以删除重复出现的虚拟元素，并以预定义的概率对每个不同的虚拟元素和对应的数据包信息进行抓取。从而，流量的细粒度信息会被采样到服务器进行记录，以供离线估计操作根据系统的测量任务需求对流量信息进行融合和估计。等一个测量周期结束后，SRAM将重置所开辟的连续内存空间。离线估计操作在服务器上实现，对于每个部署的测量任务，分别根据任务定义对采样得到的细粒度信息进行融合，从而根据估计公式得到网络流大小和网络流基数的估计值。
在本发明的一个实施方式中，如图2所示，对数据包进行在线筛选和信息抓取的流程包括：
在步骤S4中，获取数据包，并将数据包的细粒度信息映射到一个虚拟元素。
在步骤S5中，通过哈希技术对虚拟元素进行筛选并以预定义的概率对每个不同的虚拟元素进行抓取。
在本发明中，在对数据包进行在线数据筛选和信息抓取时，可以先获取该数据包，并且可以将该数据包的细粒度信息映射到一个虚拟元素。通过哈希技术可以对该虚拟元素进行筛选并可以以预定义的概率对每个不同的虚拟元素进行抓取。
在本发明的一个实施方式中，如图3所示，获取网络流大小和网络结束的估计值的流程可以包括：
在步骤S6中，接收虚拟元素和对应的数据包信息。
在步骤S7中，根据任务定义对数据包信息的细粒度信息进行融合，并获取流大小的估计值。
在步骤S8中，根据任务定义对数据包信息的细粒度信息进行融合，并获取流基数的估计值。
在本发明中，在获取到虚拟元素后，可以获取虚拟元素对应的数据包信息，然后可以根据任务定义对数据包信息的细粒度信息进行融合，并且可以获取流的大小的估计值和流基数的估计值。
在本发明的一个实施方式中，如图4所示，生成虚拟元素的流程包括：
在步骤S9中，对每个到来的数据包随机生成一个[0,1]之间的小数，其中为数据包，数据包的细粒度流标签信息为五元组，所有拥有相同五元组的数据包抽象为一条流，每条流对应一个包含个bitmap的虚拟空间，第个bitmap记为，其长度为，哈希概率为。
在步骤S10中，根据数据包的小数所属的区间以确定其所属bitmap的序号，其中，表示参数，表示第个bitmap的哈希概率。
在步骤S11中，根据数据包所属的序号的bitmap的随机生成一个[,]之间的整数。
在步骤S12中，根据数据包所属的序号和对应的整数生成虚拟元素。
在本发明中，可以将所有拥有相同五元组的数据包可以抽象为一条流，数据包可以是元素。每条流中的元素可以被映射为虚拟空间中的一个虚拟元素。在映射时，可以对每个数据包随机生成一个[0,1]之间的小数，然后可以根据其所述区间确定其所属bitmap为。根据该数据包所属的序号为的bitmap的可以随机生成一个[,]之间的整数。通过该数据包所属的序号和对应的整数可以生成虚拟元素。
在本发明的一个实施方式中，如图5所示，获取虚拟元素的流程可以包括：
在步骤S13中，获取压缩后的虚拟元素和相应的五元组的信息。
在步骤S14中，初始化连续内存空间中的所有位均为0。
在步骤S15中，根据公式（1）获取虚拟元素及其五元组映射在SRAM中的一块长度为的连续内存空间的映射结果：
公式（1）
其中，为映射在连续内存空间中的映射结果，为虚拟元素在连续内存空间映射的序号，为任意一个随机性很好的哈希函数，是按位求异或操作，为五元组流标签，为虚拟元素，表示连续内存空间的长度参数。
在步骤S16中，判断映射结果为1还是为0。
在步骤S17中，在映射结果为1的情况下，结束操作。
在步骤S18中，在映射结果为0的情况下，将映射结果置为1。
在步骤S19中，将计数器的值加一，计数器用于记录连续内存空间的中值为1的位的个数。
在步骤S20中，根据公式（2）获取对虚拟元素的采样概率；
公式（2）
其中，为对虚拟元素的采样概率，为无重复采样概率，为计数器的记录中值为1的位的个数。
在步骤S21中，根据采样概率对虚拟元素进行采样，以得到被采样的虚拟元素和虚拟元素对应的五元组的信息。
在本发明中，对压缩后的元素可以进行无重复采样。在每个测量周期开始，电网核心网关会在SRAM上开辟一块长度为的连续内存空间用于流量信息筛选，以去除重复出现的元素。初始时，设置中的所有位均为0。无重采样概率记为。计数器用于记录中值为1的位的个数。对于每个压缩后的虚拟元素，可以根据公式（1）获取该虚拟元素及其五元组映射在连续内存空间的映射结果。在得到映射结果后，如果为1，则不做任何操作，继续处理下一个数据包。如果为0，则将该位置为1，计数器的值加一，并以概率对虚拟元素进行采样。通过公式（2）可以获取对虚拟元素的采样概率。在通过该采样概率对虚拟元素进行采样后，可以得到被采样的虚拟元素和对应的五元组的信息，可以将该信息发送到服务器进行保存，从而可以用于后续的离线估计。
在本发明的一个实施方法中，如图6所示，获取流大小的估计值的第一流程可以包括：
在步骤S22中，获取采集到的每一个虚拟元素和对应的和五元组。
在步骤S23中，将每个五元组对应一个计数器，多个计数器按照标签记作。
在步骤S24中，对每个计数器，获取满足条件的最小的序号和对应的计数器，和对应的五元组的bitmap的虚拟空间的长度。
在步骤S25中，根据公式（3）计算五元组的大小的粗估值：
公式（3）
其中，为五元组的大小的粗估值，为对应的五元组的bitmap的虚拟空间的长度。
在本发明中，在获取到每一个虚拟元素和对应的五元组后，可以对五元组的大小进行粗估。多个所述计数器可以按照标签记作，分别记录该条流在该测量周期内每个bitmap采样到的虚拟元素的数量。在获取满足要求的最小的序号和对应的计数器后，可以根据公式（3）对该对应的五元组的大小进行粗估。
在本发明的一个实施方式中，如图7所示，获取流大小的估计值的第二流程可以包括：
在步骤S26中，根据公式（4）计算流在第个bitmap的采样概率：
公式（4）
其中，为流在第个bitmap的采样概率，为流在上的压缩率。
在步骤S27中，根据公式（4）计算得到各个bitmap的整体采样概率。
在步骤S28中，获取整体采样概率最大的bitmap为，并根据公式（5）对采样到的流量信息的五元组的大小进行估计：
公式（5）
其中，为五元组大小的估计值。
在步骤S29中，对于根据任务定义的每个流，确定属于相同标签的五元组集合。
在步骤S30中，根据公式（6）确定属于同一集合的五元组的总的流的大小：
公式（6）
其中，表示标签包含的流的大小的估计值，表示由所有标签中包含的五元组构成的子流集合。
在本发明中，在通过公式（4）计算得到流在第个bitmap的采样概率后，可以再次根据该公式（4）计算得到流在每个bitmap的整体采样概率。为了使估计精度最高，可以选择整体采样概率最大的bitmap为所采样到的流量信息对五元组的大小进行估计，即通过公式（5）获取五元组的大小。对于流的大小的测量，可以根据流定义对属于相同标签的五元组的大小进行加和，从而可以得到流大小的估计值。对于某个测量任务所查询的流，首先确定集合，然后可以通过公式（6）确定属于同一集合的五元组的总的流的大小。该总的流的大小可以是所求的流的大小的估计值。
在本发明的一个实施方式中，如图8所示，获取流基数的估计值的流程可以包括：
在步骤S31中，对于根据任务定义的每个流，确定属于相同标签和流的元素的五元组集合。
在步骤S32中，获取标签为的流，根据公式（7）确定流中的一个元素的采样概率：
公式（7）
其中，为元素的采样概率，表示标签中包含与的五元组构成的子流集合，为流在第个bitmap的采样概率。
在步骤S33中，根据公式（8）计算流的基数的估计值：
公式（8）。
在本发明中，在获取流的基数的估计值时，可以分别根据其流定义确定属于相同标签和流的元素的五元组集合。对于属于同一条流的所有流的元素，可以分别根据所确定的五元组集合和公式（7）计算每个元素的实际采样概率。对于每一条流，可以分别根据流中所含元素、每个元素的采样概率和公式（8）得到流的基数的估计值。
另一方面，本发明还提供一种实现多目标融合的智能电网细粒度流量测量系统，该系统可以包括在线编码部分和离线估计部分。在线编码部分用于实时在线数据筛选和细粒度流量信息抓取。离线估计部分可以用于接收和存储抓取的细粒度流量信息，并根据部署测量任务对流量信息进行融合，分别对流大小类任务和流基数类测量任务进行估计。
在本发明的一个实施方式中，该在线编码部分可以包括流量压缩模块和无重采样模块。流量压缩模块可以用于生成虚拟元素。无重采样模块可以用于去除重复虚拟元素，并以恒定概率对不同的虚拟元素及对应细粒度流量信息进行采样。离线估计部分包括流大小估计和流基数估计。流大小估计可以用于所部署的流大小类任务定义对细粒度流量信息进行融合，并提供流大小的估计值。流基数估计可以用于所部署的流基数类任务定义对细粒度流量信息进行融合，并提供流基数的估计值。
通过上述技术方案，本发明提供的实现多目标融合的智能电网细粒度流量测量方法和系统通过在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取，然后可以接收和存储抓取的信息。在得到信息后，可以根据任务定义对采样得到的信息进行融合，从而可以得到网络流大小和网络流基数的估计值。SRAM在测量周期结束后重置所开辟的连续内存空间，并且可以重新对新的数据包进行在线数据筛选和信息抓取。该方法可以实时在线数据筛选与抓取，同时实现不同定义下的流大小类和流基数类的流量测量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (6)
1.一种实现多目标融合的智能电网细粒度流量测量方法，其特征在于，包括：
在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取；
接收和存储抓取的信息，并根据任务定义对采样得到的信息进行融合，从而得到网络流大小和网络流基数的估计值；
所述SRAM在测量周期结束后重置所开辟的连续内存空间，并返回执行对新的数据包进行在线数据筛选和信息抓取的步骤；
在每个测量周期内在SRAM上开辟一个连续内存空间以对到达的数据包进行在线数据筛选和信息抓取包括：
获取所述数据包，并将所述数据包的细粒度信息映射到一个虚拟元素；
通过哈希技术对所述虚拟元素进行筛选并以预定义的概率对每个不同的所述虚拟元素进行抓取；
接收和存储抓取的信息，并根据任务定义对采样得到的信息进行融合，从而得到网络流大小和网络流基数的估计值包括：
接收所述虚拟元素和对应的数据包信息；
根据任务定义对数据包信息的细粒度信息进行融合，并获取流大小的估计值；
根据任务定义对数据包信息的细粒度信息进行融合，并获取流基数的估计值；
根据任务定义对数据包信息的细粒度流量信息进行融合，并获取流大小的估计值包括：
获取采集到的每一个虚拟元素和对应的和五元组；
将每个所述五元组对应一个计数器，多个所述计数器按照标签记作；
对每个计数器，获取满足条件的最小的序号和对应的计数器，和对应的五元组的bitmap的虚拟空间的长度；
根据公式（3）计算所述五元组的大小的粗估值：
公式（3）
其中，为五元组的大小的粗估值，为对应的五元组的bitmap的虚拟空间的长度，为无重复采样概率；
根据任务定义对数据包信息的细粒度信息进行融合，并获取流基数的估计值包括：
对于根据任务定义的每个流，确定属于相同标签和流的元素的五元组集合；
获取标签为的流，根据公式（7）确定流中的一个元素的采样概率：
公式（7）
其中，为元素的采样概率，表示标签中包含与的五元组构成的子流集合，为流在第个bitmap的采样概率；
根据公式（8）计算流的基数的估计值：
公式（8）。
2.根据权利要求1所述的方法，其特征在于，所述获取所述数据包，并将所述数据包的细粒度信息映射到一个虚拟元素包括：
对每个到来的所述数据包随机生成一个[0,1]之间的小数，其中为数据包，数据包的细粒度流标签信息为五元组，所有拥有相同五元组的数据包抽象为一条流，每条流对应一个包含个bitmap的虚拟空间，第个bitmap记为，其长度为，哈希概率为；
根据所述数据包的小数所属的区间以确定其所属bitmap的序号，其中，表示参数，表示第个bitmap的哈希概率；
根据所述数据包所属的序号的bitmap的随机生成一个[,]之间的整数；
根据所述数据包所属的序号和对应的整数生成虚拟元素。
3.根据权利要求2所述的方法，其特征在于，所述通过哈希技术对所述虚拟元素进行筛选并以预定义的概率对每个不同的所述虚拟元素进行抓取包括：
获取压缩后的所述虚拟元素和相应的五元组的信息；
初始化连续内存空间中的所有位均为0；
根据公式（1）获取所述虚拟元素及其五元组映射在所述SRAM中的一块长度为的连续内存空间的映射结果：
公式（1）
其中，为映射在连续内存空间中的映射结果，为虚拟元素在连续内存空间映射的序号，为任意一个随机性很好的哈希函数，是按位求异或操作，为五元组流标签，为虚拟元素，表示连续内存空间的长度参数；
判断所述映射结果为1还是为0；
在所述映射结果为1的情况下，结束操作；
在所述映射结果为0的情况下，将所述映射结果置为1；
将计数器的值加一，所述计数器用于记录连续内存空间的中值为1的位的个数；
根据公式（2）获取对所述虚拟元素的采样概率；
公式（2）
其中，为对虚拟元素的采样概率，为无重复采样概率，为计数器的记录中值为1的位的个数；
根据采样概率对所述虚拟元素进行采样，以得到被采样的所述虚拟元素和所述虚拟元素对应的五元组的信息。
4.根据权利要求1所述的方法，其特征在于，所述根据任务定义对数据包信息的细粒度流量信息进行融合，并获取流大小的估计值包括：
根据公式（4）计算流在第个bitmap的采样概率：
公式（4）
其中，为流在第个bitmap的采样概率，为流在上的压缩率；
根据所述公式（4）计算得到各个bitmap的整体采样概率；
获取整体采样概率最大的bitmap为，并根据公式（5）对采样到的流量信息的五元组的大小进行估计：
公式（5）
其中，为五元组大小的估计值；
对于根据任务定义的每个流，确定属于相同标签的五元组集合；
根据公式（6）确定属于同一集合的五元组的总的流的大小：
公式（6）
其中，表示标签包含的流的大小的估计值，表示由所有标签中包含的五元组构成的子流集合。
5.一种实现多目标融合的智能电网细粒度流量测量系统，其特征在于，包括：
在线编码部分，所述在线编码部分用于实时在线数据筛选和细粒度流量信息抓取；
离线估计部分，用于接收和存储抓取的细粒度流量信息，并根据部署测量任务对流量信息进行融合，分别对流大小类任务和流基数类测量任务进行估计，对流大小的估计值包括：
获取采集到的每一个虚拟元素和对应的和五元组；
将每个五元组对应一个计数器，多个所述计数器按照标签记作；
对每个计数器，获取满足条件的最小的序号和对应的计数器，和对应的五元组的bitmap的虚拟空间的长度；
根据公式（3）计算所述五元组的大小的粗估值：
公式（3）
其中，为五元组的大小的粗估值，为对应的五元组的bitmap的虚拟空间的长度；
对流基数的估计值包括：
对于根据任务定义的每个流，确定属于相同标签和流的元素的五元组集合；
获取标签为的流，根据公式（7）确定流中的一个元素的采样概率：
公式（7）
其中，为元素的采样概率，表示标签中包含与的五元组构成的子流集合，为流在第个bitmap的采样概率；
根据公式（8）计算流的基数的估计值：
公式（8）。
6.根据权利要求5所述的系统，其特征在于，所述在线编码部分包括流量压缩模块，用于生成虚拟元素；无重采样模块，用于去除重复虚拟元素，并以恒定概率对不同的虚拟元素及对应细粒度流量信息进行采样；所述离线估计部分包括：流大小估计，用于所部署的流大小类任务定义对细粒度流量信息进行融合，并提供流大小的估计值；流基数估计，用于所部署的流基数类任务定义对细粒度流量信息进行融合，并提供流基数的估计值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410933196.3A CN118487973B (zh) | 2024-07-12 | 2024-07-12 | 实现多目标融合的智能电网细粒度流量测量方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410933196.3A CN118487973B (zh) | 2024-07-12 | 2024-07-12 | 实现多目标融合的智能电网细粒度流量测量方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118487973A CN118487973A (zh) | 2024-08-13 |
| CN118487973B true CN118487973B (zh) | 2024-10-29 |
Family
ID=92191410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410933196.3A Active CN118487973B (zh) | 2024-07-12 | 2024-07-12 | 实现多目标融合的智能电网细粒度流量测量方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118487973B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11805034B1 (en) * | 2016-12-07 | 2023-10-31 | Reservoir Labs, Inc. | Systems and methods for detecting large network flows |
| CN117792961A (zh) * | 2024-02-27 | 2024-03-29 | 苏州大学 | 一种多目标网络流基数融合测量方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113905449B (zh) * | 2021-09-30 | 2024-04-05 | 杭州阿里云飞天信息技术有限公司 | 计算资源调度方法、系统及设备 |
| CN117827851B (zh) * | 2024-03-06 | 2024-05-10 | 苏州元澄科技股份有限公司 | 一种用于流基数测量的数据处理结构及其应用 |
-
2024
- 2024-07-12 CN CN202410933196.3A patent/CN118487973B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11805034B1 (en) * | 2016-12-07 | 2023-10-31 | Reservoir Labs, Inc. | Systems and methods for detecting large network flows |
| CN117792961A (zh) * | 2024-02-27 | 2024-03-29 | 苏州大学 | 一种多目标网络流基数融合测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118487973A (zh) | 2024-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8578024B1 (en) | Network application signatures for binary protocols | |
| JP3510658B2 (ja) | ネットワーク解析方法 | |
| AU758185B2 (en) | System and method for measuring the transfer durations and loss rates in high volume telecommunication networks | |
| JP4547342B2 (ja) | ネットワーク制御装置と制御システム並びに制御方法 | |
| CN112486914B (zh) | 一种数据包存储与快查方法与系统 | |
| EP3282643B1 (en) | Method and apparatus of estimating conversation in a distributed netflow environment | |
| US11184255B2 (en) | System for preparing network traffic for fast analysis | |
| CN111181923A (zh) | 流量检测方法、装置、电子设备及存储介质 | |
| CN111181799A (zh) | 一种网络流量监控方法及设备 | |
| Mazhar Rathore et al. | Exploiting encrypted and tunneled multimedia calls in high-speed big data environment | |
| Turkovic et al. | Sequential zeroing: Online heavy-hitter detection on programmable hardware | |
| Long et al. | Network traffic classification based on a deep learning approach using netflow data | |
| CN118487973B (zh) | 实现多目标融合的智能电网细粒度流量测量方法和系统 | |
| CN112235154A (zh) | 基于物联网的数据处理方法、系统、装置及介质 | |
| US8838774B2 (en) | Method, system, and computer program product for identifying common factors associated with network activity with reduced resource utilization | |
| Pekar et al. | Towards threshold‐agnostic heavy‐hitter classification | |
| KR101338223B1 (ko) | 네트워크 트래픽 분석 시스템 및 방법 | |
| CN112688924A (zh) | 网络协议分析系统 | |
| CN112597525A (zh) | 基于隐私保护的数据处理方法、装置和服务器 | |
| CN110022343B (zh) | 自适应事件聚合 | |
| US20100169719A1 (en) | Network flow volume scaling | |
| CN112087448B (zh) | 安全日志提取方法、装置和计算机设备 | |
| Thakare et al. | Network traffic analysis, importance, techniques: A review | |
| CN118509269B (zh) | 一种电网智能监控系统中的实时流量筛选方法及系统 | |
| CN114153807A (zh) | 报文处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |