CN102595467B - 一种数据采集方法和设备 - Google Patents

Abstract

本发明提供了一种数据采集方法和设备，该方法包括：数据采集设备接收到数据包后，对该数据包逐层进行过滤，并在过滤出分组数据协议PDP激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址；所述数据采集设备根据所述IP地址，对后续接收到的数据包进行过滤，并在过滤出所述IP地址对应的用户面数据包后，将其保存或上报。采用本发明，可提高数据采集效率以及采集的可控性。

Description

一种数据采集方法和设备

技术领域

本发明涉及无线通信领域，尤其涉及一种数据采集方法和设备。

背景技术

随着第三代(3G)移动通信的大规模商用，移动全网数据业务量迅猛增长。由于业务与网络承载能力的增速严重不匹配，网络承载能力难以满足数据业务的爆炸式增长，对用户体验造成不好的影响。如何在保证网络建设的同时，提升数据业务的质量、满足用户日益增长对数据业务多样性和高可靠性需求，成为运营商需要解决的问题。

传统以KPI(Key Performance Indicators，关键业绩指标)为中心的网络质量评估体系难以准确反映客户感知，需要从传统的基于网元的以KPI为中心的管理向以客户感知为导向的端到端的业务实现管理转变。

为了建立有效的基于用户感知的端到端业务质量测试评估系统，需要采集用户在网络各端口(主要是IuB、IuPS、Gn和Gi口)的数据，通过对这些数据的深度分析找到影响业务质量的症结所在。

现有的采集设备多侧重于对信令面数据的采集，对于端口传输的数据一般采用全采全监的方式。将采集到的数据保存在硬盘上，待到采集完毕后离线进行解析。若需要采集指定用户的信令面和用户面数据，则采集完毕后需先对信令面数据进行解析，通过解析得到的与用户面数据关联的信息过滤出指定用户的用户面数据。针对某些需要包过滤的应用，现有的采集设备也可以采用基于IP的硬件过滤，通过配置指定的IP过滤条件剔除不需要的数据。在采集数据的整个过程中，需要有人在仪表都旁实时监控。

发明人在实现本发明的过程中，发现现有端到端数据采集技术至少存在以下缺陷：

现有的采集设备在采集过程中通过配置IP地址对采集数据进行过滤，过滤效果比较差，即采集的针对性较差，后续需要进一步解析以得到所需数据，因此采集效率低。这就导致实际保存的数据中可能包含了太多不需要的数据。以流量较大的Gn和Gi口为例，采集5G数据中可能仅包含2M大小的有用数据。

发明内容

本发明实施例提供了一种数据采集方法及设备，用以解决现有数据采集技术采集效率低、针对性差的问题。

本发明实施例提供的数据采集方法，应用于端到端业务数据采集过程，包括以下步骤：

数据采集设备接收到数据包后，对该数据包逐层进行过滤，并在过滤出PDP激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址；

所述数据采集设备根据所述IP地址，对后续接收到的数据包进行过滤，并在过滤出所述IP地址对应的用户面数据包后，将其保存或上报。

本发明实施例提供的数据采集设备，应用于端到端业务数据采集过程，该设备包括：数据采集过滤模块、数据解析关联模块和数据传输保存模块，其中：

数据采集过滤模块，用于在接收到数据包后，对该数据包逐层进行过滤；以及，根据所述数据解析模块解析得到的IP地址，对后续接收到的数据包进行过滤；

数据解析关联模块，用于在所述数据采集过滤模块过滤出PDP激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址；

数据传输保存模块，用于在所述数据采集过滤模块过滤出所述IP地址对应的用户面数据包后，将其保存或上报。

本发明的上述实施例中，在采集并过滤出PDP激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址，然后在根据该IP地址对后续接收到的数据包进行过滤，并在过滤出所述IP地址对应的用户面数据包后，将其保存或上报，从而实现了对特定用户的用户面数据进行采集，与现有数据采集技术相比，一方面，采集的针对性更强，因而提高了数据采集效率，另一方面，弥补了现有数据采集技术中对于用户面数据采集方面的不足。

附图说明

图1为本发明实施例中与业务端到端数据采集相关的网络拓扑图；

图2为本发明实施例提供的数据采集流程示意图；

图3为图2所示流程中的信令面数据处理流程示意图；

图4为图3所示流程中采用KMP算法实现的应用层数据匹配流程示意图；

图5为图2所示流程中的用户面数据处理的流程示意图；

图6为本发明实施例中信令面数据与用户面数据关联的示意图；

图7为本发明实施例提供的数据采集设备结构示意图。

具体实施方式

为解决现有的数据采集过程中，采集效率低的问题，本发明实施例提供了一种数据采集的方法和设备，该技术方案中的数据采集设备，可针对业务端到端数据采集的特点进行数据解析和过滤，可以通过服务器进行远程控制，利用互联网实时上报测试数据，实现随时随地进行业务质量的端到端测试。

本发明实施例与以往分析KPI时仅采集信令面的数据不同，为了能反映用户的真实感知，可在采集信令面数据的同时采集用户面的数据，并可将特定用户信令面和用户面的数据关联起来，作为后续分析的依据。

下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述。

如图1所示，为本发明实施例中与业务端到端数据采集相关的网络拓扑图。其中，数据采集设备可实时采集各网元中各个端口的数据，如接入网设备、核心网设备和业务平台中的各设备的数据。数据采集设备还可以与端到端分析平台进行通信，将采集到的数据发送给该平台进行后续分析处理。数据采集设备还可以与远程控制服务器通信，接受远程控制服务器的控制，如，根据远程控制服务器的控制进行数据采集的相关配置，接收远程控制服务器的指令进行或停止数据采集，并可进一步与远程控制服务器保持时钟同步。数据采集设备和远程控制服务器之间可通过互联网方式通信。其中，远程控制服务器可以是独立网元，也可以与端到端分析平台集成在一个网元中。

基于上述网络拓扑结构，图2示出了本发明实施例提供的一种数据采集流程示意图。在开始进行数据采集之前，数据采集设备进行相关参数配置，这些参数可包括所要采集的业务、协议、信令、测试计划、数据传输方式等信息，并可设置数据采集设备进行数据过滤的条件和规则。该配置操作可根据远程控制服务器的控制进行，也可以在数据采集设备本地进行。

另外，端到端的业务质量测试中，时间是重要的指标，用户的感知与时间密切相关。为了能够准确定位现网中对业务质量造成影响的网元设备，本发明实施例的各数据采集设备还可与远程控制服务器进行同步，其中，远程控制服务器与GPS保持同步，这样，各数据采集设备可以与GPS保持同步。

如图2所示，该数据采集流程可包括：

步骤201，数据采集设备接收到数据包后，对该数据包逐层进行过滤，并在过滤出PDP(分组数据协议)激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址。

其中，对数据包逐层进行过滤时，可根据协议层顺序，由底层开始逐级向上进行关键字过滤。具体的，可根据数据包的数据链路层MAC地址进行过滤，得到匹配的数据包后，根据数据包的网络层IP地址进行过滤；得到匹配的数据包后，根据数据包的传输层端口地址进行过滤；得到匹配的数据包后，根据数据包的应用层内容进行过滤。

在对数据包进行过滤时，数据链路层的MAC源地址和目的地址、网络层的IP源地址和目的地址、传输层的协议及端口地址，这些过滤条件在数据包的位置基本是固定的，在进行匹配时已交容易找到。但应用层的数据有其特殊性，如现网中设备厂家较多，其采用的协议会有区别，而且实际协议中也有许多可选项，不同条件下应用数据信息的大小也不同，这就造成对应用数据难以快速且准确判断出匹配项在数据信息中的位置，而导致无法进行数据信息过滤。为解决该问题，本发明实施例在根据数据包的应用层内容进行过滤时，采用基于KMP算法的字符串匹配方法来实现。过滤时只需对应用层数据进行一次从左到右的快速扫描，以判断数据是否应丢弃，提高了匹配效率。

步骤202，数据采集设备根据从PDP激活信令数据包解析出的IP地址，对后续接收到的数据包进行过滤。

在数据采集过程中，通常仅能过滤出指定用户通信号码的信令面数据。这是因为在PS(分组交换)域进行业务时，用户终端需要通过服务器进行鉴权，并完成PDP激活，建立数据传输链路，这时用户终端才能得到MS分配的动态IP地址，并以此与网络侧进行通信。只有通过该IP地址才能过滤出用户面的数据。本步骤通过从PDP激活信令数据包解析出IP地址，并根据该IP地址对相应用户的用户面数据进行过滤，从而达到了信令面数据与用户面数据的关联。图6示出了信令面数据与用户面数据的关联关系示意图。

步骤203，数据采集设备在过滤出该IP地址对应的用户面数据包后，将其保存或上报。

该步骤中，数据采集设备可对采集到的数据包采用以下处理方式：

方式一：每获取一个所需数据包，在该数据包中加上时间戳，重新组帧并通过网络实时上传服务器(如端到端分析平台)；

方式二：将数据包按规定格式保持在本地，待本次业务结束后，自动上传到服务器(如端到端分析平台)；

方式三：将数据包按规定格式保持在本地，待服务器(如端到端分析平台)发出数据传输指令后，上传给该服务器。

图2所示流程中的信令面数据处理流程可如图3所示，包括：

如图3所示，为图2所示流程中的信令面数据处理流程示意图，该方法包括：

步骤301，数据采集设备采集端口数据。数据采集设备根据采集参数的具体配置，可采集IuB、IuPS、Gn或Gi等端口的数据。

步骤302，数据采集设备判断接收到的数据是否为信令面数据，若是，则执行步骤303；否则丢弃数据包。

数据采集设备可通过解析协议关键字判断接收到的数据是否是信令面数据。具体的，数据采集设备可通过逐层过滤关键字得到信令面数据。在数据链路层对数据帧的MAC源地址和目的地址与相应关键字(如源MAC地址和目的MAC地址)进行匹配，过滤掉含有不需要MAC地址的数据帧；在网络层对数据包的IP源地址和目的地址与相应关键字(源IP地址和目的IP地址)进行匹配，过滤掉无用数据包；在传输层对各协议以及端口与相应关键字进行匹配，过滤掉无用数据包；在应用层，对应用数据使用深度检测，过滤掉无用数据包，最终得到的就是进行端到端业务质量分析所需的数据。

步骤303，数据采集设备采用KMP算法对应用数据进行匹配。

虽然各种应用业务的应用层数据在数据包中的位置和应用层数据段的长度不尽相同，但可通过统计等方法确定出应用层数据在数据包中可能存在的范围。该步骤中，数据采集设备可从数据包中提取出该设定范围的数据段，并从该数据段左侧开始扫描该数据段，若当前扫描区域内的数据与关键字匹配，则确定该数据包为所要采集的数据包；否则向右滑动扫描区域并继续进行关键字匹配；以此类推，直到确定出数据包为所要采集的数据包，或者直到该数据段扫描完成。其中，所述关键字可以是IMSI(International MobileSubscriber Identifier，国际移动用户标识符)、呼叫发生的cell ID(小区标识)或呼叫发生的LAC ID(Location Area Code，位置区码)等参数。

步骤304，数据采集设备判断数据是否匹配，若匹配，则执行步骤305；否则丢弃数据包。

步骤305，数据采集设备判断是否为PDP激活信令，若是，则执行步骤306；否则，则执行步骤307。

步骤306，解析得到用户面IP地址，并执行步骤307。

步骤307，保存信令面数据。

图2所示流程中的采用KMP算法实现的应用层数据匹配流程可如图4所示，包括：

步骤401，数据采集设备从数据包中取出需要匹配的数据段。

通过对协议分析可以看出，虽然应用数据在数据包中的位置是不固定的，但是其所处的范围是可以确定的，在进行扫描时，可不需要从头至尾扫描一遍，只需根据应用数据可能会出现的范围进行扫描匹配即可，这样可以加快扫描速度，提高匹配效率。

步骤402，数据采集设备从左到右扫描数据段信息。

具体的，扫描的过程就是取出数据信息中的一段字符串与关键字字符串进行比较。其中，关键字字符串一般是IMSI、呼叫发生的cell ID或呼叫发生的LAC ID(Location Area Code，位置区码)等参数。

步骤403，数据采集设备判断扫描到的字符串是否与关键字字符串匹配，若是，则表明该数据包为所需数据包，并继续对下一个数据包进行匹配；否则执行步骤404。

步骤404，数据采集设备判断是否已将数据段扫描完毕；若是，则表明该数据包为无用数据包应丢弃，执行步骤406；否则，执行步骤405。

步骤405，根据已经得到的“部分匹配”结果，向前滑动扫描区域尽可能远的一段距离，然后转入步骤402，对扫描区域内的数据进行匹配。

步骤406，丢弃该数据包。

图2所示流程中的用户面数据处理流程可如图5所示，包括：

步骤501，数据采集设备采集端口数据。数据采集设备根据采集参数的具体配置，可采集IuB、IuPS、Gn或Gi等端口的数据。

步骤502，数据采集设备判断采集的数据是否为用户面数据，若是，则执行步骤503；否则，丢弃该数据包。

该步骤中，数据采集设备可通过解析协议关键字判断采集到的数据是否是用户面数据。

步骤503，是否能够获得用户面数据IP地址，若是，则执行步骤504；否则，返回步骤501，继续采集其它数据。

步骤504，数据采集设备判断是否满足IP地址过滤条件，若是，则执行步骤505；否则，丢弃该数据包。

步骤505，数据采集设备保存该用户面数据。

综上所述，本发明实施例中，数据采集设备通过端口的数据信息(包括采集信令面数据和用户面数据)，逐层采集数据信息，对于应用层的数据采用基于KMP算法的字符串匹配方法进行过滤，对信令面数据进行解析并与用户面数据进行关联以过滤用户面数据，对最终得到的所需数据，与现有数据采集技术相比，可以更有针对性地进行数据采集，进而提高了数据采集效率。另外，数据采集设备还可以由远处控制服务器进行控制，提高了数据采集的可控性。

基于相同的技术构思，本发明实施例还提供了一种可应用于上述流程的数据采集设备。

参见图7，为本发明实施例提供的数据采集设备结构示意图，该数据采集设备可包括：数据采集过滤模块701、数据解析关联模块702和数据传输保存模块703，其中：

数据采集过滤模块701，用于在接收到数据包后，对该数据包逐层进行过滤；以及，根据数据解析关联模块702解析得到的IP地址，对后续接收到的数据包进行过滤；

数据解析关联模块703，用于在数据采集过滤模块701过滤出PDP激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址；

数据传输保存模块703，用于在数据采集过滤模块701过滤出所述IP地址对应的用户面数据包后，将其保存或上报。

上述数据采集设备中，数据采集过滤模块701可根据数据包的数据链路层MAC地址进行过滤；得到匹配的数据包后，根据数据包的网络层IP地址进行过滤；得到匹配的数据包后，根据数据包的传输层端口地址进行过滤；得到匹配的数据包后，根据数据包的应用层内容进行过滤。

上述数据采集设备中，数据采集过滤模块701可从数据包中提取出设定范围的数据段，并从该数据段左侧开始扫描，若当前扫描区域内的数据与关键字匹配，则确定所述数据包为所要采集的数据包；否则向右滑动扫描区域进行扫描并进行关键字匹配；以此类推，直到确定出所述数据包为所要采集的数据包，或者直到该数据段扫描完成。

上述数据采集设备还可包括配置与控制模块704，用于接受远程控制服务器发送的用于控制数据采集过程的控制指令，或/和，数据包过滤规则。

上述数据采集设备还可包括时钟同步模块705，用于与数据采集设备的远程控制服务器进行时钟同步，其中，所述远程控制服务器与GPS保持时钟同步。

上述数据采集设备中，数据采集过滤模块701可通过硬件方式实现，以进一步提高数据采集效率。

需要说明的是，本发明实施例在对数据包的过滤和解析操作，可由硬件实现。

还需要说明的是，本发明实施例不局限于采用服务器和数据采集设备的方式完成端到端数据采集，也可采用其他应用本技术方案的设备和方式。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (7)

1.一种数据采集方法，其特征在于，包括以下步骤：

数据采集设备接收到数据包后，对该数据包逐层进行过滤，并在过滤出分组数据协议PDP激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址；

所述数据采集设备根据所述IP地址，对后续接收到的数据包进行过滤，并在过滤出所述IP地址对应的用户面数据包后，将其保存或上报；

所述对数据包逐层进行过滤，包括：根据数据包的数据链路层MAC地址进行过滤；得到匹配的数据包后，根据数据包的网络层IP地址进行过滤；得到匹配的数据包后，根据数据包的传输层端口地址进行过滤；得到匹配的数据包后，根据数据包的应用层内容进行过滤；

所述根据数据包的应用层内容进行过滤，包括：

从数据包中提取出设定范围的数据段，并从该数据段左侧开始扫描，若当前扫描区域内的数据与关键字匹配，则确定所述数据包为所要采集的数据包；否则向右滑动扫描区域进行扫描并进行关键字匹配；以此类推，直到确定出所述数据包为所要采集的数据包，或者直到该数据段扫描完成。

2.如权利要求1所述的方法，其特征在于，所述关键字为国际移动用户标识符IMSI、呼叫发生的小区标识或呼叫发生的位置区码。

3.如权利要求1或2任一项所述的方法，其特征在于，所述采集设备根据该采集设备的远程控制服务器的控制，执行所述数据采集过程。

4.如权利要求1或2任一项所述的方法，其特征在于，还包括：所述采集设备与该采集设备的远程控制服务器进行时钟同步，其中，所述远程控制服务器与全球位置测定系统GPS保持时钟同步。

5.一种数据采集设备，其特征在于，包括：数据采集过滤模块、数据解析关联模块和数据传输保存模块，其中：

数据采集过滤模块，用于在接收到数据包后，对该数据包逐层进行过滤；以及，根据所述数据解析关联模块解析得到的IP地址，对后续接收到的数据包进行过滤；

数据解析关联模块，用于在所述数据采集过滤模块过滤出PDP激活信令数据包后，解析得到其中携带的分配给用户设备的IP地址；

数据传输保存模块，用于在所述数据采集过滤模块过滤出所述IP地址对应的用户面数据包后，将其保存或上报；

其中，所述数据采集过滤模块具体用于：根据数据包的数据链路层MAC地址进行过滤；得到匹配的数据包后，根据数据包的网络层IP地址进行过滤；得到匹配的数据包后，根据数据包的传输层端口地址进行过滤；得到匹配的数据包后，根据数据包的应用层内容进行过滤；

所述数据采集过滤模块在根据数据包的应用层内容进行过滤时：从数据包中提取出设定范围的数据段，并从该数据段左侧开始扫描，若当前扫描区域内的数据与关键字匹配，则确定所述数据包为所要采集的数据包；否则向右滑动扫描区域进行扫描并进行关键字匹配；以此类推，直到确定出所述数据包为所要采集的数据包，或者直到该数据段扫描完成。

6.如权利要求5所述的数据采集设备，其特征在于，还包括：

配置与控制模块，用于接受远程控制服务器发送的用于控制数据采集过程的控制指令，或/和，数据包过滤规则。

7.如权利要求5所述的数据采集设备，其特征在于，还包括：

时钟同步模块，用于与所述数据采集设备的远程控制服务器进行时钟同步，其中，所述远程控制服务器与GPS保持时钟同步。