CN113630419A - 一种基于api流量的数据分类分级及数据安全监测方法及系统 - Google Patents

Abstract

本发明公开了一种基于API流量的数据分类分级及数据安全监测方法，包括直接获取API接口流量中的全部所需信息，通过聚类分析方法对全部所需信息聚类分析得到聚类结果，基于聚类结果构建API接口数据的监测模型的监测基准，基于监测基准对API接口中的实时数据进行实时监控。用于解决现有技术中监控信息不完整以及监控信息存在时差等问题。实现了对API接口数据实时监测，同时提供准确管控措施。

Description

一种基于API流量的数据分类分级及数据安全监测方法及 系统

技术领域

本发明涉及数据安全技术领域，尤其是涉及基于API流量的数据分类分级及数据安全监测方法及系统。

背景技术

为解决接口数据被篡改、重复利用导致信息泄露问题，目前API接口安全管控手段主要有限制源IP、token授权、时间戳超时、流控、加密传输等几个方面。API异常行为监测则是根据接口调用日志，通过定时运行预先配置的策略脚本进行分析，步骤如下：

1)获取日志：获取API接口日志对应库表、文件的权限，以获取分析所需日志信息；

2)配置策略：分析日志信息，根据监测要求配置策略脚本，例如：一定时间调用API接口总次数超过阈值、一定时间内API接口调用失败次数超过阈值、API接口调用无令牌申请记录等；

3)策略告警：定时自动运行策略脚本，如发现的异常行为则进行告警；

但是，目前API接口异常行为监测方法存在如下问题，1)日志是经过规范化后记录成，未记录监测分析所需所有信息，导致信息不完整，2)从API接口调用到记录日志，存在一定时差，无法做到实时监测，从而导致API接口监控结果不准确而错误管控措施。

需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种，用于解决现有技术中监控信息不完整以及监控信息存在时差等问题。

为了解决上述技术问题，本发明提出提供一种基于API流量的数据分类分级及数据安全监测方法，包括：

直接获取API接口流量中的全部所需信息，

通过聚类分析方法对所述全部所需信息聚类分析得到聚类结果，

基于所述聚类结果构建所述API接口数据的监测模型的监测基准，

基于所述监测基准对API接口中的实时数据进行实时监控。

可选地，获取API接口流量中的全部所需信息包括：

调用所述API接口流量至采集服务器，

所述采集服务器将所述全部所需信息存储至数据分析服务器。

可选地，所述API接口流量通过镜像方式吐到所述采集服务器；所述采集服务器多线程将所述API接口流量中每个数据包解密并格式化成所需信息后存储到所述数据分析服务器。

可选地，所述所需信息包括IP、目的IP、目的端口、时间戳、请求方式、请求参数、返回参数等数据中一种或者多种。

可选地，所述数据分析服务器为Elasticsearch。

可选地，通过所述聚类分析方法对所述全部所需信息所述聚类分析得到所述聚类结果包括：

依据监测要求确定一个或多个分析维度，

将所述全部所需信息中的一个或多个按照一个或多个所述分析维度组合成一个或多个向量，并使用所述聚类分析方法中的一种或者多种确定一个或者多个所述向量的一个或者多个聚类中心，

并使用所述聚类分析方法中的一种或多种进行对所述一个或者多个所述向量进行聚类分析得到一个或多个所述聚类结果。

可选地，所述分析维度包括流量值、时间、源IP、目的IP、目的端口、是否加密、访问时间、频次等多种维度中的一种或多种；且使用DPEAK算法确定所述聚类中心，使用DBSCAN或K-Means算法进行所述聚类分析形成一个或者多个所述聚类类别。

可选地，基于所述聚类结果构建包含重要和非重要数据访问行为的监测基准，并通过监测基准对重要数据和非重要数据的访问行为进行识别判定。

可选地，基于所述聚类结果构建所述API接口数据的监测模型的监测基准包括：

通过监督机器学习方法先对所述聚类分析结果进行建模分析、验证和调整得到优化聚类结果，基于所述优化聚类结果构建所述API接口的所述监测模型的所述监测基准。

可选地，基于所述监测基准对API接口中的实时数据进行实时监控包括：

基于所述实时数据与其对应的所述监测基准的偏差值与预设阈值的大小比较进行所述实时监控，并根据所述大小比较结果确定相应的监控措施；所述偏差值计算公式为：

∑(a²-b²)*q＝c²；

a为监测基准，b为实时数据，q为权重系数，c表示所得的偏差值。

与现有技术相比，本发明具有以下有益效果：

1.本发明直接采集API接口流量，一方面保证监测分析数据的完整可用性，另一方面无需调用日志，保证了对API接口的实时监测，提高了API接口监测结果的准确性，从而提供准确管控措施。

2.通过聚类分析，考虑用户行为差异性将其分成多种类型，减少误报。

附图说明

图1为基于API流量的数据分类分级及数据安全监测系统框图；

图2为基于API流量的数据分类分级及数据安全监测方法。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“左”、“右”等指示的方位或者位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在一实施例中公开了一种基于API流量的数据分类分级及数据安全监测系统，包括流量采集模块、数据分析模块和数据监控模块。

如图1所示，互联网A和互联网B通过交换机的API接口进行数据的交互。

流量采集模块也即是采集服务器，其直接采集API接口流量中的全部所需信息。

数据分析模块也即是数据分析服务器，其包括但不限于Elasticsearch，提供近实时的全文索引、搜索、分析数据的功能。Elasticsearch对采集服务器采集的全部所需信息进行存储，并通过聚类分析方法对全部所需信息聚类分析得到聚类结果且进行存储，同时Elasticsearch中的Kibana为索引的数据提供搜索和数据可视化功能。

数据监控模块基于聚类结果构建API接口数据的监测模型的监测基准，并对API接口中的实时数据进行实时监控。

如图2所示，公开了一种基于API流量的数据分类分级及数据安全监测方法，包括如下步骤：

S1.直接获取API接口流量中的全部所需信息，

S2.通过聚类分析方法对全部所需信息聚类分析得到聚类结果，

S3.基于聚类结果构建API接口数据的监测模型的监测基准，

S4.基于监测基准对API接口中的实时数据进行实时监控。

在另一实例中，S1.获取API接口流量中的全部所需信息具体步骤包括：

API接口流量通过镜像方式吐到采集服务器，

采集服务器多线程将API接口流量中每个数据包解密并格式化成json后存储到Elasticsearch，json包含源IP、目的IP、目的端口、时间戳、请求方式、请求参数(请求参数包括：API路径、API参数、账号、token等)、返回参数等分析所需字段信息，也即是所需信息为json中的一种或多种分析所需字段信息。

在另一实例中，S2.通过聚类分析方法对全部所需信息所述聚类分析得到聚类结果，具体步骤包括：

1)依据监测要求确定一个或多个分析维度；分析维度包括流量值、时间、源IP、目的IP、目的端口、是否加密、访问时间、频次等多种维度中的一种或多种。具体说明为账号每天每小时流量值、账号每天调用各接口次数、每天每小时各接口调用总次数、每天调用各接口的源IP范围、账号调用各API接口参数范围。

2)将全部所需信息中的一个或多个按照确定的一个或多个分析维度组合成一个或多个向量，并使用聚类分析方法中的一种或者多种确定一个或者多个所述向量的一个或者多个聚类中心；该聚类方法包括但不限于非监督机器学习算法，DPEAK算法确定聚类中心；

3)使用聚类分析方法中的一种或多种进行对一个或者多个上述向量进行聚类分析得到一个或多个聚类结果，该聚类方法包括但不限于非监督机器学习算法，优选使用DBSCAN或K-Means算法进行聚类分析，上述聚类结果为根据实际业务情况将被分类成多个类别；

在另一实例中，S3.基于聚类结果构建API接口数据的监测模型的监测基准具体步骤包括：

通过监督机器学习算法对聚类分析结果进行建模分析、验证和调整得到优化聚类结果，基于优化聚类结果构建API接口的监测模型的监测基准，从而进一步提高准确率。例如，调整得到优化聚类结果可为但不限于，各类别聚类结果数据取平均值得到各分析维度中各类别行为的监测基准；依据聚类分析得到的行为基准，设置多维度多种类别监测模型。解决了现有异常行为监测策略是根据阈值进行分析判定的，未考虑时间、账号、权限等差异情况等问题，例如：不同时间业务需求量不相同，工作时间业务量比较大，非工作时间业务量比较少。

在另一实例中，根据接口访问和交互的数据对象，通过聚类分析方法对访问行为聚类分析得到聚类结果，基于聚类结果构建包含重要和非重要数据访问行为的监测基准，设置多维度多种监视的模型。

在另一实例中，S4.基于监测基准对API接口中的实时数据进行实时监控优选例为，基于所述实时数据与其对应的监测基准的偏差值与预设阈值的大小比较进行所述实时监控，并根据大小比较结果确定相应的监控措施。

偏差值计算公式为：

Σ(a²-b²)*q＝c²；

a为监测基准，b为实时数据，q为权重系数，c为偏差值。

例如监测的流量特征向量与原类别行为基准的偏差值大于阈值，则判定为异常行为。

例如，现有监控方案中对重要数据的识别和告警采用关键字和正则方式进行判断，识别准确率较低，导致重要数据泄露和数据黑色产业链的滋生。本发明对重要数据和非重要数据的访问行为进行识别判定，如果特征值偏差基准大于阈值，识别出重要数据非法访问的判定结果，并进行专门告警，便于采取专门的管控措施，解决了现有方案存在的问题。

本方法具有如下优点：

1.较传统数据库日志，流量保留更多信息内容，提高监测分析准确性；

2.使用Elasticsearch等大数据技术，提高监测分析效率；

3.通过聚类分析，考虑用户行为差异性将其分成多种类型，减少误报；

本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于API流量的数据分类分级及数据安全监测方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种基于API流量的数据分类分级及数据安全监测方法，其特征在于，包括：

直接获取API接口流量中的全部所需信息，

通过聚类分析方法对所述全部所需信息聚类分析得到聚类结果，

基于所述聚类结果构建所述API接口数据的监测模型的监测基准，

基于所述监测基准对API接口中的实时数据进行实时监控。

2.如权利要求1所述的监测方法，其特征在于，

获取API接口流量中的全部所需信息包括：

调用所述API接口流量至采集服务器，

所述采集服务器将所述全部所需信息存储至数据分析服务器。

3.如权利要求2所述的监测方法，其特征在于，所述API接口流量通过镜像方式吐到所述采集服务器；所述采集服务器多线程将所述API接口流量中每个数据包解密并格式化成所需信息后存储到所述数据分析服务器。

4.如权利要求3所述的监测方法，其特征在于，所述所需信息包括源IP、目的IP、目的端口、时间戳、请求方式、请求参数、返回参数等数据中一种或者多种。

5.如权利要求2所述的监测方法，其特征在于，所述数据分析服务器为Elasticsearch。

6.如权利要求1所述的监测方法，其特征在于，通过所述聚类分析方法对所述全部所需信息所述聚类分析得到所述聚类结果包括：

依据监测要求确定一个或多个分析维度，

将所述全部所需信息中的一个或多个按照一个或多个所述分析维度组合成一个或多个向量，并使用所述聚类分析方法中的一种或者多种确定一个或者多个所述向量的一个或者多个聚类中心，

并使用所述聚类分析方法中的一种或多种进行对所述一个或者多个所述向量进行聚类分析得到一个或多个所述聚类结果。

7.如权利要求6所述的监测方法，其特征在于，所述分析维度包括流量值、时间、源IP、目的IP、目的端口、是否加密、访问时间、频次等多种维度中的一种或多种，且使用DPEAK算法确定所述聚类中心，使用DBSCAN或K-Means算法进行所述聚类分析形成一个或者多个所述聚类类别。

8.如权利要求1所述的监测方法，其特征在于，

通过聚类分析方法对访问行为聚类分析得到所述聚类结果，基于所述聚类结果构建包含重要和非重要数据访问行为的监测基准，并通过监测基准对重要数据和非重要数据的访问行为进行识别判定。

9.如权利要求1所述的监测方法，其特征在于，

基于所述聚类结果构建所述API接口数据的监测模型的监测基准包括：

通过监督机器学习方法先对所述聚类分析结果进行建模分析、验证和调整得到优化聚类结果，基于所述优化聚类结果构建所述API接口的所述监测模型的所述监测基准。

10.如权利要求1所述的监测方法，其特征在于，

基于所述监测基准对API接口中的实时数据进行实时监控包括：

基于所述实时数据与其对应的所述监测基准的偏差值与预设阈值的大小比较进行所述实时监控，并根据所述大小比较结果确定相应的监控措施；所述偏差值计算公式为：

∑(a²-b²)*q＝c²；

a为监测基准，b为实时数据，q为权重系数，c为偏差值。

Images