CN114285647A - 一种分布式对象存储系统中桶异常访问检测方法及装置 - Google Patents
一种分布式对象存储系统中桶异常访问检测方法及装置 Download PDFInfo
- Publication number
- CN114285647A CN114285647A CN202111608275.XA CN202111608275A CN114285647A CN 114285647 A CN114285647 A CN 114285647A CN 202111608275 A CN202111608275 A CN 202111608275A CN 114285647 A CN114285647 A CN 114285647A
- Authority
- CN
- China
- Prior art keywords
- bucket
- request information
- request
- stored
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 42
- 230000005856 abnormality Effects 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及分布式对象存储系统检测领域,具体公开一种分布式对象存储系统中桶异常访问检测方法及装置,桶处理业务请求时,以K‑V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量;每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。本发明以桶为粒度进行细化的异常访问检测和告警,为客户端访问存储系统的问题定位和业务稳定性提供了有效的检测方案。
Description
技术领域
本发明涉及分布式对象存储系统检测领域,具体涉及一种分布式对象存储系统中桶异常访问检测方法及装置。
背景技术
现有分布式对象存储系统中,通常实现了基本的异常检测的功能,如存储池流量监控、交换机流量监控等功能,当存储池、交换机、网口出现异常的大流量时,会通过告警机制报告到存储系统的管理软件,进而通知存储管理员进行进一步检查。然而,分布式对象存储系统中现有的异常检测主要集中于对集群整体流量/iops的检测,无法细化到具体用户或桶,也缺乏针对性的有效控制手段,不便于问题定位和业务稳定性。
发明内容
为解决上述问题,本发明提供一种分布式对象存储系统中桶异常访问检测方法及装置,以桶为粒度进行细化的异常访问检测和告警,为客户端访问存储系统的问题定位和业务稳定性提供了有效的检测方案。
第一方面,本发明的技术方案提供一种分布式对象存储系统中桶异常访问检测方法,包括以下步骤:
桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量;
每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
进一步地,该方法还包括以下步骤:
在分布式对象存储网关服务初始化启动时,创建一个全局数据结构;
在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象;
相应的,桶处理业务请求时,以K-V形式将该次请求信息进行存储,具体包括:
桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;
全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
进一步地,该方法还包括以下步骤:
全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空。
进一步地,针对每个桶,提取一次所存储的请求信息,具体包括:
启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中。
进一步地,该方法还包括以下步骤:
判断桶异常访问检测程序是否开启,若开启,则在桶处理业务请求时,以K-V形式将该次请求信息进行存储;若未开启,则在桶处理业务请求时,不对该次请求信息存储。
第二方面,本发明的技术方案提供一种分布式对象存储系统中桶异常访问检测装置,包括,
请求信息存储模块:桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量;
桶访问检测模块:每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
进一步地,该装置还包括,
全局数据结构创建模块:在分布式对象存储网关服务初始化启动时,创建一个全局数据结构;
元数据池创建模块:在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象;
请求信息存储模块桶处理业务请求时,以K-V形式将该次请求信息进行存储,具体包括:
桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;
全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
进一步地,全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空。
进一步地,桶访问检测模块针对每个桶,提取一次所存储的请求信息,具体包括:
启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中。
进一步地,该装置还包括,
程序开启检测模块:判断桶异常访问检测程序是否开启,若开启,则执行请求信息存储模块,若未开启,则不执行请求信息存储模块。
本发明提供的一种分布式对象存储系统中桶异常访问检测方法及装置,相对于现有技术,具有以下有益效果:在桶处理业务请求时存储请求信息,之后针对每个桶检测对应请求信息是否正常。本发明以桶为粒度进行细化的异常访问检测和告警,为客户端访问存储系统的问题定位和业务稳定性提供了有效的检测方案。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种分布式对象存储系统中桶异常访问检测方法流程示意图。
图2是本发明实施例二提供的一种分布式对象存储系统中桶异常访问检测装置结构示意框图。
图3为本发明实施例三提供的一种终端的结构示意图。
具体实施方式
以下对本发明涉及的部分术语进行解释。
分布式对象存储系统:是将数据分散存储在多台独立的设备上,并且可横向扩展,利用多台存储设备分担存储负荷,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展,并将这些分散的存储设备构建成一个虚拟的大的存储池来供上层应用来使用。
对象存储:是基于对象的存储,主要操作对象是对象(Object)。存储协议是S3、Swift等。
网关服务:是指对象存储系统提供的基于当前流行的RESTful协议的网关,兼容Amazon S3和openstack swift两种接口,它把客户端符合S3或Swift协议的http请求解析、转换、处理后发送给数据存储层,并将数据存储层返回的数据发送给客户端,以供相应的对象存储的客户端开发使用。
客户端异常访问:对象存储系统通过http/https协议提供服务,网关服务层本质上是一个web server,使用者常使用s3 sdk工具包自行编写代码程序调用接口作为上层客户端程序访问对象存储。由于存在各种各样的客户端,因此普遍存在对存储的异常访问,比如:重复无效列举桶内对象,重复查询对象状态,短时间大量的IO读写,大量错误访问请求等,异常访问会耗费网络资源、存储资源,严重时可影响正常业务。
Rados层:分布式存储系统的数据存储层,完成存储系统的核心功能。
Rados对象:Rados层存储数据的基本单位,区别于对象存储的对象。
本发明的技术构思是,针对当前分布式对象存储系统的异常检测无法细化到具体用户或桶,而不便问题定位和不利于业务稳定性的问题,提供一种分布式对象存储系统中桶异常访问检测方案,在桶处理业务请求时,以K-V形式将该次请求信息进行存储,之后每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。本发明以桶为粒度进行细化的异常访问检测和告警,为客户端访问存储系统的问题定位和业务稳定性提供了有效的检测方案。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
如图1所示,本实施例一提供一种分布式对象存储系统中桶异常访问检测方法,包括以下步骤。
S101,桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量。
S102,每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
例如每隔三分钟提取一次请求信息,对请求信息进行统计分析,判断是否超过阈值。所有http异常状态码异常的次数之和超过对应阈值、所有访问的数据量之和超过对应阈值或者两者均超过阈值,这三种情况中任一情况发生,均发出告警信息。
本实施例一提供的一种分布式对象存储系统中桶异常访问检测方法,在桶处理业务请求时存储请求信息,之后针对每个桶检测对应请求信息是否正常。本发明以桶为粒度进行细化的异常访问检测和告警,为客户端访问存储系统的问题定位和业务稳定性提供了有效的检测方案。
在一些具体实施例中,为实现对桶的请求信息的存储,创建全局数据结构和元数据池,通过全局数据结构和元数据池实现桶处理业务请求时的请求信息存储。
具体包括以下过程:
步骤一,在分布式对象存储网关服务初始化启动时,创建一个全局数据结构。
步骤二,在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象。
之后请求信息存储到对应的Rados对象中。
相应的,桶处理业务请求时,以K-V形式将该次请求信息进行存储,具体包括以下过程:
步骤一,桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;
步骤二,全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
即先将桶的请求信息以K-V形式存到全局数据结构中,之后再由全局数据结构将请求信息下刷至元数据池中进行存储。在下刷存储时,根据桶名找到相应的Rados对象。
另外,在全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空,以便后续存入新的请求信息。
在一些具体实施例中,在提取桶的请求信息时,启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中,之后对检测队列中的数据依次检测。
在一些具体实施例中,对桶异常访问检测程序控制开启或关闭,预先判断桶异常访问检测程序是否开启,若开启,则在桶处理业务请求时,以K-V形式将该次请求信息进行存储;若未开启,则在桶处理业务请求时,不对该次请求信息存储。
为方便理解本方案,以下结合上述步骤和本发明原理对本发明进一步说明。
(1)对象存储网关层设计
分布式对象存储网关服务在初始化启动时,创建一个全局的数据结构Request_Log,业务请求来时,首先检查该用户对该桶的操作权限,通过后根据请求类型进行具体操作之后,将本次请求信息统计以k-v的形式聚合进Request_Log的子成员变量log_map<桶名,bucket_request>中,颗粒度为分钟(一分钟以内的聚合为一条记录)。请求信息包括此次请求的访问时间,http异常状态码异常的次数,访问的数据量等。
Request_Log每一分钟下刷一次,将记录的信息存入存储池持久化层中,下刷完成后清空Request_Log的子成员变量log_map。
(2)存储池持久化层设计
分布式对象存储系统部署时,创建一个元数据池request_log池,当客户端通过用户创建桶时,在request_log中对应创建一个Rados对象,用于记录request_log的请求信息。当对象存储网关层的Request_Log下刷时,根据桶名找到对应的Rados对象,以访问时间为key,访问信息为value,以kv形式存储为该rados对象的omap中。
例如,分布式对象存储系统部署时,在request_log池中创建8个rados对象,命名为rl.0-rl.7,用于记录所有的检测任务。
(3)控制接口设计
分布式对象存储系统提供控制接口,用户可以通过在节点上执行radosgw-adminrlstats true/false --bucket {桶名} --uid {用户名}命令,设置桶的异常访问检测功能开启或关闭。开启时,会将桶名通过hash选择一个rl.x对象记录到omap中,关闭时,则将其移除。
(4)检测告警机制
对象存储网关启动时,同时启动一个检测线程,对rl.x对象上记录的桶名进行一次遍历,加入到待检测队列中,然后对队列中的每个桶,以当前时间为基线,获取10分钟前到当前时间的所有访问记录,累加后和配置文件中预设的ten_minute_max_bytes和ten_minute_max_abnormal_num进行比较,如果超过了配置文件预设的值,则将告警信息上报给管理软件,通知管理员该桶有异常访问。循环结束后,检测线程进入休眠,3分钟(该时间可以通过配置文件设置)以后重复继续上述操作,无限循环。
实施例二
在实施例一基础上,本实施例二提供一种分布式对象存储系统中桶异常访问检测装置,用于实现前述的分布式对象存储系统中桶异常访问检测方法。
如图2所示,本实施例二提供的一种分布式对象存储系统中桶异常访问检测装置结构示意框图,包括以下功能模块。
请求信息存储模块101:桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量。
桶访问检测模块102:每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
另外,为方便请求信息存储,该装置还包括全局数据结构创建模块103和元数据池创建模块104。
全局数据结构创建模块103实现在分布式对象存储网关服务初始化启动时,创建一个全局数据结构。元数据池创建模块104实现在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象。
相应的,请求信息存储模块101桶处理业务请求时,以K-V形式将该次请求信息进行存储,具体包括:桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
另外,全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空。
为方便请求信息检测,桶访问检测模块102针对每个桶,提取一次所存储的请求信息,具体为:启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中。
另外,该装置还设置程序开启检测模块105:判断桶异常访问检测程序是否开启,若开启,则执行请求信息存储模块101,若未开启,则不执行请求信息存储模块101。
本实施例的分布式对象存储系统中桶异常访问检测装置用于实现前述的分布式对象存储系统中桶异常访问检测方法,因此该装置中的具体实施方式可见前文中的分布式对象存储系统中桶异常访问检测方法的实施例部分,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再展开介绍。
另外,由于本实施例的分布式对象存储系统中桶异常访问检测装置用于实现前述的分布式对象存储系统中桶异常访问检测方法,因此其作用与上述方法的作用相对应,这里不再赘述。
实施例三
图3为本发明实施例提供的一种终端装置300的结构示意图,包括:处理器310、存储器320及通信单元330。所述处理器310用于实现存储器320中保存的分布式对象存储系统中桶异常访问检测程序时实现以下步骤:
桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量;
每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
本发明在桶处理业务请求时存储请求信息,之后针对每个桶检测对应请求信息是否正常。本发明以桶为粒度进行细化的异常访问检测和告警,为客户端访问存储系统的问题定位和业务稳定性提供了有效的检测方案。
在一些具体实施例中,所述处理器310执行存储器320中保存的分布式对象存储系统中桶异常访问检测子程序时,具体可以实现:在分布式对象存储网关服务初始化启动时,创建一个全局数据结构;在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象。
在一些具体实施例中,所述处理器310执行存储器320中保存的分布式对象存储系统中桶异常访问检测子程序时,具体可以实现:桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
在一些具体实施例中,所述处理器310执行存储器320中保存的分布式对象存储系统中桶异常访问检测子程序时,具体可以实现:全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空。
在一些具体实施例中,所述处理器310执行存储器320中保存的分布式对象存储系统中桶异常访问检测子程序时,具体可以实现:启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中。
在一些具体实施例中,所述处理器310执行存储器320中保存的分布式对象存储系统中桶异常访问检测子程序时,具体可以实现:判断桶异常访问检测程序是否开启,若开启,则在桶处理业务请求时,以K-V形式将该次请求信息进行存储;若未开启,则在桶处理业务请求时,不对该次请求信息存储。
该终端装置300包括处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,该存储器320可以用于存储处理器310的执行指令,存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。当存储器320中的执行指令由处理器310执行时,使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心,利用各种接口和线路连接整个电子终端的各个部分,通过运行或执行存储在存储器320内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit,简称IC) 组成,例如可以由单颗封装的IC 所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器310可以仅包括中央处理器(Central Processing Unit,简称CPU)。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
通信单元330,用于建立通信信道,从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
实施例四
本发明还提供一种计算机存储介质,这里所说的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random accessmemory,简称:RAM)等。
计算机存储介质存储有分布式对象存储系统中桶异常访问检测程序,所述分布式对象存储系统中桶异常访问检测程序被处理器执行时实现以下步骤:
桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量;
每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
本发明在桶处理业务请求时存储请求信息,之后针对每个桶检测对应请求信息是否正常。本发明以桶为粒度进行细化的异常访问检测和告警,为客户端访问存储系统的问题定位和业务稳定性提供了有效的检测方案。
在一些具体实施例中,所述可读存储介质中存储的分布式对象存储系统中桶异常访问检测子程序被处理器执行时,具体可以实现:在分布式对象存储网关服务初始化启动时,创建一个全局数据结构;在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象。
在一些具体实施例中,所述可读存储介质中存储的分布式对象存储系统中桶异常访问检测子程序被处理器执行时,具体可以实现:桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
在一些具体实施例中,所述可读存储介质中存储的分布式对象存储系统中桶异常访问检测子程序被处理器执行时,具体可以实现:全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空。
在一些具体实施例中,所述可读存储介质中存储的分布式对象存储系统中桶异常访问检测子程序被处理器执行时,具体可以实现:启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中。
在一些具体实施例中,所述可读存储介质中存储的分布式对象存储系统中桶异常访问检测子程序被处理器执行时,具体可以实现:判断桶异常访问检测程序是否开启,若开启,则在桶处理业务请求时,以K-V形式将该次请求信息进行存储;若未开启,则在桶处理业务请求时,不对该次请求信息存储。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上公开的仅为本发明的优选实施方式,但本发明并非局限于此,任何本领域的技术人员能思之的没有创造性的变化,以及在不脱离本发明原理前提下所作的若干改进和润饰,都应落在本发明的保护范围内。
Claims (10)
1.一种分布式对象存储系统中桶异常访问检测方法,其特征在于,包括以下步骤:
桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量;
每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
2.根据权利要求1所述的分布式对象存储系统中桶异常访问检测方法,其特征在于,该方法还包括以下步骤:
在分布式对象存储网关服务初始化启动时,创建一个全局数据结构;
在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象;
相应的,桶处理业务请求时,以K-V形式将该次请求信息进行存储,具体包括:
桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;
全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
3.根据权利要求2所述的分布式对象存储系统中桶异常访问检测方法,其特征在于,该方法还包括以下步骤:
全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空。
4.根据权利要求3所述的分布式对象存储系统中桶异常访问检测方法,其特征在于,针对每个桶,提取一次所存储的请求信息,具体包括:
启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中。
5.根据权利要求4所述的分布式对象存储系统中桶异常访问检测方法,其特征在于,该方法还包括以下步骤:
判断桶异常访问检测程序是否开启,若开启,则在桶处理业务请求时,以K-V形式将该次请求信息进行存储;若未开启,则在桶处理业务请求时,不对该次请求信息存储。
6.一种分布式对象存储系统中桶异常访问检测装置,其特征在于,包括,
请求信息存储模块:桶处理业务请求时,以K-V形式将该次请求信息进行存储,其中Key值为桶名,Value值为请求信息;请求信息包括该次请求的访问时间、http异常状态码异常的次数和访问的数据量;
桶访问检测模块:每隔一定时间,针对每个桶,提取一次所存储的请求信息,并以当前时间为基线,统计T分钟之前到当前时间的所有http异常状态码异常的次数之和和所有访问的数据量之和,该两个总和数值中任一个超过对应阈值,则发出告警信息。
7.根据权利要求6所述的分布式对象存储系统中桶异常访问检测装置,其特征在于,该装置还包括,
全局数据结构创建模块:在分布式对象存储网关服务初始化启动时,创建一个全局数据结构;
元数据池创建模块:在分布式对象存储系统部署时,创建一个元数据池,在元数据池内为每个桶创建一个Rados对象;
请求信息存储模块桶处理业务请求时,以K-V形式将该次请求信息进行存储,具体包括:
桶处理业务请求时,以K-V形式将该次请求信息存储进所述全局数据结构子成员变量中;
全局数据结构将其存储的信息定时下刷至所述元数据池中对应的Rados对象中。
8.根据权利要求7所述的分布式对象存储系统中桶异常访问检测装置,其特征在于,全局数据结构将其存储的信息下刷至所述元数据池中对应的Rados对象之后,将其存储的信息清空。
9.根据权利要求8所述的分布式对象存储系统中桶异常访问检测装置,其特征在于,桶访问检测模块针对每个桶,提取一次所存储的请求信息,具体包括:
启动检测线程,对元数据池中各个Rados对象进行遍历,将提取数据加入到待检测队列中。
10.根据权利要求9所述的分布式对象存储系统中桶异常访问检测装置,其特征在于,该装置还包括,
程序开启检测模块:判断桶异常访问检测程序是否开启,若开启,则执行请求信息存储模块,若未开启,则不执行请求信息存储模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111608275.XA CN114285647A (zh) | 2021-12-24 | 2021-12-24 | 一种分布式对象存储系统中桶异常访问检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111608275.XA CN114285647A (zh) | 2021-12-24 | 2021-12-24 | 一种分布式对象存储系统中桶异常访问检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114285647A true CN114285647A (zh) | 2022-04-05 |
Family
ID=80875789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111608275.XA Withdrawn CN114285647A (zh) | 2021-12-24 | 2021-12-24 | 一种分布式对象存储系统中桶异常访问检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114285647A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117609248A (zh) * | 2023-12-07 | 2024-02-27 | 世纪鑫睿(北京)传媒科技有限公司 | 基于存储服务的对象存储管理方法 |
-
2021
- 2021-12-24 CN CN202111608275.XA patent/CN114285647A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117609248A (zh) * | 2023-12-07 | 2024-02-27 | 世纪鑫睿(北京)传媒科技有限公司 | 基于存储服务的对象存储管理方法 |
CN117609248B (zh) * | 2023-12-07 | 2024-05-28 | 世纪鑫睿(北京)传媒科技有限公司 | 基于存储服务的对象存储管理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684181B (zh) | 告警根因分析方法、装置、设备及存储介质 | |
CN108370341B (zh) | 资源配置方法、虚拟网络功能管理器和网元管理系统 | |
US10270668B1 (en) | Identifying correlated events in a distributed system according to operational metrics | |
CN111600952B (zh) | 场景推送方法、执行方法、装置、终端、服务器和系统 | |
CN112230847B (zh) | 一种监控K8s存储卷的方法、系统、终端及存储介质 | |
CN103763130B (zh) | 大规模集群的管理方法、装置和系统 | |
CN110232010A (zh) | 一种告警方法、告警服务器及监控服务器 | |
CN111181801A (zh) | 节点集群测试方法、装置、电子设备及存储介质 | |
CN112256542B (zh) | 基于eBPF的微服务系统性能检测方法、装置和系统 | |
CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
CN111181799B (zh) | 一种网络流量监控方法及设备 | |
CN110362455B (zh) | 一种数据处理方法和数据处理装置 | |
CN109992473A (zh) | 应用系统的监控方法、装置、设备及存储介质 | |
CN111258851A (zh) | 一种集群的告警方法、装置、设置及存储介质 | |
CN106095641A (zh) | 一种监控方法、装置和系统 | |
CN113067875A (zh) | 基于微服务网关动态流控的访问方法和装置以及设备 | |
CN114070755B (zh) | 虚拟机网络流量确定方法、装置、电子设备和存储介质 | |
CN114285647A (zh) | 一种分布式对象存储系统中桶异常访问检测方法及装置 | |
CN111339466A (zh) | 接口管理方法、装置、电子设备及可读存储介质 | |
CN107426012B (zh) | 一种基于超融合架构的故障恢复方法及其装置 | |
CN112148508B (zh) | 一种信息处理的方法及相关装置 | |
CN112149975B (zh) | 一种基于人工智能的apm监控系统及监控方法 | |
CN109257256A (zh) | 设备监控方法、装置、计算机设备及存储介质 | |
CN109286532B (zh) | 云计算系统中告警信息的管理方法和装置 | |
CN111324583B (zh) | 一种业务日志的分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220405 |