CN112637171A - 数据流量处理方法、装置、设备、系统和存储介质 - Google Patents
数据流量处理方法、装置、设备、系统和存储介质 Download PDFInfo
- Publication number
- CN112637171A CN112637171A CN202011481469.3A CN202011481469A CN112637171A CN 112637171 A CN112637171 A CN 112637171A CN 202011481469 A CN202011481469 A CN 202011481469A CN 112637171 A CN112637171 A CN 112637171A
- Authority
- CN
- China
- Prior art keywords
- data request
- attribute information
- marked
- preset
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims description 55
- 230000000903 blocking effect Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/102—Entity profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种数据流量处理方法、装置、设备、系统和存储介质，该方法包括：在接收到终端发送的数据请求时，解析所述数据请求，得到所述数据请求的属性信息，所述属性信息至少包括所述数据请求网络地址和所述终端的设备标识；判断所述属性信息是否被预设数据库标记为白名单；若所述属性信息被预设数据库标记为白名单，发送所述数据请求至指定的应用服务器；若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向。本申请实现了基于预设数据库对数据请求进行筛选，有效减少数据流量高峰时，会造成请求延时、丢包、请求失败等情况。
Description
技术领域
本申请涉及信息处理技术领域，具体而言，涉及一种数据流量处理方法、装置、设备、系统和存储介质。
背景技术
传统的WAF(Web Application Firewall，网站应用级入侵防御系统)解决方案通常将WAF直接连接于应用服务器之前，对所有WEB(网络)请求进行统一的解码。通过搭载于WAF上的正则规则对解码后的请求包体进行文本匹配，如果命中匹配规则直接阻断请求，未命中的请求则转发至应用服务器。
现有防火墙技术，通常是应用负载均衡服务端接收到请求后，直接针对用户的请求包体进行解析，通过规则匹配出恶意攻击流量进行阻断。此传统防火墙方法存在以下多项问题：
1.影响业务性能问题。对用户的每条请求进行实时解析匹配规则会耗费大量的计算性能，当正常用户流量高峰时，会造成请求延时、丢包、请求失败等情况。
2.无法检测非WEB请求的恶意攻击。随着黑客技术的不断发展，越来越多攻击者会先尝试攻击redis,mysql等服务器基础中间件服务，并以此作为跳板继续攻击WEB应用服务。传统的WAF搭载于nginx(是一个高性能的HTTP和反向代理web服务器)等WEB网关之上，只能检测WEB请求，对此类攻击无法防御。
发明内容
本申请实施例的目的在于提供一种数据流量处理方法、装置、设备、系统和存储介质，用以实现基于预设数据库对数据请求进行筛选，有效减少数据流量高峰时，会造成请求延时、丢包、请求失败等情况。
本申请实施例第一方面提供了一种数据流量处理方法，包括：在接收到终端发送的数据请求时，解析所述数据请求，得到所述数据请求的属性信息；判断所述属性信息是否被预设数据库标记为白名单；若所述属性信息被预设数据库标记为白名单，发送所述数据请求至指定的应用服务器；若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向。
于一实施例中，所述若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向，还包括：若所述属性信息未被所述预设数据库标记为白名单，判断所述属性信息是否被预设数据库标记为黑名单；若所述属性信息被预设数据库标记为黑名单，阻断所述数据请求的流向，并记录攻击日志。
于一实施例中，所述属性信息包括所述数据请求的网络地址和所述终端的设备标识。
于一实施例中，所述属性信息还包括：所述数据请求的浏览器信息；所述若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向，还包括：若所述属性信息未被所述预设数据库标记为黑名单，判断所述网络地址和所述浏览器信息是否被预设爬虫库标记；若所述网络地址和所述浏览器信息被所述预设爬虫库标记，从所述预设爬虫库中提取所述数据请求的请求阈值，并基于所述请求阈值限制所述数据请求的流量。
于一实施例中，所述若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向，还包括：若所述属性信息未被所述预设数据库标记为黑名单，判断所述数据请求是否命中预设检测规则；若所述数据请求命中所述预设检测规则，阻断所述数据请求的流向，记录攻击日志，否则，发送所述数据请求至所述应用服务器。
于一实施例中，还包括：接收日志服务器发送的黑名单标记信息，根据所述黑名单标记信息建立所述预设数据库。
本申请实施例第二方面提供了一种数据流量处理装置，包括：解析模块，用于在接收到终端发送的数据请求时，解析所述数据请求，得到所述数据请求的属性信息，所述属性信息至少包括所述数据请求网络地址和所述终端的设备标识；判断模块，用于判断所述属性信息是否被预设数据库标记为白名单；发送模块，用于若所述属性信息被预设数据库标记为白名单，发送所述数据请求至指定的应用服务器；限制模块，用于若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向。
于一实施例中，所述限制模块用于：若所述属性信息未被所述预设数据库标记为白名单，判断所述属性信息是否被预设数据库标记为黑名单；若所述属性信息被预设数据库标记为黑名单，阻断所述数据请求的流向，并记录攻击日志。
于一实施例中，所述属性信息包括所述数据请求的网络地址和所述终端的设备标识。
于一实施例中，所述属性信息还包括：所述数据请求的浏览器信息；所述限制模块还用于：若所述属性信息未被所述预设数据库标记为黑名单，判断所述网络地址和所述浏览器信息是否被预设爬虫库标记；若所述网络地址和所述浏览器信息被所述预设爬虫库标记，从所述预设爬虫库中提取所述数据请求的请求阈值，并基于所述请求阈值限制所述数据请求的流量。
于一实施例中，所述限制模块还用于：若所述属性信息未被所述预设数据库标记为黑名单，判断所述数据请求是否命中预设检测规则；若所述数据请求命中所述预设检测规则，阻断所述数据请求的流向，记录攻击日志，否则，发送所述数据请求至所述应用服务器。
于一实施例中，还包括：接收模块，用于接收日志服务器发送的黑名单标记信息，根据所述黑名单标记信息建立所述预设数据库。
本申请实施例第三方面提供了一种防火墙系统，包括：入侵检测集群，包括多个检测节点，用于接收数据请求，并检测所述数据请求后生成攻击事件日志；日志服务器，连接所述入侵检测集群，用于接收所述攻击事件日志，并生成所述攻击事件日志的黑名单标记信息；负载均衡集群，包括多个负载均衡节点，用于接收所述黑名单标记信息，建立预设数据库，并执行本申请实施例第一方面及其任一实施例的方法，，以对数据请求流量进行处理。
本申请实施例第四方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法，以对数据请求流量进行处理。
本申请实施例第五方面提供了一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。
本申请提供的数据流量处理方法、装置、设备、系统和存储介质，在接收到终端发送的数据请求时，解析所述数据请求，得到所述数据请求的属性信息，并基于属性信息在预设数据库中的标记信息，对数据请求进行筛选，被标记为白名单的数据请求，可以直接转发给该数据请求指定的应用服务器，以使终端获取返回资源。对于未被标记为白名单的数据请求进行流向限制，相比于传统全盘对数据请求进行规则验证的方式，可以有效减少数据流量高峰时，会造成请求延时、丢包、请求失败等情况。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例的电子设备的结构示意图；
图2为本申请一实施例的基于入侵检测的应用防火墙系统的示意图；
图3为本申请一实施例的数据流量处理方法的流程示意图；
图4为本申请一实施例的数据流量处理方法的流程示意图；
图5为本申请一实施例的数据流量处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程，以对数据请求流量进行处理。
于一实施例中，电子设备1可以是手机、笔记本电脑、台式计算机等设备。
请参看图2，其为本申请一实施例的基于入侵检测的应用防火墙系统的场景示意图，主要包括：入侵检测集群21、日志服务器22、负载均衡集群23三个模块，其中：
入侵检测集群21，可以为IDS(intrusion detection system，入侵检测系统)集群，包括多个检测节点(即IDS节点1至IDS节点N，N为正整数)，用于接收数据请求，并检测数据请求后生成攻击事件日志。具体执行步骤可以如下：
第1步：通过机房交换机的流量镜像口，将所有用户流量镜像导入至IDS集群服务器网卡上。
第2步：IDS集群对导入的镜像流量，通过https(Hyper Text Transfer Protocolover SecureSocket Layer，超文本传输安全协议)证书进行流量解密。
第3步:解密的请求使用snort(一款入侵检测规则匹配模型软件)的入侵检测模型进行规则检测。
第4步：命中规则的请求形成攻击事件日志，通过rsyslog(一款日志推送处理软件)软件传送至日志存储中心。
日志服务器22，可以包括日志分析引擎和日志存储中心(Elasticsearch)两个部分，日志存储中心连接入侵检测集群21，用于接收攻击事件日志，日志分析引擎用于生成攻击事件日志的黑名单标记信息。日志分析引擎的具体执行步骤可以如下：
第1步：轮询Elasticsearch获取最新的IDS攻击事件日志。
第2步：通过攻击事件命中的规则ID匹配到后端记录的规则操作策略。规则策略包含是否封禁IP、设备ID，封禁时长。可以根据恶意攻击者不同的IP地域、设备环境给与不同的封禁时长。
第3步：通过WAF集群节点的API接口，将被封禁的IP、设备ID、封禁时长信息推送至所有WAF节点，WAF节点将相应的IP、设备ID信息加入黑名单缓存，当攻击者访问，进行黑名单检测环节时会被直接阻断。
负载均衡集群23，可以为WAF(Web Application Firewall，网站应用级入侵防御系统)负载均衡集群23，包括多个负载均衡节点(即WAF节点1至WAF节点M，M为正整数)，WAF节点可以由上述电子设备1来实现，用于接收黑名单标记信息，建立预设数据库，并可以执行下述的实施例中方法的全部或部分流程，以对数据请求流量进行处理。
基于机房镜像流量的入侵检测进行分析形成攻击事件日志，使用日志分析引擎对攻击事件进行分析，通过分布式的WAF节点实时阻断恶意攻击。
在本实施例中，当用户的数据请求流量进入时，首先会进入负载均衡的WAF节点进入常规检测，通过检测的数据请求流量会转发至后端应用服务器24进行响应。应用服务器24可以包含多个，比如K个，K为正整数。应用服务器24所产生的服务器审计日志，可以通过rsyslog传输到日志存储中心。
与此同时，用户的所有数据请求流量会通过镜像操作传递至IDS集群。IDS集群搭载了高复杂模型的检测规则，由于是镜像操作，检测延时并不会影响用户请求的性能。用户请求日志、IDS日志、审计日志会统一存储至日志存储中心，由日志分析引擎轮询调度，通过分析日志事件，将恶意攻击者的IP、设备ID传递至WAF节点阻断恶意攻击者。
本实施例中，将所有WAF节点部署于负载均衡之后，用户的数据请求来到之后会均衡的分发到WAF节点。WAF节点接收到请求后会先进行请求包解析，获取用户真实IP、是否为CDN、用户的设备ID、请求host信息。获取完成后进行白名单、黑名单的检测，如果用户IP或设备ID属于白名单则直接放行，转发流量至后端服务器。如果用户IP或设备ID属于黑名单则阻断该请求，返回用户违规页面提示。不属于黑白名单的流量首先进入搜索引擎爬虫检测、限流模块，对请求频繁的爬虫，根据既定的阈值策略进行限流。最后用户请求进入WAF规则模型检测，命中规则的请求会阻断请求，形成事件日志通过rsyslog推送至日志存储中心。通过检测的请求将会被转发到后端应用服务器24，获取正常的资源返回。
本实施例，同时将用户数据请求流量通过机房交换机流量镜像口传输到IDS服务器网卡上，对所有镜像流量可以使用snort规则模型进行入侵检测。检测到的攻击事件形成攻击日志，可以由rsyslog推送至日志存储中心。后台的日志分析引擎实时轮询日志存储中心得到最新的IDS事件日志，根据攻击事件所触发的规则，以及预设好的规则策略，将攻击者的IP、设备ID信息通过API接口推送至所有WAF节点。WAF节点将攻击者的IP、设备ID加入黑名单封禁，当攻击者访问时会被WAF直接拦截。
请参看图3，其为本申请一实施例的数据流量处理方法，该方法可由图1所示的电子设备1来执行，并可应用于如图2所示的防火墙系统中的负载均衡集群23，以实现对当攻击者的数据访问进行拦截。该方法包括如下步骤：
步骤301：在接收到终端发送的数据请求时，解析数据请求，得到数据请求的属性信息，属性信息至少包括数据请求网络地址和终端的设备标识。
在本步骤中，首先接收终端发送的数据请求，通过负载均衡集群23将该数据请求流量送到空闲的WAF节点。WAF节点针对数据请求进行包体解析，得到该数据请求的属性信息，属性信息至少可以包括：数据请求的网络地址(真实IP)和用户设备ID(终端的设备标识)。
步骤302：判断属性信息是否被预设数据库标记为白名单。若是，进入步骤303，否则进入步骤304。
在本步骤中，白名单是指可以免检测的终端信息，白名单里的终端发送来的数据请求是可信任的，不需要进行攻击检测。可以预先将免检的终端信息渔村到预设数据库中。白名单中可以标记免检终端的网络地址IP、设备ID，因此可以校验请求者的网络地址IP、设备ID是否在WAF系统预设数据库的白名单内，来判断该数据请求是否需要进行攻击检测。
步骤303：发送数据请求至指定的应用服务器24。
在本步骤中，若属性信息被预设数据库标记为白名单，即在白名单内，则不对该数据请求进行攻击检测，直接放行，转发该数据请求至后端应用服务器24。比如应用服务器24是数据请求的HOST(请求的WEB服务器域名地址)来指定。
步骤304：基于预设标记信息，限制数据请求的流向。
在本步骤中，若属性信息未被预设数据库标记为白名单，说明该数据请求的来源可能是攻击者，为了信息安全，采用相应的限制策略对其进行处理，比如可以限制数据请求的流向和流速。
上述数据流量处理方法，在接收到终端发送的数据请求时，解析数据请求，得到数据请求的属性信息，并基于属性信息在预设数据库中的标记信息，对数据请求进行筛选，被标记为白名单的数据请求，可以直接转发给该数据请求指定的应用服务器24，以使终端获取返回资源。对于未被标记为白名单的数据请求进行流向限制，相比于传统全盘对数据请求进行规则验证的方式，可以有效减少数据流量高峰时，会造成请求延时、丢包、请求失败等情况。
请参看图4，其为本申请一实施例的数据流量处理方法，该方法可由图1所示的电子设备1来执行，并可应用于如图2所示的防火墙系统中的负载均衡集群23，以实现对当攻击者的数据访问进行拦截。该方法包括如下步骤：
步骤401：在接收到终端发送的数据请求时，解析数据请求，得到数据请求的属性信息，属性信息至少包括数据请求网络地址和终端的设备标识。详细参见上述实施例中对步骤301的描述。
步骤402：判断属性信息是否被预设数据库标记为白名单。若是进入步骤409，否则进入步骤403。详细参见上述实施例中对步骤302的描述。
步骤403：判断属性信息是否被预设数据库标记为黑名单。若是进入步骤404，否则进入步骤405。
在本步骤中，黑名单是指被预先标记为攻击者的终端信息，这些终端曾经有过攻击历史记录，可以自动更新到黑名单内，同样的可以标记攻击者终端的网络地址IP、设备ID，因此若网络地址和设备标识未被预设数据库标记为白名单，说明该终端发送的本次数据请求存在安全隐患，是需要进行安全检测的，可以校验终端的网络地址IP、设备ID是否在预设数据库的黑名单内，进入步骤407，否则进入步骤404。
于一实施例中，在步骤403之前还可以包括：接收日志分析引擎发送的黑名单标记信息，根据黑名单标记信息建立预设数据库。
在本步骤中，实施接收日志分析引擎发送过来的黑名单标记信息，以实时更新预设数据库。比如WAF集群节点通过自身的API接口，实时将日志分析引擎发送过来的黑名单标记信息缓存至预设数据库，黑名单标记信息至少可以包括被封禁的网络地址IP、设备ID、封禁时长等信息。
步骤404：属性信息还包括：数据请求的浏览器信息。判断网络地址和浏览器信息是否被预设爬虫库标记。若是进入步骤405，否则，进入步骤406。
在本步骤中，属性信息还可以包括：本次数据请求的浏览器信息USER_AGENT(HTTP客户端运行的浏览器类型的详细信息，通过该头部信息，WEB服务器可以判断到当前HTTP请求的客户端浏览器类别)。若网络地址和设备标识未被预设数据库标记为黑名单，说明该终端不是已知的攻击者，但是依然需要对其进行安全检测，因此可以对本次数据请求进行搜索引擎爬虫检测。比如首先匹配数据请求的网络地址IP和USER_AGENT字段是否符合搜索引擎的公开的USER_AGENT以及爬虫IP库(即预设爬虫库)，若符合进入步骤405，否则，进入步骤406。
于一实施例中，属性信息还可以包括：本次数据请求的CDN(Content DeliveryNetwork，即内容分发网络)的IP、请求链追踪ID，请求协议版本，浏览器信息USER_AGENT(HTTP客户端运行的浏览器类型的详细信息，通过该头部信息，WEB服务器可以判断到当前HTTP请求的客户端浏览器类别)，HOST(请求的WEB服务器域名地址)等信息。
步骤405：从预设爬虫库中提取数据请求的请求阈值，并基于请求阈值限制数据请求的流量。然后进入步骤406。
在本步骤中，若网络地址和浏览器信息被预设爬虫库标记，说明本次数据请求属于爬虫请求，对请求频繁的爬虫，则根据制定好的请求阈值对其进行限流。
步骤406：判断数据请求是否命中预设检测规则。若是，进入步骤407，否则，进入步骤408。
在本步骤中，对于网络地址和设备标识未被预设数据库标记为黑名单的数据请求，在完成爬虫检测后，还可以进行规则检测。此处预设检测规则可以是是搭载在WAF节点上的少量的通用检测规则，用于对一些通用的攻击请求特点进行筛查。比如可以根据数据请求对应的HOST信息，匹配WAF系统内置的不同预设检测规则模型进行攻击检测。
步骤407：阻断数据请求的流向，记录攻击日志。
在本步骤中，若步骤403中判定属性信息被预设数据库标记为黑名单，说明发出本次数据请求的终端是攻击者，则直接阻断该数据请求，不进行转发，并可以记录攻击日志，将攻击日志反馈给日志服务器22。并且，对于步骤406中命中预设检测规则的数据请求，根据该预设检测规则定义的策略进行阻断数据请求，还可以记录攻击日志、发出报警等。
步骤408：发送数据请求至指定的应用服务器24。
在本步骤中，若网络地址和设备标识被预设数据库标记为白名单，或者若数据请求没有命中预设检测规则，说明本次数据请求是安全的，可以将本次数据请求转发至后端应用服务器24，应用服务器24是数据请求的HOST(请求的WEB服务器域名地址)信息来指定。
上述数据流量处理方法，具备如下有益效果：
1、将WAF集群部署于所有负载均衡网关之上，并实现了统一的规则下发、逻辑控制中心，使得单节点防火墙不会因为高并发流量而影响性能。为进一步提高效能，WAF节点仅搭载少量而通用的预设检测规则。将机房所有镜像流量实时导入至IDS集群进行检测，IDS集群可以搭载大量丰富的检测规则。导入IDS集群的数据请求流量既包含解密后的WEB流量，也包含其他服务器中间件的请求流量。对于检测出的可疑攻击，通过日志分析引擎传递至各个WAF节点阻断该攻击，解决了大流量高并发情形下的性能问题，以及检测非WEB流量的问题。
2、后台管理员可以针对某一特定域名，从规则库内选择任意数量的预设检测规则进行搭配，通过WAF节点的API接口，将搭配好的规则模型传输到WAF节点上。实现了单一业务应用可搭载自定义规则的方法，解决了复杂业务下，应用个性化规则问题。
3.通过设备指纹、请求USER_AGENT分析爬虫流量，针对搜索引擎爬虫流量行为进行限制。
请参看图5，其为本申请一实施例的数据流量处理装置500，该装置可应用于图1所示的电子设备1，并可应用于如图2所示的防火墙系统中的负载均衡集群23，以实现对当攻击者的数据访问进行拦截。该装置包括：解析模块501、判断模块502、发送模块503和限制模块504，各个模块的原理关系如下：
解析模块501，用于在接收到终端发送的数据请求时，解析数据请求，得到数据请求的属性信息，属性信息至少包括数据请求网络地址和终端的设备标识。详细参见上述实施例中对步骤301的描述。
判断模块502，用于判断属性信息是否被预设数据库标记为白名单。详细参见上述实施例中对步骤302的描述。
发送模块503，用于若属性信息被预设数据库标记为白名单，发送数据请求至指定的应用服务器24。详细参见上述实施例中对步骤303的描述。
限制模块504，用于若属性信息未被预设数据库标记为白名单，基于预设标记信息，限制数据请求的流向。详细参见上述实施例中对步骤304的描述。
于一实施例中，限制模块504用于：若属性信息未被预设数据库标记为白名单，判断属性信息是否被预设数据库标记为黑名单。若属性信息被预设数据库标记为黑名单，阻断数据请求的流向，并记录攻击日志。详细参见上述实施例中对步骤403至步骤404的描述。
于一实施例中，属性信息包括数据请求的网络地址和终端的设备标识。
于一实施例中，属性信息还包括：数据请求的浏览器信息。限制模块504还用于：若属性信息未被预设数据库标记为黑名单，判断网络地址和浏览器信息是否被预设爬虫库标记。若网络地址和浏览器信息被预设爬虫库标记，从预设爬虫库中提取数据请求的请求阈值，并基于请求阈值限制数据请求的流量。详细参见上述实施例中对步骤405至步骤406的描述。
于一实施例中，限制模块504还用于：若属性信息未被预设数据库标记为黑名单，判断数据请求是否命中预设检测规则。若数据请求命中预设检测规则，阻断数据请求的流向，记录攻击日志，否则，发送数据请求至应用服务器24。详细参见上述实施例中对步骤407至步骤408的描述。
于一实施例中，还包括：接收模块505，用于接收日志服务器22发送的黑名单标记信息，根据黑名单标记信息建立预设数据库。详细参见上述实施例中对相关方法的描述。
上述数据流量处理装置500的详细描述，请参见上述实施例中相关方法步骤的描述。
本发明实施例还提供了一种非暂态电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (11)
1.一种数据流量处理方法，其特征在于，包括：
在接收到终端发送的数据请求时，解析所述数据请求，得到所述数据请求的属性信息；
判断所述属性信息是否被预设数据库标记为白名单；
若所述属性信息被预设数据库标记为白名单，发送所述数据请求至指定的应用服务器；
若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向。
2.根据权利要求1所述的方法，其特征在于，所述若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向，还包括：
若所述属性信息未被所述预设数据库标记为白名单，判断所述属性信息是否被预设数据库标记为黑名单；
若所述属性信息被预设数据库标记为黑名单，阻断所述数据请求的流向，并记录攻击日志。
3.根据权利要求1所述的方法，其特征在于，所述属性信息包括所述数据请求的网络地址和所述终端的设备标识。
4.根据权利要求3中任一项所述的方法，其特征在于，所述属性信息还包括：所述数据请求的浏览器信息；
所述若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向，还包括：
若所述属性信息未被所述预设数据库标记为黑名单，判断所述网络地址和所述浏览器信息是否被预设爬虫库标记；
若所述网络地址和所述浏览器信息被所述预设爬虫库标记，从所述预设爬虫库中提取所述数据请求的请求阈值，并基于所述请求阈值限制所述数据请求的流量。
5.根据权利要求2所述的方法，其特征在于，所述若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向，还包括：
若所述属性信息未被所述预设数据库标记为黑名单，判断所述数据请求是否命中预设检测规则；
若所述数据请求命中所述预设检测规则，阻断所述数据请求的流向，记录攻击日志，否则，发送所述数据请求至所述应用服务器。
6.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：
接收日志服务器发送的黑名单标记信息，根据所述黑名单标记信息建立所述预设数据库。
7.一种数据流量处理装置，其特征在于，包括：
解析模块，用于在接收到终端发送的数据请求时，解析所述数据请求，得到所述数据请求的属性信息；
判断模块，用于判断所述属性信息是否被预设数据库标记为白名单；
发送模块，用于若所述属性信息被预设数据库标记为白名单，发送所述数据请求至指定的应用服务器；
限制模块，用于若所述属性信息未被所述预设数据库标记为白名单，基于预设标记信息，限制所述数据请求的流向；
其中，所述属性信息包括所述数据请求的网络地址和所述终端的设备标识。
8.根据权利要求7所述的装置，其特征在于，所述限制模块用于：
若所述属性信息未被所述预设数据库标记为白名单，判断所述属性信息是否被预设数据库标记为黑名单；
若所述属性信息被预设数据库标记为黑名单，阻断所述数据请求的流向，并记录攻击日志。
9.一种防火墙系统，其特征在于，包括：
入侵检测集群，包括多个检测节点，用于接收数据请求，并检测所述数据请求后生成攻击事件日志；
日志服务器，连接所述入侵检测集群，用于接收所述攻击事件日志，并生成所述攻击事件日志的黑名单标记信息；
负载均衡集群，包括多个负载均衡节点，用于接收所述黑名单标记信息，建立预设数据库，并执行如权利要求1至6中任一项的所述方法，以对数据请求流量进行处理。
10.一种电子设备，其特征在于，包括：
存储器，用以存储计算机程序；
处理器，用以执行如权利要求1至6中任一项所述的方法，以对数据请求流量进行处理。
11.一种非暂态电子设备可读存储介质，其特征在于，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011481469.3A CN112637171A (zh) | 2020-12-15 | 2020-12-15 | 数据流量处理方法、装置、设备、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011481469.3A CN112637171A (zh) | 2020-12-15 | 2020-12-15 | 数据流量处理方法、装置、设备、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112637171A true CN112637171A (zh) | 2021-04-09 |
Family
ID=75313275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011481469.3A Pending CN112637171A (zh) | 2020-12-15 | 2020-12-15 | 数据流量处理方法、装置、设备、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112637171A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113489726A (zh) * | 2021-07-06 | 2021-10-08 | 中国联合网络通信集团有限公司 | 流量限制方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007098960A1 (en) * | 2006-03-03 | 2007-09-07 | Art Of Defence Gmbh | Distributed web application firewall |
| CN106790313A (zh) * | 2017-03-31 | 2017-05-31 | 杭州迪普科技股份有限公司 | 入侵防御方法及装置 |
| CN108683631A (zh) * | 2018-03-30 | 2018-10-19 | 厦门白山耘科技有限公司 | 一种防止扫描权限文件的方法和系统 |
| CN108777709A (zh) * | 2018-05-31 | 2018-11-09 | 康键信息技术（深圳）有限公司 | 网站访问方法、装置、计算机设备和存储介质 |
| CN110474890A (zh) * | 2019-07-29 | 2019-11-19 | 深圳数位传媒科技有限公司 | 一种基于智能流量导向切换的数据反爬取方法及装置 |
-
2020
- 2020-12-15 CN CN202011481469.3A patent/CN112637171A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007098960A1 (en) * | 2006-03-03 | 2007-09-07 | Art Of Defence Gmbh | Distributed web application firewall |
| CN106790313A (zh) * | 2017-03-31 | 2017-05-31 | 杭州迪普科技股份有限公司 | 入侵防御方法及装置 |
| CN108683631A (zh) * | 2018-03-30 | 2018-10-19 | 厦门白山耘科技有限公司 | 一种防止扫描权限文件的方法和系统 |
| CN108777709A (zh) * | 2018-05-31 | 2018-11-09 | 康键信息技术（深圳）有限公司 | 网站访问方法、装置、计算机设备和存储介质 |
| CN110474890A (zh) * | 2019-07-29 | 2019-11-19 | 深圳数位传媒科技有限公司 | 一种基于智能流量导向切换的数据反爬取方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113489726A (zh) * | 2021-07-06 | 2021-10-08 | 中国联合网络通信集团有限公司 | 流量限制方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10447730B2 (en) | Detection of SQL injection attacks | |
| US10491614B2 (en) | Illegitimate typosquatting detection with internet protocol information | |
| CN112383546B (zh) | 一种处理网络攻击行为的方法、相关设备及存储介质 | |
| US11831420B2 (en) | Network application firewall | |
| CN108780485B (zh) | 基于模式匹配的数据集提取 | |
| US10200384B1 (en) | Distributed systems and methods for automatically detecting unknown bots and botnets | |
| US8949988B2 (en) | Methods for proactively securing a web application and apparatuses thereof | |
| US10601848B1 (en) | Cyber-security system and method for weak indicator detection and correlation to generate strong indicators | |
| US9055093B2 (en) | Method, system and computer program product for detecting at least one of security threats and undesirable computer files | |
| US10270792B1 (en) | Methods for detecting malicious smart bots to improve network security and devices thereof | |
| US10666680B2 (en) | Service overload attack protection based on selective packet transmission | |
| TW201824047A (zh) | 攻擊請求的確定方法、裝置及伺服器 | |
| US8713674B1 (en) | Systems and methods for excluding undesirable network transactions | |
| CN111786966A (zh) | 浏览网页的方法和装置 | |
| CN111464526A (zh) | 一种网络入侵检测方法、装置、设备及可读存储介质 | |
| US11303670B1 (en) | Pre-filtering detection of an injected script on a webpage accessed by a computing device | |
| CN113645234A (zh) | 基于蜜罐的网络防御方法、系统、介质及装置 | |
| US11128639B2 (en) | Dynamic injection or modification of headers to provide intelligence | |
| KR101658450B1 (ko) | 웹 애플리케이션 서버로부터 수집된 트랜잭션 정보 및 고유세션 id 통한 사용자 식별을 이용한 보안장치. | |
| KR101658456B1 (ko) | 웹 애플리케이션 서버로부터 수집된 트랜잭션 정보를 이용한 보안장치 | |
| WO2023045196A1 (zh) | 访问请求捕获方法、装置、计算机设备和存储介质 | |
| CN115102781A (zh) | 网络攻击处理方法、装置、电子设备和介质 | |
| US10686834B1 (en) | Inert parameters for detection of malicious activity | |
| KR101650475B1 (ko) | 웹 서버로부터 수집된 트랜잭션 정보를 이용한 보안장치 | |
| US10757118B2 (en) | Method of aiding the detection of infection of a terminal by malware |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210409 |