CN117828688B - 一种数据安全处理方法及系统 - Google Patents
一种数据安全处理方法及系统 Download PDFInfo
- Publication number
- CN117828688B CN117828688B CN202410119897.3A CN202410119897A CN117828688B CN 117828688 B CN117828688 B CN 117828688B CN 202410119897 A CN202410119897 A CN 202410119897A CN 117828688 B CN117828688 B CN 117828688B
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- sample
- optimization
- security
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims description 85
- 239000013598 vector Substances 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 43
- 230000003993 interaction Effects 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000002955 isolation Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据安全处理方法及系统,属于数据处理技术领域,构建第一数据安全防护规则以及第二数据安全防护规则,并通过第一数据安全防护规则以及第二数据安全防护规则识别不安全的数据处理过程,从而可以有效地保证或者提升数据处理过程的安全性,并且设置有异常数据库以及安全数据库,可以对不同类型的数据分区存储,以避免正常数据受到影响。
Description
技术领域
本发明属于数据处理技术领域,具体涉及一种数据安全处理方法及系统。
背景技术
数据安全处理,顾名思义就是通过采用各种安全防护技术,使数据在采集、存储、检索、加工、变换和传输的过程中不会发生增加、修改、丢失和泄露等问题,确保数据的可用性、完整性和保密性,保障数据的流通安全。然而,现有数据处理过程中仅仅对数据进行加密处理,这样只能保证数据在传输以及存储时的安全性,并不能有效地保证数据处理过程中的安全性,从而导致数据安全性不足。
发明内容
本发明提供一种数据安全处理方法及系统,用以解决现有技术在数据处理过程安全性不足的问题。
一方面,本发明提供一种数据安全处理方法,包括:
获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库;
获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库;
每过一个预设优化周期,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则;对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则;
接收待处理数据以及待处理数据在接收时的目标网络特征数据,通过第一数据安全防护规则对待处理数据进行识别,得到第一安全识别结果;通过第二数据安全防护规则对待处理数据在接收时的目标网络特征数据进行识别,得到第二安全识别结果;
根据所述第一安全识别结果以及所述第二安全识别结果,进行安全事件识别,获取数据安全事件识别结果;所述数据安全事件识别结果包括存在不安全事件或者不存在不安全事件;
当所述数据安全事件识别结果为存在不安全事件时,则将当前数据截获,并将截获到的当前数据存放至异常数据库,同时将时间戳以及数据源进行关联存储;
当所述数据安全事件识别结果为不存在不安全事件时,则将当前数据存储于安全数据库中,并按照预设规则进行存储以及处理。
进一步地,还包括:对第二数据安全防护规则进行优化,以形成用于识别网络安全事件的第三数据防护规则,并通过第三数据防护规则识别网络安全,若出现网络不安全的情况,则将用于物理隔离的网闸断开,以加强数据安全处理性能。
进一步地,获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库,包括:
获取指定数据源或者通过人机交互输入的负样本或者正样本,得到样本数据;
获取指定数据源或者通过人机交互输入的正样本标签以及负样本标签,得到样本数据的样本标签;
对正样本以及负样本进行标准化处理,得到标准化后的正样本以及负样本,即得到标准化后的样本数据;
根据标准化后的样本数据以及样本数据的样本标签,构建样本数据库。
进一步地,获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库,包括:
获取指定数据源或者通过人机交互输入的每个正样本或负样本处理过程中所对应的网络特征数据,所述网络特征数据包括以太网类型、连接开始时间、IPv4目的地址、IPv4源地址、发送者主机地址、接收者地址、TCP源端口、TCP目的端口、UDP源端口、UDP目的端口、ICMP类型、IPv4报头长度、UDP长度、TCP长度、IP协议、ICMP码、连接的持续时间、预设时间内SYN错误连接百分比、预设时间内REJ错误的连接所占百分比、预设时间内相同连接所占百分比、预设数量的历史连接中与当前连接具有相同主机的连接数量以及预设数量的历史连接中的相同服务类型的连接数;
获取指定数据源或者通过人机交互输入的网络特征数据所对应的标签数据,所述网络特征数据所对应的标签数据为存在不安全事件或者不存在不安全事件;
根据网络特征数据以及网络特征数据所对应的标签数据,构建网络特征数据库。
进一步地,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则,包括:采用神经网络初始化第一初始规则,并通过样本数据库中的样本数据以及样本数据所对应的样本标签对第一初始规则进行优化,形成第一数据安全防护规则。
进一步地,通过样本数据库中的样本数据以及样本数据所对应的样本标签对第一初始规则进行优化,形成第一数据安全防护规则,包括:
设置计数器t=1以及最大优化次数T;
以所述样本数据库中的样本数据为第一初始规则的输入数据,以样本数据所对应的样本标签作为第一初始规则的期望输出数据,获取第一初始规则所对应的目标函数值;
以所述第一初始规则所对应的目标函数值为基础,对第一初始规则进行调整,得到调整之后的第一初始规则;
判断计数器t的计数值是否大于或者等于最大优化次数T,若是,则将当前的第一初始规则作为第一数据安全防护规则,否则返回获取第一初始规则所对应的目标函数值的步骤。
进一步地,还包括:形成自适应学习速率的优化规则,根据所述自适应学习速率的优化规则对第一初始规则进行优化,直至满足优化结束条件,形成第一数据安全防护规则。
进一步地,对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则,包括:
设置计数器t=1以及最大优化次数T;
以所述网络特征数据库中的网络特征数据为第二初始规则的输入数据,以网络特征数据所对应的样本标签作为第二初始规则的期望输出数据,获取第二初始规则所对应的目标函数值;
以所述第二初始规则所对应的目标函数值为基础,对第二初始规则进行调整,得到调整之后的第二初始规则;
判断计数器t的计数值是否大于或者等于最大优化次数T,若是,则将当前的第二初始规则作为第二数据安全防护规则,否则返回获取第二初始规则所对应的目标函数值的步骤。
进一步地,还包括:形成自适应学习速率的优化规则,根据所述自适应学习速率的优化规则对第二初始规则进行优化,直至满足优化结束条件,形成第二数据安全防护规则。
另一方面,本发明提供一种数据安全处理系统,包括第一数据获取模块、第二数据获取模块、数据学习模块、第一数据识别模块、第二数据识别模块、第一数据处理模块以及第二数据处理模块;
所述第一数据获取模块,用于获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库;
所述第二数据获取模块,用于获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库;
所述数据学习模块,用于每过一个预设优化周期,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则;对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则;
所述第一数据识别模块,用于接收待处理数据以及待处理数据在接收时的目标网络特征数据,通过第一数据安全防护规则对待处理数据进行识别,得到第一安全识别结果;通过第二数据安全防护规则对待处理数据在接收时的目标网络特征数据进行识别,得到第二安全识别结果;
所述第二数据识别模块,用于根据所述第一安全识别结果以及所述第二安全识别结果,进行安全事件识别,获取数据安全事件识别结果;所述数据安全事件识别结果包括存在不安全事件或者不存在不安全事件;
所述第一数据处理模块,用于当所述数据安全事件识别结果为存在不安全事件时,则将当前数据截获,并将截获到的当前数据存放至异常数据库,同时将时间戳以及数据源进行关联存储;
所述第二数据处理模块,用于当所述数据安全事件识别结果为不存在不安全事件时,则将当前数据存储于安全数据库中,并按照预设规则进行存储以及处理。
本发明提供的一种数据安全处理方法及系统,构建第一数据安全防护规则以及第二数据安全防护规则,并通过第一数据安全防护规则以及第二数据安全防护规则识别不安全的数据处理过程,从而可以有效地保证或者提升数据处理过程的安全性,并且设置有异常数据库以及安全数据库,可以对不同类型的数据分区存储,以避免正常数据受到影响。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1为本发明实施例提供的一种数据安全处理方法的流程图。
图2为本发明实施例提供的一种数据安全处理系统的结构示意图。
1-第一数据获取模块、2-第二数据获取模块、3-数据学习模块、4-第一数据识别模块、5-第二数据识别模块、6-第一数据处理模块、7-第二数据处理模块。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面结合附图详细说明本发明的实施例。
如图1所示,本发明提供一种数据安全处理方法,包括:
S1、获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库。
在数字信号处理过程中,常常可能出现异常数据,对于少量数据或者低纬度数据,可以直接通过阈值判断确定异常数据,而高纬度数据的识别能力较差,因此可以先获取正负样本,对正负样本进行学习之后,就可以实现异常数据的识别。
S2、获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库。
在数据处理的过程中,若是不能及时发现威胁,则不仅可能导致当前处理的数据发生丢失损坏,还可能导致已有的数据发生丢失损坏。因此可以对网络特征数据进行学习,从而可以实现异常数据处理状态,保证数据的安全性。
S3、每过一个预设优化周期,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则。对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则。
通过设置预设优化周期,可以在使用过程中持续优化第一数据安全防护规则以及第二数据安全防护规则,从而可以实现防护规则的实时调整,能够进一步地保护数据安全性。
S4、接收待处理数据以及待处理数据在接收时的目标网络特征数据,通过第一数据安全防护规则对待处理数据进行识别,得到第一安全识别结果。通过第二数据安全防护规则对待处理数据在接收时的目标网络特征数据进行识别,得到第二安全识别结果。
经过学习得到的第一数据安全防护规则以及第二数据安全防护规则,具备了不安全数据处理的识别能力,因此可以分别获取第一安全识别结果以及第二安全识别结果,以作为后续安全处理的数据支持。
第一安全识别结果可以包括:数据异常或者数据正常;第二安全识别结果可以包括:数据处理异常或者数据处理正常。
S5、根据所述第一安全识别结果以及所述第二安全识别结果,进行安全事件识别,获取数据安全事件识别结果。所述数据安全事件识别结果包括存在不安全事件或者不存在不安全事件。
根据所述第一安全识别结果以及所述第二安全识别结果,进行安全事件识别可以包括:当第一安全识别结果为数据异常和/或第二安全识别结果为数据处理异常时,则确定数据安全事件识别结果为存在不安全事件。其余情况则确定数据安全事件识别结果为不存在不安全事件。
S6、当所述数据安全事件识别结果为存在不安全事件时,则将当前数据截获,并将截获到的当前数据存放至异常数据库,同时将时间戳以及数据源等信息进行关联存储。
S7、当所述数据安全事件识别结果为不存在不安全事件时,则将当前数据存储于安全数据库中,并按照预设规则进行存储以及处理。
值得说明的是,可以将异常数据库与安全数据库进行物理隔离,从而能够有效避免异常数据污染正常数据。
在本实施例中,还包括:对第二数据安全防护规则进行优化,以形成用于识别网络安全事件的第三数据防护规则,并通过第三数据防护规则识别网络安全,若出现网络不安全的情况,则将用于物理隔离的网闸断开,以加强数据安全处理性能。
可以为网络特征数据添加网络不安全的标签,并对第二数据安全防护规则进行进一步优化,从而可以得到第三数据防护规则。通过第三数据防护规则进行数据处理过程中的安全防护,能够有效地提高识别效果,从而保证数据的处理安全。
在本实施例中,获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库,包括:
获取指定数据源或者通过人机交互输入的负样本或者正样本,得到样本数据。
获取指定数据源或者通过人机交互输入的正样本标签以及负样本标签,得到样本数据的样本标签。
对正样本以及负样本进行标准化处理,得到标准化后的正样本以及负样本,即得到标准化后的样本数据。
根据标准化后的样本数据以及样本数据的样本标签,构建样本数据库。
正样本表示正常数据,且具有对应的人工标签;负样本表示异常数据,且具有对应的人工标签。对正样本以及负样本进行标准化处理可以包括:数据长度标准化以及归一化处理。值得说明的是,上述标准化处理仅仅是本发明实施例的优选方式,还可以采用其他的数据预处理方法进行标准化。
在本实施例中,获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库,包括:
获取指定数据源或者通过人机交互输入的每个正样本或负样本处理过程中所对应的网络特征数据,所述网络特征数据包括以太网类型、连接开始时间、IPv4目的地址、IPv4源地址、发送者主机地址、接收者地址、TCP(Transmission Control Protocol,传输控制协议)源端口、TCP目的端口、UDP(User Datagram Protocol,用户数据报协议)源端口、UDP目的端口、ICMP(Internet Control Message Protocol,网络控制报文协议)类型、IPv4报头长度、UDP长度、TCP长度、IP(Internet Protocol,网络之间互连的协议)协议、ICMP码、连接的持续时间、预设时间内SYN错误连接百分比、预设时间内REJ错误的连接所占百分比、预设时间内相同连接所占百分比、预设数量的历史连接中与当前连接具有相同主机的连接数量以及预设数量的历史连接中的相同服务类型的连接数。
值得说明的是,上述网络特征数据仅仅是本发明实施例的优选特征,还可以采用其他的特征,如基于时间的网络流量特征、基于主机的网络流量统计特征等等。
获取指定数据源或者通过人机交互输入的网络特征数据所对应的标签数据,所述网络特征数据所对应的标签数据为存在不安全事件或者不存在不安全事件。
根据网络特征数据以及网络特征数据所对应的标签数据,构建网络特征数据库。
在本实施例中,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则,包括:采用神经网络初始化第一初始规则,并通过样本数据库中的样本数据以及样本数据所对应的样本标签对第一初始规则进行优化,形成第一数据安全防护规则。
可选的,可以采用BP神经网络(BackPropagation,反向传播)或者卷积神经网络初始化第一初始规则,可以采用梯度下降法或者智能优化算法对第一初始规则进行优化,从而得到可以识别异常数据的第一数据安全防护规则。
在本实施例中,通过样本数据库中的样本数据以及样本数据所对应的样本标签对第一初始规则进行优化,形成第一数据安全防护规则,包括:
设置计数器t=1以及最大优化次数T。
以所述样本数据库中的样本数据为第一初始规则的输入数据,以样本数据所对应的样本标签作为第一初始规则的期望输出数据,获取第一初始规则所对应的目标函数值。
以所述第一初始规则所对应的目标函数值为基础,对第一初始规则进行调整,得到调整之后的第一初始规则。
判断计数器t的计数值是否大于或者等于最大优化次数T,若是,则将当前的第一初始规则作为第一数据安全防护规则,否则返回获取第一初始规则所对应的目标函数值的步骤。
可选的,为了更好的阐述规则的调整过程,本发明实施例提供如下的规则优化方法。
以所述第一初始规则所对应的目标函数值为基础,对第一初始规则进行调整,得到调整之后的第一初始规则,可以包括:
其中,表示第t轮优化时第一初始规则对应的参数(可以为权重参数,也可以为阈值参数),表示更新后的,表示第t-1轮优化时的权重,表示第t轮优化时的学习率,表示动量项系数,表示第t轮优化时的目标函数值。值得说明的是,通过设置期望输出获取目标函数值是比较常规的技术手段,本发明实施例不再进行赘述(例如:可以获取均方根误差,得到目标函数值)。
可选的,上述规则优化方法主要为梯度下降法,其拥有较快的训练的速率,但是训练效果往往较差,因此,本发明实施例提供另一种规则优化方法,可以包括:
A1、对待优化规则的参数进行多次随机初始化,得到多个参数向量。所述待优化规则为第一初始规则以及第二初始规则。多次随机初始化可以包括:在每个维度的上限与下限之间,对参数进行随机初始化一次,得到一个参数向量,然后多次初始化。
A2、获取每个参数向量所对应的目标函数值,并选取目标函数值最小的参数向量作为最优参数向量。
A3、在参数优化解空间内对参数向量进行局部粗略搜索,以获取局部粗略搜索之后的参数向量。
步骤A3可以包括:在参数优化解空间内对参数向量进行初步搜索为:
其中,表示第t次优化过程中第i个参数向量的第d维元素,d=1,2,...,D,D表示元素总数。i=1,2,...,I,I表示参数向量的总数,表示的搜索值,表示圆周率,表示搜索方向,p=1,2,...,h,h表示搜索方向的总数,表示第一搜索步长。表示第一搜索步长的最大值,表示第一搜索步长的最小值,表示当前整体优化次数,T表示最大优化次数。
针对参数向量中每一维元素,确定搜索之后参数向量的目标函数值是否减小,若是,则确定目标函数值减小最多的方向作为初步搜索方向,并对参数向量进行更新,否则不进行更新。
遍历每个参数向量的每一维元素,获取初步搜索的参数向量。
当采用智能优化算法的过程中,可以形成自适应学习速率的优化规则为。通过设置随优化次数变动的第一搜索步长,能够在算法前期以较大的步长进行搜索,在后期以较小的步长进行搜索,能够一定程度上平衡全局搜索与局部搜索。
A4、针对局部粗略搜索之后的参数向量,对参数向量进行局部精细搜索,得到局部精细搜索之后的参数向量。
步骤A4可以包括:
其中,表示惯性权重,表示局部精细搜索之后的第h个参数向量的第d维参数的更新量,h=1,2,…,I,表示更新之后的,表示第一学习因子,表示(0,1)范围内的第一随机数,表示第h个参数向量中的第d维参数,表示第h个参数向量的历史最优值中的第d维参数,表示第二学习因子,表示(0,1)范围内的第二随机数,表示最优参数向量第d维参数,表示更新后的。
通过最优值的局部引导搜索,能够极大地提高数据的搜索精度,从而提升最终第一数据安全防护规则以及第二数据安全防护规则的防护效果。
A5、针对局部精细搜索之后的参数向量,对参数向量进行全局搜索,得到全局搜索之后的参数向量。
步骤A5可以包括:
其中,表示第t次优化过程中第k个局部精细搜索之后的参数向量的第d维参数,k=1,2,…,I,表示的更新量,表示更新后的,表示惯性权重,表示第t-1次优化过程中的更新量,表示最优参数向量第d维参数,表示更新参数,表示更新参数的最大值,表示更新参数的最小值,表示(0,1)之间的随机数。
判断进行全局搜索之后参数向量的目标函数值是否减小,若是,则接受该全局搜索,得到全局搜索之后的参数向量,否则拒绝该全局搜索,得到直接将局部精细搜索之后的参数向量作为全局搜索之后的参数向量。
通过全局搜索,能够有效地协助算法跳出局部最优,从而结合局部粗略搜索以及局部精细搜索,能够有效地实现规则的优化。
A6、判断是否达到最大优化次数,若是,则输出当前最优参数向量作为待优化规则的最终参数,否则返回步骤A2.
在本实施例中,还包括:形成自适应学习速率的优化规则,根据所述自适应学习速率的优化规则对第一初始规则进行优化,直至满足优化结束条件,形成第一数据安全防护规则。
形成自适应学习速率的优化规则,可以包括:
其中,表示第t轮优化时的学习速率,表示调整后的,表示第一常数,表示第二常数,表示中间变量,表示辅助变量更新系数,表示微分符号,表示第t次优化时的目标函数值,表示第t次优化时的参数。值得说明的是,此处虽然是针对梯度下降法形成自适应学习速率的优化规则,但是也适用于上述智能优化算法中的步长自适应优化。
在本实施例中,对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则,包括:
设置计数器t=1以及最大优化次数T。
以所述网络特征数据库中的网络特征数据为第二初始规则的输入数据,以网络特征数据所对应的样本标签作为第二初始规则的期望输出数据,获取第二初始规则所对应的目标函数值。
以所述第二初始规则所对应的目标函数值为基础,对第二初始规则进行调整,得到调整之后的第二初始规则。
判断计数器t的计数值是否大于或者等于最大优化次数T,若是,则将当前的第二初始规则作为第二数据安全防护规则,否则返回获取第二初始规则所对应的目标函数值的步骤。
在本实施例中,还包括:形成自适应学习速率的优化规则,根据所述自适应学习速率的优化规则对第二初始规则进行优化,直至满足优化结束条件,形成第二数据安全防护规则。
第二数据安全防护规则的优化过程与第一数据安全防护规则的优化过程相同,主要是用于学习的数据不同,本发明实施例不再进行赘述。
本发明提供的一种数据安全处理方法及系统,构建第一数据安全防护规则以及第二数据安全防护规则,并通过第一数据安全防护规则以及第二数据安全防护规则识别不安全的数据处理过程,从而可以有效地保证或者提升数据处理过程的安全性,并且设置有异常数据库以及安全数据库,可以对不同类型的数据分区存储,以避免正常数据受到影响。
如图2所示,本发明实施例提供一种数据安全处理系统,包括第一数据获取模块1、第二数据获取模块2、数据学习模块3、第一数据识别模块4、第二数据识别模块5、第一数据处理模块6以及第二数据处理模块7。
所述第一数据获取模块1,用于获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库。
所述第二数据获取模块2,用于获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库。
所述数据学习模块3,用于每过一个预设优化周期,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则。对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则。
所述第一数据识别模块4,用于接收待处理数据以及待处理数据在接收时的目标网络特征数据,通过第一数据安全防护规则对待处理数据进行识别,得到第一安全识别结果。通过第二数据安全防护规则对待处理数据在接收时的目标网络特征数据进行识别,得到第二安全识别结果。
所述第二数据识别模块5,用于根据所述第一安全识别结果以及所述第二安全识别结果,进行安全事件识别,获取数据安全事件识别结果。所述数据安全事件识别结果包括存在不安全事件或者不存在不安全事件。
所述第一数据处理模块6,用于当所述数据安全事件识别结果为存在不安全事件时,则将当前数据截获,并将截获到的当前数据存放至异常数据库,同时将时间戳以及数据源等信息进行关联存储。
所述第二数据处理模块7,用于当所述数据安全事件识别结果为不存在不安全事件时,则将当前数据存储于安全数据库中,并按照预设规则进行存储以及处理。
本发明实施例提供的一种数据安全处理系统可以执行上述方法技术方案,其原理及有益效果类似,此处不再进行赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种数据安全处理方法,其特征在于,包括:
获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库;
获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库;
每过一个预设优化周期,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则;对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则;
接收待处理数据以及待处理数据在接收时的目标网络特征数据,通过第一数据安全防护规则对待处理数据进行识别,得到第一安全识别结果;通过第二数据安全防护规则对待处理数据在接收时的目标网络特征数据进行识别,得到第二安全识别结果;
根据所述第一安全识别结果以及所述第二安全识别结果,进行安全事件识别,获取数据安全事件识别结果;所述数据安全事件识别结果包括存在不安全事件或者不存在不安全事件;
当所述数据安全事件识别结果为存在不安全事件时,则将当前数据截获,并将截获到的当前数据存放至异常数据库,同时将时间戳以及数据源进行关联存储;
当所述数据安全事件识别结果为不存在不安全事件时,则将当前数据存储于安全数据库中,并按照预设规则进行存储以及处理;
对样本数据库中的样本数据进行学习,形成第一数据安全防护规则,包括:采用神经网络初始化第一初始规则,并通过样本数据库中的样本数据以及样本数据所对应的样本标签对第一初始规则进行优化,形成第一数据安全防护规则;
通过样本数据库中的样本数据以及样本数据所对应的样本标签对第一初始规则进行优化,形成第一数据安全防护规则,包括:
设置计数器t=1以及最大优化次数T;
以所述样本数据库中的样本数据为第一初始规则的输入数据,以样本数据所对应的样本标签作为第一初始规则的期望输出数据,获取第一初始规则所对应的目标函数值;
以所述第一初始规则所对应的目标函数值为基础,对第一初始规则进行调整,得到调整之后的第一初始规则;
判断计数器t的计数值是否大于或者等于最大优化次数T,若是,则将当前的第一初始规则作为第一数据安全防护规则,否则返回获取第一初始规则所对应的目标函数值的步骤;
形成自适应学习速率的优化规则,根据所述自适应学习速率的优化规则对第一初始规则进行优化,直至满足优化结束条件,形成第一数据安全防护规则;
对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则,包括:
设置计数器t=1以及最大优化次数T;
以所述网络特征数据库中的网络特征数据为第二初始规则的输入数据,以网络特征数据所对应的样本标签作为第二初始规则的期望输出数据,获取第二初始规则所对应的目标函数值;
以所述第二初始规则所对应的目标函数值为基础,对第二初始规则进行调整,得到调整之后的第二初始规则;
判断计数器t的计数值是否大于或者等于最大优化次数T,若是,则将当前的第二初始规则作为第二数据安全防护规则,否则返回获取第二初始规则所对应的目标函数值的步骤;
还包括:形成自适应学习速率的优化规则,根据所述自适应学习速率的优化规则对第二初始规则进行优化,直至满足优化结束条件,形成第二数据安全防护规则;
采用BP神经网络或者卷积神经网络初始化第一初始规则以及第二初始规则,采用梯度下降法或者智能优化算法对第一初始规则以及第二初始规则进行优化,从而得到第一数据安全防护规则以及第二数据安全防护规则;
采用梯度下降法对第一初始规则以及第二初始规则进行优化,包括:
设置计数器t=1以及最大优化次数T;
以所述样本数据库中的样本数据为待优化规则的输入数据,以样本数据所对应的样本标签作为待优化规则的期望输出数据,获取待优化规则所对应的目标函数值;所述待优化规则为第一初始规则以及第二初始规则;
以所述待优化规则所对应的目标函数值为基础,对待优化规则进行调整,得到调整之后的待优化规则;
判断计数器t的计数值是否大于或者等于最大优化次数T,若是,则将当前的待优化规则作为对应的数据安全防护规则,否则返回获取待优化规则所对应的目标函数值的步骤;
以所述待优化规则所对应的目标函数值为基础,对待优化规则进行调整,得到调整之后的待优化规则,包括:
其中,wt表示第t轮优化时待优化规则对应的参数,wt+1表示更新后的wt,wt-1表示第t-1轮优化时的权重,ηt表示第t轮优化时的学习率,ε表示动量项系数,Et表示第t轮优化时的目标函数值;
形成自适应学习速率的优化规则,包括:
ηt+1=ηt+αηt(β||rt+1||-ηt)
其中,ηt+1表示调整后的ηt,α表示第一常数,β表示第二常数,rt+1表示中间变量,δ表示辅助变量更新系数,表示微分符号,Et表示第t次优化时的目标函数值,wt表示第t次优化时的参数;
采用智能优化算法对第一初始规则以及第二初始规则进行优化,包括:
A1、对待优化规则的参数进行多次随机初始化,得到多个参数向量;多次随机初始化包括:在每个维度的上限与下限之间,对参数进行随机初始化一次,得到一个参数向量,然后多次初始化;
A2、获取每个参数向量所对应的目标函数值,并选取目标函数值最小的参数向量作为最优参数向量;
A3、在参数优化解空间内对参数向量进行局部粗略搜索,以获取局部粗略搜索之后的参数向量;
步骤A3包括:在参数优化解空间内对参数向量进行初步搜索为:
其中,表示第t次优化过程中第i个参数向量的第d维元素,d=1,2,...,D,D表示元素总数;i=1,2,...,I,I表示参数向量的总数,表示的搜索值,π表示圆周率,p表示搜索方向,p=1,2,...,h,h表示搜索方向的总数,step1表示第一搜索步长;step1max表示第一搜索步长的最大值,step1min表示第一搜索步长的最小值,t表示当前整体优化次数,T表示最大优化次数;
针对参数向量中每一维元素,确定搜索之后参数向量的目标函数值是否减小,若是,则确定目标函数值减小最多的方向作为初步搜索方向,并对参数向量进行更新,否则不进行更新;
遍历每个参数向量的每一维元素,获取初步搜索的参数向量;
当采用智能优化算法的过程中,形成自适应学习速率的优化规则为step1=(step1max-step1min)*(1+t/T);
A4、针对局部粗略搜索之后的参数向量,对参数向量进行局部精细搜索,得到局部精细搜索之后的参数向量;
步骤A4包括:
其中,ω1表示惯性权重,表示局部精细搜索之后的第h个参数向量的第d维参数的更新量,h=1,2,…,I,表示更新之后的c1表示第一学习因子,r1表示(0,1)范围内的第一随机数,表示第h个参数向量中的第d维参数,XP,jd表示第h个参数向量的历史最优值中的第d维参数,c2表示第二学习因子,r2表示(0,1)范围内的第二随机数,表示最优参数向量第d维参数,表示更新后的
A5、针对局部精细搜索之后的参数向量,对参数向量进行全局搜索,得到全局搜索之后的参数向量;
步骤A5包括:
ζk=ζmin+(ζmax-ζmin)*σ
其中,表示第t次优化过程中第k个局部精细搜索之后的参数向量的第d维参数,k=1,2,…,I,表示的更新量,表示更新后的ω2表示惯性权重,表示第t-1次优化过程中的更新量,表示最优参数向量第d维参数,ζk表示更新参数,ζmax表示更新参数的最大值,ζmin表示更新参数的最小值,σ表示(0,1)之间的随机数;
判断进行全局搜索之后参数向量的目标函数值是否减小,若是,则接受该全局搜索,得到全局搜索之后的参数向量,否则拒绝该全局搜索,得到直接将局部精细搜索之后的参数向量作为全局搜索之后的参数向量;
A6、判断是否达到最大优化次数,若是,则输出当前最优参数向量作为待优化规则的最终参数,否则返回步骤A2。
2.根据权利要求1所述的数据安全处理方法,其特征在于,还包括:对第二数据安全防护规则进行优化,以形成用于识别网络安全事件的第三数据防护规则,并通过第三数据防护规则识别网络安全,若出现网络不安全的情况,则将用于物理隔离的网闸断开,以加强数据安全处理性能。
3.根据权利要求2所述的数据安全处理方法,其特征在于,获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库,包括:
获取指定数据源或者通过人机交互输入的负样本或者正样本,得到样本数据;
获取指定数据源或者通过人机交互输入的正样本标签以及负样本标签,得到样本数据的样本标签;
对正样本以及负样本进行标准化处理,得到标准化后的正样本以及负样本,即得到标准化后的样本数据;
根据标准化后的样本数据以及样本数据的样本标签,构建样本数据库。
4.根据权利要求3所述的数据安全处理方法,其特征在于,获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库,包括:
获取指定数据源或者通过人机交互输入的每个正样本或负样本处理过程中所对应的网络特征数据,所述网络特征数据包括以太网类型、连接开始时间、IPv4目的地址、IPv4源地址、发送者主机地址、接收者地址、TCP源端口、TCP目的端口、UDP源端口、UDP目的端口、ICMP类型、IPv4报头长度、UDP长度、TCP长度、IP协议、ICMP码、连接的持续时间、预设时间内SYN错误连接百分比、预设时间内REJ错误的连接所占百分比、预设时间内相同连接所占百分比、预设数量的历史连接中与当前连接具有相同主机的连接数量以及预设数量的历史连接中的相同服务类型的连接数;
获取指定数据源或者通过人机交互输入的网络特征数据所对应的标签数据,所述网络特征数据所对应的标签数据为存在不安全事件或者不存在不安全事件;
根据网络特征数据以及网络特征数据所对应的标签数据,构建网络特征数据库。
5.一种数据安全处理系统,该数据安全处理系统用于执行权利要求1-4任一所述的数据安全处理方法,其特征在于,包括第一数据获取模块、第二数据获取模块、数据学习模块、第一数据识别模块、第二数据识别模块、第一数据处理模块以及第二数据处理模块;
所述第一数据获取模块,用于获取指定数据源或者通过人机交互输入的样本数据,并根据所述样本数据构建样本数据库;
所述第二数据获取模块,用于获取指定数据源或者通过人机交互输入的网络特征数据,并根据所述网络特征数据构建网络特征数据库;
所述数据学习模块,用于每过一个预设优化周期,对样本数据库中的样本数据进行学习,形成第一数据安全防护规则;对网络特征数据库中的样本数据进行学习,形成第二数据安全防护规则;
所述第一数据识别模块,用于接收待处理数据以及待处理数据在接收时的目标网络特征数据,通过第一数据安全防护规则对待处理数据进行识别,得到第一安全识别结果;通过第二数据安全防护规则对待处理数据在接收时的目标网络特征数据进行识别,得到第二安全识别结果;
所述第二数据识别模块,用于根据所述第一安全识别结果以及所述第二安全识别结果,进行安全事件识别,获取数据安全事件识别结果;所述数据安全事件识别结果包括存在不安全事件或者不存在不安全事件;
所述第一数据处理模块,用于当所述数据安全事件识别结果为存在不安全事件时,则将当前数据截获,并将截获到的当前数据存放至异常数据库,同时将时间戳以及数据源进行关联存储;
所述第二数据处理模块,用于当所述数据安全事件识别结果为不存在不安全事件时,则将当前数据存储于安全数据库中,并按照预设规则进行存储以及处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410119897.3A CN117828688B (zh) | 2024-01-29 | 2024-01-29 | 一种数据安全处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410119897.3A CN117828688B (zh) | 2024-01-29 | 2024-01-29 | 一种数据安全处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117828688A CN117828688A (zh) | 2024-04-05 |
CN117828688B true CN117828688B (zh) | 2024-09-17 |
Family
ID=90521001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410119897.3A Active CN117828688B (zh) | 2024-01-29 | 2024-01-29 | 一种数据安全处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117828688B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973702A (zh) * | 2014-05-23 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 基于改进的粒子群算法的信息安全防御规则智能部署方法 |
CA3132346A1 (en) * | 2020-09-29 | 2022-03-29 | 10353744 Canada Ltd. | User abnormal behavior recognition method and device and computer readable storage medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9894100B2 (en) * | 2014-12-30 | 2018-02-13 | Fortinet, Inc. | Dynamically optimized security policy management |
US10021115B2 (en) * | 2015-11-03 | 2018-07-10 | Juniper Networks, Inc. | Integrated security system having rule optimization |
CN114329450A (zh) * | 2021-12-24 | 2022-04-12 | 中国联合网络通信集团有限公司 | 数据安全处理方法、装置、设备及存储介质 |
CN116865994A (zh) * | 2023-05-29 | 2023-10-10 | 云南电网有限责任公司 | 一种基于大数据的网络数据安全预测方法 |
CN117061211A (zh) * | 2023-09-01 | 2023-11-14 | 旺苍县政务服务和公共资源交易中心 | 一种基于网络安全管理的数据处理方法及系统 |
-
2024
- 2024-01-29 CN CN202410119897.3A patent/CN117828688B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973702A (zh) * | 2014-05-23 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 基于改进的粒子群算法的信息安全防御规则智能部署方法 |
CA3132346A1 (en) * | 2020-09-29 | 2022-03-29 | 10353744 Canada Ltd. | User abnormal behavior recognition method and device and computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
CN117828688A (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Novaes et al. | Adversarial Deep Learning approach detection and defense against DDoS attacks in SDN environments | |
Derhab et al. | Intrusion detection system for internet of things based on temporal convolution neural network and efficient feature engineering | |
US9985984B1 (en) | Dynamic defense and network randomization for computer systems | |
US11743276B2 (en) | Methods, systems, articles of manufacture and apparatus for producing generic IP reputation through cross protocol analysis | |
CN112242984B (zh) | 检测异常网络请求的方法、电子设备和计算机程序产品 | |
CN106778241A (zh) | 恶意文件的识别方法及装置 | |
CN112804123A (zh) | 一种用于调度数据网的网络协议识别方法及系统 | |
CN116996272A (zh) | 一种基于改进的麻雀搜索算法的网络安全态势预测方法 | |
CN116209996A (zh) | 训练子模块并且防止ai模块的捕获的方法 | |
US20230224324A1 (en) | Nlp based identification of cyberattack classifications | |
EP3732844A1 (en) | Intelligent defense and filtration platform for network traffic | |
CN113569062A (zh) | 一种知识图谱补全方法与系统 | |
US20170293595A1 (en) | System and method for learning semantic roles of information elements | |
KR20210046423A (ko) | 머신러닝 기반 보안관제 장치 및 방법 | |
CN117828688B (zh) | 一种数据安全处理方法及系统 | |
Glavan et al. | Autoencoders and AutoML for intrusion detection | |
CN116702875A (zh) | 清理模型训练方法、触发器清理方法、装置和存储介质 | |
CN114637896A (zh) | 数据的审核方法和装置、存储介质及电子装置 | |
CN117792737B (zh) | 一种网络入侵检测方法、装置、电子设备及存储介质 | |
Caroline Misbha et al. | Novel deep learning approach for DDoS attack using elephant heard optimization algorithm along with a fuzzy classifier for rules learning | |
CN117034124B (zh) | 基于小样本学习的恶意流量分类方法、系统、设备及介质 | |
CN117376307B (zh) | 域名处理方法、装置及设备 | |
CN116663516B (zh) | 表格机器学习模型训练方法、装置、电子设备及存储介质 | |
CN111404941B (zh) | 网络安全防护方法及网络安全防护装置 | |
WO2024105034A1 (en) | A method of validating defense mechanism of an ai system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |