Nothing Special   »   [go: up one dir, main page]

CN113947704A - 基于注意力排序的对抗样本防御系统及方法 - Google Patents

基于注意力排序的对抗样本防御系统及方法 Download PDF

Info

Publication number
CN113947704A
CN113947704A CN202111175218.7A CN202111175218A CN113947704A CN 113947704 A CN113947704 A CN 113947704A CN 202111175218 A CN202111175218 A CN 202111175218A CN 113947704 A CN113947704 A CN 113947704A
Authority
CN
China
Prior art keywords
attention
feature
sample
model
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111175218.7A
Other languages
English (en)
Inventor
王恒友
李文
吴佳薇
宋艳飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202111175218.7A priority Critical patent/CN113947704A/zh
Publication of CN113947704A publication Critical patent/CN113947704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于注意力排序的对抗样本防御系统及方法。包括：S101，预训练分类模型，得到对抗样本；S102，对抗样本经过对抗样本防御模型的第一个模块离散余弦变换层进行预处理，消除部分攻击；S103，特征图经过注意力模块，得到注意力权重；S104，根据注意力权重，重新得到具有全局特征的特征向量。S105，根据损失函数，训练网络，保存模型。该对抗样本防御方法使用修改网络的方式改善了现有技术中模型的训练过程中需要较多的硬件资源和较长的时间的消耗的问题，且在修改网络时考虑关键点的影响。

Description

基于注意力排序的对抗样本防御系统及方法
技术领域
本发明涉及计算机攻防技术领域，尤其是涉及一种基于注意力排序的对抗样本防御系统及方法。
背景技术
在现实生活中，图像经常被噪声所污染。噪声有许多来源，比如图像在传输过程中信道不稳定，系统设备不完善等。深度神经网络容易受到对抗性噪声的攻击，通过在输入中添加人类无法区分的细微扰动，产生对抗样本，从而欺骗神经网络以产生具有高概率的错误输出，这种威胁到深度学习应用的安全。
生成深度神经网络的对抗攻击有两种主要方法：基于符号梯度的方法和基于优化的方法，面对这些强大的攻击，如何防御攻击是至关重要的。
但是，现有对抗防御方法从数据预处理角度来看，在模型的训练过程中，需要较多的硬件资源和较长的时间消耗，也给测试环节带来了更多的时间消耗。
发明内容
本发明的目的在于提供一种基于注意力排序的对抗样本防御系统及方法，该基于注意力排序的对抗样本防御系统能够解决现有技术中模型的训练过程中需要较多的硬件资源和较长的时间的消耗的问题，且针对攻击特点考虑了关键点的问题。
为了实现上述目的，本发明提供如下技术方案：
一种基于注意力排序的对抗样本防御方法，所述方法具体包括：
S101，预训练分类模型，得到对抗样本；
S102，对抗样本经过对抗样本防御模型的第一个模块离散余弦变换层进行预处理，消除部分攻击；
S103，特征图经过注意力模块，得到注意力权重；
S104，根据注意力权重，重新得到具有全局特征的特征向量。
S105，根据损失函数，训练网络，保存模型。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步地，所述S101具体包括：
S1011，输入训练集的原始图像，通过预训练得到权重；
S1012，利用所述权重产生对抗样本。
进一步地，所述S102具体包括：
S1021,对抗样本经过第一个卷积层后，使用离散余弦变换(DCT)；
S1022,在频域内使用设计的激活函数η(x)，消除部分攻击，η(x)如下：
Figure RE-RE-GDA0003372647460000021
S1023，利用逆离散余弦变换重新恢复到空间域，得到消除部分攻击的特征图。
进一步地，所述S103具体包括：
S1031，特征图依次经过四个残差块分别得到特征向量集合
Figure RE-RE-GDA0003372647460000031
S1032，L4经过平均池化得到全局向量g，同时将Ls,s∈{1，2，3}的维度映射为g的维度n；
S1033，局部特征ls i和全局特征g使用逐项相加的方式连接，通过学习一个FC映射将得到的特征映射为注意力权重C，计算注意力权重C定义为公式2；
Figure RE-RE-GDA0003372647460000032
其中，
Figure RE-RE-GDA0003372647460000033
表示在每个残差块后提取的特征向量集合，其中 s∈{1,2,3}，
Figure RE-RE-GDA0003372647460000034
表示特征向量集合Ls中n个特征向量的第i个；g表示图7中全连接层输出的全局特征向量，
Figure RE-RE-GDA0003372647460000035
和g的维度均为n。
进一步地，所述S104具体包括：
S1041，将特征图Ls和预测的注意力图Cs重塑为一维数组，分别由{Ls(n)} 和{Cs(n)}表示；其中，n＝H×W，{Ls(n)}为通道大小为C的特征向量；
S1042，从注意力图{Cs(n)}中选择前K个值{Cs(k)}，记录它们的点位置，从特征图{Ls(n)}的这些位置提取特征点{Ls(k)}；
S1043，通过公式2计算基于关键点的全局向量gs；
gs＝Cs(k)e Ls(k) 公式3；
其中e表示关键点{Cs(k)}与特征图{Ls(k)}的每个通道之间的内积。
进一步地，所述S105具体包括：
S1051，根据所述分类类别计算损失，反向传播更新模型权重，对所述模型进行微调，损失函数使用交叉熵损失函数定义为公式4；
Figure RE-RE-GDA0003372647460000041
S1052，加载测试集通过训练好的模型产生对抗样本，计算准确率对模型性能进行判评估，保存最优的模型权重。
一种基于注意力排序的对抗样本防御系统，包括：
该对抗样本防御系统对基础模型Resnet18进行修改。整个系统分为三个模块：离散余弦变换激活模块、注意力模块和关键点排序模块。在第一层卷积层后引入了离散余弦变换(DCT)激活层，以有效抑制基于梯度攻击的噪声模式。同时注意力模块和关键点排序模块中，基于注意力机制在特征图上动态地选择关键点进行分类，以减少其他被攻击像素点的影响。
进一步地，所述离散余弦变换激活模块用于：
对抗样本经过第一个卷积层后，使用离散余弦变换(DCT)；
在频域内使用设计的激活函数η(x)，消除部分攻击，η(x)如下：
Figure RE-RE-GDA0003372647460000042
利用逆离散余弦变换重新恢复到空间域，得到消除部分攻击的特征图。进一步地，所述注意力模块用于：
计算注意力权重之前将Ls的维度映射为g的维度n；
局部特征
Figure RE-RE-GDA0003372647460000043
和全局特征g使用逐项相加的方式连接，通过学习一个FC 映射将得到的特征映射为注意力权重C，计算注意力权重C定义为公式2；
Figure RE-RE-GDA0003372647460000044
其中，
Figure RE-RE-GDA0003372647460000051
表示在每个残差块后提取的特征向量集合，其中 s∈{1,2,3}，
Figure RE-RE-GDA0003372647460000052
表示特征向量集合Ls中n个特征向量的第i个；g表示图7中全连接层输出的全局特征向量，
Figure RE-RE-GDA0003372647460000053
和g的维度均为n；计算注意力权重之前会将Ls的维度映射为g的维度n。
进一步地，所述关键点排序模块进一步用于：
将特征图Ls和预测的注意力图Cs重塑为一维数组，分别由{Ls(n)}和 {Cs(n)}表示；其中，n＝H×W，{Ls(n)}为通道大小为C的特征向量；
从注意力图{Cs(n)}中选择前K个值{Cs(k)}，记录它们的点位置，从特征图{Ls(n)}的这些位置提取特征点{Ls(k)}；
通过公式3计算基于关键点的全局向量gs；
gs＝Cs(k)e Ls(k) 公式3；
其中e表示关键点{Cs(k)}与特征图{Ls(k)}的每个通道之间的内积。
本发明具有如下优点：
本发明中的基于注意力排序的对抗样本防御方法，引入的离散余弦变换激活层，一定程度上消除了部分对抗攻击，同时在白盒攻击者中有效抑制了梯度的反向传播。而残余的部分对抗性噪声通过注意力机制的动态关键点选择来消除，获得正确的分类结果。本发明提出的新的Resnet18网络架构具有很好地防御对抗攻击的效果，解决了现有防御模型的训练过程中需要较多的硬件资源和较长的时间的消耗的问题，且在修改网络时考虑关键点的影响。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中对抗样本防御方法的流程图；
图2为本发明实施例中S101的具体流程图；
图3为本发明实施例中S102的具体流程图；
图4为本发明实施例中S103的具体流程图；
图5为本发明实施例中S104的具体流程图；
图6为本发明实施例中S105的具体流程图；
图7为本发明实施例中注意力排序的对抗样本防御网络框架示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于注意力排序的对抗样本防御方法，所述方法具体包括：
S101，得到对抗样本；
本步骤中，预训练分类模型，得到对抗样本；
S102，将对抗样本进行预处理；
本步骤中，对抗样本经过对抗样本防御模型的第一个模块离散余弦变换层进行预处理，消除部分攻击；
S103，得到注意力权重；
本步骤中，特征图经过注意力模块，得到注意力权重；
S104，得到具有全局特征的特征向量；
本步骤中，根据注意力权重，重新得到具有全局特征的特征向量。
S105,根据损失函数，训练网络，保存模型。
在卷积层引入离散余弦变换激活层，一定程度上消除了部分对抗攻击，同时在白盒攻击者中有效抑制了梯度的反向传播。而残余的部分对抗性噪声通过注意力机制的动态关键点选择来消除，获得正确的分类结果。本发明提出的新的Resnet18网络架构具有很好地防御对抗攻击的效果。
本发明提到的对抗攻击指的是：利用深度学习弊端破坏识别系统的方法可以统称为对抗攻击，即针对识别对象做出特殊改动，人的肉眼看不出来任何异样，但是会导致识别模型失灵。
本发明提到的对抗样本指的是：在原始样本添加一些人眼无法察觉的扰动(这样的扰动不会影响人类的识别，但是却很容易愚弄模型)，致使机器做出错误的判断。
本发明提到的对抗防御指的是：为了防御对抗攻击产生的一系列防御策略。
本发明提到的注意力模型指的是：深度学习中的注意力模型从本质上讲和人类的选择性视觉注意力机制类似，核心目标是从众多信息中选择出对当前任务目标更关键的信息而抑制其他无用信息，提高信息处理的效率和准确性。
本发明提到的离散余弦变换(DCT)指的是：离散余弦变换是对实信号定义的一种变换，变换后在频域中得到的也是一个实信号。DCT还有一个很重要的性质(能量集中特性)：大多书自然信号(声音、图像)的能量都集中在离散余弦变换后的低频部分，因而DCT在(声音、图像)数据压缩中得到了广泛的使用。
本发明提到的ResNet18指的是：是深度学习中的一种神经网络结构。也叫深度残差网络，可以解决随着网络深度增加而出现的退化问题。其中的网络结构称为残差块。
本发明提供了一种基于注意力关键点排序的对抗样本防御的方法，用于防御攻击，提高深度神经网络的鲁棒性。现有的方法加入外部模型对输入图像进行预处理，为更好防御攻击外部模型越来越复杂。而本发明通过修改网络的形式，采用在注意力图上选择关键点，以提高深度神经网络的鲁棒性，同时在网络中引入了离散余弦变换及激活函数，以有效抑制基于梯度攻击的噪声模式。
本发明受人眼分类图像和识别物体的启发，他们不会基于网格结构逐个像素地分析图像。相反，他们能够从图像中快速检测有判别力的关键点 (或对象部分)，从这些关键点中提取特征，以推断出图像分类或目标检测的决策。因此，本发明采用在注意力图上提取关键点，设计了一个新的网络架构来支持注意力机制的动态关键点选择，以提高深度学习网络的鲁棒性。同时，网络中引入了离散余弦变换及激活函数，以有效抑制基于梯度攻击的噪声模式。
在上述技术方案的基础上，本发明还可以做如下改进：
如图2所示，进一步地，所述S101具体包括：
S1011，得到权重；
本步骤中，输入训练集的原始图像，通过预训练得到权重；
S1012，产生对抗样本；
本步骤中，利用所述权重产生对抗样本用以训练鲁棒性网络。
如图3所示，所述S102具体包括：
S1021,对抗样本经过第一个卷积层后，使用离散余弦变换(DCT)；
S1022,在频域内使用设计的激活函数η(x)，消除部分攻击，η(x)如下：
Figure RE-RE-GDA0003372647460000091
S1023，利用逆离散余弦变换重新恢复到空间域，得到消除部分攻击的特征图。
如图4所示，所述S103具体包括：
S1031，特征图依次经过四个残差块分别得到特征向量集合
Figure RE-RE-GDA0003372647460000092
S1032，L4经过平均池化得到全局向量g，同时将Ls,s∈{1，2，3}的维度映射为g的维度n；
S1033，局部特征
Figure RE-RE-GDA0003372647460000093
和全局特征g使用逐项相加的方式连接，通过学习一个FC映射将得到的特征映射为注意力权重C，计算注意力权重C定义为公式2；
Figure RE-RE-GDA0003372647460000094
其中，
Figure RE-RE-GDA0003372647460000095
表示在每个残差块后提取的特征向量集合，其中s∈{1,2,3}，
Figure RE-RE-GDA0003372647460000101
表示特征向量集合Ls中n个特征向量的第i个；g表示图7中全连接层输出的全局特征向量，
Figure RE-RE-GDA0003372647460000102
和g的维度均为n。
如图5所示，进一步地，所述S104具体包括：
S1041，将特征图Ls和预测的注意力图Cs重塑为一维数组，分别由{Ls(n)} 和{Cs(n)}表示；其中，n＝H×W，{Ls(n)}为通道大小为C的特征向量；
S1042，从注意力图{Cs(n)}中选择前K个值{Cs(k)}，记录它们的点位置，从特征图{Ls(n)}的这些位置提取特征点{Ls(k)}；
S1043，通过公式2计算基于关键点的全局向量gs；
gs＝Cs(k)e Ls(k) 公式3；
其中e表示关键点{Cs(k)}与特征图{Ls(k)}的每个通道之间的内积。
如图6所示，所述S105具体包括：S1051，根据所述分类类别计算损失，反向传播更新模型权重，对所述模型进行微调，损失函数使用交叉熵损失函数定义为公式4；
Figure RE-RE-GDA0003372647460000103
S1052，加载测试集通过训练好的模型产生对抗样本，计算准确率对模型性能进行判评估，保存最优的模型权重。
本发明提出了一种新的模型算法，基于注意力排序的对抗样本防御方法，如图7所示。我们提出的基于注意力图上关键点排序的对抗防御网络带主要有两个主要思想：(1)在第一层卷积层后引入了离散余弦变换(DCT) 激活层，以有效抑制基于梯度攻击的噪声模式。这一设计的动机是对抗性噪声卷积过程中被逐渐放大并导致错误的分类，也就是所说的误差放大效应，所以我们没有直接在原始图像进行DCT变换。(2)为消除残余的对抗性噪声的干扰，我们基于注意力机制在特征图上动态地选择关键点进行分类，以减少其他被攻击像素点的影响。
整个流程如下所述：图像X*首先由卷积层预处理，传递到离散余弦变换(DCT)激活层，在此层中绝大部分对抗性噪声被破坏，然后通过逆离散余弦变换(IDCT)重新得到特征图X％。X％会继续进入Resnet18的主干网络，如图中所示的4个残差层，令每个残差层的分别输出为L1,L2,L3,L4。L4经过平均池化后得到n维的特征向量g，它具有整个图像的全局信息。接下来，我们没有遵循Resnet18的网络将全局向量g进行全连接，得到其分类类别。而是采用全局向量g分别与L1,L2,L3融合，得到判别权重c1,c2,c3，也就是注意力图。然后c1,c2,c3和L1,L2,L3分别进行关键点检测和排序，将其对应相乘得到了对应每个不同尺度的层的新的特征向量g1,g2,g3，g1,g2,g3拼接后进行全连接便可得到其分类类别。
一种基于注意力排序的对抗样本防御系统，包括：
该对抗样本防御系统对基础模型Resnet18进行修改。整个系统分为三个模块：离散余弦变换激活模块、注意力模块和关键点排序模块。在第一层卷积层后引入了离散余弦变换(DCT)激活层，以有效抑制基于梯度攻击的噪声模式。同时注意力模块和关键点排序模块中，基于注意力机制在特征图上动态地选择关键点进行分类，以减少其他被攻击像素点的影响。
进一步地，所述离散余弦变换激活模块用于：
对抗样本经过第一个卷积层后，使用离散余弦变换(DCT)；
在频域内使用设计的激活函数η(x)，消除部分攻击，η(x)如下：
Figure RE-RE-GDA0003372647460000111
利用逆离散余弦变换重新恢复到空间域，得到消除部分攻击的特征图。
进一步地，所述注意力模块用于：
计算注意力权重之前将Ls的维度映射为g的维度n；
局部特征
Figure RE-RE-GDA0003372647460000121
和全局特征g使用逐项相加的方式连接，通过学习一个FC 映射将得到的特征映射为注意力权重C，计算注意力权重C定义为公式2；
Figure RE-RE-GDA0003372647460000122
其中，
Figure RE-RE-GDA0003372647460000123
表示在每个残差块后提取的特征向量集合，其中 s∈{1,2,3}，
Figure RE-RE-GDA0003372647460000124
表示特征向量集合Ls中n个特征向量的第i个；g表示图7中全连接层输出的全局特征向量，
Figure RE-RE-GDA0003372647460000125
和g的维度均为n；计算注意力权重之前会将Ls的维度映射为g的维度n。
所述关键点排序模块进一步用于：
将特征图Ls和预测的注意力图Cs重塑为一维数组，分别由{Ls(n)}和 {Cs(n)}表示；其中，n＝H×W，{Ls(n)}为通道大小为C的特征向量；
从注意力图{Cs(n)}中选择前K个值{Cs(k)}，记录它们的点位置，从特征图{Ls(n)}的这些位置提取特征点{Ls(k)}；
通过公式3计算基于关键点的全局向量；
gs＝Cs(k)e Ls(k) 公式3；
其中e表示关键点{Cs(k)}与特征图{Ls(k)}的每个通道之间的内积。
针对这些本发明所设计和使用的离散余弦变换(DCT)激活层，注意力模块和关键点排序三部分详细介绍。
1.离散余弦变换(DCT)激活层
在空间域中，对抗样本和原始图像在视觉上是非常相似的，所以将对抗性噪声与原始图像分离是非常困难的，传统的图像去噪通常将其转换为频域上来解决。因此，我们选择使用逐块的二维离散余弦变换(DCT)[34]，其中二维离散余弦变换(DCT)定义如下：
Figure RE-RE-GDA0003372647460000131
在此变换之后，图像的噪声在离散余弦变换结果中处在其高频部分，而高频部分的幅值一般很小。因此，设计了如下激活函数η(x)：
Figure RE-RE-GDA0003372647460000132
DCT变换的图像传递激活函数η(x)后，一方面，对抗性噪声被部分去除；另一方面，它不容易被现有的白盒攻击方法攻击。这是因为大多数现有的白盒攻击都基于梯度反向传播，梯度无法通过离散余弦变换(DCT) 激活层轻松传播。
2.注意力模块
记
Figure RE-RE-GDA0003372647460000133
表示在每个残差块后提取的特征向量集合，其中 s∈{1,2,3}。
Figure RE-RE-GDA0003372647460000134
表示特征向量集合Ls中n个特征向量的第i个，g表示图7中全连接层输出的全局特征向量。局部特征
Figure RE-RE-GDA0003372647460000135
和全局特征g使用逐项相加的方式连接，通过学习一个FC映射(即权重为u的FC层)将得到的特征映射为注意力权重C，则计算注意力权重C定义为
Figure RE-RE-GDA0003372647460000136
这里
Figure RE-RE-GDA0003372647460000137
和g的维度均为n，因为对应不同的s特征向量的通道数不同，所以在计算注意力权重之前会将Ls的维度映射为为g的维度n.
因此，经过注意力模块会得到注意力权重
Figure RE-RE-GDA0003372647460000141
注意力权重识别了显着图像区域并放大其影响，同时抑制其他区域中不相关和可能混淆的信息。因此，此得分承担注意值的作用。
3.关键点排序
从生成的特征图中动态选择最具辨别力的特征点。选择过程是动态的，受输入条件的影响。对于不同的图像，选择的特征点会有所不同。
经过网络注意力模块学习的注意力权重
Figure RE-RE-GDA0003372647460000142
代表每个特征点的判别权重。具体来说，从大小为[W,H,C]的输入特征图Ls中，它会通过注意力模块预测出一个相同空间大小[W,H]的注意力图Cs，其中Cs(i,j)表示特征Ls(i,j)的注意力点。从特征图Ls中，我们的目标是选择具有最高注意力 Cs(i,j)的前K个特征点，重新得到新的全局向量。
这个关键点检测和排序包括以下主要步骤：
将特征图Ls和预测的注意力图Cs重塑为一维数组，分别由{Ls(n)}和 {Cs(n)}表示。这里，n＝H×W,{Ls(n)}是通道大小为C的特征向量。
从注意力图{Cs(n)}中选择前K个值{Cs(k)}，记录它们的点位置，从特征图{Ls(n)}的这些位置提取特征点{Ls(k)}。
计算基于关键点的全局向量gs。
gs＝Cs(k)e Ls(k).
其中e表示关键点{Cs(k)}与特征图{Ls(k)}的每个通道之间的内积(重构为一维数组)。
最后，我们使用交叉熵损失函数来训练修改后的网络。分别计算原始图像和对抗样本的损失，然后加和。
Figure RE-RE-GDA0003372647460000151
本发明设计了一个新的网络架构来支持注意力机制的动态关键点选择，以提高深度学习网络的鲁棒性。在网络中引入了离散余弦变换及激活函数，以有效抑制基于梯度攻击的噪声模式。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种基于注意力排序的对抗样本防御方法，其特征在于，所述方法具体包括：
S101，预训练分类模型，得到对抗样本；
S102，对抗样本经过对抗样本防御模型的第一个模块离散余弦变换层进行预处理，消除部分攻击；
S103，特征图经过注意力模块，得到注意力权重；
S104，根据注意力权重，重新得到具有全局特征的特征向量；
S105,根据损失函数，训练网络，保存模型。
2.根据权利要求1所述的基于注意力排序的对抗样本防御方法，其特征在于，所述S101具体包括：
S1011，输入训练集的原始图像，通过预训练得到权重；
S1012，利用所述权重产生对抗样本。
3.根据权利要求1所述的基于注意力排序的对抗样本防御方法，其特征在于，所述S102具体包括：
S1021,对抗样本经过第一个卷积层后，使用离散余弦变换(DCT)；
S1022,在频域内使用设计的激活函数η(x)，消除部分攻击，η(x)如下：
Figure RE-RE-FDA0003372647450000011
S1023，利用逆离散余弦变换重新恢复到空间域，得到消除部分攻击的特征图。
4.根据权利要求1所述的基于注意力排序的对抗样本防御方法，其特征在于，所述S103具体包括：
S1031，特征图依次经过四个残差块分别得到特征向量集合
Figure RE-RE-FDA0003372647450000021
S1032，L4经过平均池化得到全局向量g，同时将Ls,s∈{1，2，3}的维度映射为g的维度n；
S1033，局部特征
Figure RE-RE-FDA0003372647450000026
和全局特征g使用逐项相加的方式连接，通过学习一个FC映射将得到的特征映射为注意力权重C，计算注意力权重C定义为公式2；
Figure RE-RE-FDA0003372647450000022
其中，
Figure RE-RE-FDA0003372647450000023
表示在每个残差块后提取的特征向量集合，其中s∈{1,2,3}，
Figure RE-RE-FDA0003372647450000024
表示特征向量集合Ls中n个特征向量的第i个；g表示图7中全连接层输出的全局特征向量，
Figure RE-RE-FDA0003372647450000025
和g的维度均为n。
5.根据权利要求1所述的基于注意力排序的对抗样本防御方法，其特征在于，所述S104具体包括：
S1041，将特征图Ls和预测的注意力图Cs重塑为一维数组，分别由{Ls(n)}和{Cs(n)}表示；其中，n＝H×W，{Ls(n)}为通道大小为C的特征向量；
S1042，从注意力图{Cs(n)}中选择前K个值{Cs(k)}，记录它们的点位置，从特征图{Ls(n)}的这些位置提取特征点{Ls(k)}；
S1043，通过公式2计算基于关键点的全局向量gs；
gs＝Cs(k)eLs(k) 公式3；
其中e表示关键点{Cs(k)}与特征图{Ls(k)}的每个通道之间的内积。
6.根据权利要求1所述的基于注意力排序的对抗样本防御方法，其特征在于，所述S105具体包括：
S1051，根据所述分类类别计算损失，反向传播更新模型权重，对所述模型进行微调，损失函数使用交叉熵损失函数定义为公式4；
Figure RE-RE-FDA0003372647450000031
S1052，加载测试集通过训练好的模型产生对抗样本，计算准确率对模型性能进行判评估，保存最优的模型权重。
7.一种基于注意力排序的对抗样本防御系统，其特征在于，包括：
该对抗样本防御系统对基础模型Resnet18进行修改；整个系统分为三个模块：离散余弦变换激活模块、注意力模块和关键点排序模块；在第一层卷积层后引入了离散余弦变换(DCT)激活层，以有效抑制基于梯度攻击的噪声模式；同时注意力模块和关键点排序模块中，基于注意力机制在特征图上动态地选择关键点进行分类，以减少其他被攻击像素点的影响。
8.根据权利要求6所述的基于注意力排序的对抗样本防御系统，其特征在于，所述离散余弦变换激活模块用于：
对抗样本经过第一个卷积层后，使用离散余弦变换(DCT)；
在频域内使用设计的激活函数η(x)，消除部分攻击，η(x)如下：
Figure RE-RE-FDA0003372647450000032
利用逆离散余弦变换重新恢复到空间域，得到消除部分攻击的特征图。
9.根据权利要求6所述的基于注意力排序的对抗样本防御系统，其特征在于，所述注意力模块用于：
计算注意力权重之前将Ls的维度映射为g的维度n；
局部特征
Figure RE-RE-FDA0003372647450000041
和全局特征g使用逐项相加的方式连接，通过学习一个FC映射将得到的特征映射为注意力权重C，计算注意力权重C定义为公式2；
Figure RE-RE-FDA0003372647450000042
其中，
Figure RE-RE-FDA0003372647450000043
表示在每个残差块后提取的特征向量集合，其中s∈{1,2,3}，
Figure RE-RE-FDA0003372647450000044
表示特征向量集合Ls中n个特征向量的第i个；g表示图7中全连接层输出的全局特征向量，
Figure RE-RE-FDA0003372647450000045
和g的维度均为n；计算注意力权重之前会将Ls的维度映射为g的维度n。
10.根据权利要求6所述的基于注意力排序的对抗样本防御系统，其特征在于，所述关键点排序模块进一步用于：
将特征图Ls和预测的注意力图Cs重塑为一维数组，分别由{Ls(n)}和{Cs(n)}表示；其中，n＝H×W，{Ls(n)}为通道大小为C的特征向量；
从注意力图{Cs(n)}中选择前K个值{Cs(k)}，记录它们的点位置，从特征图{Ls(n)}的这些位置提取特征点{Ls(k)}；
通过公式3计算基于关键点的全局向量gs；
gs＝Cs(k)eLs(k) 公式3；
其中e表示关键点{Cs(k)}与特征图{Ls(k)}的每个通道之间的内积。
CN202111175218.7A 2021-10-09 2021-10-09 基于注意力排序的对抗样本防御系统及方法 Pending CN113947704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111175218.7A CN113947704A (zh) 2021-10-09 2021-10-09 基于注意力排序的对抗样本防御系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111175218.7A CN113947704A (zh) 2021-10-09 2021-10-09 基于注意力排序的对抗样本防御系统及方法

Publications (1)

Publication Number Publication Date
CN113947704A true CN113947704A (zh) 2022-01-18

Family

ID=79329423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111175218.7A Pending CN113947704A (zh) 2021-10-09 2021-10-09 基于注意力排序的对抗样本防御系统及方法

Country Status (1)

Country Link
CN (1) CN113947704A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596277A (zh) * 2022-03-03 2022-06-07 北京百度网讯科技有限公司 检测对抗样本的方法、装置、设备以及存储介质
CN114742170A (zh) * 2022-04-22 2022-07-12 马上消费金融股份有限公司 对抗样本生成方法、模型训练方法、图像识别方法及装置
CN114912550A (zh) * 2022-07-14 2022-08-16 南京理工大学 基于频域变换的对抗样本检测和识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598805A (zh) * 2020-05-13 2020-08-28 华中科技大学 一种基于vae-gan的对抗样本防御方法及系统
WO2020263389A1 (en) * 2019-06-26 2020-12-30 Hrl Laboratories, Llc System and method fdr detecting backdoor attacks in convolutional neural networks
US20210012188A1 (en) * 2019-07-09 2021-01-14 Baidu Usa Llc Systems and methods for defense against adversarial attacks using feature scattering-based adversarial training
WO2021051561A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 图像分类网络的对抗防御方法、装置、电子设备及计算机可读存储介质
CN112560901A (zh) * 2020-12-01 2021-03-26 南京航空航天大学 一种基于图像预处理与对抗训练结合的防御对抗样本的方法
CN112949822A (zh) * 2021-02-02 2021-06-11 中国人民解放军陆军工程大学 一种基于双重注意力机制的低感知性对抗样本构成方法
WO2021169292A1 (zh) * 2020-02-24 2021-09-02 上海理工大学 生成对抗神经网络训练过程的对抗优化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020263389A1 (en) * 2019-06-26 2020-12-30 Hrl Laboratories, Llc System and method fdr detecting backdoor attacks in convolutional neural networks
US20210012188A1 (en) * 2019-07-09 2021-01-14 Baidu Usa Llc Systems and methods for defense against adversarial attacks using feature scattering-based adversarial training
WO2021051561A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 图像分类网络的对抗防御方法、装置、电子设备及计算机可读存储介质
WO2021169292A1 (zh) * 2020-02-24 2021-09-02 上海理工大学 生成对抗神经网络训练过程的对抗优化方法
CN111598805A (zh) * 2020-05-13 2020-08-28 华中科技大学 一种基于vae-gan的对抗样本防御方法及系统
CN112560901A (zh) * 2020-12-01 2021-03-26 南京航空航天大学 一种基于图像预处理与对抗训练结合的防御对抗样本的方法
CN112949822A (zh) * 2021-02-02 2021-06-11 中国人民解放军陆军工程大学 一种基于双重注意力机制的低感知性对抗样本构成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
THI THU THAO KHONG等: "Flexible Bayesian Inference by Weight Transfer for Robust Deep Neural Networks", IEICE TRANS. INF. & SYST, 28 July 2021 (2021-07-28) *
ZHIQUN ZHAO等: "Removing Adversarial Noise via Low-Rank Completion of High-Sensitivity Points", IEEE, 10 June 2021 (2021-06-10) *
刘西蒙;谢乐辉;王耀鹏;李旭如;: "深度学习中的对抗攻击与防御", 网络与信息安全学报, no. 05, 13 October 2020 (2020-10-13) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596277A (zh) * 2022-03-03 2022-06-07 北京百度网讯科技有限公司 检测对抗样本的方法、装置、设备以及存储介质
CN114742170A (zh) * 2022-04-22 2022-07-12 马上消费金融股份有限公司 对抗样本生成方法、模型训练方法、图像识别方法及装置
CN114742170B (zh) * 2022-04-22 2023-07-25 马上消费金融股份有限公司 对抗样本生成方法、模型训练方法、图像识别方法及装置
CN114912550A (zh) * 2022-07-14 2022-08-16 南京理工大学 基于频域变换的对抗样本检测和识别方法

Similar Documents

Publication Publication Date Title
CN113947704A (zh) 基于注意力排序的对抗样本防御系统及方法
CN113554089B (zh) 一种图像分类对抗样本防御方法、系统及数据处理终端
CN111475797B (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
CN113538202B (zh) 一种基于生成式隐写对抗的图像隐写方法及系统
Rajaratnam et al. Noise flooding for detecting audio adversarial examples against automatic speech recognition
Zhang Machine learning with feature selection using principal component analysis for malware detection: a case study
CN108682007B (zh) 基于深度随机森林的jpeg图像重采样自动检测方法
CN109214973A (zh) 针对隐写分析神经网络的对抗安全载体生成方法
Dziedzic et al. On the difficulty of defending self-supervised learning against model extraction
Dziedzic et al. Dataset inference for self-supervised models
Laykaviriyakul et al. Collaborative Defense-GAN for protecting adversarial attacks on classification system
CN113627543B (zh) 一种对抗攻击检测方法
CN116962047A (zh) 一种可解释的威胁情报生成方法、系统及装置
Nowroozi et al. Resisting deep learning models against adversarial attack transferability via feature randomization
CN113034332A (zh) 不可见水印图像、后门攻击模型构建、分类方法及系统
Wang et al. A posterior evaluation algorithm of steganalysis accuracy inspired by residual co-occurrence probability
Das et al. CNN based image resizing detection and resize factor classification for forensic applications
CN114745187A (zh) 一种基于pop流量矩阵的内部网络异常检测方法及系统
Liu et al. Defend Against Adversarial Samples by Using Perceptual Hash.
CN112765606A (zh) 恶意代码同源性分析方法和装置及设备
CN118038210A (zh) 一种基于语义特征的dnn模型的训练样本选择方法
CN113591892A (zh) 一种训练数据的处理方法及装置
CN114638356B (zh) 一种静态权重引导的深度神经网络后门检测方法及系统
Mu et al. Enhancing robustness in video recognition models: Sparse adversarial attacks and beyond
CN115834251A (zh) 基于超图Transformer威胁狩猎模型建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination