CN109508655A - 基于孪生网络的不完备训练集的sar目标识别方法 - Google Patents

Abstract

本发明公开了基于孪生网络的不完备训练集的SAR目标识别方法，本发明借鉴了传统机器学习中k‑NN算法，从训练集的每个类别中抽取n个样本作为本类别样本的代表形成一个支持集，例如在一个分类任务中共有m个类别，那么支持集中样本总数为m*n个。在分类时将待分类样本和支持集中的支持样本一起输入到网络中，支持集中的每一个样本和这个待分类样本组成输入对，分别输入到孪生网络的两个输入中提取特征，接着将两个样本提取到的特征求差，再对特征之差进行判断得到待分类样本和支持集中某个类别样本的相似程度，最后将待分类样本归类为该样本和支持集中相似度最高的样本的类别。

Description

基于孪生网络的不完备训练集的SAR目标识别方法

技术领域

本发明涉及一种基于孪生网络的不完备训练集的SAR目标识别方法，属于计算机视觉领域。

背景技术

合成孔径雷达(SAR)是一种全天时、全天候，具有高分辨率、高穿透性的获取地面数据的方法，具有很高的民用和商用价值。解译SAR图像能够获得很多有用的信息，因此SAR图像的解译是SAR实际应用中的重要部分。传统的机器学习和深度学习是SAR图像解译的两种主要方法。SAR成像比其他传感器更加稳定，不容易受到天气、光线和其他条件的影响。同时SAR的另一个优点是能生成大量的地面信息数据。但是手动处理如此大量的数据是很困难的。

基于传统机器学习和深度学习的计算机视觉图像处理技术能很好的为解决数据量大的问题。传统的机器学习方法具有严密的数学理论作为支撑，对计算资源的需要低于神经网络，同时分类和识别的精度还能一定程度上满足需求。随着计算机计算能力的提升，基于神经网络的相关处理方法大放异彩，这些方法往往在分类和识别的精度上远高于机器学习的方法。但是神经网络的分类和识别方法依赖于大量的训练数据，实际应用与现实条件中往往无法获得如此海量的训练数据，这需要大量的人力成本去收集与标注。过少的训练样本最后会导致神经网络过拟合的发生，也就是在训练样本上具有很高的分类或识别的精度，但是在测试和实际使用中效果极差。

另外由于神经网络有模型可解释性差的缺点，导致在优化时难以找到指导性的方向。孪生网络有效的结合了传统机器学习和深度学习的优势，利用神经网络来代替人工设计的特征提取器然后结合传统机器学习决策策略进行分类。这样的组合既发挥了神经网络充分利用计算资源的编码能力，又部分地规避了以往神经网络的建模结果难以解释的问题，让之后的改进和优化更加有迹可循。在现实条件下，不仅需要大量人力来标注样本，同时还面临着可能部分类别样本缺少的情况。孪生网络针对小样本的特有训练方式变相的增加了样本的数量，使得分类的精度得到了提高，过拟合的情况也得到了减弱。同时利用样本特征之间的“距离”来区分样本类别的分类策略也让优化思路更加清晰。

发明内容

本发明的主要目的是提供一种基于孪生网路的不完备训练集的SAR目标识别方法。

本发明是在对小样本目标识别的相关方向进行了充分调研后，提出的针对现实条件下SAR的真实数据的小样本识别。和传统深度学习方法分类时直接输入待分类样本后输出样本的预测类别不同。本发明借鉴了传统机器学习中 k-Nearest Neighbor(k-NN)算法，从训练集的每个类别中抽取n个样本作为本类别样本的代表形成一个支持集，例如在一个分类任务中共有m个类别，那么支持集中样本总数为m*n个。在分类时将待分类样本和支持集中的支持样本一起输入到网络中，支持集中的每一个样本和这个待分类样本组成输入对，分别输入到孪生网络的两个输入中提取特征，接着将两个样本提取到的特征求差，再对特征之差进行判断得到待分类样本和支持集中某个类别样本的相似程度，最后将待分类样本归类为该样本和支持集中相似度最高的样本的类别。

本发明的技术方案具体来说，主要包括如下技术内容：

1、卷积神经网络提取SAR目标特征。利用多层的不同卷积核的卷积神经网络来提取SAR目标的特征。通过卷积核的加权来得到高级特征并且利用池化层来进行降维和增强了网络的鲁棒性，同时采用ReLU函数作为激活函数来引入非线性因素使得神经网络能够解决非线性分类任务。

2、k-近邻算法。在进行分类时采用k-近邻算法的原理，k-近邻算法在小样本问题中简单有效，能充分利用训练集的资源，合适的k值也能增强模型的鲁棒性。

3、数据增强。为避免在小样本情况下导致模型过拟合，训练时并不直接输入单个样本进行分类，而是和训练集中其他样本组成输入对，这样的组合方式使得训练数据得到了很大的提高，有效的避免了过拟合的发生，如图2所示。

4、反向传播算法(BP算法)。本发明中，多层神经网络利用BP算法更新卷积核和全连接层的权重和偏置。BP算法的基础是梯度下降法由激励传播和权值更新两部分组成。将组合的图像对输入到网络中进行前向传播得到一个预测结果，并将这个预测结果和标签对比得到误差。接着将输出误差反向传播，得到每个隐含层的节点的误差。再利用链式法则和梯度下降法来更新卷积核和全连接层权重W和偏置b。

基于孪生网络的不完备训练集的SAR目标识别方法，该方法的实施流程如下：

步骤1、数据集的规范：统一尺寸，划分SAR目标图像训练集和测试集，支持集的生成。

在训练孪生网络前，需要规范数据集。

1)首先将数据集裁剪到统一的尺寸，统一将SAR目标图像裁剪成了128*128 的大小尺寸，因为SAR目标图像和自然图像的成像原理不同，所以不能直接使用池化的方式来统一图片大小尺寸。

2)然后进行训练集和测试集的划分，先将数据集分为测试集和训练集两个部分。针对不完备训练集的SAR目标识别，所以训练集中样本数量最多只有50 个。

3)接着从训练集中每个类别等间隔的抽取少量数据作为支持集。由于训练集和测试集基本都包含了同一目标不同角度的SAR图像，所以采用等间隔采样能确保支持集中样本角度的多样性。这样一来就生成了尺寸统一的训练集、测试集和支持集。

4)最后再将训练集、测试集和支持集序列化成.pickle文件方便读取。

整个数据集规范流程如图1所示。

步骤2、孪生网络的搭建和初始化。

孪生网络由特征提取器和判别器两个部分组成。特征提取器是一个共享权重的双路卷积网络，这个双路卷积网络具有左右两个相同的输入结构，输入尺寸为128*128大小的单通道灰度图片，第一个卷积层的结构为64个6*6的卷积核，激活函数为ReLU函数，再进行2*2的最大池化，第二个卷积层和第一个结构相同，激活函数和池化层也相同。第三个卷积层的结构为128个3*3的卷积核，激活函数仍然为ReLU函数，池化层也为2*2的最大池化。第四个卷积层和第三个卷积层结构相同，激活函数和池化层结构也相同。接着将卷积层提取到的特征展开为一个1维张量再用全连接层将这个张量进一步抽象为一个1维长度为4096的特征张量。这个长度为4096的1维张量就是特征提取器最后提取到的张量。双路卷积网络提取到输入对的特征后，将两个特征张量输入到判别器中，判别器先对两个特征向量的每一位求绝对差，再将这个绝对差输入到一个全连接层中，全连接层用Sigmoid函数激活，输出两个输入目标为同一类别的概率。孪生网络的结构如下表所示：

损失函数为交叉熵，优化器采用Adam优化器，学习率为6e-5。交叉熵是深度学习中一个常见的概念，一般用来求预测值和标签之间的差距。使用交叉熵作为损失函数来衡量预测值与标签的相似程度，再通过优化器来不断优化，来更新权值W与偏置b。交叉熵作为损失函数loss的表达式如式(1)所示，其中y为标签，为预测值，n为一个训练批次的样本总量，i为从1到n的样本下标。

相比于均方误差(mean squared error,MSE)，交叉熵是一个凸函数，在优化的时候不容易陷入局部极值点。在使用Sigmoid激活函数的时候，上下边界的斜率下降严重，但是交叉熵是对数函数，用作损失函数时在边界仍然拥有较高的梯度。这使得在误差较大的时候模型更新更快，避免了训练时间过长的问题。

Adam优化器是基于随机梯度下降(stochastic gradient descent,SGD)算法的优化方法，结合了AdaGrad和RMSProp两种优化算法的优点，对梯度的一阶矩估计和二阶矩估计进行了综合考虑来计算更新步长。Adam优化器能够自动调整学习率，在默认参数下工作性能也相当优秀。Adam优化器的伪代码如下表所示。

其中α为学习率或称为步长，控制权值更新比率。β₁,β₂为一阶矩估计和二阶矩估计的衰减率。ε是为了防止计算中出现除以0的错误。f(θ)为随机目标函数。t为时间步长。

仅仅构建好孪生网络的结构还不能直接传入数据，还要对这个构建完成的网络进行初始化。权值W和偏置b都用高斯分布的随机函数来进行初始化，其中W的初始化均值为0，标准差为1e-2。b的初始化均值为0.5，标准差为1e-2。

步骤3、孪生网络的训练。

在完成了孪生网络的构建和初始化后，就开始对孪生网络的模型进行训练。先将序列化后的SAR图像的训练集、测试集和支持集加载到显存中。然后每次迭代前从训练集中随机抽选32对SAR图像对作为一个batch，这32对输入的前 16对为同一种类的SAR目标，后16对输入为不同种类的组合。得到一个batch 的输入对后，将这个batch输入至初始化后的网路开始进行前向传播。

在进行前向传播时，将每个图像对输入到孪生网络中，由卷积层提取特征，将输入的SAR目标图像变成SAR目标的特征图。其中每个输入神经元在卷积的过程中都会先与权重W相乘，再加上偏置b，然后再用激活函数激活。如公式(2)所示。

其中表示第k层卷积神经网络的第m行，第n列输出。是与第k层卷积神经网络与第m行，第n列输出相对应的权值矩阵。是与第k层卷积神经网络的第m行，第n列输出相对应的输入部分。b^k是与第k层卷积神经网络的第m行，第n列输出相对应的偏置矩阵。f(x)是激活函数，一般有ReLU函数和Sigmoid函数。

通常在卷积层后使用的激活函数是ReLU激活函数，其公式(3)所示，相比于其他激活函数，ReLU激活函数将所有负值都变为0，正值不变。这种操作被称为单侧抑制，它使得计算变得更为简单，同时还让神经网络具有了稀疏激活性。而且ReLU激活函数具有较宽的兴奋边界，这能加快神经网络的训练，不存在梯度消失的问题。但是如果学习率设置的太高，就会导致神经元在训练过程中不可逆的死亡。所以需要设置适当的学习率来规避这个问题。

f(x)＝max(0,x) ⑶

在后面的两个全连接层中，采用Sigmoid函数作为激活函数，Sigmoid函数的公式如(4)所示。

由于以Sigmoid函数作为激活函数，随着神经网络层数的增加，误差在反向传播的时候会严重衰减，最终导致梯度消失，权值更新停滞的问题。所以尽量减少使用Sigmoid函数。但是最后两个全连接层分别代表着特征的绝对差与相似概率，这个时候使用ReLU激活函数保留加权后的正整数部分不如用Sigmoid 函数去映射到新的值域(0，1)之间。并且最后一层输出的一个概率，Sigmoid 函数的结果的概念虽然不能严格等同于概率，但也能比较直观地进行理解和比较了。

前向传播最后输出一个预测值，将这个预测值和真实值用定义的损失函数来计算误差，然后将误差进行反向传播，利用链式法则对权重求偏导数，然后对各个权重进行更新。链式法则和权重更新的公式如(5)，(6)所示。

在反向传播中通过链式法则来求得某个权重对最后输出的总误差的偏导数。之所以要求这个偏导数是因为在后面更新该权重的时候，更新量的大小与之相关。

在利用链式法则求出了需要更新的某个权重w_ij对总误差E_total的偏导数后，将这个偏导数与学习速率η相乘，得到的结果就是该权重需要变化的量。如公式 (6)所示，w_ij减去更新量就得到了新的权重值。

设置训练任务的迭代次数和模型保存的准确率阈值，然后孪生网络不断的迭代训练，更新权重。每次迭代都输出损失函数，并且每50次迭代输出当前迭代次数和损失函数。每完成200轮迭代在测试集上进行一次验证，若准确率高于阈值则保存模型更新阈值，否则继续迭代。最后一直训练到达到满足迭代停止条件，保存最优的模型。

步骤4、SAR目标识别。

在孪生网络的训练完成后，得到训练后的最优模型，在测试时加载该模型。进行SAR目标识别测试时，需要用到支持集中样本。在对测试集中某样本进行识别时，先将该样本和支持集中所有样本组成图像对。将这些图像对输入到训练好的孪生网络中，计算得到该样本和支持集中所有样本的相似程度。然后利用k-近邻算法挑选出相似概率最大的5个支持样本，根据这5个支持样本的类别投票选出测试样本的类别。票数最多的类别即是该样本类别，当出现票数相同的情况时，直接选择相似概率最大的支持样本的类别作为待识别样本的类别。

将测试集中所有样本依次完成上述识别的步骤后，统计识别的准确率并在命令行显示。流程图如图4所示。

1)加载训练完成的模型。

2)将待测量样本和支持集中样本组成输入对。

3)将输入对输入到网络中得到相似结果。

4)将与待测样本相似度最高的支持集样本的类别作为待测样本类别，完成识别。

附图说明

图1：数据规范的流程图。

图2：数据增强示意图。

图3：孪生网络训练流程图。

图4：SAR目标识别流程图。

具体实施方式

本发明的不完备训练集SAR目标识别的基本流程如图4所示，具体包括以下步骤：

1)将SAR目标数据分类为训练集和测试集两个文件夹下，并且不同类别的数据在两个文件夹下各有一个子文件夹。然后对数据进行预处理，将SAR目标图像先裁剪为统一尺寸。再进行数据集的分配，由于是小样本情况下的识别，所以最多给训练集每个类别的样本数量为50，同时在训练集中对各类别抽取支持样本作为支持集。将其他的样本转移到测试集的对应类别文件夹下。接着将训练集、测试集和支持集的数据统一序列化为.pickle文件方便读取。

2)对孪生网络的搭建和初始化。

首先搭建孪生网络的结构，规定输入图像的尺寸为128*128*1。孪网络是一个双路卷积网络，分为左右两路，同时左右两路是权值共享的，所以两路结构相同。第一层网络层是卷积层，有64个6*6大小的卷积核，激活函数为ReLU 函数，对权重有初始化，没有偏置项，对权重进行L2正则化。第二层是一个2*2 的最大池化层，步长也为2*2。第三层是卷积层，同样有64个6*6大小的卷积核，激活函数也为ReLU函数，对权重和偏置项都有初始化，同时对权重进行 L2正则化。第四层和第二层一样是一个步长为2*2，池化尺寸为2*2的最大池化层。第五层是一个卷积层，含有128个3*3大小的卷积核，激活函数为ReLU 函数，对权重和偏置项都有初始化，同时对权重进行L2正则化。第六层也为一个最大池化层和之前的池化层参数、结构相同。第七层和第五层卷积层的结构、参数相同。第八层是将整个提取到的特征图展开为一个1维的张量。第九层是一个全连接层，激活函数为Sigmoid函数，对权重和偏置项初始化，对权重进行L2正则化，最后输出一个大小为4096的特征向量。

上述结构就是左右两路卷积网络的结构，它们的作用是作为特征提取器提取 SAR目标图像的特征。

对两路卷积神经网络提取到的特征值求L1距离。再添加一个全连接层，激活函数为Sigmoid函数，输出大小为1。

上述的求L1距离函数加上这个全连接层就相当于一个判别器，利用双路卷积网络提取到的两个SAR目标图像的特征来判断它们之间的相似程度。

以上就是孪生网络的整体结构。权值和偏置项的初始化使用的是均值为0.5，标准差为1e-2的高斯分布的随机函数。

3)孪生网络的训练。

设置batch的大小参数batch_size为32，设置最大迭代次数n_iter，模型保存的最小准确率best。

每次迭代前随机从训练集中抽取32个输入对作为一个batch进行训练，这 32个输入对的前16组是不同类别的SAR目标图像对，后16组是相同类别的。

在进行迭代时将batch里的数据输入到孪生网络中得到预测值，计算loss，更新权重w和偏置b。

在测试集上验证当前模型的准确率，若高于best则保存模型，更新best，继续迭代，否则直接继续迭代。

迭代次数达到n_iter后停止迭代，训练完成。

孪生网络的训练过程伪代码如下：

4)SAR目标识别

加载保存好的模型，利用测试集来测试模型的SAR目标识别的效果，将测试集中样本和支持集中样本组成输入对，得到测试集中样本和支持集中每一类样本的相似程度，用k-近邻算法投票得到与待识别样本最相似的类别。如果出现票数相同，则选择相似度最高的类别作为待识别样本的类别。

将识别的结果和真实值作对比，统计准确率，并在命令行显示。

Claims (2)

1.基于孪生网络的不完备训练集的SAR目标识别方法，其特征在于：该方法的实施流程如下：

步骤1、数据集的规范：统一尺寸，划分SAR目标图像训练集和测试集，支持集的生成；

在训练孪生网络前，需要规范数据集；

1)首先将数据集裁剪到统一的尺寸，统一将SAR目标图像裁剪成了128*128的大小尺寸；

2)然后进行训练集和测试集的划分，先将数据集分为测试集和训练集两个部分；针对不完备训练集的SAR目标识别，所以训练集中样本数量最多只有50个；

3)接着从训练集中每个类别等间隔的抽取少量数据作为支持集；由于训练集和测试集基本都包含了同一目标不同角度的SAR图像，所以采用等间隔采样能确保支持集中样本角度的多样性；这样一来就生成了尺寸统一的训练集、测试集和支持集；

4)最后再将训练集、测试集和支持集序列化成.pickle文件方便读取；

步骤2、孪生网络的搭建和初始化；

孪生网络由特征提取器和判别器两个部分组成；特征提取器是一个共享权重的双路卷积网络，这个双路卷积网络具有左右两个相同的输入结构，输入尺寸为128*128大小的单通道灰度图片，第一个卷积层的结构为64个6*6的卷积核，激活函数为ReLU函数，再进行2*2的最大池化，第二个卷积层和第一个结构相同，激活函数和池化层也相同；第三个卷积层的结构为128个3*3的卷积核，激活函数仍然为ReLU函数，池化层也为2*2的最大池化；第四个卷积层和第三个卷积层结构相同，激活函数和池化层结构也相同；接着将卷积层提取到的特征展开为一个1维张量再用全连接层将这个张量进一步抽象为一个1维长度为4096的特征张量；这个长度为4096的1维张量就是特征提取器最后提取到的张量；双路卷积网络提取到输入对的特征后，将两个特征张量输入到判别器中，判别器先对两个特征向量的每一位求绝对差，再将这个绝对差输入到一个全连接层中，全连接层用Sigmoid函数激活，输出两个输入目标为同一类别的概率；孪生网络的结构如下表所示：

损失函数为交叉熵，优化器采用Adam优化器，学习率为6e-5；交叉熵是深度学习中一个常见的概念，一般用来求预测值和标签之间的差距；使用交叉熵作为损失函数来衡量预测值与标签的相似程度，再通过优化器来不断优化，来更新权值W与偏置b；交叉熵作为损失函数loss的表达式如式(1)所示，其中y为标签，为预测值，n为一个训练批次的样本总量，i为从1到n的样本下标；

Adam优化器能够自动调整学习率，在默认参数下工作性能也相当优秀；Adam优化器的伪代码如下表所示；

其中α为学习率或称为步长，控制权值更新比率；β₁,β₂为一阶矩估计和二阶矩估计的衰减率；ε是为了防止计算中出现除以0的错误；f(θ)为随机目标函数；t为时间步长；

仅仅构建好孪生网络的结构还不能直接传入数据，还要对这个构建完成的网络进行初始化；权值W和偏置b都用高斯分布的随机函数来进行初始化，其中W的初始化均值为0，标准差为1e-2；b的初始化均值为0.5，标准差为1e-2；

步骤3、孪生网络的训练；

在完成了孪生网络的构建和初始化后，就开始对孪生网络的模型进行训练；先将序列化后的SAR图像的训练集、测试集和支持集加载到显存中；然后每次迭代前从训练集中随机抽选32对SAR图像对作为一个batch，这32对输入的前16对为同一种类的SAR目标，后16对输入为不同种类的组合；得到一个batch的输入对后，将这个batch输入至初始化后的网路开始进行前向传播；

在进行前向传播时，将每个图像对输入到孪生网络中，由卷积层提取特征，将输入的SAR目标图像变成SAR目标的特征图；其中每个输入神经元在卷积的过程中都会先与权重W相乘，再加上偏置b，然后再用激活函数激活；如公式(2)所示；

其中表示第k层卷积神经网络的第m行，第n列输出；是与第k层卷积神经网络与第m行，第n列输出相对应的权值矩阵；是与第k层卷积神经网络的第m行，第n列输出相对应的输入部分；b^k是与第k层卷积神经网络的第m行，第n列输出相对应的偏置矩阵；f(x)是激活函数，激活函数是ReLU函数或Sigmoid函数；

在卷积层后使用的激活函数是ReLU激活函数，其公式如(3)所示，ReLU激活函数将所有负值都变为0，正值不变；

f(x)＝max(0,x) ⑶

在后面的两个全连接层中，采用Sigmoid函数作为激活函数，Sigmoid函数的公式如(4)所示；

由于以Sigmoid函数作为激活函数，随着神经网络层数的增加，误差在反向传播的时候会严重衰减，最终导致梯度消失，权值更新停滞的问题；最后两个全连接层分别代表着特征的绝对差与相似概率，这个时候使用ReLU激活函数保留加权后的正整数部分不如用Sigmoid函数去映射到新的值域(0，1)之间；并且最后一层输出的一个概率，Sigmoid函数的结果的概念虽然不能严格等同于概率，但也能比较直观地进行理解和比较了；

前向传播最后输出一个预测值，将这个预测值和真实值用定义的损失函数来计算误差，然后将误差进行反向传播，利用链式法则对权重求偏导数，然后对各个权重进行更新；链式法则和权重更新的公式如(5)，(6)所示；

在反向传播中通过链式法则来求得某个权重对最后输出的总误差的偏导数；之所以要求这个偏导数是因为在后面更新该权重的时候，更新量的大小与之相关；

在利用链式法则求出了需要更新的某个权重w_ij对总误差E_total的偏导数后，将这个偏导数与学习速率η相乘，得到的结果就是该权重需要变化的量；如公式(6)所示，w_ij减去更新量就得到了新的权重值；

设置训练任务的迭代次数和模型保存的准确率阈值，然后孪生网络不断的迭代训练，更新权重；每次迭代都输出损失函数，并且每50次迭代输出当前迭代次数和损失函数；每完成200轮迭代在测试集上进行一次验证，若准确率高于阈值则保存模型更新阈值，否则继续迭代；最后一直训练到达到满足迭代停止条件，保存最优的模型；

步骤4、SAR目标识别；

在孪生网络的训练完成后，得到训练后的最优模型，在测试时加载该模型；进行SAR目标识别测试时，需要用到支持集中样本；在对测试集中某样本进行识别时，先将该样本和支持集中所有样本组成图像对；将这些图像对输入到训练好的孪生网络中，计算得到该样本和支持集中所有样本的相似程度；然后利用k-近邻算法挑选出相似概率最大的5个支持样本，根据这5个支持样本的类别投票选出测试样本的类别；票数最多的类别即是该样本类别，当出现票数相同的情况时，直接选择相似概率最大的支持样本的类别作为待识别样本的类别。

2.根据权利要求1所述的基于孪生网络的不完备训练集的SAR目标识别方法，其特征在于：将测试集中所有样本依次完成上述识别的步骤后，统计识别的准确率并在命令行显示；

1)加载训练完成的模型；

2)将待测量样本和支持集中样本组成输入对；

3)将输入对输入到网络中得到相似结果；

4)将与待测样本相似度最高的支持集样本的类别作为待测样本类别，完成识别。