CN109685135B - 一种基于改进型度量学习的少样本图像分类方法 - Google Patents

Abstract

本发明公开了一种基于改进型度量学习的少样本图像分类方法，将数据集按比例分割为训练集、验证集、测试集，按照少样本任务集制作原则依次选取支持集和目标集两部分；然后，提取、组合目标集与支持集图片的多尺度特征，将支持集与目标集图片的多尺度特征拉直后做拼接；最后，将得到的新特征向量进行度量学习，从而得到分类结果。

Description

一种基于改进型度量学习的少样本图像分类方法

技术领域

本发明属于少样本图像处理技术领域，更为具体地讲，涉及一种基于改进型度量学习的少样本图像分类方法。

背景技术

深度学习，特别是卷积神经网络，给图像识别带来了质的飞跃。深度神经网络通常比较擅长从高维数据中学习，但这是建立在它们有大量标记的样本来训练的情况下。然而，在实际应用场景中，如医学领域、安全领域，并没有那么多标注数据，获取标签数据的成本也非常大，以至于会使得现有的图像识别技术面临少样本学习问题，即对于训练过程中未见过的新类别图片，只需要借助每类新类别少量样本，就具有很好的泛化能力。仅从几个样本中快速学习和适应，并在更多数据可用时继续适应，这种快速而灵活的学习具有挑战性，因为模型需要整合先前的经验以及少量新信息，同时避免在新数据上产生过拟合；此外，先前经验和新数据的分布是不相同的。

在少量样本集上，按照传统的图像分类方法并不能取得很好的效果，因此我们可以通过一个函数将输入映射到目标空间，在目标空间使用简单的度量距离公式进行相似度对比。在训练阶段，去最小化来自相同类别的一对样本的损失函数值，最大化来自不同类别的一对样本的损失函数值。针对小样本集的图像分类问题，CVPR2018年最新录用的一篇少样本学习的论文《Learning to Compare:Relation Network for Few-Shot Learning》中提出特征提取后构建关系网络来让其学习如何比较相似度，从而实现少样本图像分类。

这个方法非常简单通用，在少样本学习的几个基准数据集上都取得了相当好的结果。但是该方法存在两个问题：1.特征提取的好坏决定着后面度量学习的结果，提取到的特征要保证具备很好的类别差异性；2.不同的特征拼接方式决定后面度量学习网络的复杂程度，从而影响整个分类器的分类准确性与训练速度。

因此，针对以上两个问题，本发明提出基于改进的度量学习的少样本集的图像分类方法,提升少样本图像分类的训练速度和准确性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于改进型度量学习的少样本图像分类方法，利用图像的多尺度特征训练改进型度量学习器的少样本分类器，从而进行少样本图像分类。

为实现上述发明目的，本发明一种基于改进型度量学习的少样本图像分类方法，其特征在于，包括以下步骤：

(1)、少样本数据集预处理

获取少样本数据集，设少样本数据集中共有N个类别的样本图片，每个类别包含K张样本图片；

将少样本数据集划分为三个不相交的子集，分别记为训练集D_train、验证集D_val和测试集D_test；

(2)、按照“N-way k-shot”原则制作少样本任务集

(2.1)、获取支持集D_support和目标集D_target

随机从训练集D_train中选取n个类别的样本图片，每个类别选取k张，将这n×k张样本图片作为支持集D_support；再从每个类别中剩余的样本图片中选取b张，将这n×b张样本图片作为支持集D_support，其中，n＜N,k＜K，b≤K-k；

然后将支持集D_support和目标集D_target采取{0°,90°,180°,270°}四种随机旋转数据增强方式进行数据增强；

(2.2)、在验证集D_val中，按照步骤(2.1)所述方法，获取支持集

和目标集

(3)、搭建基于卷积神经网络的多尺度特征提取器

去掉卷积神经网络的全连接层，按照“卷积层-池化层-卷积层-池化层-卷积层-卷积层”搭建基于卷积神经网络的多尺度特征提取器；

(4)、多尺度特征提取

(4.1)、提取支持集的多尺度特征

将支持集D_support输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为F₃和F₄；

将支持集的输出特征F₃和F₄按深度方向合并，得到支持集的n×k个多尺度特征F_support；

(4.2)、提取目标集的多尺度特征

将目标集D_target输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为

和

将目标集的输出特征

和

按深度方向合并，得到目标集的n×b个多尺度特征F_target；

(5)、多尺度特征拼接

(5.1)、将支持集的多尺度特征F_support拉直为一维长向量，再对每个类别求均值，得到n个多尺度特征

(5.2)、将目标集的多尺度特征F_target拉直为一维长向量，得到n×b个多尺度特征

(5.3)、从

和

中分别选择一个多尺度特征，按两特征间的元素相减后取绝对值的方式进行拼接；

(5.4)、按上述步骤拼接完成后共计得到n²×b个拼接特征；

(6)、搭建基于全连接神经网络的改进型度量学习器

搭建三层全连接神经网络的改进型度量学习器，改进型度量学习器的前两层引入Relu非线性激活函数，第三层引用Sigmiod非线性激活函数，第三层输出分类结果；

(7)、训练基于改进型度量学习器的少样本分类器

(7.1)、设少样本分类器的分类正确率阈值为H％；

(7.2)、训练少样本分类器：少样本分类器以交叉熵损失函数作为优化目标；

在前向传播过程中，将步骤(5)得到的拼接特征输入至改进型度量学习器，输出分类结果，然后利用分类结果计算出交叉熵损失；

在后向传播过程中，通过Adam优化算法计算出交叉熵损失函数的参数梯度，再根据参数梯度更新少样本分类器的参数；然后返回步骤(2)，按照上述方法进行下一轮训练，总共训练T轮；

(7.2)、验证少样本分类器：当T轮训练结束后，在验证集上，按步骤(2)所述方法制作支持集

和目标集

再将支持集

和目标集

进行多尺度特征提取及拼接，得到拼接特征；

将拼接特征输入至少样本分类器，输出分类结果及对应的分类正确率，分类正确率与分类正确率阈值H％比较，如果分类正确率大于或等于分类正确率阈值，则本轮验证的分类正确率通过，得到训练好的少样本分类器，否则，返回步骤(2)，进行下一轮训练；

(8)、利用训练好的少样本分类器对待测试的少样本图像进行分类

(8.1)、在测试集D_test中，按照步骤(2.1)所述方法，获取支持集D′_support和目标集D′_target；

(8.2)、将支持集D′_support和目标集D′_target进行多尺度特征提取及拼接，得到拼接特征；

(8.3)、将拼接特征输入至训练好的少样本分类器，得到少样本图像分类结果。

本发明的发明目的是这样实现的：

本发明基于改进型度量学习的少样本图像分类方法，将数据集按比例分割为训练集、验证集、测试集，按照少样本任务集制作原则依次选取支持集和目标集两部分；然后，提取、组合目标集与支持集图片的多尺度特征，将支持集与目标集图片的多尺度特征拉直后做拼接；最后，将得到的新特征向量进行度量学习，从而得到分类结果。

同时，本发明基于改进型度量学习的少样本图像分类方法还具有以下有益效果：

(1)、提出了一个可以用于少样本图像分类的方法，对于训练过程中未见过的新类别图片，只需要借助每类新类别少量样本，就具有很好的泛化能力。

(2)、提取到的特征的好坏直接影响度量学习器的距离度量效果。由于多尺度特征对图像的描述更加准确、所含信息量大，具有很好的类别差异性，从而提高了度量学习器距离度量效果。

(3)、采用按两特征间的元素相减后取绝对值的拼接方式，不仅减少了度量学习器网络参数，而且保证度量学习器从好的初始化参数开始学习，提高了少样本分类器训练速度。同时相比现有的非参数距离度量公式，如欧式距离、余弦距离等，该度量学习器能够学习到一个很好的非线性度量距离函数，从而提高了少样本图片分类器的分类正确率。

附图说明

图1是本发明基于改进型度量学习的少样本图像分类方法流程图；

图2是多尺度特征提取器示意图；

图3是改进型度量学习器示意图；

图4是改进型度量学习器分类流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于改进型度量学习的少样本图像分类方法流程图。

在本实施例中，如图1所示，本发明一种基于改进型度量学习的少样本图像分类方法，包括以下步骤：

S1、少样本数据集预处理

选取Omniglot少样本数据集，该数据集含有1623个类别，每个类别含有20个样本；

将少样本数据集划分为三个不相交的子集，在本实施例中，从1623类中分别选择1200、211、212类当作训练集D_train、验证集D_val和测试集D_test；

S2、按照“N-way k-shot”原则制作少样本任务集

取N＝5，k＝5，进行5分类的图片分类。

S2.1、获取支持集D_support和目标集D_target

如图4所示，随机从训练集D_train中选取5个类别的样本图片，每个类别选取5张，将这5×5＝25张样本图片作为支持集D_support；再从每个类别中剩余的样本图片中选取15张，将这5×15＝75张样本图片作为支持集D_support。

然后将支持集D_support和目标集D_target采取90°旋转数据增强方式进行数据增强；

S2.2、在验证集D_val中，按照步骤S2.1所述方法，获取支持集

和目标集

S3、如图2所示，搭建基于卷积神经网络的多尺度特征提取器

去掉卷积神经网络的全连接层，按照“卷积层-池化层-卷积层-池化层-卷积层-卷积层”搭建基于卷积神经网络的多尺度特征提取器；

S4、多尺度特征提取

S4.1、提取支持集的多尺度特征

如图4所示，将支持集D_support输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为F₃和F₄；

将支持集的输出特征F₃和F₄按深度方向合并，得到支持集的25个多尺度特征F_support；

S4.2、提取目标集的多尺度特征

如图4所示，将目标集D_target输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为

和

将目标集的输出特征

和

按深度方向合并，得到目标集的75个多尺度特征F_target；

S5、多尺度特征拼接

S5.1、将支持集的多尺度特征F_support拉直为一维长向量，再对每个类别求均值，得到5个多尺度特征

S5.2、将目标集的多尺度特征F_target拉直为一维长向量，得到75个多尺度特征

S5.3、从

和

中分别选择一个多尺度特征，按两特征间的元素相减后取绝对值的方式进行拼接；

S5.4、按上述步骤拼接完成后共计得到375个拼接特征；

S6、如图3所示，搭建基于全连接神经网络的改进型度量学习器

搭建三层全连接神经网络的改进型度量学习器，改进型度量学习器的前两层引入Relu非线性激活函数，第三层引用Sigmiod非线性激活函数，第三层输出分类结果；

S7、训练基于改进型度量学习器的少样本分类器

S7.1、设少样本分类器的分类正确率阈值为95％；

S7.2、训练少样本分类器：少样本分类器以交叉熵损失函数作为优化目标；

在前向传播过程中，将步骤S5得到的拼接特征输入至改进型度量学习器，输出分类结果，然后利用分类结果计算出交叉熵损失；

在后向传播过程中，通过Adam优化算法计算出交叉熵损失函数的参数梯度，再根据参数梯度更新少样本分类器的参数；然后返回步骤S2，按照上述方法进行下一轮训练，总共训练5000轮；

S7.2、验证少样本分类器：当5000轮训练结束后，在验证集上，按步骤S2所述方法制作支持集

和目标集

再将支持集

和目标集

进行多尺度特征提取及拼接，得到拼接特征；

将拼接特征输入至少样本分类器，输出分类结果及对应的分类正确率，分类正确率与分类正确率阈值95％比较，如果分类正确率大于或等于分类正确率阈值，则本轮验证的分类正确率通过，得到训练好的少样本分类器，否则，返回步骤S2，进行下一轮训练；

S8、利用训练好的少样本分类器对待测试的少样本图像进行分类

S8.1、在测试集D_test中，按照步骤S2.1所述方法，获取支持集D′_support和目标集D′_target；

S8.2、将支持集D′_support和目标集D′_target进行多尺度特征提取及拼接，得到拼接特征；

S8.3、将拼接特征输入至训练好的少样本分类器，得到少样本图像分类结果。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于改进型度量学习的少样本图像分类方法，其特征在于，包括以下步骤：

(1)、少样本数据集预处理

获取少样本数据集，设少样本数据集中共有N个类别的样本图片，每个类别包含K张样本图片；

将少样本数据集划分为三个不相交的子集，分别记为训练集D_train、验证集D_val和测试集D_test；

(2)、按照“N-way k-shot”原则制作少样本任务集

(2.1)、获取支持集D_support和目标集D_target

随机从训练集D_train中选取n个类别的样本图片，每个类别选取k张，将这n×k张样本图片作为支持集D_support；再从每个类别中剩余的样本图片中选取b张，将这n×b张样本图片作为支持集D_support，其中，n＜N,k＜K，b≤K-k；

然后将支持集D_support和目标集D_target采取{0°,90°,180°,270°}四种随机旋转数据增强方式进行数据增强；

(2.2)、在验证集D_val中，按照步骤(2.1)所述方法，获取支持集

和目标集

(3)、搭建基于卷积神经网络的多尺度特征提取器

去掉卷积神经网络的全连接层，按照“卷积层-池化层-卷积层-池化层-卷积层-卷积层”搭建基于卷积神经网络的多尺度特征提取器；

(4)、多尺度特征提取

(4.1)、提取支持集的多尺度特征

将支持集D_support输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为F₃和F₄；

将支持集的输出特征F₃和F₄按深度方向合并，得到支持集的n×k个多尺度特征F_support；

(4.2)、提取目标集的多尺度特征

将目标集D_target输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为

和

将目标集的输出特征

和

按深度方向合并，得到目标集的n×b个多尺度特征F_target；

(5)、多尺度特征拼接

(5.1)、将支持集的多尺度特征F_support拉直为一维长向量，再对每个类别求均值，得到n个多尺度特征

(5.2)、将目标集的多尺度特征F_target拉直为一维长向量，得到n×b个多尺度特征

(5.3)、从

和

中分别选择一个多尺度特征，按两特征间的元素相减后取绝对值的方式进行拼接；

(5.4)、按上述步骤拼接完成后共计得到n²×b个拼接特征；

(6)、搭建基于全连接神经网络的改进型度量学习器

搭建三层全连接神经网络的改进型度量学习器，改进型度量学习器的前两层引入Relu非线性激活函数，第三层引用Sigmiod非线性激活函数，三层输出分类结果；

(7)、训练基于改进型度量学习器的少样本分类器

(7.1)、设少样本分类器的分类正确率阈值为H％；

(7.2)、训练少样本分类器：少样本分类器以交叉熵损失函数作为优化目标；

在前向传播过程中，将步骤(5)得到的拼接特征输入至改进型度量学习器，输出分类结果，然后利用分类结果计算出交叉熵损失；

在后向传播过程中，通过Adam优化算法计算出交叉熵损失函数的参数梯度，再根据参数梯度更新少样本分类器的参数；然后返回步骤(2)，按照上述方法进行下一轮训练，总共训练T轮；

(7.2)、验证少样本分类器：当T轮训练结束后，在验证集上，按步骤(2)所述方法制作支持集

和目标集

再将支持集

和目标集

进行多尺度特征提取及拼接，得到拼接特征；

将拼接特征输入至少样本分类器，输出分类结果及对应的分类正确率，分类正确率与分类正确率阈值H％比较，如果分类正确率大于或等于分类正确率阈值，则本轮验证的分类正确率通过，得到训练好的少样本分类器，否则，返回步骤(2)，进行下一轮训练；

(8)、利用训练好的少样本分类器对待测试的少样本图像进行分类

(8.1)、在测试集D_test中，按照步骤(2.1)所述方法，获取支持集D′_support和目标集D′_target；

(8.2)、将支持集D′_support和目标集D′_target进行多尺度特征提取及拼接，得到拼接特征；

(8.3)、将拼接特征输入至训练好的少样本分类器，得到少样本图像分类结果。

Images