CN111694977A

CN111694977A - 一种基于数据增强的车辆图像检索方法

Info

Publication number: CN111694977A
Application number: CN202010532683.0A
Authority: CN
Inventors: 谢武; 崔梦银; 刘满意; 强保华; 贾清玉; 谢天
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2020-09-22

Abstract

本发明公开了一种基于数据增强的车辆图像检索方法，该方法是使用多尺度Retinex算法对现有的公开车辆图像数据进行数据增强，得到一个大规模车辆图像数据集；其次，使用卷积神经网络构建车辆图像检索模型并在增强后的数据集上进行训练，同时采用迁移学习的方法缩短模型的训练周期；最后，选择分类效果表现最好的模型作为特征提取引擎在检索测试集上进行模型评价。该方法解决了车辆图像缺乏和人为标注等带来的影响，在一定程度上可以增加模型的准确率和泛化能力。使用迁移学习的方法加快模型收敛的速度，减少训练的时间，提高车辆图像检索的准确率。

Description

一种基于数据增强的车辆图像检索方法

技术领域

本发明涉及车辆图像检索领域，具体是一种基于数据增强的车辆图像检索方法。

背景技术

对于车辆图像检索模型来说，训练集的大小以及质量会直接影响模型训练的好坏。如果采用的训练集过小，模型学习难以拟合所有可能的情况，会导致模型泛化能力不高，导致过拟合的情况。另外，卷积神经网络模型在训练过程中往往涉及到成千上万的参数，需要大量的数据来进行参数的学习。因此训练出一个好的模型需要大量的车辆图片数据集。

发明内容

针对上述问题，本发明提供一种基于数据增强的车辆图像检索方法，该方法采用数据增强的方法对现有的公开数据集进行扩充，得到一个大规模的车辆图像数据集用于模型的训练，并采用迁移学习的方法来降低模型的训练周期，以提高车辆图像检索的精度。

实现本发明目的的技术方案是：

一种基于数据增强的车辆图像检索方法，包括如下步骤：

(1)给定车辆图像数据集，并对图片进行归一化处理成CNN模型需要的数据输入格式；

(2)车辆图像数据增强：通过多尺度Retinex算法对原始车辆图片进行暗光增强，获得一个较大规模的车辆图像数据集；

(3)划分车辆图像数据集：按照8∶1∶1的比例，将车辆图像数据集拆分成训练集、验证集和检索测试集；

(4)构建基于VGGNet16的车辆图像检索模型，并进行模型的训练和验证；

(5)车辆图像的特征提取：利用训练好的卷积神经网络模型对车辆图像进行一系列的卷积、池化和全连接操作，提取车辆图像的特征；

(6)模型测试：使用训练好的模型在检索测试集上进行检索，并评估该模型的泛化能力及检索准确度。

步骤(2)所述多尺度Retinex算法是：

对于一张车辆图像，采用多种尺度的高斯滤波函数，对图像的三个通道进行滤波，对每个尺度的反射分量取加权平均，得到最终输出结果，可以将r_i(x,y)＝i_i(x,y)-i_i(x,y)*G(x,y)的公式变为：

其中，G_k(x,y)代表第k个高斯滤波函数，N表示高斯滤波函数的数量，通过实验发现当N＝3时，车辆图像数据增强的效果最好；w_k是第k个尺度的权重，N个高斯滤波函数所占比例满足约束条件：

数据增强算法的具体实现步骤如下：

(1)输入原始图像I(x,y)，分离三个颜色通道空间分量并转化到对数域；

(2)设置高斯函数尺度的个数及大小；

(3)根据公式获取图像r(x,y)；

(4)把r(x,y)从对数域转换到实数域得到R(x,y)；

(5)对R(x,y)进行线性矫正处理(因为R(x,y)的范围不在0～255的范内)，矫正后的图像即算法增强后的图像。

步骤(4)所述的模型训练过程如下：

(1)构建基于VGGNet网络结构，该步骤包括网络结构定义及初始化，构建好网络模型之后，使用迁移学习的方法，在ImageNet上通过预训练的权重初始化网络模型；

(2)利用数据增强后的车辆图像训练集对模型进行微调和更新模型参数，保存训练过程中checkpoint模型，同时记录不同时刻模型的分类精度，选取表现效果最好的模型作为车辆图像的特征提取引擎；

(3)使用训练好的模型提取网络模型的倒数第二个全连接层的特征作为车辆图像的特征表示，得到4096维的图像特征表示向量；

(4)从检索测试集中随机选择100张图片作为查询图片，其余图片作为车辆检索图像数据库，采用训练好的模型提取查询图片的特征，然后在特征数据库中进行相似度计算并返回检索结果，最后使用MAP评价指标对返回的结果进行评价。

所述特征提取包括：对用户上传的查询图片进行特征提取和对图片数据库进行特征提取。

步骤(6)所述的车辆图像检索包括特征提取、特征压缩和特征匹配三个步骤，其中：特征匹配，即相似度计算在图像检索系统中起着关键的作用；经过特征提取和特征压缩操作会把待检索车辆图像和数据库中的图像映射到同一特征空间，一般是浮点型向量形式。

本发明的有益效果是：针对当前车辆数据集规模较小问题，采用了数据增强的方法来增加车辆检索模型的训练数据规模，达到扩充数据集的目的。该方法通过多尺度Retinex算法对原始车辆图片进行暗光增强，获得了一个较大规模的车辆图像数据集，解决了车辆图像缺乏和人为标注等带来的影响，在一定程度上可以增加模型的准确率和泛化能力。在模型的训练过程中由于数据规模庞大和优化的参数较多，会消耗大量的硬件资源和时间，因此使用迁移学习的方法加快模型收敛的速度，减少训练的时间，提高车辆图像检索的准确率。

附图说明

图1为本发明中数据增强方法计算流程图。

图2为本发明的车辆图像检索的一般流程图。

图3为本发明实施例的测试结果示意图。

具体实施方式

下面结合附图和实施对本发明作进一步的阐述。

实施例：

如图1所示，本发明基于数据增强的车辆图像检索方法，一方面，车辆图像数据采用数据增强的方法扩大了车辆图像数据的规模，使得模型的训练数据能够包含更多的情况；另一方面，车辆图像检索模型采用数据迁移的方法，应用了微调策略，从而可以增加模型的检索准确率和繁华能力。具体来说分为三个阶段：数据增强、模型训练和模型测试。主要包括以下步骤：

(1)给定车辆图像数据集，并对图片进行预处理，这里的预处理指的是对图片进行归一化，处理成CNN模型需要的数据输入格式；

(2)车辆图像数据增强。针对当前车辆数据集规模较小问题，本发明采用了图像增强的方法来增加车辆检索系统的训练数据规模，达到扩充数据集的目的。该方法通过多尺度Retinex算法对原始车辆图片进行暗光增强，获得了一个较大规模的车辆图像数据集，解决了车辆图像缺乏和人为标注等带来的影响，在一定程度上可以增加模型的准确率和泛化能力。

我们可以把人眼看到的车辆图像认为是一种有乘性噪声的车辆图像，因此算法的主要工作就是估计出每个位置的噪声，并剔除它。假设人眼看到的车辆图像I是图像光照分量L和反射率分量R的乘积，具体表示如下图公式所示：

I(x,y)＝R(x,y)L(x,y)

反射分量的计算过程附图说明图1所示。

从图1可以看出算法的关键是光照分量l(x,y)的估计，高斯函数对图像的三个通道进行滤波，滤波后的图像就是光照分量。反射分量计算公式如下。

r_i(x,y)＝i_i(x,y)-i_i(x,y)*G(x,y)

其中，i_i(x,y)表示第i个通道的原始图像，G(x,y)为高斯滤波函数，r_i(x,y)表示第i个通道的反射分量，*代表卷积，σ为尺度参数。

算法的具体过程如下：对于一张车辆图像，采用多种尺度的高斯滤波函数，对图像的三个通道进行滤波，对每个尺度的反射分量取加权平均，得到最终输出结果，可以将r_i(x,y)＝i_i(x,y)-i_i(x,y)*G(x,y)的公式变为：

其中，G_k(x,y)代表第k个高斯滤波函数，N表示高斯滤波函数的数量，通过实验发现当N＝3时，车辆图像数据增强的效果最好。w_k是第k个尺度的权重，N个高斯滤波函数所占比例满足约束条件：

数据增强算法的具体实现步骤如下：

1)输入原始图像I(x,y)，分离三个颜色通道空间分量并转化到对数域；

2)设置高斯函数尺度的个数及大小；

3)按照公式来获取图像r(x,y)；

4)把r(x,y)从对数域转换到实数域得到R(x,y)；

5)对R(x,y)进行线性矫正处理(因为R(x,y)的范围不在0～255的范内)，矫正后的图像即算法增强后的图像。

(3)划分车辆图像数据集。数据集遵循一般的划分规则，这里将它们拆分为训练集、验证集和检索测试集，并按照8:1:1的比例进行划分。

(4)构建基于VGGNet16的车辆图像检索模型；并对模型进行训练，模型的训练和验证交替进行；模型训练过程包括如下步骤：

1)构建基于VGGNet网络结构，该步骤包括网络结构定义及初始化，如设置学习率base_lr，批大小batch，迭代轮次epochs等。构建好网络模型之后，使用迁移学习的方法，在ImageNet上的预训练权重初始化我们的网络模型。

2)利用数据增强后的车辆图像训练集对模型进行微调，并更新模型参数，保存训练过程中checkpoint模型，同时记录不同时刻模型的分类精度，选取表现效果最好的模型作为车辆图像的特征提取引擎。

3)使用训练好的模型提取网络模型的倒数第二全连接层的特征作为车辆图像的特征表示，可以得到4096维的图像特征表示向量。特别注意，这里的特征提取包括两个面：一个是对用户上传的查询图片进行特征提取，另一个是对图片数据库进行特征提取构建车辆图像特征数据库。

4)从检索测试集中随机选择100张图片作为查询图片，其余图片作为车辆检索图像数据库，采用训练好的模型提取查询图片的特征，然后在特征数据库中进行相似度计算返回检索结果，最后使用MAP评价指标对返回的结果进行评价。

车辆图像检索过程包括特征提取，特征压缩和特征匹配三个关键步骤。其中特征匹配即相似度计算在图像检索系统中起着关键的作用。经过特征提取和特征压缩操作会把待检索车辆图像和数据库中的图像映射到同一特征空间，一般是浮点型向量形式。在车辆图像检索中提取到的特征向量能够保留图像的语义信息，具体来说，图像之间越相似，则它们在特征空间上的距离应该越小。本发明采用欧式距离(Euclidean Distance，ED)进行相似度计算

(5)车辆图像的特征提取。特征提取主要是使用训练好的卷积神经网络模型对车辆图像进行一系列的卷积、池化和全连接操作，提取车辆图像的特征。这里的特征提取包括两个面：一个是对用户上传的查询图片进行特征提取，另一个是对图片数据库进行特征提取构建车辆图像特征数据库。

(6)模型测试。将数据增强的车辆数据集在两种卷积神经网络上进行验证，从图3可以看出车辆分类准确率和平均检索精度两种指标在数据增强后训练的结果均优于数据增强前的结果。两种卷积神经网络在原始数据集和数据增强后数据上对应的分类准确率分别获得了大约0.9％和1.2％的提升。两种卷积神经网络在数据增强前和增强后对应的平均检索准确率MAP分别获得了大约1.8％和0.6％的提升。通过数据增强的方法并不是为了减少图像之间的差异，而是为了增加图像的多样性，使得模型尽可能的去拟合所有可能的情况。通过以上结果进一步说明大规模数据集可以车辆图像检索的准确率和泛化能力。

Claims

1.一种基于数据增强的车辆图像检索方法，其特征是：包括如下步骤：

(4)构建基于VGGNet16的车辆图像检索模型，并进行模型训练和验证；

2.根据权利要求1所述的基于数据增强的车辆图像检索方法，其特征是：步骤(2)所述多尺度Retinex算法是：

3.根据权利要求1所述的基于数据增强的车辆图像检索方法，其特征是：所述数据增强的算法步骤如下：

(2)设置高斯函数尺度的个数及大小；

(3)按照公式来获取图像r(x,y)；

(4)把r(x,y)从对数域转换到实数域得到R(x,y)；

4.根据权利要求1所述的基于数据增强的车辆图像检索方法，其特征是：步骤(4)所述的模型训练过程如下：

(1)构建基于VGGNet网络结构，该步骤包括网络结构定义及初始化，构建好网络模型之后，使用迁移学习的方法，在ImageNet上的预训练权重初始化网络模型；

(2)利用数据增强后的车辆图像训练集对模型进行微调，并更新模型参数，保存训练过程中中间模型，同时记录不同时刻模型的分类精度，选取表现效果最好的模型作为车辆图像的特征提取引擎；

(3)使用训练好的模型提取网络模型的倒数第二层的全连接层的特征作为车辆图像的特征表示，得到4096维的图像特征表示向量；

(4)从检索测试集中随机选择100张图片作为查询图片，其余图片作为车辆检索图像数据库，采用训练好的模型提取查询图片的特征，然后在特征数据库中进行相似度计算返回检索结果，最后使用MAP评价指标对返回的结果进行评价。

5.根据权利要求1所述的基于数据增强的车辆图像检索方法，其特征是：所述特征提取包括：对用户上传的查询图片进行特征提取和对图片数据库进行特征提取。

6.根据权利要求1所述的基于数据增强的车辆图像检索方法，其特征是：步骤(6)所述的车辆图像检索包括特征提取、特征压缩和特征匹配三个步骤，其中：特征匹配，即相似度计算在图像检索系统中起着关键的作用；经过特征提取和特征压缩操作会把待检索车辆图像和数据库中的图像映射到同一特征空间，一般是浮点型向量形式。