CN110781921A - 一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置 - Google Patents

Abstract

本发明公开了一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置，包括：(1)采集毒蕈图像，并对毒蕈图像进行前景图像提取、数据增强以尺寸统一处理，并确定分类标签，构建训练集；(2)利用ImageNet图像集训练深度残差网络，提取深度残差网络参数；(4)构建毒蕈图像识别网络，所述毒蕈图像识别网络包括卷积层、池化层、全连接层以及softmax分类层，并将深度残差网络参数迁移到卷积层和池化层上；(5)利用训练集训练毒蕈图像识别网络，得到训练好的毒蕈图像识别模型；(6)利用训练好的毒蕈图像识别模型对待识别的毒蕈图像进行识别，获得识别结果。该毒蕈图像识别方法和装置能够准确对毒蕈进行识别和分类。

Description

一种基于深度残差网络与迁移学习的毒蕈图像识别方法和 装置

技术领域

本发明属于图像识别领域，具体涉及一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置。

背景技术

毒蕈，亦称毒蘑菇、毒菌，是指大型真菌的子实体食用后对人或畜禽产生中毒反应的物种。我国毒蕈的种类据文献中收录的已有435种，由于部分毒蕈与可食用野生菌形态特征非常相似，普通民众没有专业的鉴别能力，容易误采误食导致中毒。因此，对于普通民众如何准确识别出野生菌是否有毒是一个非常关键的问题，具有重要的研究意义。

毒蕈识别方法主要包括形态识别法、化学检测法、动植物试验检验法、真菌分类学鉴定法以及各种DNA分子标记技术。然而这些方法的局限性在于需要专业的菌物学知识和实验设备，对普通民众难以推广普及。

近年来，计算机科学领域中的机器学习(Machine learning)技术也被用于毒蕈的分类识别中，文献1：樊哿,彭卫,孙山,et al.基于支持向量机的蘑菇毒性判别研究[J].中国农学通报,2015,31(19):232-236提供了基于支持向量机(Support vector machine)的蘑菇毒性判别研究；文献2：刘斌,张振东,张婷婷.基于贝叶斯分类的毒蘑菇识别[J].软件导刊,2015,14(11):60-62基于贝叶斯分类的毒蘑菇识别。这两种方法针对传统毒蕈识别存在的局限性，根据毒蕈的结构属性特征建立了毒蕈识别模型，其不足之处有两方面：一方面是由于毒蕈生长阶段和所处环境等因素影响，会导致人工提取特征较为复杂，识别结果很依赖于毒蕈特征选取的优劣；另一方面这两种试验方法所采用的毒蕈数据集来自美国加州大学欧文分校的UCI数据库，与中国境内常见的毒蕈种类相差较大，针对中国常见的毒蕈识别研究并不适用。

发明内容

本发明的目的是提供一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置，该毒蕈图像识别方法和装置能够准确对毒蕈进行识别和分类。

为实现上述发明目的，本发明提供以下技术方案：

一种基于深度残差网络与迁移学习的毒蕈图像识别方法，包括以下步骤：

包括以下步骤：

(1)采集毒蕈图像，并对所述毒蕈图像进行前景图像提取、数据增强以尺寸统一处理，并确定分类标签，以此构建训练集；

(2)利用ImageNet图像集训练深度残差网络，训练结束后，提取深度残差网络参数；

(4)构建毒蕈图像识别网络，所述毒蕈图像识别网络包括卷积层、池化层、全连接层以及softmax分类层，并将深度残差网络参数迁移到卷积层和池化层上；

(5)利用训练集训练步骤(4)构建的毒蕈图像识别网络，训练结束后，得到训练好的毒蕈图像识别模型；

(6)对待识别的毒蕈图像进行前景图像提取、数据增强以尺寸统一处理后，利用训练好的毒蕈图像识别模型对处理后的毒蕈图像进行识别，获得识别结果。

优选地，所述深度残差网络包括ResNet-50、ResNet-101或ResNet-152。进一步地，所述深度残差网络为ResNet-152。

优选地，采用GrabCut算法对毒蕈图像进行预分割，提取图像中蘑菇所在的前景图像，对前景图像进行数据增强。

所述数据增强包括：对图像进行水平翻转，随机裁剪，添加高斯噪声，图像亮度调节以及随机旋转变换。例如可以对图像随机旋转60°、90°、180°、270°等，以此实现对数据的增强。

优选地，对毒蕈图像识别网络进行训练时，将深度残差网络参数直接作为特征提取器，固定卷积层和池化层，利用训练集只训练全连接层。

优选地，对毒蕈图像识别网络进行训练时，固定深度残差网络参数中前部分用于提取图像通用特征的卷积层和池化层，然后利用训练集训练深度残差网络参数中后部分用于提取毒蕈特定特征的卷积层和池化层，全连接层。

优选地，对毒蕈图像识别网络进行训练时，以深度残差网络参数作为所述毒蕈图像识别网络的初始参数，在此基础上，利用训练集对所述毒蕈图像识别网络进行训练。

优选地，在训练毒蕈图像识别网络时，采用Adam算法进行网络参数优化，且采用k折交叉验方式进行优化。

一种基于深度残差网络与迁移学习的毒蕈图像识别装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有上述的毒蕈图像识别模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

对待识别毒蕈图像进行前景图像提取、数据增强以尺寸统一处理；

调用所述毒蕈图像识别模型对处理后的毒蕈图像进行识别，输出识别结果。

与现有技术相比，本发明具有的有益效果为：

本发明采用迁移学习，将深度残差网络学习到的图像底层特征迁移到毒蕈图像识别的任务中作为毒蕈图像识别网络的初始化参数进行训练。这样不仅节省训练时间，降低了试验硬件配置的要求，而且解决了小样本训练过程中引起的过拟问题，使得模型的泛化能力更好。

本发明采集毒蕈图像与分类标签来自于网络以及人工筛选，因此，本发明提供的毒蕈图像识别方法和装置对于常见毒蕈图像具有较高的识别率，识别准确率能够达到98.93％。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的原始毒蕈图像；

图2是对图1进行前景图像提取后获得的前景图像；

图3是实施例提供的毒蕈图像识别网络结构以及训练过程示意图；

图4是训练集和验证集的准确率的变化过程；

图5是训练集和验证集的交叉熵的变化过程。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本实施例提供了一种基于深度残差网络与迁移学习的毒蕈图像识别方法，该毒蕈图像识别方法包括训练集构建、毒蕈图像识别网络构建、毒蕈图像识别网络的训练以及毒蕈图像识别模型的应用四个阶段，下面针对每个阶段进行详细说明。

训练集构建

本实施例依据中国科学院网络化科学传播平台中列举的中国常见的毒蕈种类，使用Python语言编写爬虫脚本，并在目标网站Google Images中爬取相应种类毒蕈的图像。在得到毒蕈图像后，由于程序自动下载的可能存在不适合作为试验的图像，因此对这些图像进行适当的人工筛选。筛选具体要求为：去除某毒蕈类别中不是该类的毒蕈图像；去除分辨率过低的图像；去除毒蕈特征残缺过多的图像。经过筛选进一步提高了图像数据集的质量，筛选后的初始数据集共包含了18种国内常见的毒蕈种类，总计11695张毒蕈图像，图像格式为JPG。

在获得初始图像数据集之后，使用GrabCut算法对图像进行预分割，提取出图像中蘑菇所在的前景图像，并去除蘑菇所处环境中的杂草、树叶、土块等背景区域，以尽可能克服自然环境下复杂背景的干扰。本实施例通过OpenCV来实现，图1为原始毒蕈图像，分割效果如图2所示。

通过网络爬虫得到的初始毒蕈图像集规模量对于深度残差网络所需的训练样本量来说较小，因此采用数据增技术扩充数据集。数据增强可以给单幅图像增加多个副本，大幅增加试验样本量，进而提高网络的泛化性，减少过拟合。本实施例对图像样本采用的增强方法有：水平翻转，随机裁剪，添加高斯噪声，图像亮度调节(调亮或者调暗)，随机旋转变换(60°、90°、180°、270°)五种增强方式。在数据增强完成后，数据集总量达到116950张，将所有毒蕈图片尺寸归一为224*224像素。最后为每张图像添加分类标签，至此，每张毒蕈图像与对应的分类标签作为一个训练样本，形成训练集。

毒蕈图像识别网络构建

经过探究发现，针对毒蕈图像识别任务，虽然毒蕈图像数据集与ImageNet图像数据集中的图像内容不同，但是图像的边缘、纹理、颜色等底层特征是通用的，因此可以将利用在ImageNet大型图像数据集上预训练的模型学习到的图像的底层特征迁移到毒蕈图像识别网络作为网络的初始化参数进行训练，这样不仅节省训练时间，降低了试验硬件配置的要求，而且解决了小样本训练过程中引起的过拟问题，使得模型的泛化能力更好。

如图3所示，本实施例中采用的深度残差网络为ResNet-152，先利用ImageNet图像集训练ResNet-152，预训练完成后，提取并保存ResNet-152模型参数。

在获得ResNet-152模型参数的基础上，构建毒蕈图像识别网络，所述毒蕈图像识别网络包括卷积层、池化层、全连接层以及softmax分类层，并将深度残差网络参数迁移到卷积层和池化层上，本实施例中毒蕈图像的类别是18类，所以18标签的Softmax分类器替换掉Softmax分类层，至此，毒蕈图像识别网络构建完成。

毒蕈图像识别网络的训练

在构建好毒蕈图像识别网络后，利用训练样本对毒蕈图像识别网络进行训练，以获得参数确定的毒蕈图像识别模型。

训练时，可以采用三种训练策略，训练策略一是将深度残差网络参数直接作为特征提取器，固定卷积层和池化层，利用训练集只训练全连接层。训练策略二是固定深度残差网络参数中前部分用于提取图像通用特征的卷积层和池化层，然后利用训练集训练深度残差网络参数中后部分用于提取毒蕈特定特征的卷积层和池化层，全连接层。训练策略三是以深度残差网络参数作为所述毒蕈图像识别网络的初始参数，在此基础上，利用训练集对所述毒蕈图像识别网络进行训练。经过大量的试验对比，试验对比如表1所示：

表1不同训练策略比较

从表1可以看出，方案1与方案2-3的训练策略相比，训练时间更长，Top-1准确率和Top-5准确率却都更低；与方案4的训练策略三相比，虽然训练时间更短，但是其准确率也远低于方案4。这表明了在没有使用迁移学习的试验中，针对毒蕈识别任务需要从图像的底层特征完全重新学习，而使用迁移学习的试验中，预训练网络模型已经在ImageNet数据集上学习到图像丰富的底层特征，迁移到毒蕈识别模型中后不仅节省了训练时间，而且准确率更高，泛化能力更好。在方案2-4的试验中，训练策略三的准确率最高，这是因为本文试验的毒蕈图像数据集和ImageNet数据集中的图像内容差别较大，相比于策略一和二，重新训练全层的策略三准确率更高些，训练时间也更久。本实施例以准确率为模型评估标准，因而训练策略三更适合。

在毒蕈的多分类任务中，输出层采用Softmax函数，其函数公式为：

式中，j＝1,2,...,K。Softmax将多个神经元的输出值映射到[0,1]区间内，该区间内的每个值代表这个样本属于每个类的概率，而这些值的累和为1。神经元的输出值越大，则该神经元对应的类别是真实类别的概率更高，因此在最后选取输出结点的时候，选取值对应最大的结点，作为预测目标。

采用交叉熵(Cross entropy)作为损失函数，其表达式为：

式中，m为当前一批输入网络的样本数量，n为类别数量，y_ji为真实的标签，为预测的标签，C_loss为损失值。交叉熵刻画了实际输出概率与期望输出概率分布之间的距离，交叉熵的值越小，表示模型训练过程的中学习效果越好。

在训练时，参数优化方法采用Adam(Adaptive moment estimation,Adam)算法，该算法结合了适应性梯度算法和均方根传播算法的优点，通过计算每个参数的梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。梯度的一阶矩估计m_t和二阶矩估计v_t可分别表示为：

m_t＝β₁·m_t-1+(1-β₁)·g_t (3)

式中，β₁为一阶矩估计的指数衰减率，值设为0.9；β₂为二阶矩估计的指数衰减率，值设为0.999；下标t和t-1分别为当前时刻和前一时刻，

表示在t时刻对应参数的梯度。

m_t和v_t初始化为0向量，它们就会向0偏置，因此需要做偏差校正，通过计算偏差校正后的m_t和v_t来抵消偏差：

按照公式(5)进行迭代更新：

式中，α为学习率，设为0.001；∈设为10^-8，为了防止在实现中除以零。

训练时采用k折交叉验(k-fold cross validation)的方式，k取5。训练过程如下：

1.把数据集随机划分成5份子集。

2.将4份子集作为训练集，剩余1份作为测试集。

3.循环第二步训练5次，每次选择其中一份子集做测试集。

4.将5次实验获得准确率的平均值作为最终准确率。

在训练过程中，需要检验模型的参数选择配置和训练程度，因此将训练集再划分为两个部分，一部分是用于训练模型的训练集，另一部分是用于调整模型超参数的验证集。测试集主要用于评估模型的准确率和泛化能力。在训练结束后，将测试集图像输入到模型，得到输出分类结果。

为了评估毒蕈图像识别模型的识别准确率，本实施例采用Top-1准确率(Acc_top-1)和Top-5准确率(Acc_top-5)作为评估标准。Top-1准确率是指最后输出的概率向量中最大概率所代表的毒蕈类别与正确的毒蕈类别一致的概率，公式为式(8)；Top-5准确率是指最后输出的概率向量值最大的五个概率所代表的毒蕈类别中包含有正确的毒蕈类别的概率，公式为式(9)。

式中：N表示图像总数，N_top-1表示正确分类的图像数量，N_top-5表示图像真实类别命中输出概率向量值最大的五个概率所代表的类别的图像数量。

具体实验时，迭代步数为5000，初始学习率设为0.001，使用Adam优化算法动态调整每个参数的学习率，批尺寸设为32，激活函数为Relu函数，使用SoftMax分类器进行分类，交叉熵损失函数来评估真实值与预测值之间的差距。经过5000次迭代结束后得到的训练集和验证集的Top-1准确率变化过程如图4所示，交叉熵变化过程如图5所示。其中实线代表在训练集上的变化过程，虚线代表在验证集上的变化过程。

从图4中可以看出，随着迭代次数的增加，模型在训练集和验证集上准确率呈整体上升趋势，在训练集上，第4158步时训练集的Top-1准确率达到了最高的94.86％，在第5000步训练结束时Top-1准确率为91.21％；在验证集上，在第5000步训练结束时的Top-1准确率达到了最高的92.79％。从图5中可以看出，随着迭代次数的增加，交叉熵损失函数呈下降趋势，在迭代结束时，训练集的交叉熵值为0.216，验证集的交叉熵值为0.447。根据准确率和交叉熵的变化，可以看出模型的训练效果较好，达到了试验预期目标。

毒蕈图像识别模型的应用

应用时，按照训练集构建阶段的方法步骤，对待识别毒蕈图像进行前景图像提取、数据增强以尺寸统一处理；然后，将处理后的待识别毒蕈图像输入至毒蕈图像识别模型中，经计算，输出识别置信度，依次获得识别结果。

本实施例还提供了一种基于深度残差网络与迁移学习的毒蕈图像识别装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有上述的毒蕈图像识别模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

对待识别毒蕈图像进行前景图像提取、数据增强以尺寸统一处理；

调用所述毒蕈图像识别模型对处理后的毒蕈图像进行识别，输出识别结果。

毒蕈图像识别装置中对待识别毒蕈图像进行前景图像提取、数据增强以尺寸统一处理步骤与毒蕈图像识别方法中对待识别毒蕈图像进行前景图像提取、数据增强以尺寸统一处理步骤相同，此处不再赘述。该毒蕈图像识别装置由于应用了上述的毒蕈图像识别模型，因此，平均识别精度达到98.93％。

实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现毒蕈图像的预处理和识别步骤。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度残差网络与迁移学习的毒蕈图像识别方法，包括以下步骤：

(1)采集毒蕈图像，并对所述毒蕈图像进行前景图像提取、数据增强以尺寸统一处理，并确定分类标签，以此构建训练集；

(2)利用ImageNet图像集训练深度残差网络，训练结束后，提取深度残差网络参数；

(4)构建毒蕈图像识别网络，所述毒蕈图像识别网络包括卷积层、池化层、全连接层以及softmax分类层，并将深度残差网络参数迁移到卷积层和池化层上；

(5)利用训练集训练步骤(4)构建的毒蕈图像识别网络，训练结束后，得到训练好的毒蕈图像识别模型；

(6)对待识别的毒蕈图像进行前景图像提取、数据增强以尺寸统一处理后，利用训练好的毒蕈图像识别模型对处理后的毒蕈图像进行识别，获得识别结果。

2.如权利要求1所述的基于深度残差网络与迁移学习的毒蕈图像识别方法，其特征在于，所述深度残差网络包括ResNet-50、ResNet-101或ResNet-152。

3.如权利要求1所述的基于深度残差网络与迁移学习的毒蕈图像识别方法，其特征在于，采用GrabCut算法对毒蕈图像进行预分割，提取图像中蘑菇所在的前景图像，对前景图像进行数据增强。

4.如权利要求1所述的基于深度残差网络与迁移学习的毒蕈图像识别方法，其特征在于，所述数据增强包括：对图像进行水平翻转，随机裁剪，添加高斯噪声，图像亮度调节以及随机旋转变换。

5.如权利要求1所述的基于深度残差网络与迁移学习的毒蕈图像识别方法，其特征在于，对毒蕈图像识别网络进行训练时，将深度残差网络参数直接作为特征提取器，固定卷积层和池化层，利用训练集只训练全连接层。

6.如权利要求1所述的基于深度残差网络与迁移学习的毒蕈图像识别方法，其特征在于，对毒蕈图像识别网络进行训练时，固定深度残差网络参数中前部分用于提取图像通用特征的卷积层和池化层，然后利用训练集训练深度残差网络参数中后部分用于提取毒蕈特定特征的卷积层和池化层，全连接层。

7.如权利要求1所述的基于深度残差网络与迁移学习的毒蕈图像识别方法，其特征在于，对毒蕈图像识别网络进行训练时，以深度残差网络参数作为所述毒蕈图像识别网络的初始参数，在此基础上，利用训练集对所述毒蕈图像识别网络进行训练。

8.如权利要求1所述的基于深度残差网络与迁移学习的毒蕈图像识别方法，其特征在于，在训练毒蕈图像识别网络时，采用Adam算法进行网络参数优化，且采用k折交叉验方式进行优化。

9.一种基于深度残差网络与迁移学习的毒蕈图像识别装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中存有权利要求1～8任一项所述的毒蕈图像识别模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

对待识别毒蕈图像进行前景图像提取、数据增强以尺寸统一处理；

调用所述毒蕈图像识别模型对处理后的毒蕈图像进行识别，输出识别结果。

Images