CN109615010A - 基于双尺度卷积神经网络的中药材识别方法及系统 - Google Patents

Abstract

本申请公开了基于双尺度卷积神经网络的中药材识别方法及系统，首先通过专门设计的图像采集装置进行双尺度图像的采集，将训练图像送入卷积神经网络进行训练，经过多层卷积池化的特征提取与选择，训练得到识别精度较高的卷积神经网络模型。将待测图像送入训练好的卷积神经网络模型中进行特征提取，基于提取的特征对中药材进行分类，输出分类识别结果。本发明有利于提高普通人对药材的识别能力，辅助药材领域专家更准确快速的辨别药材。

Description

基于双尺度卷积神经网络的中药材识别方法及系统

技术领域

本公开涉及基于双尺度卷积神经网络的中药材识别方法及系统。

背景技术

本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。

随着我国经济水平的增长，国民的生活水平也越来越高。为了提高生活质量，更多的人开始注重养生。自古以来，中医药文化博大精深，蕴含着我国千百年来的历史精华，它是中华民族与疾病长期斗争过程中积累的宝贵财富，是中华民族优秀文化的重要组成部分，为人类健康和中华民族的昌盛做出了极大的贡献。

作为我国的传统产业，中医药产业在资源以及知识方面具有很大优势。继承我国传统医药文化，在此基础上做出进一步创新，推动我国医药产业的发展。中药材作为一种传统药物，不仅对传统中医药学具有重要的作用，而且对于现代医学也有重大影响，已经找到了方法来治疗二型糖尿病、癌症以及女性不孕症等方面的问题。

中药材的正确使用，对患者的生命安全起到了至关重要的作用。现在中药材领域专家稀少，很多药房实习医生不熟悉药材的辨别，错误使用药材，极有可能造成非常严重的后果。目前中药市场真药混杂假药，即使是医药相关人员也不一定能够确保药材的正确认识。中药材种类众多，极大的增大了辨别的难度。

申请号为2017109396722，发明名称为：一种基于深度神经网络的中药材识别方法，其采用网络爬虫和人工拍照采集中药材图片作为数据集的输入并进行预处理；训练与预测过程采用集成学习之Bagging方法，利用经典卷积神经网络模型对各个子训练集进行微调训练，生成多个弱分类器，最后配合Softmax分类算法，并使用集成学习组合策略得到强分类器，得到分类结果。该专利虽然能够实现中药材识别，但是，申请人认为，该专利的人工拍照环节没有采用特殊装置拍照，无法避免拍照光线不足、拍照反光、拍照手抖等问题拍摄出来的不能精确识别药材类型的图像，会导致后期卷积神经网络识别精度不高；且该专利采用的是普通的卷积神经网络算法，存在的问题是识别速度不快。

发明内容

为了解决现有技术的不足，本公开提供了基于双尺度卷积神经网络的中药材识别方法及系统；

第一方面，本公开提供了基于双尺度卷积神经网络的中药材识别方法；

基于双尺度卷积神经网络的中药材识别方法，包括：

构建双尺度卷积神经网络，使用抽屉盒子采集每种药材相同分辨率下的整体和局部两张训练图像，设置训练图像对应的药材分类标签，对每种药材的两张训练图像均进行预处理，将预处理后的每种药材的两张训练图像并列作为一组输入值，输入到卷积神经网络中，将药材分类标签作为卷积神经网络的输出值，对卷积神经网络进行训练，得到训练好的卷积神经网络；

采用同样的方式，使用抽屉盒子采集待识别药材的相同分辨率下的整体和局部两张待测图像，对待识别药材的两张待测图像均进行预处理，将两张待测图像并列作为一组输入值，输入到训练好的卷积神经网络中，利用训练好的卷积神经网络提取到两张待测图像的图像特征融合后的结果，根据融合后的结果获得所述待测图像对应的药材的识别结果。

作为一种可能的实现方式，所述双尺度卷积神经网络，包括：

依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层；

所述输入层，包括六个通道，其中三个通道用于接收第一尺度的整体图像，另外三个通道用于接收第二尺度的局部图像；每张图像包括RGB三个通道即3个像素矩阵；所述输入层的输入为六个像素矩阵，六个像素矩阵中，有三个像素矩阵来源于拍摄的整体图像，另外三个像素矩阵的来源于拍摄的局部图像；矩阵大小为92*92*6；

所述第一卷积层，用于与所述输入层的像素矩阵进行卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为20*1，得出特征图大小为88*88*20；

所述第一池化层，用于对所述第一卷积层提取的图像特征像素矩阵进行降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为44*44*20；

所述第二卷积层，用于对所述第一池化层得出的特征图进一步的进行卷积操作，提取图像特征，卷积核选用5*5*6*24，偏置大小为24*1，得出特征图大小为40*40*24；

所述第二池化层，用于对所述第二卷积层得出的特征图进一步降维，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为20*20*24；

所述第三卷积层，用于对所述第二池化层得出的特征图进一步卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为24*1，得出特征图大小为16*16*24；

所述第三池化层，用于对所述第三卷积层得出的特征图进一步降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后特征图大小为8*8*24；

所述全连接层，用于对所述第三池化层得出的图像特征进行整合，权重矩阵大小为p*1536，偏置为p*1。

所述输出层，用于输出识别分类结果，输出矩阵大小为p*1，该结果代表输入样本中对应的p种药材类别的概率，取最大值所在的类别为分类结果。

之所以采集相同分辨率下同一种中药材的整体和局部两张图像，而不是简单的图像缩放，是考虑到颗粒小的中药材或纹理相似的中药材；所述颗粒小的中药材例如菟丝子和沙苑子；纹理相似的中药材例如丹皮和白鲜皮；常规聚焦之后拍摄的图片从整体上看并无明显区别，这种训练样本如果直接送到卷积神经网络里，是无法准确的提取到其高层特征的。因此本申请对每一份药材采集两种尺度的训练图像，从底层特征的抽取开始就帮助卷积神经网络尽可能获取训练图像更多的纹理、形状、颜色等底层细节，提高训练效率和最终的识别精度。

作为一种可能的实现方式，针对每种药材均拍摄角度不同的两张训练图像的具体步骤为：

采用抽屉盒子对每一种药材进行拍摄，所述抽屉盒子，包括方形盒子本体，所述方形盒子本体包括顶面、底面、左侧面、右侧面、前侧面和后侧面，所述左侧面和右侧面的内侧均设有滑轨，所述滑轨分别设置在左侧面和右侧面的垂直方向的中间位置；所述方形盒子本体内部中间位置设有抽屉，所述抽屉的左右两侧分别安装在左侧面和右侧面内侧的滑轨上；所述抽屉将方形盒子本体划分为上下两个空间，所述方形盒子顶面设有矩形开槽，所述矩形开槽用于放置手机；所述手机与后台服务器连接；

拍摄前，将药材放入抽屉中，关闭抽屉后，启动手机的拍照模式，对抽屉内的药材拍摄第一张训练图像；

然后，将抽屉从方形盒子本体中抽出，将药材放置在方形盒子底面上，启动手机的拍照模式，对方形盒子底面的药材拍摄第二张训练图像；

第一张训练图像是显示药材局部区域的局部图像，第二张训练图像是显示药材整体区域的整体图像；所述双尺度图像指输入的图像源数据为在相同分辨率下的整体与局部两种视野的图像。

第一张训练图像和第二张训练图像同时上传给后台服务器。

所述抽屉盒子，在抽屉关闭时，整个抽屉内部是密封的，由于抽屉外部有一个上下推拉式的门，所以抽屉拿掉后，整个盒子内部仍是密封的，即为药材建立一个暗箱环境，从而避免外部光照射进入抽屉盒子内部，进而干扰药材的拍摄。

所述抽屉盒子，顶面设有S形排列的灯珠，所述灯珠通过电池供电，所述灯珠发出的光为平行白光，以保证抽屉盒子内部亮度一致。选用白光是为了防止其他颜色的灯光照射到药材上，可能改变药材本身的颜色而影响识别效果；选用平行光而不是点光源，是因为平行光相较于点光源，各处的光照强度更为均衡，不易产生光偏移以及光斑，更难以产生明显的偏暗区域，可以更好的保证所拍药材图片的真实性和有效性。

所述抽屉盒子采用白色的树脂材料，抽屉盒子外部贴有一层黑色的不透光贴纸，避免光线照射到抽屉盒子内部，对拍照产生反光影响，保证该设备除了内部的光源，不会再接受其他任何光源的影响。

所述手机放在矩形开槽上，可以避免拍照时候，人的拍摄角度或手部颤抖等不确定因素对图像的清晰度产生的影响。

作为一种可能的实现方式，设置训练图像对应的药材分类标签的具体步骤为：

分类标签上设置药材唯一编号和药材对应的名称。

作为一种可能的实现方式，对每种药材的两张训练图像均进行预处理的具体步骤为：

为了扩展训练图像的数量，对拍摄的图像进行随机处理，并对随机处理后得到的图像与处理前的训练图像一起作为训练图像；所述随机处理，包括：随机旋转或翻转；随机色调变换、随机模糊或随机光偏移场。

作为一种可能的实现方式，将预处理后的每种药材的两张训练图像并列作为一组输入值，输入到卷积神经网络中，将药材分类标签作为卷积神经网络的输出值，对卷积神经网络进行训练，得到训练好的卷积神经网络的具体步骤为：

输入的一组训练图像，包括拍摄角度不同的两张训练图像，每张训练图像包括三个输入矩阵；两张训练图像一共包括六个输入矩阵；

输入的一组图像与卷积核进行卷积操作，1个输入矩阵对应m个卷积核经过卷积操作即得出m个特征图，6个输入矩阵对应6*m个卷积核，经过卷积操作即得出6*m个特征图，将所述6*m个特征图中，对应的每6个特征图进行特征融合，即相加为1个特征图，即最终得到m个特征图；

池化层对所得特征图取平均操作，最终输出特征融合后的m个图片像素矩阵，矩阵经过全连接层的分类识别，输出p种药材的识别概率，根据输出结果与实际结果的比较，得出输出层误差，运用梯度下降法，经过误差反向传播，逐层反馈，调节网络各层参数；

进行若干次迭代训练，对参数进行调整，当卷积神经网络的损失函数值小于设定阈值或者迭代次数达到设定次数时，停止训练，得到训练好的卷积神经网络。

m为卷积核的一个参数，取值为20或24。

作为一种可能的实现方式，对待识别药材的两张待测图像均进行预处理的具体步骤为：

对待测图像的大小进行压缩处理。

作为一种可能的实现方式，利用训练好的卷积神经网络提取到两张待测图像的图像特征融合后的结果的具体步骤为：

步骤S11：1个输入矩阵对应m个卷积核得到m个特征图，一组待测图像为6个输入矩阵即对应6*m个卷积核得到6*m个特征图，将特征图对应的每6个进行特征融合相加为1个特征图，最终得到m个特征图；池化层对所得特征图取平均操作，最终输出特征融合后的m个图片像素矩阵；

步骤S12：将特征融合后的m个图片像素矩阵加上偏置，进而将所得矩阵的每个元素输入到sigmoid激活函数中，提取图像的轮廓和轮廓各部分所在位置特征；继而进入池化层进行像素矩阵的降维，突出主要特征；

步骤S13：经过所有卷积层与池化层的特征提取与选择，实现特征的融合；最终将所得特征矩阵按照顺序拉成一列向量。

作为一种可能的实现方式，根据融合后的结果获得所述待测图像对应的药材的识别结果的具体步骤为：

步骤S21：将所得特征矩阵拉成一列向量，送入全连接层，所述列向量为1536维；

步骤S22：将所述列向量与权重矩阵的每一行元素对应相乘，再相加，得出矩阵大小为p*1，权重矩阵大小为p*1536；

步骤S23：将所得矩阵加上偏置，进而送入sigmoid激活函数中；

步骤S24：经过激活函数输出p个结果，代表p种药材类别的概率，取最大值所在的类别为最终结果。

第二方面，本公开提供了基于双尺度图像特征融合的中药材识别系统；

基于双尺度图像特征融合的中药材识别系统，包括：手机，手机中包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器用于处理存储在存储器中的计算机指令，同时完成上述任一方法所述的步骤。

第三方面，本公开提供了一种计算机可读存储介质；

一种计算机可读存储介质，其上运行有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。

与现有技术相比，本公开的有益效果是：

1、本申请提供了一种用于采集的新型抽屉盒子，利用此装置进行采集可以有效避免人为拍摄时光照情况、拍摄角度、以及手部颤动等不确定因素产生的影响，提高系统识别时的鲁棒性和稳定性。

2、本申请中采用双尺度图像作为卷积神经网络的输入，即同一种药材两种尺度图片一同送入卷积神经网络，可以帮助卷积神经网络提取一些纹理形状极为相似的药材的高层区别特征，有效的提高卷积神经网络的识别精度。采用双尺度图像能够适应现实中人们不同角度拍摄的问题，使之在不同视野拍摄过程中仍能进行准确识别。采用双尺度输入同时也可以获得不同尺度的纹理、形状等细节信息，提高神经网络的识别率。双尺度卷积神经网络同时输入两张图像，也有利于对图像的快速识别，提高图像识别的速度。

3、本发明是一种实时识别系统，对于用户所拍摄的药材图片能够快速返回识别结果，实时性较好。

4、弥补了药材领域专业人士的匮乏，提高业余人士对药材的认识，能够快速准确的对药材进行辨认。本申请有效弥补了我国大力发展中医药产业背景下，药材识别人员不足，药材识别存在困难，相似药材容易混淆的不足。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本申请的步骤流程图；

图2是本申请的抽屉盒子示意图；

图3是本申请卷积神经网络的结构示意图；

图4是本申请卷积神经网络的结构示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

利用卷积神经网络对输入的双尺度药材图片样本进行分类。由于同时送入的药材图片为整体和局部两张图片，一张图片包括RGB三个通道为3维矩阵，即卷积神经网络的输入为六通道，6个矩阵。根据卷积神经网络的输出结果与实际药材信息的差值逐层反馈，训练神经网络的各参数值，最终得到精确的分类结果，如图4所示。

实施例一

如图1所示，基于双尺度图像特征融合的中药材识别方法，包括如下步骤：

步骤S1：采集药材图片，对图片进行预处理。为了提高机器学习的准确率，在采集药材的过程中，针对同一种药材拍同一个角度拍摄两次，一远一近，将图片尺寸统一为500*500大小，然后将同一药材的远近图片送入图片处理函数中，对图片经过随机裁剪、随机旋转或翻转、随机色调变换、随机模糊、随机光偏移场等处理之后输出尺寸为92*92大小的图片作为卷积神经网络模型的输入。

步骤S2：由于数据集过于庞大，每次从远近图片集中随机各选取5张图片进行训练，要保证从远图片集中选取的5张图片与近图片集中的5张图片是一一对应关系。每张图片的像素矩阵大小为92*92*3，要将远近两张图片同时送入，即输入尺寸大小为92*92*6，由之前的三通道变为六通道，送入卷积神经网络中进行训练。

步骤S3：如图3所示，卷积神经网络采取三层卷积层和三层池化层，第一卷积层卷积核为5*5*6*20，输出20张特征图；第二卷积层卷积核为5*5*6*24，输出24张特征图；第三卷积层卷积核为5*5*6*24，输出24张特征图。这三层的池化层卷积核均为2*2。

步骤S4：初始化卷积神经网络，各参数赋设置如下：学习率0.1，迭代次数3000，输入2张图片即6个矩阵，图片大小92*92，卷积核大小为5*5，对于第一、二、三卷积层，卷积核赋值范围均为-1到1之间的随机数，偏置初始值为0，对于第一、二、三池化层，采用的池化方式为mean-pooling平均池化方式，即取卷积核值均为0.25，偏置初始值为0，全连接层的权重值取-1到1之间的随机数，偏置初始值赋为0。

步骤S5：利用卷积神经网络对各个小训练集进行训练，在卷积过程中，对于第一卷积层，1个输入矩阵对应m个卷积核经过卷积操作即得出m个特征图，6个输入矩阵对应6*m个卷积核，经过卷积操作即得出6*m个特征图，将这6*m个特征图每隔6个进行特征融合相加为1个特征图，即最终得到m个特征图。m为卷积核的一个参数，建议取20。对于后续的第二、三常规卷积层，其输出的特征图的个数等于该层卷积的输入特征图的个数。这一过程中，第一、二、三卷积层所用公式如下：

其中a为输出矩阵，I为输入的双尺度图片矩阵，ω为卷积核，b为偏置，f指的是激活函数，本申请采用sigmoid激活函数。函数公式如下：

池化层采用的是平均池化方式，mean-pooling方法。

步骤S6：由第三池化层输出24张特征图，大小为4*4，将这些图片像素矩阵值拉成一列向量作为全连接层，总共8*8*24＝1536个神经元，该层的权值矩阵大小为17*1536，偏置为17*1，经过每个神经元与权值对应相乘的加和再加上偏置，经过sigmoid激活函数得出17种药材类别的概率。

步骤S7：根据得出的结果与实际结果比较，对卷积神经网络的参数进行反向调节，使其得出的结果更加准确。这里采用的损失函数为经典的均方误差(MSE)来评估结果，MSE越小，中药材分类的模型效果越好。

其中n为分类类别，act为样本实际值，pre是预测值，属于此类预测值为1，不属于此类预测值为0。

步骤S8：计算出输出层结果与实际结果之间的误差，反向传播回来的误差可以看作是每个神经元的灵敏度。输出层的神经元灵敏度为：

u^L＝ω^Lx^L-1+b^L

δ表示灵敏度，f′表示激活函数的导数，y表示输出值，t表示实际值。

表示矩阵对应元素相乘。ω表示权值，x表示上一层输入，b表示偏置。

步骤S9：全连接层的误差对于该层每一个权值的导数是该层的输入与该层灵敏度的叉乘，得到的偏导数乘以学习率就是该层神经元的权值更新，公式如下：

其中E表示均方误差，δ表示灵敏度即误差，f’表示激活函数的导数，表示矩阵对应元素相乘。ω表示权值，x表示上一层输入，η表示学习率。

步骤S10：由步骤S9得出全连接层的误差，由于全连接层是第三池化层拉成的一列向量，所以全连接层的误差经过矩阵重构即第三池化层误差。

步骤S11：由步骤S10已知第三池化层误差，根据该层误差继续反向推导，从缩小后区域的误差来还原前一层较大区域的误差，这个过程叫做upsample。第三池化层区域大小为2*2，把误差矩阵上下左右扩展各1行1列，即变为4*4大小，还原后的矩阵包括四个2*2的小矩阵，对于每一个小矩阵都进行平均计算，得到的矩阵就是upsample之后的矩阵。由第三池化层误差推导出第三卷积层误差的公式为：

步骤S12：对于该层是第一、第二、第三卷积层的时候，前向传播时就有卷积操作，已知第一、二、三卷积层误差，求第一、二池化层误差时，卷积核要翻转180°进行计算，公式如下：

表示卷积操作，rot180(x)表示x上下左右翻转180°

步骤S13：计算出第一、二、三卷积层的误差，对第一、二、三卷积层的卷积核以及偏置进行更新求梯度，更新式如下：

a表示上一层的输出，对于卷积核的更新即该层的误差与前一层输出翻转180°后做卷积，对于偏置的更新即误差δ的各个子矩阵的项分别求和，得到一个误差向量，即为b的梯度。

步骤S14：经过多次迭代训练，不断的对参数进行调整，当误差小于0.1时，即结束训练。若误差达不到设定的最小值，即迭代3000次结束训练。

步骤S15：最终得出该药材的分类结果，即对于每一个92*92*6的图片像素矩阵，输出的17个结果代表17种药材类别的概率，取最大值所在类别为该图像的类别。

实施例二

本实施例具体从药材采集设备的准备，训练模型，实际测试几个方面介绍一种基于双尺度图像特征融合以及数据增强的中药材识别技术，具体过程如下：

一、药材采集设备的准备

当人为的进行拍照，收集要识别的药材素材的时候，人们拍照时的光照情况，拍摄角度，以及手部颤动等不确定因素会对取得的照片产生影响。因此，若不改善这一情况，即使对于同一药材，多次拍照所取得的图片效果也很有可能是不一样的，会极大的影响药材识别的准确率。所以，为了解决这一问题，利用3D打印技术设计采集药材设备。

如图2所示，采用抽屉盒子对每一种药材进行拍摄，所述抽屉盒子，包括方形盒子本体，所述方形盒子本体包括顶面、底面、左侧面、右侧面、前侧面和后侧面，所述左侧面和右侧面的内侧均设有滑轨，所述滑轨分别设置在左侧面和右侧面的垂直方向的中间位置；所述方形盒子本体内部中间位置设有抽屉，所述抽屉的左右两侧分别安装在左侧面和右侧面内侧的滑轨上；所述抽屉将方形盒子本体划分为上下两个空间，所述方形盒子顶面设有矩形开槽，所述矩形开槽用于放置手机；所述手机与后台服务器连接；

拍摄前，将药材放入抽屉中，关闭抽屉后，启动手机的拍照模式，对抽屉内的药材拍摄第一张训练图像；

然后，将抽屉从方形盒子本体中抽出，将药材放置在方形盒子底面上，启动手机的拍照模式，对方形盒子底面的药材拍摄第二张训练图像；

第一张训练图像是显示药材局部区域的局部图像，第二张训练图像是显示药材整体区域的整体图像；所述双尺度图像指输入的图像源数据为在相同分辨率下的整体与局部两种视野的图像。

第一张训练图像和第二张训练图像同时上传给后台服务器。

为了避免光照对于拍照的影响，将设备构造成一个封闭的暗室。为了避免光线照射到箱子内部，对拍照产生反光影响，在考虑到设备的便携性，采用白色的树脂材料打印这一设备。由于设备的颜色是白色，所以外界的光源会射入设备内部，因此在箱子外部贴上一层黑色的不透光的贴纸，保证该箱子除了内部的光源，不会再接受其他任何光源的影响。

药材设备结构图见附图1，设备具体制作步骤如下：

步骤S101:该设备由三部分组成，分别为设备主体，设备门，设备内部抽屉部分。

步骤S102：设备抽屉部分104长284mm宽171mm高35mm抽屉中心部分略微凹陷，保证放置药材的安全性。

步骤S103：设备门部分102长360mm宽25mm高173mm，用来放置在设备主体前方预留出的凹槽内，将设备的缝隙封死，使设备成为一个不透光的长方体。

步骤S104：设备主体部分，分为四部分：药材放置部分，供电设备放置部分，手机放置部分和用来供设备门部分放入的门槽。

步骤S105：手机放置部分101在顶部，前端为镂空的屋顶长方体以便固定手机等拍照设备来拍照。

步骤S106：供电设备放置部分103长175mm宽57mm高75mm，用来放置充电宝等供电设备。

步骤S107：设备主体部分内壁两侧有长160mm宽7.5mm髙5mm的两个搭板用来固定抽屉104。

步骤S108：设备内部顶部设置有八排成蛇形排列的2m长5050型号灯珠用来保证箱子内的光源为平行白光。选用白光目的，是为了防止其他颜色的灯光照射到药材上，可能会改变其本身的颜色而影响识别效果。而之所以选用平行光而不是点光源，是因为平行光相较于点光源，各处的光照强度更为均衡，不易产生光偏移以及光斑，更难以产生明显的偏暗区域，可以更好的保证所拍照片的真实性和有效性。

二、训练模型

步骤S201：分别从远距离和近距离拍摄的文件夹中读取药材图片，制作分类标签，存成.mat形式。

步骤S202：将数据文件load进来，将矩阵大小处理成92*92，然后送入卷积神经网络。

步骤S203：卷积神经网络采用的是6通道输入，将一份药材的两张图片同时送入网络，经过卷积神经网络的多个卷积池化层进行特征提取，得出的两张图片特征融合后的特征图。

步骤S204：将最后一层池化层拉成一列向量作为全连接层。

步骤S205：经过分类得出结果，将结果与实际值相比较，计算出误差。

步骤S206：进行误差反向传播，运用了梯度下降法，计算逐层误差，调整网络参数。

步骤S207：重复进行步骤S203—步骤S206，直至误差小于0.1或迭代3000次，结束训练。

三、实际测试

步骤S301：从手机端拍摄一味药材，先拍一张暂存，与之前一张视野范围不同的再拍一张，两张图片同时送入后台服务器。

步骤S302：将视野范围不同的两张图片尺寸大小处理成92*92。

步骤S303：将处理好的图片同时送入事先训练好的卷积神经网络模型中。

步骤S304：经过卷积神经网络卷积层池化层的特征提取与选择，进而通过全连接层分类识别，最后输出层输出识别结果，正确率可以达到90％以上。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于双尺度卷积神经网络的中药材识别方法，其特征是，包括：

构建双尺度卷积神经网络，使用抽屉盒子采集相同分辨率下的整体和局部两张训练图像，设置训练图像对应的药材分类标签，对每种药材的两张训练图像均进行预处理，将预处理后的每种药材的两张训练图像并列作为一组输入值，输入到卷积神经网络中，将药材分类标签作为卷积神经网络的输出值，对卷积神经网络进行训练，得到训练好的卷积神经网络；

采用同样的方式，使用抽屉盒子采集待识别药材的相同分辨率下的整体和局部两张待测图像，对待识别药材的两张待测图像均进行预处理，将两张待测图像并列作为一组输入值，输入到训练好的卷积神经网络中，利用训练好的卷积神经网络提取到两张待测图像的图像特征融合后的结果，根据融合后的结果获得所述待测图像对应的药材的识别结果。

2.如权利要求1所述的方法，其特征是，所述构建双尺度卷积神经网络，包括：

依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层；

所述输入层，包括六个通道，其中三个通道用于接收第一尺度的整体图像，另外三个通道用于接收第二尺度的局部图像；每张图像包括RGB三个通道即3个像素矩阵；所述输入层的输入为六个像素矩阵，六个像素矩阵中，有三个像素矩阵来源于拍摄的整体图像，另外三个像素矩阵的来源于拍摄的局部图像；矩阵大小为92*92*6；

所述第一卷积层，用于与所述输入层的像素矩阵进行卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为20*1，得出特征图大小为88*88*20；

所述第一池化层，用于对所述第一卷积层提取的图像特征像素矩阵进行降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为44*44*20；

所述第二卷积层，用于对所述第一池化层得出的特征图进一步的进行卷积操作，提取图像特征，卷积核选用5*5*6*24，偏置大小为24*1，得出特征图大小为40*40*24；

所述第二池化层，用于对所述第二卷积层得出的特征图进一步降维，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为20*20*24；

所述第三卷积层，用于对所述第二池化层得出的特征图进一步卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为24*1，得出特征图大小为16*16*24；

所述第三池化层，用于对所述第三卷积层得出的特征图进一步降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后特征图大小为4*4*24；

所述全连接层，用于对所述第三池化层得出的图像特征进行整合，权重矩阵大小为p*192，偏置为p*1；

所述输出层，用于输出识别分类结果，输出矩阵大小为p*1，该结果代表输入样本中对应的p种药材类别的概率，取最大值所在的类别为分类结果。

3.如权利要求1所述的方法，其特征是，针对每种药材均拍摄角度不同的两张训练图像的具体步骤为：

采用抽屉盒子对每一种药材进行拍摄，所述抽屉盒子，包括方形盒子本体，所述方形盒子本体包括顶面、底面、左侧面、右侧面、前侧面和后侧面，所述左侧面和右侧面的内侧均设有滑轨，所述滑轨分别设置在左侧面和右侧面的垂直方向的中间位置；所述方形盒子本体内部中间位置设有抽屉，所述抽屉的左右两侧分别安装在左侧面和右侧面内侧的滑轨上；所述抽屉将方形盒子本体划分为上下两个空间，所述方形盒子顶面设有矩形开槽，所述矩形开槽用于放置手机；所述手机与后台服务器连接；

拍摄前，将药材放入抽屉中，关闭抽屉后，启动手机的拍照模式，对抽屉内的药材拍摄第一张训练图像；

然后，将抽屉从方形盒子本体中抽出，将药材放置在方形盒子底面上，启动手机的拍照模式，对方形盒子底面的药材拍摄第二张训练图像；

第一张训练图像是显示药材局部区域的局部图像，第二张训练图像是显示药材整体区域的整体图像；所述双尺度图像指输入的图像源数据为在相同分辨率下的整体与局部两种视野的图像。

4.如权利要求3所述的方法，其特征是，

所述抽屉盒子，在抽屉关闭时，整个抽屉内部是密封的，由于抽屉外部有一个上下推拉式的门，所以抽屉拿掉后，整个盒子内部仍是密封的，即为药材建立一个暗箱环境，从而避免外部光照射进入抽屉盒子内部，进而干扰药材的拍摄；

所述抽屉盒子，顶面设有S形排列的灯珠，所述灯珠通过电池供电，所述灯珠发出的光为平行白光，以保证抽屉盒子内部亮度一致；

所述抽屉盒子采用白色的树脂材料，抽屉盒子外部贴有一层黑色的不透光贴纸，避免光线照射到抽屉盒子内部，对拍照产生反光影响；

所述手机放在矩形开槽上。

5.如权利要求1所述的方法，其特征是，对每种药材的两张训练图像均进行预处理的具体步骤为：

为了扩展训练图像的数量，对拍摄的图像进行随机处理，并对随机处理后得到的图像与处理前的训练图像一起作为训练图像；所述随机处理，包括：随机旋转或翻转；随机色调变换、随机模糊或随机光偏移场。

6.如权利要求1所述的方法，其特征是，将预处理后的每种药材的两张训练图像并列作为一组输入值，输入到卷积神经网络中，将药材分类标签作为卷积神经网络的输出值，对卷积神经网络进行训练，得到训练好的卷积神经网络的具体步骤为：

输入的一组训练图像，包括拍摄角度不同的两张训练图像，每张训练图像包括三个输入矩阵；两张训练图像一共包括六个输入矩阵；

输入的一组图像与卷积核进行卷积操作，1个输入矩阵对应m个卷积核经过卷积操作即得出m个特征图，6个输入矩阵对应6*m个卷积核，经过卷积操作即得出6*m个特征图，将所述6*m个特征图中，对应的每6个特征图进行特征融合，即相加为1个特征图，即最终得到m个特征图；

池化层对所得特征图取平均操作，最终输出特征融合后的m个图片像素矩阵，矩阵经过全连接层的分类识别，输出p种药材的识别概率，根据输出结果与实际结果的比较，得出输出层误差，运用梯度下降法，经过误差反向传播，逐层反馈，调节网络各层参数；

进行若干次迭代训练，对参数进行调整，当卷积神经网络的损失函数值小于设定阈值或者迭代次数达到设定次数时，停止训练，得到训练好的卷积神经网络。

7.如权利要求1所述的方法，其特征是，利用训练好的卷积神经网络提取到两张待测图像的图像特征融合后的结果的具体步骤为：

步骤S11：1个输入矩阵对应m个卷积核得到m个特征图，一组待测图像为6个输入矩阵即对应6*m个卷积核得到6*m个特征图，将特征图对应的每6个进行特征融合相加为1个特征图，最终得到m个特征图；池化层对所得特征图取平均操作，最终输出特征融合后的m个图片像素矩阵；

步骤S12：将特征融合后的m个图片像素矩阵加上偏置，进而将所得矩阵的每个元素输入到sigmoid激活函数中，提取图像的轮廓和轮廓各部分所在位置特征；继而进入池化层进行像素矩阵的降维，突出主要特征；

步骤S13：经过所有卷积层与池化层的特征提取与选择，实现特征的融合；最终将所得特征矩阵按照顺序拉成一列向量。

8.如权利要求1所述的方法，其特征是，根据融合后的结果获得所述待测图像对应的药材的识别结果的具体步骤为：

步骤S21：将所得特征矩阵拉成一列向量，送入全连接层，所述列向量为192维；

步骤S22：将所述列向量与权重矩阵的每一行元素对应相乘，再相加，得出矩阵大小为p*1，权重矩阵大小为p*192；

步骤S23：将所得矩阵加上偏置，进而送入sigmoid激活函数中；

步骤S24：经过激活函数输出p个结果，代表p种药材类别的概率，取最大值所在的类别为最终结果。

9.基于双尺度图像特征融合的中药材识别系统，其特征是，包括：手机，手机中包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器用于处理存储在存储器中的计算机指令，同时完成上述权利要求1-8任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征是，其上运行有计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-8任一项方法所述的步骤。