Nothing Special   »   [go: up one dir, main page]

CN111612751B - 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 - Google Patents

基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 Download PDF

Info

Publication number
CN111612751B
CN111612751B CN202010405111.6A CN202010405111A CN111612751B CN 111612751 B CN111612751 B CN 111612751B CN 202010405111 A CN202010405111 A CN 202010405111A CN 111612751 B CN111612751 B CN 111612751B
Authority
CN
China
Prior art keywords
characteristic
feature
layer
attention
tiny
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010405111.6A
Other languages
English (en)
Other versions
CN111612751A (zh
Inventor
陈海永
张泽智
刘卫朋
张建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202010405111.6A priority Critical patent/CN111612751B/zh
Publication of CN111612751A publication Critical patent/CN111612751A/zh
Application granted granted Critical
Publication of CN111612751B publication Critical patent/CN111612751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于嵌入分组注意力模块的Tiny‑yolov3网络的锂电池缺陷检测方法，该方法包括获取含有待检测缺陷的锂电池图像，通过嵌入分组注意力模块的Tiny‑yolov3网络对含有待检测缺陷的图像进行特征提取，分组注意力模块用于精细待检测缺陷特征。提出了分组注意力模块，在注意力运算之前对特征进行分组，对上采样后的特征、主干网络的第五层卷积层的输出特征以及上采样后的特征和主干网络的第五层卷积层的输出特征拼接后的特征分别采用注意力模块进行筛选，这样既可以注意到拼接前每个特征层的局部特征，也能注意到拼接后的特征层的整体特征，使网络提取到的目标特征信息更多，更加容易识别锂电池表面的小缺陷，提高识别的精确度。

Description

基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷 检测方法
技术领域
本发明涉及工业缺陷检测技术领域，具体涉及一种基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法。
背景技术
锂电池是一类采用锂金属或锂合金作为负极材料，且使用非水电解质溶液的电池，此类电池具有诸多优点，比如高容量、寿命长和环保，广泛应用于多个领域。在生产过程中锂电池存在缺陷，则会降低锂电池的性能和使用寿命，还可能存在安全隐患。锂电池缺陷包括封边褶皱、极片划痕、露箔、颗粒、穿孔、暗斑、异物、表面凹痕、污迹、鼓包、喷码变形等。目前锂电池采用的检测方式基本为人工目测检查的方式，人工检测的可靠性、稳定性和效率都无法有效控制，并且现有的人工成本高昂，难以适用于工业生产。
锂电池缺陷种类繁多，且形状随机、大小不一，表面具有非均匀纹理复杂背景，这些给锂电池的检测带来巨大挑战。王刚(王刚.基于深度学习的锂电池褶皱检测系统的研究与实现[D].辽宁大学，2019)提出了一种锂电池缺陷检测方法，该方法基于AlexNet网络与GoogLeNet网络构建了卷积神经网络，主要采用深层特征层提取缺陷特征，由于网络中缺少多尺度特征层的融合，在提取特征时经过几次下采样之后，小目标缺陷特征很难被保存下来，因此该方法对小目标缺陷的检测效果较差，检测精度较低。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法；该方法融合了浅层和深层特征，增强对不同尺度缺陷特征的检测能力，嵌入分组注意力模块增强了对锂电池小目标缺陷的检测精度。
本发明解决所述技术问题采用的技术方案是：
一种基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法，其特征在于，该方法包括获取含有待检测缺陷的锂电池图像，通过嵌入分组注意力模块的Tiny-yolov3网络对含有待检测缺陷的图像进行特征提取，分组注意力模块用于精细待检测缺陷特征；
所述Tiny-yolov3网络的主干网络的第七层卷积层的输出特征经过两次卷积后，然后通过上采样放大到与主干网络的第五层卷积层的输出特征尺度相同，得到特征x1’；然后将特征x1’与主干网络的第五层卷积层的输出特征x2按照通道拼接到一起，形成特征z；
所述分组注意力模块具体过程为：
S1、对特征z进行分组
将特征z按照通道数分为两组，分别记作特征m和n；其中，
z∈RC×W×H (1)
Figure RE-GDA0002568362790000011
Figure RE-GDA0002568362790000012
式中，R表示特征空间；W、H分别表示特征的宽度和高度；Cx为特征m的通道数；Cy为特征n的通道数；C为特征z的通道数，其中C＝Cx+Cy；
S2、注意力运算
首先对特征m分别进行基于通道的全局最大池化和基于通道的全局平均池化，分别得到 maxpool特征和avgpool特征；
然后将maxpool特征和avgpool特征进行基于通道的拼接，形成中间特征m1；中间特征m1 再经过卷积后得到注意力特征m2，注意力特征m2经过sigmoid激活函数生成空间注意力映射图M，其中，
M＝sigmoid(f7×7([AvgPool(m)，MaxPool(m)])) (4)
式中，7*7表示卷积核的大小；
最后将空间注意力映射图M和特征m做乘法，得到分组注意力特征M’，即完成对特征m 的注意力运算；
然后分别对特征n和特征z重复前述特征m注意力运算的操作，分别生成分组注意力特征 N’和Z’；将分组注意力特征M’与N’按照通道拼接到一起生成特征O’，特征O’再与分组注意力特征Z’按照通道的叠加在一起，得到特征O。
嵌入分组注意力模块的Tiny-yolov3网络的具体结构为：
Tiny-yolov3网络的主干网络包括七层卷积层和六层最大池化层，除最后一层卷积层外，每一层卷积层后面添加一层最大池化层；
首先将主干网络的第七层卷积层的输出特征经过卷积后得到特征x1；特征x1连接两条支路，一条支路为特征x1经过两次卷积后得到特征y1，特征y1即为Tiny-yolov3网络的yolo层的第一个特征层；另一条支路为特征x1经过卷积后，通过上采样放大到与主干网络的第五层卷积层的输出特征尺度相同，得到特征x1’；然后将特征x1’与主干网络的第五层卷积层输出的特征x2按照通道拼接到一起，形成特征z，特征z再通过一个分组注意力模块进行筛选，得到特征O；特征O依次经过两次卷积后得到特征y2，特征y2即为Tiny-yolov3网络的yolo层的第二特征层。
主干网络的所有卷积层的卷积核大小为3x3、步长为1；第一至五层最大池化层的池化窗口大小均为2x2、步长为2；第六层最大池化层的池化窗口大小为2x2、步长为1。
上述方法的具体步骤是：
第一步：利用工业相机采集锂电池图像，作为缺陷检测的原始图像；原始图像包括无缺陷的图像和含有待检测缺陷的图像；
第二步：对采集到的所有含有待检测缺陷的原始图像进行切割，将每张含有待检测缺陷的原始图像均匀切割成大小相等的16张小图像；对所有含有待检测缺陷的小图像进行标注形成标签，并将所有的标签分为不同的数据集；
第三步：通过嵌入分组注意力模块的Tiny-yolov3网络对含有待检测缺陷的图像进行特征提取；
第四步：首先设置模型初始权重和训练参数，训练参数包括类别数和类别标签；
利用K-means聚类方法自动生成锚框，并且把锚框的尺寸保存下来；然后读取训练图像，将训练图像缩放至128*128像素，缩放后的图像输入嵌入分组注意力模块的Tiny-yolov3网络中，以锚框的尺寸作为先验框通过边框回归预测得到边界框，然后使用logistic分类器对边界框进行分类，获得每个边界框对应的缺陷类别分类概率；再通过非极大值抑制法对所有边界框的缺陷类别分类概率进行排序，确定每个边界框对应的缺陷类别，得到预测值；然后通过损失函数计算预测值和真实值之间的训练损失；
最后根据训练损失的变化动态调整学习率与迭代次数，训练分为两个阶段，第一阶段是训练开始的前100个周期，初始学习率固定为0.001；第二阶段是指100个周期之后的训练周期，初始学习率设置为0.0001，当训练损失趋于稳定的时候，学习率依次变为原来的十分之一，设置最终学习率为0.00001，直到学习率减小到最终学习率0.00001时训练停止；
第五步：在线测试
首先将测试用的图像分割成16张小图像，再将小图像缩放至128像素*128像素并输入嵌入分组注意力模块的Tiny-yolov3网络中进行测试；单张图像检测时间为0.1s。
与现有技术相比，本发明的有益效果是：
改进的Tiny-yolov3网络的主干网络在提取特征的过程需要经过五次下采样(每个卷积核大小为2*2、步长为2的最大池化层即为一次下采样)，每次下采样后的特征图尺寸都会变为原来的一半，但是在这五次下采样的过程中会丢失掉部分缺陷特征，若锂电池图像中存在一个16像素*16像素的缺陷，通过三次下采样后，缺陷被保留下来的尺寸大小为4像素*4像素，而五次下采样后被保留下来的尺寸大小为1像素*1像素，因此一般的小目标缺陷的细节信息更多的被保存在了浅层特征中，而深层特征则保留了目标缺陷的高级语义特征；改进的 Tiny-yolov3网络将第五层卷积层的输出特征与最后一层卷积层的输出特征拼接到了一起，从而实现了浅层特征与深层特征的融合，即保留了目标缺陷的细节信息，又保留了目标缺陷的高级语义特征，使目标识别更加准确，提高了检测的精度。
在特征融合的过程中，由于浅层特征中包含了冗余的背景信息，这些信息会对缺陷的检测产生干扰，为了抑制冗余信息的干扰，在改进的Tiny-yolov3网络中引入了注意力机制；注意力机制可以使神经网络在学习过程中获取需要重点关注的目标区域，得到注意力焦点，而后对这一区域投入更多注意力，以获取更多所需要关注目标的细节信息，从而抑制其他无用信息，这样就可以抑制背景，突出缺陷目标；然而，由于浅层特征与深层特征所保留的特征有差异，在引入注意力机制之后，卷积神经网络的注意力机制可能会引导网络更加关注深层特征，因为深层特征包含的语义信息更多，而浅层特征可能会受到抑制，被当成冗余特征忽略掉，会影响小目标缺陷的检测；为了更好地应对浅层特征与深层特征的差异性，本发明提出了分组注意力模块，在注意力运算之前对特征进行分组，对上采样后的特征、主干网络的第五层卷积层的输出特征以及上采样后的特征和主干网络的第五层卷积层的输出特征拼接后的特征分别采用注意力模块进行筛选，这样既可以注意到拼接前每个特征层的局部特征，也能注意到拼接后的特征层的整体特征，使网络提取到的目标特征信息更多，进而更加容易识别锂电池表面的小缺陷，提高识别的精确度；同时又可以发挥注意力机制抑制背景、突出目标的作用，使在非均匀纹理复杂背景下的目标特征提取更加容易。
本发明应用于工业缺陷检测中，尤其是对于小目标(目标尺度小于20*20像素)缺陷检测，效果明显，能够减少质检工序，减少后期人工质检项目，节约成本，提高了检测效率。
本发明采用的Tiny-yolov3网络属于轻量级网络，训练过程计算量较小，也大大节省了计算成本与检测时间，能够提高质检的质量和效率，进而提高锂电池模组的质量和生产效率，满足了实时性的要求。相比于原始的Tiny-yolov3网络，改进后的Tiny-yolov3网络对锂电池表面缺陷的检测精度有一定的提升，平均检测精度提升了4.7％。对无缺陷的样本的误检也减少了，召回率提升了2.2％。
附图说明
图1为本发明实施例的基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法的整体流程图；
图2为本发明实施例的整体网络结构图；
图3为本发明的分组注意力模块的流程图。
具体实施方式
下面结合附图对本实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法(简称方法，参见图1-3)，包括以下步骤：
第一步：获取图像
利用工业相机采集锂电池图像，作为缺陷检测的原始图像；原始图像包括无缺陷的图像和含有待检测缺陷的图像；含有待检测缺陷的图像既可以是包含单一缺陷的图像也可以是包含多种缺陷的图像，必须包含所有待检测缺陷种类；
第二步：制作数据集
制作Tiny-yolov3网络的数据集，具体以Pascal VOC2007的标准格式为模板，主要包含以下几个步骤：
2-1、建立数据集存放文件夹；
新建VOCdevkit文件夹，在VOCdevkit文件夹下VOC2007文件夹；在VOC2007文件夹下分别建立Annotations文件夹、JPEGImages文件夹以及ImageSets文件夹三个文件夹，在ImageSets 文件夹下建立Main文件夹；在Main文件夹下建立train.txt、val.txt、test.txt以及trainval.txt四个文件，分别用于存放训练集、验证集、测试集和训练验证集；Annotations文件夹用于存放所有标注后的图像的xml文件，JPEGImages文件夹用于存放分割后的小图像；
2-2、切割图像；
对采集到的所有含有待检测缺陷的原始图像利用滑动分割法进行切割，将每张含有待检测缺陷的原始图像均匀切割成大小相等的16张小图像，并将所有的小图像保存在JPEGImages 文件夹中；若直接采用原始图像，由于原始图像的尺寸较大，单张图像的运算量太大，检测时间长并且对检测系统的硬件要求高；若直接缩小原始图像的尺寸，由于一些小目标缺陷本身占比小，缩小之后占的像素更少，很难检测，因此对原始图像进行分割，保留待检测缺陷的原始像素；
2-3、标注图像；
使用软件Labelimg对步骤2-2中所有含有待检测缺陷的小图像进行手动标定，将其中的缺陷部分标注出来；然后每张标注后的图像都生成一个包含有图片名称、缺陷种类和缺陷位置坐标的xml文件，一个xml文件即为一个标签，并将所有的xml文件保存在Annotations文件夹中；
2-4、对数据集进行分组
将所有的xml文件按照比例分成VOC2007数据集中的训练集train.txt、验证集val.txt、训练验证集trainval.txt和测试集test.txt；首先提取Annotations文件夹中所有的xml文件，然后将所有的xml文件按照4:1的比例分为两组，分别作为训练集和验证集，训练验证集为训练集和验证集的总和，并将各个数据集对应的xml文件的文件名保存至相应的txt文件中；例如，将分到训练集的所有xml文件的文件名保存至train.txt文件中；
第三步：改进Tiny-yolov3网络模型
3-1、构建主干网络
本发明的网络是基于Tiny-yolov3网络的改进，Tiny-yolov3网络是yolov3的简化版本，运行速度更快，实时性强，能满足工业生产线上缺陷检测实时性的需求，检测效率更高；原始 Tiny-yolov3网络的主干网络包括七层卷积层(conv)和六层最大池化层(Maxpool)，除最后一层卷积层外，每一层卷积层后面添加一层最大池化层；所有卷积层的卷积核大小为3x3、步长为1；第一至五层最大池化层的池化窗口大小均为2x2、步长为2；第六层最大池化层的池化窗口大小为2x2、步长为1，使特征和参数减少的同时保持特征尺度不变；
3-2、构建yolo层
改进的Tiny-yolov3网络的yolo层包含两个特征层；首先将步骤3-1中主干网络的第七层卷积层的输出特征经过卷积核大小1*1、步长为1的卷积后得到特征x1；特征x1连接两条支路，一条支路为特征x1依次经过卷积核大小为3*3、1*1，步长均为1的两次卷积后得到特征y1，特征y1即为改进的Tiny-yolov3网络的yolo层的第一个特征层；另一条支路为特征x1经过卷积核大小1*1、步长为1的卷积后，通过一次上采样(upsample)放大到与主干网络的第五层卷积层的输出特征尺度相同，得到上采样后的特征x1’；然后将特征x1’与主干网络的第五层卷积层输出的特征x2按照通道拼接到一起，形成拼接后的特征z，即特征x1’与主干网络的第五层卷积层的特征x2尺度相同，两个特征按照通道拼接在一起；特征z再通过一个分组注意力模块 (Attention)进行筛选，得到特征O；特征O依次经过卷积核大小3*3、步长为1以及卷积核大小1*1、步长为1的两次卷积后得到特征y2，特征y2即为改进的Tiny-yolov3网络的yolo层的第二特征层；
其中分组注意力模块具体过程为：
S1、对特征z进行分组
由于特征z是特征x1’和特征x2拼接而成的，因此将特征z按照原来特征的通道数分为两组，即属于特征x1’通道数的为一组，记作特征m；属于特征x2通道数的为一组，记作特征n；其中，
z∈RC×W×H (1)
Figure RE-GDA0002568362790000061
Figure RE-GDA0002568362790000062
式中，R表示特征空间；W、H分别表示特征的宽度和高度；Cx为特征x1’的通道数；Cy为特征x2的通道数；C为特征z的通道数，其中C＝Cx+Cy；
S2、注意力运算
首先对特征m分别进行基于通道的全局最大池化(global max pooling，简称GMP，全局最大池化)和基于通道的全局平均池化(global average pooling，简称GAP，全局平均池化)，分别得到maxpool特征和avgpool特征；
然后将maxpool特征和avgpool特征进行基于通道的拼接，形成通道数为2的中间特征m1；中间特征m1再经过卷积核大小7*7、步长为1的卷积后，得到通道数为1的注意力特征m2；注意力特征m2再经过sigmoid激活函数生成空间注意力映射图M，其中，
M＝sigmoid(f7×7([AvgPool(m)，MaxPool(m)])) (4)
式中，7*7表示卷积核的大小；
最后将空间注意力映射图M和特征m做乘法，得到分组注意力特征M’，即完成对特征m 的注意力运算；注意力运算可以抑制背景，突出目标，使待检测对象上的目标缺陷显示更加清晰；
然后分别对特征n和特征z重复前述特征m注意力运算的操作，分别生成分组注意力特征 N’和Z’；将分组注意力特征M’与N’按照通道拼接到一起生成特征O’，特征O’再与分组注意力特征Z’按照通道的叠加在一起，得到精细后的特征O；
由于特征m和特征n是由两个不同尺度的特征图拼接起来的，每个尺度的特征图需要注意的特征不同，因此分别对特征m、n、z进行注意力操作既可以注意到每个尺度下的局部特征，也能注意到拼接后的整体特征，使待检测对象表面的小缺陷更加容易识别；
例如，输入图像的尺度为416*416*3，其中宽和高都为416，通道数为3；通过主干网络的所有卷积和池化操作后，主干网络的第七层卷积层的特征尺度为13*13*1024；然后通过卷积核大小为1*1、步长为1的卷积运算后将主干网络的第七层卷积层的特征尺度转化为13*13*128，即特征x1的尺度为13*13*128；特征x1通过卷积核大小1*1、步长为1的卷积运算后再通过一次上采样将特征x1的宽高变为原来的2倍，即特征x1’的尺度大小为26*26*128；主干网络第五层卷积层的输出特征x2的尺度为26*26*256，将特征x1’和输出特征x2拼接到一起，即特征z的尺度为26*26*384；拼接是通道数的合并，也就是两个特征的通道数加在一起，而每一通道下的信息没有增加；然后再将特征z通过分组注意力模块进行操作，以达到抑制背景，突出目标特征的目的；
由于特征z是由特征x1’与输出特征x2拼接而成，所以分组的时候把原属于特征x1’通道数的特征分为一组，原属于输出特征x2的通道数的特征分为一组，分别通过分组注意力操作，得到分组注意力特征M’和N’，分组注意力特征M’和N’尺度不变；然后特征z也经过分组注意力操作生成分组注意力特征Z’，其尺度与特征z相同；将分组注意力M’与N’拼接到一起生成特征O’，特征O’的尺度为26*26*384；然后将特征O’与分组注意力特征Z’叠加到一起得到精细后的特征O，叠加的方式是通道数不变，每一个通道的两个特征叠加为一个特征，每一个通道下的信息增加了，每个通道下的信息更加丰富，有利于待检测对象表面小目标缺陷的识别；由于分组注意力特征Z’与特征O’的尺度都是26*26*384，叠加后的特征尺度也是 26*26*384，即特征O的尺度为26*26*384；
第四步：模型训练
4-1、设置模型训练参数
根据训练集中待检测缺陷的种类数和待检测缺陷名称修改改进的Tiny-yolov3网络的类别数和类别标签，若训练集中一共7种待检测缺陷，改进的Tiny-yolov3网络的类别数为8，包括背景和7种待检测缺陷类别；根据待检测缺陷名称对应修改改进的Tiny-yolov3网络的类别标签；
4-2、设置模型初始权重
为了加快收敛速度减少训练时间，防止过拟合，将ImageNet数据集上预先训练得到的 Tiny-yolov3模型文件，作为改进的Tiny-yolov3网络的初始化权重；
4-3、计算训练损失
根据网络模型输出的特征层数量确定锚框数量，利用K-means聚类方法自动生成锚框 (anchorbox)，并且把锚框的尺寸保存下来；读取训练集中的图像，读入图像数据，包括图像名称、缺陷类别和缺陷位置坐标信息；将训练图像缩放至128*128像素，缩放后的图像通过改进的Tiny-yolov3网络进行特征提取，以锚框的尺寸作为先验框通过边框回归预测得到边界框，然后使用logistic分类器对边界框进行分类，获得每个边界框对应的缺陷类别分类概率；再通过非极大值抑制法(NMS)对所有边界框的缺陷类别分类概率进行排序，确定每个边界框对应的缺陷类别，得到预测值，预测值包括缺陷类别和缺陷位置信息，缺陷位置信息用于框出缺陷所在的位置；非极大抑制阈值为0.5；然后通过损失函数计算预测值和真实值之间的训练损失(loss)；
4-4、训练阶段
根据训练损失的变化来动态调整学习率与迭代次数，以更新整个网络的参数；训练分为两个阶段，第一阶段是训练开始的前100个周期，初始学习率固定为0.001，以加快收敛；第二阶段是指100个周期之后的训练周期，初始学习率设置为0.0001，当训练损失趋于稳定的时候，学习率依次变为原来的十分之一，设置最终学习率为0.00001，直到学习率减小到最终学习率0.00001时训练停止；
第五步：在线测试
在线测试在电脑CPU为酷睿i7系列，内存为16GB，显卡为双GTX1080显卡，在Windows10 的平台下完成，基于keras程序实现；首先将测试用的图像(各种缺陷的图像400张)，分割成 16张小图像，再把小图像缩放至128像素*128像素并输入改进的Tiny-yolov3网络中进行检测；所有的16张小图像检测完成后，再把所有的小图像检测结果拼接到一起，拼接成一张完整的大图像输出；单张大图像检测时间为0.1s，能满足企业生产实时性的要求。每张小图像的缺陷会在图片上框出来，有不同缺陷的话就会把所有的缺陷都框出来，只要有缺陷认为这个锂电池为缺陷电池，16张小图像最后要拼接到一起，拼接成一张完整的大图像，位置信息预测是用来框出缺陷所在的位置。
本实施例对锂电池表面凹痕、污迹、鼓包、褶皱、极片划痕，颗粒以及暗斑一共7种缺陷图像进行了实验，其中对污迹和暗斑的识别准确率能达到85％左右，其他缺陷的识别率均在 90％以上，本申请方法能够确定缺陷所处的锂电池表面的位置，对于锂电池的召回率和精确度均有显著提升。
本发明未述及之处适用于现有技术。

Claims (3)

1.一种基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法，其特征在于，该方法包括获取含有待检测缺陷的锂电池图像，通过嵌入分组注意力模块的Tiny-yolov3网络对含有待检测缺陷的图像进行特征提取，分组注意力模块用于精细待检测缺陷特征；
所述Tiny-yolov3网络的主干网络的第七层卷积层的输出特征经过两次卷积后，然后通过上采样放大到与主干网络的第五层卷积层的输出特征尺度相同，得到特征x1’；然后将特征x1’与主干网络的第五层卷积层的输出特征x2按照通道拼接到一起，形成特征z；
所述分组注意力模块具体过程为：
S1、对特征z进行分组
将特征z按照原来特征的通道数分为两组，即属于特征x1’通道数的为一组，记作特征m；属于特征x2通道数的为一组，记作特征n，其中，
z∈RC×W×H (1)
Figure FDA0003749783530000011
Figure FDA0003749783530000012
式中，R表示特征空间；W、H分别表示特征的宽度和高度；Cx为特征m的通道数；Cy为特征n的通道数；C为特征z的通道数，其中C＝Cx+Cy；
S2、注意力运算
首先对特征m分别进行基于通道的全局最大池化和基于通道的全局平均池化，分别得到maxpool特征和avgpool特征；
然后将maxpool特征和avgpool特征进行基于通道的拼接，形成中间特征m1；中间特征m1再经过卷积后得到注意力特征m2，注意力特征m2经过sigmoid激活函数生成空间注意力映射图M，其中，
M＝sigmoid(f7×7([AvgPool(m),MaxPool(m)]))(4)
式中，7*7表示卷积核的大小；
最后将空间注意力映射图M和特征m做乘法，得到分组注意力特征M’，即完成对特征m的注意力运算；
然后分别对特征n和特征z重复前述特征m注意力运算的操作，分别生成分组注意力特征N’和Z’；将分组注意力特征M’与N’按照通道拼接到一起生成特征O’，特征O’再与分组注意力特征Z’按照通道的叠加在一起，得到特征O；
嵌入分组注意力模块的Tiny-yolov3网络的具体结构为：
Tiny-yolov3网络的主干网络包括七层卷积层和六层最大池化层，除最后一层卷积层外，每一层卷积层后面添加一层最大池化层；
首先将主干网络的第七层卷积层的输出特征经过卷积后得到特征x1；特征x1连接两条支路，一条支路为特征x1经过两次卷积后得到特征y1，特征y1即为Tiny-yolov3网络的yolo层的第一个特征层；另一条支路为特征x1经过卷积后，通过上采样放大到与主干网络的第五层卷积层的输出特征尺度相同，得到特征x1’；然后将特征x1’与主干网络的第五层卷积层输出的特征x2按照通道拼接到一起，形成特征z，特征z再通过一个分组注意力模块进行筛选，得到特征O；特征O依次经过两次卷积后得到特征y2，特征y2即为Tiny-yolov3网络的yolo层的第二特征层。
2.根据权利要求1所述的检测方法，其特征在于，主干网络的所有卷积层的卷积核大小为3x3、步长为1；第一至五层最大池化层的池化窗口大小均为2x2、步长为2；第六层最大池化层的池化窗口大小为2x2、步长为1。
3.根据权利要求1-2任一所述的检测方法，其特征在于，该方法的具体步骤是：
第一步：利用工业相机采集锂电池图像，作为缺陷检测的原始图像；原始图像包括无缺陷的图像和含有待检测缺陷的图像；
第二步：对采集到的所有含有待检测缺陷的原始图像进行切割，将每张含有待检测缺陷的原始图像均匀切割成大小相等的16张小图像；对所有含有待检测缺陷的小图像进行标注形成标签，并将所有的标签分为不同的数据集；
第三步：通过嵌入分组注意力模块的Tiny-yolov3网络对含有待检测缺陷的图像进行特征提取；
第四步：首先设置模型初始权重和训练参数，训练参数包括类别数和类别标签；
利用K-means聚类方法自动生成锚框，并且把锚框的尺寸保存下来；然后读取训练图像，将训练图像缩放至128*128像素，缩放后的图像输入嵌入分组注意力模块的Tiny-yolov3网络中，以锚框的尺寸作为先验框通过边框回归预测得到边界框，然后使用logistic分类器对边界框进行分类，获得每个边界框对应的缺陷类别分类概率；再通过非极大值抑制法对所有边界框的缺陷类别分类概率进行排序，确定每个边界框对应的缺陷类别，得到预测值；然后通过损失函数计算预测值和真实值之间的训练损失；
最后根据训练损失的变化动态调整学习率与迭代次数，训练分为两个阶段，第一阶段是训练开始的前100个周期，初始学习率固定为0.001；第二阶段是指100个周期之后的训练周期，初始学习率设置为0.0001，当训练损失趋于稳定的时候，学习率依次变为原来的十分之一，设置最终学习率为0.00001，直到学习率减小到最终学习率0.00001时训练停止；
第五步：在线测试
首先将测试用的图像分割成16张小图像，再将小图像缩放至128像素*128像素并输入嵌入分组注意力模块的Tiny-yolov3网络中进行测试；单张图像检测时间为0.1s。
CN202010405111.6A 2020-05-13 2020-05-13 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 Active CN111612751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010405111.6A CN111612751B (zh) 2020-05-13 2020-05-13 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010405111.6A CN111612751B (zh) 2020-05-13 2020-05-13 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111612751A CN111612751A (zh) 2020-09-01
CN111612751B true CN111612751B (zh) 2022-11-15

Family

ID=72201339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010405111.6A Active CN111612751B (zh) 2020-05-13 2020-05-13 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111612751B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184686B (zh) * 2020-10-10 2022-08-23 深圳大学 一种用于检测动力电池安全阀激光焊接缺陷的分割算法
CN112419232A (zh) * 2020-10-16 2021-02-26 国网天津市电力公司电力科学研究院 YOLOv3结合注意力模块的低压断路器状态检测方法
CN112257786A (zh) * 2020-10-23 2021-01-22 南京大量数控科技有限公司 基于卷积神经网络与注意力机制相结合的特征检测方法
CN112465759A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112418345B (zh) * 2020-12-07 2024-02-23 深圳小阳软件有限公司 细粒度小目标快速识别的方法和装置
CN112446372B (zh) * 2020-12-08 2022-11-08 电子科技大学 基于通道分组注意力机制的文本检测方法
CN112464910B (zh) * 2020-12-18 2024-09-27 杭州电子科技大学 一种基于YOLO v4-tiny的交通标志识别方法
CN112651326B (zh) * 2020-12-22 2022-09-27 济南大学 一种基于深度学习的驾驶员手部检测方法及系统
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN112950547B (zh) * 2021-02-03 2024-02-13 佛山科学技术学院 一种基于深度学习的锂电池隔膜缺陷机器视觉检测方法
CN113129260B (zh) * 2021-03-11 2023-07-21 广东工业大学 一种锂电池电芯内部缺陷的自动检测方法及装置
CN113362032A (zh) * 2021-06-08 2021-09-07 贵州开拓未来计算机技术有限公司 一种基于人工智能图像识别的校验审批方法
CN113327243B (zh) * 2021-06-24 2024-01-23 浙江理工大学 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法
CN113780434B (zh) * 2021-09-15 2024-04-02 辽宁工程技术大学 一种基于深度学习的太阳能电池组件缺陷el检测方法
CN114119464B (zh) * 2021-10-08 2023-06-16 厦门微亚智能科技有限公司 一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法
CN116051446A (zh) * 2021-10-26 2023-05-02 江苏时代新能源科技有限公司 一种极片打皱检测方法、系统、终端及存储介质
CN113989267B (zh) * 2021-11-12 2024-05-14 河北工业大学 基于轻量级神经网络的电池缺陷检测方法
CN114240885B (zh) * 2021-12-17 2022-08-16 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114677355A (zh) * 2022-04-06 2022-06-28 淮阴工学院 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法
CN114749342B (zh) * 2022-04-20 2023-09-26 华南理工大学 一种锂电池极片涂布缺陷识别方法、装置及介质
CN114842019B (zh) * 2022-07-06 2022-09-09 山东建筑大学 一种电池板表面缺陷检测方法、系统、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024727A (ja) * 2009-07-23 2011-02-10 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN110503079A (zh) * 2019-08-30 2019-11-26 山东浪潮人工智能研究院有限公司 一种基于深度神经网络的监控视频描述方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN111079584A (zh) * 2019-12-03 2020-04-28 东华大学 基于改进YOLOv3的快速车辆检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3016953A1 (en) * 2017-09-07 2019-03-07 Comcast Cable Communications, Llc Relevant motion detection in video
KR20190113119A (ko) * 2018-03-27 2019-10-08 삼성전자주식회사 합성곱 신경망을 위한 주의집중 값 계산 방법
CN108510012B (zh) * 2018-05-04 2022-04-01 四川大学 一种基于多尺度特征图的目标快速检测方法
CN110084210B (zh) * 2019-04-30 2022-03-29 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110210452A (zh) * 2019-06-14 2019-09-06 东北大学 一种基于改进tiny-yolov3的矿用卡车环境下目标检测方法
CN110309836B (zh) * 2019-07-01 2021-05-18 北京地平线机器人技术研发有限公司 图像特征提取方法、装置、存储介质和设备
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
CN110781923B (zh) * 2019-09-27 2023-02-07 重庆特斯联智慧科技股份有限公司 特征提取方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024727A (ja) * 2009-07-23 2011-02-10 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN110503079A (zh) * 2019-08-30 2019-11-26 山东浪潮人工智能研究院有限公司 一种基于深度神经网络的监控视频描述方法
CN111079584A (zh) * 2019-12-03 2020-04-28 东华大学 基于改进YOLOv3的快速车辆检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Application Research of Improved YOLO V3 Algorithm in PCB Electrobic Component Detection";Jing Li.et al;《applied sciences》;20191231;第1-21页 *
"Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition";Heliang Zheng.et al;《IEEE》;20171231;第5219-5227页 *
"基于分层注意力机制的神经网络垃圾评论检测模型";刘雨心等;《计算机应用》;20180719(第11期);第1-7页 *

Also Published As

Publication number Publication date
CN111612751A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111612751B (zh) 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN111598861B (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN111598860B (zh) 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN112348787B (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
US20240233313A1 (en) Model training method, image processing method, computing and processing device and non-transient computer-readable medium
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN111626279B (zh) 一种负样本标注训练方法及高度自动化的票据识别方法
CN115272330B (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN111784673A (zh) 缺陷检测模型训练和缺陷检测方法、设备及存储介质
US11783474B1 (en) Defective picture generation method and apparatus applied to industrial quality inspection
CN111461212A (zh) 一种用于点云目标检测模型的压缩方法
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN113066047A (zh) 轮胎x射线图像杂质缺陷检测方法
CN111401421A (zh) 基于深度学习的图像类别判定方法、电子设备以及介质
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN116030050A (zh) 基于无人机与深度学习的风机表面缺陷在线检测分割方法
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN113205136A (zh) 一种用于电源适配器外观缺陷的实时高精度检测方法
CN117853778A (zh) 一种基于改进的htc铸件dr图像缺陷识别方法
CN116740584B (zh) 一种弱监督云检测方法
CN112232288A (zh) 一种基于深度学习的卫星图目标识别方法及系统
CN117495786A (zh) 缺陷检测元模型构建方法、缺陷检测方法、设备及介质
CN114898088A (zh) 基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法
CN117333383A (zh) 一种表面缺陷检测方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant