Nothing Special   »   [go: up one dir, main page]

CN112508090A - 一种外包装缺陷检测方法 - Google Patents

一种外包装缺陷检测方法 Download PDF

Info

Publication number
CN112508090A
CN112508090A CN202011410464.1A CN202011410464A CN112508090A CN 112508090 A CN112508090 A CN 112508090A CN 202011410464 A CN202011410464 A CN 202011410464A CN 112508090 A CN112508090 A CN 112508090A
Authority
CN
China
Prior art keywords
defect
region
interest
data set
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011410464.1A
Other languages
English (en)
Other versions
CN112508090B (zh
Inventor
龚路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202011410464.1A priority Critical patent/CN112508090B/zh
Publication of CN112508090A publication Critical patent/CN112508090A/zh
Application granted granted Critical
Publication of CN112508090B publication Critical patent/CN112508090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种外包装缺陷检测方法:获取外包装图片，作为数据集；对数据集进行数据预处理；通过聚类算法设置缺陷目标候选框尺寸；将预处理后的数据集输入Cascade R‑CNN模型中，对数据集进行感兴趣区域提取；对感兴趣区域特征图尺寸进行归一化处理；在Cascade R‑CNN模型中采用预训练好的带可变形卷积v2的ResNet‑50作为骨干网络，进行卷积，提取特征；S4‑4、框选出缺陷并标注缺陷类别。该外包装缺陷检测方法计算过程简单，能快速对缺陷进行定位以及识别，采用FPN特征提取方法，并将不同分辨率的特征合并，用合并的特征来增强FPN中的多级特征，使得识别更加准确。

Description

一种外包装缺陷检测方法
技术领域
本发明涉及计算机领域，具体涉及一种外包装缺陷检测方法。
背景技术
缺陷检测在纺织品、玻璃制品、钢材、道路交通、芯片等工业应用领域有非常大的需求，传统上一般使用人工和基于机器视觉的检测方法。但人工检测效率低、速度慢；而传统的机器视觉检测又需要依赖一些人为设计的特征，且鲁棒性差。近年来，随着计算机算力的提高以及深度神经网络的快速发展，使用深度学习方法，特别是使用目标检测方法进行缺陷检测逐渐成为研究热点之一，而目前的检测方法检测准确度仍然有待提高。
发明内容
为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种外包装缺陷检测方法。
为了实现本发明的上述目的，本发明提供了一种外包装缺陷检测方法，包括以下步骤：
S1，获取外包装图片，作为数据集；
S2，对数据集进行数据预处理；
S3，通过聚类算法设置缺陷目标候选框尺寸；
S4，将预处理后的数据集输入Cascade R-CNN模型中进行特征提取、缺陷识别及框选；
具体为：
S4-1、将预处理后的数据集输入Cascade R-CNN模型中，对数据集进行感兴趣区域提取；
S4-2、对感兴趣区域特征图尺寸进行归一化处理；
S4-3、在Cascade R-CNN模型中采用预训练好的带可变形卷积v2的ResNet-50作为骨干网络，进行卷积，提取特征，其公式为：
Figure BDA0002818184890000021
y表示卷积层的输出，x表示输入特征图，p表示当前卷积的位置，K表示卷积核采样点数，wk表示采样点权值，pk表示原图的卷积区域；
S4-4、框选出缺陷并标注缺陷类别。
该外包装缺陷检测方法计算过程简单，能快速对缺陷进行定位以及识别，采用FPN特征提取方法，并将不同分辨率的特征合并，用合并的特征来增强FPN中的多级特征，使得识别更加准确。
该外包装缺陷检测方法的优选方案：所述步骤S2的具体步骤为：
S2-1，对数据集中的图片按设定尺寸进行裁剪；
S2-2，采用过采样方式对裁剪后的数据集进行数据扩充；
S2-3，选择M张背景类图片和训练集中的M张含缺陷目标的图片，将背景类图片和含缺陷目标的图片的像素相加后除以2，用处理后的图片替换之前的M张背景类图片并确定含缺陷目标的图片中缺陷目标候选框的位置，对缺陷样本进行扩充；
和/或，采用相似度匹配算法，将缺陷样本拼接于背景图片中，对缺陷样本进行扩充；
S2-4，对所有图片的色度、锐度、亮度进行等比例图片色彩调整。
这增加了缺陷样本的数量，避免缺陷样本被网络倾向性预测为背景，同时对图片色彩调整也提高了缺陷识别的准确率。
该外包装缺陷检测方法的优选方案：所述步骤S3的具体步骤为：
S3-1，随机选择一个样本作为初始的聚类中心；
S3-2，计算每个样本与当前所有聚类中心的最短距离D(X)，根据D(X)值的大小用轮盘法选出下一个聚类中心；
S3-3，重复S3-2，直到选出N组聚类中心，每组聚类中心中有α个簇，A≤α≤B,N、α、A和B均为正整数；
S3-4，分别对每组聚类中心进行试探性实验，在每次算出所有簇的聚类中心后，统计出每个簇中的图片数量，选数据分布最均匀的簇中心作为候选框的宽高比。
采用该方法对候选框的宽高比进行聚类可以有效改进候选框形状设置效果。
该外包装缺陷检测方法的优选方案：所述步骤S4-3中需对样本进行采样，采样时采用如下两种之一方法：
采用OHEM算法进行采样：
在OHEM算法寻找K个难分样本时，先从正样本中找出N个难分样本；如果正样本不够N则正样本全部采用，再从负样本中找出K-N个样本；
采用IoU对难分负样本进行均匀采样：
把难分负样本在IoU进行均匀采样，其公式如下：
Figure BDA0002818184890000041
N为总采样数，K为划分的IoU区间个数，Mk为在每个区间上的感兴趣区域个数。这解决了样本不均衡的问题。
该外包装缺陷检测方法的优选方案：所述步骤S4-3中特征提取采用如下步骤：
FPN提取特征：采用FPN特征提取方法；
缩放:将通过FPN提取的特征缩放到处于中间分辨率所在的特征层的尺寸；
合并：把所有缩放后的特征进行加权求平均，得到平衡语义特征；
精炼：使用non-local模块进行精炼，按照非局部均值的定义，其公式为：
Figure BDA0002818184890000042
其中x表示输入，y表示输出，i，j表示输入的空间位置坐标，f表示计算任意两点相似度的函数；g表示一个映射函数，将一个点映射成一个特征；C(x)是归一化系数；
增强：使用精炼后的平衡语义特征缩放到原FPN中特征的尺寸，增强最初的各层特征。
该方法能快速准确的对缺陷特征进行提取。
该外包装缺陷检测方法的优选方案：所述步骤S4-1中对数据集进行感兴趣区域提取时，引入交叉熵公式：
Figure BDA0002818184890000043
α和γ为常数,y是真实值，p是预测出的值。
预测候选框中心位置：将真实值中心对应在特征图上的区域标为目标中心区域，作为正样本，其他区域按照离中心距离划为负样本或忽略，通过1×1卷积得到物体的对象性分数，即此区域含有目标中心可能性的分数，通过sigmoid得到概率，选择概率大于阈值的区域的小于1/2部分作为候选中心点区域，降低候选框的数量；
预测候选框形状：在给定的候选框中心直接使用IoU作为监督来学习w和h，采用Bound IoU Loss让网络自动优化使得IoU最大，通过以下公式进行形式变换：
w＝σ·s·edw，h＝σ·s·edh，σ为预设的候选框尺度，s为步长，dw和dh是形状预测分支的输出，将取值范围由[0,1000]变成[-1,1]，在得到dw和dh后，用元素相乘的方法得到w和h的值；
特征自适应：将候选框的w和h经过一个1×1的卷积得到偏移量，根据这个偏移量设置一个3×3的可变形卷积修正特征图。
Guided Anchoring可以自适应候选框的宽高比，在多形状目标检测中比RPN预设候选框的方法有更好的效果。
该外包装缺陷检测方法的优选方案：所述步骤S4-2的具体步骤为：
在计算感兴趣区域原图坐标在特征图上的映射时，使用双线性插值法求得位置坐标，保留浮点数运算，在分割特征图上的感兴趣区域为单元格之后，再把每个单元格划分为N个小块，以每个小块的中心作为采样点，对采样点像素进行双线性插值得到该点像素，然后对每个单元格内的N个点进行最大池化，完成归一化处理，得到最终的感兴趣区域特征图。
该外包装缺陷检测方法的优选方案：所述步骤S4-4的具体步骤为：
在Cascade R-CNN网络中设置3级R-CNN，设置其IoU阈值分别为0.5、0.6、0.7，并进行随机采样，正负样本比例为1:3，在Faster R-CNN网络中设置单级R-CNN，其IoU阈值为0.6，并进行随机采样，正负样本比例为1:3，每个R-CNN中，设置两个全连接层用于分类和BBox回归。
该外包装缺陷检测方法的优选方案：在进行感兴趣区域提取时，采用软化非极大值抑制法，降低与当前得分最高的感兴趣区域IoU最高的区域的置信度，具体为：
若M是当前得分最高感兴趣区域，bi为待处理感兴趣区域，si为bi的得分，Nt为非极大值抑制阈值，使用线性加权函数：
Figure BDA0002818184890000061
或高斯加权函数：
Figure BDA0002818184890000062
其中，σ为超参数，将bi的得分si降低，最后通过阈值得到需要的感兴趣区域。引入软化非极大值抑制解决了可能会目标重叠的问题。
本发明的有益效果是：该外包装缺陷检测方法采用改进Cascade R-CNN网络结构的方式，在骨干网络引入可变形卷积v2来增加骨干网络的特征提取能力，且本发明解决了样本不均衡问题和目标重叠的问题，对感兴趣区域的提取准确度高，提高了缺陷检测效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是卷积神经网络特征的区域选择网络结构图；
图2是图1的中文翻译对照图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1和图2所示，本发明提供了一种外包装缺陷检测方法，包括以下步骤：
S1，获取外包装图片，作为数据集。
S2，对数据集进行数据预处理。
由于数据集中的图片中很有可能有比较大的空白区域或无用区域，并且这些区域并不能表征缺陷目标的位置信息，所以预处理的第一步S2-1就是对数据集中的图片按设定尺寸进行裁剪。
由于数据集的缺陷样本数量可能存在不均衡，因此需要进行预处理的第二步S2-2，采用过采样方式对裁剪后的数据集进行数据扩充。
预处理的第三步S2-3，选择M张背景类图片和训练集中的M张含缺陷目标的图片，将背景类图片和含缺陷目标的图片的像素相加后除以2，用处理后的图片替换之前的M张背景类图片并确定含缺陷目标的图片中缺陷目标候选框的位置，对缺陷样本进行扩充；
和/或，采用相似度匹配算法，将缺陷样本拼接于背景图片中，对缺陷样本进行扩充。
这里的训练集可以是从数据集中分离的一部分，也可以是系统本身自带有的训练集库。
S2-4，对所有图片的色度、锐度、亮度进行等比例图片色彩调整。
由于缺陷大多是十分细微的，可能仅占据了几十个像素点，若候选框选择过大，首先干扰了模型对于缺陷类型的判断，其次候选框框中的像素面积越大，那么预测的效率也会有所下降。因此需要一种预先去确定宽高比的预处理方法来目标候选框尺寸。
因此，步骤S3为通过聚类算法设置缺陷目标候选框尺寸。
所述步骤S3的具体步骤为：
S3-1，随机选择一个样本作为初始的聚类中心；
S3-2，计算每个样本与当前所有聚类中心的最短距离D(X)，根据D(X)值的大小用轮盘法选出下一个聚类中心；
S3-3，重复S3-2，直到选出N组聚类中心，每组聚类中心中有α个簇，A≤α≤B,N、α、A和B均为正整数；
S3-4，分别对每组聚类中心进行试探性实验，在每次算出所有簇的聚类中心后，统计出每个簇中的图片数量，选数据分布最均匀的簇中心作为候选框的宽高比，这样的候选框宽高比几乎能涵盖所有缺陷框范围的一系列宽高比。
具体的，本实施例中选了7组聚类中心，α的范围是3～9，不选9以上是因为k取太大会显著影响训练速度，并分别对不同α值进行实验，在每次算出所有簇的聚类中心后，统计出每个簇数据量。本实施例中的宽高比总共有6369个数据，其统计数据如下：
①α＝3时，每个簇分别有5234、408、727个数据。
②α＝4时，每个簇分别有4062、589、317、1401个数据。
③α＝5时，每个簇分别有505、3714、214、391、1545个数据。
④α＝6时，每个簇分别有257、3516、339、1648、151、458个数据。
⑤α＝7时，每个簇分别有215、3050、146、489、290、1833、346个数据。
⑥α＝8时，每个簇分别有304、1079、268、2065、206、393、1910、144个数据。
⑦α＝9时，每个簇分别有2075、375、120、1068、298、244、1901、98、190个数据。
可以看出，在α＝8和α＝9的时候，数据分布比较平均，且没有数据量特别大的簇，选取这样的簇中心作为候选框的宽高比，会有更好的适应性。所以本文最终选取α＝9时的9个簇的聚类中心作为候选框的宽高比，分别为：0.5、1、1.8、3、4.2、5.7、8.4、11.6、17.2。
S4，将预处理后的数据集输入Cascade R-CNN模型中进行特征提取、缺陷识别及框选。
具体为：
S4-1、将预处理后的数据集输入Cascade R-CNN模型中，对数据集进行感兴趣区域提取。
对数据集进行感兴趣区域提取时，引入交叉熵公式：
Figure BDA0002818184890000091
α和γ为常数,y是真实值，p是预测出的值。模型预测出的类别是一个一维的概率向量表示的,比如(破损，变形，坏边,...,背景),假设该缺陷为变形，真实值应该是(0,1,0,...,0),而模型预测出的可能是(0.2,0.7,0.05,...,0.05)。外包装缺陷类别预测问题是一个分类问题，交叉熵公式主要就是评估某一缺陷真实的类别与模型预测出的类别间的误差损失，这个误差损失会通过反向传播算法来修正模型中的参数，使模型通过不停训练获得更准确的效果。
具体步骤为：预测候选框中心位置：将真实值中心对应在特征图上的区域标为目标中心区域，作为正样本，其他区域按照离中心距离划为负样本或忽略(在训练阶段输入的图像中，一幅图片有多个缺陷，对于某一缺陷，我们有它的中心点坐标x,y，如果此时将该缺陷判定为正样本，那么该x,y位置就作为正样本区域，而其他的非该缺陷的中心位置x1,y1、x2,y2、...就作为负样本，而图像中不是任何缺陷框中心的像素点，就忽略掉)，通过1×1卷积得到物体的对象性分数，即此区域含有目标中心可能性的分数，通过sigmoid得到概率，选择概率大于阈值的区域的小于1/2部分(即一小部分)作为候选中心点区域，降低候选框的数量。
数据集是一幅图片对应[(缺陷类别1,缺陷框中心x轴坐标，缺陷框中心y轴坐标,缺陷框宽度,缺陷框高度)，...，]，这里真实值中心相当于就是(缺陷框中心x轴坐标，缺陷框中心y轴坐标)。
预测候选框形状：在给定的候选框中心直接使用IoU作为监督来学习w和h，采用Bound IoU Loss让网络自动优化使得IoU最大，通过以下公式进行形式变换：
w＝σ·s·edw，h＝σ·s·edh，σ为预设的候选框尺度，s为步长，dw和dh是形状预测分支的输出，将取值范围由[0,1000]变成[-1,1]，在得到dw和dh后，用元素相乘的方法得到w和h的值；
特征自适应：将候选框的w和h经过一个1×1的卷积得到偏移量，根据这个偏移量设置一个3×3的可变形卷积修正特征图。
在进行感兴趣区域提取时，采用软化非极大值抑制法，降低与当前得分最高的感兴趣区域IoU最高的区域的置信度，具体为：
若M是当前得分最高感兴趣区域，bi为待处理感兴趣区域，si为bi的得分，Nt为非极大值抑制阈值，通常设置成0.7，使用线性加权函数：
Figure BDA0002818184890000111
或高斯加权函数：
Figure BDA0002818184890000112
其中，σ为超参数，一般取0.5，将bi的得分si降低，最后通过阈值得到需要的感兴趣区域。
Guided Anchor ing的训练损失由四部分构成：
L＝λ1Lloc+λ2Lshape+Lcls+Lreg；
其中Lcls为分类损失，使用交叉熵损失函数；Lreg为BBox回归损失,使用Smooth L1损失函数；λ1设置为1，λ2设置为0.1；Lloc为定位损失，由于所需中心区域只占特征图很小一部分，故使用Focal Loss损失函数；Lshape为形状损失，其计算公式为：
Figure BDA0002818184890000113
awh代表生成的候选框，gt代表真实值，要计算所有可能的候选框与真实值之间IoU的最大值，很难实现，所以一般在某个特征点上采样不同比例的(w,h)。由于候选框位置固定，所以采用Bounded IoU损失来优化宽和高：
Lshape＝L1(1-min(w/wg,wg/w))+L1(1-min(h/hg,hg/h))，L1表示Smooth L1损失。
Guided Anchoring可以自适应候选框的宽高比，在多形状目标检测中比RPN预设候选框的方法有更好的效果。
S4-2、对感兴趣区域特征图尺寸进行归一化处理；
具体步骤为：
在计算感兴趣区域原图坐标在特征图上的映射时，使用双线性插值法求得位置坐标，保留浮点数运算，在分割特征图上的感兴趣区域为单元格之后，再把每个单元格划分为N个小块，以每个小块的中心作为采样点，对采样点像素进行双线性插值得到该点像素，然后对每个单元格内的N个点进行最大池化，完成归一化处理，得到最终的感兴趣区域特征图。
S4-3、在Cascade R-CNN模型中采用预训练好的带可变形卷积v2的ResNet-50作为骨干网络，进行卷积，提取特征，其公式为：
Figure BDA0002818184890000121
y表示卷积层的输出，x表示输入特征图，p表示当前卷积的位置，K表示卷积核采样点数，wk表示采样点权值，pk表示原图的卷积区域。
该步骤中需对样本进行采样，采样时采用如下两种之一方法：
采用OHEM算法进行采样：
在OHEM算法寻找K个难分样本时，先从正样本中找出N个难分样本；如果正样本不够N则正样本全部采用，再从负样本中找出K-N个样本；
采用IoU对难分负样本进行均匀采样：
把难分负样本在IoU进行均匀采样，其公式如下：
Figure BDA0002818184890000122
N为总采样数，K为划分的IoU区间个数，Mk为在每个区间上的感兴趣区域个数。
该步骤中特征提取采用如下步骤：
FPN提取特征：采用FPN特征提取方法；
缩放:将通过FPN提取的特征缩放到处于中间分辨率所在的特征层的尺寸；
合并：把所有缩放后的特征进行加权求平均，得到平衡语义特征；
精炼：使用non-local模块进行精炼，按照非局部均值的定义，其公式为：
Figure BDA0002818184890000131
其中x表示输入，y表示输出，i，j表示输入的空间位置坐标，f表示计算任意两点相似度的函数；g表示一个映射函数，将一个点映射成一个特征；C(x)是归一化系数；
增强：使用精炼后的平衡语义特征缩放到原FPN中特征的尺寸，增强最初的各层特征。
这里采用FPN特征提取方法，并将不同分辨率的特征合并，用合并的特征来增强FPN中的多级特征。
这里的特征提取还可采用如下方法：
用FPN特征提取方法提取特征后，将特征进行1×1卷积运算减少通道数，得到通道特征；再将通道特征进行1×n,n×1的卷积运算减少特征参数，得到精简特征；再将精简特征进行空洞卷积运算，扩大特征感受野，得到语义特征；然后再将语义特征通过拼接操作，得到与FPN特征提取方法提取到的特征相同维度的语义权重特征；将语义权重特征和FPN特征提取方法提取到的特征进行卷积运算，确保特征的判别性，得到语义聚集模块的上下分支权重特征；最后将上下分支权重特征以点积方式融合从而增加了FPN特征提取方法提取到的特征的语义信息，得到了最终的语义特征；将最终的语义特征与FPN特征提取方法提取的特征进行融合，完成特征提取。
S4-4、框选出缺陷并标注缺陷类别。
所述步骤S4-4的具体步骤为：
在Cascade R-CNN网络中设置3级R-CNN，设置其IoU阈值分别为0.5、0.6、0.7，并进行随机采样，正负样本比例为1:3，在Faster R-CNN网络中设置单级R-CNN，其IoU阈值为0.6，并进行随机采样，正负样本比例为1:3，每个R-CNN中，设置两个全连接层用于分类和BBox回归，这里分类就是预测出缺陷所属类别，Bounding-BOX回归相当于是调整框的位置，因为一开始根据Guided Anchoring所得到的候选框不一定恰好将缺陷框完整，因此此时需要利用Bounding-BOX回归将该候选框进行调整。
当所需要检测的对象为大面积区域时，将所采集的图像平均切割为多张子图像，再将这些子图像作为样本进行缺陷检测。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种外包装缺陷检测方法，其特征在于，包括以下步骤：
S1，获取外包装图片，作为数据集；
S2，对数据集进行数据预处理；
S3，通过聚类算法设置缺陷目标候选框尺寸；
S4，将预处理后的数据集输入Cascade R-CNN模型中进行特征提取、缺陷识别及框选；
具体为：
S4-1、将预处理后的数据集输入Cascade R-CNN模型中，对数据集进行感兴趣区域提取；
S4-2、对感兴趣区域特征图尺寸进行归一化处理；
S4-3、在Cascade R-CNN模型中采用预训练好的带可变形卷积v2的ResNet-50作为骨干网络，进行卷积，提取特征，其公式为：
Figure FDA0002818184880000011
y表示卷积层的输出，x表示输入特征图，p表示当前卷积的位置，K表示卷积核采样点数，wk表示采样点权值，pk表示原图的卷积区域；
S4-4、框选出缺陷并标注缺陷类别。
2.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S2的具体步骤为：
S2-1，对数据集中的图片按设定尺寸进行裁剪；
S2-2，采用过采样方式对裁剪后的数据集进行数据扩充；
S2-3，选择M张背景类图片和训练集中的M张含缺陷目标的图片，将背景类图片和含缺陷目标的图片的像素相加后除以2，用处理后的图片替换之前的M张背景类图片并确定含缺陷目标的图片中缺陷目标候选框的位置，对缺陷样本进行扩充；
和/或，采用相似度匹配算法，将缺陷样本拼接于背景图片中，对缺陷样本进行扩充；
S2-4，对所有图片的色度、锐度、亮度进行等比例图片色彩调整。
3.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S3的具体步骤为：
S3-1，随机选择一个样本作为初始的聚类中心；
S3-2，计算每个样本与当前所有聚类中心的最短距离D(X)，根据D(X)值的大小用轮盘法选出下一个聚类中心；
S3-3，重复S3-2，直到选出N组聚类中心，每组聚类中心中有α个簇，A≤α≤B,N、α、A和B均为正整数；
S3-4，分别对每组聚类中心进行试探性实验，在每次算出所有簇的聚类中心后，统计出每个簇中的图片数量，选数据分布最均匀的簇中心作为候选框的宽高比。
4.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S4-3中需对样本进行采样，采样时采用如下两种之一方法：
采用OHEM算法进行采样：
在OHEM算法寻找K个难分样本时，先从正样本中找出N个难分样本；如果正样本不够N则正样本全部采用，再从负样本中找出K-N个样本；
采用IoU对难分负样本进行均匀采样：
把难分负样本在IoU进行均匀采样，其公式如下：
Figure FDA0002818184880000031
N为总采样数，K为划分的IoU区间个数，Mk为在每个区间上的感兴趣区域个数。
5.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S4-3中特征提取采用如下步骤：
FPN提取特征：采用FPN特征提取方法；
缩放:将通过FPN提取的特征缩放到处于中间分辨率所在的特征层的尺寸；
合并：把所有缩放后的特征进行加权求平均，得到平衡语义特征；
精炼：使用non-local模块进行精炼，按照非局部均值的定义，其公式为：
Figure FDA0002818184880000032
其中x表示输入，y表示输出，i，j表示输入的空间位置坐标，f表示计算任意两点相似度的函数；g表示一个映射函数，将一个点映射成一个特征；C(x)是归一化系数；
增强：使用精炼后的平衡语义特征缩放到原FPN中特征的尺寸，增强最初的各层特征。
6.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S4-1中对数据集进行感兴趣区域提取时，引入交叉熵公式：
Figure FDA0002818184880000033
α和γ为常数,y是真实值，p是预测出的值。
7.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S4-1的具体步骤为：
预测候选框中心位置：将真实值中心对应在特征图上的区域标为目标中心区域，作为正样本，其他区域按照离中心距离划为负样本或忽略，通过1×1卷积得到物体的对象性分数，即此区域含有目标中心可能性的分数，通过sigmoid得到概率，选择概率大于阈值的区域的小于1/2部分作为候选中心点区域，降低候选框的数量；
预测候选框形状：在给定的候选框中心直接使用IoU作为监督来学习w和h，采用BoundIoU Loss让网络自动优化使得IoU最大，通过以下公式进行形式变换：
w＝σ·s·edw，h＝σ·s·edh，σ为预设的候选框尺度，s为步长，dw和dh是形状预测分支的输出，将取值范围由[0,1000]变成[-1,1]，在得到dw和dh后，用元素相乘的方法得到w和h的值；
特征自适应：将候选框的w和h经过一个1×1的卷积得到偏移量，根据这个偏移量设置一个3×3的可变形卷积修正特征图。
8.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S4-2的具体步骤为：
在计算感兴趣区域原图坐标在特征图上的映射时，使用双线性插值法求得位置坐标，保留浮点数运算，在分割特征图上的感兴趣区域为单元格之后，再把每个单元格划分为N个小块，以每个小块的中心作为采样点，对采样点像素进行双线性插值得到该点像素，然后对每个单元格内的N个点进行最大池化，完成归一化处理，得到最终的感兴趣区域特征图。
9.根据权利要求1所述的外包装缺陷检测方法，其特征在于，所述步骤S4-4的具体步骤为：
在Cascade R-CNN网络中设置3级R-CNN，设置其IoU阈值分别为0.5、0.6、0.7，并进行随机采样，正负样本比例为1:3，在Faster R-CNN网络中设置单级R-CNN，其IoU阈值为0.6，并进行随机采样，正负样本比例为1:3，每个R-CNN中，设置两个全连接层用于分类和BBox回归。
10.根据权利要求1所述的外包装缺陷检测方法，其特征在于，在进行感兴趣区域提取时，采用软化非极大值抑制法，降低与当前得分最高的感兴趣区域IoU最高的区域的置信度，具体为：
若M是当前得分最高感兴趣区域，bi为待处理感兴趣区域，si为bi的得分，Nt为非极大值抑制阈值，使用线性加权函数：
Figure FDA0002818184880000051
或高斯加权函数：
Figure FDA0002818184880000052
其中，σ为超参数；将bi的得分si降低，最后通过阈值得到需要的感兴趣区域。
CN202011410464.1A 2020-12-04 2020-12-04 一种外包装缺陷检测方法 Active CN112508090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011410464.1A CN112508090B (zh) 2020-12-04 2020-12-04 一种外包装缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011410464.1A CN112508090B (zh) 2020-12-04 2020-12-04 一种外包装缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112508090A true CN112508090A (zh) 2021-03-16
CN112508090B CN112508090B (zh) 2024-07-12

Family

ID=74971815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011410464.1A Active CN112508090B (zh) 2020-12-04 2020-12-04 一种外包装缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112508090B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907564A (zh) * 2021-03-18 2021-06-04 中科海拓(无锡)科技有限公司 一种基于MaskRCNN的螺母表面缺陷分割方法
CN113034476A (zh) * 2021-03-30 2021-06-25 广东工业大学 皮革瑕疵检测方法、系统、储存介质及计算机设备
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113204868A (zh) * 2021-04-25 2021-08-03 中车青岛四方机车车辆股份有限公司 一种基于pod定量分析的缺陷检测参数优化方法及优化系统
CN113516650A (zh) * 2021-07-30 2021-10-19 深圳康微视觉技术有限公司 基于深度学习的电路板塞孔缺陷检测方法及装置
CN113688947A (zh) * 2021-10-11 2021-11-23 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113850783A (zh) * 2021-09-27 2021-12-28 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113920432A (zh) * 2021-10-12 2022-01-11 广东电网有限责任公司广州供电局 一种基于GuidedAnchor优化的刀具图像智能检测方法
CN113947598A (zh) * 2021-12-20 2022-01-18 昌亚新材料科技有限公司 基于图像处理的塑料餐盒缺陷检测方法、装置及系统
CN115100545A (zh) * 2022-08-29 2022-09-23 东南大学 针对低照度下失效卫星小部件的目标检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072213A1 (en) * 2012-09-13 2014-03-13 Los Alamos National Security, Llc Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN110517224A (zh) * 2019-07-12 2019-11-29 上海大学 一种基于深度神经网络的光伏板缺陷检测方法
CN110647906A (zh) * 2019-08-02 2020-01-03 杭州电子科技大学 基于Faster R-CNN方法的服饰目标检测方法
CN110853015A (zh) * 2019-11-12 2020-02-28 中国计量大学 基于改进Faster-RCNN的铝型材缺陷检测方法
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111402226A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于级联卷积神经网络的表面疵点检测方法
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111523540A (zh) * 2020-04-17 2020-08-11 中南大学 基于深度学习的金属表面缺陷检测方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
US20200311956A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels
CN111753805A (zh) * 2020-07-08 2020-10-09 深延科技(北京)有限公司 安全帽佩戴检测方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072213A1 (en) * 2012-09-13 2014-03-13 Los Alamos National Security, Llc Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
US20200311956A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels
CN110517224A (zh) * 2019-07-12 2019-11-29 上海大学 一种基于深度神经网络的光伏板缺陷检测方法
CN110647906A (zh) * 2019-08-02 2020-01-03 杭州电子科技大学 基于Faster R-CNN方法的服饰目标检测方法
CN110853015A (zh) * 2019-11-12 2020-02-28 中国计量大学 基于改进Faster-RCNN的铝型材缺陷检测方法
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111402226A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于级联卷积神经网络的表面疵点检测方法
CN111523540A (zh) * 2020-04-17 2020-08-11 中南大学 基于深度学习的金属表面缺陷检测方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111753805A (zh) * 2020-07-08 2020-10-09 深延科技(北京)有限公司 安全帽佩戴检测方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANGQIAO YAN等: "IoU-Adaptive Deformable R-CNN", 《REMOTE SENSING》, vol. 11, no. 3, 1 February 2019 (2019-02-01), pages 1 - 10 *
西红柿牛腩: "目标检测算法中检测框合并策略技术综述", pages 1 - 7, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/48169867> *
许玉格 等: "基于深度学习的纹理布匹瑕疵检测方法", pages 1 - 16, Retrieved from the Internet <URL:https://doi.org/10.16383/j.aas.c200148> *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907564A (zh) * 2021-03-18 2021-06-04 中科海拓(无锡)科技有限公司 一种基于MaskRCNN的螺母表面缺陷分割方法
CN113034476A (zh) * 2021-03-30 2021-06-25 广东工业大学 皮革瑕疵检测方法、系统、储存介质及计算机设备
CN113204868B (zh) * 2021-04-25 2023-02-28 中车青岛四方机车车辆股份有限公司 一种基于pod定量分析的缺陷检测参数优化方法及优化系统
CN113204868A (zh) * 2021-04-25 2021-08-03 中车青岛四方机车车辆股份有限公司 一种基于pod定量分析的缺陷检测参数优化方法及优化系统
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113159216B (zh) * 2021-05-10 2023-04-28 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113516650A (zh) * 2021-07-30 2021-10-19 深圳康微视觉技术有限公司 基于深度学习的电路板塞孔缺陷检测方法及装置
CN113516650B (zh) * 2021-07-30 2023-08-25 深圳康微视觉技术有限公司 基于深度学习的电路板塞孔缺陷检测方法及装置
CN113850783A (zh) * 2021-09-27 2021-12-28 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113850783B (zh) * 2021-09-27 2022-08-30 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113688947A (zh) * 2021-10-11 2021-11-23 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113688947B (zh) * 2021-10-11 2024-03-15 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113920432A (zh) * 2021-10-12 2022-01-11 广东电网有限责任公司广州供电局 一种基于GuidedAnchor优化的刀具图像智能检测方法
CN113947598A (zh) * 2021-12-20 2022-01-18 昌亚新材料科技有限公司 基于图像处理的塑料餐盒缺陷检测方法、装置及系统
CN115100545A (zh) * 2022-08-29 2022-09-23 东南大学 针对低照度下失效卫星小部件的目标检测方法

Also Published As

Publication number Publication date
CN112508090B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN112508090B (zh) 一种外包装缺陷检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN112949572A (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN106373146A (zh) 一种基于模糊学习的目标跟踪方法
CN110322445A (zh) 一种基于最大化预测和标签间相关性损失函数的语义分割方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Jiang et al. Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images
CN115035097B (zh) 基于域适应的跨场景带钢表面缺陷检测方法
CN115984223A (zh) 基于PCANet及多分类器融合的图像溢油检测方法
CN116385374A (zh) 基于卷积神经网络的细胞计数方法
CN114612738B (zh) 细胞电镜图像分割模型的训练方法和细胞器互作分析方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN117746079B (zh) 一种高光谱图像的聚类预测方法、系统、存储介质及设备
US7715632B2 (en) Apparatus and method for recognizing an image
CN113673534A (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN118172308A (zh) 融合注意力机制与可变形卷积的轮毂表面缺陷检测方法、装置、电子设备及存储介质
CN117079075A (zh) 一种基于伪标签生成与校正的小样本目标检测方法
CN113362347B (zh) 一种基于超像素特征增强的图像缺陷区域分割方法和系统
CN110889418A (zh) 一种气体轮廓识别方法
CN117372812A (zh) 基于网络学习的电池ct图像极片对齐度智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant