Nothing Special   »   [go: up one dir, main page]

CN114743102A - 一种面向家具板材的瑕疵检测方法、系统及装置 - Google Patents

一种面向家具板材的瑕疵检测方法、系统及装置 Download PDF

Info

Publication number
CN114743102A
CN114743102A CN202210371502.XA CN202210371502A CN114743102A CN 114743102 A CN114743102 A CN 114743102A CN 202210371502 A CN202210371502 A CN 202210371502A CN 114743102 A CN114743102 A CN 114743102A
Authority
CN
China
Prior art keywords
data set
feature
training
flaw
residual block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210371502.XA
Other languages
English (en)
Inventor
陈翔
安小洁
陈华生
江俊锋
谢晓华
付明涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Guangdong XG Intelligent System Co Ltd
Original Assignee
Sun Yat Sen University
Guangdong XG Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Guangdong XG Intelligent System Co Ltd filed Critical Sun Yat Sen University
Priority to CN202210371502.XA priority Critical patent/CN114743102A/zh
Publication of CN114743102A publication Critical patent/CN114743102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向家具板材的瑕疵检测方法、系统及装置，该方法包括：获取样本图像并对样本图像中的瑕疵进行标注，得到瑕疵标签，进而构建样本数据集并对样本数据集进行切片和随机划分，得到训练数据集和测试数据集；对训练数据集进行数据预处理并基于预处理后的训练数据集对预构建的检测器进行训练，得到瑕疵检测模型；基于瑕疵检测模型对测试数据集依次进行特征提取、分类、回归处理和非极大值抑制处理，得到瑕疵检测结果。该系统包括：图像采集模块、预处理模块、瑕疵检测模型训练模块和瑕疵检测模块。通过使用本发明，能够实现在采样条件有限的情况下对包含复杂纹理的板材表面瑕疵进行精准定位与分类。

Description

一种面向家具板材的瑕疵检测方法、系统及装置
技术领域
本发明涉及机器视觉瑕疵检测领域，尤其涉及一种面向家具板材的瑕疵检测方法、系统及装置。
背景技术
在家具板材的生产过程中，常常会不可避免的出现崩边、孔槽缺陷、装饰瑕疵等工艺问题，而这些瑕疵问题对于家具板材后续的使用存在重大影响，可能会出现无法装订、影响美观、降低使用寿命等严重问题，因此，如何在实际的生产线上针对纷繁多样且数量众多的家具板材产品进行高效而准确的实时瑕疵检测成为家具行业面临的一个重要难题。
现有的缺陷检测算法大致分为两类，即传统算法和基于学习的算法。大多数传统算法是基于先验知识的特征工程，涵盖了统计学、结构学、光谱学和基于模型的方法。基于学习的算法可以进一步分为经典的机器学习算法和深度学习算法。机器学习利用数学算法对数据进行学习和分析，从而对待测数据进行预测和决策。然而，这些经典的方法大都需要人工帮助来完成，泛化能力不强，在测试前必须进行仪器调试，而且设备开发成本较高，使其难以适应实际的工业应用环境。
而随着深度学习的发展，由于其高精度和低成本的特性，已成为近年来最受欢迎的自动瑕疵检测方法。但是基于深度学习的方法需要依赖大量的学习数据来驱动模型，更新并提高模型检测精度，而实际上的瑕疵缺陷样本数量又极难获取，并且家具板材还存在瑕疵尺度多样化、表面纹理复杂等干扰因素，因此现有模型直接应用于家具板材难以获取较好的识别效果和识别准确率。
发明内容
为了解决上述技术问题，本发明的目的是提供一种面向家具板材的瑕疵检测方法、系统及装置，能够实现在采样条件有限的情况下对包含复杂纹理的板材表面瑕疵进行精准定位与分类。
本发明所采用的第一技术方案是：一种面向家具板材的瑕疵检测方法，包括以下步骤：
获取样本图像并对样本图像中的瑕疵进行标注，得到瑕疵标签；
根据样本图像和瑕疵标签构建样本数据集并对样本数据集进行切片和随机划分，得到训练数据集和测试数据集；
对训练数据集进行数据预处理，得到预处理后的训练数据集；
基于预处理后的训练数据集对预构建的检测器进行训练，得到瑕疵检测模型；
基于瑕疵检测模型对测试数据集依次进行特征提取、分类和回归处理，得到瑕疵候选信息；
基于非极大值抑制方法对瑕疵候选信息进行筛选，得到瑕疵检测结果。
进一步，所述瑕疵标签包括每个瑕疵所在矩形框区域在图像中左上角的坐标、右下角的坐标和瑕疵的类别。
进一步，所述对训练数据集进行数据预处理包括数据扩充和数据增强。
进一步，所述根据样本图像和瑕疵标签构建样本数据集并对样本数据集进行切片和随机划分，得到训练数据集和测试数据集这一步骤，具体包括：
对样本数据集中的图像数据进行两次切片，得到第一规格的切片数据和第二规格的切片数据；
对第一规格的切片数据进行黑边裁剪，对第二规格的切片数据进行保留黑边；
将切片数据进行合并并剔除重复样本，得到样本组；
将样本组按预设比例随机划分，得到训练数据集和测试数据集。
进一步，所述基于预处理后的训练数据集对预构建的检测器进行训练的训练步骤，具体包括：
基于改进的Retinanet网络，构建检测器；
将预处理后的训练数据集输入至检测器进行特征提取，得到训练数据集的低层特征和高层特征；
基于纹理抑制的方式将低层特征和高层特征进行融合，得到融合特征；
将融合特征输入至FPN网络，构建特征金字塔；
将特征金字塔的每一层特征分别输入分类子网和回归子网，检测不同尺寸的瑕疵目标，得到训练检测信息；
将训练检测信息与对应的瑕疵标签进行比对，调整检测器的模型参数。
进一步，所述特征金字塔引入注意力机制模块对特征图中不同通道的特征添加权值。
进一步，所述基于纹理抑制的方式将低层特征和高层特征进行融合，得到融合特征这一步骤，具体包括：
将特征提取网络ResNet的五个残差块作为特征融合模块的输入；
基于卷积将第一残差块输出和第二残差块输出进行通道转换，得到与第四残差块和第五残差块输出的低层特征的通道数一致的第一残差块和第二残差块；
基于Relu激活函数对第一残差块输出和第二残差块输出分别进行降采样，得到降采样后的第一残差块输出和第二残差块输出；
将降采样后的第一残差块输出与第四残差块输出进行逐特征点比较并取交集，得到第一交集特征；
将降采样后的第二残差块输出与第五残差块输出进行逐特征点比较并取交集，得到第二交集特征；
将第三残差块输出作为第一特征，将第一交集特征与第四残差块输出进行特征相加作为第二特征，将第二交集特征与第五残差块输出进行特征相加作为第三特征，输入到后续的特征金字塔网络。
本发明所采用的第二技术方案是：一种面向家具板材的瑕疵检测系统，包括：
图像采集模块，用于对家具板材表面瑕疵样本进行采样，获取家具板材表面瑕疵的二维图像；
预处理模块，用于构建样本数据集并对样本数据集中的数据进行预处理，得到预处理后的样本数据集；
瑕疵检测模型训练模块，基于预处理后的样本数据集对预构建检测器进行训练，得到针对家具板材表面瑕疵检测的权重模型；
瑕疵检测模块，基于瑕疵检测模型对测试数据集依次进行特征提取、分类、回归和非极大值抑制处理，得到待测样本中所包含瑕疵的位置和类别信息。
本发明所采用的第三技术方案是：一种面向家具板材的瑕疵检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述一种面向家具板材的瑕疵检测方法。
本发明方法及系统的有益效果是：本发明首先通过切图，将采集到的大尺度家具板材图像进行切片，得到不同尺度的瑕疵样本数据集，然后对样本数据集进行数据增强和数据扩充，有效地解决了样本数量少，样本类别不平衡的问题，最后基于预处理后的训练数据样本集对预构建单阶段瑕疵检测模型进行训练，得到瑕疵检测模型，实现了对家具板材表面的多尺度和多类别瑕疵的准确识别。
附图说明
图1是本发明一种面向家具板材的瑕疵检测方法的步骤流程图；
图2是本发明一种面向家具板材的瑕疵检测系统的结构框图；
图3是本发明具体实施例Retinanet模型和瑕疵检测模型瑕疵分类的数据对比示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本发明提供了一种面向家具板材的瑕疵检测方法，该方法包括以下步骤：
S1、获取样本图像并对样本图像中的瑕疵进行标注，得到瑕疵标签；
具体地，利用工业相机采集家具板材表面二维图像，采集到的图片中最大分辨率为5726*25266，最小分辨率为1101*3061。然后通过图像标注工具，以矩形框的形式对采集的图像中所包含的瑕疵进行标注，获取图像对应的瑕疵标签。
其中，瑕疵标签包含了每个瑕疵所在矩形框区域在图像中左上角的坐标(xmin,ymin)，右下角的坐标(xmax,ymax)和瑕疵的类别N，N∈{1,2,3,...,7}，表示数据集中一共有7种类型的瑕疵，所对应的瑕疵名称依次为划痕、黑斑、边缘破损、圆孔破损、槽破损、角破损和裂痕。
S2、根据样本图像和瑕疵标签构建样本数据集并对样本数据集进行切片和随机划分，得到训练数据集和测试数据集；
S2.1、对样本数据集中的图像数据进行两次切片，得到第一规格的切片数据和第二规格的切片数据。
具体地，第一规格的切片数据为600*600，第二规格的切片数据为1024*1024；
S2.2、对第一规格的切片数据进行黑边裁剪，对第二规格的切片数据进行保留黑边；
S2.3、将切片数据进行合并并剔除重复样本，得到样本组；
具体地，将切片数据进行合并并剔除一部分重复的样本，得到2490组样本，每一组样本包括图像和标签。
S2.4、将样本组按预设比例随机划分，得到训练数据集和测试数据集。
S3、对训练数据集进行数据预处理，得到预处理后的训练数据集；
具体地，对训练数据集分别以随机水平翻转、垂直翻转、随机剪切、随机缩放、随机长宽扭曲和随机色域扭曲等方式进行数据扩充；
对扩充后的数据采用Mosaic方式进行增强，即随机选取四组数据进行随机裁剪，再拼接到一张图上作为新的训练数据组。
S4、基于预处理后的训练数据集对预构建的检测器进行训练，得到瑕疵检测模型；
S4.1、基于改进的Retinanet网络，构建检测器；
具体地，对Retinanet网络的改进：
1)在原本的特征提取网络中，添加特征融合模块，用于对高低层特征进行融合，进而得到包含更多细节信息的融合特征；
2)在构建特征金字塔的过程中，为金字塔前两个网络层输出添加注意力机制模块，进而为特征图中不同通道的特征添加权值，将重要的特征增强，不重要的特征减弱，从而增强特征提取的指向性。
参照图3，展示了Retinanet模型和瑕疵检测模型在测试集上瑕疵分类的精确率和召回率的调和平均数数据，每个类别的左柱状图是Retinanet模型，右柱状图是瑕疵检测模型，可以看到瑕疵检测模型对于各类瑕疵的分类性能明显高于Retinanet模型，从测试结果可以看出本方法对于携带复杂纹理的大分辨率图像中的多尺度瑕疵可以进行高效检验。
S4.2、将在ImageNet数据集上训练得到的预先训练的模型权重作为检测器的初始权重，完成网络模型的初始化；
具体地，在检测器的训练中，使用预训练模型的权重进行初始化，整个网络使用的是基于一阶梯度优化随机目标函数算法(Adam)进行训练，全局学习率设为1e-4。在迭代过程中，采用StepLR机制来调整学习率，设置为训练完一个epoch就利用gamma＝0.96的乘法因子对学习率进行更新，Focal Loss函数中权重因子α设置为0.5，β设置为2。训练分为两个阶段，分别是冻结阶段和解冻阶段。实验中，先是在冻结阶段将模型主干部分的参数进行冻结，即不改变特征提取网络，仅对模型进行微调，然后进行解冻训练。本实验总共训练了50个epoch，在epoch50得到最佳模型。
S4.3、将预处理后的训练数据集输入至检测器进行特征提取，得到训练数据集的低层特征和高层特征；
S4.4、基于纹理抑制的方式将低层特征和高层特征进行融合，得到融合特征；
具体地，将特征提取网络ResNet的layer0记为L0，四个残差块的输出记为L1，L2，L3，L4，作为特征融合模块的输入；
分别使用一个卷积核为1*1的卷积将L0和L1的通道数转换为与L3和L4保持一致；
为上述L0、L1各自添加一个Relu激活函数，然后分别进行降采样，得到L0_Down和L1_Down；
将L0_Down与L3进行逐特征点比较，取它们的交集作为fuse_mask0；
类似地，将L1_Down与L4进行逐特征点比较，取它们的交集作为fuse_mask1；
最后将L2作为F1，将fuse_mask0与L3进行特征相加作为F2，将fuse_mask1与L4进行特征相加作为F3，输入到后续的特征金字塔网络。
S4.5、将融合特征输入至FPN网络，构建特征金字塔；
其中，FPN：特征金字塔(Feature Pyramid Networks)。
具体地，将获取到的融合特征输入到FPN，通过top-down(自顶向下)通路和lateral(侧向连接)通路，从图片的单一分辨率获取丰富的和多尺度的特征金字塔。
S4.6、将特征金字塔的每一层特征分别输入分类子网和回归子网，检测不同尺寸的瑕疵目标，得到训练检测信息；
S4.7、将训练检测信息与对应的瑕疵标签进行比对，调整检测器的模型参数；
S4.8、将训练好后的检测器作为瑕疵检测模型。
S5、基于瑕疵检测模型对测试数据集依次进行特征提取、分类和回归处理，得到瑕疵候选信息；
具体地，所述瑕疵候选信息包括测试数据集中瑕疵位置候选框的位置和该候选框内瑕疵所述类别概率信息；
S6、基于非极大值抑制方法对瑕疵候选信息进行筛选，得到瑕疵检测结果。
具体地，家具板材瑕疵检测操作如下：
将待测家具板材样本输入到瑕疵检测模型中，提取待测样本中的瑕疵特征并获取多尺度特征图；然后将上述特征图分别输入到分类子网和回归子网，获取瑕疵特征类别及其概率和位置坐标，最后通过非极大值抑制对这一组信息进行筛选，最终获取瑕疵检测结果。
进一步作为本方法的优选实施例，所述将上述特征图分别输入到分类子网和回归子网，获取瑕疵特征类别及其概率和位置坐标，最后通过非极大值抑制对这一组信息进行筛选，最终获取最佳检测结果这一步骤，其具体包括：
在分类子网中，使用4个3×3的卷积层，每个卷积层后接一个ReLU层，然后是通道数为8*9的(8是瑕疵类别数，9是anchor数)的3×3卷积层，最后使用sigmoid激活函数，得到每个anchor属于各类别的概率值；
在回归子网中，结构与分类子网相似，仅最后一层通道数为4*9，最终可以获取到每一个anchor对应的边界框坐标值；
使用一个分类score阈值0.05过滤掉分类概率太低的候选目标，然后对剩下的候选目标NMS后处理；
将剩余的所有候选框按分类score从大到小的顺序进行排序，记录所有候选框的分类类别。然后开始遍历，对于每个类别，提取出这个类别的所有候选目标，先把第一个目标提取到保留目标集合中，然后计算剩余所有目标与该目标的IoU，IoU大于阈值0.5的候选目标全部抛弃。然后重复以上过程，直到没有候选目标，进而得到最佳检测结果进行保存。
参照图2，一种面向家具板材的瑕疵检测系统，包括：
图像采集模块，用于对家具板材表面瑕疵样本进行采样，获取家具板材表面瑕疵的二维图像；
预处理模块，用于构建样本数据集并对样本数据集中的数据进行预处理，得到预处理后的样本数据集；
瑕疵检测模型训练模块，基于预处理后的样本数据集对预构建检测器进行训练，得到针对家具板材表面瑕疵检测的权重模型；
瑕疵检测模块，基于瑕疵检测模型对测试数据集依次进行特征提取、分类、回归和非极大值抑制处理，得到待测样本中所包含瑕疵的位置和类别信息。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明的有益效果具体包括：
1)基于改进的Retinanet实现对家具板材表面的多尺度和多类别瑕疵的准确识别。
2)通过新增特征融合模块，有效地对板材纹理特征进行了抑制，使网络充分学习到板材表面不同尺寸瑕疵的相关特征。
3)在特征金字塔中引入注意力机制来提高检验模型对难以区分样本的关注，进一步提高了检验模型的性能。
一种面向家具板材的瑕疵检测装置：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种面向家具板材的瑕疵检测方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如上所述一种面向家具板材的瑕疵检测方法。
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种面向家具板材的瑕疵检测方法，其特征在于，包括以下步骤：
获取样本图像并对样本图像中的瑕疵进行标注，得到瑕疵标签；
根据样本图像和瑕疵标签构建样本数据集并对样本数据集进行切片和随机划分，得到训练数据集和测试数据集；
对训练数据集进行数据预处理，得到预处理后的训练数据集；
基于预处理后的训练数据集对预构建的检测器进行训练，得到瑕疵检测模型；
基于瑕疵检测模型对测试数据集依次进行特征提取、分类和回归处理，得到瑕疵候选信息；
基于非极大值抑制方法对瑕疵候选信息进行筛选，得到瑕疵检测结果。
2.根据权利要求1所述一种面向家具板材的瑕疵检测方法，其特征在于，所述瑕疵标签包括每个瑕疵所在矩形框区域在图像中左上角的坐标、右下角的坐标和瑕疵的类别。
3.根据权利要求1所述一种面向家具板材的瑕疵检测方法，其特征在于，所述对训练数据集进行数据预处理包括数据扩充和数据增强。
4.根据权利要求1所述一种面向家具板材的瑕疵检测方法，其特征在于，所述根据样本图像和瑕疵标签构建样本数据集并对样本数据集进行切片和随机划分，得到训练数据集和测试数据集这一步骤，具体包括：
对样本数据集中的图像数据进行两次切片，得到第一规格的切片数据和第二规格的切片数据；
对第一规格的切片数据进行黑边裁剪，对第二规格的切片数据进行保留黑边；
将切片数据进行合并并剔除重复样本，得到样本组；
将样本组按预设比例随机划分，得到训练数据集和测试数据集。
5.根据权利要求1所述一种面向家具板材的瑕疵检测方法，其特征在于，所述基于预处理后的训练数据集对预构建的检测器进行训练的训练步骤，具体包括：
基于改进的Retinanet网络，构建检测器；
将预处理后的训练数据集输入至检测器进行特征提取，得到训练数据集的低层特征和高层特征；
基于纹理抑制的方式将低层特征和高层特征进行融合，得到融合特征；
将融合特征输入至FPN网络，构建特征金字塔；
将特征金字塔的每一层特征分别输入分类子网和回归子网，检测不同尺寸的瑕疵目标，得到训练检测信息；
将训练检测信息与对应的瑕疵标签进行比对，调整检测器的模型参数。
6.根据权利要求5所述一种面向家具板材的瑕疵检测方法，其特征在于，所述特征金字塔引入注意力机制模块对特征图中不同通道的特征添加权值。
7.根据权利要求5所述一种面向家具板材的瑕疵检测方法，其特征在于，所述基于纹理抑制的方式将低层特征和高层特征进行融合，得到融合特征这一步骤，具体包括：
将特征提取网络ResNet的五个残差块作为特征融合模块的输入；
基于卷积将第一残差块输出和第二残差块输出进行通道转换，得到与第四残差块和第五残差块输出的低层特征的通道数一致的第一残差块和第二残差块；
基于Relu激活函数对第一残差块输出和第二残差块输出分别进行降采样，得到降采样后的第一残差块输出和第二残差块输出；
将降采样后的第一残差块输出与第四残差块输出进行逐特征点比较并取交集，得到第一交集特征；
将降采样后的第二残差块输出与第五残差块输出进行逐特征点比较并取交集，得到第二交集特征；
将第三残差块输出作为第一特征，将第一交集特征与第四残差块输出进行特征相加作为第二特征，将第二交集特征与第五残差块输出进行特征相加作为第三特征，输入到后续的特征金字塔网络。
8.一种面向家具板材的瑕疵检测系统，其特征在于，包括：
图像采集模块，用于对家具板材表面瑕疵样本进行采样，获取家具板材表面瑕疵的二维图像；
预处理模块，用于构建样本数据集并对样本数据集中的数据进行预处理，得到预处理后的样本数据集；
瑕疵检测模型训练模块，基于预处理后的样本数据集对预构建检测器进行训练，得到针对家具板材表面瑕疵检测的权重模型；
瑕疵检测模块，基于瑕疵检测模型对测试数据集依次进行特征提取、分类、回归和非极大值抑制处理，得到待测样本中所包含瑕疵的位置和类别信息。
9.一种面向家具板材的瑕疵检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述一种面向家具板材的瑕疵检测方法。
CN202210371502.XA 2022-04-11 2022-04-11 一种面向家具板材的瑕疵检测方法、系统及装置 Pending CN114743102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210371502.XA CN114743102A (zh) 2022-04-11 2022-04-11 一种面向家具板材的瑕疵检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210371502.XA CN114743102A (zh) 2022-04-11 2022-04-11 一种面向家具板材的瑕疵检测方法、系统及装置

Publications (1)

Publication Number Publication Date
CN114743102A true CN114743102A (zh) 2022-07-12

Family

ID=82282115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210371502.XA Pending CN114743102A (zh) 2022-04-11 2022-04-11 一种面向家具板材的瑕疵检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114743102A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471473A (zh) * 2022-09-15 2022-12-13 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法
CN115980322A (zh) * 2023-02-09 2023-04-18 百福工业缝纫机（张家港）有限公司 一种织物瑕疵智能检测方法及系统
CN116754484A (zh) * 2023-06-19 2023-09-15 江苏省特种设备安全监督检验研究院 一种非金属内胆纤维缠绕容器的无损检测方法
CN117391514A (zh) * 2023-10-24 2024-01-12 江苏富松模具科技有限公司 一种立轴磨床的加工质量管理方法及系统
CN117636045A (zh) * 2023-12-07 2024-03-01 湖州练市漆宝木业有限公司 基于图像处理的木材缺陷检测系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471473A (zh) * 2022-09-15 2022-12-13 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法
CN115471473B (zh) * 2022-09-15 2024-06-07 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法
CN115980322A (zh) * 2023-02-09 2023-04-18 百福工业缝纫机（张家港）有限公司 一种织物瑕疵智能检测方法及系统
CN116754484A (zh) * 2023-06-19 2023-09-15 江苏省特种设备安全监督检验研究院 一种非金属内胆纤维缠绕容器的无损检测方法
CN116754484B (zh) * 2023-06-19 2024-01-05 江苏省特种设备安全监督检验研究院 一种非金属内胆纤维缠绕容器的无损检测方法
CN117391514A (zh) * 2023-10-24 2024-01-12 江苏富松模具科技有限公司 一种立轴磨床的加工质量管理方法及系统
CN117636045A (zh) * 2023-12-07 2024-03-01 湖州练市漆宝木业有限公司 基于图像处理的木材缺陷检测系统

Similar Documents

Publication Publication Date Title
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN110222701B (zh) 一种桥梁病害自动识别方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN109615604A (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN113516651A (zh) 基于残差网络的焊接接头缺陷检测方法及装置
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN112991271B (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN111915593A (zh) 模型建立方法、装置、电子设备及存储介质
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN107886065A (zh) 一种混合字体的数字序列识别方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN114913148A (zh) 基于无监督学习的丝印疵点检测方法、装置及存储介质
CN114463300A (zh) 钢材表面缺陷检测方法、电子设备、存储介质
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN113298857A (zh) 一种基于神经网络融合策略的轴承缺陷检测方法
CN112053357A (zh) 一种基于fpn的钢材表面瑕疵检测方法
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN113989267B (zh) 基于轻量级神经网络的电池缺陷检测方法
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质
CN115937077A (zh) 一种基于改进ssd算法的工件表面微小缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination