CN115131283B - 目标对象的缺陷检测、模型训练方法、装置、设备及介质 - Google Patents
目标对象的缺陷检测、模型训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115131283B CN115131283B CN202210395791.7A CN202210395791A CN115131283B CN 115131283 B CN115131283 B CN 115131283B CN 202210395791 A CN202210395791 A CN 202210395791A CN 115131283 B CN115131283 B CN 115131283B
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- subgraph
- defects
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 945
- 238000001514 detection method Methods 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000012549 training Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 189
- 230000011218 segmentation Effects 0.000 claims abstract description 55
- 230000000877 morphologic effect Effects 0.000 claims description 111
- 238000004590 computer program Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 20
- 238000005520 cutting process Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 37
- 230000009286 beneficial effect Effects 0.000 abstract description 11
- 238000000576 coating method Methods 0.000 description 52
- 239000011248 coating agent Substances 0.000 description 49
- 230000006870 function Effects 0.000 description 31
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 29
- 229910052744 lithium Inorganic materials 0.000 description 29
- 238000010586 diagram Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 20
- 238000010801 machine learning Methods 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 14
- 229910052751 metal Inorganic materials 0.000 description 11
- 239000002184 metal Substances 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005261 decarburization Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 239000002002 slurry Substances 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001292396 Cirrhitidae Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 239000013543 active substance Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007581 slurry coating method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标对象的缺陷检测、模型训练方法、装置、设备及介质，该检测方法对目标对象的第一图像进行感兴趣区域的检测和裁剪，得到缺陷子图，能够快速定位到目标对象中需要检测的缺陷的位置，且对缺陷子图进行检测，有利于减小整体的数据处理量，提高数据处理效率；在缺陷检测过程中，提取图像特征数据后，对图像特征数据进行语义分割处理以确定缺陷的轮廓信息，进而确定缺陷的形态参数，并对图像特征数据进行缺陷分类处理以确定缺陷的类别。本申请实施例通过语义分割结合目标对象分类进行缺陷检测，能够更为高效、准确地得到目标的缺陷检测结果，有利于提高缺陷定位和识别的鲁棒性。本申请的技术方案可广泛应用于图像处理技术领域。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种目标对象的缺陷检测、模型训练方法、装置、设备及介质。
背景技术
近年来，随着人工智能技术的飞速发展，各种类型的机器学习模型在图像分类、人脸识别、自动驾驶等领域均取得了较为良好的应用效果。其中，在工业生产领域中，存在有使用计算机视觉技术对目标对象(一般是工业产品)的缺陷进行检测的应用。
相关技术中，由于生产环境的复杂性、工艺标准的不统一等因素，产品上的缺陷形式可能是多种多样的。目前的缺陷检测方法，往往仅适用于单一缺陷检测的类型，当面临复杂多样的检测需求时，检测结果的准确性较低，检测效率不高。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种目标缺陷检测、模型训练方法、装置、电子设备及介质，能够提高目标缺陷检测的准确性和检测效率。
一方面，本申请实施例提供了一种目标对象的缺陷检测方法，包括：
获取目标对象的第一图像；
检测所述第一图像中的感兴趣区域，对所述感兴趣区域进行裁剪，得到所述目标对象的缺陷子图；
提取所述缺陷子图的图像特征数据；
根据所述图像特征数据对所述缺陷子图进行语义分割处理，得到所述缺陷子图的缺陷轮廓；根据所述图像特征数据对所述缺陷子图进行缺陷分类处理，得到所述缺陷子图中缺陷的类别信息；
根据所述缺陷轮廓，确定所述缺陷子图中缺陷的形态参数；
根据各个所述缺陷子图中缺陷的所述类别信息和所述形态参数，确定所述目标对象的缺陷检测结果。
另一方面，本申请实施例还提供了一种目标对象缺陷检测模型的训练方法，包括：
获取多个样本子图；所述样本子图携带有缺陷标签；所述缺陷标签用于表征所述样本子图的缺陷轮廓和所述样本子图中缺陷的类别信息；
通过目标对象缺陷检测模型提取各个所述样本子图的图像特征数据；
根据所述图像特征数据对所述样本子图进行语义分割处理，得到所述样本子图的缺陷轮廓预测结果；
根据所述图像特征数据对所述样本子图进行缺陷分类处理，得到所述样本子图中缺陷的类别信息预测结果；
根据所述缺陷轮廓预测结果和所述缺陷标签，确定第一损失值；
根据所述类别信息预测结果和所述缺陷标签，确定第二损失值；
根据所述第一损失值和所述第二损失值，对所述目标缺陷检测模型的参数进行更新，得到训练好的目标缺陷检测模型。
另一方面，本申请实施例还提供了一种目标对象缺陷检测装置，包括：
获取模块，用于获取目标对象的第一图像；
裁剪模块，用于检测所述第一图像中的感兴趣区域，对所述感兴趣区域进行裁剪，得到所述目标对象的缺陷子图；
第一处理模块，用于提取所述缺陷子图的图像特征数据；
第二处理模块，用于根据所述图像特征数据对所述缺陷子图进行语义分割处理，得到所述缺陷子图的缺陷轮廓；
第三处理模块，用于根据所述图像特征数据对所述缺陷子图进行缺陷分类处理，得到所述缺陷子图中缺陷的类别信息；
识别模块，用于根据所述缺陷轮廓，确定所述缺陷子图中缺陷的形态参数；
检测模块，用于根据各个所述缺陷子图中缺陷的所述类别信息和所述形态参数，确定所述目标对象的缺陷检测结果。
进一步，上述裁剪模块具体用于：
确定所述第一图像的像素均值；
根据所述像素均值，从所述第一图像中确定多个第一目标像素点；其中，所述第一目标像素点的像素值与所述像素均值的差值大于第一预设阈值或者小于第二预设阈值，所述第一预设阈值为正数，所述第二预设阈值为负数；
在所述第一图像中，确定多个所述第一目标像素点构成的连通区域；
从所述第一图像中裁剪出各个所述连通区域，得到所述目标对象的缺陷子图。
进一步，上述裁剪模块具体用于：
根据所述第一图像的各个像素点的像素值，从所述第一图像中确定第二目标像素点；其中，所述第二目标像素点的像素值大于第三预设阈值且小于第四预设阈值，所述第三预设阈值小于所述第四预设阈值；
计算各个所述第二目标像素点的像素值的平均值，得到所述第一图像的像素均值。
进一步，上述目标对象缺陷检测装置还包括：
归一化处理模块，用于对所述缺陷子图进行图像尺度归一化处理，得到新的缺陷子图。
进一步，上述识别模块具体用于：
根据所述缺陷轮廓，基于图像尺度归一化处理前的所述缺陷子图的尺寸，对所述缺陷轮廓进行尺寸复原，得到所述缺陷子图中缺陷的原始轮廓；
根据所述原始轮廓，确定所述缺陷子图中缺陷的形态参数。
进一步，上述第二处理模块具体用于：
提取所述缺陷子图在不同层图像尺度的图像特征数据；
对所述不同层图像尺度的图像特征数据进行特征融合处理，得到第一目标特征数据；
通过解码器对所述第一目标特征数据进行语义分割处理，得到所述缺陷子图的缺陷轮廓。
进一步，上述第三处理模块具体用于：
将图像尺度处于最小一层的图像特征数据确定为第二目标特征数据；
通过分类器对所述第二目标特征数据进行缺陷分类处理，得到所述缺陷子图中缺陷的类别信息。
进一步，上述目标对象缺陷检测装置还包括：
过滤模块，用于根据所述目标对象中各个缺陷对应的形态参数，对所述目标对象的缺陷进行过滤处理，得到所述目标对象的目标缺陷；
累计模块，用于确定所述目标对象中每种缺陷类别对应的目标缺陷的累计个数；
缺陷处理模块，用于根据所述缺陷类别和所述累计个数，确定所述目标对象的缺陷处理模式，其中，所述缺陷处理模式包括报警处理、停机处理或者贴标处理中的至少一种。
进一步，上述过滤模块具体用于：
获取各个缺陷类别对应的预设形态参数类别和预设形态参数阈值；
在各个所述预设形态参数类别下，比较所述缺陷对应的形态参数和所述预设形态参数阈值的大小；
当所述缺陷对应的全部形态参数均小于或者等于所述预设形态参数阈值，剔除所述缺陷；或者，当所述缺陷对应的任一形态参数大于所述预设形态参数阈值，将所述缺陷确定为目标缺陷。
另一方面，本申请实施例还提供了一种目标对象缺陷检测模型的训练装置，包括：
第二获取模块，用于获取多个样本子图；所述样本子图携带有缺陷标签；所述缺陷标签用于表征所述样本子图的缺陷轮廓和所述样本子图中缺陷的类别信息；
提取模块，用于通过目标对象缺陷检测模型提取各个所述样本子图的图像特征数据；
第四处理模块，用于根据所述图像特征数据对所述样本子图进行语义分割处理，得到所述样本子图的缺陷轮廓预测结果；
第五处理模块，用于根据所述图像特征数据对所述样本子图进行缺陷分类处理，得到所述样本子图中缺陷的类别信息预测结果；
第一损失值确定模块，用于根据所述缺陷轮廓预测结果和所述缺陷标签，确定第一损失值；
第二损失值确定模块，用于根据所述类别信息预测结果和所述缺陷标签，确定第二损失值；
训练模块，用于根据所述第一损失值和所述第二损失值，对所述目标缺陷检测模型的参数进行更新，得到训练好的目标缺陷检测模型。
进一步，上述第二获取模块具体用于：
获取样本对象的第二图像；
检测所述第二图像中的感兴趣区域，对所述感兴趣区域进行裁剪，其中，所述样本子图标注有对应的缺陷标签。
进一步，上述目标对象缺陷检测模型的训练装置还包括：
重合度检测模块，用于当确定所述样本子图中缺陷的个数为多个时，检测所述样本子图中各个缺陷的缺陷轮廓的重合度；
重合度比较模块，用于当所述重合度大于预设重合阈值，确定所述样本子图中存在缺陷重合区域；
标注模块，用于根据预设的缺陷优先级排序信息，将所述缺陷重合区域中缺陷优先级排序最高的缺陷对应的缺陷标签，确定为所述缺陷重合区域对应的缺陷标签。
进一步，上述目标对象缺陷检测模型的训练装置还包括：
再次裁剪模块，用于当所述重合度小于或者等于所述预设重合阈值，对所述样本子图进行再次裁剪，得到多个新的样本子图。
另一方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的目标对象缺陷检测方法或者目标对象缺陷检测模型的训练方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现上述的目标对象缺陷检测方法或者目标对象缺陷检测模型的训练方法。
另一方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述的目标对象缺陷检测方法或者目标对象缺陷检测模型的训练方法。
本申请实施例至少包括以下有益效果：本申请实施例对目标对象的第一图像进行感兴趣区域的检测和裁剪，得到缺陷子图，能够快速定位到目标对象中需要检测的缺陷的位置，且对缺陷子图进行检测，有利于减小整体的数据处理量，提高数据处理效率；在缺陷检测过程中，提取图像特征数据后，对图像特征数据进行语义分割处理以确定缺陷的轮廓信息，进而确定缺陷的形态参数，并对图像特征数据进行缺陷分类处理以确定缺陷的类别，其中，分别对缺陷子图进行语义分割和缺陷类别的分类处理，与直接进行多分类的语义分割相比，分类的准确度更高；与单纯的分类网络相比，又结合了语义分割处理提取缺陷轮廓，方便确定缺陷的形态参数，故而整体上提高了缺陷检测的准确性。因此，本申请实施例通过语义分割结合目标对象分类进行缺陷检测，能够更为高效、准确地得到目标的缺陷检测结果，有利于提高缺陷定位和识别的鲁棒性。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例提供的一种实施环境的示意图；
图2为本申请实施例提供的另一种实施环境的示意图；
图3为本申请实施例提供的一种目标对象缺陷检测方法的流程示意图；
图4为本申请实施例提供的一种缺陷子图的缺陷轮廓示意图；
图5为本申请实施例提供的一种缺陷检测结果的显示示意图；
图6为本申请实施例提供的另一种缺陷检测结果的显示示意图；
图7为本申请实施例提供的一种裁剪缺陷子图的示意图；
图8为本申请实施例提供的一种对缺陷子图进行图像尺度归一化处理的示意图；
图9为本申请实施例提供的一种锂电池涂布缺陷类别的示意图；
图10为本申请实施例提供的一种锂电池涂布缺陷的任务流程示意图；
图11为本申请实施例提供的一种锂电池极片的涂布图像示意图；
图12为本申请实施例提供的一种对涂布图像的感兴趣区域进行裁剪的示意图；
图13为本申请实施例提供的一种神经网络的部分结构示意图；
图14为本申请实施例提供的一种根据缺陷检测结果进行规则后处理的操作界面示意图；
图15为本申请实施例提供的一种目标对象缺陷检测模型的训练方法的流程示意图；
图16为本申请实施例提供的一种对样本子图的缺陷标签进行标注的示意图；
图17为本申请实施例提供的一种目标对象缺陷检测装置的结构框图；
图18为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在对本申请实施例进行详细说明之前，首先对本申请实施例中涉及的部分名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
感兴趣区域：ROI(region of interest)，在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子和函数来求得感兴趣区域，并进行图像的下一步处理。
本申请实施例中所提供的目标对象的缺陷检测方法、模型训练方法主要涉及人工智能技术。人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术；人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术、机器学习/深度学习、自动驾驶以及智慧交通等几大方向。
本申请实施例中提供的目标对象的缺陷检测方法、模型训练方法具体涉及人工智能领域内的计算机视觉技术和机器学习/深度学习。
其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，机器学习(深度学习)通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
具体地，本申请实施例中提供的方法，可以采用计算机视觉技术对目标对象的图像进行缺陷检测处理，从而对目标对象的缺陷进行细致的轮廓定位和类型识别；在对目标对象的图像进行缺陷检测处理的过程中，可以使用通过机器学习/深度学习训练得到的模型执行图像的特征数据提取、图像中缺陷所属类型的分类任务等，并且还提供了可对目标对象的缺陷进行检测处理的模型的训练方法。
本申请实施例中提供的方法可以在各种人工智能领域的应用场景中被执行：例如，工业制造的应用场景中，存在有对产品进行品质检测的需求。其中，对产品的外观进行缺陷检测属于品质检测的项目之一，在该场景下，可以使用本申请实施例中提供的方法对产品进行缺陷检测，从而得到缺陷检测结果，该缺陷检测结果即可用于分析产品的品质。当然，需要说明的是，以上的应用场景仅起到示例性的作用，并不意味着对本申请实施例中方法的实际应用形成限制。本领域技术人员可以理解，在不同应用场景中，人工智能系统都可以利用本申请实施例中提供的方法执行指定的任务。
近年来，随着人工智能技术的飞速发展，各种类型的机器学习模型在图像分类、人脸识别、自动驾驶等领域均取得了较为良好的应用效果。其中，在工业生产领域中，存在有使用计算机视觉技术对目标对象(一般是工业产品)的缺陷进行检测的应用。
相关技术中，由于生产环境的复杂性、工艺标准的不统一等因素，产品上的缺陷形式可能是多种多样的。目前的缺陷检测方法，往往仅适用于单一缺陷检测的类型，例如，在一些应用中，仅通过检测目标对象的图像灰度值的差异情况来判断缺陷的有无。这种方式可应用的场景非常受限，当面临复杂多样的检测需求时，得到检测结果的准确性较低，且检测效率不高。
基于此，本申请实施例提供了一种目标对象缺陷检测方法、目标对象缺陷检测模型的训练方法、装置、电子设备及存储介质，其中，该检测方法对目标对象的第一图像进行感兴趣区域的检测和裁剪，得到缺陷子图，能够快速定位到目标对象中需要检测的缺陷的位置，且对缺陷子图进行检测，有利于减小整体的数据处理量，提高数据处理效率；在缺陷检测过程中，提取图像特征数据后，对图像特征数据进行语义分割处理以确定缺陷的轮廓信息，进而确定缺陷的形态参数，并对图像特征数据进行缺陷分类处理以确定缺陷的类别，其中，分别对缺陷子图进行语义分割和缺陷类别的分类处理，与直接进行多分类的语义分割相比，分类的准确度更高；与单纯的分类网络相比，又结合了语义分割处理提取缺陷轮廓，方便确定缺陷的形态参数，故而整体上提高了缺陷检测的准确性。因此，本申请实施例通过语义分割结合目标对象分类进行缺陷检测，能够更为高效、准确地得到目标的缺陷检测结果，有利于提高缺陷定位和识别的鲁棒性。
下面结合附图，对本申请实施例的具体实施方式进行详细说明。
参照图1，图1示出了本申请实施例中提供的目标对象的缺陷检测方法一种实施环境的示意图。在该实施环境中，主要涉及的软硬件主体包括第一终端110。
具体地，第一终端110中可以安装有相关的缺陷检测应用程序，该缺陷检测应用程序可以基于第一终端110获取到的目标对象的图像，执行本申请实施例中提供的缺陷检测方法，从而得到对应的缺陷检测结果，并显示在应用程序界面上供用户浏览。需要说明的是，此处，第一终端110获取目标对象的图像，既可以是通过其他图像采集设备采集目标对象的图像后传输给第一终端110的，也可以是由第一终端110基于自身的拍照应用程序采集得到的。
另外，参照图2，图2为本申请实施例提供的目标对象的缺陷检测方法另一种实施环境的示意图，该实施环境主要涉及的软硬件主体包括第二终端210和服务器220，其中，第二终端210和服务器220之间通信连接。
具体地，服务器220中可以安装有相关的缺陷检测应用程序，该缺陷检测应用程序可以基于目标对象的图像，执行本申请实施例中提供的缺陷检测方法，从而得到对应的缺陷检测结果，并可以将缺陷检测结果发送给本地的第二终端210显示供用户浏览。需要说明的是，此处，目标对象的图像，既可以是通过其他图像采集设备采集后传输给服务器220的，也可以是由第二终端210基于自身的拍照应用程序采集后传输给服务器220的。
其中，以上实施例的第一终端110和第二终端210可以包括智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表以及车载终端等，但并不局限于此。
服务器220可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
另外，服务器220还可以是区块链网络中的一个节点服务器。
第二终端210与服务器220之间可以通过无线网络或有线网络建立通信连接。该无线网络或有线网络使用标准通信技术和/或协议，网络可以设置为因特网，也可以是其它任何网络，例如包括但不限于局域网(Local Area Network，LAN)、城域网(MetropolitanArea Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
当然，可以理解的是，图1和图2中的实施环境只是本申请实施例中提供的目标对象的缺陷检测方法一些可选的应用场景，实际的应用并不固定为图1和图2所示出的软硬件环境。本申请实施例提供的方法可应用于各种技术领域，包括但不限于多媒体、图像处理、云计算等技术领域。
参照图3，图3为本申请实施例提供的目标对象的缺陷检测方法的流程示意图，该目标对象的缺陷检测方法可以由终端单独执行，也可以由终端与服务器配合执行，该目标对象的缺陷检测方法包括但不限于以下步骤301至步骤306。
步骤301：获取目标对象的第一图像。
本步骤中，目标对象可以包括任一种需要进行缺陷检测的工业产品及其组件，但并不局限于此。此处，将获取的目标对象的图像记为第一图像，第一图像可以包括目标对象的整体或者部分区域的图像内容。在一些情况下，目标对象的整体在功能或者特征上并无明显区别，比如说目标对象是玻璃制品，容易出现缺陷的地方并不固定，此时，可以获取目标对象的整体图像作为第一图像；在另一些情况下，目标对象的部分区域属于需要进行缺陷检测的区域，比如说希望对汽车车身上的划痕进行检测，则此时可以获取目标对象的指定区域的图像作为第一图像。需要说明的是，在本步骤中，第一图像可以从本地获取，也可以从云端获取，本申请实施例对此不做限定。
步骤302：检测第一图像中的感兴趣区域，对感兴趣区域进行裁剪，得到目标对象的缺陷子图。
本步骤中，在对目标对象中的缺陷进行细致的分类和位置识别之前，可以先对第一图像进行缺陷检测的前处理。此处，缺陷检测的前处理的目的是判断第一图像中是否存在有缺陷，具体地，一般可以采用基于像素均值的检测方式，判断第一图像中是否存在有和像素均值偏差较大的像素点，从而确定出第一图像是否存在缺陷。当检测到第一图像中存在有和像素均值偏差较大的像素点，则可以确定第一图像存在缺陷，此时，可以对第一图像内的感兴趣区域进行检测和裁剪，得到含有缺陷的小图，记为缺陷子图。此处的感兴趣区域，可以基于检测到的与像素均值偏差较大的像素点的位置确定。
可以理解的是，本步骤中，对第一图像进行感兴趣区域检测、裁剪得到的缺陷子图的个数可以是一个，也可以是多个，本申请对此不做限制。为方便描述，后文实施例中以裁剪得到多个缺陷子图为例进行介绍和说明。
需要说明的是，在本步骤中，感兴趣区域的大小并不一定等于缺陷的大小，感兴趣区域是对缺陷位置的初步判定，具体的缺陷轮廓还需要进行进一步的精确识别。
步骤303：提取缺陷子图的图像特征数据。
本步骤中，在获取到各个缺陷子图后，可以提取这些缺陷子图的图像特征数据。此处，特征指的是某一类对象区别于其他类对象的(本质)特点或特性，特征数据就是通过测量或处理抽取的能够表征出上述特点或特性的数据。对于图像类型的数据来说，其特征可以包括图像的自然特征，例如亮度、边缘、纹理和色彩等；也可以包括图像的数字特征，例如矩、直方图以及主成份等，但并不局限于此。本步骤中，在提取缺陷子图的图像特征数据时，可以采用统计算法、机器学习模型处理或者信号处理等任一种或者多种的图像处理算法提取得到；并且，得到的图像特征数据，其数据格式可以包括数字、向量、矩阵或者张量中的至少一种，本申请对此不做限制。下面以机器学习模型处理为例，对本步骤中提取缺陷子图的图像特征数据的实现方式进行示例性的说明。
在一种可能的实现方式中，可以采用卷积神经网络提取缺陷子图的图像特征数据。可以理解的是，在缺陷子图中，各个像素点均有对应的像素值。通过卷积神经网络对缺陷子图进行特征提取，可以利用卷积神经网络中的卷积层在缺陷子图上滑动，将缺陷子图上各个像素点的像素值与对应的卷积层上的卷积系数相乘，然后将所有相乘后得到的值相加，作为卷积神经网络提取到的缺陷子图上部分区域的图像特征数据，接着滑动完整个缺陷子图，即可得到该缺陷子图的图像特征数据。
步骤304：根据图像特征数据对缺陷子图进行语义分割处理，得到缺陷子图的缺陷轮廓；根据图像特征数据对缺陷子图进行缺陷分类处理，得到缺陷子图中缺陷的类别信息。
本步骤中，基于提取得到的图像特征数据，对缺陷子图进行语义分割处理。语义分割处理是对图像中的每一个像素进行分类，确定每一个像素所属的类别，从而可以便于对整个图像中属于不同类别的内容进行轮廓的精确分割。在本步骤中，对缺陷子图进行语义分割处理，目的是确定出缺陷子图中缺陷的轮廓，得到缺陷子图中的缺陷轮廓。可以理解的是，为了确定出缺陷子图中缺陷的轮廓，在对缺陷子图进行语义分割处理时，每个像素对应的类别可以被设定为属于缺陷或者不属于缺陷，如此，根据语义分割处理过程中，被判定为属于缺陷的类别的全部像素点所在的范围，即可确定出该缺陷子图内的缺陷轮廓。具体地，请参照图4，图4示出了一种对缺陷子图进行语义分割处理得到的缺陷轮廓示意图，在图4中，图像410为像素尺度下的缺陷子图，对图像410进行语义分割处理后，其内的像素点分别被判定为属于缺陷的像素点和不属于缺陷的像素点。将其中被判定为属于缺陷的像素点全部提取出来可以构成联通区域，该联通区域的轮廓411即为图像410中的缺陷轮廓。当然，需要说明的是，轮廓411仅用于对本申请中通过语义分割处理得到的缺陷轮廓的范围进行介绍和说明，本申请对其具体的形状不作限制。
需要说明的是，在本步骤中，具体进行语义分割处理采用的方式可以根据需要灵活选择。在一种可能的实现方式中，可以采用基于CRF(条件随机场)的分割管线对缺陷子图进行语义分割处理；在另一种可能的实现方式中，可以采用基于编码器-解码器结构搭建的深度学习模型对缺陷子图进行语义分割处理，例如传统的U-Net模型。
本步骤中，还基于提取得到的图像特征数据，对缺陷子图进行缺陷分类处理。缺陷分类处理是在缺陷类别上对缺陷子图中所含有的缺陷进行分类，此处的缺陷类别可以根据具体的应用场景和需求灵活设定。例如，在一些实施例中，目标对象可以为玻璃制品，对应的缺陷类别可以包括有孔洞、裂纹、擦痕、污垢等；在一些实施例中，目标对象可以为金属制品，对应的缺陷类别可以包括有斑点、刮痕、凹凸、杂质、气泡、褶皱等。可以理解的是，在机器学习领域内，分类任务作为基础任务之一，可以选用的模型和算法种类是多种多样的，因此本申请中，对进行缺陷分类处理所选用的分类模型不作限定。
需要说明的是，本步骤中，在对缺陷子图的缺陷进行轮廓和类别检测时，分别采用了语义分割处理和缺陷分类处理；其中，语义分割处理是在像素点尺度上进行的分类处理，能够更精准地确定出缺陷的轮廓边缘，提高缺陷检测中对缺陷位置信息识别的准确度，而缺陷分类处理则是在整个缺陷子图的维度上判别的，能够在很大程度上兼顾该缺陷的整体特征，从而提高对缺陷类别检测的准确度。并且，还需要说明的是，本步骤中在进行两步处理时，均根据步骤303提取的缺陷子图的图像特征数据进行，相对于在缺陷子图上分别独立地从提取图像特征数据开始执行语义分割处理和缺陷分类处理任务来说，一方面能够提高图像特征数据的利用率，降低提取图像特征数据的计算资源消耗，有利于提高缺陷检测的效率；另一方面，使用同一处理过程中提取得到的图像特征数据进行语义分割处理和缺陷分类处理，能够令语义分割处理和缺陷分类处理的输入数据具有较强的关联性，可以做到同步处理，从而有利于提高缺陷检测的准确性。
步骤305：根据缺陷轮廓，确定缺陷子图中缺陷的形态参数。
本步骤中，在通过语义分割处理得到缺陷子图的缺陷轮廓后，可以基于该缺陷轮廓，确定缺陷子图中缺陷的形态参数。此处，形态参数可以包括缺陷的尺寸、面积、体积以及在预定参考系下的角度等参数。通过确定缺陷子图中缺陷的形态参数，能够更加便于输出准确、直观的缺陷检测结果，提高缺陷检测结果的利用价值。
具体地，在根据缺陷轮廓确定形态参数时，可以根据缺陷轮廓中相关像素点的坐标、个数或者多个像素点之间的位置关系来确定形态参数。比如说，当需要确定缺陷的长度时，可以取缺陷轮廓中处于两端的像素点的横坐标差值来计算得到；当需要确定缺陷的面积时，可以计算该缺陷轮廓中涵盖的像素点个数，然后基于经验或者统计数据等，通过像素点个数确定出缺陷的面积；当需要确定缺陷的体积时，可以结合上述确定的面积数据以及目标对象的厚度等参数确定。需要说明的是，上述的形态参数类型仅用于对本申请的实施进行举例说明，具体并不局限于此。
步骤306：根据各个缺陷子图中缺陷的类别信息和形态参数，确定目标对象的缺陷检测结果。
本步骤中，当检测出各个缺陷子图的缺陷的类别信息以及形态参数后，可以确定目标对象的缺陷检测结果。此处，缺陷检测结果的具体输出形式可以根据用户需求灵活设定，例如，在一种可能的实现方式中，参照图5，缺陷检测结果可以将每个缺陷子图中检测出的缺陷的类别信息和形态参数罗列显示出来。比如图5中，对于产品编号为“150726”的产品，通过执行本申请实施例中提供的缺陷检测方法检测出四个缺陷，其中，四个缺陷对应的类别信息依次为孔洞、裂纹、裂纹和斑点，每个缺陷所对应的形态参数各不相同。此时，缺陷检测结果可以依次罗列每个缺陷对应的类别信息和形态参数，比如对于排序处在第一个的缺陷，可以显示其类别信息“孔洞”以及对应的形态参数“0.86cm2”，表明在编号为“150726”的产品中，检测存在有大小为0.86cm2的孔洞的缺陷。对于排序处在其他位置的缺陷，可以按照上述方式对应显示，在此不再赘述。可以理解的是，由于缺陷的形态参数也存在类别差异，如形态参数可以是长度、宽度、面积等类别，因此，为了方便用户能够快速确认到显示的形态参数所表征的物理含义，还可以将形态参数对应的类别信息也显示出来：如对于排序处在第一个的缺陷，在显示其对应的形态参数“0.86cm2”时，可以显示该形态参数对应的类别信息“面积”。
并且，需要补充说明的是，图5中示出的实施例在显示缺陷对应的形态参数时，每种缺陷对应显示了一种类别的形态参数，而在另一些实施例中，对于某些缺陷，在显示其形态参数时，可以显示多种类别的形态参数：如可以同时显示某些缺陷的长度、宽度或者面积中的多个数据，本申请对此不做限制。
在一种可能的实现方式中，在确定目标对象的缺陷检测结果时，可以根据缺陷的类别信息和形态参数做数据的后处理，例如，可以根据缺陷的类别信息，统计目标对象中每个类别的缺陷的个数；根据缺陷的形态参数，可以确定出每个缺陷的严重程度。在一些具体的实现方式中，例如参照图6，可以统计出每个缺陷类别下，目标对象出现的缺陷的个数和其中最严重的缺陷的形态参数。此处，缺陷的严重程度可以根据缺陷的形态参数的大小来判定，例如，当形态参数为长度或者宽度等时，其数值越大，说明缺陷的大小就越大，反映出目标对象中缺陷覆盖的范围也就越大。因此，此时缺陷相对来说就越严重。在图6所示出的实施例中，对于产品编号为“150743”的产品，通过执行本申请实施例中提供的缺陷检测方法检测出三个缺陷，其中，三个缺陷中对应的类别信息为“划痕”的缺陷个数为2个；对应的类别信息为“斑点”的缺陷个数为1个，对应的类别信息为“孔洞”或者“裂纹”的缺陷个数为0个。此时，对于类别信息为“划痕”的2个缺陷，缺陷检测结果可以经过比较的后处理过程，将其中更为严重的缺陷的形态参数显示出来，如图6显示的，在产品编号为“150743”的产品中存在的两个划痕缺陷，其中长度最长的为2.1cm。对于排序处在其他位置的缺陷，可以按照上述方式对应显示，在此不再赘述。可以理解的是，本申请实施例中，通过将缺陷检测结果进行适应性地处理和显示，能够方便用户快速或者到产品整体的缺陷情况以及严重程度，方便用户及时对目标对象的缺陷数据有明确清晰的了解。
当然，需要说明的是，图5和图6示出的实施例中，均以显示的方式展示了目标对象的缺陷检测结果的输出形式，可以理解的是，在本申请中，缺陷检测结果实际的输出形式可以根据具体的需求灵活设定调整，例如在一些情况下，可以制成相关的图表数据实时存储；在另一些情况下，缺陷检测结果也可以作为本地应用程序或者其他应用程序的中间数据，方便根据缺陷检测结果自动执行相应的后处理流程。
具体地，在一种可能的实现方式中，在根据缺陷检测结果执行相应的后处理流程时，可以包括：
根据目标对象中各个缺陷对应的形态参数，对目标对象的缺陷进行过滤处理，得到目标对象的目标缺陷；
确定目标对象中每种缺陷类别对应的目标缺陷的累计个数；
根据缺陷类别和累计个数，确定目标对象的缺陷处理模式，其中，缺陷处理模式包括报警处理、停机处理或者贴标处理中的至少一种。
本申请实施例中，在检测得到目标对象的缺陷检测结果后，可以根据目标对象中检测出的各个缺陷的形态参数，先对目标对象的缺陷进行过滤处理，得到目标对象的目标缺陷。然后，可以统计目标对象中每种缺陷类别对应的目标缺陷的累计个数，根据缺陷类别和累计个数，可以确定目标对象整体上的缺陷严重程度，从而便于确定对其的缺陷处理模式。
此处，缺陷处理模式一般针对产线上的产品为主，例如可以包括有报警处理、停机处理或者贴标处理中的至少一种。其中，报警处理包括通过相关的告警设备通知工作人员产品出现缺陷，需要工作人员及时处理；停机处理主要指触发产线的电源设备或者开关器件，使得产线暂停，等待工作人员排查处理；贴标处理主要是对出现缺陷的产品粘贴相关的标识，方便工作人员辨认。当然，此处的缺陷处理模式可以根据不同产品的品控要求和作业流程来灵活设定，本申请对此不做限制。
需要说明的是，根据缺陷类别和累计个数确定缺陷处理模式，在一些实施例中，可以是综合考虑所有的目标缺陷的情况，例如可以为每个缺陷类别预设缺陷得分，通过总计目标对象的总的缺陷得分，确定对应的缺陷处理模式；在一些实施例中，可以是针对每种缺陷类别和独立的判断逻辑，例如可以为每个缺陷类别预设个数阈值，当检测到的累计个数达到对应的个数阈值时，基于和个数阈值匹配的缺陷处理模式执行对应的后处理程序。
需要补充说明的是，本申请实施例中，对目标对象进行的缺陷过滤，可以根据具体的需要执行。例如，可以理解的是，形态参数能够在一定程度上反应出缺陷的大小及严重程度。因此，在一些实施例中，可以将对应的形态参数较小的缺陷过滤掉，减轻后续数据处理的压力。当然，由于不同的缺陷类别本身所对应的缺陷的严重程度也不同，故而可以针对不同的缺陷类别，采用不同的形态参数阈值来过滤缺陷，当对应缺陷的形态参数小于形态参数阈值时，即可将该缺陷过滤掉。比如说，对于“划痕”和“裂纹”两类缺陷来说，一般认为“裂纹”类别的缺陷严重程度要高于“划痕”类别的缺陷，故而在过滤两类缺陷时，可以为“划痕”类别的缺陷设置较大的形态参数阈值，为“裂纹”类别的缺陷设置较小的形态参数阈值，使得同样长度、面积的“划痕”类别的缺陷，相对于“裂纹”类别的缺陷更容易被过滤掉。
并且，需要补充说明的是，如前的，形态参数本身也存在类别。因此，本申请实施例中，可以根据不同的缺陷类别、形态参数类别设置不同的形态参数阈值。那么在对缺陷进行过滤时，则可以根据缺陷所属的类别，分别比较各个预设形态参数类别下缺陷对应的形态参数和预设形态参数阈值的大小，举例来说，针对“裂纹”类别的缺陷，可能存在有长度、面积两类形态参数，则每类形态参数均可以对应有一个预设形态参数阈值，例如长度对应的预设形态参数阈值可以是1.5cm，面积对应的预设形态参数阈值可以是2cm2。如此，当某个缺陷对应的全部形态参数均小于或者等于预设形态参数阈值，则说明该缺陷较小，严重程度较低，此时可以剔除该缺陷；反之，当某个缺陷对应的任一形态参数大于预设形态参数阈值，则说明该缺陷在某个形态参数的类别下较为严重，此时可以将缺陷确定为目标缺陷。例如，以前述设置“裂纹”类别的缺陷的预设形态参数阈值为例，假设检测到的某个“裂纹”类别的缺陷长度为1.2cm，面积为0.8cm2，则其全部形态参数均小于或者等于预设形态参数阈值，符合剔除的条件，可以将其过滤掉。假设检测到的某个“裂纹”类别的缺陷长度为2.4cm，面积为1.8cm2，则其长度类别的形态参数大于预设形态参数阈值，符合确定为目标缺陷的条件，故可以将其确定为目标缺陷。
在一种可能的实现方式中，检测第一图像中的感兴趣区域，对感兴趣区域进行裁剪，得到目标对象的缺陷子图，包括：
确定第一图像的像素均值；
根据像素均值，从第一图像中确定多个第一目标像素点；其中，第一目标像素点的像素值与像素均值的差值大于第一预设阈值或者小于第二预设阈值；
在第一图像中，确定多个第一目标像素点构成的多个连通区域；
从第一图像中裁剪出各个连通区域，得到目标对象的缺陷子图。
本申请实施例中，在从第一图像中裁剪感兴趣区域时，可以首先确定第一图像的像素均值，在一些实施例中，可以直接获取第一图像中各个像素点的像素值，然后求取平均值得到像素均值；接着，可以根据该像素均值，从第一图像中确定出多个第一目标像素点。具体地，参照图7，图7中的图像710为获取到的目标对象的第一图像，在图像710中，包括有两个缺陷，即第一缺陷711和第二缺陷712；一般来说，当目标对象上存在缺陷时，采集到的第一图像上，缺陷所处位置区域的像素点的像素值将和其他正常部分的像素点的像素值存在一定差异。因此，可以基于第一图像中与像素均值偏差较大的像素点来确定出缺陷所处的区域。
具体地，本申请实施例中，可以预先设定偏差的比较阈值，计算第一图像中各个像素点的像素值和像素均值之间的差值，将该差值和比较阈值相比较确定每个像素点的像素和像素均值之间的偏差情况。此处，各个像素点的像素值和像素均值之间的差值存在有正数和负数两种情况，因此可以对应设置两个比较阈值，分别记为第一预设阈值和第二预设阈值。其中，第一预设阈值为正数，第二预设阈值为负数。当像素点的像素值与像素均值的差值大于第一预设阈值时，说明该像素点的像素值偏差较大，可以认定该像素点有较大概率处在缺陷区域内；类似地，当像素点的像素值与像素均值的差值小于第二预设阈值时，说明该像素点的像素值偏差较大，同样可以认定该像素点有较大概率处在缺陷区域内。如此，可以从第一图像中确定多个第一目标像素点，第一目标像素点所在的位置很可能为目标对象中缺陷所在的位置。如图7中，通过比较各个像素点的像素值和像素均值之间的差异情况，从中确定出了多个第一目标像素点721，这些第一目标像素点721整体基本完全覆盖了图像710中的第一缺陷711和第二缺陷712。接着，根据确定出的第一目标像素点721，可以确定出这些像素点构成的连通区域，如图7中可以确定出第一目标像素点721整体上构成了两个连通区域，分别为第一连通区域731和第二连通区域732，其中，第一连通区域731对应图像710中的第一缺陷711所在的位置，第二连通区域732对应图像710中的第二缺陷712所在的位置。然后，根据确定出的连通区域的位置，可以从第一图像中裁剪出各个连通区域，从而得到目标对象的缺陷子图。
具体地，从第一图像中裁剪出各个连通区域时，在一些实施例中，可以直接将第一图像中每个连通区域的最小外接矩形裁剪出来，从而得到对应的缺陷子图。如图7中，从第一图像中将第一连通区域731的最小外接矩形裁剪出来，可以得到对应的第一缺陷子图741，从第一图像中将第二连通区域732的最小外接矩形裁剪出来，可以得到对应的第二缺陷子图742。如此，即可将包括有第一缺陷711和第二缺陷712的缺陷子图从第一图像中裁剪出来，从而方便进行后续步骤的处理。
需要补充说明的是，通过上述的像素差值的方式裁剪第一图像中的感兴趣区域，其整体的准确性偏低，为了减少对属于缺陷区域的像素的误裁剪，在一些实施例中，确定出第一目标像素点构成的连通区域后，在裁剪时可以进行适当的宽松处理，例如可以先确定出连通区域的最小外接矩形，然后将最小外接矩形的长和宽适当扩大后得到目标矩形区域，将目标矩形区域裁剪出来从而得到目标对象的缺陷子图。此处，具体扩大的裁剪尺度可以根据需要灵活设定。并且可以理解的是，对各个连通区域的裁剪作业，应当以不干扰其他连通区域的裁剪为前提来执行。
在一种可能的实现方式中，确定第一图像的像素均值，包括：
根据第一图像的各个像素点的像素值，从第一图像中确定第二目标像素点；第二目标像素点的像素值大于第三预设阈值且小于第四预设阈值，其中，第一预设阈值大于第三预设阈值，第二预设阈值小于第四预设阈值；
计算各个第二目标像素点的像素值的平均值，得到第一图像的像素均值。
在前述实施例中，确定第一图像的像素均值时，采用直接获取第一图像中各个像素点的像素值，然后求取平均值得到像素均值的方式。这种方式整体上简单快捷，能够提高缺陷检测的处理效率。但是，在一些情况下，例如当目标对象中所含的缺陷过多或者缺陷的特征和图像背景特征比较接近时，可能第一图像内的缺陷或者背景会对像素均值产生较大的干扰影响，从而导致裁剪出的感兴趣区域的准确度偏低。因此，本申请实施例中，在确定第一图像的像素均值时，首先考虑去除掉缺陷及背景像素点带来的影响，即设定一个像素区间，将第一图像中不属于该像素区间的像素过滤掉，再求取第一图像的像素均值。
可以理解的是，在本申请实施例中，设定的像素区间应当尽可能贴近产品本身的图像所表征出的像素值。此处，像素区间包括有两个像素值的数值界限，分别记为第三预设阈值和第四预设阈值，其中第三预设阈值小于第四预设阈值。当第一图像中的某个像素点的像素值不在设定的像素区间时，可以将其剔除，从而减小缺陷及背景像素点带来的影响。
具体地，本申请实施例中，在计算像素均值时，可以先将各个像素点的像素值和设定的第三预设阈值、第四预设阈值进行比较，当像素点的像素值大于第三预设阈值且小于第四预设阈值时，则将该像素点确定为第二目标像素点。然后，基于各个第二目标像素点的像素值的平均值，可以得到更为可靠的第一图像的像素均值。
在一种可能的实现方式中，得到目标对象的缺陷子图之后，还包括：
对缺陷子图进行图像尺度归一化处理，得到新的缺陷子图。
可以理解的是，在目标对象中，由于缺陷类别、产生因素等的差异性，很可能各个缺陷的大小是不统一的，由此得出的各个缺陷子图，其尺度也会千差万别，容易给后续的数据处理带来较多麻烦。因此，本申请实施例中，在对第一图像的感兴趣区域进行裁剪得到缺陷子图后，可以对各个缺陷子图进行图像尺度归一化处理，得到多个新的缺陷子图。例如，参照图7和图8，图7中裁剪得到的第一缺陷子图741和第二缺陷子图742大小存在差异，对第一缺陷子图741进行图像尺度归一化处理，得到新的第三缺陷子图751，对第二缺陷子图742进行图像尺度归一化处理，得到新的第四缺陷子图752。可以看出，新的第三缺陷子图751和第四缺陷子图752在图像尺度上保持了一致，如此，能够大大减轻后续图像处理过程中的复杂度，提高缺陷检测的效率。
需要说明的是，本申请实施例中，在对各个缺陷子图进行图像尺度归一化处理时，归一化到的图像尺度可以根据需要灵活设定。例如，在一些实施例中，可以对部分图像尺度较大的缺陷子图进行缩小处理，同时对部分图像尺度较小的缺陷子图进行放大处理，以使得各个缺陷子图的图像尺度统一；在另一些实施例中，可以对全部的缺陷子图进行放大处理，其中，部分图像尺度较大的缺陷子图进行放大处理时所采用的放大倍数较小，部分图像尺度较小的缺陷子图进行放大处理时所采用的放大倍数较大，以使得各个缺陷子图的图像尺度统一。
在一种可能的实现方式中，根据缺陷轮廓，确定缺陷子图中缺陷的形态参数，包括：
根据缺陷轮廓，基于图像尺度归一化处理前的缺陷子图的尺寸，对缺陷轮廓进行尺寸复原，得到缺陷子图中缺陷的原始轮廓；
根据原始轮廓，确定缺陷子图中缺陷的形态参数。
需要补充说明的是，如果在裁剪感兴趣区域得到缺陷子图后，对缺陷子图进行了图像尺度归一化处理，那么对应地，在后续根据检测出的缺陷轮廓确定缺陷子图中缺陷的形态参数时，需要将图像尺度归一化处理带来的图像尺寸变更复原回来，从而确定出准确的形态参数。
具体地，在检测得到缺陷子图中的缺陷轮廓后，可以根据图像尺度归一化处理前的缺陷子图的尺寸，对缺陷轮廓进行尺寸复原，得到缺陷子图中缺陷的原始轮廓。例如，对于某个缺陷子图，当进行图像尺度归一化处理时其宽度缩小了一倍，长度缩小了两倍；那么，在该缺陷子图中检测出的缺陷轮廓，需要将缺陷轮廓的宽度放大一倍，长度放大两倍，得到目标对象的缺陷的原始轮廓，接着，根据原始轮廓的形态，可以确定出准确的形态参数。具体的形态参数计算方式在前述的步骤304中已详细介绍，在此不再赘述。
下面，结合一些更为具体的实施例，对本申请中提供的目标对象的缺陷检测方法进行详细说明。
锂电池是一种应用非常广泛的电源组件。在锂电池的生产工艺中，浆料涂覆是继制备浆料完成后的下一道工序，此工序主要目的是将稳定性好、粘度好、流动性好的浆料均匀地涂覆在锂电池的正负极集流体(极片)上，该工序也可被称为极片涂布。极片涂布对锂电池具有重要的意义，在浆料足够好的情况下，极片上活物质的密度基本保持一致，涂布过程中需要无杂质混入。如果极片出现掉粉严重、不耐弯折、有白色气泡等情况后，会对涂布的效果造成较大的影响，进而导致生产出的锂电池产品存在质量瑕疵。因此，在该场景下，存在有对涂布工艺进行缺陷检测，已确定锂电池是否存在严重质量隐患的需求。
参照图9，图9示出了锂电池涂布作业过程中，容易产生的几种典型的缺陷类别。其中，第一涂布图像910为正常的无缺陷锂电池涂布图像。第二涂布图像920为存在“凹凸点”缺陷的锂电池涂布图像，涂布图像中出现凹凸点，一般是涂布的极板上存在颗粒造成的，这些颗粒导致涂布后表面凸起或者凹陷，从而出现凹凸点。第三涂布图像930为存在“气泡”缺陷的锂电池涂布图像，气泡缺陷的图像一般是中间黑色，边缘有白色的圈状图案。第四涂布图像940为存在“亮点”缺陷的锂电池涂布图像，亮点缺陷的图像一般是白色的点状物，涂布图像中出现亮点的原因多是极板或者涂料中落入了灰尘。第五涂布图像950为存在“黑点”缺陷的锂电池涂布图像，涂布图像中出现黑点，一般是涂布涂料不均匀造成的，黑点缺陷的图像一般边缘相对较为模糊。第六涂布图像960为存在“漏金属”缺陷的锂电池涂布图像，漏金属缺陷的形成，是由于涂布破损并露出了下面的金属物质，属于比较严重的缺陷类别。第七涂布图像970为存在“脱碳”缺陷的锂电池涂布图像，脱碳是涂布涂料生产流程中，碳粉脱落导致涂料的颜色深黑，脱碳缺陷的图像一般边缘比较清晰锐利。第八涂布图像980为存在“条痕”缺陷的锂电池涂布图像，条痕通常是涂布生产过程中划伤导致，也称为划痕。第九涂布图像990为存在“模糊”缺陷的锂电池涂布图像，该种缺陷类别下，涂布图像中存在部分模糊的白色区域或模糊的黑色区域，存在缺陷的程度相对较小。
当然，需要说明的是，以上图9的示例仅用于说明锂电池涂布的缺陷类别的几种典型情况，并不代表实际生产过程中的情形。本领域人员基于对本申请技术方案的理解，可以根据实际需求调整、替换其中的缺陷类别，本申请对此不做限制。
参照图10，图10是本申请实施例中提供的目标对象的缺陷检测方法应用在锂电池涂布缺陷检测应用中的整体流程图。在该应用中，主要包括三个环节，第一个环节是样品级预测，即先获取锂电池涂布的原始图像，通过相关的图像处理软件读取图像后对图像进行感兴趣区域的检测识别。参照图11，图11中示出了一种通过线扫相机拍摄得到的锂电池极片的涂布图像，可以理解的是，一般在工业生产中，锂电池的极片涂布作业是连续进行的，因此，一张涂布图像可能包含有一个或者多个锂电池的极片1110，其和相机的设置位置相关，本申请对此不做限制。从图11可以看出，一般直接采集到的涂布图像的图像尺寸是较大的，直接放入到缺陷检测模型中可能存在困难，而且涂布上可能存在的缺陷数量较少，对整张原始的涂布图像直接进行缺陷检测可能导致处理效率偏低。因此，本申请实施例中，可以先对涂布图像的感兴趣区域进行检测和裁剪，得到含有涂布缺陷的缺陷子图。请参照图12，假设对于某个极片1210，其上存在有缺陷1211，通过本申请实施例中的缺陷检测方法，可以通过对涂布图像进行感兴趣区域检测和裁剪，得到缺陷子图1220。后续，通过对缺陷子图1220进行更为精准的缺陷检测，既能够得到准确的缺陷检测结果，也能减少缺陷检测处理所消耗的计算资源，从而提高缺陷检测的效率。
具体地，在进行感兴趣区域的裁剪过程中，可以对图像内像素点的像素值设定最大阈值和最小阈值，例如最大阈值(即前述的第四预设阈值)可以为100，最小阈值(即前述的第三预设阈值)可以为60，然后对阈值内的像素值取平均，作为整体的像素均值A。接着，选出像素值大于A+25以及像素值小于A-30的像素，组成多个连通区域，记为ROI 1、ROI 2、ROI 3...ROI N(N为正整数)。
第二个环节是图片级预测，在检测出多个连通区域后，可以对连通区域周围扩大200像素点裁剪图片，得到含有涂布缺陷的缺陷子图。将各个缺陷子图的大小进行尺度归一化处理，统一处理为同样大小的图片，输入到搭建好的神经网络当中，具体是将图片的像素值作为输入，预测输出缺陷子图的缺陷轮廓和缺陷子图中缺陷的类别信息。
参照图13，图13是本申请实施例中应用的神经网络的部分结构示意图，该部分主要用于提取和融合图像特征。具体地，该神经网络可以提取缺陷子图在不同层图像尺度的图像特征数据，并且可以对这些不同层图像尺度的图像特征数据进行多次的特征融合处理。在图13所示出的神经网络中，模型可以包括有用于执行卷积、跨步卷积、上采样等处理的功能模块。对于输入的缺陷子图，通过卷积处理可以提取该缺陷子图的图像特征数据(图像特征数据一般也被称为特征图)，并且，初步提取得到的图像特征数据可以再经过多次的跨步卷积处理，在更小的图像尺度上继续进行特征的提取，从而得到多种不同尺度的图像特征数据。参照图13，对于输入该神经网络的图像来说，首先通过卷积处理可以提取出处于第一图像尺度的图像特征数据1310，接着，在对第一图像尺度的图像特征数据1310进行多次卷积处理后，可以进行一次跨步卷积，可以得到处于第二图像尺度的图像特征数据1320，类似地，可以进一步得到处于第三图像尺度的图像特征数据1330和处于第四图像尺度的图像特征数据1340。对于得到的不同层图像尺度的图像特征数据，可以进行多次的特征融合处理。例如，在一些实施例中，可以对图像尺度处于较大一层或者多层的图像特征数据经过跨步卷积处理后融合到图像尺度处于较小一层的图像特征数据，比如说可以将第一图像尺度的图像特征数据1310或者第二图像尺度的图像特征数据1320进行跨步卷积处理后，融合到处于第三图像尺度的图像特征数据1330中。在另一些实施例中，也可以对图像尺度处于较小一层或者多层的图像特征数据经过上采样处理后融合到图像尺度处于较大一层的图像特征数据，比如说可以将第四图像尺度的图像特征数据1340或者第三图像尺度的图像特征数据1330进行跨步卷积处理后，融合到处于第二图像尺度的图像特征数据1320中。当然，以上的融合处理方式仅用于举例说明，图13所示的神经网络中，对多层图像尺度的图像特征数据进行了多次的特征融合处理，使得各个图像尺度的图像特征数据彼此之间有很多信息交换和融合，从而能够提高图像特征数据在各个图像尺度上的表达准确度。
本申请实施例中，在使用这些图像特征数据时，参照图13，可以提取某一阶段中融合后得到的4层不同图像尺度的图像特征数据，然后将4层不同图像尺度的图像特征数据进行融合拼接，得到第一目标特征数据1350，然后将第一目标特征数据1350输入到一个简单的解码器输出二分类的语意分割结果，即可得到缺陷子图的缺陷轮廓。类似地，在进行缺陷分类处理时，可以从4层不同图像尺度的图像特征数据中选取图像尺度处于最小一层的图像特征数据(即处于第四图像尺度的图像特征数据)作为第二目标特征数据1360，然后将第二目标特征数据1360输入到卷积神经网络和全连接器中，输出分类结果，即可得到缺陷子图中缺陷的类别信息。此处，解码器、卷积神经网络和全连接器均可以直接连接设置在图13所示的神经网络的结构上，从而整体构成一个完整的缺陷检测模型。
需要说明的是，本申请实施例中，提取缺陷子图的多个图像尺度的图像特征数据进行融合后用于语义分割处理和缺陷分类处理，能够更为充分地挖掘、利用缺陷子图的图像信息，有利于提高缺陷检测的准确性。并且，本申请实施例在进行语义分割处理和缺陷分类处理时，根据具体的任务需求有针对性地使用图像特征数据，如根据多图像尺度融合后的图像特征数据进行语义分割处理，能够大大提高语义分割的准确性；使用图像尺度处于最小一层的图像特征数据进行缺陷分类处理，能够更好地兼顾图像的整体特征，从而使得缺陷类别的检测结果更可靠。
第三个环节是规则后处理。参照图14，图14中示出了本申请实施例中提供的一种根据缺陷检测结果进行规则后处理的具体实现方式。在图14中，工作人员可以预先设置每种缺陷类型执行对应的缺陷处理模式时的触发条件。比如说对于“漏金属”类别的缺陷，可以输入面积参数和个数参数，当检测出某个锂电池涂布时出现了漏金属缺陷，且这些缺陷中面积大于预设的面积参数的个数超过了个数参数，那么可以执行对应设定的缺陷处理模式。此处，缺陷处理模式包括报警处理、停机处理或者贴标处理中的至少一种。需要说明的是，图14中“接带”、“贴胶”两种缺陷，一般是在开机前先对产品进行接带和贴胶作业，然后判断是否执行了设定的缺陷处理模式，以检测缺陷检测程序是否正常运行，实际作业过程中可以不必设置这两种缺陷的具体参数。
需要说明的是，上述的面积参数和个数参数的组合数可以根据具体的需要灵活设定，本申请对此不做限制。
可以理解的是，通过上述的后处理规则，能够大大减轻锂电池涂布缺陷检测的作业复杂度，有利于提高锂电池的生产质量和效率。
参照图15，图15为本申请实施例提供的目标对象缺陷检测模型的训练方法的流程示意图。和前述的目标对象缺陷检测方法类似，该目标对象缺陷检测模型的训练方法可以由终端单独执行，也可以由终端与服务器配合执行，该目标对象缺陷检测模型的训练方法包括但不限于以下步骤1501至步骤1507。
步骤1501：获取多个样本子图；样本子图携带有缺陷标签；缺陷标签用于表征样本子图的缺陷轮廓和样本子图中缺陷的类别信息；
步骤1502：通过目标对象缺陷检测模型提取各个样本子图的图像特征数据；
步骤1503：根据图像特征数据对样本子图进行语义分割处理，得到样本子图的缺陷轮廓预测结果；
步骤1504：根据图像特征数据对样本子图进行缺陷分类处理，得到样本子图中缺陷的类别信息预测结果；
步骤1505：根据缺陷轮廓预测结果和缺陷标签，确定第一损失值；
步骤1506：根据类别信息预测结果和缺陷标签，确定第二损失值；
步骤1507：根据第一损失值和第二损失值，对目标缺陷检测模型的参数进行更新，得到训练好的目标缺陷检测模型。
前述实施例中介绍了本申请实施例中提供的缺陷检测方法中，对缺陷子图的语义分割处理和缺陷分类处理可以基于单个模型来实现。在机器学习领域，模型在投入使用前一般需要经过训练调参，因此本申请实施例中，提供一种目标对象缺陷检测模型的训练方法。具体地，此处，可以通过带有标签的训练数据集对其进行训练，训练数据集中的训练数据可以是带有缺陷的图片，本申请记为样本子图，样本子图中携带有缺陷标签，该缺陷标签用于表征样本子图的缺陷轮廓和样本子图中缺陷的类别信息。
对于各个样本子图，可以将其输入到目标对象缺陷检测模型中，提取其图像特征数据，并根据图像特征数据进行语义分割处理，得到目标对象缺陷检测模型输出的样本子图的缺陷轮廓预测结果，根据图像特征数据进行缺陷分类处理，得到目标对象缺陷检测模型输出的样本子图中缺陷的类别信息预测结果，得到缺陷轮廓预测结果和类别信息预测结果后，可以根据该预测结果和前述的缺陷标签评估机器学习模型预测的准确性，以对模型进行反向传播训练，更新其内部的相关参数。
具体地，对于机器学习模型来说，它预测的准确性可以通过损失函数(LossFunction)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和模型对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(CostFunction)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的机器学习模型来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。本申请实施例中，可以从中任选一种损失函数来确定训练的损失值，也即预测结果和缺陷标签之间的损失值。基于训练的损失值，采用反向传播算法对模型的参数进行更新，迭代预设的轮次即可得到训练好的目标对象缺陷检测模型。
具体地，本申请实施例中，在根据预测结果和缺陷标签确定损失值时，包括有两部分，其中，第一部分是语义分割处理过程中的损失值，记为第一损失值，第一损失值可以通过缺陷轮廓预测结果和缺陷标签计算得到；第二部分是缺陷分类处理过程中的损失值，记为第二损失值，第二损失值可以通过类别信息预测结果和缺陷标签计算得到。得到第一损失值和第二损失值以后，可以对二者进行求和或者基于预定的权重参数进行加权，从而得到整体的损失值，然后基于整体的损失值可以对模型的参数进行更新。
需要说明的是，上述的训练过程，仅用于对目标对象缺陷检测模型一种可选的训练实现方案进行举例，并不意味着对其具体的训练方式进行限定。
在一种可能的实现方式中，获取多个样本子图，包括：
获取样本对象的第二图像；
检测第二图像中的感兴趣区域，对感兴趣区域进行裁剪，得到样本的多个样本子图，其中，样本子图标注有对应的缺陷标签。
本申请实施例中，样本子图的获取过程可以和前述的缺陷子图类似，通过对原始的含有缺陷的样本的第二图像的感兴趣区域进行检测和裁剪，可以得到样本的多个样本子图。具体的实现方式可以参照前述实施例的介绍和说明，在此不再赘述。
在一种可能的实现方式中，本申请实施例中提供的目标缺陷检测模型的训练方法还包括标注各个样本子图对应的缺陷标签的步骤，步骤包括：
当确定样本子图中缺陷的个数为多个时，检测样本子图中各个缺陷的缺陷轮廓的重合度；
当重合度大于预设重合阈值，确定样本子图中存在缺陷重合区域；
根据预设的缺陷优先级排序信息，将缺陷重合区域中缺陷优先级排序最高的缺陷对应的缺陷标签，确定为缺陷重合区域对应的缺陷标签。
需要说明的是，在产生缺陷的过程中，可能存在有一种缺陷引起另一种缺陷，从而导致多个缺陷出现重合的情况。例如，对于玻璃制品来说，当受到外界冲击产生孔洞缺陷时，一般伴随孔洞缺陷会产生裂纹缺陷。本申请实施例中，在训练模型时，针对重合类型的缺陷可以使得模型给出该重合区域内缺陷优先级排序最高的预测结果，从而便于更为严重的缺陷类别被预测输出，一方面提高缺陷检测的准确性，另一方面又能够减少模型的数据处理量，提高缺陷检测的效率和硬件设备的利用率。
具体地，上述使得模型给出该重合区域内缺陷优先级排序最高的预测结果的效果，可以通过对训练过程中的缺陷标签进行处理达到。本申请实施例中，首先，当样本子图中缺陷的个数为多个时，可以检测样本子图中各个缺陷的缺陷轮廓的重合度。此处，重合度可以通过缺陷轮廓的交并比的数值来衡量，并且可以针对性的设置重合阈值，当多个缺陷之间的重合度大于预设重合阈值时，可以认为它们存在重合，即可以确定样本子图中存在缺陷重合区域。对于缺陷重合区域，可以根据预设的缺陷优先级排序信息，将缺陷重合区域中缺陷优先级排序最高的缺陷对应的缺陷标签，确定为缺陷重合区域对应的缺陷标签。如此，模型在预测过程中，将会倾向于输出缺陷重合区域内缺陷优先级排序最高的缺陷的缺陷轮廓和缺陷类别，从而达到提高缺陷检测的准确性、减少模型的数据处理量的技术效果。参照图16，以前述的锂电池涂布的缺陷类别为例，假设某个涂布图像中同时存在有“漏金属”和“气泡”类别的缺陷，且两种缺陷所处于的区域基本重合，那么在本申请实施例中提供的训练方法中，以该涂布图像作为样本子图时，在对其内的“漏金属”和“气泡”缺陷进行标签标注时，将考虑“漏金属”和“气泡”两类缺陷的缺陷优先级，例如当“漏金属”类别的缺陷优先级高于“气泡”类别的缺陷优先级时，将该样本子图内重合区域的缺陷标注为“漏金属”类别，且以漏金属的区域确定缺陷轮廓对应的缺陷标签。
需要说明的是，本申请实施例中，缺陷优先级排序信息可以根据具体的需求灵活设定，本申请对此不做限制。
在一种可能的实现方式中，目标缺陷检测模型的训练方法还包括；
当重合度小于或者等于预设重合阈值，对样本子图进行再次裁剪，得到多个新的样本子图。
本申请实施例中，当多个缺陷的重合度小于或者等于预设重合阈值时，说明这些缺陷的相关性可能较低，为了提高训练数据的数量，可以对这些样本子图进行再次裁剪，得到多个新的样本子图。而且，对这些具有一定重合度的样本子图进行再次裁剪，能够减轻对模型训练的干扰，提高训练得到的模型的预测准确度，进而有利于提高使用该模型进行缺陷检测的准确度。具体地，在进行再次裁剪时，可以按照其中部分缺陷的轮廓边缘进行裁剪，从而将重合的缺陷区域裁剪开来，得到多个样本子图。
参照图17，图17为本申请实施例提供的目标对象缺陷检测装置的结构示意图，该目标对象缺陷检测装置包括：
获取模块1710，用于获取目标对象的第一图像；
裁剪模块1720，用于检测第一图像中的感兴趣区域，对感兴趣区域进行裁剪，得到目标对象的缺陷子图；
第一处理模块1730，用于提取缺陷子图的图像特征数据；
第二处理模块1740，用于根据图像特征数据对缺陷子图进行语义分割处理，得到缺陷子图的缺陷轮廓；
第三处理模块1750，用于根据图像特征数据对缺陷子图进行缺陷分类处理，得到缺陷子图中缺陷的类别信息；
识别模块1760，用于根据缺陷轮廓，确定缺陷子图中缺陷的形态参数；
检测模块1770，用于根据各个缺陷子图中缺陷的类别信息和形态参数，确定目标对象的缺陷检测结果。
进一步，上述裁剪模块具体用于：
确定第一图像的像素均值；
根据像素均值，从第一图像中确定多个第一目标像素点；其中，第一目标像素点的像素值与像素均值的差值大于第一预设阈值或者小于第二预设阈值，第一预设阈值为正数，第二预设阈值为负数；
在第一图像中，确定多个第一目标像素点构成的多个连通区域；
从第一图像中裁剪出各个连通区域，得到目标对象的缺陷子图。
进一步，上述裁剪模块具体用于：
根据第一图像的各个像素点的像素值，从第一图像中确定第二目标像素点；其中，第二目标像素点的像素值大于第三预设阈值且小于第四预设阈值，第三预设阈值小于第四预设阈值；
计算各个第二目标像素点的像素值的平均值，得到第一图像的像素均值。
进一步，上述目标对象缺陷检测装置还包括：
归一化处理模块，用于对缺陷子图进行图像尺度归一化处理，得到新的缺陷子图。
进一步，上述识别模块具体用于：
根据缺陷轮廓，基于图像尺度归一化处理前的缺陷子图的尺寸，对缺陷轮廓进行尺寸复原，得到缺陷子图中缺陷的原始轮廓；
根据原始轮廓，确定缺陷子图中缺陷的形态参数。
进一步，上述第二处理模块具体用于：
提取缺陷子图在不同层图像尺度的图像特征数据；
对不同层图像尺度的图像特征数据进行特征融合处理，得到第一目标特征数据；
通过解码器对第一目标特征数据进行语义分割处理，得到缺陷子图的缺陷轮廓。
进一步，上述第三处理模块具体用于：
将图像尺度处于最小一层的图像特征数据确定为第二目标特征数据；
通过分类器对第二目标特征数据进行缺陷分类处理，得到缺陷子图中缺陷的类别信息。
进一步，上述目标对象缺陷检测装置还包括：
过滤模块，用于根据目标对象中各个缺陷对应的形态参数，对目标对象的缺陷进行过滤处理，得到目标对象的目标缺陷；
累计模块，用于确定目标对象中每种缺陷类别对应的目标缺陷的累计个数；
缺陷处理模块，用于根据缺陷类别和累计个数，确定目标对象的缺陷处理模式，其中，缺陷处理模式包括报警处理、停机处理或者贴标处理中的至少一种。
进一步，上述过滤模块具体用于：
获取各个缺陷类别对应的预设形态参数类别和预设形态参数阈值；
在各个预设形态参数类别下，比较缺陷对应的形态参数和预设形态参数阈值的大小；
当缺陷对应的全部形态参数均小于或者等于预设形态参数阈值，剔除缺陷；或者，当缺陷对应的任一形态参数大于预设形态参数阈值，将缺陷确定为目标缺陷。
可以理解的是，如图3所示的目标对象缺陷检测方法实施例中的内容均适用于本目标对象缺陷检测装置实施例中，本目标对象缺陷检测装置实施例所具体实现的功能与如图3所示的目标对象缺陷检测实施例相同，并且达到的有益效果与如图3所示的目标对象缺陷检测实施例所达到的有益效果也相同。
另一方面，本申请实施例还提供了一种目标对象缺陷检测模型的训练装置，包括：
第二获取模块，用于获取多个样本子图；样本子图携带有缺陷标签；缺陷标签用于表征样本子图的缺陷轮廓和样本子图中缺陷的类别信息；
提取模块，用于通过目标对象缺陷检测模型提取各个样本子图的图像特征数据；
第四处理模块，用于根据图像特征数据对样本子图进行语义分割处理，得到样本子图的缺陷轮廓预测结果；
第五处理模块，用于根据图像特征数据对样本子图进行缺陷分类处理，得到样本子图中缺陷的类别信息预测结果；
第一损失值确定模块，用于根据缺陷轮廓预测结果和缺陷标签，确定第一损失值；
第二损失值确定模块，用于根据类别信息预测结果和缺陷标签，确定第二损失值；
训练模块，用于根据第一损失值和第二损失值，对目标缺陷检测模型的参数进行更新，得到训练好的目标缺陷检测模型。
进一步，上述第二获取模块具体用于：
获取样本对象的第二图像；
检测第二图像中的感兴趣区域，对感兴趣区域进行裁剪，其中，样本子图标注有对应的缺陷标签。
进一步，上述目标对象缺陷检测模型的训练装置还包括：
重合度检测模块，用于当确定样本子图中缺陷的个数为多个时，检测样本子图中各个缺陷的缺陷轮廓的重合度；
重合度比较模块，用于当重合度大于预设重合阈值，确定样本子图中存在缺陷重合区域；
标注模块，用于根据预设的缺陷优先级排序信息，将缺陷重合区域中缺陷优先级排序最高的缺陷对应的缺陷标签，确定为缺陷重合区域对应的缺陷标签。
进一步，上述目标对象缺陷检测模型的训练装置还包括：
再次裁剪模块，用于当重合度小于或者等于预设重合阈值，对样本子图进行再次裁剪，得到多个新的样本子图。
可以理解的是，如图15所示的目标对象缺陷检测模型的训练方法实施例中的内容均适用于本目标对象缺陷检测模型的训练装置实施例中，本目标对象缺陷检测模型的训练装置实施例所具体实现的功能与如图15所示的目标对象缺陷检测模型的训练方法实施例相同，并且达到的有益效果与如图15所示的目标对象缺陷检测模型的训练方法实施例所达到的有益效果也相同。
参照图18，本申请实施例还公开了一种电子设备，包括：
至少一个处理器1810；
至少一个存储器1820，用于存储至少一个程序；
当至少一个程序被至少一个处理器1810执行，使得至少一个处理器1810实现如图3所示的目标对象的缺陷检测方法实施例或者图15所示的目标对象缺陷检测模型的训练方法实施例。
可以理解的是，如图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例中的内容均适用于本计算机设备实施例中，本计算机设备实施例所具体实现的功能与如图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例相同，并且达到的有益效果与如图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例所达到的有益效果也相同。
本申请实施例还公开了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如图3所示的目标对象的缺陷检测方法实施例或者图15所示的目标对象缺陷检测模型的训练方法实施例。
可以理解的是，图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例中的内容均适用于本计算机可读存储介质实施例中，本计算机可读存储介质实施例所具体实现的功能与图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例相同，并且达到的有益效果与图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例所达到的有益效果也相同。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在上述的计算机可读存储介质中；图18所示的电子设备的处理器可以从上述的计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例。
可以理解的是，图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例中的内容均适用于本计算机程序产品或计算机程序实施例中，本计算机程序产品或计算机程序实施例所具体实现的功能与图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例相同，并且达到的有益效果与图3所示的目标对象的缺陷检测方法实施例、图15所示的目标对象缺陷检测模型的训练方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (14)
1.一种目标对象的缺陷检测方法，其特征在于，包括：
获取目标对象的第一图像；
根据所述第一图像的各个像素点的像素值，从所述第一图像中确定第二目标像素点；其中，所述第二目标像素点的像素值大于第三预设阈值且小于第四预设阈值，所述第三预设阈值小于所述第四预设阈值；
计算各个所述第二目标像素点的像素值的平均值，得到所述第一图像的像素均值；
根据所述像素均值，从所述第一图像中确定多个第一目标像素点；其中，所述第一目标像素点的像素值与所述像素均值的差值大于第一预设阈值或者小于第二预设阈值，所述第一预设阈值为正数，所述第二预设阈值为负数；
在所述第一图像中，确定多个所述第一目标像素点构成的连通区域；
从所述第一图像中裁剪出各个所述连通区域，得到所述目标对象的缺陷子图；
提取所述缺陷子图在不同层图像尺度的图像特征数据；
根据所述图像特征数据对所述缺陷子图进行语义分割处理，得到所述缺陷子图的缺陷轮廓；将图像尺度处于最小一层的图像特征数据确定为第二目标特征数据；通过分类器对所述第二目标特征数据进行缺陷分类处理，得到所述缺陷子图中缺陷的类别信息；其中，语义分割处理用于将所述缺陷子图的像素点判定为属于缺陷的像素点或者不属于缺陷的像素点，缺陷分类处理用于在缺陷类别上对所述缺陷子图中所含有的缺陷进行分类；
根据所述缺陷轮廓，确定所述缺陷子图中缺陷的形态参数；
根据各个所述缺陷子图中缺陷的所述类别信息和所述形态参数，确定所述目标对象的缺陷检测结果。
2.根据权利要求1所述的目标对象的缺陷检测方法，其特征在于，所述得到所述目标对象的缺陷子图之后，还包括：
对所述缺陷子图进行图像尺度归一化处理，得到新的缺陷子图。
3.根据权利要求2所述的目标对象的缺陷检测方法，其特征在于，所述根据所述缺陷轮廓，确定所述缺陷子图中缺陷的形态参数，包括：
根据所述缺陷轮廓，基于图像尺度归一化处理前的所述缺陷子图的尺寸，对所述缺陷轮廓进行尺寸复原，得到所述缺陷子图中缺陷的原始轮廓；
根据所述原始轮廓，确定所述缺陷子图中缺陷的形态参数。
4.根据权利要求3所述的目标对象的缺陷检测方法，其特征在于，所述根据所述图像特征数据对所述缺陷子图进行语义分割处理，得到所述缺陷子图的缺陷轮廓，包括：
对所述不同层图像尺度的图像特征数据进行特征融合处理，得到第一目标特征数据；
通过解码器对所述第一目标特征数据进行语义分割处理，得到所述缺陷子图的缺陷轮廓。
5.根据权利要求1所述的目标对象的缺陷检测方法，其特征在于，所述方法还包括：
根据所述目标对象中各个缺陷对应的形态参数，对所述目标对象的缺陷进行过滤处理，得到所述目标对象的目标缺陷；
确定所述目标对象中每种缺陷类别对应的目标缺陷的累计个数；
根据所述缺陷类别和所述累计个数，确定所述目标对象的缺陷处理模式，其中，所述缺陷处理模式包括报警处理、停机处理或者贴标处理中的至少一种。
6.根据权利要求5所述的目标对象的缺陷检测方法，其特征在于，所述根据所述目标对象中各个缺陷对应的形态参数，对所述目标对象的缺陷进行过滤处理，得到所述目标对象的目标缺陷，包括：
获取各个缺陷类别对应的预设形态参数类别和预设形态参数阈值；
在各个所述预设形态参数类别下，比较所述缺陷对应的形态参数和所述预设形态参数阈值的大小；
当所述缺陷对应的全部形态参数均小于或者等于所述预设形态参数阈值，剔除所述缺陷；或者，当所述缺陷对应的任一形态参数大于所述预设形态参数阈值，将所述缺陷确定为目标缺陷。
7.根据权利要求1所述的目标对象的缺陷检测方法，其特征在于，所述根据所述图像特征数据对所述缺陷子图进行语义分割处理以及通过分类器对所述第二目标特征数据进行缺陷分类处理，基于目标缺陷检测模型实现，所述目标缺陷检测模型通过以下方式训练得到：
获取多个样本子图；所述样本子图携带有缺陷标签；所述缺陷标签用于表征所述样本子图的缺陷轮廓和所述样本子图中缺陷的类别信息；
通过目标对象缺陷检测模型提取各个所述样本子图的图像特征数据；
根据所述图像特征数据对所述样本子图进行语义分割处理，得到所述样本子图的缺陷轮廓预测结果；
根据所述图像特征数据对所述样本子图进行缺陷分类处理，得到所述样本子图中缺陷的类别信息预测结果；
根据所述缺陷轮廓预测结果和所述缺陷标签，确定第一损失值；
根据所述类别信息预测结果和所述缺陷标签，确定第二损失值；
根据所述第一损失值和所述第二损失值，对所述目标缺陷检测模型的参数进行更新，得到训练好的目标缺陷检测模型。
8.根据权利要求7所述的目标对象的缺陷检测方法，其特征在于，所述获取多个样本子图，包括：
获取样本对象的第二图像；
检测所述第二图像中的感兴趣区域，对所述感兴趣区域进行裁剪，得到所述样本对象的多个样本子图，其中，所述样本子图标注有对应的缺陷标签。
9.根据权利要求8所述的目标对象的缺陷检测方法，其特征在于，还包括标注各个所述样本子图对应的缺陷标签的步骤，所述步骤包括：
当确定所述样本子图中缺陷的个数为多个时，检测所述样本子图中各个缺陷的缺陷轮廓的重合度；
当所述重合度大于预设重合阈值，确定所述样本子图中存在缺陷重合区域；
根据预设的缺陷优先级排序信息，将所述缺陷重合区域中缺陷优先级排序最高的缺陷对应的缺陷标签，确定为所述缺陷重合区域对应的缺陷标签。
10.根据权利要求9所述的目标对象的缺陷检测方法，其特征在于，所述方法还包括；
当所述重合度小于或者等于所述预设重合阈值，对所述样本子图进行再次裁剪，得到多个新的样本子图。
11.一种目标对象缺陷检测装置，其特征在于，包括：
获取模块，用于获取目标对象的第一图像；
裁剪模块，具体用于：
根据所述第一图像的各个像素点的像素值，从所述第一图像中确定第二目标像素点；其中，所述第二目标像素点的像素值大于第三预设阈值且小于第四预设阈值，所述第三预设阈值小于所述第四预设阈值；
计算各个所述第二目标像素点的像素值的平均值，得到所述第一图像的像素均值；
根据所述像素均值，从所述第一图像中确定多个第一目标像素点；其中，所述第一目标像素点的像素值与所述像素均值的差值大于第一预设阈值或者小于第二预设阈值，所述第一预设阈值为正数，所述第二预设阈值为负数；
在所述第一图像中，确定多个所述第一目标像素点构成的连通区域；
从所述第一图像中裁剪出各个所述连通区域，得到所述目标对象的缺陷子图；
第一处理模块，用于提取所述缺陷子图在不同层图像尺度的图像特征数据；
第二处理模块，用于根据所述图像特征数据对所述缺陷子图进行语义分割处理，得到所述缺陷子图的缺陷轮廓；
第三处理模块，用于将图像尺度处于最小一层的图像特征数据确定为第二目标特征数据；通过分类器对所述第二目标特征数据进行缺陷分类处理，得到所述缺陷子图中缺陷的类别信息；其中，语义分割处理用于将所述缺陷子图的像素点判定为属于缺陷的像素点或者不属于缺陷的像素点，缺陷分类处理用于在缺陷类别上对所述缺陷子图中所含有的缺陷进行分类；
识别模块，用于根据所述缺陷轮廓，确定所述缺陷子图中缺陷的形态参数；
检测模块，用于根据各个所述缺陷子图中缺陷的所述类别信息和所述形态参数，确定所述目标对象的缺陷检测结果。
12.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任意一项所述的目标对象缺陷检测方法。
13.一种计算机可读存储介质，所述存储介质存储有程序，其特征在于，所述程序被处理器执行时实现权利要求1至10任意一项所述的目标对象缺陷检测方法。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任意一项所述的目标对象缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210395791.7A CN115131283B (zh) | 2022-04-15 | 2022-04-15 | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210395791.7A CN115131283B (zh) | 2022-04-15 | 2022-04-15 | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131283A CN115131283A (zh) | 2022-09-30 |
| CN115131283B true CN115131283B (zh) | 2024-09-06 |
Family
ID=83376853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210395791.7A Active CN115131283B (zh) | 2022-04-15 | 2022-04-15 | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131283B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661157B (zh) * | 2022-12-28 | 2023-04-14 | 成都数之联科技股份有限公司 | 面板圆类缺陷检测方法、装置、介质、设备及程序产品 |
| CN115661160B (zh) * | 2022-12-29 | 2023-03-10 | 成都数之联科技股份有限公司 | 一种面板缺陷检测方法及系统及装置及介质 |
| CN116012375B (zh) * | 2023-03-22 | 2023-08-04 | 西南交通大学 | 一种接触网软横跨悬吊滑轮开口销缺陷检测方法及系统 |
| CN116958070B (zh) * | 2023-07-06 | 2024-09-06 | 钛玛科（北京）工业科技有限公司 | 一种基于锂电涂布工艺波浪边检测系统及方法 |
| CN117078677B (zh) * | 2023-10-16 | 2024-01-30 | 江西天鑫冶金装备技术有限公司 | 一种用于始极片的缺陷检测方法及系统 |
| CN117456292B (zh) * | 2023-12-26 | 2024-04-19 | 浙江晶盛机电股份有限公司 | 蓝宝石缺陷检测方法、装置、电子装置和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011237303A (ja) * | 2010-05-11 | 2011-11-24 | Sumco Corp | ウェーハ欠陥検査装置及びウェーハ欠陥検査方法 |
| CN109613002A (zh) * | 2018-11-21 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种玻璃缺陷检测方法、装置和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110248107A (zh) * | 2019-06-13 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像处理方法和装置 |
| CN113763355A (zh) * | 2021-09-07 | 2021-12-07 | 创新奇智(青岛)科技有限公司 | 一种缺陷检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-04-15 CN CN202210395791.7A patent/CN115131283B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011237303A (ja) * | 2010-05-11 | 2011-11-24 | Sumco Corp | ウェーハ欠陥検査装置及びウェーハ欠陥検査方法 |
| CN109613002A (zh) * | 2018-11-21 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种玻璃缺陷检测方法、装置和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Deep High-Resolution Representation Learning for Visual Recognition;Jingdong Wang 等;《arXiv:1908.07919v2》;20200313;第1-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131283A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115131283B (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| US11380232B2 (en) | Display screen quality detection method, apparatus, electronic device and storage medium | |
| US11488294B2 (en) | Method for detecting display screen quality, apparatus, electronic device and storage medium | |
| CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
| WO2020007118A1 (zh) | 显示屏外围电路检测方法、装置、电子设备及存储介质 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| WO2020007119A1 (zh) | 显示屏外围电路检测方法、装置、电子设备及存储介质 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN116385430A (zh) | 一种机器视觉瑕疵检测方法、装置、介质及设备 | |
| CN111507398A (zh) | 基于目标检测的变电站金属仪器锈蚀识别方法 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN115908774A (zh) | 一种基于机器视觉的变形物资的品质检测方法和装置 | |
| CN113870196B (zh) | 一种基于锚点切图的图像处理方法、装置、设备和介质 | |
| CN109598712A (zh) | 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质 | |
| CN112001336A (zh) | 行人越界报警方法、装置、设备及系统 | |
| CN114882020B (zh) | 产品的缺陷检测方法、装置、设备及计算机可读介质 | |
| CN111163332A (zh) | 视频色情度检测方法、终端及介质 | |
| CN116958031A (zh) | 一种缺陷检测方法和相关装置 | |
| CN116958035A (zh) | 产品零件缺陷检测方法、装置、介质及电子设备 | |
| CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |