CN111079831A - 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 - Google Patents
智能型光学检测的样品特征与瑕疵自动标记方法及其装置 Download PDFInfo
- Publication number
- CN111079831A CN111079831A CN201911290866.XA CN201911290866A CN111079831A CN 111079831 A CN111079831 A CN 111079831A CN 201911290866 A CN201911290866 A CN 201911290866A CN 111079831 A CN111079831 A CN 111079831A
- Authority
- CN
- China
- Prior art keywords
- marking
- result
- image
- flaws
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 230000003287 optical effect Effects 0.000 title claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000013135 deep learning Methods 0.000 claims abstract description 27
- 230000007547 defect Effects 0.000 claims description 39
- 238000007689 inspection Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000009432 framing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000010009 beating Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明为一种智能型光学检测的样品特征与瑕疵自动标记方法及其装置，实施方式分三阶段，第一阶段为以人工标记方式生成少量数据集并将数据以深度学习方式训练智能辨识器。之后第二阶段再以深度学习训练的智能辨识器对待测图片中所欲标记的特征与瑕疵进行半自动标记以生成大量数据集，但部分程序仍以人工方式辅助的三种可实施流程处理，并将数据以深度学习方式进行再训练。之后经多次人工检查都未发现自动标记方式有误判后，便可进入第三阶段完全以AI全自动标记方式处理，不须再经由以人工方式处理的程序。
Description
技术领域
本发明是关于一种智能型光学检测的样品特征与瑕疵自动标记方法及其装置；运用于光学检测，尤指一种能够有效结合深度学习的方法，可大幅减少人力的消耗，提升效率。
背景技术
在自动化检测的范畴中，常因无法获得足够的瑕疵样品，导致检测效果有限，或是到实际产线后需要非常长时间的调整，才能使结果趋于稳定的基本缺憾存在。
再者，如果要运用在深度学习的范畴中时，特征与瑕疵的标记会花费非常多的人力资源情形而有其必须克服的困难问题重重。
是以，本案发明人有鉴于现有技术的不足，历经多年呕心沥血研发而提出一种智能型光学检测的样品特征与瑕疵自动标记方法及其装置。
发明内容
本发明所要解决的主要技术问题在于，克服现有技术存在的上述缺陷，而提供一种智能型光学检测的样品特征与瑕疵自动标记方法及其装置，以深度学习的技术针对待测图片中所欲标记的特征与瑕疵进行自动标记，可大幅减少人力的消耗，提升效率。
本发明解决其技术问题所采用的技术方案是：
一种智能型光学检测的样品特征与瑕疵自动标记方法，其实施方法分为三阶段，第一阶段为人工标记阶段，第二阶段为半自动标记人工辅助阶段，第三阶段为自动标记阶段。
本发明的实施方法第一阶段即为人工标记阶段，其流程包含有样品取像，是指以相机对待测物进行取像；人工标记特征或瑕疵，是指以人工方式将取像图片中样品的特征或瑕疵进行框选并加以标记；人工标记分类，是指将取像的样品图像及标记结果以人工方式加以分类记录；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型，利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练，因以人工方式标记特征或瑕疵并将标记结果分类，较耗费人力及时间，故此阶段生成的数据集为少量；导出模型训练结果，是指将模型训练结果导出至数据库单元，供智能辨识器、特征与瑕疵智能型自动标记模型或是其他应用端使用。
本发明的实施方法第二阶段为半自动标记人工辅助阶段，此阶段共有三种流程可据以实施，其第一流程包含有样品取像，是指以相机对待测物进行取像；人工标记特征或瑕疵，是指以人工方式将取像图片中样品的特征或瑕疵进行框选并加以标记；自动标记分类，是指将取像的样品图像及标记结果由智能辨识器将自动进行分类记录；人工检查，是指为防止由智能辨识器自动对取像图片中样品特征或瑕疵进行框选并标记时，或是智能辨识器自动对标记结果分类时，因作为判别依据的数据集数量不够庞大而导致标记或分类结果有漏杀或过杀的误判，故以人工方式对标记或分类结果做检查，如有误判情形发生便对其标记或分类结果作修正；进行训练，是指将取像的样品图像及标记结果的数据传至特征或瑕疵智能型自动标记模型，利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练，因由智能辨识器自动进行标记结果分类，可节省人力资源及拥有更快速的分类效率，故生成的数据集亦较之前人工标记阶段大量增加；导出模型训练结果，是指将模型训练结果导出至数据库单元，供智能辨识器、特征或瑕疵智能型自动标记模型或是其他应用端使用。
本发明的实施方法第二阶段即为半自动标记人工辅助阶段，其第二流程可与第一流程同时实施，包含有样品取像，是指以相机对待测物进行取像；自动标记特征或瑕疵，是指由智能辨识器凭借由数据库单元传输的模型训练结果数据自动对取像图片中样品特征或瑕疵进行框选并加以标记；人工标记分类，是指将取像的样品图像标记结果以人工方式进行分类；人工检查，是指为防止由智能辨识器自动对取像图片中样品特征或瑕疵进行框选并标记，或是智能辨识器自动对标记结果进行分类时，因作为判别依据的数据集数量不够庞大而导致分类结果有漏杀或过杀的误判，故以人工方式对标记及分类结果做检查，如有误判情形发生便对其标记及分类结果作修正，但因此流程中是以人工方式对样品图像标记结果进行分类，已包含有人工检查的意义，故于此流程人工检查的程序并非必要的实施步骤；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型，利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练。因由智能辨识器自动对取像图片中样品特征或瑕疵进行框选并加以标记，可节省人力资源及拥有更快速的分类效率，故生成的数据集亦较之前人工标记阶段大量增加；导出模型训练结果，是指将模型训练结果导出至数据库单元，供智能辨识器或特征与瑕疵智能型自动标记模型或其他应用端使用。
本发明的实施方法第二阶段即为半自动标记人工辅助阶段，其第三流程于第一流程及第二流程之后实施包含有样品取像，是指以相机对待测物进行取像；自动标记特征或瑕疵，是指以智能辨识器由数据库单元传输的模型训练结果数据自动对取像图片中样品特征或瑕疵进行框选并加以标记；自动标记分类，是指将取像的样品图像及标记结果以智能辨识器凭借数据库单元传输的模型训练结果数据，将样品特征或瑕疵进行框选并加以标记的结果自动分类记录；人工检查，是指为防止由智能辨识器自动对取像图片中样品特征或瑕疵进行框选并标记，或是自动对标记结果分类时，因作为判别依据的数据集数量不够庞大而导致标记或分类结果有漏杀或过杀的误判，故以人工方式对标记或分类结果做检查，如有误判情形发生便对其作修正；进行训练，是指将取像的样品图像及标记结果的数据传至特征或瑕疵智能型自动标记模型，利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练。因由智能辨识器自动对取像图片中样品特征或瑕疵进行框选并加以标记，并将标记结果自动分类，可节省人力资源及拥有更快速的分类效率，故生成的数据集亦较之前人工标记阶段大量增加；导出模型训练结果，是指将模型训练结果导出至数据库单元，供智能辨识器或特征与瑕疵智能型自动标记模型或其他应用端使用。
当第二阶段即半自动标记人工辅助阶段已累积足够大量的生成的数据集，令智能辨识器已拥有足够的数据集作为判别依据，其分类结果经多次人工检查程序都没有再出现误判情形时，便可不再需要人工辅助，进入第三阶段即自动标记阶段。
本发明的实施方法第三阶段即自动标记阶段的流程包含有样品取像，是指以相机对待测物进行取像；自动标记特征或瑕疵，是以智能辨识器由数据库单元传输的模型训练结果数据，自动对取像图片中样品特征或瑕疵进行框选并加以标记；自动标记分类，是指将取像的样品图像及标记结果以智能辨识器凭由数据库单元传输的模型训练结果数据将特征或瑕疵进行框选并加以标记的结果自动分类。导出结果，是指将标记及分类结果数据导出至数据库单元，供智能辨识器或其他应用端使用。
因此，本发明一种智能型光学检测的样品特征与瑕疵自动标记方法，主要是第一阶段先以人工标记方式对待测图片中所欲标记的特征与瑕疵进行标记并将标记结果分类，将分类结果以深度学习的方式生成少量数据集。之后第二阶段再以智能辨识器半自动标记方式但其中部分程序仍需以人工方式辅助的三种可实施流程，生成大量数据集。经多次人工检查都未发现误判后，便可进入第三阶段完全以智能辨识器自动对待测图片中所欲标记的特征与瑕疵进行标记并将标记结果分类，最后将分类结果导出及储存于数据库单元，供智能辨识器或其他应用端使用。不须再经由以人工方式处理的程序，可大幅减少人力的消耗，提升效率。
本发明一种智能型光学检测的样品特征与瑕疵自动标记装置，该搜集器主要包括有装载收集平台，以供待测物放置；光源装置，该光源装置设于该装载收集平台上方周缘，备具有同轴光源、线光源、背光源、环形光源、球形光源等各组灯源治具，并结合有可动式机构如机械手臂与光源摄影控制模组施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度；相机单元，该相机单元与该光源装置交错设于该装载收集平台上方周缘，包含有相机治具、线相机治具等应用相机治具并结合摄影机重复拍摄功能与以达到快速收集数据的功能；智能辨识器，联讯于数据库单元，可以由数据库单元传输的模型训练结果数据自动对样品取像图片中的特征与瑕疵进行框选并加以标记，并对标记结果进行分类；光源摄影控制模组，联讯于光源装置与相机单元以及可动式机构，做为控制该光源装置与相机单元进行智能打光摄影流程；可动式机构，该可动式机构可为升降式机构输送机构或机械手臂；特征与瑕疵智能型自动标记模型，联讯于智能辨识器与数据库单元，可将取像的样品图像及标记结果的数据利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练，并将训练模型结果导出至数据库单元；数据库单元，分别联讯于特征与瑕疵智能型自动标记模型与智能辨识器，可将取像的样品图像框选及标记结果以及分类的数据储存入该数据库单元，并将数据传给特征与瑕疵智能型自动标记模型使其以深度学习的方式进行训练并将模型训练结果汇至数据库单元储存，亦可将数据传给智能辨识器使其能自动对样品取像图片中的特征与瑕疵进行框选并加以标记或对标记结果进行分类。
本发明的有益效果是，以深度学习的技术针对待测图片中所欲标记的特征与瑕疵进行自动标记，可大幅减少人力的消耗，提升效率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的三阶段流程图。
图2是本发明的第一阶段流程图。
图3是本发明的第二阶段流程图。
图4是本发明的第三阶段流程图。
图5是本发明装置的侧视结构图。
图6是本发明的方块图。
图中标号说明：
装载收集平台 1
光源装置 2
同轴光源 20
线光源 21
相机单元 3
光源摄影控制模组 4
可动式机构 5
特征与瑕疵智能型自动标记模型 6
数据库单元 7
智能辨识器 8
具体实施方式
首先请参阅图1，本发明一种智能型光学检测的样品特征与瑕疵自动标记方法，其实施方法主要分为三阶段，第一阶段为人工标记阶段，第二阶段为半自动标记人工辅助阶段，第三阶段为自动标记阶段。
再请参阅图2，本发明的实施方法第一阶段为人工标记阶段的流程包含有样品取像，是指以相机单元3结合光源装置2对待测物进行取像；人工标记特征或瑕疵，是指以人工方式将取像图片中样品的特征或瑕疵进行框选并加以标记；人工标记分类，是指将取像的样品图像及标记结果以人工方式加以分类记录；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型6，利用物件侦测模型(objectdetection)为基础的神经网络，以深度学习的方式进行训练。因以人工方式标记特征或瑕疵并将标记结果分类，较耗费人力及时间，故此阶段生成的数据集数量为少量；导出模型训练结果，是指将模型训练结果导出至数据库单元7，供智能辨识器8或特征与瑕疵智能型自动标记模型6或其他应用端使用。
再请参阅图3，本发明的实施方法第二阶段为半自动标记人工辅助阶段，此阶段共有三种流程可据以实施，其第一流程包含有样品取像，是指以相机单元3结合光源装置2对待测物进行取像；人工标记特征或瑕疵，是指以人工方式将取像图片中样品的特征或瑕疵进行框选并加以标记；自动标记分类，是指将取像的样品图像及标记结果由智能辨识器8自动将标记结果分类记录；人工检查，是指为防止由智能辨识器8自动对取像图片中样品特征或瑕疵进行框选并标记，或是对标记结果进行分类时，因作为判别依据的数据集数量不足而导致标记或分类结果有漏杀或过杀的误判，故以人工方式对分类结果做检查，如有误判情形发生便对其分类结果作修正；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型6，利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练。因由智能辨识器8自动将标记结果做分类，可节省人力资源及拥有更快速的分类效率，故生成的数据集亦较之前人工标记阶段大量增加；导出模型训练结果，是指将模型训练结果导出至数据库单元7，供智能辨识器8或特征与瑕疵智能型自动标记模型6或其他应用端使用。
再请参阅图3，本发明的实施方法第二阶段为半自动标记人工辅助阶段，其第二流程可与第一流程同时实施，第二流程包含有样品取像，是指以相机单元3结合光源装置2对待测物进行取像；自动标记特征或瑕疵，是指由智能辨识器8凭借数据库单元7传输的模型训练结果数据自动对取像图片中样品特征或瑕疵进行框选并加以标记；人工标记分类，是指将取像的样品图像及标记结果以人工方式进行分类记录；人工检查，是指为防止由智能辨识器8自动对取像图片中样品特征或瑕疵进行框选及标记或是对标记结果进行分类时，因作为判别依据的数据集数量不够庞大而导致分类结果有漏杀或过杀的误判，故以人工方式对分类结果做检查，如有误判情形发生便对其分类结果作修正，但因此流程的人工标记分类的程序已经以人工方式将取像图片中样品的标记结果进行分类，已包含有人工检查的意义，故于此流程人工检查的程序并非必要的实施步骤；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型6，利用物件侦测模型(objectdetection)为基础的神经网络，以深度学习的方式进行训练。因由智能辨识器8自动对取像图片中样品特征或瑕疵进行框选并加以标记，可节省人力资源及拥有更快速的分类效率，故生成的数据集亦较之前人工标记阶段大量增加；导出模型训练结果，是指将模型训练结果导出至数据库单元7，供智能辨识器8或特征与瑕疵智能型自动标记模型6或其他应用端使用。
再请参阅图3，本发明的实施方法第二阶段为半自动标记人工辅助阶段，其第三流程实施于第一及第二流程之后，包含有样品取像，是指以相机单元3结合光源装置2对待测物进行取像；自动标记特征或瑕疵，是指智能辨识器8由数据库单元7传输的模型训练结果数据自动对取像图片中样品的特征或瑕疵进行框选并加以标记；自动标记结果分类，是指将取像的样品图像及标记结果利用智能辨识器8由数据库单元7传输的模型训练结果数据，将特征或瑕疵进行框选并加以标记的结果自动分类记录；人工检查，是指为防止由智能辨识器8自动对取像图片中样品特征或瑕疵进行框选并标记，或是自动对标记结果分类时，因作为判别依据的数据集因累积资料不足以无法判断时，导致分类结果有漏杀或过杀的误判，故以人工方式对分类结果做检查，如有误判情形发生便对其分类结果作修正；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型6，利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练。因由智能辨识器8自动对取像图片中样品特征或瑕疵进行框选并加以标记并进行标记结果分类，可节省人力资源及拥有更快速的分类效率，故生成的数据集亦较之前人工标记阶段大量增加；导出模型训练结果，是指将模型训练结果导出至数据库单元7，供智能辨识器8或特征与瑕疵智能型自动标记模型6或其他应用端使用。
当第二阶段即半自动标记人工辅助阶段已累积足够大量的生成的数据集，令智能辨识器已拥有足够的数据集作为判别依据，其分类结果经多次人工检查程序都没有再出现误判情形时，便可不再需要人工辅助，进入第三阶段即自动标记阶段。
再请参阅图4，本发明的实施方法第三阶段为自动标记阶段，此流程包含有样品取像，是指以相机单元3结合光源装置2对待测物进行取像；自动标记特征或瑕疵，是指智能辨识器8利用数据库单元7传输的模型训练结果数据自动对取像图片中样品特征或瑕疵进行框选并加以标记；自动标记结果分类，是指将取像的样品图像及标记结果以智能辨识器8利用数据库单元7传输的模型训练结果数据，将标记结果自动分类记录。因由智能辨识器8自动对取像图片中样品特征或瑕疵进行框选并加以标记及将标记结果分类，且本阶段数据库单元7累积的数据已足够，不须再经由以人工方式检查智能辨识器8有无误判的情形发生，可节省更多的人力资源及拥有更快速的分类效率；导出结果，是指将取像的样品图像特征或瑕疵自动标记和分类的结果导出至数据库单元7。
再请参阅图5、图6搭配余图；本发明一种智能型光学检测的样品特征与瑕疵自动标记方法及其装置，经此方法的构思以提供：
装载收集平台1，以供待测样品放置；
光源装置2，该光源装置2设于该装载收集平台1上方周缘，备具有同轴光源20、线光源21、背光源、环形光源、球形光源等各组灯源治具，并结合有可动式机构5如机械手臂与光源摄影控制模组4可提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度；
相机单元3，该相机单元3与该光源装置2交错设于该装载收集平台1上方周缘，包含有相机治具、线相机治具等应用相机治具并结合摄影机重复拍摄功能与以达到快速收集数据的功能；
智能辨识器8，联讯于数据库单元7，可由数据库单元7传输的模型训练结果数据自动对样品取像图片中的特征与瑕疵进行框选并加以标记，并对标记结果进行分类；
光源摄影控制模组4，联讯于光源装置2与相机单元3以及可动式机构5，做为控制该光源装置2与相机单元3进行智能打光摄影流程；
可动式机构5，该可动式机构5可为升降式机构输送机构或机械手臂等；
特征与瑕疵智能型自动标记模型6，联讯于智能辨识器8与数据库单元7，可将取像的样品图像及标记结果的数据利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练，并将模型训练结果导出至数据库单元7；
数据库单元7，分别联讯于特征与瑕疵智能型自动标记模型6与智能辨识器8，可将取像的样品图像框选及标记结果及分类数据储存入该数据库单元7，亦可将数据传给特征与瑕疵智能型自动标记模型6以深度学习的方式进行训练，并将模型训练结果汇至数据库单元7储存，或将模型训练结果数据传给智能辨识器8使其能利用来自动对样品取像图片中的特征与瑕疵进行框选并加以标记或对标记结果进行分类。
因此，本发明一种智能型光学检测的样品特征与瑕疵自动标记方法，实施方法主要分为三阶段。第一阶段先以人工标记方式对待测图片中所欲标记的特征与瑕疵进行标记并将标记结果分类，将分类结果由特征与瑕疵智能型自动标记模型6以深度学习的方式生成少量数据集并导出至数据库单元7。之后第二阶段再以半自动标记方式，由智能辨识器8对待测图片中所欲标记的特征与瑕疵进行标记或是自动将标记结果分类，但其中部分程序仍需以人工方式辅助的三种可实施流程，之后将分类结果由特征与瑕疵智能型自动标记模型6以深度学习的方式生成大量数据集。当此阶段经多次人工检查的程序都未发现智能辨识器8误判后，便可进入第三阶段完全以智能辨识器8自动对待测图片中所欲标记的特征与瑕疵进行标记并将标记结果分类，最后将分类结果导出及储存于数据库单元7。不须再经由人工方式处理的程序，可节省更多的人力资源及拥有更快速的判别及分类效率。本发明运用于物品特征与瑕疵检测流程同时兼具自动化、智能化以及数据化的优势，因而成为本发明的有效创意。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (8)
1.一种智能型光学检测的样品特征与瑕疵自动标记方法，其特征在于，实施方法依照顺序主要分为三阶段，第一阶段为人工标记阶段，第二阶段为半自动标记人工辅助阶段，第三阶段为自动标记阶段。
2.根据权利要求1所述的一种智能型光学检测的样品特征与瑕疵自动标记方法，其特征在于，第一阶段的实施方法包含有样品取像，是指以相机单元结合光源装置对待测物进行取像；人工标记特征或瑕疵，是指以人工方式将取像图片中样品的特征或瑕疵进行框选并加以标记；人工标记分类，是指将取像的样品图像及标记结果以人工方式加以分类记录；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型，利用物件侦测模型为基础的神经网络，以深度学习的方式进行训练；导出模型训练结果，是指将模型训练结果导出至数据库单元。
3.根据权利要求1所述的一种智能型光学检测的样品特征与瑕疵自动标记方法，其特征在于，第二阶段实施方法共有三种流程可据以实施，其第一流程包含有样品取像，是指以相机单元结合光源装置对待测物进行取像；人工标记特征或瑕疵，是指以人工方式将取像图片中样品的特征或瑕疵进行框选并加以标记；自动标记分类，是指将取像的样品图像及标记结果由智能辨识器利用数据库单元传输的模型训练结果数据自动将标记结果分类记录；人工检查，是指为防止由智能辨识器自动对取像图片中样品特征或瑕疵进行框选并标记，或是对标记结果进行分类时，标记或分类结果有漏杀或过杀的误判，故以人工方式对分类结果做检查，如有误判情形发生便对其分类结果作修正；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型，利用物件侦测模型为基础的神经网络，以深度学习的方式进行训练；导出模型训练结果，是指将模型训练结果导出至数据库单元。
4.根据权利要求1所述的一种智能型光学检测的样品特征与瑕疵自动标记方法，其特征在于，第二阶段实施方法的第二流程包含有样品取像，是指以相机单元结合光源装置对待测物进行取像；自动标记特征或瑕疵，是指由智能辨识器利用数据库单元传输的模型训练结果数据自动对取像图片中样品特征或瑕疵进行框选并加以标记；人工标记分类，是指将取像的样品图像及标记结果以人工方式进行分类记录；人工检查，是指为防止由智能辨识器自动对取像图片中样品特征或瑕疵进行框选及标记或是对标记结果进行分类时，有漏杀或过杀的误判，故以人工方式对分类结果做检查，如有误判情形发生便对其分类结果作修正；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型，利用物件侦测模型为基础的神经网络，以深度学习的方式进行训练；导出模型训练结果，是指将模型训练结果导出至数据库单元。
5.根据权利要求1所述的一种智能型光学检测的样品特征与瑕疵自动标记方法，其特征在于，第二阶段实施方法的第三流程包含有样品取像，是指以相机单元结合光源装置对待测物进行取像；自动标记特征或瑕疵，是指智能辨识器利用数据库单元传输的模型训练结果数据自动对取像图片中样品特征或瑕疵进行框选并加以标记；自动标记分类，是指将取像的样品图像及标记结果由智能辨识器利用数据库单元传输的模型训练结果数据自动将标记结果分类记录；人工检查，是指为防止由智能辨识器自动对取像图片中样品特征或瑕疵进行框选并标记，或是自动对标记结果分类时有漏杀或过杀的误判，故以人工方式对分类结果做检查，如有误判情形发生便对其分类结果作修正；进行训练，是指将取像的样品图像及标记结果的数据传至特征与瑕疵智能型自动标记模型，利用物件侦测模型为基础的神经网络，以深度学习的方式进行训练；导出模型训练结果，是指将模型训练结果导出至数据库单元。
6.根据权利要求1所述的一种智能型光学检测的样品特征与瑕疵自动标记方法，其特征在于，第三阶段实施方法包含有样品取像，是指以相机单元结合光源装置对待测物进行取像；自动标记特征或瑕疵，是指智能辨识器利用模型训练结果数据自动对取像图片中样品特征或瑕疵进行框选并加以标记；自动标记分类，是指将取像的样品图像及标记结果由智能辨识器利用模型训练结果数据自动将标记结果分类记录；导出结果，是指将取像的样品图像特征或瑕疵自动标记和分类的结果导出至数据库单元。
7.根据权利要求4所述的一种智能型光学检测的样品特征与瑕疵自动标记方法，其特征在于，人工检查程序可不予实施。
8.一种智能型光学检测的样品特征与瑕疵自动标记装置，其特征在于，该搜集器主要包括有装载收集平台，以供待测物放置；光源装置，该光源装置设于该装载收集平台上方周缘，备具有同轴光源、线光源、背光源、环形光源、球形光源等各组灯源治具，并结合有可动式机构如机械手臂与光源摄影控制模组施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度；相机单元，该相机单元与该光源装置交错设于该装载收集平台上方周缘，包含有相机治具、线相机治具等应用相机治具并结合摄影机重复拍摄功能与以达到快速收集数据的功能；智能辨识器，联讯于数据库单元，可以由数据库单元传输的模型训练结果数据自动对样品取像图片中的特征与瑕疵进行框选并加以标记，并对标记结果进行分类；光源摄影控制模组，联讯于光源装置与相机单元以及可动式机构，做为控制该光源装置与相机单元进行智能打光摄影流程；可动式机构，该可动式机构可为升降式机构输送机构或机械手臂；特征与瑕疵智能型自动标记模型，联讯于智能辨识器与数据库单元，可将取像的样品图像及标记结果的数据利用物件侦测模型(object detection)为基础的神经网络，以深度学习的方式进行训练，并将训练模型结果导出至数据库单元；数据库单元，分别联讯于特征与瑕疵智能型自动标记模型与智能辨识器，可将取像的样品图像框选及标记结果以及分类的数据储存入该数据库单元，并将数据传给特征与瑕疵智能型自动标记模型使其以深度学习的方式进行训练并将模型训练结果汇至数据库单元储存，亦可将数据传给智能辨识器使其能自动对样品取像图片中的特征与瑕疵进行框选并加以标记或对标记结果进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911290866.XA CN111079831A (zh) | 2019-12-13 | 2019-12-13 | 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911290866.XA CN111079831A (zh) | 2019-12-13 | 2019-12-13 | 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111079831A true CN111079831A (zh) | 2020-04-28 |
Family
ID=70314831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911290866.XA Pending CN111079831A (zh) | 2019-12-13 | 2019-12-13 | 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111079831A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138198A (zh) * | 2021-04-27 | 2021-07-20 | 环旭(深圳)电子科创有限公司 | 电子元件的瑕疵影像生成系统及方法 |
| CN113837209A (zh) * | 2020-06-23 | 2021-12-24 | 乐达创意科技股份有限公司 | 改良机器学习使用数据进行训练的方法及系统 |
| TWI755953B (zh) * | 2020-12-01 | 2022-02-21 | 凌華科技股份有限公司 | 自動檢測系統及其操作方法 |
| CN114331944A (zh) * | 2020-09-29 | 2022-04-12 | 财团法人工业技术研究院 | 人工智能瑕疵图像分类方法及其系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104076039A (zh) * | 2014-03-28 | 2014-10-01 | 合波光电通信科技有限公司 | 滤光片外观缺陷自动检测方法 |
| CN207318369U (zh) * | 2017-06-29 | 2018-05-04 | 盟立自动化股份有限公司 | 检测系统 |
| CN108051454A (zh) * | 2018-01-15 | 2018-05-18 | 深圳智检慧通科技有限公司 | 一种全自动光学检测识别设备 |
| CN109959661A (zh) * | 2017-12-25 | 2019-07-02 | 由田新技股份有限公司 | 自动光学检测方法、设备、及其深度学习系统 |
| US20190272628A1 (en) * | 2018-03-02 | 2019-09-05 | Utechzone Co., Ltd. | Apparatus and method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non-transitory computer-readable recording medium |
-
2019
- 2019-12-13 CN CN201911290866.XA patent/CN111079831A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104076039A (zh) * | 2014-03-28 | 2014-10-01 | 合波光电通信科技有限公司 | 滤光片外观缺陷自动检测方法 |
| CN207318369U (zh) * | 2017-06-29 | 2018-05-04 | 盟立自动化股份有限公司 | 检测系统 |
| CN109959661A (zh) * | 2017-12-25 | 2019-07-02 | 由田新技股份有限公司 | 自动光学检测方法、设备、及其深度学习系统 |
| CN108051454A (zh) * | 2018-01-15 | 2018-05-18 | 深圳智检慧通科技有限公司 | 一种全自动光学检测识别设备 |
| US20190272628A1 (en) * | 2018-03-02 | 2019-09-05 | Utechzone Co., Ltd. | Apparatus and method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non-transitory computer-readable recording medium |
| CN110231340A (zh) * | 2018-03-02 | 2019-09-13 | 由田新技股份有限公司 | 强化工件光学特征的设备、方法、深度学习方法及媒体 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837209A (zh) * | 2020-06-23 | 2021-12-24 | 乐达创意科技股份有限公司 | 改良机器学习使用数据进行训练的方法及系统 |
| CN114331944A (zh) * | 2020-09-29 | 2022-04-12 | 财团法人工业技术研究院 | 人工智能瑕疵图像分类方法及其系统 |
| TWI755953B (zh) * | 2020-12-01 | 2022-02-21 | 凌華科技股份有限公司 | 自動檢測系統及其操作方法 |
| CN113138198A (zh) * | 2021-04-27 | 2021-07-20 | 环旭(深圳)电子科创有限公司 | 电子元件的瑕疵影像生成系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111079831A (zh) | 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 | |
| CN109724984B (zh) | 一种基于深度学习算法的缺陷检测识别装置和方法 | |
| CN107944504B (zh) | 木板识别及木板识别的机器学习方法、装置及电子设备 | |
| CN111340798A (zh) | 深度学习在产品外观瑕疵检测中的应用 | |
| CN104280406A (zh) | 一种铜件表面缺陷检测的机器视觉系统 | |
| CN114638797A (zh) | 一种基于线阵相机的铜表面缺陷检测方法及装置 | |
| CN110956627A (zh) | 智能型光学检测样品特征与瑕疵智能打光取像方法及装置 | |
| WO2023168984A1 (zh) | 一种基于面阵相机的阴极铜质量检测方法及系统 | |
| CN111060518A (zh) | 一种基于实例分割的冲压件缺陷识别方法 | |
| CN104132945A (zh) | 一种基于光纤传导的棒材表面质量在线视觉检测装置 | |
| CN110940672A (zh) | 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置 | |
| WO2023134286A1 (zh) | 一种阴极铜在线质量自动检测分类方法 | |
| CN206223683U (zh) | 一种板状带孔工件表面缺陷检测装置 | |
| CN110738630A (zh) | 递归性深度学习系统的训练方法与检测系统 | |
| CN109685756A (zh) | 影像特征自动辨识装置、系统及方法 | |
| CN115423785A (zh) | 一种缺陷检测系统、方法、装置、电子设备及存储介质 | |
| CN117542301A (zh) | 一种显示屏的检测方法及系统 | |
| CN113191362B (zh) | 一种变电设备油渗漏缺陷检测装置及方法 | |
| CN117871406B (zh) | 自动光学检测方法及系统 | |
| CN111105413B (zh) | 一种智能火花塞外观缺陷检测系统 | |
| CN107741430A (zh) | 一种基于接触式图像传感器的紧凑型结构镜片检测系统 | |
| CN210376186U (zh) | 一种全自动显微镜视觉成像表面检测机 | |
| CN107248151A (zh) | 一种基于机器视觉的液晶片智能检测方法及系统 | |
| TW202120917A (zh) | 智慧型光學檢測之樣品特徵與瑕疵自動標記方法及其裝置 | |
| CN214375120U (zh) | 一种pcb板检测机构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200428 |