CN114235837A - 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 - Google Patents
基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN114235837A CN114235837A CN202111558995.XA CN202111558995A CN114235837A CN 114235837 A CN114235837 A CN 114235837A CN 202111558995 A CN202111558995 A CN 202111558995A CN 114235837 A CN114235837 A CN 114235837A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- detection
- led
- led package
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 195
- 238000001514 detection method Methods 0.000 title claims abstract description 130
- 238000004806 packaging method and process Methods 0.000 title claims description 27
- 238000000034 method Methods 0.000 claims abstract description 48
- 239000000463 material Substances 0.000 claims description 65
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000003709 image segmentation Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000011426 transformation method Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims 1
- 230000003628 erosive effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 15
- 238000012545 processing Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007599 discharging Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011551 log transformation method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于机器视觉的LED封装表面缺陷检测方法，包括：通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。本发明针对LED封装表面缺陷检测的问题，使用工业线阵相机和远心镜头，获取高质量低畸变的料片图像，结合数字图像处理和深度学习技术，有效提升了检测的鲁棒性和泛化性。本发明能自主完成上下料与缺陷标记，大幅提升检测效率，有效降低生产成本，能够满足多种LED封装的检测需求，大大提升了通用性和实用性。
Description
技术领域
本发明涉及检测技术领域，具体涉及一种基于机器视觉的LED封装表面缺陷检测方法、装置、介质及设备。
背景技术
产品表面缺陷检测一直是制造业所面临的重难点问题，缺陷检测环节直接影响着产品的质量水平和有效产能，对工厂提高效率和降低成本具有重要意义。自动光学检测(Automatic optical inspection，AOI)设备基于光学原理完成缺陷检测，被广泛应用于集成电路、半导体芯片、LED封装等行业，以实现快速、稳定、准确的无损检测。LED封装生产流程主要包括固晶、焊线、点胶、缺陷检测、测试及包装等环节，缺陷检测环节是LED生产的关键步骤，能否采用更为高效准确的检测方法完成缺陷检测任务，是工厂实现降本增效的关键一环。
目前LED封装的外观检测依赖于传统的人工目视检测方法和传统图像处理方法。人工目视检测方法中，检测人员在电子显微镜的协助下依靠自身经验完成产品的检测与分类，该方法存在效率低、主观性强、成本高以及结果缺乏一致性等问题，并且可能会由于疲劳而产生误判，也不利于缺陷数据的保存与统计，难以根据产线实时检测数据把握产线当前生产状态，无法对产线故障排除、产线问题优化带来指导作用。基于传统图像处理的设备在面对多种类、变尺寸、生产工艺复杂的产品时，往往无法很好地适应新种类和多种缺陷的检测任务，需要大量的调试时间，造成产能的下降。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器视觉的LED封装表面缺陷检测方法、装置、介质及设备，用于解决现有技术中的至少一个缺陷。
为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的LED封装表面缺陷检测方法，包括：
通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；
利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；
根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。
可选地，所述缺陷检测模型为基于残差神经网络ResNet-50的检测模型。
可选地，还包括：
对所述料片图像进行预处理，所述预处理包括：
采用对数-伽马变换法对所述片料图像进行图像增强，得到增强图像；
通过最大类间法分离所述增强图像的前景和背景；
提取所述前景，结合腐蚀与膨胀操作得到连通域；
遍历所述连通域，并将所述连通域与所述增强图像做差，以完成对所述料片图像的分割，得到单个LED封装图像；
在对LED封装表面缺陷检测时，通过预先训练的缺陷检测模型对每一个所述LED封装图像进行检测。
可选地，在所述对数-伽马变换中，通过以下公式进行对数变换，
s＝c*logv+1(1+v*r)r∈[0,1]
通过以下公式进行伽马变换，
s＝crγ r∈[0,1]
其中，c和γ为正常数。
可选地，所述通过最大类间法分离所述增强图像的前景和背景，包括：
将所述料片图像的前景平均灰度记为M1，占所述料片图像的比例记为R1，
将所述料片图像的背景平均灰度记为M2，占所述料片图像的比例记为R2，
R1+R2＝1
前料片图像的平均灰度值M，即
M＝R1*M1+R2*M2
则类间方差G为：
G＝R1(M1-M)2+R2(M2-M)2
G＝R1R2(M1-M2)2
当类间方差G最大时，所对应的阈值T为分割阈值；
通过所述分割阈值，分离所述增强图像的前景和背景。
可选地，以以下公式计算采集频率，以所述采集频骤通过线阵相机采集LED封装的料片图像；采集频率fc的计算方法为：
Vm为LED封装通过远心镜头正下方的速度，fl为远心镜头的焦距，Ssize线阵相机的传感器的尺寸，D为远心镜头的工作距离。
为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的LED封装表面缺陷检测装置，包括：
图像采集模块，用于通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；
缺陷检测模块，用于利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；
缺陷标记模块，用于根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。
可选地，还包括：图像预处理模块，用于对所述料片图像进行预处理，所述图像预处理模块包括：
图像增强子模块，用于采用对数-伽马变换法对所述片料图像进行图像增强，得到增强图像；
图像分离子模块，用于通过最大类间法分离所述增强图像的前景和背景；
图像分割子模块，用于遍历所述连通域，并将所述连通域与所述增强图像做差，以完成对所述料片图像的分割，得到单个LED封装图像。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述缺陷检测方法的步骤。
为实现上述目的及其他相关目的，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述缺陷检测方法的步骤。
如上所述，本发明的一种基于机器视觉的LED封装表面缺陷检测方法、装置及计算机可读存储介质，具有以下有益效果：
本发明的一种基于机器视觉的LED封装表面缺陷检测方法，包括：通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。本发明针对LED封装表面缺陷检测的问题，使用工业线阵相机和远心镜头，获取高质量低畸变的料片图像，结合数字图像处理和深度学习技术，有效提升了检测的鲁棒性和泛化性。本发明能自主完成上下料与缺陷标记，大幅提升检测效率，有效降低生产成本，能够满足多种LED封装的检测需求，大大提升了通用性和实用性。
附图说明
图1为本发明一实施例一种基于机器视觉的LED封装表面缺陷检测方法的流程图；
图2为本发明一实施例图像预处理方法的流程图；
图3是本发明实施例的图像预处理及增强前后图示，a为增强前图像，b为增强后图像；
图4是本发明实施例的图像分割图示，a为整张料片分割示意图，b为料片图像分割局部示意图；
图5为本发明一实施例一种基于机器视觉的LED封装表面缺陷检测装置的原理框图；
图6为本发明一实施例LED封装表面缺陷检测系统的结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请以降低对LED封装缺陷的检测成本、提高生产效率、稳定产品质量，解决现有检测方法中的痛点问题为目的，从根源提升产品质量和生产效率，提出一种基于机器视觉的LED封装表面缺陷检测方法，以快速完成对LED封装缺陷检测，具有良好的应用前景和十分重要的现实意义。
本申请的总体构思为，通过基于工业线阵相机的图像采集系统获取LED封装的高质量实时图像，进一步建立各种类LED封装的缺陷样本数据集，利用缺陷样本数据集完成各种类LED封装缺陷检测模型训练，使用训练好的缺陷检测模型完成对应类别的LED封装缺陷检测任务，检测完成后同步保存缺陷样本和缺陷数据，并将缺陷数据发送至设备缺陷标记模块，实现缺陷LED封装的精确标记。
如图1所示，本申请实施例提供一种缺陷检测方法，所述方法包括：
S10通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；
S11利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；
S12根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。
本发明针对LED封装表面缺陷检测的问题，使用工业线阵相机和远心镜头，获取高质量低畸变的料片图像，结合数字图像处理和深度学习技术，有效提升了检测的鲁棒性和泛化性。本发明能自主完成上下料与缺陷标记，大幅提升检测效率，有效降低生产成本，能够满足多种LED封装的检测需求，大大提升了通用性和实用性。
在一实施例中，所述缺陷检测模型为基于残差神经网络ResNet-50的检测模型。
在一实施例中，以以下公式计算采集频率，以所述采集频骤通过线阵相机采集LED封装的料片图像；采集频率fc的计算方法为：
Vm为LED封装通过远心镜头正下方的速度，fl为远心镜头的焦距，Ssize线阵相机的传感器的尺寸，D为远心镜头的工作距离。
在一实施例中，该方法还包括：
对所述料片图像进行预处理，如图2所示，所述预处理包括：
S20采用对数-伽马变换法对所述片料图像进行图像增强，得到增强图像；
本发明所述的图像预处理与增强方法效果图如图3所示，其中a为增强前的料片图像，b为增强后的料片图像，为提升料片图像的对比度，最大限度保留图像的细节，以便于后续的图像分割与检测，采用对数-伽马变换法完成图像增强，对数变换法主要用于将图像的低灰度值部分扩展，并将其高灰度值部分压缩，以达到强调图像低灰度部分的目的.
对数变换方法由下式所定义：
s＝c*logv+1(1+v*r)r∈[0,1]
其中,c是一个常数，v+1为底数，原始料片图像经对数变换后，料片图像低灰度部分的细节更为清楚，LED封装表面微小缺陷的特征也更为明显，但仍需要通过伽马变换提升图像的整体对比度，以为后续图像分割环节提供支撑。伽马变换算法由下式所定义：
s＝crγ r∈[0,1]
其中c和γ为正常数，含义就是在原图上对每个像素值做乘积运算，以通过增强低灰度或高灰度的细节实现修正作用的，γ的值以1为界，其值越小，图像低灰度部分的扩展作用就越强，其值越大，图像高灰度部分的扩展作用就越强，通过选择不同的γ值就可实现增强低灰度/高灰度部分细节的作用，更有利于后续的图像分割和缺陷检测。
S21通过最大类间法分离所述增强图像的前景和背景；
S22提取所述前景，结合腐蚀与膨胀操作得到连通域；
S23遍历所述连通域，并将所述连通域与所述增强图像做差，以完成对所述料片图像的分割，得到单个LED封装图像；
图4为本发明的图像分割效果图，如图4所示，a为整张料片分割示意图，b为料片图像分割局部示意图，为提高后续缺陷检测的准确率和检测效率，在对LED缺陷进行检测时，并未直接对整张料片进行缺陷检测，而是将料片中单个的LED封装一一分割后，逐个进行检测。
在完成图像增强后，采用最大类间法(OTSU)实现整张料片图像的前景和背景分离，其具有简便、快速、鲁棒性强等优点。最大类间法通过计算图像中前景和背景的最大类间方差来确定阈值。具体流程为：通过假设阈值T来区分LED料片图像的前景和背景，将料片图像的前景平均灰度记为M1，占整张料片图像的比例记为R1，料片图像的背景平均灰度记为M2，占整张料片图像的比例记为R2，可知前景和背景比例之和为1，即
R1+R2＝1
由此可知当前料片图像平均灰度值M，即
M＝R1*M1+R2*M2
进一步可知类间方差G，即
G＝R1(M1-M)2+R2(M2-M)2
上式也可等价为如下式子
G＝R1R2(M1-M2)2
当类间方差G最大时，所对应的阈值T即为所求的分割阈值。通过该方法获取LED封装平均像素值，使用平均值快速高效分离前景(LED封装)和背景，基于该阈值完成前景提取，结合腐蚀与膨胀操作得到如图4-a所示的分割连通域，遍历该连通域与增强后的料片图像(增强图像)做差得到单个LED封装图像。
在对LED封装表面缺陷检测时，通过预先训练的缺陷检测模型对每一个单个的所述LED封装图像进行检测。
在完成LED封装的缺陷检测后，缺陷标记机构获取缺陷数据(包括缺陷位置数据用于指标LED封装的缺陷位置和缺陷种类数据)后，缺陷标记机构的竖直标记轴和料片运载台所处的横向移动轴根据缺陷位置数据配合完成缺陷LED封装的标记。标记完成后，运载台运动至下料工位后，下料气动推杆动作，将料片从料片运载台推入出料盒中，随后下料气动推杆复位，料片运载台返回指进料工位，继续下一张料片的检测。
如图5、6所示，本申请一实施例提供一种基于机器视觉的LED封装表面缺陷检测装置，包括：
图像采集模块2，用于通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；
缺陷检测模块，用于利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；
缺陷标记模块4，用于根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。
为了实现LED封装缺陷检测的自动化，装置还包括：
上料模块1，包括步进电机、进料盒及上料气动推杆、金属传感器；
人机交互界面；
下料模块5，包括步进电机、出料盒及下料气动推杆；
料片运载台3，料片运载台所在轴为横向移动轴；所述横向移动轴用于承载料片完成直线运动；
所述缺陷标记模块包括步进电机和竖直标记轴，所述竖直标记轴用于引导标记装置完成缺陷标记；所述缺陷检测模块检测完成时通过RS485通信将缺陷数据发送至设备PLC寄存器中，所述缺陷数据结合所述横向移动轴和竖直标记轴完成对应缺陷LED封装标记，所述竖直标记轴带动黑色喷墨装置靠近缺陷LED封装表面并喷墨覆盖。
所述图像采集模块2，包括线阵工业相机、远心镜头与线光源和驱动器；
装置启动后，首先上料机构的上料气动推杆动作，将单张料片从进料盒推入料片运载台，上料气动推杆复位，电机向上移动一个单位距离。料片运载台以Vm的速度匀速通过焦距fl的远心镜头正下方，远心镜头工作距离D，4K工业线阵相机的传感器尺寸为Ssize，可根据以下公式计算线阵相机的采集频率。
所述上料气动推杆结合所述下料气动推杆将料片从料盒中推入所述料片运载台，所述料片运载台带动料片做匀速直线运动经过所述图像采集模块之前，触发金属传感器完成触发拍照。线阵相机按照设置的采集频率fc完成整张料片的采集后，料片运载台继续运动至标记工位，等待缺陷检测标记数据的发送，获取到缺陷标记数据后，缺陷标记机构的竖直标记轴和料片运载台所处的横向移动轴配合完成缺陷LED封装的标记。完成缺陷检测和缺陷标记后，所述下料气动推杆结合所述上下料模块将料片从所述料片运载台中推入料盒中，随后下料气动推杆复位，料片运载台返回指进料工位，继续下一张料片的检测。
在一实施例中，所述图像采集模块的线光源在驱动器的控制下可自主调节光照强度，以适应不同类型的LED封装检测任务。
在一实施例中，还包括：图像预处理模块，用于对所述料片图像进行预处理，所述图像预处理模块包括：
图像增强子模块，用于采用对数-伽马变换法对所述片料图像进行图像增强，得到增强图像；
图像分离子模块，用于通过最大类间法分离所述增强图像的前景和背景；
图像分割子模块，用于遍历所述连通域，并将所述连通域与所述增强图像做差，以完成对所述料片图像的分割，得到单个LED封装图像。
为提升料片图像的对比度，最大限度保留图像的细节，以便于后续的图像分割与检测，采用对数-伽马变换法完成图像增强。对数变换法主要用于将图像的低灰度值部分扩展，并将其高灰度值部分压缩，以达到强调图像低灰度部分的目的，变换方法由下式所定义：
s＝c*logv+1(1+v*r)r∈[0,1]
其中c是一个常数，v+1为底数，原始料片图像经对数变换后，料片图像低灰度部分的细节更为清楚，LED封装表面微小缺陷的特征也更为明显，但仍需要通过伽马变换提升图像的整体对比度，以为后续图像分割环节提供支撑，伽马变换算法由下式所定义：
s＝crγ r∈[0,1]
其中c和γ为正常数，含义就是在原图上对每个像素值做乘积运算，以通过增强低灰度或高灰度的细节实现修正作用的，γ的值以1为界，其值越小，图像低灰度部分的扩展作用就越强，其值越大，图像高灰度部分的扩展作用就越强，通过选择不同的γ值就可实现增强低灰度/高灰度部分细节的作用，更有利于后续的图像分割和缺陷检测。
为提高后续缺陷检测的准确率和检测效率，系统并未直接对整张料片进行缺陷检测，而是将料片中单个的LED封装一一分割后，逐个进行检测。在完成预处理和图像增强后，采用最大类间法(OTSU)实现整张料片图像的前景和背景分离，其具有简便、快速、鲁棒性强等优点，该算法通过计算图像中前景和背景的最大类间方差来确定阈值。其算法流程为通过假设阈值T来区分LED料片图像前景和背景，将料片前景平均灰度记为M1，占整张料片影像比例记为R1，料片背景平均灰度记为M2，占整张料片影像比例记为R2，可知前景和背景比例之和为1，即
R1+R2＝1
由此可知当前料片图像平均灰度值M，即
M＝R1*M1+R2*M2
进一步可知类间方差G，即
G＝R1(M1-M)2+R2(M2-M)2
上式也可等价为如下式子
G＝R1R2(M1-M2)2
当类间方差G最大时，所对应的阈值T即为所求的分割阈值，通过该方法获取LED封装平均像素值，使用平均值快速高效分离前景(LED封装)和背景，基于该阈值完成前景提取，结合腐蚀与膨胀操作得到分割连通域，遍历该连通域与增强后的料片图像做差得到单个LED封装图像。
在一实施例中，所述人机交互界面包括缺陷检测界面、模型训练界面、历史数据界面和系统设置界面。所述缺陷检测界面包括缺陷检测设置及实时图像检测，所述实时图像检测接收所述图像采集模块的实时图像，再对所述实时图像按照所述缺陷检测模块中的处理方法完成缺陷检测并得到检测结果和缺陷数据，所述缺陷检测结果会实时保存至本地数据库中以备查询，所述缺陷数据按照所述缺陷标记模块完成缺陷标记；
所述模型训练界面包括样本检查与模型训练，所述样本检查通过读取各类别LED封装的缺陷样本指定路径，在操作人员的判定下确认缺陷样本的类别，所述模型训练通过读取各类别LED封装的缺陷样本数据集指定路径得到训练数据集，并允许操作人员设置模型训练参数，模型训练完成后便可在所述缺陷检测界面中使用。
所述历史数据界面通过条件查询方式提供各类型LED封装缺陷数据的查询，包括料片种类、起止时间、区分批次和统计时间单位，所述LED封装缺陷数据来自于所述缺陷检测模块的缺陷检测结果。
所述系统设置界面包括图像设置、数据库设置和模型设置，所述图像设置包括图像采集参数设置，所述图像采集参数控制所述工业线阵相机完成图像采集。所述数据库设置表示操作人员可设置本地数据库的关键参数，所述模型设置表示操作人员可编辑各类LED封装现有的缺陷检测模型。
本缺陷检测系统的工作流程为：开始缺陷检测，此时设备会将料片送入料片运载台上，运载台会带动料片一起做匀速直线运动，经过远心镜头下方完成图像采集，得到实时图像后系统便会自动执行预处理与增强、图像分割和缺陷检测，检测完成后运载台会继续带动料片到达标记工位，保存缺陷检测数据的同时，上位机通过RS485总线将缺陷定位数据发送至PLC，设备自动完成缺陷标记，标记完成后设备自动执行下料动作，此时单张料片的全流程检测结束，按照此程序循环往复直到进料盒空为止，实现基于机器视觉的LED封装表面自动缺陷检测。
本发明所述的LED封装实时表面缺陷检测系统，在人机交互界面缺陷检测版块中完成缺陷检测设置(包括料片类型、检测模型、产品批次和缺陷样本保存设置)，确认后系统自动跳转至缺陷检测界面，在该界面左上角处可通过RS485总线控制设备的启动、复位和急停，启动检测后，检测流程开始动作，同时配合系统软件自动完成缺陷检测任务。此外，在该界面中还可进行缺陷标记的微调，以更为精确的实现缺陷标记，同时展示实时检测的统计指标、实时结果和检测进度，还展示了缺陷检测的实时统计数据和历史趋势，更为直观的展现产线生产质量水平。
上述装置与检测方法具体实施方式大致相同，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述检测方法的步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述检测方法的步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于机器视觉的LED封装表面缺陷检测方法，其特征在于，包括：
通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；
利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；
根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。
2.根据权利要求1所述的基于机器视觉的LED封装表面缺陷检测方法，其特征在于，所述缺陷检测模型为基于残差神经网络ResNet-50的检测模型。
3.根据权利要求1所述的基于机器视觉的LED封装表面缺陷检测方法，其特征在于，还包括：
对所述料片图像进行预处理，所述预处理包括：
采用对数-伽马变换法对所述片料图像进行图像增强，得到增强图像；
通过最大类间法分离所述增强图像的前景和背景；
提取所述前景，结合腐蚀与膨胀操作得到连通域；
遍历所述连通域，并将所述连通域与所述增强图像做差，以完成对所述料片图像的分割，得到单个LED封装图像；
在对LED封装表面缺陷检测时，通过预先训练的缺陷检测模型对每一个所述LED封装图像进行检测。
4.根据权利要求3所述的基于机器视觉的LED封装表面缺陷检测方法，其特征在于，在所述对数-伽马变换中，通过以下公式进行对数变换，
s＝c*logv+1(1+v*r)r∈[0,1]
通过以下公式进行伽马变换，
s＝crγr∈[0,1]
其中，c和γ为正常数。
5.根据权利要求3所述的基于机器视觉的LED封装表面缺陷检测方法，其特征在于，所述通过最大类间法分离所述增强图像的前景和背景，包括：
将所述料片图像的前景平均灰度记为M1，占所述料片图像的比例记为R1，
将所述料片图像的背景平均灰度记为M2，占所述料片图像的比例记为R2，
R1+R2＝1
前料片图像的平均灰度值M，即
M＝R1*M1+R2*M2
则类间方差G为：
G＝R1(M1-M)2+R2(M2-M)2
G＝R1R2(M1-M2)2
当类间方差G最大时，所对应的阈值T为分割阈值；
通过所述分割阈值，分离所述增强图像的前景和背景。
6.根据权利要求1所述的基于机器视觉的LED封装表面缺陷检测方法，其特征在于，以以下公式计算采集频率，以所述采集频骤通过线阵相机采集LED封装的料片图像；采集频率fc的计算方法为：
Vm为LED封装通过远心镜头正下方的速度，fl为远心镜头的焦距，Ssize线阵相机的传感器的尺寸，D为远心镜头的工作距离。
7.一种基于机器视觉的LED封装表面缺陷检测装置，其特征在于，包括：
图像采集模块，用于通过线阵相机采集LED封装的料片图像；其中，在所述线阵相机中，相机采用远心镜头；
缺陷检测模块，用于利用预先训练的缺陷检测模型对所述料片图像进行缺陷检测，得到缺陷数据；所述缺陷数据至少用于指标LED封装的缺陷位置；
缺陷标记模块，用于根据所述缺陷位置对LED封装的缺陷进行标记，以完成对LED封装表面缺陷的检测。
8.根据权利要求7所述的基于机器视觉的LED封装表面缺陷检测装置，其特征在于，还包括：图像预处理模块，用于对所述料片图像进行预处理，所述图像预处理模块包括：
图像增强子模块，用于采用对数-伽马变换法对所述片料图像进行图像增强，得到增强图像；
图像分离子模块，用于通过最大类间法分离所述增强图像的前景和背景；
图像分割子模块，用于遍历所述连通域，并将所述连通域与所述增强图像做差，以完成对所述料片图像的分割，得到单个LED封装图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述高度检测方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述高度检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558995.XA CN114235837A (zh) | 2021-12-20 | 2021-12-20 | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558995.XA CN114235837A (zh) | 2021-12-20 | 2021-12-20 | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114235837A true CN114235837A (zh) | 2022-03-25 |
Family
ID=80758976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111558995.XA Pending CN114235837A (zh) | 2021-12-20 | 2021-12-20 | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114235837A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294233A (zh) * | 2022-10-09 | 2022-11-04 | 天津大学 | 一种基于深度学习的双目大视场成像方法及系统 |
| CN115511825A (zh) * | 2022-09-23 | 2022-12-23 | 天津大学 | 一种基于线阵相机的表面缺陷视觉检测方法及装置 |
| CN117115197A (zh) * | 2023-08-09 | 2023-11-24 | 幂光新材料科技（上海）有限公司 | 一种led灯珠电路板设计数据智能处理方法及系统 |
| CN117670885A (zh) * | 2024-02-01 | 2024-03-08 | 深圳腾杰光电科技有限公司 | 一种led封装缺陷的检测方法、装置及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106970024A (zh) * | 2017-03-16 | 2017-07-21 | 中南大学 | 基于相机和可控频闪光源的限界检测测距方法及系统 |
| CN110163826A (zh) * | 2019-05-23 | 2019-08-23 | 南京工业大学 | 一种黄土微结构图像的处理方法 |
| CN110910372A (zh) * | 2019-11-23 | 2020-03-24 | 郑州智利信信息技术有限公司 | 基于深度卷积神经网络的匀光板缺陷检测方法 |
| CN112866673A (zh) * | 2021-01-12 | 2021-05-28 | 北京格灵深瞳信息技术股份有限公司 | 图像采集设备、相机控制方法、装置和列车图像采集系统 |
| CN113155851A (zh) * | 2021-04-30 | 2021-07-23 | 西安交通大学 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
| CN113450307A (zh) * | 2021-05-12 | 2021-09-28 | 西安电子科技大学 | 一种产品边缘缺陷检测方法 |
| CN113808069A (zh) * | 2020-05-29 | 2021-12-17 | 奥多比公司 | 图像中的分层多类曝光缺陷分类 |
-
2021
- 2021-12-20 CN CN202111558995.XA patent/CN114235837A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106970024A (zh) * | 2017-03-16 | 2017-07-21 | 中南大学 | 基于相机和可控频闪光源的限界检测测距方法及系统 |
| CN110163826A (zh) * | 2019-05-23 | 2019-08-23 | 南京工业大学 | 一种黄土微结构图像的处理方法 |
| CN110910372A (zh) * | 2019-11-23 | 2020-03-24 | 郑州智利信信息技术有限公司 | 基于深度卷积神经网络的匀光板缺陷检测方法 |
| CN113808069A (zh) * | 2020-05-29 | 2021-12-17 | 奥多比公司 | 图像中的分层多类曝光缺陷分类 |
| CN112866673A (zh) * | 2021-01-12 | 2021-05-28 | 北京格灵深瞳信息技术股份有限公司 | 图像采集设备、相机控制方法、装置和列车图像采集系统 |
| CN113155851A (zh) * | 2021-04-30 | 2021-07-23 | 西安交通大学 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
| CN113450307A (zh) * | 2021-05-12 | 2021-09-28 | 西安电子科技大学 | 一种产品边缘缺陷检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| 张善文 等: "《数字图像物体识别理论详解与实战》", 31 January 2018, 北京邮电大学出版社, pages: 149 - 151 * |
| 李在铭 等: "《数字图像处理、压缩与识别技术》", 31 December 2000, 电子科技大学出版社, pages: 236 * |
| 熊有伦 等: "《机器人学：建模、控制与视觉》", 31 July 2020, 华中科技大学出版社, pages: 306 * |
| 王为农 等: "《图像测量仪技术基础》", 31 March 2010, 中国商业出版社, pages: 95 - 98 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115511825A (zh) * | 2022-09-23 | 2022-12-23 | 天津大学 | 一种基于线阵相机的表面缺陷视觉检测方法及装置 |
| CN115294233A (zh) * | 2022-10-09 | 2022-11-04 | 天津大学 | 一种基于深度学习的双目大视场成像方法及系统 |
| CN117115197A (zh) * | 2023-08-09 | 2023-11-24 | 幂光新材料科技（上海）有限公司 | 一种led灯珠电路板设计数据智能处理方法及系统 |
| CN117115197B (zh) * | 2023-08-09 | 2024-05-17 | 幂光新材料科技（上海）有限公司 | 一种led灯珠电路板设计数据智能处理方法及系统 |
| CN117670885A (zh) * | 2024-02-01 | 2024-03-08 | 深圳腾杰光电科技有限公司 | 一种led封装缺陷的检测方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114235837A (zh) | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 | |
| CN107123114A (zh) | 一种基于机器学习的布匹缺陷检测方法及装置 | |
| CN103913468B (zh) | 生产线上大尺寸lcd玻璃基板的多视觉缺陷检测设备及方法 | |
| CN104992449B (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
| CN109840900B (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| CN111537517A (zh) | 一种无人智能化冲压缺陷识别方法 | |
| CN109974582A (zh) | 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 | |
| CN109978940B (zh) | 一种sab安全气囊尺寸视觉测量方法 | |
| CN106226325A (zh) | 一种基于机器视觉的座椅表面缺陷检测系统及其方法 | |
| CN118608504B (zh) | 一种基于机器视觉的零部件表面质量检测方法及其系统 | |
| CN107402221A (zh) | 一种基于机器视觉的显示面板缺陷识别方法及系统 | |
| CN107437243A (zh) | 基于x光图像的轮胎杂质检测方法及装置 | |
| CN114910480A (zh) | 一种基于机器视觉的晶圆表面缺陷检测方法 | |
| CN110443791B (zh) | 一种基于深度学习网络的工件检测方法及其检测装置 | |
| CN110596120A (zh) | 玻璃边界缺陷检测方法、装置、终端及存储介质 | |
| CN106934801A (zh) | 一种基于Laws纹理滤波的荧光磁粉缺陷自动识别方法 | |
| CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN108647706A (zh) | 基于机器视觉的物品识别分类与瑕疵检测方法 | |
| CN117974601B (zh) | 基于模板匹配的硅片表面缺陷检测方法及系统 | |
| CN113947598B (zh) | 基于图像处理的塑料餐盒缺陷检测方法、装置及系统 | |
| CN112102253A (zh) | 基于机器视觉的无纺布表面缺陷自动化检测方法及系统 | |
| CN116337887A (zh) | 铸造缸体上表面缺陷检测方法及系统 | |
| CN114972350A (zh) | 模具异常检测方法、装置、设备及存储介质 | |
| CN113145473A (zh) | 一种水果智能分拣系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220325 |