Nothing Special   »   [go: up one dir, main page]

CN113221889B - 一种芯片字符抗干扰识别方法及装置 - Google Patents

一种芯片字符抗干扰识别方法及装置 Download PDF

Info

Publication number
CN113221889B
CN113221889B CN202110572517.8A CN202110572517A CN113221889B CN 113221889 B CN113221889 B CN 113221889B CN 202110572517 A CN202110572517 A CN 202110572517A CN 113221889 B CN113221889 B CN 113221889B
Authority
CN
China
Prior art keywords
character
chip
image
detection
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110572517.8A
Other languages
English (en)
Other versions
CN113221889A (zh
Inventor
朱涛
王小龙
王志伟
刘天赐
郝培霖
赵钰
杨一粟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Key System and Integrated Circuit Co Ltd
Original Assignee
China Key System and Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Key System and Integrated Circuit Co Ltd filed Critical China Key System and Integrated Circuit Co Ltd
Priority to CN202110572517.8A priority Critical patent/CN113221889B/zh
Publication of CN113221889A publication Critical patent/CN113221889A/zh
Application granted granted Critical
Publication of CN113221889B publication Critical patent/CN113221889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种芯片字符识别方法，尤其是一种芯片字符抗干扰识别方法，包括以下步骤：(1)设置相机和光源；(2)调用模版，相机采集得到一帧图像与模版匹配后提取仅包含芯片的芯片图像；(3)提取仅包含字符区域的芯片字符图像：(4)将芯片字符图像依次进行降噪处理、阈值分割得到二值化图像、将二值化图像进行字符分割得到单个字符；(5)字符缺陷检测，得到缺陷字符(6)缺陷字符优化及字符识别：(6‑1)缺陷字符优化；(6‑2)人工神经网络字符识别得到最终的字符串。该方法在采集图像时可以有效降低环境的部分干扰，防止芯片放置角度出错，与其他检测设备协同合作，显著的降低了人工成本，提高了生产效率。

Description

一种芯片字符抗干扰识别方法及装置
技术领域
本发明涉及一种芯片字符识别方法，尤其是一种芯片字符抗干扰识别方法及装置。
背景技术
芯片是信息时代下的一个重要产物，其被广泛应用于各类电子设备，推动了整个社会的进步，同时也是影响高端制造业发展的重要因素。芯片的制造工艺极为复杂且精密，每一个生产步骤都需要严格控制，故芯片的质量检测尤为重要。芯片封装表面包含型号、序列号、批号等字符信息，可以对其追本溯源，因此芯片字符检测作为芯片质量检测的重要一环，意义重大。目前芯片字符检测多为人工干预进行查看、抄录，不仅成本高且长时间的工作容易出现疲劳，进而导致错误。
芯片由于其高集成度，一般尺寸较小，其封装表面上的字符也较小。不同型号的芯片，具有不同的封装形式，不同的印刷，不同的尺寸，芯片字符还存在对比度低，不易识别的问题。芯片的生产经历极为复杂的流程，难免出现污染、破损、划痕等缺陷，对芯片字符识别的通用性、稳定性及抗干扰能力提出了严峻的挑战，故要实现各类芯片字符的高效自动识别，需要相对周全的策略与方案。
目前，一般的芯片字符识别技术中，使用传统的方法对字符进行提取，提取精度存在误差，难以实现复杂背景下的芯片识别定位且对于芯片字符缺陷没有较好的识别能力，进行简单的字符识别时，对于存在缺陷的字符不能有针对性的优化，容易出现错误识别，缺乏抗干扰能力。此外，通用性也存在问题，对于期望取代人工，实现高效快速有效识别的实际需求存在较大差距。
发明内容
为解决上述问题，本发明提供一种其目的在于替代人工进行字符识别，解决人工检测成本高、效率低及准确率低的问题，同时，针对现有自动芯片字符检测缺乏对于复杂背景下芯片识别定位及缺陷字符抗干扰能力，通用性及稳定性差等问题，提出一种结合深度学习与机器视觉的高效、准确且抗干扰能力强的通用稳定的一种芯片字符抗干扰识别方法，具体技术方案如下：
一种芯片字符抗干扰识别方法，包括以下步骤：
(1)调节光源亮度，移动相机位置，使得芯片字符与背景对比度达到检测要求；
(2)从芯片模版库中调用模版，相机采集得到一帧图像，基于调用的模版在所采集的图像全域搜索芯片模板，模版被匹配到之后输出模板匹配的位置和方向，该方向为芯片的摆放方向，若方向超出设置的角度范围，则发送报警信号，提示方向错误；若方向正确，则输出的模版匹配位置为芯片的实际位置，根据位置坐标提取仅包含芯片的芯片图像；
(3)提取仅包含字符区域的芯片字符图像：
(3-1)对于步骤(2)获取的芯片图像，基于模版内约定的字符区域相对于芯片整体的几何位置，在芯片图像上搜索得到第一字符ROI区域；
(3-2)将步骤(2)获取的芯片图像传入预先训练好的深度学习模型YOLOv3中进行字符ROI区域的识别，得到第二字符ROI区域；
(3-3)比对步骤(3-1)和步骤(3-2)各自得到的第一字符ROI区域和第二字符ROI区域，若第一字符ROI区域与第二字符ROI区域重合面积满足阈值要求，则步骤(3-1)得到的第一字符ROI区域为芯片字符图像；
(4)芯片字符图像预处理成二值化图像进行字符分割：
(4-1)将步骤(3-3)得到的芯片字符图像使用滤波的方法进行降噪处理，得到降噪后图像；
(4-2)将步骤(4-1)得到的降噪图像进行阈值分割得到二值化图像；
(4-3)根据模版中单个字符的几何矩条件将步骤(4-2)得到的二值化图像进行字符分割，得到单个字符；
(5)字符缺陷检测：
(5-1)步骤(4-3)分割单个字符时，若出现几何条件不满足阈值条件，则认为字符存在缺陷，得到第一缺陷字符；
(5-2)将步骤(4-1)得到的降噪图像传入预先训练好的深度学习模型YOLOv3中进行字符缺陷区域检测，得到第二缺陷字符；
(5-3)比对步骤(5-1)检测到的第一缺陷字符与步骤(5-2)检测到的第二缺陷字符，若第一缺陷字符与第二缺陷字符重合区域面积满足阈值条件，则认定该单个字符为缺陷字符，否则为正常单个字符；
(6)缺陷字符优化及字符识别：
(6-1)缺陷字符优化：对步骤(5-3)得到的单个缺陷字符通过几何条件约束、形态学处理进行修复优化，得到修复单个字符；
(6-2)人工神经网络字符识别：将步骤(5-3)得到的正常单个字符与步骤(6-1)修复优化的修复单个字符传入预先训练好的多层感知机进行字符识别，最后将所有单个字符识别结果按照空间位置进行排序，得到最终的字符串。
其中，所述模版库存放了预先创建的每一种芯片的模版，模版包含以下数据：芯片图像的边缘特征及灰度信息，字符串在芯片区域内的位置信息，字符串中每一个字符相对于字符串整体区域内的位置信息，当前光照条件信息；若字符待检测芯片未创建模版，则在步骤(2)之前手动创建新的模版，同时更新记录在模版库里。
优选的，所述深度学习模型YOLOv3的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片图像，使用标注工具labelImg进行芯片目标、各类缺陷目标的标注，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对深度学习模型YOLOv3进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出芯片目标和各类缺陷字符目标时既通过测试，最终得到满足要求的YOLOv3预训练模型。
进一步的，所述芯片目标仅包含芯片区域的范围，分为一个类别，命名为：string；所述各类缺陷目标包括单个字符区域内存在污染、粘连、划痕、破损缺陷的范围，分为四个类别，分别命名为：d1、d2、d3、d4。
优选的，所述步骤(6-1)缺陷字符优化中，根据步骤(5-2)缺陷识别的结果，对缺陷区域通过几何条件约束，以及腐蚀、膨胀的形态学处理进行修复。
优选的，所述多层感知机的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片字符图像，预处理成二值化图像后进行字符分割，将分割后的单个字符图像保存；然后准备对应于每一张保存的单个字符图像的标签文件，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对多层感知机进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确预测出单个字符图像的类别时既通过测试，最终得到满足要求的预训练多层感知机。
一种芯片字符抗干扰识别装置，包括：检测装置，所述检测装置包括检测平台和安装在所述检测平台上的检测支架；图像采集装置，所述图像采集装置安装在所述检测支架上，且位于所述检测平台的上方；光源，所述光源安装在所述图像采集装置或所述检测支架上，且位于所述检测平台的上方；报警装置，所述报警装置安装在所述检测平台或所述检测支架上；视觉处理装置，所述视觉处理装置与所述图像采集装置和报警装置电性连接；显示装置，所述显示装置与所述视觉处理装置电性连接；及多层感知机，所述多层感知机与所述视觉处理装置和所述显示装置电性连接；所述光源用于使字符与背景对比度达到检测要求；所述图像采集装置用于对字符待检测芯片进行图像采集并将采集图像传输至视觉处理装置；所述视觉处理装置用于接收并处理图像采集装置传输来的芯片图像，若芯片字符检测无异常时，则将字符识别结果传输给多层感知机；若芯片字符检测出现异常时，将错误信息传输给报警装置；所述多层感知机用于进行字符识别并将所有单个字符识别结果按照空间位置进行排序，得到最终的字符串；所述显示装置用于将所述图像采集装置采集的图像、所述视觉处理装置的检测结果和所述多层感知机得到的字符串实时进行显示，并将芯片字符检测过程中出现的异常进行报警提示；所述报警装置用于接收视觉处理装置发送的报警信息并对发生的错误进行提示。
其中，所述光源包括条形白光和同轴蓝光。
与现有技术相比本发明具有以下有益效果：
本发明提供的一种芯片字符抗干扰识别方法融合深度学习与机器视觉不仅实现了复杂背景下芯片区域在图像全局区域内的高效准确定位，同时还实现了芯片字符区域在芯片区域内的进一步精准定位；针对字符可能存在的污染、破损、粘连、划痕等缺陷，通过深度学习与几何矩实现缺陷的高精度识别，并提出有效的优化措施，最大限度的降低缺陷对字符识别结果的影响，有效提高了芯片字符的识别精度与抗干扰能力。
在采集图像时可以有效降低环境的部分干扰，防止芯片放置角度出错，与其他检测设备协同合作，显著的降低了人工成本，提高了生产效率。
附图说明
图1是一种芯片字符抗干扰识别方法的流程图
图2是实施例一中基于模版匹配和几何矩识别到的芯片区域和芯片字符区域；
图3是实施例一中基于深度学习识别到的芯片字符区域与缺陷区域；
图4是实施例一中提取的芯片字符图像；
图5是实施例一中芯片字符图像的二值化图像；
图6是实施例一中字符分割后的图像；
图7是实施例一中缺陷字符修复后的图像；
图8是一种芯片字符抗干扰识别装置的结构示意图。
具体实施方式
现结合附图对本发明作进一步说明。
一种芯片字符抗干扰识别方法，包括以下步骤：
(1)调节光源亮度，移动相机位置，使得芯片字符与背景对比度达到检测要求；芯片字符与背景实现高对比度，字符轮廓清晰可见；
(2)从芯片模版库中调用模版，相机采集得到一帧图像，基于调用的模版在所采集的图像全域搜索芯片模板，模版被匹配到之后输出两个数据，即模板匹配的位置和方向，该方向即为芯片的摆放方向，若方向超出设置的角度范围，则发送报警信号，提示方向错误；若方向正确，则输出的模版匹配位置即为芯片的实际位置，根据位置坐标提取仅包含芯片的芯片图像；
模版库存放了提前创建的每一种芯片的模版，模版包含以下数据：芯片图像的边缘特征及灰度信息，字符串在芯片区域内的位置信息，字符串中每一个字符相对于字符串整体区域内的位置信息，当前光照条件信息。若字符待检测芯片未创建模版，可以在其步骤(2)之前手动创建新的模版，同时更新记录在模版库里。
模板匹配算法OpenCV，是在图片中寻找一个特定目标，通过遍历图像中的每一个可能的位置，比较各处与模板是否匹配，当相似度足够高时，即输出匹配度最大的结果。具体可采用平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法或归一化相关系数匹配法等。
报警方式主要有显示界面提示、警报器红灯闪烁和警报器响起。
(3)提取仅包含字符区域的芯片字符图像：
(3-1)对于步骤(2)获取的芯片图像，基于模版内约定的字符区域相对于芯片整体的几何位置，在芯片图像上搜索得到字符的ROI区域；
(3-2)将步骤(2)获取的芯片图像传入预先训练好的深度学习模型YOLOv3中进行字符ROI区域的识别；
预先训练好的深度学习模型YOLOv3的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片图像，使用标注工具labelImg进行芯片目标、各类缺陷目标的标注，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对深度学习模型YOLOv3进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出芯片目标和各类缺陷字符目标时既通过测试，最终得到满足要求的YOLOv3预训练模型。
LabelImg标注的芯片目标、各类缺陷字符目标具体为：芯片目标指仅包含芯片区域的范围，分为一个类别，命名为:string；各类缺陷目标指单个字符区域内存在污染、粘连、划痕、破损缺陷的范围，分为四个类别，分别命名为：d1、d2、d3、d4。
(3-3)比对步骤(3-1)和步骤(3-2)各自得到的字符ROI区域，若二者重合面积满足阈值要求，则提取步骤(3-1)得到的字符ROI区域为芯片字符图像；
(4)芯片字符图像预处理成二值化图像进行字符分割：
(4-1)将步骤(3-3)得到的芯片字符图像使用滤波的方法进行降噪处理，得到降噪后图像；滤波方法可以采用高斯滤波、中值滤波、双边滤波等。
(4-2)将步骤(4-1)得到的降噪图像进行阈值分割得到二值化图像；
阈值分割方法可以采用全局阈值分割、基于直方图的自动阈值分割、自动全局阈值分割、局部阈值分割。
(4-3)根据模版中单个字符的几何矩条件将步骤(4-2)得到的二值化图像进行字符分割，得到单个字符；
字符分割时直接根据模版中单个字符在芯片字符图像中的宽度、高度、中心点信息进行字符分割，此外，将相互连接的黑色像素点统计为一个整体，得到多个连通的黑色像素点整体，每一个整体作为一个字符。
(5)字符缺陷检测：
(5-1)步骤(4-3)分割单个字符时，若出现统计的黑色像素点连通整体宽度、高度几何条件不满足模版中的阈值条件，则认为字符存在缺陷；
(5-2)将步骤(4-1)得到的降噪图像传入预先训练好的深度学习模型YOLOv3中进行字符缺陷区域检测；
(5-3)若步骤(5-1)检测到的缺陷字符与步骤(5-2)检测到的缺陷字符区域重合区域面积满足阈值条件，则认定该单个字符为缺陷字符；
(6)缺陷字符优化及字符识别：
(6-1)缺陷字符优化：对步骤(5-3)得到的单个缺陷字符通过几何条件约束、形态学处理进行修复优化；
由于字符分割时直接根据模版中单个字符在芯片字符图像中的宽度、高度、中心点信息进行字符分割，故消除了字符粘连，但仍存在部分多余区域。然后结合深度学习模型YOLOv3的缺陷识别定位结果，对有缺陷的单个字符区域进行有针对性的修复。若缺陷识别结果为粘连、污染，则对YOLOv3识别到的单个字符粘连、污染区域进行先腐蚀后膨胀操作，降低粘连、污染的影响；若缺陷识别结果为破损、划痕时，对YOLOv3识别到的单个字符破损、划痕区域进行先膨胀后腐蚀操作，降低破损、划痕的影响。
(6-2)人工神经网络字符识别：将步骤(5-3)得到的正常单个字符图像与步骤(6-1)修复优化的单个字符图像传入预先训练好的多层感知机进行字符识别，最后将所有单个字符识别结果按照空间位置进行排序，进而得到最终的字符串。
预先训练好的多层感知机的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片字符图像，预处理成二值化图像后进行字符分割，将分割后的单个字符图像保存。然后准备对应于每一张保存的单个字符图像的标签文件，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对多层感知机进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确预测出单个字符图像的类别时既通过测试，最终得到满足要求的预训练多层感知机。
以下为实施例：
实施例一
如图1至图7所示，一种芯片字符抗干扰识别方法，包括以下步骤：
(1)调节光源亮度，移动相机位置，使得芯片字符与背景对比度达到如图2效果，字符轮廓清晰可见；
(2)从芯片模版库中调用待识别IC芯片的模版，相机采集得到一帧IC芯片图像，基于调用的模版在所采集的图像全域搜索芯片模板，模版被匹配到之后输出两个数据，即模板匹配的位置和方向，该方向即为芯片的摆放方向Angle，设定正确的摆放角度为0°，则若|Angle|>5°，则判定芯片摆放方向不对，在显示器的软件界面上提示方向错误；若|Angle|<5°，则判定芯片摆放方向正确，输出的模版匹配位置即为芯片的实际位置，根据位置坐标提取仅包含芯片的芯片图像，如图2所示，其中的大矩形框Rectangle1为匹配到的芯片区域；
模版库存放了提前创建的每一种芯片的模版，模版包含以下数据：芯片图像的边缘特征及灰度信息，字符串在芯片区域内的位置信息，字符串中每一个字符相对于字符串整体区域内的位置信息，当前光照条件信息。若字符待检测芯片未创建模版，可以在其步骤(2)之前手动创建新的模版，同时更新记录在模版库里。
模板匹配算法OpenCV，是在图片中寻找一个特定目标，通过遍历图像中的每一个可能的位置，采用相关匹配法比较各处与模板的边缘特征及灰度信息是否匹配，当相似度满足阈值条件0.5时，即认为识别到芯片目标。
(3)提取仅包含字符区域的芯片字符图像：
(3-1)对于步骤(2)获取的芯片图像，基于模版内约定的可以完整包围字符区域的矩形框Rectangle2中心坐标(x1,y1)与可以完整包围芯片区域的矩形框Rectangle1中心坐标(x0,y0)的距离x1-x0,y1-y0以及Rectangle2的宽度w1、高度h1，在芯片图像上搜索得到字符的ROI区域，具体如图2所示；
(3-2)将步骤(2)获取的芯片图像传入预先训练好的深度学习模型YOLOv3中进行字符ROI区域string的识别，识别结果如图3所示；
预先训练好的深度学习模型YOLOv3的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片图像，使用标注工具labelImg进行芯片目标、各类缺陷目标的标注，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对深度学习模型YOLOv3进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出芯片目标和各类缺陷字符目标时既通过测试，最终得到满足要求的YOLOv3预训练模型。
LabelImg标注的芯片目标、各类缺陷字符目标具体为：芯片目标指仅包含芯片区域的范围，分为一个类别，命名为:string；各类缺陷目标指单个字符区域内存在污染、粘连、划痕、破损缺陷的范围，分为四个类别，分别命名为：d1、d2、d3、d4。
(3-3)比对步骤(3-1)和步骤(3-2)各自得到的字符ROI区域Rectangle2和string，若二者交集占比超过Rectangle2的93％，则提取步骤(3-1)得到的Rectangle2区域为芯片字符图像，提取后图像如图4所示；
(4)芯片字符图像预处理成二值化图像进行字符分割：
(4-1)将步骤(3-3)得到的芯片字符图像使用高斯滤波的方法进行降噪处理，得到降噪后图像；
(4-2)将步骤(4-1)得到的降噪图像进行局部阈值分割得到二值化图像，如图5所示；
(4-3)根据模版中单个字符的几何矩条件将步骤(4-2)得到的二值化图像进行字符分割，得到单个字符，如图6所示；
具体操作如下：
A1:根据模版内记录的9个字符在芯片字符图像区域内各自的中心坐标{(xz_n,yz_n),n∈[1,9]}以及各自的宽度、高度{(wz_n,hz_n),n∈[1,9]}，得到每一个字符所在区域，如图6所示，每一个字符块进行编号，分别为1-9。
A2：基于图5将相互连接的黑色像素点统计为一个整体，得到多个连通的黑色像素点整体及其外切矩形的宽度和高度{(wt_n,ht_n),n∈[0,9]}。
(5)字符缺陷检测：
(5-1)步骤(4-3)分割单个字符时，若出现统计的黑色像素点连通整体的外切矩形宽度wt、高度ht不满足模版中的阈值条件0.85W<wt_n<1.15W和0.9H<ht_n<1.2H，则认为字符存在缺陷，其中W为标准宽度，H为标准高度，如图6中编号为4的字符块，其宽大于1.15W；
(5-2)将步骤(4-1)得到的降噪图像传入预先训练好的深度学习模型YOLOv3中进行字符缺陷检测，识别到缺陷后，记录缺陷区域的中心坐标{(xs_n,ys_n),n∈[0,9]}、宽度和高度{(ws_n,hs_n),n∈[0,9]}；
(5-3)综合步骤(5-1)与步骤(5-2)检测到的缺陷结果，认定为整体字符串所存在的字符缺陷区域，当步骤(5-1)与步骤(5-2)检测到的缺陷区域重合面积达到步骤(5-2)检测到缺陷区域的95％以上，以步骤(5-2)的识别结果为准，当步骤(5-2)检测到缺陷区域步骤(5-1)未检测到时，也以步骤(5-2)的识别结果为准；
(6)缺陷字符优化及字符识别：
(6-1)缺陷字符优化：对步骤(5-3)得到的字符缺陷区域通过几何条件约束、形态学处理进行修复优化；
由于字符分割时直接根据模版中单个字符在芯片字符图像中的宽度、高度、中心点信息进行字符分割，故消除了字符粘连，但仍存在部分多余区域。然后结合深度学习模型YOLOv3的缺陷识别定位结果，对有缺陷的单个字符区域进行有针对性的修复。若缺陷识别结果为粘连(d2)、污染(d1)，则对YOLOv3识别到的单个字符粘连、污染区域进行先腐蚀后膨胀操作，降低粘连、污染的影响；若缺陷识别结果为破损(d4)、划痕(d3)时，对YOLOv3识别到的单个字符破损、划痕区域进行先膨胀后腐蚀操作，降低破损、划痕的影响，修复后效果如图7中序号为4、8的字符所示。
(6-2)人工神经网络字符识别：将步骤(5-3)得到的正常单个字符图像与步骤(6-1)修复优化的单个字符图像传入预先训练好的多层感知机进行字符识别，最后将所有单个字符识别结果按照空间位置进行排序，进而得到最终的字符串。
预先训练好的多层感知机的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片字符图像，预处理成二值化图像后进行字符分割，将分割后的单个字符图像保存。然后准备对应于每一张保存的单个字符图像的标签文件，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对多层感知机进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确预测出单个字符图像的类别时既通过测试，最终得到满足要求的预训练多层感知机。
实施例二
如图8所示，一种芯片字符抗干扰识别装置，包括检测装置1、光源2、图像采集装置3、显示装置4、视觉处理装置5、报警装置6和多层感知机。
检测装置1包括检测平台和安装在检测平台上的检测支架，芯片放置在检测平台上；图像采集装置3安装在检测支架上，且位于检测平台的上方，图像采集装置3包括相机，相机正对着芯片；光源2安装在图像采集装置3或检测支架上，且位于检测平台的上方；光源2包括条形白光和同轴蓝光，光源2正对着芯片，光源2和相机可以水平方向移动，也可以竖直方向移动，方便调整拍照效果；报警装置6安装在检测平台或检测支架上；报警装置6选择红灯闪烁的报警方式。视觉处理装置5为AI视觉处理装置5，包括电脑和视觉AI处理软件，视觉处理装置5与图像采集装置3和报警装置6电性连接；显示装置4与视觉处理装置5电性连接，显示装置4为显示器；多层感知机与视觉处理装置5和显示装置4电性连接；多层感知机为安装在电脑上的处理软件。
光源2用于使字符与背景对比度达到检测要求；图像采集装置3用于对字符待检测芯片进行图像采集并将采集图像传输至视觉处理装置5；视觉处理装置5用于接收图像采集装置传输来的芯片图像，并按照一种芯片字符抗干扰识别方法进行处理，若芯片字符检测无异常时，则将字符识别结果传输给多层感知机；若芯片字符检测出现异常时，将错误信息传输给报警装置6；多层感知机用于进行字符识别并将所有单个字符识别结果按照空间位置进行排序，得到最终的字符串；显示装置4用于将图像采集装置采集的图像、视觉处理装置5的检测结果和多层感知机得到的字符串实时进行显示，并将芯片字符检测过程中出现的异常进行报警提示；报警装置6用于接收视觉处理装置5发送的报警信息并对发生的错误进行提示。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明权利要求的保护范围之内。

Claims (8)

1.一种芯片字符抗干扰识别方法，其特征在于，包括以下步骤：
（1）调节光源亮度，移动相机位置，使得芯片字符与背景对比度达到检测要求；
（2）从芯片模版库中调用模版，相机采集得到一帧图像，基于调用的模版在所采集的图像全域搜索芯片模板，模版被匹配到之后输出模板匹配的位置和方向，该方向为芯片的摆放方向，若方向超出设置的角度范围，则发送报警信号，提示方向错误；若方向正确，则输出的模版匹配位置为芯片的实际位置，根据位置坐标提取仅包含芯片的芯片图像；
（3）提取仅包含字符区域的芯片字符图像：
（3-1）对于步骤（2）获取的芯片图像，基于模版内约定的字符区域相对于芯片整体的几何位置，在芯片图像上搜索得到第一字符ROI区域；
（3-2）将步骤（2）获取的芯片图像传入预先训练好的深度学习模型YOLOv3中进行字符ROI区域的识别，得到第二字符ROI区域；
（3-3）比对步骤（3-1）和步骤（3-2）各自得到的第一字符ROI区域和第二字符ROI区域，若第一字符ROI区域与第二字符ROI区域重合面积满足阈值要求，则步骤（3-1）得到的第一字符ROI区域为芯片字符图像；
（4）芯片字符图像预处理成二值化图像进行字符分割：
（4-1）将步骤（3-3）得到的芯片字符图像使用滤波的方法进行降噪处理，得到降噪后图像；
（4-2）将步骤（4-1）得到的降噪图像进行阈值分割得到二值化图像；
（4-3）根据模版中单个字符的几何矩条件将步骤（4-2）得到的二值化图像进行字符分割，得到单个字符；
（5）字符缺陷检测：
（5-1）步骤（4-3）分割单个字符时，若出现几何条件不满足阈值条件，则认为字符存在缺陷，得到第一缺陷字符；
（5-2）将步骤（4-1）得到的降噪图像传入预先训练好的深度学习模型YOLOv3中进行字符缺陷区域检测，得到第二缺陷字符；
（5-3）比对步骤（5-1）检测到的第一缺陷字符与步骤（5-2）检测到的第二缺陷字符，若第一缺陷字符与第二缺陷字符重合区域面积满足阈值条件，则认定该单个字符为缺陷字符，否则为正常单个字符；
（6）缺陷字符优化及字符识别：
（6-1）缺陷字符优化：对步骤（5-3）得到的单个缺陷字符通过几何条件约束、形态学处理进行修复优化，得到修复单个字符；
（6-2）人工神经网络字符识别：将步骤（5-3）得到的正常单个字符与步骤（6-1）修复优化的修复单个字符传入预先训练好的多层感知机进行字符识别，最后将所有单个字符识别结果按照空间位置进行排序，得到最终的字符串。
2.根据权利要求1所述的一种芯片字符抗干扰识别方法，其特征在于，所述模版库存放了预先创建的每一种芯片的模版，模版包含以下数据：芯片图像的边缘特征及灰度信息，字符串在芯片区域内的位置信息，字符串中每一个字符相对于字符串整体区域内的位置信息，当前光照条件信息；
若字符待检测芯片未创建模版，则在步骤（2）之前手动创建新的模版，同时更新记录在模版库里。
3.根据权利要求1所述的一种芯片字符抗干扰识别方法，其特征在于，所述深度学习模型YOLOv3的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片图像，使用标注工具labelImg进行芯片目标、各类缺陷目标的标注，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对深度学习模型YOLOv3进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出芯片目标和各类缺陷字符目标时既通过测试，最终得到满足要求的YOLOv3预训练模型。
4.根据权利要求3所述的一种芯片字符抗干扰识别方法，其特征在于，所述芯片目标仅包含芯片区域的范围，分为一个类别，命名为：string；
所述各类缺陷目标包括单个字符区域内存在污染、粘连、划痕、破损缺陷的范围，分为四个类别，分别命名为：d1、d2、d3、d4。
5.根据权利要求1至4任一项所述的一种芯片字符抗干扰识别方法，其特征在于，所述步骤（6-1）缺陷字符优化中，根据步骤（5-2）缺陷识别的结果，对缺陷区域通过几何条件约束，以及腐蚀、膨胀的形态学处理进行修复。
6.根据权利要求1至4任一项所述的一种芯片字符抗干扰识别方法，其特征在于，所述多层感知机的训练过程如下：
(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片字符图像，预处理成二值化图像后进行字符分割，将分割后的单个字符图像保存；然后准备对应于每一张保存的单个字符图像的标签文件，从而构建起数据集；
(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；
(c)使用训练集对多层感知机进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确预测出单个字符图像的类别时既通过测试，最终得到满足要求的预训练多层感知机。
7.一种芯片字符抗干扰识别装置，用于权利要求1所述的一种芯片字符抗干扰识别方法，其特征在于，包括：
检测装置，所述检测装置包括检测平台和安装在所述检测平台上的检测支架；
图像采集装置，所述图像采集装置安装在所述检测支架上，且位于所述检测平台的上方；
光源，所述光源安装在所述图像采集装置或所述检测支架上，且位于所述检测平台的上方；
报警装置，所述报警装置安装在所述检测平台或所述检测支架上；
视觉处理装置，所述视觉处理装置与所述图像采集装置和报警装置电性连接；
显示装置，所述显示装置与所述视觉处理装置电性连接；及多层感知机，所述多层感知机与所述视觉处理装置和所述显示装置电性连接；
所述光源用于使字符与背景对比度达到检测要求；所述图像采集装置用于对字符待检测芯片进行图像采集并将采集图像传输至视觉处理装置；所述视觉处理装置用于接收并处理图像采集装置传输来的芯片图像，若芯片字符检测无异常时，则将字符识别结果传输给多层感知机；若芯片字符检测出现异常时，将错误信息传输给报警装置；所述多层感知机用于进行字符识别并将所有单个字符识别结果按照空间位置进行排序，得到最终的字符串；所述显示装置用于将所述图像采集装置采集的图像、所述视觉处理装置的检测结果和所述多层感知机得到的字符串实时进行显示，并将芯片字符检测过程中出现的异常进行报警提示；所述报警装置用于接收视觉处理装置发送的报警信息并对发生的错误进行提示。
8.根据权利要求7所述的一种芯片字符抗干扰识别装置，其特征在于，所述光源包括条形白光和同轴蓝光。
CN202110572517.8A 2021-05-25 2021-05-25 一种芯片字符抗干扰识别方法及装置 Active CN113221889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110572517.8A CN113221889B (zh) 2021-05-25 2021-05-25 一种芯片字符抗干扰识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572517.8A CN113221889B (zh) 2021-05-25 2021-05-25 一种芯片字符抗干扰识别方法及装置

Publications (2)

Publication Number Publication Date
CN113221889A CN113221889A (zh) 2021-08-06
CN113221889B true CN113221889B (zh) 2023-09-22

Family

ID=77098351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572517.8A Active CN113221889B (zh) 2021-05-25 2021-05-25 一种芯片字符抗干扰识别方法及装置

Country Status (1)

Country Link
CN (1) CN113221889B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114062393A (zh) * 2021-11-17 2022-02-18 宜宾显微智能科技有限公司 一种基于深度学习显微字符识别与缺陷检测系统及方法
CN114359201A (zh) * 2021-12-29 2022-04-15 丽台(上海)信息科技有限公司 一种汽车生产线上镌刻标识质量检测方法
CN115393255B (zh) * 2022-02-17 2024-07-30 中科芯集成电路有限公司 基于视觉与神经网络的航空杆件自动组装检测装置及方法
CN114677683B (zh) * 2022-04-06 2023-04-25 电子科技大学 应用于光通信激光器芯片显微字符识别的背景预处理方法
CN114689512B (zh) * 2022-04-15 2024-09-24 中科芯集成电路有限公司 一种融合机器视觉和深度学习的口罩检测方法
CN114495106A (zh) * 2022-04-18 2022-05-13 电子科技大学 一种应用于dfb激光器芯片的深度学习mocr方法
CN115035522B (zh) * 2022-08-11 2022-12-27 东声(苏州)智能科技有限公司 一种元器件字符缺陷的智能识别方法及装置
CN116343213B (zh) * 2023-05-31 2023-08-25 成都数之联科技股份有限公司 模型训练及芯片的字符识别方法、装置、设备和介质
CN117291926B (zh) * 2023-11-27 2024-03-05 北京阿丘科技有限公司 字符缺陷检测方法、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881665A (zh) * 2015-04-29 2015-09-02 华中科技大学 一种芯片字符识别与校验方法及装置
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN112115948A (zh) * 2020-09-15 2020-12-22 电子科技大学 一种基于深度学习的芯片表面字符识别方法
CN112435222A (zh) * 2020-11-11 2021-03-02 深圳技术大学 一种电路板检测方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881665A (zh) * 2015-04-29 2015-09-02 华中科技大学 一种芯片字符识别与校验方法及装置
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN112115948A (zh) * 2020-09-15 2020-12-22 电子科技大学 一种基于深度学习的芯片表面字符识别方法
CN112435222A (zh) * 2020-11-11 2021-03-02 深圳技术大学 一种电路板检测方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的芯片表面字符识别方法;罗月童;黄文;饶永明;卢家品;;合肥工业大学学报(自然科学版)(04);全文 *

Also Published As

Publication number Publication date
CN113221889A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113221889B (zh) 一种芯片字符抗干扰识别方法及装置
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN109829914B (zh) 检测产品缺陷的方法和装置
CN101995223B (zh) 一种芯片外观检测方法及系统
CN107966454A (zh) 一种基于fpga的端塞缺陷检测装置及检测方法
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN111507976A (zh) 基于多角度成像的缺陷检测方法及系统
CN116993744B (zh) 一种基于阈值分割的焊缝缺陷检测方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
US12094098B2 (en) Defect management apparatus, method and non-transitory computer readable medium
CN112200776A (zh) 芯片封装缺陷检测方法和检测装置
CN110866915A (zh) 基于度量学习的圆形砚台质量检测方法
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和系统
CN116228741A (zh) 一种pcba元器件缺陷检测方法及装置
CN109724988A (zh) 一种基于多模板匹配的pcb板缺陷定位方法
CN115866502A (zh) 一种麦克风零件表面缺陷在线检测流程
CN114708234A (zh) 一种识别自动卡口编码一体机上雷管数量的方法及装置
CN114119505A (zh) 一种检测芯片粘连区域缺陷的方法及装置
CN113744252A (zh) 用于标记和检测缺陷的方法、设备、存储介质和程序产品
CN114529906A (zh) 基于字符识别的输电设备数字仪表异常检测方法及系统
CN116310424B (zh) 基于图像识别的设备质量评估方法、装置、终端和介质
CN115753791B (zh) 基于机器视觉的缺陷检测方法、装置以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant