CN111951253A - 用于锂电池表面缺陷检测的方法、设备及可读存储介质 - Google Patents
用于锂电池表面缺陷检测的方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111951253A CN111951253A CN202010827980.8A CN202010827980A CN111951253A CN 111951253 A CN111951253 A CN 111951253A CN 202010827980 A CN202010827980 A CN 202010827980A CN 111951253 A CN111951253 A CN 111951253A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- feature
- processed
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 230000007547 defect Effects 0.000 title claims abstract description 95
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 title claims abstract description 60
- 229910052744 lithium Inorganic materials 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 199
- 238000013507 mapping Methods 0.000 claims abstract description 70
- 238000005070 sampling Methods 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000005096 rolling process Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000005507 spraying Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 39
- 206010040954 Skin wrinkling Diseases 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000037303 wrinkles Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000007667 floating Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于锂电池表面缺陷检测的方法、设备及可读存储介质，其中所述方法包括：将采集的锂电池表面的图像作为待处理样本；对所述待处理样本执行一次或多次的下采样操作，以获得特征映射图；对所述特征映射图执行上采样操作，并与其执行所述下采样操作前的待采样图像进行通道融合，以获得融合特征图；根据所述特征映射图和所述融合特征图中的至少一种，获取所述待处理样本的目标特征信息；利用样本数据集来训练基于串联分组卷积块的网络模型，得到检测模型；以及通过所述检测模型检测待检测图像，以检测所述待检测图像中是否包括缺陷。根据本发明的方法能够有效提高检测速率，实现对特征信息弱、多尺度缺陷的有效检出。
Description
技术领域
本发明一般地涉及缺陷检测技术领域，更具体地，本发明涉及一种用于锂电池表面缺陷检测的方法、设备及可读存储介质。
背景技术
锂电池产品在生产、运输过程中，由于生产线误操作、物体间碰撞和产品封装不良等原因导致产品外观变脏、受损或者保护膜变形等问题。这些问题影响了锂电池产品外观质量甚至是对内部造成损害，可能造成电池爆炸等安全事故。因此，企业在提高锂电池生产效率的同时也需要严格的保障产品质量。产品质量检测包括性能、安全性、使用寿命和外观质量等检测步骤，其中锂电池性能和安全性等测试系统已基本实现自动化，而外观质量检测大多还依赖于人工检测。
随着计算机技术的快速发展，机器视觉检测技术应运而生并逐步发展为工业自动化检测系统的重要组成部分。机器视觉检测技术通过相机代替人眼将工业产品外观拍摄成图片并传输到图像处理系统进行处理和分析，以检测产品的外观质量。传统图像处理方法包括图像预处理、特征提取、分割、匹配和识别等步骤，其能够对特征信息明显、尺寸较大、形态均匀的缺陷具有较好的检测效果。但是传统图像处理方法对于特征信息弱、尺寸大小、位置和形态变化的缺陷难以有效检测，且传统图像处理方法步骤繁多，检测速度慢。
发明内容
鉴于上面所提到的技术问题，本发明的技术方案在多个方面提供一种用于锂电池表面缺陷检测的方法、设备及可读存储介质。
根据本发明的第一方面，提供一种用于锂电池表面缺陷检测的方法，包括：将采集的锂电池表面的图像作为待处理样本；对所述待处理样本执行一次或多次的下采样操作，以获得一个或多个特征映射图；对所述特征映射图执行上采样操作，并与其执行所述下采样操作前的待采样图像进行通道融合，以获得融合特征图；根据所述特征映射图和所述融合特征图中的至少一种，获取所述待处理样本的目标特征信息；利用包括所述待处理样本、所述目标特征信息的样本数据集来训练基于串联分组卷积块的网络模型，得到检测模型；以及通过所述检测模型检测包含锂电池表面的待检测图像，以检测所述待检测图像中是否包括缺陷。
根据本发明的一个实施例，每次下采样操作包括：对所述待采样图像执行卷积下采样操作，以提取所述待采样图像的特征信息并缩小所述待采样图像的尺寸，得到第一特征映射层；对所述第一特征映射层执行第一降维操作，得到第二特征映射层；将所述第二特征映射层中的特征映射分为多组，对每组特征映射执行连续的卷积操作，并将多组所述特征映射的卷积操作结果进行叠加，得到第三特征映射层；将所述第一特征映射层和所述第三特征映射层的通道进行串联融合操作，得到第四特征映射层；以及对所述第四特征映射层执行第二降维操作，以得到所述特征映射图。
根据本发明的另一个实施例，对所述待处理样本执行下采样操作包括：对所述待处理样本执行一次所述下采样操作，则所述待采样图像为所述待处理样本；或者对所述待处理样本执行多次所述下采样操作，则所述待采样图像为上一次下采样操作获得的特征映射图。
根据本发明的又一个实施例，对所述待处理样本执行下采样操作以获得特征映射图包括：对所述待处理样本执行多次下采样操作，以获得多个所述特征映射图；以及所述对特征映射图执行上采样操作包括：对最后两次下采样操作获得的所述特征映射图分别执行所述上采样操作。
根据本发明的一个实施例，对所述待处理样本执行多次下采样操作包括：对所述待处理样本执行五次下采样操作；以及所述对特征映射图执行上采样操作包括：对第四次下采样操作和第五次下采样操作获得的所述特征映射图分别执行所述上采样操作。
根据本发明的另一个实施例，根据所述特征映射图和所述融合特征图中的至少一种，获取所述待处理样本的目标特征信息包括：根据所述融合特征图和最后一次下采样操作获得的所述特征映射图中的目标特征的尺寸，输出多尺度的目标特征信息。
根据本发明的又一个实施例，所述目标特征信息包括目标位置信息和目标类别信息，其中所述目标类别信息包括缺陷目标信息和干扰目标信息中的至少一种。
根据本发明的一个实施例，所述缺陷目标信息包括气泡膨胀和表面褶皱中的至少一种；所述干扰目标信息包括喷码干扰和极板干扰中的至少一种。
根据本发明的另一个实施例，在执行所述下采样操作之前还包括：根据所述待处理样本的灰度信息差异，对所述待处理样本进行预处理，以提取所述待处理样本的感兴趣区域；以及所述对待处理样本执行一次或多次的下采样操作包括：对所述待处理样本的所述感兴趣区域执行一次或多次的所述下采样操作。
根据本发明的又一个实施例，对所述待处理样本进行预处理包括：对所述待处理样本执行自动阈值分割，得到所述待处理样本的二值化图像，所述二值化图像包括前景图像和背景图像；检测所述前景图像的上边缘轮廓，并选取所述上边缘轮廓的点集来执行最小二乘法拟合，根据拟合结果对所述前景图像进行角度矫正；提取角度矫正后的所述前景图像的全部外边缘轮廓，并根据所述全部外边缘轮廓的点集确定具有最大面积和最大周长的外边缘轮廓；以及根据距离所述外边缘轮廓的最小外接矩形四个角点最近的轮廓点，确定所述感兴趣区域在所述待处理样本中的位置。
根据本发明的一个实施例，所述锂电池表面的图像包括左侧打光图像、右侧打光图像和正侧打光图像中的至少一种。
根据本发明的第二方面，提供一种用于锂电池表面缺陷检测的设备，包括：至少一个处理器；存储器，其存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据本发明的第一方面中的任意一项所述的方法。
根据本发明的第三方面，提供一种计算机可读存储介质，其存储有用于锂电池表面缺陷检测的程序，当所述程序由处理器来运行时，执行根据本发明的第一方面的任意一项所述的方法。
通过上述对本发明的技术方案和多个实施例的描述，本领域技术人员可以理解本发明的用于锂电池表面缺陷检测的方法可以通过对待处理样本执行下采样操作、上采样操作以及融合等操作提取待处理样本的目标特征信息，并利用包括待处理样本和目标特征信息等的样本数据集来训练基于串联分组卷积块的网络模型，得到能够自动检测待检测图像的缺陷的检测模型。根据本发明的基于串联分组卷积块的网络模型检测缺陷的方法，能够有效提高检测速率，并且通过对特征信息的多次处理以及对浅层和深层特征的融合，能够实现对特征信息弱、尺寸大小、位置和形态变化的缺陷的有效检出，从而能够提高缺陷检测的准确性。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
图1是总体上示出根据本发明的用于锂电池表面缺陷检测的方法流程图；
图2是示出根据本发明实施例的下采样操作的流程示意图；
图3是示出根据本发明实施例的浅层网络和深层网络融合的示意图；
图4是示出根据本发明实施例的两种分组卷积操作方式的示意图；
图5是示出利用FPN网络结构实现本发明的多尺度特征融合操作的示意图；
图6是示出根据本发明实施例的网络模型的结构示意图；
图7是示出根据本发明实施例的对待处理样本进行预处理的方法流程图；
图8是示出感兴趣区域提取的形象化过程流程图；
图9是示出根据本发明实施例的多个类别特征在数据集中分布情况的示意图；
图10a和图10b是示出喷码干扰、极板干扰、气泡膨胀和表皮褶皱的示意图；
图11是示出检出框和实际标注框的交集区域和并集区域的示意图；
图12a～图12d是示出根据本发明实施例的对比实验的多个PR曲线示意图；
图13是示出根据本发明实施例的多个模型在气泡类别的DIR对比结果柱状图；
图14是示出根据本发明实施例的多个模型在褶皱类别的DIR对比结果柱状图；以及
图15是示出对本发明的检测模型和Yolo_TinyV3模型的检测结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对现有技术的不足，提供了一种全新的可实现的解决方案。特别地，本发明的用于锂电池表面缺陷检测的方法可以通过对待处理样本依次执行下采样操作、上采样操作以及融合等操作来提取待处理样本的目标特征信息，并利用包括待处理样本和目标特征信息等的样本数据集来训练基于串联分组卷积块的网络模型，得到能够自动检测待检测图像的缺陷的检测模型。基于该检测模型对锂电池表面缺陷进行检测，能够有效提高检测速率以及对于特征信息弱的缺陷的检出率。通过下面的描述，本领域技术人员可以理解的是，本发明还可以包括多种实施方式来进一步增强对例如特征信息弱、尺度不均的缺陷的检测效果。例如本发明实施例可以在每次下采样操作中对待采样图像执行包括分组卷积操作在内的多次处理步骤来增强缺陷的特征信息，以便于对目标特征信息，特别是多尺度的目标特征信息的提取。下面结合附图来详细描述本发明的具体实施方式。
图1是总体上示出根据本发明的用于锂电池表面缺陷检测的方法流程图。如图1中所示，在步骤102中，方法100将采集的锂电池表面的图像作为待处理样本。在一个实施例中，所述锂电池表面的图像可以包括左侧打光图像、右侧打光图像和正侧打光图像中的至少一种。方法100可以将采集的左侧打光图像、右侧打光图像和正侧打光图像作为多个待处理样本来进行分别处理，也可以选择其中成像效果较好的一个图像作为待处理样本来进行处理，还可以将采集的左侧打光图像、右侧打光图像和正侧打光图像处理为一个图像作为待处理样本来进行处理。
在另一个实施例中，当采集到的图像有限时，为了增加待处理样本的数量，可以将图像样本进行扩充，例如可以通过将采集到的图像进行水平翻转、随机裁剪或亮度调节等方式实现在线数据扩充。相比于使用线下数据增强的方式调用一系列脚本代码，在线数据扩充的方式可以直接在训练过程中调用相关数据增强的函数实现数据扩充，操作简单且方便。
接着，在步骤104中，方法100对所述待处理样本执行一次或多次的下采样操作，以提取待处理样本的特征信息，并获得一个或多个特征映射图，其中每次下采样操作可以获得至少一个特征映射图。
然后，流程前进到步骤106处，方法100可以对所述特征映射图执行上采样操作，并与其执行所述下采样操作前的待采样图像进行通道融合，以获得融合特征图。方法100可以对一个或多个特征映射图执行上采样操作。例如，在一个实施例中，方法100可以对每次下采样操作获得的特征映射图均执行上采样操作。在另一个实施例中，方法100可以根据需要选择性的对例如多次下采样操作获得的多个特征映射图中的部分特征映射图执行上采样操作，选择的根据可以包括例如特征映射图映射的特征的尺寸、数量等信息。
在又一个实施例中，在步骤104中，方法100可以对所述待处理样本执行多次下采样操作，以获得多个所述特征映射图；以及在步骤106中，方法100可以对最后两次下采样操作获得的所述特征映射图分别执行所述上采样操作。由于通常网络越深，语义信息越丰富，在一些应用场景中，通过对最后两次下采样操作获得的特征映射图执行上采样操作就可以获得比较丰富的语义信息(包括特征信息等)且满足应用需求，因此这样的方式可以减少操作次数的同时保证检测效果，从而能够有效提高检测速度和检测效率，并且减少网络模型的计算量以及降低设备损耗。
根据本发明的一个实施例，在步骤104中，方法100对所述待处理样本执行一次所述下采样操作，则步骤106中所述的待采样图像为所述待处理样本。根据本实施例，在步骤106处，方法100对特征映射图执行上采样操作，并将上采样操作获得的结果与待处理样本进行通道融合。根据本发明的另一个实施例，在步骤104中，方法100对所述待处理样本执行多次所述下采样操作，则步骤106中所述的待采样图像为上一次下采样操作获得的特征映射图。
如图1中进一步示出的，在步骤108中，方法100可以根据所述特征映射图和所述融合特征图中的至少一种，获取所述待处理样本的目标特征信息。例如，在一个实施例中，由于深层特征和浅层特征的融合有利于增强特征信息，因此方法100可以根据融合特征图中的特征信息来获取待处理样本的目标特征信息。在另一个实施例中，特征映射图中的特征信息已经足够明显，方法100可以直接根据一个或多个特征映射图中的特征信息获取目标特征信息。在又一个实施例中，方法100可以根据所述融合特征图和最后一次下采样操作获得的所述特征映射图来获取待处理样本的目标特征信息，并可以根据映射到原图(即待处理样本)的目标特征尺寸等信息，输出多尺度的目标特征信息。
上文中所述的目标特征信息可以包括目标位置信息、目标类别信息和目标尺寸信息等中的至少一种，其中目标位置信息可以包括目标特征在待处理样本中的位置信息等，所述目标类别信息可以包括缺陷目标信息和干扰目标信息等中的至少一种，目标尺寸信息可以包括目标特征的尺寸大小或尺寸范围等信息。
根据本发明的一个实施例，所述缺陷目标信息可以包括气泡膨胀和表面褶皱等中的至少一种；所述干扰目标信息可以包括喷码干扰和极板干扰等中的至少一种。缺陷目标信息是锂电池表面实际存在的不合格或者不符合质量要求的目标信息。气泡膨胀和表面褶皱通常是由于电池表面塑胶膜封装不合格导致的，这两类缺陷的形状和尺寸大小均不相同，且形状有立体感，具有尺度不均、位置和形态多变等特点，因此对检测结果的准确性形成较大的挑战。干扰目标信息是锂电池表面正常存在的容易对缺陷检测造成干扰的目标信息。喷码干扰和极板干扰均为正常的物理工艺产生的区域，不属于缺陷，但是使用机器视觉检测缺陷时容易将极板边缘或喷码字符判定为缺陷从而造成误判。本发明的用于锂电池表面缺陷检测的方法能够检测并判断出干扰目标的具体位置等信息，从而能够在输出缺陷检测结果时过滤掉干扰目标信息。
接着，流程前进到步骤110处，方法100可以利用包括所述待处理样本、所述目标特征信息的样本数据集来训练基于串联分组卷积块的网络模型，得到检测模型。在一个实施例中，所述样本数据集可以包括待处理样本以及带标签(例如标注框)的目标特征信息等。在另一个实施例中，样本数据集还可以包括特征映射图、融合特征图等。在又一个实施例中，方法100训练网络模型还可以包括：根据所述样本数据集和真实标注框标注的目标特征之间的差异来调整所述网络模型(例如网络模型的下采样和/或上采样次数、融合次数、权值等参数)，以不断优化网络模型的精度和准确度，并使其能够更好的适配于所需检测的缺陷的类型和尺度等。方法100利用样本数据集训练基于串联分组卷积块的网络模型得到训练后的网络模型，将训练后的网络模型称为检测模型。
在得到检测模型后，在步骤112中，方法100可以通过所述检测模型检测包含锂电池表面的待检测图像，以检测所述待检测图像中是否包括缺陷。在一个实施例中，方法100可以通过检测模型检测包含锂电池表面的待检测图像，并输出带标签的缺陷目标信息。
以上结合图1总体上对根据本发明的用于锂电池表面缺陷检测的方法进行了描述，本领域技术人员可以理解的是，以上描述是示例性的而非限制性的，例如在步骤110中，方法100训练网络模型还可以包括通过对训练结果与实际缺陷信息的对比来优化网络模型的参数，从而不断提高网络模型的精度，以保证检测模型的检测准确性和可靠性。步骤104中的下采样操作可以包括多种操作，以下将结合图2对根据本发明的下采样操作的一种实施方式进行示例性的描述。
图2是示出根据本发明实施例的下采样操作的流程示意图。通过下面的描述，本领域技术人员应该理解的是，图2中所示的方法流程是图1中的步骤104的一个具体化形式，因此以上结合图1中的相关描述也适用于图2。如图2中所示，对待处理样本执行的每次下采样操作的步骤104可以包括：
步骤1041，本发明的方法可以对所述待采样图像执行卷积下采样操作，以提取所述待采样图像的特征信息并缩小所述待采样图像的尺寸，得到第一特征映射层。相比于传统的池化下采样操作，本发明的卷积下采样操作能够更好的保留特征信息，防止有用的特征信息被过滤掉，从而能够有效保证目标特征信息的检出率。
接着，在步骤1042中，本发明的方法可以对所述第一特征映射层执行第一降维操作，得到第二特征映射层。这里的第一降维操作可以将第一特征映射层的通道数进行降维，以便于后续分组卷积和串联融合等操作。
流程前进到步骤1043，本发明的方法可以将所述第二特征映射层中的特征映射分为多组，对每组特征映射执行连续的卷积操作，并将多组所述特征映射的卷积操作结果进行叠加，得到第三特征映射层。相比于传统的标准卷积操作，本发明采用的分组卷积操作可以有效减少参数量和计算量，具有减轻网络模型的作用。具体地，使用分组卷积(例如分组数为G)，可以将参数量减少为标准卷积的
以下将对该原理进行详细说明。
假设输入特征图(例如第二特征映射层)的尺寸为C×H×W，输出特征图(例如第三特征映射层)的通道数量为N个，假定分组卷积要分成G组，则每组卷积层的输入特征图的通道数为
每组输出特征图的通道数为
每个卷积核尺寸为
卷积核总数还是N个,每组的卷积核数量为
每个卷积核仅对同组的输入特征图进行卷积，则卷积核的总参数量为
总参数量减少为原来的
网络模型的计算量通常采用浮点运算数(FLOPs)来表示，它可以用来衡量算法/模型的复杂度，浮点运算数与参数量具有如下关系：
FLOPs＝Param×Hout×Wout
下面通过计算浮点运算数FLOPs来衡量标准卷积和分组卷积的复杂度。首先，在不考虑偏置项bias情况下，一个标准卷积层卷积操作的浮点运算数计算公式如下：
FLOPs＝2×Cin×Kh×Kw×Hout×Wout×Cout
其中，Cin和Cout分别表示输入和输出特征图的通道数，Kh和Kw分别表示卷积核的高宽尺寸，Hout和Wout分别表示输出特征图的高宽尺寸，2表示计算乘法和加法操作的次数共2次。
根据上文介绍一个分组卷积(分组数为G)参数量为标准卷积的
因此一个分组卷积操作的浮点运算数计算公式如下：
标准卷积和分组卷积的复杂度对比情况如下表一所示，其中输入为待采样图像的尺寸及通道数，FLOPs单位为十亿次浮点运算(BF)：
表一：
由第三层卷积层对比可以观察到分组卷积的浮点运算数FLOPs仅为标准卷积的1/8，这里可以直观的看出，运用分组卷积代替标准卷积可以有效减少参数和计算量，可以起到减轻网络模型的作用。
如图2中进一步所示，在完成分组卷积的操作后，流程可以进行到步骤1044，可以将所述第一特征映射层和所述第三特征映射层的通道进行串联融合操作，得到第四特征映射层。串联融合的方式可以将第一特征映射层与第三特征映射层，甚至更多层的特征映射图进行通道融合，有助于不同网络层之间的特征信息融合，使得每一步卷积的结果不仅仅是依赖于上一层的输出特征映射结果，而是可以有效地建立浅层网络和深层网络之间的联系，一定程度上可以缓解梯度弥散的问题。如图3所示，通过串联分组卷积实现下采样的同时可以融合浅层网络(例如第一特征映射层)和深层网络(例如第三特征映射层)的特征信息，将不同网络层的特征表达结合在一起，可以有效地增强锂电池表面缺陷的特征信息。
返回图2中所示，在步骤1045中，可以对所述第四特征映射层执行第二降维操作，以得到所述特征映射图。第二降维操作可以使特征映射图的通道数降至与第一特征映射层的通道数相等。
以上结合图2对根据本发明的每次下采样操作的执行步骤进行了示例性的描述，为了便于理解实际的操作过程，下面将结合图4所示出的具体实施例进行示例性的描述。
图4是图2所示步骤的一个具体化形式，因此图2中的描述也可以适用于对图4所示实施例的描述。图4中示例性的示出了两种分组卷积的方式，这两种分组卷积方式实质上是可以等价的，其中图4中的方式一更为直观的展示了分组的概念和操作。
如图4中所示，xin表示输入待采样图像，d＝128表示输入的待采样图像的通道数为128，xout表示输出的第三特征映射层，y表示输出的特征映射图，d＝256表示输出的特征映射图的通道数为256。图示中第一行方框中的128,3x3/2,256表示采用256个尺寸大小为3x3、步长为2的卷积核，维度为128；方式一中第二行方框中的256,1x1,4表示采用4个尺寸大小为1x1的卷积核，维度为256。类似地，其他方框中标识的数字表示相似的含义，只是数值大小不同，此处不再一一赘述。以下将结合图4对具体操作过程进行描述。
首先，输入待采样图像xin，并通过卷积下采样操作后可以得到第一特征映射层(可以表示为xin/2)，其通道数升为256。xin/2的计算公式可以为：
xin/2＝Cs(xin)，s＝2
其中，Cs(xin)表示对输入xin进行卷积操作，s＝2表示卷积步长为2。
然后在方式一中可以将其分成G组(本实施例中，G＝32)，每组自上而下依次采用例如4个尺寸大小为1x1的卷积核和例如8个尺寸大小为3x3的卷积核进行卷积操作，得到的结果可以用τi(xin/2)表示；在方式二中，可以对第一特征映射层进行降维操作，然后将其分为G(本实施例中，G＝32)组，执行分组卷积操作，得到的结果可以用τi(xin/2)表示。接着可以将32组τi(xin/2)使用例如恒等快捷链接进行叠加操作，得到跟第一特征映射层的特征映射大小和通道一致的第三特征映射层xout。xout的计算公式可以为：
其中，xout表示输出的第三特征映射层，G＝32，τi(xin/2)表示分组卷积操作得到的结果。
最后使用串联融合的方式将xin/2与xout的通道进行串联合并起来，完成一个串联分组卷积块。对串联操作得到的第四特征映射层进行采用1x1卷积核的第二降维操作，得到输出的特征映射图(可以以y表示)，其通道数可以为256。y的计算公式可以如下：
y＝H([xin/2，xout])
其中，H([xin/2,xout])表示将特征层xin/2和xout的通道进行串联操作。
通过上面的描述，本领域技术人员可以理解本发明的每次下采样操作可以通过多次卷积操作以及串联分组卷积操作，实现对待处理样本的特征提取，并能够通过对浅层网络和深层网络的融合增强特征信息，有利于提高后续步骤对缺陷的检出率。进一步地，本发明的串联分组卷积操作还能够有效减少网络模型的参数和计算量，从而能够减轻网络模型以及提高计算速度。下面将结合具体实施例对根据本发明的上采样操作以及通过上采样操作与下采样操作的结合获取目标特征信息的方法进行详细描述。
根据本发明的一个实施例，图1所示的步骤104中，对所述待处理样本执行多次下采样操作可以包括：对所述待处理样本执行五次下采样操作；以及步骤106中，所述对特征映射图执行上采样操作可以包括：对第四次下采样操作和第五次下采样操作获得的所述特征映射图分别执行所述上采样操作。在一个实施例中，第四次下采样结果图的尺寸为最原始输入图片(例如待处理样本)的尺寸的1/24大小，第五次下采样为1/25大小，那么第五次下采样得到的输出结果图很小，其中一个小的缺陷在实际映射回原图后，相当于检出来的是一个很大尺寸的缺陷；同理第四次下采样得到的输出结果图也小，但比第五次的大一些，实际映射回原图后，检出的缺陷尺寸比第五次检出的缺陷尺寸会小一些。根据这样的原理，在一些应用场景中，对第四次下采样操作和第五次下采样操作获得的特征映射图分别执行上采样操作以及通道融合操作即可满足对不同尺寸缺陷检出的需求。
根据本发明的另一个实施例，图1所示的步骤108中，根据所述特征映射图和所述融合特征图中的至少一种，获取所述待处理样本的目标特征信息可以包括：根据所述融合特征图和最后一次下采样操作获得的所述特征映射图中的目标特征的尺寸，输出多尺度的目标特征信息。在实际操作中，可以采用例如特征金字塔网络结构(FPN)实现。为了便于理解，下面将结合图5中展示的形象化操作过程进行示例性的说明。
图5是示出利用FPN网络结构实现本发明的多尺度特征融合操作的示意图。如图5中所示，本发明的FPN结构可以由两条路径组成，自下而上的路径分别对应了下采样网络中的第三、四和五次下采样操作输出的特征映射图；自上而下的路径对应了上采样网络中的两次上采样操作、两个融合特征图以及三个输出预测层。由于浅层的特征语义信息较少，但是目标的位置准确，而深层的特征语义信息更为丰富，但是目标位置相对粗略一些，因此，采用FPN结构有利于融合浅层和深层特征图中不同尺度的特征信息，有效地表达了各维度特征之间的关联性，同时对多个尺度的融合特征层进行预测的操作有助于提升小目标检测效果。
具体地，如图5中所示，可以对第四次下采样操作和第五次下采样操作获得的特征映射图分别进行上采样操作，并分别和第三次下采样、第四次下采样获得的特征映射图进行融合，得到如图示中的融合1和融合2两个融合特征图。进一步地，根据本发明的方法可以根据融合1和融合2两个融合特征图以及第五次下采样操作获得的特征映射图中的目标特征的尺寸，输出包括多尺度目标特征信息的多个预测层(或称输出特征图)。
在一个实施例中，输出预测层可以分别采用32倍、16倍、8倍下采样操作的特征映射图，分别对应FPN结构中的3个不同尺度的输出特征图，同时采用了多标签分类的Logistic分类器，可以进行多标签预测解决检测物体发生重叠情况。
进一步地，根据本发明的方法还可以采用锚框(anchor box)来表示样本数据集中所有缺陷的尺寸大小分布情况，并根据尺寸大小分成例如3组对3个不同尺度的输出特征图中预测的目标范围进行约束。每种尺度的特征图都会被栅格化分成一个个小单位(cell)，每个cell都会预测3个边界框(bounding box)，每个边界框都会根据对应的3个锚框进行调整并预测出3个结果：每个框的位置信息(包括中心坐标和宽高)、目标置信度和4个类别的预测值。3个不同尺度的特征图的感受野不同，其中，32倍下采样的预测层的感受野最大，特征映射图中一个格子可以对应输入原图中较大的目标物体，对应anchor box中尺度较大的一组。同理，8倍下采样的预测层中每个格子检测的目标较小，适用于检测小目标，对应anchor box中尺度较小的一组。最后将三个输出预测层的预测结果进行叠加，执行例如非极大值抑制操作可以得到最终的预测结果。
图6是示出根据本发明实施例的网络模型的结构示意图。如图6中所示，在一个实施例中，输入图片(例如待处理样本)的宽高大小为1024×832，经过串联分组卷积块网络(五次下采样操作)的特征信息提取以及FPN多尺度网络(两次上采样操作和两次通道融合操作)的特征融合后，可以得到3个预测层，其中在串联分组卷积块网络中的卷积核的通道数可以为例如32，五次下采样操作得到的五个特征映射图的通道数可以分别如图示中的64、128、256、512、1024。预测层1(图示中以立方体1示出)的宽高为32×26，一个格子可以预测原图尺度较大的特征目标，如长条弯曲状的褶皱和大团状的气泡。预测层2(图示中以立方体2示出)的宽高为64×52，一个格子可以预测原图尺度适中的特征目标，如短条状褶皱。预测层3(图示中以立方体3示出)的宽高为128×104，一个格子可以预测原图尺度较小的特征目标，如特征信息较浅的褶皱和点状气泡。将三个预测层的目标特征信息映射到输入图片上可以获得包括例如多尺度缺陷标注框的输出结果图。
上面结合多个实施例对根据本发明的方法进行了描述，本领域技术人员应该理解的是，以上描述是示例性的而非限制性的，例如上采样操作可以不限于对第四次下采样操作和第五次下采样操作获得的特征映射图，还可以根据需要针对第三次下采样操作或者更浅层或者更多次的下采样操作。根据本发明的技术方案，还可以包括对待处理样本进行预处理，以过滤待处理样本中的无关信息从而简化图像数据，以下将结合图7和图8进行示例性的描述。
根据本发明的一个实施例，在执行所述下采样操作之前(例如在图1中所示方法100的步骤102和步骤104之间)还可以包括：根据所述待处理样本的灰度信息差异，对所述待处理样本进行预处理，以提取所述待处理样本的感兴趣区域；以及所述对待处理样本执行一次或多次的下采样操作(即图1中所示的步骤104中)包括：对所述待处理样本的所述感兴趣区域执行一次或多次的所述下采样操作。感兴趣区域是包含待处理样本的锂电池表面图像的前景图像且不包含背景图像的部分，直接对感兴趣区域进行检测可以简化检测的图像数据，从而有利于提高检测效率，并且可以缩小检测范围从而提高后续检测过程中特征提取和缺陷识别等的可靠性和准确性。
图7是示出根据本发明实施例的对待处理样本进行预处理的方法流程图。如图7中所示，在步骤202中，方法200可以根据待处理样本中锂电池体与背景占据不同灰度级范围的特点，对所述待处理样本执行自动阈值分割，得到所述待处理样本的二值化图像，所述二值化图像可以包括前景图像和背景图像。前景图像包括锂电池体的表面图像，背景图像包括与锂电池体无关的信息。为了便于理解自动阈值分割的具体操作，下面将对其原理进行描述。
假设分割前待处理样本的灰度级为K(0≤K≤255)，像素总个数为N，其中灰度级为i的像素个数为Ni，满足以下关系：
其中，Pi表示灰度级i的像素个数占总像素的比重。设定初始灰度阈值为T，则可以将图像分割成两部分，灰度级大于等于T的像素判定为目标区域O，反之判定为背景B。通过统计可以得到以下关系：
其中，ωB和ωO分别为背景和目标区域的出现的概率，μB和μO分别代表各自区域的概率均值，
分别表示各自区域的概率方差，
表示类间方差。利用简单的顺序搜索方法，遍历所有的灰度级T使得类间方差
达到最大值即可得到最佳的灰度阈值，表达式如下：
其中，T*表示最佳灰度阈值，
表示
最大时K的取值(即最佳灰度阈值)。
通过上述自动阈值分割的操作，可以实现快速的图像分割得到锂电池体的大致区域(即前景图像)。相比于固定阈值分割法难以适应同一场景对象的光照变换等影响，本发明的自动阈值分割法不需要手动设置阈值参数，不受限于同一场景对象的光照变换等因素，并且能够有效地将目标区域和背景区域分开，且具有操作简单、处理速度快等特点。
接着，在步骤204中，方法200可以检测所述前景图像的上边缘轮廓，并选取所述上边缘轮廓的点集来执行最小二乘法拟合，根据拟合结果对所述前景图像进行角度矫正。通过对上边缘轮廓的点集进行最小二乘法拟合，可以得到表示上边缘轮廓直线的表达式，根据表达式可以得到直线的倾斜角度(即锂电池体的旋转角度)，然后可以采用仿射变换将锂电池体校正回水平摆放的位置。具体的计算公式如下：
样本直线回归模型如下：
Yi＝β1+β2Xi+ei
其中，(Xi,Yi)表示上边缘轮廓中间区域的点集，β1为截距，β2为斜率，ei为随机误差。将直线回归模型转换为残差模型，求取残差平方和：
ei=Yi-β1-β2-β2Xi
其中，Q表示残差平方和。本文采用最小二乘法来确定β1和β2变量的值，求取满足残差平法和达到最小时的变量即得到能够表达上边缘轮廓拟合的直线L。将Q视作函数，则求Q对两个待确定的参数β1和β2的一阶偏导，转换为求极值问题，公式如下：
根据上述一阶偏导公式解得：
因此上边缘轮廓的拟合直线L的表达式参数已确定，可以求直线L与x轴的夹角θ，根据两直线夹角公式：
假设k2为直线L斜率，k1为x轴斜率，则k1＝0时，直线L与x轴夹角为：
根据上式，可以获得锂电池体上边缘直线的倾斜角，然后将前景图像校正回水平摆放位置。
如图7中进一步示出的，在步骤206中，方法200可以提取角度矫正后的所述前景图像的全部外边缘轮廓，并根据所述全部外边缘轮廓的点集确定具有最大面积和最大周长的外边缘轮廓。具体地，方法200可以根据全部外边缘轮廓的点集计算提取的每个轮廓的面积和周长，并确定具有最大面积和最大周长的外边缘轮廓。
进一步地，流程前进到步骤208，方法200可以根据距离所述外边缘轮廓的最小外接矩形四个角点最近的轮廓点，确定所述感兴趣区域在所述待处理样本中的位置。具体地，方法200可以求取外边缘轮廓的最小外接矩形，再通过遍历轮廓点集分别得到距离最小外接矩形四个角点最近的轮廓点，即可得到锂电池体四个角点，最终根据四个角点即可定位到锂电池体的准确位置，即感兴趣区域在待处理样本中的位置。
为了便于理解上述对待处理样本进行预处理的方法，下面将结合图8对图7所示方法的实际操作过程和效果进行示例性的描述。图8所示过程是图7所述方法的形象化体现，因此上述关于图7的方法200的描述也可以适用于下面结合图8所示过程的描述。
图8是示出感兴趣区域提取的形象化过程流程图。如图8中所示，待处理样本中可以包括浅色的背景图像和深色的前景图像，该前景图像可以包括锂电池体表面的图像，且该前景图像明显倾斜。接着，待处理样本经过例如图7所示的方法200可以对待处理样本执行步骤202，可以得到二值化图像。进一步地，可以对二值化图像执行步骤204，通过执行最小二乘法拟合得到上边缘轮廓直线的表达式，根据表达式可以得到直线的倾斜角度，以对前景图像进行矫正，使其恢复水平摆放的位置，如图中所示的矫正后图像。最后，可以对矫正后图像执行步骤206和步骤208，通过四角点定位法确定感兴趣区域的位置，并可以根据定位结果提取矩形的感兴趣区域。
以上结合图7和图8对根据本发明的对待处理样本进行预处理的步骤进行了示例性的描述，根据本发明的自动阈值分割、四角点定位等操作实现简单，并且可以有效提取待处理样本或者待检测图像的感兴趣区域，特别是对于背景图像区域比较大的样本，仅保留有用的信息区域能够极大的简化图像数据。
上面对本发明技术方案和多个实施例进行了描述，为了能够更好的体现本发明的用于锂电池表面缺陷检测的方法的进步性，以下将结合多种评价指标以及多个对比测试来对根据本发明的基于串联分组卷积块的网络模型的训练以及检测模型的检测效果进行描述。
在一个实施例中，通过工业现场采集了294组原始数据集图像，每组图像包括侧打光图像、右侧打光图像和正侧打光图像，其中缺陷及干扰区域的类型主要包含了喷码干扰、极板干扰、气泡膨胀和表皮褶皱共四种类别。由于采集的原图尺寸过大，无效背景区域占原图的30％～50％的面积区域，直接原图进行训练会造成图形处理器(GPU)显存不足的问题，因此本实施例采用了图7所示的预处理方法提取了锂电池体的感兴趣区域，并将294组数据集按8:2的比例划分为训练集和测试集，其中，训练集包括235张样本，测试集包括59张样本，具体的缺陷及干扰区域类别在数据集中的分布情况可参考图9。在本实施例中，将训练集的235张样本图片按照本发明的方法训练基于串联分组卷积块的网络模型，以及利用得到的检测模型检测训练集中的59张待检测图像，并对检测结果进行评价。
另外，为了方便对缺陷和干扰区域的理解和区分，图10a和图10b示出了喷码干扰、极板干扰、气泡膨胀和表皮褶皱的示意图。图10a中展示了包括极板和不同尺度的气泡膨胀的锂电池体表面图像，可以看出极板不属于缺陷，但因其边缘凸出能够成像，因此容易被误判为缺陷。进一步地，图10a中示出的多个气泡膨胀的尺度不同，且差异较大，因此较小的气泡膨胀容易被漏检。图10b中展示了包括喷码和不同尺度的褶皱的锂电池表面图像，从中可以看出，由于喷码的颜色与锂电池体表面的颜色差异，使其能够成像显现，因此容易被误判为缺陷。图10b中所示的喷码因涉及商业信息而进行了部分遮挡。进一步地，图10b中示出的多个表皮褶皱的尺度不同，且差异较大，因此较小的表皮褶皱容易被漏检。
接着，继续描述对根据本发明的检测模型进行评价。根据本发明的检测模型的检测任务是定位出输入的待检测图像中的四类目标特征位置，并对目标特征进行分类。常用的定位方式是检测出目标特征的外接矩形框(或称预测框)，若预测框的分数超过设定的分数阈值，则为判定为检出框，在预测结果中保留该预测框并显示在图像中，否则舍弃不显示。下面将通过计算检出框与真实的标注信息(ground truth)框的交并比(IoU)来判断检出框定位的效果，并结合分类结果来判断检出框是否正确预测目标特征的位置和类别。IoU是计算检出框和真实标注信息框的交集和并集之间的比例，计算方式如下所示：
其中，A是检出框的矩形区域，B是真实标注框的矩形区域，A与B的交集和并集情况可参考图11。如图11(a)中所示，A与B的交集包括A和B的重叠部分。如图11(b)中所示，A和B的并集包括A和B合并在一起的集合。
本实施例可以使用IoU作为检出框是否检出目标特征的评价指标，常用的IoU阈值是0.5，若有如下判定公式：
最终评价检测效果可以由IoU指标与分类准确性相结合，可以有如下判定结果：
根据IoU指标与分类准确性相结合的检出框判定结果，若所有真实标注框中存在未被正检的框，则判定该未被正检的真实标注框标注的目标特征被漏检；若所有真实标注框中存在被正检的框，则判定该被正检的真实标注框标注的目标特征为召回。
为了对检测模型检测结果进行客观评价，可以采用两种评价标准，包括缺陷检测率DIR(defect inspection rate)和平均精度的均值mAP(mean Average Precision)。缺陷检测率DIR可以是针对实际的工业检测需求所提出的评价指标，是一种能够定量评估模型检测性能的方法。缺陷检测率DIR包括五个指标，分别是虚警率FAR、正检率TDR、误检率FDR、召回率(或称查全率)RCR和漏检率MDR。这些指标定义分别如下：
FDR＝1-FAR-TDR
MDR＝1-RCR
其中，
表示类别i中所有检出框中IoU<0.5的框数量，即虚警框的数量。
表示类别i中所有检出框中分类正确且IoU≥0.5的框数量，即正检框的数量。
表示类别i中所有真实标注框中被正检的框数量，即召回框的数量。
表示类别i中所有检出框的数量。
表示类别i中所有真实标注框的数量。
上文中所述的平均精度的均值mAP是目标检测中最常用的评价方法，在下面的精度检测中将分别计算每个类别的平均精度AP(Average Precision)，然后计算所有类别的平均精度的均值mAP。平均精度AP可以描述精度(Precision)和召回率(Recall)曲线(简称PR曲线)之间的关系，公式如下：
其中TP(True Positive)表示所有检出框中分类正确且IoU≥0.5的框数量，即正检框的数量
FP(False Positive)表示所有检出框中分类错误或者IoU<0.5的框数量，即虚警框数量
和误检框的数量。FN(False Negative)表示所有真实标注框中没有被正检的框数量，即漏检框的数量。AP表示在不同召回率Recall下的最高精度Precision的均值，此处采用的是深度学习图像识别大赛VOC2010以后的标准：需要针对每一个不同的召回率Recall值(包括0和1)，选取其大于等于这些召回率Recall值时的精度Precision最大值，然后计算PR曲线下面积作为AP值。
检测模型在锂电池表面缺陷检测应用中需要考虑两个方面：效率问题和检测效果。其中，效率问题主要是模型的存储问题和模型预测的速度问题，检测效果可以根据上文中所述的缺陷检测率DIR(defect inspection rate)和平均精度的均值mAP(mean AveragePrecision)两种评价标准来衡量。在下面描述的检测实施例中，选取了目标检测领域常用的Faster R-CNN、SSD和Yolo系列模型与本发明的检测模型进行比较。在实际工业应用中，检测模型需要兼顾效率问题和检测效果。因此，以下将从实际应用角度出发，针对效率问题和检测效果对包括本发明的检测模型在内的多个模型的实验结果进行对比和分析。
首先针对检测模型的效率问题进行实验对比和分析。一个模型的文件大小完全由模型的参数数量和参数的存储形式决定，以下模型的参数按照1个参数变量占2个字节的形式存储，则模型的文件大小约等于：总参数量×2。下表二示出了根据本发明的检测模型的参数计算结果。
表二：
表二中的第一部分网络结构可以是前文中所述的用于执行下采样操作的网络结构，例如图6中所示的串联分组卷积块网络；第二部分网络结构可以是前文中所述的用于执行上采样操作和通道融合等操作的网络结构，例如图6中所示的FPN多尺度网络。根据上表可以计算得到本发明的检测模型文件大小为：
45473629×2＝90947258b＝86.73MB
因此，模型的存储问题可以直观地体现在模型文件占用的存储空间大小，模型文件越大对设备的存储空间要求越高。下表三展示了Faster-Rcnn、SSD和Yolo系列三种网络模型与本发明实施例的检测模型所占用的存储空间大小及检测时间的对比情况。
表三：
如表三中所示，本发明的检测模型的文件大小为86.88MB，明显小于其他对比模型，由此表明在存储问题上，本发明的检测模型可以有效地减少网络参数、减小模型文件占用的存储空间，这点在表一中也可以体现出来。检测模型占用设备的存储空间越小，在工业应用中越有优势，如支持移动端和多模型的设备部署。在检测时间(即检测速度)问题上，本发明的检测模型的检测时间可以在38ms内，明显低于其他对比模型。这可能使由于模型的网络结构越小越轻量，检测所需时间也越小，检测速度更快。进一步地，工业检测应用中常需要考虑检测的实时性。在一个实施例中，本发明的检测模型检测的输入待检测图像的大小为832×1024，检测速度约为26fps(帧数，1秒内检测的图像数量)，完全可以满足工业现场的检测实时性需求。
以上针对检测模型的效率问题进行了实验对比和分析，本领域技术人员可以理解的是，根据本发明的方法得到的检测模型具有占用存储空间小、检测速度快以及能够满足检测实时性需求等特点。接下来将对检测模型的检测效果进行实验对比和分析。为了验证本发明的检测模型的检测效果，在下面的分析中将使用缺陷检测率DIR和平均精度的平均值mAP两个指标对模型的检测效果进行评价。
首先，分别使用Faster-Rcnn、SSD和Yolo系列三种网络模型与本发明的检测模型对本发明实施例中的测试集进行验证并计算mAP值。预先设置预测框的置信度(分数)阈值为0.005，然后调用模型预测所有预测框结果，将所有预测框按照预测的类别分为4类，分别保存在4个文件中，每个文件中每一行保存一个预测框结果。接着调用计算mAP和精度召回率曲线的函数，可以得到如下表四和图12a-图12d的检测结果。
表四：
如表四中所示，本发明的检测模型对于喷码干扰和极板干扰类别的检测效果在各个检测模型中表现较好，AP值均在0.998。模型SSD_Mobilenet、Yolo_TinyV3和本发明的检测模型在气泡缺陷类别的检测效果上的AP值均大于0.8，其中Yolo_TinyV3和本发明的检测模型的效果相比SSD_Mobilenet更好。在褶皱缺陷类别的检测中，本发明的检测模型的检测效果最好，AP值能够达到0.854。综合考虑四种类别的检测效果，以平均精度的平均值mAP作为考量值，可以观察到本发明的检测模型的mAP值超过了0.92，效果最为显著。
根据前文中对mAP的描述可知，mAP值可以作为模型的综合表现能力的评价标准，mAP值越高，表示模型的检测效果越好。mAP值可以由精度-召回率曲线(PR曲线)求得。为了更直观地观察四种类别精度P值随着召回率R值的变化情况，在下面的实验中选取了表四中mAP值前四的模型(即本发明的检测模型、Yolo_TinyV3、SSD_MobilenetV1和Faster R-CNN)，以对比四者的PR曲线的变化情况，结果如图12a-图12d所示。
如图12a～图12d所示，不同的召回率R值对应不同的精度P值，本实施例选取了常用的三个关键点(Recall＝[0.4,0.6,0.8])来观察各个模型的PR曲线的变化情况，其中图12a是SSD_MobilenetV1模型的PR曲线，图12b是Faster R-CNN模型的PR曲线，图12c是Yolo_TinyV3模型的PR曲线，图12d是本发明检测模型的PR曲线。图12a、图12b和图12d中喷码和极板类别在Recall＝[0.4,0.6,0.8]三处的精度P值均达到1.0左右，整体变化很平稳，只有召回率R值增大到0.9以上才开始急剧降低，但图中整体表明喷码和极板的检测精度较高，检测效果很好。四种类别在召回率R值为0.4时的精度P值都达到了0.9以上，尽管P值较高，但召回率仅为0.4，需要进一步观察。当召回率R值为0.6时，图12b模型检测褶皱能力开始大幅下降，同时气泡的精度P值也下降到了0.83，均低于其他三个模型的精度P值。当召回率R值升到0.8时，图12d和图12c模型检测气泡类别的精度值均达到0.78左右，其余的模型检测的精度P值均低于0.7。但检测褶皱类别时，仅图12d中的模型(及本发明的检测模型)能够达到0.74，其余三个模型均低于0.7。
综合表四和图12a～图12d的实验对比结果和分析情况，可以看出相较于其他模型，本发明的检测模型在精度、召回率上的检测效果具有更好的稳定性，在mAP评价指标上数值最高，性能也更为突出。
为了进一步对比模型的检测效果，下面将针对气泡和褶皱两个较难检测的类别进行实验对比，并采用缺陷检测率DIR值来验证图12a～图12d中四种模型在实际工业应用中的评价指标上的表现性能。缺陷检测率DIR值的计算方式在前文中进行了介绍，根据前文中所描述的虚警率FAR、正检率TDR、误检率FDR、召回率RCR和漏检率MDR的计算公式，可以分别计算出气泡和褶皱类别在不同模型中的缺陷检测率DIR值的五个指标。该五个指标中的正检率、误检率与虚警率之和为1，漏检率和召回率之和为1，检测结果如图13和图14所示。
图13是示出根据本发明实施例的多个模型在气泡类别的DIR对比结果柱状图。由图13的对气泡类别的检测结果对比可知，Yolo_TinyV3模型和本发明的检测模型的检测结果在正检率指标上效果相近，均远高于其余两个模型的正检率，虚警率和误检率都低于其余两个模型，特别是本发明的检测模型的误检率几乎为零。同时Yolo_TinyV3模型和本发明的检测模型的召回率和漏检率与表现最好SSD_MobilenetV1模型的检测效果差不多，差值不超过3个百分点。正检率表示的是模型所有预测框正确检测目标物体的概率，虚警率和误检率表示误判为背景或者其他类别的概率，而召回率表示的是漏检的概率，召回越多(即召回率越高)则漏检越少。因此，这些表明了Yolo_TinyV3模型和本发明的检测模型的预测框在气泡类别上具有更高的检测效率，误判的概率更低，检测效果更好。
图14是示出根据本发明实施例的多个模型在褶皱类别的DIR对比结果柱状图。由图14的对褶皱类别的检测结果对比可知，Yolo_TinyV3模型和本发明的检测模型的检测结果在正检率、虚警率和误检率指标上效果相近，远高于其他两个模型在这三个指标上的检测效果。而在召回率指标上，本发明的检测模型和SSD_Mobilenet模型的效果是最好的，均达到了0.896，超过Yolo_TinyV3模型9个百分点。为了更直观地展示检测效果，图15选取了本发明的检测模型和Yolo_TinyV3模型的检测结果图。
如图15中所示，图15的a列展示的是测试集实际缺陷和干扰区域的真实标注框，b列展示的是Yolo_TinyV3模型的检测结果预测框，c列展示的是本发明的检测模型的检测结果预测框。通过对比图15的b列和c列可以发现，Yolo_TinyV3模型中褶皱缺陷和极板干扰区域的预测框存在部分漏检的问题，整体的召回率低于本发明的检测模型。通过对比图15的a列和c列可以进一步示看出，本发明的检测模型针对特征信息不明显和尺度形态变化的缺陷检测效果也比较好，整体检测效果相比其他模型以及传统图像处理方法的检测效果而言要更接近于真实情况，因此本发明的检测模型的检测准确性更高，且检测效果更好。
综合上述关于模型效率问题的实验对比和分析结果以及检测效果的实验对比和分析结果两方面因素，可以看出本发明的检测模型在效率问题上能够兼顾模型文件小且检测速度快的性能，并且在检测效果上(即DIR和mAP指标上)相比其他模型具有更好的稳定性，整体检测效果更好。因此本发明的检测模型的整体检测水平高，能够满足锂电池表面缺陷检测的实际应用需求以及其它缺陷检测领域的应用条件。
通过上面的描述，本领域技术人员可以理解本发明的用于锂电池表面缺陷检测的方法可以通过对待处理样本执行下采样操作、上采样操作以及融合等操作提取待处理样本的目标特征信息，并利用包括待处理样本和目标特征信息等的样本数据集来训练基于串联分组卷积块的网络模型，得到能够自动检测待检测图像的缺陷的检测模型。根据本发明的分组卷积操作能够减少模型参数量和计算量，从而有效提高检测效率，同时采用串联的方式结合浅层和深层的特征信息可以增强信息弱的特征信息，有利于提取不同网络层的缺陷特征，从而有效避免特征信息的丢失，实现对特征信息弱以及多尺度特征的检出和提高检出率的目的。
根据本发明的第二方面，提供一种用于锂电池表面缺陷检测的设备，可以包括：至少一个处理器；存储器，其存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据本发明的第一方面的任意一项所述的方法。
根据本发明的第三方面，提供一种计算机可读存储介质，其存储有用于锂电池表面缺陷检测的程序，当所述程序由处理器来运行时，执行根据本发明的第一方面中的任意一项所述的方法。
以上，仅为本发明说明书的一个或多个实施例较佳的具体实施方式，但发明说明书的一个或多个实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明说明书的一个或多个实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明说明书的一个或多个实施例的保护范围之内。因此，本发明说明书的一个或多个实施例的保护范围应该以权利要求书的保护范围为准。
Claims (13)
1.一种用于锂电池表面缺陷检测的方法，包括：
将采集的锂电池表面的图像作为待处理样本；
对所述待处理样本执行一次或多次的下采样操作，以获得一个或多个特征映射图；
对所述特征映射图执行上采样操作，并与其执行所述下采样操作前的待采样图像进行通道融合，以获得融合特征图；
根据所述特征映射图和所述融合特征图中的至少一种，获取所述待处理样本的目标特征信息；
利用包括所述待处理样本、所述目标特征信息的样本数据集来训练基于串联分组卷积块的网络模型，得到检测模型；以及
通过所述检测模型检测包含锂电池表面的待检测图像，以检测所述待检测图像中是否包括缺陷。
2.根据权利要求1所述的方法，其中每次下采样操作包括：
对所述待采样图像执行卷积下采样操作，以提取所述待采样图像的特征信息并缩小所述待采样图像的尺寸，得到第一特征映射层；
对所述第一特征映射层执行第一降维操作，得到第二特征映射层；
将所述第二特征映射层中的特征映射分为多组，对每组特征映射执行连续的卷积操作，并将多组所述特征映射的卷积操作结果进行叠加，得到第三特征映射层；
将所述第一特征映射层和所述第三特征映射层的通道进行串联融合操作，得到第四特征映射层；以及
对所述第四特征映射层执行第二降维操作，以得到所述特征映射图。
3.根据权利要求1或2所述的方法，其中对所述待处理样本执行下采样操作包括：
对所述待处理样本执行一次所述下采样操作，则所述待采样图像为所述待处理样本；或者
对所述待处理样本执行多次所述下采样操作，则所述待采样图像为上一次下采样操作获得的特征映射图。
4.根据权利要求1所述的方法，其中对所述待处理样本执行下采样操作以获得特征映射图包括：
对所述待处理样本执行多次下采样操作，以获得多个所述特征映射图；以及
所述对特征映射图执行上采样操作包括：
对最后两次下采样操作获得的所述特征映射图分别执行所述上采样操作。
5.根据权利要求4所述的方法，其中对所述待处理样本执行多次下采样操作包括：
对所述待处理样本执行五次下采样操作；以及
所述对特征映射图执行上采样操作包括：
对第四次下采样操作和第五次下采样操作获得的所述特征映射图分别执行所述上采样操作。
6.根据权利要求1或4所述的方法，其中根据所述特征映射图和所述融合特征图中的至少一种，获取所述待处理样本的目标特征信息包括：
根据所述融合特征图和最后一次下采样操作获得的所述特征映射图中的目标特征的尺寸，输出多尺度的目标特征信息。
7.根据权利要求1所述的方法，其中
所述目标特征信息包括目标位置信息和目标类别信息，其中
所述目标类别信息包括缺陷目标信息和干扰目标信息中的至少一种。
8.根据权利要求7所述的方法，其中
所述缺陷目标信息包括气泡膨胀和表面褶皱中的至少一种；
所述干扰目标信息包括喷码干扰和极板干扰中的至少一种。
9.根据权利要求1所述的方法，在执行所述下采样操作之前还包括：
根据所述待处理样本的灰度信息差异，对所述待处理样本进行预处理，以提取所述待处理样本的感兴趣区域；以及
所述对待处理样本执行一次或多次的下采样操作包括：
对所述待处理样本的所述感兴趣区域执行一次或多次的所述下采样操作。
10.根据权利要求9所述的方法，其中对所述待处理样本进行预处理包括：
对所述待处理样本执行自动阈值分割，得到所述待处理样本的二值化图像，所述二值化图像包括前景图像和背景图像；
检测所述前景图像的上边缘轮廓，并选取所述上边缘轮廓的点集来执行最小二乘法拟合，根据拟合结果对所述前景图像进行角度矫正；
提取角度矫正后的所述前景图像的全部外边缘轮廓，并根据所述全部外边缘轮廓的点集确定具有最大面积和最大周长的外边缘轮廓；以及
根据距离所述外边缘轮廓的最小外接矩形四个角点最近的轮廓点，确定所述感兴趣区域在所述待处理样本中的位置。
11.根据权利要求1所述的方法，其中所述锂电池表面的图像包括左侧打光图像、右侧打光图像和正侧打光图像中的至少一种。
12.一种用于锂电池表面缺陷检测的设备，包括：
至少一个处理器；
存储器，其存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据权利要求1-11的任意一项所述的方法。
13.一种计算机可读存储介质，其存储有用于锂电池表面缺陷检测的程序，当所述程序由处理器来运行时，执行根据权利要求1-11的任意一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010427479 | 2020-05-19 | ||
| CN2020104274792 | 2020-05-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951253A true CN111951253A (zh) | 2020-11-17 |
| CN111951253B CN111951253B (zh) | 2021-08-20 |
Family
ID=73342674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010827980.8A Active CN111951253B (zh) | 2020-05-19 | 2020-08-17 | 用于锂电池表面缺陷检测的方法、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951253B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112611757A (zh) * | 2020-12-23 | 2021-04-06 | 深兰人工智能芯片研究院（江苏）有限公司 | Ai辅助检测方法、装置、电子设备及计算机可读存储介质 |
| CN112948463A (zh) * | 2021-03-01 | 2021-06-11 | 创新奇智(重庆)科技有限公司 | 轧钢数据采样方法、装置、电子设备及存储介质 |
| CN113129299A (zh) * | 2021-05-07 | 2021-07-16 | 广东拓斯达科技股份有限公司 | 模板确定方法、装置、计算机设备及存储介质 |
| CN113269775A (zh) * | 2021-06-11 | 2021-08-17 | 河南理工大学 | 一种基于多尺度特征融合ssd的缺陷检测方法及设备 |
| CN113838025A (zh) * | 2021-09-22 | 2021-12-24 | 联想(北京)有限公司 | 处理方法和处理装置 |
| CN114022657A (zh) * | 2022-01-06 | 2022-02-08 | 高视科技(苏州)有限公司 | 一种屏幕缺陷分类方法、电子设备及存储介质 |
| CN114749342A (zh) * | 2022-04-20 | 2022-07-15 | 华南理工大学 | 一种锂电池极片涂布缺陷识别方法、装置及介质 |
| CN114882002A (zh) * | 2022-05-31 | 2022-08-09 | 深圳市格灵精睿视觉有限公司 | 目标缺陷检测方法和检测装置、计算机设备、存储介质 |
| CN115797351A (zh) * | 2023-02-08 | 2023-03-14 | 山东第一医科大学(山东省医学科学院) | 一种光伏电池板的异常检测方法 |
| WO2023226357A1 (zh) * | 2022-05-27 | 2023-11-30 | 深圳先进技术研究院 | 基于机器视觉的电池表面缺陷检测方法、系统及相关设备 |
| CN118549451A (zh) * | 2024-07-29 | 2024-08-27 | 惠州市德赛电池有限公司 | 一种电池绝缘胶包裹缺陷自动检测方法、系统及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108107051A (zh) * | 2017-12-19 | 2018-06-01 | 无锡先导智能装备股份有限公司 | 基于机器视觉的锂电池缺陷检测系统及方法 |
| CN109685968A (zh) * | 2018-12-15 | 2019-04-26 | 西安建筑科技大学 | 一种基于卷积神经网络的纸币图像缺陷的识别模型构建以及识别方法 |
| CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
| CN109859164A (zh) * | 2018-12-21 | 2019-06-07 | 苏州绿控传动科技股份有限公司 | 一种通过快速型卷积神经网络对pcba外观检验的方法 |
| CN110378222A (zh) * | 2019-06-14 | 2019-10-25 | 安徽南瑞继远电网技术有限公司 | 一种输电线路防震锤目标检测与缺陷识别方法及装置 |
| CN110598729A (zh) * | 2019-07-24 | 2019-12-20 | 华南理工大学 | 锂电池电极表面缺陷分类方法 |
| CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
| CN110660052A (zh) * | 2019-09-23 | 2020-01-07 | 武汉科技大学 | 一种基于深度学习的热轧带钢表面缺陷检测方法 |
| US20200134797A1 (en) * | 2018-10-31 | 2020-04-30 | Boe Technology Group Co., Ltd. | Image style conversion method, apparatus and device |
| CN111105405A (zh) * | 2019-12-24 | 2020-05-05 | 刘甜甜 | 基于自适应深度学习的新能源锂电池表面缺陷检测方法 |
-
2020
- 2020-08-17 CN CN202010827980.8A patent/CN111951253B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108107051A (zh) * | 2017-12-19 | 2018-06-01 | 无锡先导智能装备股份有限公司 | 基于机器视觉的锂电池缺陷检测系统及方法 |
| US20200134797A1 (en) * | 2018-10-31 | 2020-04-30 | Boe Technology Group Co., Ltd. | Image style conversion method, apparatus and device |
| CN109685968A (zh) * | 2018-12-15 | 2019-04-26 | 西安建筑科技大学 | 一种基于卷积神经网络的纸币图像缺陷的识别模型构建以及识别方法 |
| CN109859164A (zh) * | 2018-12-21 | 2019-06-07 | 苏州绿控传动科技股份有限公司 | 一种通过快速型卷积神经网络对pcba外观检验的方法 |
| CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
| CN110378222A (zh) * | 2019-06-14 | 2019-10-25 | 安徽南瑞继远电网技术有限公司 | 一种输电线路防震锤目标检测与缺陷识别方法及装置 |
| CN110598729A (zh) * | 2019-07-24 | 2019-12-20 | 华南理工大学 | 锂电池电极表面缺陷分类方法 |
| CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
| CN110660052A (zh) * | 2019-09-23 | 2020-01-07 | 武汉科技大学 | 一种基于深度学习的热轧带钢表面缺陷检测方法 |
| CN111105405A (zh) * | 2019-12-24 | 2020-05-05 | 刘甜甜 | 基于自适应深度学习的新能源锂电池表面缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李瑞坤: "基于多尺度特征的锂电池表面缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技II辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112611757A (zh) * | 2020-12-23 | 2021-04-06 | 深兰人工智能芯片研究院（江苏）有限公司 | Ai辅助检测方法、装置、电子设备及计算机可读存储介质 |
| CN112948463B (zh) * | 2021-03-01 | 2022-10-14 | 创新奇智(重庆)科技有限公司 | 轧钢数据采样方法、装置、电子设备及存储介质 |
| CN112948463A (zh) * | 2021-03-01 | 2021-06-11 | 创新奇智(重庆)科技有限公司 | 轧钢数据采样方法、装置、电子设备及存储介质 |
| CN113129299A (zh) * | 2021-05-07 | 2021-07-16 | 广东拓斯达科技股份有限公司 | 模板确定方法、装置、计算机设备及存储介质 |
| CN113269775A (zh) * | 2021-06-11 | 2021-08-17 | 河南理工大学 | 一种基于多尺度特征融合ssd的缺陷检测方法及设备 |
| CN113269775B (zh) * | 2021-06-11 | 2022-10-28 | 河南理工大学 | 一种基于多尺度特征融合ssd的缺陷检测方法及设备 |
| CN113838025A (zh) * | 2021-09-22 | 2021-12-24 | 联想(北京)有限公司 | 处理方法和处理装置 |
| CN114022657A (zh) * | 2022-01-06 | 2022-02-08 | 高视科技(苏州)有限公司 | 一种屏幕缺陷分类方法、电子设备及存储介质 |
| CN114022657B (zh) * | 2022-01-06 | 2022-05-24 | 高视科技(苏州)有限公司 | 一种屏幕缺陷分类方法、电子设备及存储介质 |
| CN114749342A (zh) * | 2022-04-20 | 2022-07-15 | 华南理工大学 | 一种锂电池极片涂布缺陷识别方法、装置及介质 |
| CN114749342B (zh) * | 2022-04-20 | 2023-09-26 | 华南理工大学 | 一种锂电池极片涂布缺陷识别方法、装置及介质 |
| WO2023226357A1 (zh) * | 2022-05-27 | 2023-11-30 | 深圳先进技术研究院 | 基于机器视觉的电池表面缺陷检测方法、系统及相关设备 |
| CN114882002A (zh) * | 2022-05-31 | 2022-08-09 | 深圳市格灵精睿视觉有限公司 | 目标缺陷检测方法和检测装置、计算机设备、存储介质 |
| CN115797351A (zh) * | 2023-02-08 | 2023-03-14 | 山东第一医科大学(山东省医学科学院) | 一种光伏电池板的异常检测方法 |
| CN118549451A (zh) * | 2024-07-29 | 2024-08-27 | 惠州市德赛电池有限公司 | 一种电池绝缘胶包裹缺陷自动检测方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111951253B (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951253B (zh) | 用于锂电池表面缺陷检测的方法、设备及可读存储介质 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| CN109613002B (zh) | 一种玻璃缺陷检测方法、装置和存储介质 | |
| CN111815630A (zh) | 一种用于lcd屏幕的缺陷检测方法、装置 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN114240821A (zh) | 一种基于改进型yolox的焊缝缺陷检测方法 | |
| CN111047655B (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
| CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
| CN114581742A (zh) | 基于线性度的连通域聚类融合方法、装置、系统及介质 | |
| CN114612472B (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
| CN106530271B (zh) | 一种红外图像显著性检测方法 | |
| CN115131283B (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| CN109462999B (zh) | 通过数据平衡基于学习的视觉检查方法以及利用其的视觉检查装置 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN111079518A (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN111242899A (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
| CN116777877A (zh) | 电路板缺陷检测方法、装置、计算机设备及存储介质 | |
| CN110866931B (zh) | 图像分割模型训练方法及基于分类的强化图像分割方法 | |
| CN112991271A (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
| CN115170804B (zh) | 基于深度学习的表面缺陷检测方法、装置、系统和介质 | |
| CN109978916B (zh) | 基于灰度图像特征匹配的Vibe运动目标检测方法 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 215011 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou, Jiangsu Province Applicant after: Gaoshi Technology (Suzhou) Co.,Ltd. Address before: 516000 West Side of the 4th Floor of CD Building, No. 2 South Road, Huatai Road, Huiao Avenue, Huizhou City, Guangdong Province Applicant before: HUIZHOU GOVION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201117 Assignee: Suzhou Gaoshi Semiconductor Technology Co.,Ltd. Assignor: Gaoshi Technology (Suzhou) Co.,Ltd. Contract record no.: X2021990000430 Denomination of invention: Method, equipment and readable storage medium for surface defect detection of lithium battery License type: Common License Record date: 20210722 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 215129 Rooms 101, 102, 901, 902, Floor 9, Building 11, No. 198, Jialing River Road, High tech Zone, Suzhou City, Jiangsu Province Patentee after: Gaoshi Technology (Suzhou) Co.,Ltd. Address before: 215011 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou, Jiangsu Province Patentee before: Gaoshi Technology (Suzhou) Co.,Ltd. |
|
| CP03 | Change of name, title or address |