CN114119464B - 一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法 - Google Patents

Abstract

本发明属于机器视觉领域，具体的说是一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法，该算法包括以下步骤：使用图像采集软件获取研究图像，对图像进行处理后，定位焊缝ROI(region of interest)，获得缺陷ROI；基于点云的缺陷检测，根据不同类型缺陷的物理形态，提出针对性的缺陷检测算法；基于深度学习的检测，对R角不良和针孔缺陷采用深度学习检测；计算缺陷的三维尺寸和曲率，对已经获得的缺陷数据进行复判；通过算法的作用提高了对焊缝进行检测的效率和准确率，真正实现缺陷检测无人化，降低由于目检人员的主观意识导致的缺陷过漏杀，大幅度降低了人工成本，进而提高了企业的利润。

Description

一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法

技术领域

本发明涉及机器视觉领域，具体是一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法。

背景技术

随着新能源汽车的市场需求量不断增加，动力电池作为新能源汽车的心脏，需求量自然也快速增加，因此研究汽车动力电池电芯顶盖焊缝质量检测技术显得尤为重要，现有质量检测方法完全依赖于传统的人工目检方式。

现在在对汽车动力电池电芯顶盖焊缝质量进行检测时通过目检人员对焊缝进行观察，通过个人的经验判断焊缝是否符合出厂标准。

在对焊缝进行目检时的质检水平因人而异，受主观因素影响很大，质检水平无法保证，同一个电池，不同的目检人员，往往可以得出不同结论，同一个电池，同一个目检人员在不同的时间段，也会得出不同的结论，目检人员的身心状态会对检测结果产生极大的影响，且采用人工目检的方式成本较高，每个目检人员都要经过多次培训才可以上岗，并且一台焊接设备需要2-4个不等的目检人员，目检人员的流失也会造成成本的持续性增加，因焊接环境恶劣，目检人员长期在该环境中工作，也会影响到目检人员健康；因此，针对上述问题提出一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法。

发明内容

为了弥补现有技术的不足，目检的准确率低，成本高，对目检人员的健康状况危害较大的问题，本发明提出一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法。

本发明解决其技术问题所采用的技术方案是：本发明所述的一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法，该算法包括以下步骤：

S1：使用图像采集软件获取研究图像，对图像进行处理后，定位焊缝ROI（regionof interest），获得缺陷ROI；

S2：基于点云的缺陷检测，根据不同类型缺陷的物理形态，提出针对性的缺陷检测算法；

S3：基于深度学习的检测，对R角不良和针孔缺陷采用深度学习检测；

S4：计算缺陷的三维尺寸和曲率，对已经获得的缺陷数据进行复判。

优选的，所述S1中图像采集软件采用Gocator协议与激光相机通信，同时获取锂电池电芯顶盖焊缝的深度图和灰度图，方便算法对图像进行进一步的处理。

优选的，所述S1中对图像进行处理时将深度图映射为伪彩图，然后与灰度图线性叠加得到亮度图，方便算法对焊缝的缺陷处的亮度进行区分。

优选的，所述S1中采集的图像由相机扫描方式所决定，图像最大深度值所处的位置与电池顶盖焊缝基本成恒定位置关系，通过这一特性，准确的定位焊缝位置以及各种缺陷类型的ROI；采用轮廓查找算法，获得电池图像的边界线，计算电池图像最大深度值所在的位置，获得定位轴线，根据凸起、凹坑、偏光、面偏光、翻边、R角不良等各种缺陷的ROI与定位轴线的位置关系准确的提取各种缺陷的ROI，通过提取缺陷的ROI起到方便算法对缺陷进行分辨的作用。

优选的，所述S2中的不同类型缺陷主要包括凸起和凹坑缺陷、翻边缺陷、偏光缺陷和面偏光缺陷，通过将缺陷分为四种使算法在进行输出时显示出缺陷所对应的种类。

优选的，所述S2中的针对性的缺陷检测算法在对凸起和凹坑缺陷进行检测时分割凸起和凹坑ROI内的点云数据为线性点云，拟合直线，保留超过阈值上下限的点云数据为缺陷点云；在对翻边缺陷进行检测时，以铝壳表面为参考平面，翻边缺陷会在铝壳表面呈现上凸的形态，拟合铝壳平面方程，计算翻边ROI内点云到铝壳平面的距离，保留距离超过阈值的点云作为缺陷点云；在对偏光缺陷进行检测时，以正常焊缝为参考基准，沿点云坐标系z轴方向，通过偏光焊缝低于正常焊缝特点，分割偏光ROI内的点云数据为线性点云，拟合直线，保留超过阈值的点云数据为缺陷点云；在对面偏光缺陷进行检测时，以顶盖表面为参考基准，沿世界坐标系z轴方向，通过偏光焊缝低于顶盖的特点，分割顶盖面点云为线性点云，拟合直线，计算面偏光ROI内的点云到直线的距离值，保留超过阈值的点云数据为缺陷点云，算法所获得的缺陷点云，是以个体为单位的离散点，采用基于欧式距离的点云分割算法，把点间距在阈值范围内的点云放在同一个集合内，形成缺陷点集。

优选的，所述S3中在对R角不良和针孔缺陷进行深度学习时，融合电池深度图和灰度图为RBG三波段的彩色图像，对初始融合图进行带有重叠率的多次切分，作为训练的和推理单元，在模型训练阶段，基于融合后的彩色图像单元训练改进的YOLO目标检测网络模型，在模型推理阶段，同样采用基于切分子图进行推理，所有切分子图推理完毕后进行合并，最终可以准确的提取电池缺陷及其所在的位置，通过对融合图进行切分的方法方便了对图像进行深度学习的训练，提高了训练的效率。

优选的，所述S4对S2-3中所获取的焊缝缺陷点集进行再次复检，计算缺陷点集的空间包围盒近似为缺陷点集的长、宽、高，计算缺陷点集的投影面，计算缺陷点集每个点的曲率值，求和再取平均值，定义为缺陷点集的曲率值，根据项目规格书以及现场经验值设置长、宽、高、面积、曲率的阈值，若计算所获得的点云缺陷点集的长、宽、高、面积、曲率值同时高于阈值，那么则认为电池存在这种缺陷，反之，则不存在该种缺陷。

本发明的有益之处在于：

1.本发明通过算法对图像进行分析，实现了提高对焊缝检测的准确度的功能，解决了在对焊缝进行目检时的质检水平因人而异，受主观因素影响很大，质检水平无法保证，同一个电池，不同的目检人员，往往可以得出不同结论，同一个电池，同一个目检人员在不同的时间段，也会得出不同的结论，目检人员的身心状态会对检测结果产生极大的影响的问题，提高了对焊缝进行检测的效率和准确率，真正实现缺陷检测无人化，降低由于目检人员的主观意识导致的缺陷过漏杀；

2.本发明通过检测算法的作用，实现了降低对焊缝进行检测时所需要的成本的功能，解决了采用人工目检的方式成本较高，每个目检人员都要经过多次培训才可以上岗，并且一台焊接设备需要2-4个不等的目检人员，目检人员的流失也会造成成本的持续性增加的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为实施例一的算法结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1所示，一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法，该算法包括以下步骤：

S1：使用图像采集软件获取研究图像，对图像进行处理后，定位焊缝ROI（regionof interest），获得缺陷ROI；

S2：基于点云的缺陷检测，根据不同类型缺陷的物理形态，提出针对性的缺陷检测算法；

S3：基于深度学习的检测，对R角不良和针孔缺陷采用深度学习检测；

S4：计算缺陷的三维尺寸和曲率，对已经获得的缺陷数据进行复判。

所述S1中图像采集软件采用Gocator协议与激光相机通信，同时获取锂电池电芯顶盖焊缝的深度图和灰度图；

工作时，方便了算法对图像进行进一步的处理。

所述S1中对图像进行处理时将深度图映射为伪彩图，然后与灰度图线性叠加得到亮度图；

工作时，方便算法对焊缝的缺陷处的亮度进行区分。

所述S1中采集的图像由相机扫描方式所决定，图像最大深度值所处的位置与电池顶盖焊缝基本成恒定位置关系，通过这一特性，准确的定位焊缝位置以及各种缺陷类型的ROI；采用轮廓查找算法，获得电池图像的边界线，计算电池图像最大深度值所在的位置，获得定位轴线，根据凸起、凹坑、偏光、面偏光、翻边、R角不良等各种缺陷的ROI与定位轴线的位置关系准确的提取各种缺陷的ROI。

所述S2中的不同类型缺陷主要包括凸起和凹坑缺陷、翻边缺陷、偏光缺陷和面偏光缺陷；

工作时，通过将缺陷分为四种使算法在进行输出时显示出缺陷所对应的种类。

所述S2中的针对性的缺陷检测算法在对凸起和凹坑缺陷进行检测时分割凸起和凹坑ROI内的点云数据为线性点云，拟合直线，保留超过阈值上下限的点云数据为缺陷点云；在对翻边缺陷进行检测时，以铝壳表面为参考平面，翻边缺陷会在铝壳表面呈现上凸的形态，拟合铝壳平面方程，计算翻边ROI内点云到铝壳平面的距离，保留距离超过阈值的点云作为缺陷点云；在对偏光缺陷进行检测时，以正常焊缝为参考基准，沿点云坐标系z轴方向，通过偏光焊缝低于正常焊缝特点，分割偏光ROI内的点云数据为线性点云，拟合直线，保留超过阈值的点云数据为缺陷点云；在对面偏光缺陷进行检测时，以顶盖表面为参考基准，沿世界坐标系z轴方向，通过偏光焊缝低于顶盖的特点，分割顶盖面点云为线性点云，拟合直线，计算面偏光ROI内的点云到直线的距离值，保留超过阈值的点云数据为缺陷点云，算法所获得的缺陷点云，是以个体为单位的离散点，采用基于欧式距离的点云分割算法，把点间距在阈值范围内的点云放在同一个集合内，形成缺陷点集；

工作时，采用三维点云与深度学习相结合的方式，实现了准确提取动力电池焊缝的缺陷的效果。

所述S3中在对R角不良和针孔缺陷进行深度学习时，融合电池深度图和灰度图为RBG三波段的彩色图像，对初始融合图进行带有重叠率的多次切分，作为训练的和推理单元，在模型训练阶段，基于融合后的彩色图像单元训练改进的YOLO目标检测网络模型，在模型推理阶段，同样采用基于切分子图进行推理，所有切分子图推理完毕后进行合并，最终可以准确的提取电池缺陷及其所在的位置；

工作时，融合深度图所映射后伪彩图与灰度图获得RBG图，作为训练和推理的数据，减少时间成本，提高缺陷检测的准确率，通过对融合图进行切分的方法方便了对图像进行深度学习的训练，提高了训练的效率。

所述S4对S2-3中所获取的焊缝缺陷点集进行再次复检，计算缺陷点集的空间包围盒近似为缺陷点集的长、宽、高，计算缺陷点集的投影面，计算缺陷点集每个点的曲率值，求和再取平均值，定义为缺陷点集的曲率值，根据项目规格书以及现场经验值设置长、宽、高、面积、曲率的阈值，若计算所获得的点云缺陷点集的长、宽、高、面积、曲率值同时高于阈值，那么则认为电池存在这种缺陷，反之，则不存在该种缺陷；

工作时，除了计算缺陷点集的长宽高等物理属性，还引入了缺陷点集的曲率值，通过计算缺陷点集的曲率大幅度降低了误杀。

工作原理：通过图像采集软件采用Gocator协议与激光相机通信，同时获取锂电池的深度图和灰度图，把深度图映射为伪彩图，然后和灰度图做一个线性叠加得到亮度图，由相机扫描方式所决定，图像最大深度值所处的位置与电池顶盖焊缝基本成恒定位置关系，因此我们可以通过这一特性，准确的定位焊缝位置以及各种缺陷类型的ROI，首先采用轮廓查找算法，获得电池图像的边界线，其次计算电池图像最大深度值所在的位置，就可以获得定位轴线，根据凸起、凹坑、偏光、面偏光、翻边、R角不良等各种缺陷的ROI与定位轴线的位置关系，即可以准确的提取各种缺陷的ROI，针对凸起和凹坑缺陷，凸起缺陷和凹坑缺陷与正常的焊缝表面相比，会在焊缝表面呈现凹凸的形态，因此分割凸起和凹坑ROI内的点云数据为线性点云，拟合直线，保留超过阈值上下限的点云数据为缺陷点云；

针对翻边缺陷，以铝壳表面为参考平面，翻边缺陷会在铝壳表面呈现上凸的形态，拟合铝壳平面方程，计算翻边ROI内点云到铝壳平面的距离，保留距离超过阈值的点云作为缺陷点云，

针对偏光缺陷，以正常焊缝为参考基准，沿点云坐标系z轴方向，有偏光缺陷的焊缝总是低于正常焊缝，因此分割偏光ROI内的点云数据为线性点云，拟合直线，保留超过阈值的点云数据为缺陷点云；

针对面偏光缺陷，以顶盖表面为参考基准，沿世界坐标系z轴方向，有面偏光缺陷的焊缝总是低于顶盖面，因此分割顶盖面点云为线性点云，拟合直线，计算面偏光ROI内的点云到直线的距离值，保留超过阈值的点云数据为缺陷点云；

由上述算法所获得的缺陷点云，是以个体为单位的离散点，因此采用基于欧式距离的点云分割算法，把点间距在阈值范围内的点云放在同一个集合内，形成缺陷点集；

针对R角不良和针孔缺陷，融合电池深度图和灰度图为RBG三波段的彩色图像，由于融合图长宽比较大，会降低后续检测效果增加训练负担，因此对初始融合图进行带有重叠率的多次切分，作为我们训练的和推理单元，在模型训练阶段，基于融合后的彩色图像单元训练改进的YOLO目标检测网络模型，在模型推理阶段，同样是采用基于切分子图进行推理，所有切分子图推理完毕后进行合并，最终可以准确的提取电池缺陷及其所在的位置；

对上述步骤所获取的焊缝缺陷点集，进行再次卡控，计算缺陷点集的空间包围盒近似为缺陷点集的长、宽、高，计算缺陷点集的投影面积，计算缺陷点集每个点的曲率值，求和再取平均值，定义为缺陷点集的曲率值，根据项目规格书以及现场经验值设置长、宽、高、面积、曲率的阈值，如果计算所获得的点云缺陷点集的长、宽、高、面积、曲率值同时高于阈值，那么则认为电池存在这种缺陷，反之，则不存在该种缺陷。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法，其特征在于：该方法包括以下步骤：

S1：使用图像采集软件获取锂电池电芯顶盖焊缝的深度图和灰度图，将深度图映射为伪彩图，然后与灰度图线性叠加得到亮度图；定位焊缝ROI，获得缺陷ROI；采用轮廓查找算法，获得电池图像的边界线，计算电池图像最大深度值所在的位置，获得定位轴线，根据缺陷ROI与定位轴线的位置关系准确的提取各种缺陷的ROI；

S2：基于点云的缺陷检测，根据不同类型缺陷的物理形态，提出针对性的缺陷检测算法；

S3：基于深度学习的检测，对R角不良和针孔缺陷采用深度学习检测；

S4：计算缺陷的三维尺寸和曲率，对已经获得的缺陷数据进行复判；

所述S2中的不同类型缺陷包括：凸起和凹坑缺陷、翻边缺陷、偏光缺陷和面偏光缺陷；所述的针对性的缺陷检测算法包括：

在对凸起和凹坑缺陷进行检测时，分割凸起和凹坑ROI内的点云数据为线性点云，拟合直线，保留超过阈值上下限的点云数据为缺陷点云；

在对翻边缺陷进行检测时，以铝壳表面为参考平面，翻边缺陷会在铝壳表面呈现上凸的形态，拟合铝壳平面方程，计算翻边ROI内点云到铝壳平面的距离，保留距离超过阈值的点云作为缺陷点云；

在对偏光缺陷进行检测时，以正常焊缝为参考基准，沿点云坐标系z轴方向，通过偏光焊缝低于正常焊缝特点，分割偏光ROI内的点云数据为线性点云，拟合直线，保留超过阈值的点云数据为缺陷点云；

在对面偏光缺陷进行检测时，以顶盖表面为参考基准，沿世界坐标系z轴方向，通过偏光焊缝低于顶盖的特点，分割顶盖面点云为线性点云，拟合直线，计算面偏光ROI内的点云到直线的距离值，保留超过阈值的点云数据为缺陷点云，算法所获得的缺陷点云，是以个体为单位的离散点，采用基于欧式距离的点云分割算法，把点间距在阈值范围内的点云放在同一个集合内，形成缺陷点集。

2.根据权利要求1所述的一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法，其特征在于：所述S1中图像采集软件采用Gocator协议与激光相机通信。

3.根据权利要求1所述的一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法，其特征在于：所述S1中采集的图像由相机扫描方式所决定，图像最大深度值所处的位置与电池顶盖焊缝基本成恒定位置关系，通过这一特性，准确的定位焊缝位置以及各种缺陷类型的ROI。

4.根据权利要求1所述的一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法，其特征在于：所述S3中在对R角不良和针孔缺陷进行深度学习时，融合电池深度图和灰度图为RBG三波段的彩色图像，对初始融合图进行带有重叠率的多次切分，作为训练的和推理单元，在模型训练阶段，基于融合后的彩色图像单元训练改进的YOLO目标检测网络模型，在模型推理阶段，同样采用基于切分子图进行推理，所有切分子图推理完毕后进行合并，最终可以准确的提取电池缺陷及其所在的位置。

5.根据权利要求4所述的一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法，其特征在于：所述S4对S2-S3中所获取的焊缝缺陷点集进行再次复检，计算缺陷点集的空间包围盒近似为缺陷点集的长、宽、高，计算缺陷点集的投影面，计算缺陷点集每个点的曲率值，求和再取平均值，定义为缺陷点集的曲率值，根据项目规格书以及现场经验值设置长、宽、高、面积、曲率的阈值，若计算所获得的点云缺陷点集的长、宽、高、面积、曲率值同时高于阈值，那么则认为电池存在这种缺陷，反之，则不存在该种缺陷。

Images