CN117788400A - 一种基于双目视觉的光伏组件缺陷检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于双目视觉的光伏组件缺陷检测方法及系统。本发明包括通过两个相机从不同的角度同时获取待检测光伏组件的左右两张图像；对左右两张图像进行特征点提取，得到左右两张图像的特征点并得到所述两张图像的视差图；根据所述视差图，得到所述待检测光伏组件表面的三维信息，根据三维信息对所述待检测光伏组件进行三维重建，得到三维模型；基于三维模型，获取所述待检测光伏组件的质量和特征相关参数；提供深度学习算法模型；根据深度学习算法模型结合所述质量和特征相关参数，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统。本发明能够显著提高光伏组件缺陷的检测效率及准确率。

Description

一种基于双目视觉的光伏组件缺陷检测方法及系统

技术领域

本发明涉及光伏组件制造技术领域，尤其是指一种基于双目视觉的光伏组件缺陷检测方法及系统。

背景技术

随着企业生产技术的持续转型升级，自动化技术已经在制造业的各个环节发挥着日益重要的作用。自动化生产线在加工和装配过程中不断取代传统的人工操作。然而，在光伏产品的生产过程中，缺陷的产生机理与评判标准相对复杂。目前，由于传统工业相机以及机器视觉软件在精准性方面存在限制，行业内主要依赖人工目视检测来鉴别这些缺陷。

尽管如此，人工检测在速度和识别准确性方面存在明显的不足。某些缺陷难以通过肉眼识别，而且在对缺陷等级进行主观判断时，人类检测者往往会产生误差和漏判。这不但影响了光伏产品的质量，也限制了生产效率。

发明内容

为此，本发明提供一种基于双目视觉的光伏组件缺陷检测方法及系统，该系统能够显著提高检测效率及准确率，通过调整预设的缺陷尺寸限度值，能够迅速适应不同允许标准，提升了光伏组件的检测效率以及质量。

为解决上述技术问题，本发明提供一种基于双目视觉的光伏组件缺陷检测方法，包括：

通过两个相机从不同的角度同时获取待检测光伏组件的左右两张图像；

对所述左右两张图像进行特征点提取，得到所述左右两张图像的特征点并得到所述两张图像的视差图；

根据所述视差图，得到所述待检测光伏组件表面的三维信息，根据所述三维信息对所述待检测光伏组件进行三维重建，得到三维模型；

基于所述三维模型，获取所述待检测光伏组件的质量和特征相关参数；

提供深度学习算法模型；

根据深度学习算法模型结合所述质量和特征相关参数，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统。

在本发明的一种实施方式中，还包括：

在所述左右两张图像进行获取的同时，通过读码器获取所述待检测光伏组件的生产信息，将所述生产信息与所述左右两张图像合并后的信息，以及缺陷等级和/或缺陷类型信息进行储存。

在本发明的一种实施方式中，对所述左右两张图像进行特征点提取，包括：

对所述左右两张图像使用包括角点检测法、边缘检测法、SURF特征提取法进行特征点提取。

在本发明的一种实施方式中，根据所述视差图，得到所述待检测光伏组件表面的三维信息，包括：

采用极坐标系变换法或柱面变换法计算所述待检测光伏组件表面的三维信息。

在本发明的一种实施方式中，所述质量和特征相关参数包括：所述待检测光伏组件的组件内部缺陷、外观质量、几何尺寸、表面平整度、角度。

在本发明的一种实施方式中，所述深度学习算法模型通过如下方法获取：

制作多个极限尺寸的缺陷模型；

通过工业相机拍摄所述缺陷模型的三维图像；

测量并调整所述缺陷模型实际尺寸与对应的所述三维图像尺寸的误差，以所述缺陷模型实际尺寸作为缺陷样本，或者，记录由极限尺寸的缺陷生成的三维图像尺寸，作为缺陷样本；

选择深度学习算法，输入所述缺陷样本的三维图像数据，包括无缺陷、不同缺陷等级和/或缺陷类型的判断标准，使深度学习算法进行学习和迭代，得到深度学习算法模型；

输入全新的三维图像数据，验证深度学习算法模型对缺陷等级和/或缺陷类型判断的准确性。

在本发明的一种实施方式中，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统，包括：

将所述缺陷等级分成无缺陷、轻微缺陷和严重缺陷；

若判断光伏组件为无缺陷，则继续进入后续生产工序；

若判断光伏组件为轻微缺陷，轻微缺陷不影响光伏组件性能，则通过识别光伏组件条码，拍摄缺陷部分照片，并在光伏组件生产系统内添加缺陷类型标签，以便后期追溯，随后，光伏组件进入后续工序；

若判断光伏组件为严重缺陷，严重缺陷影响性能及使用安全，通过识别光伏组件条码，拍摄缺陷部分照片，并在光伏组件生产系统内添加缺陷类型标签，以便后期追溯，光伏组件不进入后续工序，按照所述缺陷类型，进行相应返工或报废处理。

在本发明的一种实施方式中，所述缺陷类型包括：电池片划伤不良；电池栅线的断栅、分散虚印和粗栅；电池片排列的片间距不良、串间距不良、串长不良、电池串错位、电池串内错位；边框凹陷；边框上脏污和硅胶残留。

在本发明的一种实施方式中，所述深度学习算法采用神经网络算法。

本发明还提供一种基于双目视觉的光伏组件缺陷检测系统，包括：

图像获取单元，用于通过两个相机从不同的角度同时获取待检测光伏组件的左右两张图像；

视差图获取单元，用于对所述左右两张图像进行特征点提取，得到所述两张图像的特征点并得到所述左右两张图像的视差图；

三维模型获取单元，用于根据所述视差图，得到所述待检测光伏组件表面的三维信息，根据所述三维信息对所述待检测光伏组件进行三维重建，得到三维模型；

质量和特征相关参数获取单元，用于基于所述三维模型，获取所述待检测光伏组件的质量和特征相关参数；

深度学习算法模型单元，用于提供深度学习算法模型；

缺陷分级判断单元，用于根据深度学习算法模型结合所述质量和特征相关参数，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的一种基于双目视觉的光伏组件缺陷检测方法及系统，能够提升辨别光伏缺陷的效率与准确度，自动进行缺陷分级并给出处理指令，利用机器与算法代替人工检验，利用双目视觉与三维重建，将相机拍摄的二维图片信息合成为三维图像，把三维图像信息导入已训练好的算法中，算法判断该三维图像中是否有缺陷、及其缺陷等级和类型，并输出对应的处理指令，能够快速适应不同的允收标准，根据不同的允收标准，更改对应的预设的检测标准数值，可以实现快速切换检测标准。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。

图1是本发明基于双目视觉的光伏组件缺陷检测方法流程图。

图2是本发明基于双目视觉的光伏组件缺陷检测系统布置图。

图3是本发明相机的布置图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明中，如果有描述到方向(上、下、左、右、前及后)时，其仅是为了便于描述本发明的技术方案，而不是指示或暗示所指的技术特征必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明中，“若干”的含义是一个或者多个，“多个”的含义是两个以上，“大于”“小于”“超过”等理解为不包括本数；“以上”“以下”“以内”等理解为包括本数。在本发明的描述中，如果有描述到“第一”“第二”仅用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明中，除非另有明确的限定，“设置”“安装”“连接”等词语应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连；可以是固定连接，也可以是可拆卸连接，还可以是一体成型；可以是机械连接，也可以是电连接或能够互相通讯；可以是两个元件内部的连通或两个元件的相互作用关系。所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

实施例1

参照图2和图3所示，待测的光伏组件通过流水线(同步带)输送，流水线的周侧布置有圆形轨道，能够通过底部导轨沿流水线方向移动以调整位置，左右两个工业相机布置在圆形轨道上且位于流水线上方的左右两侧，圆形轨道正上方布置光源，用于采集流水线上光伏组件的景深信息，工作时位置不变。在圆形轨道上位于流水线平齐方向一侧还布置有读码器。

在相机工作前，需要进行系统调试，具体过程为：打开相机及检测系统电源，以及光源。进入拍摄模式，并观察图像上是否有脏污或其他成像缺陷；调整相机位置，使待测区域位于相机取景范围内的居中位置；对相机进行标定，以建立图像坐标系、相机坐标系和世界坐标系之间的一致对应关系；将网格板放置在待测区域内，确保完全覆盖该区域，然后进行相机畸变矫正；执行双目立体匹配，明确左右图像中的相对点对点关系，进而建立视差，并从中恢复点的三维信息。

在检测时，将圆形轨道调整在需要的检测位置上；在进行双目视觉检测之前，需要对两个相机进行标定，以确定相机的内部参数(如焦距、光心、畸变系数等)和外部参数(如旋转矩阵和平移矩阵)。这些参数可以通过手动标定或自动标定方法获得。旋转矩阵和平移矩阵这两个外参矩阵是在标定过程中产生，将世界坐标系(三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入)通过平移矩阵和旋转矩阵变换后与相机坐标系。标定的目的是确定世界坐标系下三维空间点与像素平面像素点间的转换关系(内外参数)以及确定相机成像过程中的畸变系，以对图像矫正。

参照图1所示，一种基于双目视觉的光伏组件缺陷检测方法，包括：

步骤S1、通过两个相机从不同的角度同时获取待检测光伏组件的左右两张图像，这些图像包括光伏组件的表面、边缘、结构等信息，并在所述左右两张图像进行获取的同时，通过读码器获取所述待检测光伏组件的生产信息，将所述生产信息与所述左右两张图像合并，并进行储存。

将正在检验的光伏组件的生产信息与获取的图像进行关联和储存，通过读取光伏组件上的二维码信息，并将其与对应的图像进行合并，可以实现对每个组件的溯源和记录，有助于追踪光伏组件的生产、质量控制和后续的追溯工作，以保证光伏组件的质量和可追溯性。

步骤S2、对所述左右两张图像进行特征点提取，得到所述左右两张图像的特征点并得到所述两张图像的视差图；特征点提取方法可采用包括角点检测法、边缘检测法、SURF特征提取法进行特征点提取；视差计算可以采用极坐标系变换或柱面变换等方法实现。

步骤S3、根据所述视差图，得到所述待检测光伏组件表面的三维信息，根据所述三维信息对所述待检测光伏组件进行三维重建，得到三维模型。

步骤S4、基于所述三维模型，通过对三维模型的分析和处理，获取所述待检测光伏组件的质量和特征相关参数，包括待检测光伏组件的组件内部缺陷、外观质量、几何尺寸、表面平整度、角度。

步骤S5、提供深度学习算法模型，该深度学习算法模型通过如下方式获取：

制作多个极限尺寸的缺陷模型；极限尺寸为缺陷模型的缺陷相关参数的最大值和最小值；

通过工业相机拍摄所述缺陷模型的三维图像；

测量并调整所述缺陷模型实际尺寸与对应的所述三维图像尺寸的误差，以所述缺陷模型实际尺寸作为缺陷样本，或者，记录由极限尺寸的缺陷生成的三维图像尺寸，作为缺陷样本；

选择深度学习算法，如神经网络算法，输入所述缺陷样本的三维图像数据，包括无缺陷、不同缺陷等级和/或缺陷类型的判断标准，使深度学习算法进行学习和迭代，得到深度学习算法模型；

输入全新的三维图像数据，验证深度学习算法模型对缺陷等级和/或缺陷类型判断的准确性。可以在实际使用一段时间后，定期进行准确率的校验过程，以保证检测质量。

步骤S6、根据深度学习算法模型结合所述质量和特征相关参数，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统。

本实施例将缺陷组件条码、缺陷等级、缺陷类型信息、缺陷指令上传至生产系统，通过信息储存模块储存以上所有的过程信息。

本实施例将将所述缺陷等级分成无缺陷、轻微缺陷和严重缺陷；缺陷处理指令包括：

续流：无缺陷，则继续进入后续生产工序；

分级：轻微缺陷，不影响光伏组件性能，识别光伏组件条码并对缺陷部分进行拍照，在生产系统内添加缺陷类型标签，便于后期追溯，进入后续生产工序；

返工、报废：严重缺陷，影响光伏组件性能及使用安全，识别光伏组件条码并对缺陷部分进行拍照，在生产系统内添加缺陷类型标签，便于后期追溯；按照对应的缺陷的类型和缺陷的程度，按照预设的方案，进行返工或报废流程。

上述过程，具体为：若判断光伏组件为无缺陷，则继续进入后续生产工序；若判断光伏组件为轻微缺陷，轻微缺陷不影响光伏组件性能，则通过识别光伏组件条码，拍摄缺陷部分照片，并在生产系统内添加缺陷类型标签，以便后期追溯，随后，光伏组件进入后续工序；若判断光伏组件为严重缺陷，严重缺陷影响性能及使用安全，通过识别光伏组件条码，拍摄缺陷部分照片，并在生产系统内添加缺陷类型标签，以便后期追溯，光伏组件不进入后续工序，按照所述缺陷类型，进行相应返工或报废处理。

本实施例中，所述缺陷类型包括：电池片划伤不良；电池栅线的断栅、分散虚印和粗栅；电池片排列的片间距不良、串间距不良、串长不良、电池串错位、电池串内错位；边框凹陷和边框安装错位；边框上脏污和硅胶残留。相对应的缺陷处理指令见表1。

表1

实施例2

基于同一发明构思，本实施例提供了一种基于双目视觉的光伏组件缺陷检测系统，其解决问题的原理与所述一种基于双目视觉的光伏缺陷检测方法类似，重复之处不再赘述。

本实施例提供一种基于双目视觉的光伏组件缺陷检测系统，包括：

图像获取单元，用于通过两个相机从不同的角度同时获取待检测光伏组件的左右两张图像；

视差图获取单元，用于对所述左右两张图像进行特征点提取，得到所述两张图像的特征点并得到所述左右两张图像的视差图；

三维模型获取单元，用于根据所述视差图，得到所述待检测光伏组件表面的三维信息，根据所述三维信息对所述待检测光伏组件进行三维重建，得到三维模型；

质量和特征相关参数获取单元，用于基于所述三维模型，获取所述待检测光伏组件的质量和特征相关参数；

深度学习算法模型单元，用于提供深度学习算法模型；

缺陷分级判断单元，用于根据深度学习算法模型结合所述质量和特征相关参数，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，包括：

通过两个相机从不同的角度同时获取待检测光伏组件的左右两张图像；

对所述左右两张图像进行特征点提取，得到所述左右两张图像的特征点并得到所述两张图像的视差图；

根据所述视差图，得到所述待检测光伏组件表面的三维信息，根据所述三维信息对所述待检测光伏组件进行三维重建，得到三维模型；

基于所述三维模型，获取所述待检测光伏组件的质量和特征相关参数；

提供深度学习算法模型；

根据深度学习算法模型结合所述质量和特征相关参数，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统。

2.根据权利要求1所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，还包括：

在所述左右两张图像进行获取的同时，通过读码器获取所述待检测光伏组件的生产信息，将所述生产信息与所述左右两张图像合并后的信息，以及缺陷等级和/或缺陷类型信息进行储存。

3.根据权利要求1所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，对所述左右两张图像进行特征点提取，包括：

对所述左右两张图像使用包括角点检测法、边缘检测法、SURF特征提取法进行特征点提取。

4.根据权利要求1所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，根据所述视差图，得到所述待检测光伏组件表面的三维信息，包括：

采用极坐标系变换法或柱面变换法计算所述待检测光伏组件表面的三维信息。

5.根据权利要求1所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，所述质量和特征相关参数包括：所述待检测光伏组件的组件内部缺陷、外观质量、几何尺寸、表面平整度、角度。

6.根据权利要求1所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，所述深度学习算法模型通过如下方法获取：

制作多个极限尺寸的缺陷模型；

通过工业相机拍摄所述缺陷模型的三维图像；

测量并调整所述缺陷模型实际尺寸与对应的所述三维图像尺寸的误差，以所述缺陷模型实际尺寸作为缺陷样本，或者，记录由极限尺寸的缺陷生成的三维图像尺寸，作为缺陷样本；

选择深度学习算法，输入所述缺陷样本的三维图像数据，包括无缺陷、不同缺陷等级和/或缺陷类型的判断标准，使深度学习算法进行学习和迭代，得到深度学习算法模型；

输入全新的三维图像数据，验证深度学习算法模型对缺陷等级和/或缺陷类型判断的准确性。

7.根据权利要求1所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统，包括：

将所述缺陷等级分成无缺陷、轻微缺陷和严重缺陷；

若判断光伏组件为无缺陷，则继续进入后续生产工序；

若判断光伏组件为轻微缺陷，轻微缺陷不影响光伏组件性能，则通过识别光伏组件条码，拍摄缺陷部分照片，并在生产系统内添加缺陷类型标签，以便后期追溯，随后，光伏组件进入后续工序；

若判断光伏组件为严重缺陷，严重缺陷影响性能及使用安全，通过识别光伏组件条码，拍摄缺陷部分照片，并在生产系统内添加缺陷类型标签，以便后期追溯，光伏组件不进入后续工序，按照所述缺陷类型，进行相应返工或报废处理。

8.根据权利要求1所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，所述缺陷类型包括：电池片划伤不良；电池栅线的断栅、分散虚印和粗栅；电池片排列的片间距不良、串间距不良、串长不良、电池串错位、电池串内错位；边框凹陷和边框安装错位；边框上脏污和硅胶残留。

9.根据权利要求6所述的一种基于双目视觉的光伏组件缺陷检测方法，其特征在于，所述深度学习算法采用神经网络算法。

10.一种基于双目视觉的光伏缺陷检测系统，其特征在于，包括：

图像获取单元，用于通过两个相机从不同的角度同时获取待检测光伏组件的左右两张图像；

视差图获取单元，用于对所述左右两张图像进行特征点提取，得到所述两张图像的特征点并得到所述左右两张图像的视差图；

三维模型获取单元，用于根据所述视差图，得到所述待检测光伏组件表面的三维信息，根据所述三维信息对所述待检测光伏组件进行三维重建，得到三维模型；

质量和特征相关参数获取单元，用于基于所述三维模型，获取所述待检测光伏组件的质量和特征相关参数；

深度学习算法模型单元，用于提供深度学习算法模型；

缺陷分级判断单元，用于根据深度学习算法模型结合所述质量和特征相关参数，对所述待检测光伏组件进行缺陷等级和/或缺陷类型判断，并根据判断结果生成相应的缺陷处理指令至生产系统。