CN117291918B - 一种基于三维点云的汽车冲压件缺陷检测方法 - Google Patents

Abstract

本发明涉及汽车冲压件缺陷检测技术领域，且公开了一种基于三维点云的汽车冲压件缺陷检测方法，通过图像采集系统，采用基于SURF的图像配准方法初步判断是否有缺陷，再使用基于深度学习的目标检测方法对缺陷件进行缺陷定位和类别判断，将采集到的图像信息最优映射到标准图像上，使得两幅图像对应于空间同一位置的点一一对应，实现对冲压件划痕、凹坑、裂纹等显性缺陷的快速检测；使用结构光传感器，获取点云数据，通过点云特征和模型匹配相结合的算法对颈缩、隐裂、褶皱等隐性缺陷实现精确检测。本发明采用上述基于三维点云的汽车冲压件缺陷检测方法，能够对汽车冲压件的显性缺陷隐性缺陷进行精准检测。

Description

一种基于三维点云的汽车冲压件缺陷检测方法

技术领域

本发明涉及汽车冲压件缺陷检测技术领域，尤其是涉及一种基于三维点云的汽车冲压件缺陷检测方法。

背景技术

汽车冲压件是汽车制造领域的重要的生产零件之一，汽车冲压件的测量与检测也是目前各大汽车厂及零部件厂的质量需求。由于冲压件制造工艺的复杂多样，导致其制造缺陷类型复杂多样。传统基于人工的汽车冲压件检测方法存在效率低、错误率大等问题，不但检测效率低，还存在工件质量隐患。

相对于传统的人工冲压件缺陷检测方法，基于视觉图像处理的方法由于效率高、鲁棒性强，已经成为工业领域缺陷检测的主流方法。但是纯视觉方法还无法对颈缩、压痕等细微的隐性缺陷进行可靠的检测。近年来，三维激光扫描技术快速发展，为检测一些视觉方法难以处理的冲压件缺陷提供了新方法。

发明内容

本发明的目的是提供一种基于三维点云的汽车冲压件缺陷检测方法，解决传统汽车冲压件检测方技术无法对隐性缺陷进行精准检测的问题。

为实现上述目的，本发明提供了一种基于三维点云的汽车冲压件缺陷检测方法，该汽车冲压件缺陷检测方法使用了一种汽车冲压件缺陷检测装置，汽车冲压件缺陷检测装置包括传送带，传送带的传送方向上依次设置有支架和机械手臂组，支架的顶端设置有图像采集系统，机械手臂组包括传感器机械手臂和抓取机械手臂，传感器机械手臂设置在传送带的一侧，抓取机械手臂设置在传送带的另一侧，传感器机械手臂上设置有点云采集结构，点云采集结构设置在图像采集系统的传送带传送方向的后方；

该汽车冲压件缺陷检测方法包括以下步骤：

步骤一，待测冲压件首先通过支架顶端的图像采集系统，进行显性缺陷检测，若检测为合格品，则进行下一道工序，若检测为缺陷件，则通过抓取机械手臂分拣出来；

步骤二，对于无显性缺陷的冲压件，一部分随传送带到达传感器机械手臂的点云采集结构进行隐形缺陷检测，另一部分通过抓取机械手臂抓取至另一传送带，通过另一传送带上的点云采集结构进行隐形缺陷检测；

步骤三，对于传送带上无隐性缺陷的冲压件，随传送带一进入下一道工序，对于传送带上有隐性缺陷的冲压件使用抓取机械手臂分拣出来；对于另一传送带上有隐性缺陷的冲压件使用抓取机械手臂分拣出来，另一传送带上无隐性缺陷的冲压件使用抓取机械手臂抓取至原传送带进入下一道工序。

优选的，图像采集系统为高清相机与配套光源结合的系统。

优选的，对于显性缺陷，使用图像采集系统中的高清相机及配套光源，采用基于SURF的图像配准方法，将采集到的图像信息映射到标准图像上，使两幅图像对应于空间同一位置的点一一对应，通过映射后的图像有无缺陷信息判断是否有缺陷，完成对冲压件显性缺陷的检测。

优选的，点云采集结构为结构光传感器，对于隐性缺陷，通过结构光传感器采集点云数据，对采集到的点云数据进行点云去噪，并计算点云的法向量和曲率，使用基于点云区域生长的聚类分割算法对冲压件平坦区域和特征区域进行判断。

优选的，对于平坦区域，采用双边权重算法寻找缺陷位置与标准区域的区别，在标准区域中，从任意点到其相邻点的向量方向垂直于法向向量方向，在缺陷区域中，从目标点到其相邻点的矢量方向不垂直于法向矢量方向，判断平坦区域是否有隐式缺陷。

优选的，对于特征区域，通过冲压件点云与标准模型匹配的方法，计算待测件点云与标准模型之间的距离，通过设定距离阈值，判断特征区域是否有隐式缺陷。

因此，本发明采用上述一种基于三维点云的汽车冲压件缺陷检测方法，具有以下有益效果：

（1）本发明采用图像采集系统，采用基于SURF的图像配准方法初步判断是否有缺陷，将采集到的图像信息最优映射到标准图像上，使得两幅图像对应于空间同一位置的点一一对应，实现对冲压件划痕、凹坑、裂纹等显性缺陷的快速检测；

（2）本发明采用对点云采集系统采集冲压件的点云数据并进行点云去噪，并计算点云的法向量和曲率，使用基于点云区域生长的聚类分割算法对冲压件平坦区域和特征区域进行判断；对于平坦区域，采用双边权重算法寻找缺陷位置与标准区域的区别，进而判断平坦区域是否有隐性缺陷；对于特征区域，通过点云特征和模型匹配相结合的算法对颈缩、隐裂、褶皱等隐性缺陷实现精确检测；

（3）本发明通过汽车冲压件缺陷检测系统能够检测冲压件的显性缺陷和隐性缺陷，还能够应用于生产实现在线检测，能够对大面积冲压件实现快速扫描，提升检测效率，缩减检测时间。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例的汽车冲压件缺陷检测装置结构示意图；

图2为本发明实施例的隐性缺陷检测步骤流程图；

图3为本发明实施例的双边权重算法计算出缺陷位置示意图；

图4为本发明实施例的汽车冲压件点云数据与标准模型示意图；

图5为本发明实施例的汽车冲压件点云数据与标准模型配准示意图；

图6为本发明实施例的计算冲压件点云与标准模型距离示意图；

图7为本发明实施例的基于SURF方法的图像配准方法流程图；

图8为本发明实施例的pointnet网络结构示意图；

图9为本发明实施例的图像采集系统示意图。

附图标记

1、传送带；2、支架；3、图像采集系统；4、传感器机械手臂；5、抓取机械手臂；6、点云采集结构；7、冲压件。

具体实施方式

以下通过附图和实施例对本发明的技术方案作进一步说明。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

实施例

如图1所示，本发明所述的一种汽车冲压件缺陷检测装置，汽车冲压件缺陷检测装置包括传送带1，传送带1的传送方向上依次设置有支架2和机械手臂组。支架2的顶端设置有图像采集系统3，机械手臂组包括传感器机械手臂4和抓取机械手臂5，传感器机械手臂4设置在传送带1的一侧，抓取机械手臂5设置在传送带1的另一侧。传感器机械手臂4上设置有点云采集结构6。点云采集结构6设置在图像采集系统3的传送带1传送方向的后方。如图9所示，图像采集系统3为高清相机与配套光源结合的系统，点云采集结构6为结构光传感器。

汽车冲压件缺陷检测装置对冲压件7表面易观察类缺陷（下文称为显性缺陷）和仅有厚度微弱变化类缺陷（下文称隐性缺陷）分别检测。

如图2所示，本发明所述的一种基于三维点云的汽车冲压件缺陷检测方法，包括以下步骤：

步骤一，待测冲压件7首先通过支架2顶端的图像采集系统3，进行显性缺陷检测，若检测为合格品，则进行下一道工序，若检测为缺陷件，则通过抓取机械手臂5分拣出来。

对于显性缺陷，使用图像采集系统3中的高清相机及配套光源，采用基于SURF的图像配准方法，将采集到的图像信息映射到标准图像上，使两幅图像对应于空间同一位置的点一一对应，通过映射后的图像有无缺陷信息判断是否有缺陷，完成对冲压件7显性缺陷的检测。

步骤二，对于无显性缺陷的冲压件7，一部分随传送带1到达传感器机械手臂4的点云采集结构6进行隐形缺陷检测，另一部分通过抓取机械手臂5抓取至另一传送带1，通过另一传送带1上的点云采集结构6进行隐形缺陷检测。

步骤三，对于传送带1上无隐性缺陷的冲压件7，随传送带1一进入下一道工序，对于传送带1上有隐性缺陷的冲压件7使用抓取机械手臂5分拣出来；对于另一传送带1上有隐性缺陷的冲压件7使用抓取机械手臂5分拣出来，另一传送带1上无隐性缺陷的冲压件7使用抓取机械手臂5抓取至原传送带1进入下一道工序。

对于隐性缺陷，通过结构光传感器采集点云数据，对采集到的点云数据进行点云去噪，并计算点云的法向量和曲率，使用基于点云区域生长的聚类分割算法对冲压件7平坦区域和特征区域进行判断。

如图3所示，对于平坦区域，采用双边权重算法寻找缺陷位置与标准区域的区别，在标准区域中，从任意点到其相邻点的向量方向垂直于法向向量方向，在缺陷区域中，从目标点到其相邻点的矢量方向不垂直于法向矢量方向，判断平坦区域是否有隐式缺陷。

对于特征区域，通过冲压件7点云与标准模型匹配的方法，计算待测件点云与标准模型之间的距离，通过设定距离阈值，判断特征区域是否有隐式缺陷。

本实施例中采用的具体的检测装置以及具体方法为：

①数据获取及处理：

图像数据获取：

采用MER2-1220-32U3M/C型号相机完成图像采集工作，参数如下：

；

点云数据获取：

如图4、图5、图6所示，为了满足本检测需求，本实施例选择了Keyence公司生产的LJ-G200型号的线结构光传感器。LJ条列可以实现多个点同时测量，其采用的影像传感器保证了测量过程的一致性，此外，Quatro连接系统取样速度在同类型传感器中最高，在保证高速取样的同时可以保证高测量精度。该传感器的工作原理是直射式激光三角法，传感器通过激光发射器发射激光束，激光束打到被测物体表面，经过漫反射被接收器接收，得到的数据传输到电脑，进行数据处理后，便能得到被测物体的宽度和高度两个方向的点云数据，本实施例将被测物体表面宽度方向的点云数据用X轴计量，高度方向的点云数据用Z轴计量。该设备测量结果基本不受外界因素（光线强度以及被测物体表面色彩等）影响，测量结果稳定，具有高精度、响应快等特点。LJ-G200的参数数据如表所示，该结构光传感器满足本次实验所需精度的要求。

LJ-G200的参数

；

②基于SURF方法图像配准：

在本实施例中，为了有效地检测冲压件7表面的缺陷，采用了一种基于SURF（Speeded Up Robust Features）的图像配准方法，如图7所示。首先，运用SURF算法提取了两幅冲压件7表面图像的特征点，并计算了它们的特征描述符。为了快速而准确地匹配这些特征点，采用了K-D树最近邻搜索法，该方法具有高效的性能，能够有效地找到相应特征点之间的匹配关系。随后，为了剔除由于噪声或其他干扰因素引起的误匹配点，应用了RANSAC（Random Sample Consensus）算法，该算法能够鲁棒地估计出两幅冲压件7表面图像之间的变换矩阵。这一变换矩阵用于将两幅图像进行精确的配准，使其在相应的区域对齐，从而实现了冲压件7表面缺陷的可靠检测和定位，并通过计算图像偏差可以检测出该冲压件7图像是否存在显性缺陷。通过此方法能够实现高质量的冲压件7表面缺陷检测，为质量控制和生产过程监测提供了有力支持。

③基于点云区域生长的聚类分割算法：

本实施例采用了一种基于点云区域生长的聚类分割算法，以有效将获取到的点云数据细分为平坦区域和特征区域。算法的流程如下：首先，对点云数据计算法向量和曲率，并按照曲率升序进行排序。然后，在曲率最低的点作为初始种子点。接下来，对初始种子点周围的邻近点与种子点云进行比较。在此过程中，设定了法线夹角阈值，用以筛选种子点的邻域点。只有当邻域点的法线与当前种子点的法线之间的夹角小于阈值时，该邻域点才会被纳入当前区域。

随后设置了曲率阈值，以确定邻域点的曲率是否足够小，表明它们位于相似的曲率弯曲程度下。对每个邻域点，检查其曲率是否小于曲率阈值，如果是的话，将该邻域点添加到种子点序列中，并将当前种子点删除，以便继续生长新的种子点。只有当邻域点满足法线夹角和曲率阈值时，才会被视为可用于种子点。

以上过程将重复进行，直到种子点序列被清空。此时，一个区域的生长过程完成，该区域被加入到聚类数组中，以表示一个平坦区域或特征区域。随后，对剩余点重复执行上述步骤，直到遍历完所有点。通过这一算法，能够有效地将点云数据分割为不同的区域，区分平坦区域和特征区域，为点云分析和处理提供了有力的支持。

④基于双边权重算法实现平坦区域缺陷提取：

双边权重积分算法的关键是找到缺陷区域和标准区域之间的差异，在标准区域中，从任意点到其相邻点的向量方向垂直于法向向量方向。在缺陷区域中，从目标点到其相邻点的矢量方向并不垂直于法相矢量方向。通过上面的分析使用下面公式计算点云中每个点与法向上整个邻域之间的向量差。

（1）

是球面附近的点，n是派的法向量，N(p)是邻居点的集合，m是派的邻居点的数量，因为不同的球形社区点的数量是不同的，每个采样点的邻居需要规范化以避免计算误差引起的不同数量的点附近，/>是/>和/>之间的欧氏距离，/>是/>在正态方向上的距离。通过双边权重算法即可实现平坦区域点云的隐性缺陷检测。

⑤点云配准实现特征区域缺陷提取：

在冲压件7特征区域表面隐性缺陷的检测中，点云配准方法具有较好的表现力。本实施例采用了两个阶段的配准策略，首先利用四点法（4-Point Congruent Sets）进行粗配准，随后运用点到面最近点迭代算法（Point-to-Plane Iterative Closest Point）进行进一步的精确配准。四点法基于共形集的概念，通过随机选取基准点和找到最接近的四个点，实现初始的点云配准，这种方法可以初步实现原始点云和目标点云之间的结合，为后续配准提供了初步的估计。而点到面ICP算法则在考虑点云中的法向信息的基础上，通过最近邻搜索和法向量的投影距离计算，使用最小二乘法进行刚性变换的优化，从而实现点云的精确配准。这一策略在面对表面具有曲率变化的情况下表现出显著的精度提升，为冲压件7特征区域表面隐性缺陷的检测提供了可靠的方法。

以下为点到面最近点迭代算法的核心公式：

（2）

（3）

其中为原始点云，/>为目标点云，R,T为变换矩阵，d为原始点云到目标点云拟合平面的距离，/>为目标点云对应点邻域的法向量。

⑥基于深度学习的缺陷分类：

本实施例通过pointnet网络实现点云缺陷的分类，如图8所示，该网络的设计主要包括两个关键部分：PointNet Encoder 和 PointNet Decoder。PointNet Encoder 负责将点云中的每个点的坐标作为输入，将其映射到一个固定长度的高维向量表示中。在这个过程中，多层感知器（MLP）和池化操作被巧妙地结合，以捕捉每个点的局部和全局特征。通过这种方式，点云中的每个点都被赋予了一个具有丰富语义信息的特征向量。这些局部特征随后被整合到一个全局特征向量中，这一向量可以被看作是整个点云的抽象表示。PointNet Decoder 部分则利用这个全局特征向量，执行具体的任务，比如分类或分割。在这个阶段，额外的神经网络层被引入，用于将全局特征映射到具体的类别标签或分割边界。这个过程是端到端的，意味着整个网络可以通过反向传播算法进行训练，从而使得网络能够自动学习到最优的特征表示，以便于后续任务的执行。

因此，本发明采用上述一种基于三维点云的汽车冲压件缺陷检测方法，对冲压件的表面易观察类缺陷（划痕、凹坑等）和仅有厚度微弱变化类缺陷进行检测（颈缩、隐裂等），实现生产的自动化在线检测。对于表面易观察类缺陷（显示缺陷），采用高清相机及配套光源，利用图像处理检测范围大的优势，采用基于SURF的图像配准方法初步判断是否有缺陷，再使用基于深度学习的目标检测方法对缺陷件进行缺陷定位和类别判断，将采集到的图像信息最优映射到标准图像上，使得两幅图像对应于空间同一位置的点一一对应，实现对冲压件划痕、凹坑、裂纹等显性缺陷的快速检测。对于仅有厚度微弱变化的缺陷（隐性缺陷），使用结构光传感器，获取点云数据，通过点云特征和模型匹配相结合的算法对颈缩、隐裂、褶皱等隐性缺陷实现精确检测。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (5)

1.一种基于三维点云的汽车冲压件缺陷检测方法，其特征在于：该汽车冲压件缺陷检测方法使用了一种汽车冲压件缺陷检测装置，汽车冲压件缺陷检测装置包括传送带，传送带的传送方向上依次设置有支架和机械手臂组，支架的顶端设置有图像采集系统，机械手臂组包括传感器机械手臂和抓取机械手臂，传感器机械手臂设置在传送带的一侧，抓取机械手臂设置在传送带的另一侧，传感器机械手臂上设置有点云采集结构，点云采集结构设置在图像采集系统的传送带传送方向的后方；

该汽车冲压件缺陷检测方法包括以下步骤：

步骤一，待测冲压件首先通过支架顶端的图像采集系统，进行显性缺陷检测，若检测为合格品，则进行下一道工序，若检测为缺陷件，则通过抓取机械手臂分拣出来；

步骤二，对于无显性缺陷的冲压件，一部分随传送带到达传感器机械手臂的点云采集结构进行隐形缺陷检测，另一部分通过抓取机械手臂抓取至另一传送带，通过另一传送带上的点云采集结构进行隐形缺陷检测；

步骤三，对于传送带上无隐性缺陷的冲压件，随传送带进入下一道工序，对于传送带上有隐性缺陷的冲压件使用抓取机械手臂分拣出来；对于另一传送带上有隐性缺陷的冲压件使用抓取机械手臂分拣出来，另一传送带上无隐性缺陷的冲压件使用抓取机械手臂抓取至原传送带进入下一道工序；

点云采集结构为结构光传感器，对于隐性缺陷，通过结构光传感器采集点云数据，对采集到的点云数据进行点云去噪，并计算点云的法向量和曲率，使用基于点云区域生长的聚类分割算法对冲压件平坦区域和特征区域进行判断，判断冲压件平坦区域和特征区域是否有隐形缺陷。

2.根据权利要求1所述的一种基于三维点云的汽车冲压件缺陷检测方法，其特征在于：图像采集系统为高清相机与配套光源结合的系统。

3.根据权利要求1所述的一种基于三维点云的汽车冲压件缺陷检测方法，其特征在于：对于显性缺陷，使用图像采集系统中的高清相机及配套光源，采用基于SURF的图像配准方法，将采集到的图像信息映射到标准图像上，使两幅图像对应于空间同一位置的点一一对应，通过映射后的图像有无缺陷信息判断是否有缺陷，完成对冲压件显性缺陷的检测。

4.根据权利要求1所述的一种基于三维点云的汽车冲压件缺陷检测方法，其特征在于：对于平坦区域，采用双边权重算法寻找缺陷位置与标准区域的区别，在标准区域中，从任意点到其相邻点的向量方向垂直于法向向量方向，在缺陷区域中，从目标点到其相邻点的矢量方向不垂直于法向矢量方向，判断平坦区域是否有隐式缺陷。

5.根据权利要求1所述的一种基于三维点云的汽车冲压件缺陷检测方法，其特征在于：对于特征区域，通过冲压件点云与标准模型匹配的方法，计算待测件点云与标准模型之间的距离，通过设定距离阈值，判断特征区域是否有隐式缺陷。