CN112950633A - 一种基于线结构光的铝合金焊缝表面缺陷检测方法 - Google Patents
一种基于线结构光的铝合金焊缝表面缺陷检测方法 Download PDFInfo
- Publication number
- CN112950633A CN112950633A CN202110417692.XA CN202110417692A CN112950633A CN 112950633 A CN112950633 A CN 112950633A CN 202110417692 A CN202110417692 A CN 202110417692A CN 112950633 A CN112950633 A CN 112950633A
- Authority
- CN
- China
- Prior art keywords
- container
- point
- subscripts
- points
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000007547 defect Effects 0.000 title claims abstract description 30
- 229910000838 Al alloy Inorganic materials 0.000 title claims abstract description 20
- 238000003466 welding Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000005484 gravity Effects 0.000 claims abstract description 14
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000009499 grossing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000002950 deficient Effects 0.000 claims description 13
- 229910052751 metal Inorganic materials 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 239000000956 alloy Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种基于线结构光的铝合金焊缝表面缺陷检测方法。属于焊缝视觉检测技术领域。方法包括以下步骤:图像预处理,畸变矫正、ROI提取、灰度化处理以及高斯滤波;中心线提取,利用灰度重心法提取激光条纹中心线,转换为数据;断点集修补,线性插值修补断点,设定阈值判断气孔,并标记修补;数据平滑处理,采用线性平滑技术去除中心线噪声数据;焊缝拐点检测,采用斜率截距法以及迭代法定位焊缝拐点;特征参数提取,提取焊缝的参数,设定阈值判断缺陷类型。本发明提高了焊缝分析的准确性和效率,同时结合实际情况设定阈值,在试验检测中取得了较好的结果。
Description
技术领域
本发明涉及焊缝视觉检测技术领域,具体涉及一种基于线结构光的铝合金焊缝表面缺陷检测方法。
背景技术
传统的外观检测一般由有经验的检测人员目测和简单测量来实现,检测结果缺乏可靠以及精确性,无法量化评价且难以进行长时间的观测。激光视觉检测法在众多焊缝传感器检测技术中,凭借其非接触性,可获取检测对象工件尺寸且具有高精度的优势,获得广泛的应用,成为目前焊接领域最具发展前景的传感检测技术。但由于铝合金焊件表面高反光的特性以及环境光的影响,原始焊缝图像中的孤立噪声点很多,严重影响图像的后续处理,进而影响焊缝缺陷的识别准确性。焊后表面质量缺陷主要包括气孔、焊瘤等焊接缺陷,难以通过单一的特征参数进行区别。
中国发明专利,申请号2020112511041,公开了一种线结构光点云的焊缝检测方法。这种方法只能对焊缝外形进行初步判断,并不能完全起到焊缝检测的效果。
发明内容
本发明的目的在于提供一种基于线结构光的铝合金焊缝表面缺陷检测方法,在工业传送带上,激光传感器实时传输数据。以传送带方向上某一时刻的图像作为先验信息,进行焊缝检测。
具体的技术方案为:
基于线结构光的铝合金焊缝表面缺陷检测方法,所述方法包括:
步骤1图像预处理;
步骤2中心线提取:
利用灰度重心法提取具有亚像素精度的激光条纹中心线,将中心线坐标信息分别存储到x容器和y容器中;
步骤3断点集修补:
先利用线性插值技术修改断点和白噪声,再设定阈值遍历判断断点集是否为气孔并标记,采用拉格朗日插值算法修补断点集;
步骤4数据平滑处理步骤:
采用5点线性平滑技术去除对应中心线纵坐标的y容器的噪声数据;
步骤5:焊缝拐点检测步骤,采用斜率截距法检测拐点;
步骤6:特征参数提取步骤,提取焊缝的参数,设定阈值判断有无缺陷。
进一步的,所述方法中步骤1具体为:
利用张氏标定法提取的摄像机内参和外参矫正图像畸变;利用模版匹配技术创建ROI感兴趣区域,定位焊缝位置,缩小图像需处理面积,减少运算量;灰度化处理,将3通道图像转换为单通道图像;降噪处理,利用高斯滤波进行降噪处理,去除高斯噪声。
进一步的,所述方法中步骤2具体为:
利用灰度重心法提取具有亚像素精度的激光条纹中心线,遍历图像的横坐标,将符合阈值的点的灰度值和纵坐标存入数组,根据灰度重心法公式计算每一列的重心坐标存入y容器中,将横坐标存入x容器中,本发明中的容器均采用C++的vector容器存储数据。
进一步的,所述方法中步骤3具体包括:
步骤31遍历y容器的下标,寻找存储的值为0且相邻左右下标的值都不为0的下标,利用线性插值技术计算相邻两点均值,赋值到该下标对应的值中;寻找存储值不为0,但其相邻左右的值为0的下标,将其下标对应的值赋值为0;
步骤32利用C++的vector容器嵌套实现动态二维数组,本质是vector容器里的每一个元素也是vector类型。创建一个存储断点集的容器,内层容器存储单个连续断点集,外层容器存储多个内层容器,遍历y容器,将连续的断点集对应的x容器值依次存入存储断点集的容器;
步骤33遍历断点集容器,设定阈值判断是否为气孔,并标记气孔的下标以及计算气孔大小;
步骤34采用拉格朗日插值算法依次填补断点集容器存储的下标所对应的y容器的值,插值节点选取为断点集存储的值对应在y容器的下标附近左右各8个点,且这16个点在y容器中要求都不为0,否则删去为0的点。
进一步的,所述方法中步骤4具体包括:
判断y容器大小,小于5则保持不变,大于等于5则遍历y容器的下标,采用5点线性平滑计算其相邻5个点的加权平均值,去除信号的噪声成分。
进一步的,所述方法中步骤5具体包括:
步骤51首先采用最小二乘法分别直线拟合两端母材区域,点的选取设置为y容器的左右两端各20个点,分别得到拟合直线方程;
步骤52计算最高点(即y容器最大值)分别到两条拟合直线的距离,选取较小的距离d作为判断焊缝图像是否为无缺陷的初步标准,当计算的距离小于设定的阈值,则初步判断其为无缺陷焊缝,否则为有缺陷焊缝,通过公式一进行距离计算:
其中di为下标为i的点到拟合直线的距离,a、b和c为拟合直线的系数,xi,yi分别为下标为i对应x容器和y容器的值;
步骤53如经过第步骤52判定若为无缺陷焊缝,则选取y容器的起点以及终点计算这两点的直线方程,创建一个bs容器存储截距,遍历y容器的下标,通过公式二进行截距计算:
bi=yi-kxi公式二
其中bi为下标为i的点的截距,k为y容器的起点和终点的直线方程的斜率,xi,yi分别为下标为i对应x容器和y容器的值;
步骤54遍历bs容器得到最值,最小值设定为左拐点,最大值设定为右拐点,分别记录其下标;
步骤55经过第2步判定若为有缺陷焊缝,则选取y容器的起点和最大值,计算这两点的直线方程,同第3步一致,通过这两点的直线方程计算从起点到最大值的截距,得到截距中的最小值设定为左拐点,再选取y容器的最大值和终点计算这两点的直线方程,计算出最大值到终点的截距,设定截距中的最小值为右拐点;
步骤56执行精确定位,通过迭代的方式选取拐点的左右各5个点,选取其中最左点和最右点拟合直线,计算选取的点分别到该直线的距离,得到距离该直线最远的点标记为拐点,记录其下标,判断是否与迭代前拐点下标一致,一致则退出循环,不一致继续迭代,迭代5次,若还是不一致,则选取前3次迭代结果计算其下标均值标记为拐点。
进一步的,所述方法中步骤6具体包括:
根据步骤3的判断结果,若存在气孔,则判断其为含气孔的焊缝。
利用步骤5提取的左右拐点,设定这两个拐点的下标之差为焊缝宽度,转换为实际距离;
通过左右拐点拟合直线方程,计算y容器中距离拟合直线最远的距离,转换为实际距离;
左右拐点之间的区域为焊缝区域,计算该区域的峰度系数,代表其陡峭程度;
计算焊缝区域标准偏差,代表其波动情况;
计算焊缝区域的直线偏差,代表焊缝区域偏离左右拐点所形成的直线的程度;
根据步骤5判定结果,如果步骤5初步判定为无缺陷焊缝,且计算得到的直线偏差在设定阈值内,则可判断其为无缺陷焊缝,如果步骤5初步判定为有缺陷焊缝,且计算得到的焊缝高度大于一定阈值,以及直线偏差大于一定阈值则可判定为含有焊瘤缺陷的焊缝,如果步骤5初步判定为有缺陷焊缝,且计算得到的焊缝高度在一定阈值区间内,以及直线偏差也在一定阈值区间内,则可判定为含有咬边缺陷的焊缝。
本发明的上述技术方案的有益效果如下:
本发明开发出了一种基于线结构光的铝合金焊缝表面缺陷检测方法,解决了现有技术中传统的外观检测一般由有经验的检测人员目测和简单测量来实现,检测结果缺乏可靠以及精确性,无法量化评价且难以进行长时间的观测的问题。通过对激光视觉检测法的改进,实现了对焊后表面气孔、焊瘤等焊接缺陷进行准确识别和区分,本发明的焊缝检测方法弥补了人工检测无法量化、容易疲劳的缺点,提高了焊缝分析的准确性和效率,同时结合实际情况设定阈值,在试验检测中取得了较好的结果,在铝合金焊接焊缝检测中具有很大的应用价值。
附图说明
图1为本发明的方法流程示意图;
图2为某一时刻的焊缝截面图;
图3为焊瘤缺陷样本示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
在传送带运输过程中,将激光传感器固定于机器人手臂末端的夹具上,摄像机采集图像并回传到工控机中,以便分析焊缝质量。根据铝合金特性以及采集要求,本发明提出了一种基于线结构光的铝合金焊缝表面缺陷检测方法,如图1所示,现给出某一时刻的截面数据作为实例加以阐述。
步骤1、图像预处理:
透镜由于制造精度以及组装工艺的偏差会引入畸变,导致原始图像的失真,以及影响后续测量距离的准确度。结合张氏标定法通过20张标定图片获取摄像机的内参和外参系数,对之后相机拍摄的图像进行矫正,得到畸变相对很小的图像。张氏标定法的具体操作如下:首先准备标定图片,这里采用正方形格子且边长为0.5cm的8行10列的黑白棋盘格标定板作为相机标定的标定物,标定图片需要使用标定板在不同位置、不同角度、不同姿态下拍摄,这里拍摄20张标定图片;对每张标定图片,提取角点信息,采用OpenCV中的findChessboardCorners函数提取角点;对每张标定图片提取亚像素精度的角点信息,目的是为了提高标定精度,降低相机标定偏差,采用OpenCV的cornerSubPix函数提取亚像素角点信息;在每张棋盘格标定图片上绘制找到的7行9列的内角点;相机标定,获取到棋盘格标定图片的内角点图像坐标之后,计算相机内参和外参系数,采用OpenCV的calibrateCamera函数进行标定;对标定结果进行评价,对空间三维点进行重新投影计算,得到点在图像上新的投影点的坐标,计算投影坐标和亚像素角点坐标之间的偏差,偏差越小,标定结果越好;查看标定效果,利用标定结果对棋盘格进行矫正。
针对采集的图像较大以及焊缝区域占图像部分较小的特点,故采用带角度的模版匹配技术来定位焊缝大致位置,通过计算带焊缝区域的模板图像和原始图像的匹配度,匹配程度越大,两者相同的可能性越大,从而寻找出匹配度最大的ROI感兴趣区域,可以有效减少后续计算量。
由于环境光受天气影响,且铝合金材料具有高反光等特性,激光传感器采集的图像容易产生毛刺噪声以及反光导致的局部亮斑等,对后续操作提取的准确度以及精度造成影响,因此要按照特性进行针对性的去除或调整。首先进行灰度化处理,将3通道图像转换为单通道图,减少计算量,其次进行降噪处理,利用高斯滤波进行降噪处理,经实验,其他滤波方式处理后的图像经中心线提取均有些许数据抖动,而7×7的滤波核较好地保留了中心线的连续性。
步骤2、中心线提取
灰度重心法是基于激光条纹能量中心的经典算法之一,具有速度快,提取精确到亚像素级别等优点,因此被广泛研究和应用。它利用激光条纹法线方向的灰度变化特点,结合条纹纵坐标,以灰度值加权计算出的重心作为条纹中心位置,遍历图像横坐标,将符合阈值的点的灰度值以及纵坐标读取出来,这里阈值选择50,以下是使用灰度重心法计算得到的中心线纵坐标:
其中,zk表示激光条纹图像中第k列条纹中心的纵坐标,pi表示第i个像素点的灰度值,yi表示图像中第i个像素点对应的纵坐标,n表示激光条纹中包含的像素点个数。
当遍历到不存在灰度值的一列时,标记断点,并将0存入y容器中。
其它中心线提取算法,如几何中心法,难以提取到亚像素精度,且容易受到噪声影响。
步骤3、断点集修补
断点的存在影响后续焊缝特征拐点的定位以及特征参数的提取,因此必须修补断点,且不能单纯地采用线性插值修补,由于断点附近的点是有变化趋势等特征,当断点个数为一个时,可以采用线性插值方法修补断点,当连续的断点个数大于一个时,则采用拉格朗日插值算法能利用给定的点建立合适的插值函数,近似替代未知点,修补的点能较好地体现变化的趋势。
线性插值,遍历y容器的下标,寻找存储的值为0的下标,且相邻左右坐标的值都不为0,利用线性插值技术计算相邻两点均值,赋值到该下标,以及寻找存储值不为0,但其相邻左右的值为0的下标,将其赋值为0;
首先创建一个存储断点集的容器,内层容器存储单个连续断点集,外层容器存储多个内存容器,遍历y容器,将连续的断点集对应的x容器值依次存入断点集容器;
遍历断点集容器,设定阈值判断是否为气孔,并标记气孔的下标以及计算气孔大小;
采用拉格朗日插值算法依次填补断点集容器存储的下标所对应的y容器的值,插值节点选取为断点集存储的值对应在y容器的下标附近左右各8个点,且这16个点在y容器中要求都不为0,否则删去为0的点。拉格朗日插值公式如下所示:
其中x表示待插值点坐标,n表示插值节点的个数,xi表示插值节点的横坐标,yi表示xi所对应的纵坐标,即对应y容器的值,L(x)表示待插值点计算所得的纵坐标。
步骤4、数据平滑处理
首先判断y容器大小,小于5则保持不变,大于等于5则遍历y容器的下标,采用5点线性平滑计算其相邻5个点的加权平均值,去除信号的噪声成分,选取5点线性平滑的原因是计算速度快,效果好。除却前2个点和最后2个点保持不变,中间点的5点线性平滑计算公式如下:
y(i)=(y(i-2)+y(i-1)+y(i)+y(i+1)+y(i+2))/5.0
其中y(i)表示y容器中下标为i对应的值,同理,y(i-2)表示y容器中下标为i-2对应的值。
步骤5、焊缝拐点检测
常见的特征点提取算法有多边形逼近法、滑动向量法、Hough变换、斜率截距法、斜率解析法、角点检测法等,针对对象为错配的铝合金焊件,经实验尝试多种方法,可能存在阈值设置不灵活等问题,最终选用斜率截距法为主要方法。由于无缺陷和有缺陷焊缝不能采用单一的特征点提取方法,故从判别有无缺陷开始。
1)首先采用最小二乘法分别直线拟合两端母材区域,点的选取设置为y容器的左右两端各20个点,分别得到拟合直线方程;
2)计算最高点(即y容器最大值)分别到两条拟合直线的距离,选取较小的距离d作为判断焊缝图像是否为无缺陷的初步标准,当计算的距离小于设定的阈值,则初步判断其为无缺陷焊缝,否则为有缺陷焊缝,通过下式进行距离计算:
其中d为点到直线的距离,a、b和c为拟合直线的系数,x,y分别为x容器和y容器的值。
3)经过第2步判定若为无缺陷焊缝,则选取y容器的起点以及终点计算这两点的直线方程,创建一个b容器存储截距,遍历y容器的下标,通过下式进行截距计算:
b=y-kx
其中b为截距,k为y容器的起点和终点的直线方程的斜率,x,y分别为x容器和y容器的值;
4)遍历b容器得到最值,最小值设定为左拐点,最大值设定为右拐点,分别记录其下标;
5)经过第2步判定若为有缺陷焊缝,其中d的阈值设定为10像素,则选取y容器的起点和最大值,计算这两点的直线方程,同第3步一致,通过这两点的直线方程计算从起点到最大值的截距,得到截距中的最小值设定为左拐点,再选取y容器的最大值和终点计算这两点的直线方程,计算出最大值到终点的截距,设定截距中的最小值为右拐点;
6)条纹中心线可能受噪声干扰导致拐点附近出现多个极值点,从而造成错误识别,因此需要进行精确定位。经过上步的粗定位,通过迭代的方式选取拐点的左右各5个点,选取其中最左点和最右点拟合直线,计算选取的点分别到该直线的距离,得到距离该直线最远的点标记为拐点,记录其下标,判断是否与迭代前拐点下标一致,一致则退出循环,不一致继续迭代,迭代5次,若还是不一致,则选取前3次迭代结果计算其下标均值标记为拐点。经过上述操作,能够准确鲁棒地识别焊缝左右拐点特征。
步骤6、特征参数提取
根据步骤3的判断结果,若存在气孔,则判断其为含气孔的焊缝。
如图2所示,利用步骤5提取的左右拐点x_L和x_R,设定这两个点的坐标分别为(xL,yL)和(xR,yR),设定这两个拐点的下标之差为焊缝宽度,则焊缝宽度为|xL-xR|,再转换为实际距离;
通过左右拐点拟合直线方程,计算y容器中(x_H,y[x_H])距离拟合直线直线最远设定为焊缝高度h,再转换为实际距离,其中,x_H为y容器的下标,y[x_H]为y容器中下标x_H对应的值;
左右拐点之间的区域为焊缝区域,计算该区域的峰度系数Kout,代表其陡峭程度,通过下式进行峰度系数计算:
计算焊缝区域标准偏差S,代表其波动情况,通过下式进行标准偏差计算:
计算焊缝区域的直线偏差Si,代表焊缝区域偏离左右拐点所形成的直线的程度,通过下式进行直线偏差的计算:
其中,a,b为x_L和x_R两点的拟合直线(y=ax+b)的系数。
根据步骤5判定结果,如果步骤5初步判定为无缺陷焊缝,且计算得到的焊缝高度在设定阈值15像素内以及直线偏差在设定的阈值8内,则可判断其为无缺陷焊缝,如果步骤5初步判定为有缺陷焊缝,且计算得到的焊缝高度大于设定的阈值45像素,以及直线偏差大于设定的阈值30像素,则可判定为含有焊瘤缺陷的焊缝,如果步骤5初步判定为有缺陷焊缝,且计算得到的焊缝高度在一定阈值区间内(25~35像素),以及直线偏差也在一定阈值区间内(15~25像素),则可判定为含有咬边缺陷的焊缝。如图2、图3所示,经实验研究,单从焊缝宽度、峰度系数、标准偏差不能很好地区别上述缺陷。
以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于线结构光的铝合金焊缝表面缺陷检测方法,其特征在于,所述方法包括:
步骤1图像预处理;
步骤2中心线提取:
利用灰度重心法提取具有亚像素精度的激光条纹中心线,将中心线坐标信息分别存储到x容器和y容器中;
步骤3断点集修补:
先利用线性插值技术修改断点和白噪声,再设定阈值遍历判断断点集是否为气孔并标记,采用拉格朗日插值算法修补断点集;
步骤4数据平滑处理步骤:
采用5点线性平滑技术去除对应中心线纵坐标的y容器的噪声数据;
步骤5:焊缝拐点检测步骤,采用斜率截距法检测拐点;
步骤6:特征参数提取步骤,提取焊缝的参数,设定阈值判断有无缺陷。
2.如权利要求1所述的基于线结构光的铝合金焊缝表面缺陷检测方法,其特征在于,所述方法中步骤1具体为:
利用张氏标定法提取的摄像机内参和外参矫正图像畸变;利用模版匹配技术创建ROI感兴趣区域,定位焊缝位置,缩小图像需处理面积,减少运算量;灰度化处理,将3通道图像转换为单通道图像;降噪处理,利用高斯滤波进行降噪处理,去除高斯噪声。
3.如权利要求2所述的基于线结构光的铝合金焊缝表面缺陷检测方法,其特征在于,所述方法中步骤2具体为:
利用灰度重心法提取具有亚像素精度的激光条纹中心线,遍历图像的横坐标,将符合阈值的点的灰度值和纵坐标存入数组,根据灰度重心法公式计算每一列的重心坐标存入y容器中,将横坐标存入x容器中。
4.如权利要求3所述的基于线结构光的铝合金焊缝表面缺陷检测方法,其特征在于,所述方法中步骤3具体包括:
步骤31遍历y容器的下标,寻找存储的值为0且相邻左右下标的值都不为0的下标,利用线性插值技术计算相邻两点均值,赋值到该下标对应的值中;寻找存储值不为0,但其相邻左右的值为0的下标,将其下标对应的值赋值为0;
步骤32创建一个存储断点集的容器,内层容器存储单个连续断点集,外层容器存储多个内层容器,遍历y容器,将连续的断点集对应的x容器值依次存入存储断点集的容器;
步骤33遍历断点集容器,设定阈值判断是否为气孔,并标记气孔的下标以及计算气孔大小;
步骤34采用拉格朗日插值算法依次填补断点集容器存储的下标所对应的y容器的值,插值节点选取为断点集存储的值对应在y容器的下标附近左右各8个点,且这16个点在y容器中要求都不为0,否则删去为0的点。
5.如权利要求4所述的基于线结构光的铝合金焊缝表面缺陷检测方法,其特征在于,所述方法中步骤4具体包括:
判断y容器大小,小于5则保持不变,大于等于5则遍历y容器的下标,采用5点线性平滑计算其相邻5个点的加权平均值,去除信号的噪声成分。
6.如权利要求5所述的基于线结构光的铝合金焊缝表面缺陷检测方法,其特征在于,所述方法中步骤5具体包括:
步骤51首先采用最小二乘法分别直线拟合两端母材区域,点的选取设置为y容器的左右两端各20个点,分别得到拟合直线方程;
步骤52计算最高点(即y容器最大值)分别到两条拟合直线的距离,选取较小的距离d作为判断焊缝图像是否为无缺陷的初步标准,当计算的距离小于设定的阈值,则初步判断其为无缺陷焊缝,否则为有缺陷焊缝,通过公式一进行距离计算:
其中di为下标为i的点到拟合直线的距离,a、b和c为拟合直线的系数,xi,yi分别为下标为i对应x容器和y容器的值;
步骤53如经过第步骤52判定若为无缺陷焊缝,则选取y容器的起点以及终点计算这两点的直线方程,创建一个bs容器存储截距,遍历y容器的下标,通过公式二进行截距计算:
bi=yi-kxi 公式二
其中bi为下标为i的点的截距,k为y容器的起点和终点的直线方程的斜率,xi,yi分别为下标为i对应x容器和y容器的值;
步骤54遍历bs容器得到最值,最小值设定为左拐点,最大值设定为右拐点,分别记录其下标;
步骤55经过第2步判定若为有缺陷焊缝,则选取y容器的起点和最大值,计算这两点的直线方程,同第3步一致,通过这两点的直线方程计算从起点到最大值的截距,得到截距中的最小值设定为左拐点,再选取y容器的最大值和终点计算这两点的直线方程,计算出最大值到终点的截距,设定截距中的最小值为右拐点;
步骤56执行精确定位,通过迭代的方式选取拐点的左右各5个点,选取其中最左点和最右点拟合直线,计算选取的点分别到该直线的距离,得到距离该直线最远的点标记为拐点,记录其下标,判断是否与迭代前拐点下标一致,一致则退出循环,不一致继续迭代,迭代5次,若还是不一致,则选取前3次迭代结果计算其下标均值标记为拐点。
7.如权利要求6所述的基于线结构光的铝合金焊缝表面缺陷检测方法,其特征在于,所述方法中步骤6具体包括:
根据步骤3的判断结果,若存在气孔,则判断其为含气孔的焊缝。
利用步骤5提取的左右拐点,设定这两个拐点的下标之差为焊缝宽度,转换为实际距离;
通过左右拐点拟合直线方程,计算y容器中距离拟合直线最远的距离,转换为实际距离;
左右拐点之间的区域为焊缝区域,计算该区域的峰度系数,代表其陡峭程度;
计算焊缝区域标准偏差,代表其波动情况;
计算焊缝区域的直线偏差,代表焊缝区域偏离左右拐点所形成的直线的程度;
根据步骤5判定结果,如果步骤5初步判定为无缺陷焊缝,且计算得到的直线偏差在设定阈值内,则可判断其为无缺陷焊缝,如果步骤5初步判定为有缺陷焊缝,且计算得到的焊缝高度大于一定阈值,以及直线偏差大于一定阈值则可判定为含有焊瘤缺陷的焊缝,如果步骤5初步判定为有缺陷焊缝,且计算得到的焊缝高度在一定阈值区间内,以及直线偏差也在一定阈值区间内,则可判定为含有咬边缺陷的焊缝。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110417692.XA CN112950633B (zh) | 2021-04-19 | 2021-04-19 | 一种基于线结构光的铝合金焊缝表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110417692.XA CN112950633B (zh) | 2021-04-19 | 2021-04-19 | 一种基于线结构光的铝合金焊缝表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112950633A true CN112950633A (zh) | 2021-06-11 |
CN112950633B CN112950633B (zh) | 2023-06-23 |
Family
ID=76232995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110417692.XA Active CN112950633B (zh) | 2021-04-19 | 2021-04-19 | 一种基于线结构光的铝合金焊缝表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112950633B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114252449A (zh) * | 2021-09-27 | 2022-03-29 | 上海电机学院 | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 |
CN115018827A (zh) * | 2022-08-03 | 2022-09-06 | 山东亿昌装配式建筑科技有限公司 | 一种建材焊缝质量自动检测方法 |
CN115131322A (zh) * | 2022-07-04 | 2022-09-30 | 浙江省武林建筑装饰集团有限公司 | 一种建筑外立面铝板表面缺陷检测方法 |
CN115184362A (zh) * | 2022-06-30 | 2022-10-14 | 中科苏州智能计算技术研究院 | 一种基于结构光投影的快速缺陷检测方法 |
CN117314920A (zh) * | 2023-11-30 | 2023-12-29 | 江苏高特高金属科技有限公司 | 一种金属管道x光焊缝表面焊瘤检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000246439A (ja) * | 1999-03-04 | 2000-09-12 | Nippon Steel Weld Prod & Eng Co Ltd | スケジュ−ルに従がう溶接装置および溶接方法 |
CN107842713A (zh) * | 2017-11-03 | 2018-03-27 | 东北大学 | 基于knn‑svr的海底管道漏磁数据缺失插补方法 |
CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
CN109540903A (zh) * | 2018-11-28 | 2019-03-29 | 合肥常青机械股份有限公司 | 基于模式识别的自动化生产过程质量智能诊断方法 |
CN111260708A (zh) * | 2020-01-14 | 2020-06-09 | 华中科技大学鄂州工业技术研究院 | 一种线结构光中心提取方法及系统 |
CN111292303A (zh) * | 2020-01-21 | 2020-06-16 | 湖北文理学院 | 焊缝缺陷类别检测方法、装置、电子设备及存储介质 |
CN111724369A (zh) * | 2020-06-17 | 2020-09-29 | 北京智机科技有限公司 | 一种u型焊缝检测方法 |
CN111965030A (zh) * | 2020-08-25 | 2020-11-20 | 中国石油天然气集团有限公司 | 一种金属材料母材和焊缝拉伸强度及屈服强度预测方法 |
WO2021000524A1 (zh) * | 2019-07-03 | 2021-01-07 | 研祥智能科技股份有限公司 | 孔位保护门检测方法、装置、计算机设备和存储介质 |
-
2021
- 2021-04-19 CN CN202110417692.XA patent/CN112950633B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000246439A (ja) * | 1999-03-04 | 2000-09-12 | Nippon Steel Weld Prod & Eng Co Ltd | スケジュ−ルに従がう溶接装置および溶接方法 |
CN107842713A (zh) * | 2017-11-03 | 2018-03-27 | 东北大学 | 基于knn‑svr的海底管道漏磁数据缺失插补方法 |
CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
CN109540903A (zh) * | 2018-11-28 | 2019-03-29 | 合肥常青机械股份有限公司 | 基于模式识别的自动化生产过程质量智能诊断方法 |
WO2021000524A1 (zh) * | 2019-07-03 | 2021-01-07 | 研祥智能科技股份有限公司 | 孔位保护门检测方法、装置、计算机设备和存储介质 |
CN111260708A (zh) * | 2020-01-14 | 2020-06-09 | 华中科技大学鄂州工业技术研究院 | 一种线结构光中心提取方法及系统 |
CN111292303A (zh) * | 2020-01-21 | 2020-06-16 | 湖北文理学院 | 焊缝缺陷类别检测方法、装置、电子设备及存储介质 |
CN111724369A (zh) * | 2020-06-17 | 2020-09-29 | 北京智机科技有限公司 | 一种u型焊缝检测方法 |
CN111965030A (zh) * | 2020-08-25 | 2020-11-20 | 中国石油天然气集团有限公司 | 一种金属材料母材和焊缝拉伸强度及屈服强度预测方法 |
Non-Patent Citations (7)
Title |
---|
丁晓东: ""焊缝表面成形激光视觉在线测量及质量评估"", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
丁晓东: ""焊缝表面成形激光视觉在线测量及质量评估"", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 01, 15 January 2019 (2019-01-15), pages 22 - 87 * |
刘康: ""基于视觉的焊缝成形图像检测与分析"", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
刘康: ""基于视觉的焊缝成形图像检测与分析"", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 03, 15 March 2021 (2021-03-15), pages 57 - 59 * |
张万江;许敏;: "基于结构光视觉的激光拼焊焊缝背面质量检测方法研究", 仪表技术与传感器, no. 09 * |
霍平等: ""一种基于结构光的V型焊缝实时图像处理方法"", 《电焊机》 * |
霍平等: ""一种基于结构光的V型焊缝实时图像处理方法"", 《电焊机》, no. 12, 31 December 2014 (2014-12-31), pages 144 - 148 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114252449A (zh) * | 2021-09-27 | 2022-03-29 | 上海电机学院 | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 |
CN114252449B (zh) * | 2021-09-27 | 2023-10-24 | 上海电机学院 | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 |
CN115184362A (zh) * | 2022-06-30 | 2022-10-14 | 中科苏州智能计算技术研究院 | 一种基于结构光投影的快速缺陷检测方法 |
CN115184362B (zh) * | 2022-06-30 | 2024-05-28 | 中科苏州智能计算技术研究院 | 一种基于结构光投影的快速缺陷检测方法 |
CN115131322A (zh) * | 2022-07-04 | 2022-09-30 | 浙江省武林建筑装饰集团有限公司 | 一种建筑外立面铝板表面缺陷检测方法 |
CN115018827A (zh) * | 2022-08-03 | 2022-09-06 | 山东亿昌装配式建筑科技有限公司 | 一种建材焊缝质量自动检测方法 |
CN117314920A (zh) * | 2023-11-30 | 2023-12-29 | 江苏高特高金属科技有限公司 | 一种金属管道x光焊缝表面焊瘤检测方法 |
CN117314920B (zh) * | 2023-11-30 | 2024-02-02 | 江苏高特高金属科技有限公司 | 一种金属管道x光焊缝表面焊瘤检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112950633B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112950633A (zh) | 一种基于线结构光的铝合金焊缝表面缺陷检测方法 | |
CN107876970B (zh) | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 | |
CN109886298B (zh) | 一种基于卷积神经网络的焊缝质量检测方法 | |
CN115797354B (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
CN110987944B (zh) | 一种基于包络线识别的激光钎焊焊缝表面缺陷检测方法 | |
CN111738985B (zh) | 一种焊缝轮廓视觉检测方法及系统 | |
CN114240944B (zh) | 一种基于点云信息的焊接缺陷检测方法 | |
CN110503638B (zh) | 螺旋胶质量在线检测方法 | |
CN115803619A (zh) | 信息处理装置、判定方法、以及信息处理程序 | |
CN111724369A (zh) | 一种u型焊缝检测方法 | |
CN112862794A (zh) | 一种基于结构光的角焊缝外观检测方法 | |
CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
CN114252449B (zh) | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 | |
CN111798423B (zh) | 一种混凝土裂缝图片拼接与检测方法 | |
Li et al. | Multiple weld seam laser vision recognition method based on the IPCE algorithm | |
CN114719749A (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
CN116772723A (zh) | 一种基于结构光成像的焊缝质量检测方法 | |
CN108986160A (zh) | 一种含有镜面反射光干扰的图像激光中心线提取方法 | |
CN111353981A (zh) | 基于机器视觉的齿轮检测方法、系统及存储介质 | |
CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
CN117455831A (zh) | 一种基于图像轮廓二阶差分的直角焊缝特征点识别方法 | |
CN117564441A (zh) | 基于机器视觉的搅拌摩擦焊焊缝质量监控系统及方法 | |
JP4293653B2 (ja) | 外観検査方法 | |
CN117444441A (zh) | 一种搭接焊缝智能焊接方法 | |
Wang et al. | Method for detecting internal cracks in joints of composite metal materials based on dual-channel feature fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |