CN113894390B - 一种脉冲钨极氩弧焊熔透状态检测方系统、终端、介质 - Google Patents

Abstract

本发明属于焊接技术图像处理技术领域，公开了一种脉冲钨极氩弧焊熔透状态检测方系统、终端、介质，获取多次焊接过程中的激光反射条纹图像，将获得的图像分为训练数据、验证数据、测试数据；构建深度神经网络并进行优化，同时定义模型参数；并利用训练数据、验证数据、测试数据分别对构建的深度神经网络模型进行训练、验证、测试与评估，将训练好的模型网络进行焊接熔透检测。本发明对激光视觉法得到与熔深相关条纹图像进行基于改进LeNet‑5深度神经网络框架识别学习训练后的检测分类,对测试图像熔深识别准确率可达98.6％，可实现焊接状态实时调控，减少人工参与度，提高焊接质量。

Description

一种脉冲钨极氩弧焊熔透状态检测方系统、终端、介质

技术领域

本发明属于焊接技术图像处理技术领域，尤其涉及一种脉冲钨极氩弧焊熔透状态检测方系统、终端、介质。

背景技术

目前，脉冲钨极氩弧焊(P-GTAW)在材料加工工艺中有着无以替代的作用，是当今制造业中应用最为广泛的焊接方法之一。利用周期性脉冲变化的电流精确控制热输入，在熔池凝结和熔化期间，基值电流维持电弧稳定燃烧，峰值电流熔化母材。相比于其他焊接方法，具有电弧稳定性高、热量输入精确可控、易于实现自动化等优点，广泛应用于航空航天、压力容器等精密结构件的打底焊中。

然而现有的熔透状态检测方法，包括电弧电压法、电弧声以及视觉法，普遍存在识别精度低，检测效果差，鲁棒性差且难以实现从熔池特征端到熔透状态端的识别等问题；训练后模型的泛化能力差，缺乏实用价值。

通过上述分析，现有技术存在的问题及缺陷为：电弧电压法存在问题为识别精度低，无法适用于高频脉冲及交流电源下的焊接状态识别；电弧声法存在的问题为易受外界干扰，弧声与熔透相关性较低；视觉法存在的问题为缺乏有效提取熔池特征的手段。

解决以上问题及缺陷的难度为：上述三种方法都存在适应性差的问题，即：每种方法都只适用于一种或少数几种焊接方法，推广难度较大，且无法实现从熔池特征端到熔透状态端的识别。

解决以上问题及缺陷的意义为：该专利所述系统使用激光视觉法对熔池表面特征进行放大，适应行较好；且在激光视觉法基础上使用深度神经网络进行特征识别，响应速度快，部署难度和成本低，对焊接装置系统的自动化程度具有推动，可以解放人力，对提高焊工工作环境质量，提高焊接质量，以及节能环保方面都具有重大意义。

发明内容

针对现有技术存在的问题，本发明提供了一种脉冲钨极氩弧焊熔透状态检测方系统、终端、介质，具体涉及一种基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法。

本发明是这样实现的，一种基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法，所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法包括：

获取多次焊接过程中的激光反射条纹图像，将获得的图像分为训练数据、验证数据、测试数据；构建深度神经网络并进行优化，同时定义模型参数；并利用训练数据、验证数据、测试数据分别对构建的深度神经网络模型进行训练、验证、测试与评估，将训练好的模型网络进行焊接熔透检测。

进一步，所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法包括以下步骤：

步骤一，利用搭建的熔池振荡频率激光视觉平台进行多次焊接实验，获取非熔化极气体保护焊不同熔透状态(未熔透、临界熔透、全熔透)下熔池振荡激光条纹图像；

步骤二，将获取的非熔化极气体保护焊熔池振荡激光条纹图像添加未熔透、临界熔透、全熔透三种熔透状态的标签，并按照添加的标签进行三种不同熔透状态的激光条纹图像分类，建立熔池不同熔透状态激光条纹图像数据库；

步骤三，根据构建的熔池不同熔透状态激光条纹图像数据库，选择合理的LeNet-5网络参数并进行训练，建立熔池熔透状态分类模型，测试后得到图像对应的标签和准确率；

步骤四，将训练好的模型进行模型部署，通过连接高速摄像实时传入焊接过程激光反射条纹图像，计算实时反馈熔透信息。

进一步，所述用于传感熔池振荡反射激光条纹图像的激光视觉平台包括焊接装置及激光视觉检测装置；

所述焊接装置包括钨极氩弧焊焊枪、焊接电源、保护气瓶，焊件；

所述激光视觉检测装置包括激光器、激光器固定架、成像屏、高速摄像机和图像处理工作站。

进一步，所述激光视觉检测装置包括：

所述激光器发射光束可调五线条纹与单线条纹，所述激光器与平面的夹角为30°～50°；

所述成像屏、所述高速摄像机放置于激光器的另一侧，用于提取反射激光条纹明暗变化图像；所述高速摄像机，用于采集脉冲钨极氩弧焊熔池振荡激光反射条纹并反馈至图像处理工作站；

所述图像处理工作站包括：模型训练模块及模型部署模块；所述模型训练模块，用于将划分得到的训练数据集代入初始模型中进行训练；所述模型部署模块，用于进行训练完成的模型部署，通过高速摄像实时输入数据流对焊接熔透进行实时计算反馈熔透状态。

进一步，所述步骤二包括：

将高速摄像拍摄到的激光反射条纹图像按照实际熔透状态划分为未熔透、全熔透、临界熔透，并添加对应标签，得到熔透信息数据库；利用转换程序将所有图像裁剪后全部打乱，按照0.42、0.28、0.30的比例封装生成训练数据集、验证数据集和测试数据集。

进一步，步骤三中，所述根据构建的熔池熔透状态激光条纹图像数据库，选择合理的LeNet-5网络参数并进行训练，建立熔池熔透状态分类模型，测试后得到图像对应的标签和准确率包括：

(1)定义母文件夹路径、模型参数保存路径、测试集图片路径、分类错误图片保存路径、三种数据集文件路径；

(2)定义LeNet-5网络结构，并对所述LeNet-5网络结构进行优化改进；定义每次调用数据流大小及调用参数；

(3)定义分类错误图片保存规则；定义损失函数SoftmaxCrossEntropy；定义模型所采用训练参数并对模型进行初始化；

(4)定义训练过程，使用训练数据集和验证数据集进行模型网络学习及验证网络分类准确性，使用测试数据集对学习结果进行测试评估，在训练结束后保存训练好的模型网络参数；

(5)定义分类错误图片处理方法，将对模型网络进行评估后的测试集图像进行统计，将其中分类错误图像单独归类，并确定分类错误图片的共同点。

进一步，步骤(2)中，所述对LeNet-5网络结构进行优化改进包括：

减少两个卷积层的通道数；将全连接层数量减少为两个同时略微增加第一全连接层的输出，并在其后增加一个丢弃层；除输出层外，各层激活函数选用ReLU函数，并在输出层后增加了一个Sigmoid激活函数；在各层后增加批量归一化层进行归一化处理。

进一步，步骤(3)中，所述模型训练超参数包括学习率、模型训练次数、每次使用数据数量；

所述每次使用数据数量包括：训练集使用图片数量、验证集使用图片数量、测试集使用图片数量。

进一步，所述使用测试数据集对学习结果进行评估包括：

计算熔透状态图像分类模型识别成功率；计算公式为：Accuracy＝测试集中预测结果与实际标签相同的数量/测试集大小。

进一步，步骤四中，所述将训练好的模型进行部署，通过连接高速摄像实时传入焊接过程激光反射条纹图像，计算反馈熔透信息，调控焊接参数包括：

定义模型网络参数保存路径，并将训练完成的模型网络参数保存；

在所述熔池振荡频率激光视觉平台进行新一轮实验时，调用已保存的模型网络参数，并连接高速摄像进行数据流采集；同时将输入图像进行裁剪预处理，所得图片大小与训练数据集中图片大小相同；

将数据流图片代入模型网络进行计算，判定其熔透状态，并根据其熔透状态实时调整焊接电流，焊接电压和焊接速度及其他焊接参数。

本发明的另一目的在于提供一种实施所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法的基于深度神经网络的脉冲钨极氩弧焊熔透状态检测系统。

本发明的另一目的在于提供一种信息处理终端，所述信息处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

本发明提供了一种基于改进LeNet-5深度神经网络对激光视觉法得到非熔化极气体保护焊熔池表面反射激光条纹图像的识别分类方法，本发明对激光视觉法得到与熔深相关条纹图像进行基于改进LeNet-5深度神经网络框架识别学习训练后的检测分类，对测试图像熔深识别准确率可达98.6％，模型部署后输入图片进行分类，图像识别准确率98.2％。该系统可实现焊接状态实时调控，减少人工参与度，提高焊接质量。

附图说明

图1是本发明实施例提供的基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法原理图。

图2是本发明实施例提供的基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法流程图。

图3是本发明实施例提供的熔池振荡频率激光视觉平台示意图。

图4是本发明实施例提供的图像工作站结构示意图。

图5(a)是本发明实施例提供的未熔透条件非熔化极气体保护焊表面激光反射条纹示意图。

图5(b)是本发明实施例提供的全熔透条件非熔化极气体保护焊表面激光反射条纹示意图。

图5(c)是本发明实施例提供的临界熔透条件非熔化极气体保护焊表面激光反射条纹示意图。

图6是本发明实施例提供的深度神经网络模型结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法包括：

获取多次焊接过程中的激光反射条纹图像，将获得的图像分为训练数据、验证数据、测试数据；构建深度神经网络并进行优化，同时定义模型参数；并利用训练数据、验证数据、测试数据分别对构建的深度神经网络模型进行训练、验证、测试与评估，将训练好的模型网络进行焊接熔透检测。

如图2所示，本发明实施例提供的基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法包括以下步骤：

S101，利用搭建的熔池振荡频率激光视觉平台进行多次焊接实验，获取非熔化极气体保护焊不同熔透状态(未熔透、临界熔透、全熔透)下熔池振荡激光条纹图像；

S102，将获取的非熔化极气体保护焊熔池振荡激光条纹图像添加未熔透、临界熔透、全熔透三种熔透状态的标签，并按照添加的标签进行三种不同熔透状态的激光条纹图像分类，建立熔池不同熔透状态激光条纹图像数据库；

S103，根据构建的熔池不同熔透状态激光条纹图像数据库，选择合理的LeNet-5网络参数并进行训练，建立熔池熔透状态分类模型，测试后得到图像对应的标签和准确率；

S104，将训练好的模型进行模型部署，通过连接高速摄像实时传入焊接过程激光反射条纹图像，计算实时反馈熔透信息。

如图3所示，本发明实施例提供的用于传感熔池振荡反射激光条纹图像的激光视觉平台包括焊接装置及激光视觉检测装置；

焊接装置包括钨极氩弧焊焊枪、焊接电源、保护气瓶，焊件；

激光视觉检测装置包括激光器、激光器固定架、成像屏、高速摄像机和图像处理工作站。

本发明实施例提供的激光视觉检测装置包括：

激光器发射光束可调五线条纹与单线条纹，激光器与平面的夹角为30°～50°；

成像屏、所述高速摄像机放置于激光器的另一侧，用于提取反射激光条纹明暗变化图像。高速摄像机，用于采集脉冲钨极氩弧焊熔池振荡激光反射条纹并反馈至图像处理工作站；

如图4所示本发明实施例提供的图像处理工作站包括：模型训练模块及模型部署模块；所述模型训练模块，用于将划分得到的训练数据集代入初始模型中进行训练；所述模型部署模块，用于进行训练完成的模型部署，通过高速摄像实时输入数据流对焊接熔透进行实时计算反馈熔透状态。

本发明实施例提供的步骤S102包括：

将高速摄像拍摄到的激光反射条纹图像按照实际熔透状态划分为未熔透、全熔透、临界熔透，并添加对应标签，得到熔透信息数据库；利用转换程序将所有图像裁剪后全部打乱，按照0.42、0.28、0.30的比例封装生成训练数据集、验证数据集和测试数据集。

步骤S103中，本发明实施例提供的根据构建的熔池熔透状态激光条纹图像数据库，选择合理的LeNet-5网络参数并进行训练，建立熔池熔透状态分类模型，测试后得到图像对应的标签和准确率包括：

(1)定义母文件夹路径、模型参数保存路径、测试集图片路径、分类错误图片保存路径、三种数据集文件路径；

(2)定义LeNet-5网络结构，并对所述LeNet-5网络结构进行优化改进；定义每次调用数据流大小及调用参数；

(3)定义分类错误图片保存规则；定义损失函数SoftmaxCrossEntropy；定义模型所采用训练参数并对模型进行初始化；

(4)定义训练过程，使用训练数据集和验证数据集进行模型网络学习及验证网络分类准确性，使用测试数据集对学习结果进行测试评估，在训练结束后保存训练好的模型网络参数；

(5)定义分类错误图片处理方法，将对模型网络进行评估后的测试集图像进行统计，将其中分类错误图像单独归类，并确定分类错误图片的共同点。

步骤(2)中，本发明实施例提供的对LeNet-5网络结构进行优化改进包括：

减少两个卷积层的通道数；将全连接层数量减少为两个同时略微增加第一全连接层的输出，并在其后增加一个丢弃层；除输出层外，各层激活函数选用ReLU函数，并在输出层后增加了一个Sigmoid激活函数；在各层后增加批量归一化层进行归一化处理。

步骤(3)中，本发明实施例提供的模型训练超参数包括学习率、模型训练次数、每次使用数据数量；

所述每次使用数据数量包括：训练集使用图片数量、验证集使用图片数量、测试集使用图片数量。

本发明实施例提供的使用测试数据集对学习结果进行评估包括：

计算熔透状态图像分类模型识别成功率；计算公式为：Accuracy＝测试集中预测结果与实际标签相同的数量/测试集大小。

本发明实施例提供的将训练好的模型进行部署，通过连接高速摄像实时传入焊接过程激光反射条纹图像，计算反馈熔透信息，调控焊接参数包括：

定义模型网络参数保存路径，并将训练完成的模型网络参数保存；

在所述熔池振荡频率激光视觉平台进行新一轮实验时，调用已保存的模型网络参数，并连接高速摄像进行数据流采集；同时将输入图像进行裁剪预处理，所得图片大小与训练数据集中图片大小相同；

将数据流图片代入模型网络进行计算，判定其熔透状态，并根据其熔透状态实时调整焊接电流，焊接电压和焊接速度及其他焊接参数。

下面结合具体实施例对本发明的技术方案做进一步说明。

实施例1：

一种基于深度神经网络的非熔化极气体保护焊熔透状态检测方法，包括以下步骤：

步骤S1：搭建熔池振荡频率激光视觉平台；实验平台包括焊接系统及激光视觉检测系统，其中焊接系统包括钨极氩弧焊焊枪、焊接电源、保护气瓶，焊件；激光视觉检测系统包括激光器、激光器固定架、成像屏、高速摄像机和图像处理工作站，高速摄像机用于采集脉冲钨极氩弧焊熔池振荡激光反射条纹并反馈至图像处理工作站；

步骤S2：进行多次焊接实验，获得非熔化极气体保护焊熔池振荡激光条纹图像；所获得的所有图像数据传入图像处理工作站中的模型训练模块进入后续步骤S3、S4、S5；

步骤S3：添加熔透状态标签、将图像按标签分类，建立熔池熔透状态激光条纹图像数据库；

步骤S4：根据步骤S3中的数据库，对LeNet-5网络选择合理网络参数并进行训练，建立熔池熔透状态分类模型，测试后得到图像对应的标签和准确率。

步骤S5：将S4中训练好的模型进行部署，通过连接高速摄像实时传入焊接过程激光反射条纹图像，计算反馈熔透信息，调控焊接参数。

其中，所述非熔化极气体保护焊采用脉冲电流，峰值电流提供外激力，促使产生熔池振荡现象，基值电流时刻初始阶段熔池振荡剧烈，可采集熔池振荡频率。

其中，所述激光器与所述焊枪的轴线位于同一平面，激光器发射光束可调五线条纹与单线条纹，且激光器与平面的夹角为30°～50°。

其中，所述成像屏、高速摄像机放置于激光器的另一侧，用于提取反射激光条纹明暗变化图像。

其中，所述步骤S2中的图像处理工作站，其特征为模型训练模块及模型部署模块，模型训练模块功能为将制作完成的数据集代入初始模型中进行训练，模型部署模块功能为将训练完成的模型部署，通过高速摄像实时输入数据流对焊接熔透进行实时计算反馈。

其中，所述步骤S3中，对高速摄像拍摄到的激光反射条纹图像进行标签化，将图像以未熔透/全熔透/临界熔透三类以文件夹形式进行汇总，作为熔透信息数据库；其中，文件夹以Critical(临界熔透，标签为0),Partial(未熔透，标签为1)，Full(全熔透,标签为2)命名。将所有图片根据其反映实际熔透状态归类于三个文件夹中，每张图片只有一个标签，之后使用转换程序将所有照片适当裁剪后全部打乱并按0.42、0.28、0.30的比例封装生成训练数据集、验证数据集和测试数据集并保存。

其中，所述非熔化极气体保护焊表面激光反射条纹特征为：未熔透条件下，在脉冲基值阶段，由于电弧力减弱，熔池会发生回弹产生振荡，由于熔池底部固态金属的托举作用以及熔深较浅，使得其表面振荡以纵波为主，振幅幅度较小且较为规则，具体表现为激光反射条纹图形较为集中，清晰度较高，图形较为对称；全熔透条件下，由于焊缝背部完全熔透，使得熔池体积较大，液态金属较多，且失去了底部固态金属支撑，其振荡形式为横波，特征为振幅幅度较大，反映在激光反射条纹图形中，则为反射条纹分布较广，图形较为分散，反射图像清晰度低；在临界熔透条件下，焊缝背部熔池较小，因此临界熔透状态其熔池振荡同时具有未熔透和全熔透两者特征，表现为振荡模式同时具有纵波和横波一高一低两种频率，体现在熔池表面激光反射条纹图像中则特征为条纹图像形成类“8”字型图形。如图5所示。

其中，所述步骤S4具体包括以下步骤：

步骤S4.1：定义数据路径、模型参数保存路径、测试集图片路径、分类错误图片保存路径、三种数据集文件路径；

步骤S4.2：定义LeNet-5网络结构，并对其框架进行优化改进；

步骤S4.3：定义每次调用数据流大小及调用参数；

步骤S4.4：定义分类错误图片保存规则；

步骤S4.5：定义损失函数SoftmaxCrossEntropy；

步骤S4.6：定义模型所采用训练参数并对模型进行初始化；

步骤S4.7：定义训练过程，使用训练数据集和验证数据集进行网络学习及测试，最后使用测试数据集对学习结果进行评估，在训练结束后保存训练好的网络参数；

步骤S4.8：定义分类错误图片处理方法，将对网络进行评估后的测试集图片进行统计，将其中分类错误图片单独归类以评估网络结构合理性。

其中，所述步骤S5具体包括以下步骤：

步骤S5.1：定义模型网络参数保存路径，并将训练完成的模型网络参数保存；

步骤S5.2：在实验台上进行新一轮实验时，调用已保存的模型网络参数，并连接高速摄像进行数据流采集；

步骤S5.3：将数据流图片代入模型网络进行计算，判定其熔透状态，并根据其熔透状态实时调整焊接参数。

其中，所述步骤S4.2中，为了适应识别对象特征，防止过拟合，对LeNet-5网路的改进包括:减少了两个卷积层的通道数；将全连接层由三个减少为两个但略微增加了第一全连接层的输出，并在其后增加了一个丢弃层以减小过拟合；除输出层外，各层激活函数由Sigmoid函数换为ReLU函数，并在输出层增加了一个Sigmoid激活函数；在各层后增加批量归一化层归一化。

其中，所述步骤S4.6中，模型训练参数包括学习率(Learning_rate＝0.3)、模型训练次数(Epoch＝10)、每次使用数据数量(训练集使用图片数量Batch_size_train＝1260、验证集使用图片数量Batch_size_valid＝840、测试集使用图片数量Batch_size_test＝900)。

其中，所述步骤S4.7中，计算熔透状态图像分类模型识别成功率，计算公式为:Accuracy＝测试集中预测结果与实际标签相同的数量/测试集大小。

其中，所述步骤4.8中，对所得图像进行评估，寻找其共同点，为下一步网络模型结构完善改进提供方向。

其中，所述步骤S5.2中，需要将输入图像进行裁剪预处理，所得图片大小与训练数据集中图片大小相同。

其中，所述步骤S5.3中，对所获得焊接实时熔透状态进行焊接参数调整，调整参数包括焊接电流，焊接电压和焊接速度。

下面结合具体实验数据对本发明的积极效果作进一步描述。

在本实验中，对训练数据集及验证数据集所训练的深度神经网络使用测试数据集图片进行验证，其中测试数据集共包含900张图片，测试后分类错误图片共12张，神经网络准确率达98.6％。随后对模型进行部署，共输入1800张图片使用训练后的神经网络进行分类，人工统计分类错误图片。其中，将临界熔透状态图片分至未熔透组共8张，将临界熔透状态图片分至全熔透组共10张，其余两种状态图片分至临界熔透组共15张，图像识别准确率98.2％。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法，其特征在于，所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法包括： 获取多次焊接过程中的激光反射条纹图像，将获得的图像分为训练数据、验证数据、测试数据；构建深度神经网络并进行优化，同时定义模型参数；并利用训练数据、验证数据、测试数据分别对构建的深度神经网络模型进行训练、验证、测试与评估，将训练好的模型网络进行焊接熔透检测；

所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法包括以下步骤： 步骤一，利用搭建的熔池振荡频率激光视觉平台进行多次焊接实验，获取非熔化极气体保护焊不同熔透状态下熔池振荡激光条纹图像； 步骤二，将获取的非熔化极气体保护焊熔池振荡激光条纹图像添加未熔透、临界熔透、全熔透三种熔透状态的标签，并按照添加的标签进行三种不同熔透状态的激光条纹图像分类，建立熔池不同熔透状态激光条纹图像数据库； 步骤三，根据构建的熔池不同熔透状态激光条纹图像数据库，选择合理的LeNet-5网络参数并进行训练，建立熔池熔透状态分类模型，测试后得到图像对应的标签和准确率； 步骤四，将训练好的模型进行模型部署，通过连接高速摄像实时传入焊接过程激光反射条纹图像，计算实时反馈熔透信息；

步骤三中，所述根据构建的熔池不同熔透状态激光条纹图像数据库，选择合理的LeNet-5网络参数并进行训练，建立熔池熔透状态分类模型，测试后得到图像对应的标签和准确率包括： (1)定义母文件夹路径、模型参数保存路径、测试集图片路径、分类错误图片保存路径、三种数据集文件路径； (2)定义LeNet-5网络结构，并对LeNet-5网络结构进行优化改进；定义每次调用数据流大小及调用参数； (3)定义分类错误图片保存规则；定义损失函数SoftmaxCrossEntropy；定义模型所采用训练参数并对模型进行初始化； (4)定义训练过程，使用训练数据集和验证数据集进行模型网络学习及验证网络分类准确性，使用测试数据集对学习结果进行测试评估，在训练结束后保存训练好的模型网络参数； (5)定义分类错误图片处理方法，将对模型网络进行评估后的测试集图像进行统计，将其中分类错误图像单独归类，并确定分类错误图片的共同点；步骤(2)中，对LeNet-5网络结构进行优化改进包括： 减少两个卷积层的通道数；将全连接层数量减少为两个同时略微增加第一全连接层的输出，并在其后增加一个丢弃层；除输出层外，各层激活函数选用ReLU函数，并在输出层后增加了一个Sigmoid激活函数；在各层后增加批量归一化层进行归一化处理； 步骤(3)中，模型训练超参数包括学习率、模型训练次数、每次使用数据数量； 所述每次使用数据数量包括：训练集使用图片数量、验证集使用图片数量、测试集使用图片数量； 所述使用测试数据集对学习结果进行评估包括： 计算熔透状态图像分类模型识别成功率；计算公式为：Accuracy＝测试集中预测结果与实际标签相同的数量/测试集大小。

2.如权利要求1所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法，其特征在于，所述熔池振荡频率激光视觉平台包括焊接装置及激光视觉检测装置； 所述焊接装置包括钨极氩弧焊焊枪、焊接电源、保护气瓶，焊件； 所述激光视觉检测装置包括激光器、激光器固定架、成像屏、高速摄像机和图像处理工作站。

3.如权利要求2所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法，其特征在于，所述激光视觉检测装置包括： 所述激光器发射光束可调五线条纹，所述激光器与平面的夹角为30°～50°； 所述成像屏、所述高速摄像机放置于激光器的另一侧，用于提取反射激光条纹明暗变化图像；所述高速摄像机，用于采集脉冲钨极氩弧焊熔池振荡激光反射条纹并反馈至图像处理工作站； 所述图像处理工作站包括：模型训练模块及模型部署模块；所述模型训练模块，用于将划分得到的训练数据集代入初始模型中进行训练；所述模型部署模块，用于进行训练完成的模型部署，通过高速摄像实时输入数据流对焊接熔透进行实时计算反馈熔透状态。

4.如权利要求1所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法，其特征在于，所述步骤二包括： 将高速摄像拍摄到的激光反射条纹图像按照实际熔透状态划分为未熔透、全熔透、临界熔透，并添加对应标签，得到熔透信息数据库；利用转换程序将所有图像裁剪后全部打乱，按照0.42、0.28、0.30的比例封装生成训练数据集、验证数据集和测试数据集。

5.如权利要求1所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法，其特征在于，步骤四中，所述将训练好的模型进行部署，通过连接高速摄像实时传入焊接过程激光反射条纹图像，计算反馈熔透信息，调控焊接参数包括： 定义模型网络参数保存路径，并将训练完成的模型网络参数保存； 在所述熔池振荡频率激光视觉平台进行新一轮实验时，调用已保存的模型网络参数，并连接高速摄像进行数据流采集；同时将输入图像进行裁剪预处理，所得图片大小与训练数据集中图片大小相同； 将数据流图片代入模型网络进行计算，判定其熔透状态，并根据其熔透状态实时调整焊接电流，焊接电压和焊接速度。

6.一种实施权利要求1～5任意一项所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法的基于深度神经网络的脉冲钨极氩弧焊熔透状态检测系统。

7.一种信息处理终端，其特征在于，所述信息处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～5任意一项所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～5任意一项所述基于深度神经网络的脉冲钨极氩弧焊熔透状态检测方法。

Images