CN114161048B - 一种基于3d视觉的铁塔塔脚参数化焊接方法及装置 - Google Patents

Abstract

本发明公开了一种基于3D视觉的铁塔塔脚参数化焊接方法，包括根据塔脚建模参数建立塔脚理想模型，由塔脚理想模型进行轨迹规划获得焊缝序列模板数据和运动轨迹序列，由3D视觉传感器依据焊缝序列模板数据和运动轨迹序列进行实际焊缝扫描识别，依据扫描结果生成焊接轨迹序列发送至机器人控制执行模块，机器人控制执行模块通过焊接机器人控制器控制机械臂运动，机械臂携带焊枪完成焊缝焊接。本发明还公开了基于3D视觉的铁塔塔脚参数化焊接装置。本发明可自适应非标塔脚，保证焊接质量。

Description

一种基于3D视觉的铁塔塔脚参数化焊接方法及装置

技术领域

本发明涉及一种塔脚焊接方法及装置，特别是涉及一种基于3D视觉的铁塔塔脚参数化焊接方法及装置。

背景技术

铁塔是重要的基建，是特高压电网，5G通信的上游重要载体。输电线路铁塔的塔脚为整个输电线路铁塔结构的支撑部件，其结构的稳定性直接决定了输电线路铁塔的结构稳定性和使用寿命。一般铁塔塔脚的焊接由人工完成，因而焊接工人的技术水平、工作态度直接影响着铁塔产品的质量、生产效率和制造成本。目前也有一些自动化焊接系统用于塔脚的焊接，比如公开号为CN108746938A、CN107855703A等中国专利公开的焊接机器人。这些设备可以提升批量标准化的焊接工作效率，但是塔脚作为基建，必须适应所在场所的环境，地理条件，以及供电参数要求，因此其本质是一个非标无固定参数的部件，因此生产商在进行机器人系统应用时总是会遇到机器人系统可能无法适应当前所需要进行加工部件的变化的问题。因此一般这些系统在具体应用时都是需要为每台设备配备一个专职的操作人员通过示教的方式的来适应这一变化，因此这会导致每批次都需要操作人员专业的操作，因此这在本质上带来的问题是并没有减少操作人员的基本需求，而且这还需要大量的专业机器人操作员配合，才能使得系统能够投入到新的加工部件的焊接生产，对于企业来说也是在成本与投入周期中产生了新的问题。

公开号为CN112658520A、CN112589303A的中国专利则公开了以输入塔脚参数计算焊缝再进行焊接的方法，这解决了针对批次塔脚需要不断示教以改变焊接参数适应产品变化的问题。但是塔脚作为大型厚板部件，其前道加工与装配精度较差，因此对于同批次而言，每个工件的焊缝都会存在或多或少的误差，因此上述技术方案中几难以对这些误差进行个性化调整，以保证焊接最终的焊接质量。而且由于塔脚非标的特性，塔脚本身具有不同批次变化结构尺寸差异性大的特点，更使得一些针对误差调整的传感方案在检测可达性方面出现问题导致最终检测方法失败。

发明内容

针对上述现有技术的缺陷，本发明提供了一种基于3D视觉的铁塔塔脚参数化焊接方法，目的解决针对塔脚工件误差变化的自动适应问题，提高焊接质量。本发明的另一目的是提供一种基于3D视觉的铁塔塔脚参数化焊接装置。

本发明技术方案如下：一种基于3D视觉的铁塔塔脚参数化焊接方法，包括以下步骤：

步骤1、向塔脚建模模块输入塔脚建模参数，由塔脚建模模块根据所述塔脚建模参数构建塔脚理想模型；

步骤2、所述塔脚建模模块将塔脚理想模型发送至塔脚焊缝模块，并由塔脚焊缝模块将所述塔脚理想模型转换数据结构后发送至视觉检测轨迹规划模块，所述视觉检测轨迹规划模块根据转换数据结构后的所述塔脚理想模型完成检测轨迹规划，分别得到焊缝序列模板数据和运动轨迹序列；

步骤3、所述焊缝序列模板数据发送至3D视觉传感器，所述运动轨迹序列发送至机器人控制执行模块，所述机器人控制执行模块根据所述运动轨迹序列通过焊接机器人控制器控制机械臂运动，所述3D视觉传感器连接于所述机械臂并由所述焊缝序列模板数据控制扫描路径；

步骤4、由所述步骤3获取焊缝表面数据发送至焊缝识别与三维重建模块，由所述焊缝识别与三维重建模块计算焊缝特征数据并发送至机器人焊接轨迹规划模块；

步骤5、所述机器人焊接轨迹规划模块根据所述焊缝特征数据生成焊接轨迹序列发送至机器人控制执行模块，所述机器人控制执行模块根据所述焊接轨迹序列通过焊接机器人控制器控制机械臂运动，所述机械臂携带焊枪完成焊缝焊接。

进一步地，所述步骤1中包括向所述塔脚焊缝模块输入焊接工艺参数，所述步骤5中所述塔脚焊缝模块将所述焊接工艺参数发送至所述焊接轨迹规划模块，所述机器人焊接轨迹规划模块根据所述焊缝特征数据和所述焊接工艺参数共同生成所述焊接轨迹序列。

进一步地，所述塔脚理想模型为由主侧板与第一侧板、第二侧板十字交叉并由底板承托所述主侧板、第一侧板和第二侧板，所述第一侧板和第二侧板分别位于所述主侧板的两侧；所述塔脚建模参数包括所述主侧板、第一侧板和第二侧板各自的长、宽、高数据，所述底板的长、宽数据，所述主侧板与第一侧板、第二侧板十字交叉点在底板的位置，所述主侧板、第一侧板、第二侧板分别与底板的夹角。

进一步地，所述焊缝序列模板数据由以下步骤得到：建立激光通过线性运动扫描出来的光平面模型，由所述塔脚理想模型得到角焊缝双平面模型，由光平面模型与角焊缝双平面模型相交计算得到1个传感器检测焊缝模板，将整个塔脚中所有需要检测的传感器检测焊缝模板按照传感器扫描顺序进行排列得到焊缝序列模板。

进一步地，所述运动轨迹序列由以下步骤得到：以3D视觉传感器的照射方向为基础建立传感器视点坐标系，由所述塔脚焊缝模块获得角焊缝双平面模型，所述角焊缝双平面模型中两个平面相交得到焊缝 为焊缝方向，p_i为焊缝上任一点，两个平面的法向相加得到焊缝法向/>对于焊缝上任一一个检测点p_iv3D视觉传感器的位姿为所有的位姿即构成运动轨迹序列。

本发明的另一技术方案是：一种基于3D视觉的铁塔塔脚参数化焊接装置，包括塔脚建模模块、塔脚焊缝模块、视觉检测轨迹模块、3D视觉传感器、焊缝识别与三维重建模块、机器人焊接轨迹规划模块、机器人控制执行模块、焊接机器人控制器、机械臂和焊枪，所述3D视觉传感器和焊枪均固定连接在所述机械臂上，所述塔脚焊缝模块分别与所述塔脚建模模块、所述视觉检测轨迹模块、所述焊缝识别与三维重建模块和所述机器人焊接轨迹规划模块连接，所述3D视觉传感器分别与所述视觉检测轨迹模块和所述焊缝识别与三维重建模块连接，所述机器人控制执行模块分别与所述视觉检测轨迹模块和所述机器人焊接轨迹规划模块连接，所述机器人控制执行模块与焊接机器人控制器连接用于控制所述机械臂的运动，所述焊接装置执行前述的基于3D视觉的铁塔塔脚参数化焊接方法。

本发明所提供的技术方案的优点在于：

本发明方法不需要人工针对每个塔脚工件进行单独建模设计焊接路径参数，所建模型能够适应以后类似批次塔脚焊接，解决了塔脚焊接非标多误差大的痛点，保证了焊接质量提高了生产效率。

附图说明

图1是实施例的基于3D视觉的铁塔塔脚参数化焊接装置的系统模块图。

图2是实施例的基于3D视觉的铁塔塔脚参数化焊接方法的流程示意图。

图3是塔脚理想模型示意图。

图4是模拟现实传感器光束的传感器检测模型示意图。

图5是传感器模型检测焊缝模型姿态示意图示意图。

图6是焊缝检测检测点示意图。

图7是焊缝路径上检测位置计算原理图。

图8是焊缝轮廓特征识别过程示意图。

图9是焊枪与焊接工件相对位置关系示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。

请结合图1所示，本实施例的基于3D视觉的铁塔塔脚参数化焊接装置包括塔脚建模模块1、塔脚焊缝模块2、视觉检测轨迹模块3、3D视觉传感器4、焊缝识别与三维重建模块5、机器人焊接轨迹规划模块6、机器人控制执行模块7、焊接机器人控制器8、机械臂9和焊枪，其中3D视觉传感器4和焊枪均固定连接在机械臂9上。塔脚焊缝模块分别与塔脚建模模块、视觉检测轨迹模块、焊缝识别与三维重建模块、机器人焊接轨迹规划模块连接，3D视觉传感器分别与视觉检测轨迹模块和焊缝识别与三维重建模块连接，机器人控制执行模块分别与视觉检测轨迹模块和机器人焊接轨迹规划模块连接，机器人控制执行模块与焊接机器人控制器连接用于控制机械臂的运动。各模块对于数据的处理及传输的具体过程见以下对焊接方法的详细说明。

请结合图2所示，基于上述焊接装置，本实施例的基于3D视觉的铁塔塔脚参数化焊接方法是这样的：

步骤1、焊接装置的使用人员在离线状态下通过系统软件接口，结合塔脚已知先验信息即塔脚建模参数，并通过交互式操作建立塔脚焊接的塔脚理想模型。这里的“离线”指的是系统未在现场开始启动运行外的时段，因此其操作可以在办公室操作并通过网络或者移动存储介质下载到现场“在线控制器”中。另外该系统使用人员一般分两类，即是能够读懂设计图纸信息的铁塔焊接操作人员，其主要是根据图纸信息以及“塔脚建模模块”接口的界面提示录入相关简易的塔脚建模参数，完成塔脚理想模型的初步建模。

塔脚理想模型如图3所示，由主侧板与第一侧板、第二侧板十字交叉并由底板承托主侧板、第一侧板和第二侧板，因此上述的塔脚建模参数包括主侧板、第一侧板和第二侧板各自的长、宽、高数据，底板的长、宽数据，所述主侧板与第一侧板、第二侧板十字交叉点在底板的位置，主侧板、第一侧板、第二侧板分别与底板的夹角，以底板的所在平面为XY平面，主侧板、第一侧板、第二侧板与底板的夹角朝向XY轴的正向为正角度。通过这些参数即可完整定义塔脚理想模型。然后使用人员指定出相关的焊缝并从焊缝焊接工艺库内为其匹配相关的既有工艺。另一部分是掌握铁塔自动化设备焊接的工艺人员，其主要将现行已知的工艺信息录入到焊缝焊接工艺库10中即可，当然有些情况下两类技艺也可能为同一人所掌握。

步骤2、塔脚建模模块将塔脚理想模型发送至塔脚焊缝模块，该发送方式可以通过网络端口处理程序或者移动存储介质存储，由“在线控制器”中的软件接口执行。塔脚焊缝模块将塔脚理想模型转换数据结构后发送至视觉检测轨迹规划模块，视觉检测轨迹规划模块根据转换数据结构后的塔脚理想模型完成检测轨迹规划，分别得到焊缝序列模板数据和运动轨迹序列。

焊缝序列模板数据的获取是这样的：视觉检测轨迹规划模块内部建立一种模拟现实传感器光束的传感器检测模型，如图4所示，其中虚线部分为模拟的单个点激光通过线性运动扫描出来的光平面模型(数学上采用平面Π：Ax+By+Cz+D＝0描述)，另外塔脚焊缝模块在数据结构转换后，每个塔脚的角焊缝根据用户输入的塔脚建模参数都会被模拟成由两个平面描述的结构，然后通过计算光平面模型与角焊缝双平面模型之间的平面相交计算，可以获得模型传感器扫描信号分段直线轮廓l₁和l₂，单个分段轮廓组合m_i＝(l_i1，l_i2)被称为1个传感器检测焊缝模板，将整个塔脚中所有需要检测的焊缝模板按照传感器扫描顺序进行排列即得到传感器检测用的焊缝序列模板数据M_i＝(m_i|i＝1...N)，该模型数据将作为传感器实际扫描焊缝得到的信号数据进行焊缝识别时所依据的模板数据。

运动轨迹序列的获取是这样的：如图5所示，3D视觉传感器本身由双测距点激光组成，其视野中心将建立一个“传感器视点坐标系”，其中将传感器读数在量程中间值时的光束上的点作为传感器基准点，将两束光线传感器基准点间连线的中点位置处设定为坐标系原点(即视点)，沿传感器照射方向朝传感器定义为Z轴，另外两条传感器读数均为中间值的照射点连线方向为伪X’轴，通过右手准则可以获得传感器的Y轴，进一步通过右手准则进一步规格化得到坐标系的正式X轴，以上信息将完整定义“传感器视点坐标系”。

通过塔脚焊缝模块获得角焊缝双平面模型JOINT_i＝(П_j,П_k)描述数据，即双平面描述П_j和П_k，其平面的对应法向可以从中获得即和/>通过两个法向相加并归一化可以计算角焊缝法向/>另外通过模型并结合П_j和П_k相交计算可以获得焊缝直线路径特征设焊缝直线特征上的一点p_iv为焊缝检测检测点位置，则最终针对Seam_i某个位置的传感器检测位姿计算为/>其中/>为矢量叉乘，所有的检测位姿即构成运动轨迹序列。

步骤3、焊缝序列模板数据发送至3D视觉传感器，运动轨迹序列发送至机器人控制执行模块，机器人控制执行模块根据所述运动轨迹序列通过焊接机器人控制器控制机械臂运动，3D视觉传感器连接于机械臂并由焊缝序列模板数据控制扫描路径；

步骤4、由步骤3获取焊缝表面数据发送至焊缝识别与三维重建模块，由焊缝识别与三维重建模块计算焊缝特征数据并发送至机器人焊接轨迹规划模块。

如图6所示，塔脚焊缝是一种典型内角焊缝，通过扫描将会对焊缝上的关键特征点进行采样(一般是2N个)，一般如果焊缝比较短则进行N＝1次采样，如果焊缝较长，系统将自动规划对其进行N>1次采样。

请结合图7所示，设焊缝检测检测点间的距离记为d，D=ω·d，其中ω≥1为比例系数，主要由使用者依据效率与精度的折中来设定。

由步骤2中的角焊缝直线路径特征Seam_i可以获得其长度l_i，将整个焊缝分为段，因此对于该直线焊缝每个分段距离为/>计算焊缝直线路径特征上的被检测点位置为/>其中p₁为焊缝路径起点位置。

焊缝识别与三维重建模块依据《一种基于结构光视觉的焊缝跟踪特征提取方法》中的焊缝轮廓特征识别方法计算出焊缝特征点，该数据将被传送回塔脚焊缝模块，作为对理想模型焊缝的实际数据，并更新相关状态。塔脚焊缝模块将确定的焊接工艺参数及焊缝特征点数据发送至焊接轨迹规划模块。

上述计算出焊缝特征点的主要思路如图8所示，主要包括每次传感器扫描角焊缝获得连续测距数据，其在时间轴上展开，针对这些数据采用《一种基于结构光视觉的焊缝跟踪特征提取方法》中的“基于双门限阈值的最小二乘分段直线段拟合”完成分段直线拟合，进一步按照对于分段直线的基元定义获得所检测的检测到的角焊缝接头轮廓符号描述，然后将该符号描述与来自前述的焊缝序列模板数据M_i＝(m_i|i＝1...N)中的m_i所对应的轮廓符号描述进行匹配，匹配成功的则为最终识别结果，并提取与m_i中所定义焊缝工艺位置一致的定义作为最终特征位置，即通过内角几何关系计算出焊缝特征点。

步骤5、机器人焊接轨迹规划模块根据焊缝特征数据生成焊接轨迹序列发送至机器人控制执行模块，焊接轨迹序列的生成是这样的：

焊枪的位姿可以通过相对于焊缝特征坐标系(SeamCoord)的刚体位姿变换来获得的，即其中/>和/>分别为焊枪和焊缝在机器人基坐标系中的位姿，而/>则是由焊缝来定义焊枪的通用齐次变换矩阵。但是一般在焊接工艺中并不习惯用矩阵来描述这种关系，而是习惯用更简单的(x,y,z,α,β,γ)所表示的6维量(即机器人工具坐标系位置与欧拉角表示法)，其中x,y,z为焊枪的位置，直接取焊缝坐标系的位置o_J，α为焊接行走角，β为焊接工作角，γ为焊接自旋角来描述。请结合图9所示，焊接行走角α是焊枪x_H轴在焊缝坐标系xoy_J平面上的投影与x_J之间的夹角。定义中|α|≤90°，实际取值应当小一些，一般小于45°。并且前倾取正值，后倾取负值。焊接工作角β是焊枪x_H轴与焊缝坐标系xoy_J平面之间的夹角。定义中|β|≤90°，实际取值应当小一些，一般小于45°。焊接自旋角γ为一焊接冗余自由度，|α|≤180°。

机器人焊接时焊枪与焊缝之间位姿关系为

其中

因此最终对于塔脚焊缝模块中每个JOINT_i，通过传感器检测获得的实际数据，并依据次计算获得机器人焊接轨迹点生成为并且所有的焊缝轨迹按照执行顺序连续串联起来将作为最终的焊接轨迹序列。机器人控制执行模块根据焊接轨迹序列通过焊接机器人控制器控制机械臂运动，机械臂携带焊枪完成焊缝焊接。

Claims (2)

1.一种基于3D视觉的铁塔塔脚参数化焊接方法，其特征在于，包括以下步骤：

步骤1、向塔脚焊缝模块输入塔脚建模参数和焊接工艺参数，由塔脚焊缝模块根据所述塔脚建模参数构建塔脚理想模型，所述塔脚理想模型为由主侧板与第一侧板、第二侧板十字交叉并由底板承托所述主侧板、第一侧板和第二侧板，所述第一侧板和第二侧板分别位于所述主侧板的两侧；所述塔脚建模参数包括所述主侧板、第一侧板和第二侧板各自的长、宽、高数据，所述底板的长、宽数据，所述主侧板与第一侧板、第二侧板十字交叉点在底板的位置，所述主侧板、第一侧板、第二侧板分别与底板的夹角；

步骤2、所述塔脚焊缝模块将所述塔脚理想模型发送至视觉检测轨迹规划模块，所述视觉检测轨迹规划模块根据所述塔脚理想模型完成检测轨迹规划，分别得到焊缝序列模板数据和运动轨迹序列；

所述焊缝序列模板数据由以下步骤得到：建立激光通过线性运动扫描出来的光平面模型，由所述塔脚理想模型得到角焊缝双平面模型，由光平面模型与角焊缝双平面模型相交计算得到1个传感器检测焊缝模板，将整个塔脚中所有需要检测的传感器检测焊缝模板按照传感器扫描顺序进行排列得到焊缝序列模板；

所述运动轨迹序列由以下步骤得到：以3D视觉传感器的照射方向为基础建立传感器视点坐标系，由所述塔脚焊缝模块获得角焊缝双平面模型，所述角焊缝双平面模型中两个平面相交得到焊缝，/>为焊缝方向，/>为焊缝上任一点，两个平面的法向相加得到焊缝法向/>，对于焊缝上任意一个检测点/>，3D视觉传感器的位姿为，所有的位姿即构成运动轨迹序列；

步骤3、所述焊缝序列模板数据发送至3D视觉传感器，所述运动轨迹序列发送至机器人控制执行模块，所述机器人控制执行模块根据所述运动轨迹序列通过焊接机器人控制器控制机械臂运动，所述3D视觉传感器连接于所述机械臂并由所述焊缝序列模板数据控制扫描路径；

步骤4、由所述步骤3获取焊缝表面数据发送至焊缝识别与三维重建模块，由所述焊缝识别与三维重建模块计算焊缝特征数据并发送至机器人焊接轨迹规划模块；

步骤5、所述塔脚焊缝模块将所述焊接工艺参数发送至所述焊接轨迹规划模块，所述机器人焊接轨迹规划模块根据所述焊缝特征数据和所述焊接工艺参数共同生成焊接轨迹序列发送至机器人控制执行模块，所述机器人控制执行模块根据所述焊接轨迹序列通过焊接机器人控制器控制机械臂运动，所述机械臂携带焊枪完成焊缝焊接。

2.一种基于3D视觉的铁塔塔脚参数化焊接装置，其特征在于，包括塔脚建模模块、塔脚焊缝模块、视觉检测轨迹模块、3D视觉传感器、焊缝识别与三维重建模块、机器人焊接轨迹规划模块、机器人控制执行模块、焊接机器人控制器、机械臂和焊枪，所述3D视觉传感器和焊枪均固定连接在所述机械臂上，所述塔脚焊缝模块分别与所述塔脚建模模块、所述视觉检测轨迹模块、所述焊缝识别与三维重建模块和所述机器人焊接轨迹规划模块连接，所述3D视觉传感器分别与所述视觉检测轨迹模块和所述焊缝识别与三维重建模块连接，所述机器人控制执行模块分别与所述视觉检测轨迹模块和所述机器人焊接轨迹规划模块连接，所述机器人控制执行模块与焊接机器人控制器连接用于控制所述机械臂的运动，所述焊接装置执行权利要求1所述的基于3D视觉的铁塔塔脚参数化焊接方法。