CN114648481A - 工件焊接缺陷检测装置、方法及计算机可读存储介质 - Google Patents
工件焊接缺陷检测装置、方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114648481A CN114648481A CN202011497659.4A CN202011497659A CN114648481A CN 114648481 A CN114648481 A CN 114648481A CN 202011497659 A CN202011497659 A CN 202011497659A CN 114648481 A CN114648481 A CN 114648481A
- Authority
- CN
- China
- Prior art keywords
- welding
- defect
- workpiece
- information
- weld
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种工件焊接缺陷检测装置、方法及计算机可读存储介质。工件焊接缺陷检测装置包括:通信器,用于接收来自图像采集模组的第一图像;处理器,耦接所述通信器,用于:根据所述第一图像,提取焊接信息;输送所述焊接信息至逻辑处理组件,形成焊接缺陷;形成所述焊接缺陷的显示信息,以根据所述显示信息呈现所述焊接缺陷的具象或特征值。上述工件焊接缺陷检测装置、方法及计算机可读存储介质能够自学习螺柱与法兰焊接产生的缺陷,能够适用于不同需求的缺陷管控标准,相较于传统缺陷检测,每当调整缺陷标准时均需要通过训练才能达到检测一致的目标,本申请的工件焊接缺陷检测不需要重新训练模型,就可节省人力及提升检验效率。
Description
技术领域
本申请涉及焊接缺陷检测技术领域,具体涉及一种工件焊接缺陷检测装置、方法及计算机可读存储介质。
背景技术
现有工件焊接缺陷检测方法通常采用传统图像算法和深度学习缺陷检测法。传统图像算法具有鲁棒性不足的缺陷,且传统图像算法对于产品与图像的关联性较高。深度学习检测法强调缺陷标准,即多种缺陷有无检测及缺陷位置,一旦缺陷标准变更,就需要进行重新调整标记与训练。
发明内容
鉴于以上内容,有必要提出一种工件焊接缺陷检测装置、方法及计算机可读存储介质,以解决上述问题。
本申请实施例第一方面提供了一种工件焊接缺陷检测装置,包括:
通信器,用于接收来自一图像采集模组的第一图像;
处理器,耦接于所述通信器,用于:
根据所述第一图像,提取焊接信息;
输送所述焊接信息至一逻辑处理组件,形成焊接缺陷,所述逻辑处理组件为根据历史焊接信息通过自我学习演进而成;及
形成所述焊接缺陷的显示信息,以根据所述显示信息呈现所述焊接缺陷的具象或特征值。
本申请实施例第二方面提出了一种工件焊接缺陷检测方法,包括:
接收来自一图像采集模组的第一图像;
根据所述第一图像,提取焊接信息;
输送所述焊接信息至一逻辑处理组件,形成焊接缺陷,所述逻辑处理组件为根据历史焊接信息通过自我学习演进而成;及
形成所述焊接缺陷的显示信息,以根据所述显示信息呈现所述焊接缺陷的具象或特征值。
本申请实施例第三方面提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行,并实现如上所述工件焊接缺陷检测方法。
上述的工件焊接缺陷检测装置、方法及计算机可读存储介质可应用于镭射焊接机台,螺柱与法兰焊接后即时通过成像并分析当前螺柱与法兰焊接情况,将螺柱与法兰焊接中产生的缺陷显示出来,使作业人员更容易理解当前螺柱与法兰的焊接情况。工件焊接缺陷检测装置、方法及计算机可读存储介质能够自学习螺柱与法兰焊接产生的缺陷,能够适用于不同需求的缺陷管控标准,相较于传统缺陷检测,每当调整缺陷标准时均需要通过训练才能达到检测一致的目标,本申请的工件焊接缺陷检测不需要重新训练模型,就可节省人力及提升检验效率。
附图说明
图1是本申请实施例的工件焊接缺陷检测装置的硬件架构图。
图2是本申请实施例的工件焊接缺陷检测系统的功能模块示意图。
图3是本申请实施例的工件焊接缺陷检测方法的流程图。
图4是图3中步骤S3的具体方法流程图。
图5是图4中步骤S32的具体方法流程图。
图6是图3中步骤S5的具体方法流程图。
主要元件符号说明
工件焊接缺陷检测装置 100
通信器 10
图像采集模组 20
处理器 30
存储器 40
工件焊接缺陷检测系统 200
接收模块 201
提取模块 202
输送模块 203
显示模块 204
确定模块 205
叠加模块 206
扩充模块 207
判断模块 208
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,需要说明的是,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯,可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
请参见图1,图1是本申请实施例的工件焊接缺陷检测装置的硬件架构图,本申请的实施例提供了一种工件焊接缺陷检测装置100,包括图像采集模组20、通信器10、处理器30、存储器40。
图像采集模组20用于采集第一工件和第二工件焊接后的图像,图像采集模组20可为CCD相机。第一工件和第二工件焊接在一起,第一工件可以是螺柱,第二工件可以是法兰。通过图像采集模组20、通信器10、处理器30、存储器40,能够采集到焊接在一起的螺柱和法兰的第一图像,并通过处理器30调用存储器40中的逻辑处理组件,实现焊接缺陷的分析与提取,并最终形成显示信息,以通过所述显示信息表达焊接缺陷。
通信器10用于接收图像采集模组20所获取的第一图像,并将第一图像发送至处理器30。
处理器30可以为中央处理器(CPU,CentralProcessingUnit),还可以包括其他通用处理器、数字信号处理器(DSP,DigitalSignalProcessor)、专用集成电路(ASIC,ApplicationSpecificIntergratedCircuit)、现成可编程门阵列(FPGA,Field-ProgrammableGateArray)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器30是工件焊接缺陷检测装置100的控制中心,利用各种接口和线路连接整个工件焊接缺陷检测装置100的各个部分。
存储器40用于存储工件焊接缺陷检测装置100中的各类数据,例如各种数据库、程序代码等。在本实施方式中,存储器40可以包括但不限于只读存储器(ROM,Read-OnlyMemory)、随机存储器(RAM,RandomAccessMemory)、可编程只读存储器(PROM,ProgrammableRead-OnlyMemory)、可擦除可编程只读存储器(EPROM,ErasableProgrammableRead-OnlyMemory)、电子擦除式可复写只读存储器(EEPROM,Electrically-ErasableProgrammableRead-OnlyMemory)、只读光盘(CD-ROM,CompactDiscRead-OnlyMemory)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
请参见图2,图2为本申请的实施例中的工件焊接缺陷检测系统200的功能模块示意图,工件焊接缺陷检测系统200包括有一个或多个程序形式的计算机指令,一个或多个程序形式的计算机指令存储于存储器40中,并由处理器30执行,以实现本申请所提供的功能。在本实施方式中,工件焊接缺陷检测系统200可以按功能分为接收模块201、提取模块202、输送模块203、显示模块204、确定模块205、叠加模块206、扩充模块207及判断模块208,但并不限于此,且该功能划分的模块仅为作为说明,并不代表工件焊接缺陷检测系统200的实际工作形式。各个模块的功能将在下面的实施例中进行详述。
接收模块201用于接收来自图像采集模组20的第一图像。
具体地,接收模块201与图像采集模组20相连接,图像采集模组20将获取的第一图像传送给接收模组201。
提取模块202用于根据第一图像,提取焊接信息。
具体地,提取模块202在接收模块201接收第一图像后提取螺柱和法兰焊接后所形成的焊接信息。
输送模块203用于输送焊接信息至一逻辑处理组件,形成焊接缺陷,逻辑处理组件为根据历史焊接信息通过自我学习演进而成。
具体地,根据历史焊接信息通过自我学习演进而成逻辑处理组件的模块包括扩充模块207和判断模块208。
扩充模块207用于扩充历史图像,形成训练集。其中,历史图像包含做过标记的第一图像,具体为,做过标记的第一图像进行去裁切、旋转、翻转等方式形成更多个图像,并将这些图像加入至历史图像中,在历史图像的数量达到一定规模时,可将这些历史图像用作训练集,以训练逻辑处理组件对焊接缺陷的识别精度。
输送模块203还用于输送训练集至一初始模型,形成焊接特征。其中,焊接特征为对图像切割之后形成的螺柱的特征、法兰的特征、焊点的特征、法兰缺口的特征、焊接中心的特征。
具体地,初始模型为未经过训练的语义切割模型。
输送模块203还用于输送焊接特征至一分类器,形成分类结果。其中,分类器可以为一个,也可以为多个。分类器为多个时,可为法兰轮廓分类器、螺柱轮廓分类器、焊点分类器、法兰缺口分类器、焊点中心分类器。
输送模块203还用于输送历史焊接缺陷信息及分类结果至一评估模型,形成评估结果。其中,评估模型中,将扩充后的历史图像,例如以20%作为验证集(即不参与训练),剩余的80%作为训练集,该部分训练集可训练100次再用验证集测试一次,在多次的训练当中,观测评估模型的函数是否处于收敛情况,且在无训练的验证集精准度是否相对提升。
判断模块208用于确定评估结果符合预设条件。其中,预设条件包括损失函数的收敛性及识别精准度的预设值。在评估结果符合预设条件时,基于评估结果符合预设条件,根据初始模型及评估结果,保存模板,形成逻辑处理组件。
显示模块204用于形成焊接缺陷的显示信息,以根据显示信息呈现焊接缺陷的具象或特征值。其中,显示信息是显示量化后的信息,用于表达焊接缺陷的具象或特征值。焊接缺陷的具象是指焊接缺陷以图像化的形式表达,焊接缺陷的特征值是指焊接缺陷以数据或表格的形式表达。
图像采集模组20所获取的第一图像包含第一区域,提取模块202所提取的焊接信息包含第一焊接信息,第一焊接信息为基于第一区域提取获得,显示信息包含第一显示信息,第一显示信息对应基于第一焊接信息形成的焊接缺陷。
确定模块205用于确定第一区域关联第一显示信息。
具体地,第一显示信息应当是基于第一图像、第一区域、第一焊接信息而生成的,如此确定第二图像是在第一区域的基础上生成的。
叠加模块206用于叠加第一显示信息于第一区域的显示范围,以生成第二图像。
具体地,在第一图像的基础上叠加第一显示信息形成第二图像,即第二图像为能够及时显示焊接缺陷的第一图像,第二图像能够使作业人员更直观地观察到第一图像中所形成的焊接缺陷。
请参见图3,图3为本申请的实施例中的工件焊接缺陷检测方法的流程图,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。为了便于说明,仅示出了与本申请实施例相关的部分。
如图3所示,工件焊接缺陷检测方法可在工件焊接缺陷检测系统200中执行,包括如下步骤:
步骤S1:接收来自一图像采集模组20的第一图像。
具体地,接收模块201用于接收来自图像采集模组20的第一图像,第一图像为第一工件和第二工件焊接后的图像,第一工件是螺柱,第二工件是法兰,第一图像即为螺柱与法兰焊接后所形成的图像。
图像采集模组20为电荷耦合器件(CCD,ChargeCoupledDevice)相机,在拍摄螺柱和法兰焊接后的图像时,CCD相机与镭射激光同轴光路设计,以确保CCD相机能够在最大取像角度内对螺柱和法兰进行取像。CCD相机设置于螺柱和法兰的上方,CCD相机俯视以至少对螺柱的结构与缺陷进行取像。CCD相机在取像时应当保证有足够的光源打在螺柱与法兰处,以确保CCD相机能清晰取像。
步骤S2:根据第一图像,提取焊接信息。
具体地,提取模块202根据第一图像,提取焊接信息。焊接信息包括第一轮廓(示例性为螺柱的轮廓)、第二轮廓(示例性为法兰的轮廓)、焊点位置(示例性为螺柱与法兰的焊点位置)、缺陷点及焊点中心中的至少一个。其中,缺陷点为法兰的缺角。
需要说明的是,螺柱的轮廓和法兰的轮廓可由作业人员在第一图像上手动标记形成,手动标记形成的轮廓还可以包括法兰的缺陷、螺柱内圈的缺陷、螺柱的缺陷、焊点的缺陷、法兰的缺角中的至少一个。
具体地,步骤S2为,根据第一图像,提取螺柱的轮廓、法兰的轮廓、焊点位置、缺陷点及焊点中心的至少一个焊接信息。
步骤S3:输送焊接信息至一逻辑处理组件,形成焊接缺陷,逻辑处理组件为根据历史焊接信息通过自我学习演进而成。
其中,输送模块203输送焊接信息至一逻辑处理组件,具体为:输送模块203输送螺柱的轮廓、法兰的轮廓、焊点位置、缺陷点及焊点中心的至少一个焊接信息至逻辑处理组件。
焊接缺陷包含漏焊数量、少焊点数量、焊点爬墙比例、焊点偏位比例、缺陷点比例、焊洞比例及螺柱的偏位度数中的至少一个。
历史焊接信息包括至少一根据历史焊接缺陷标记的历史图像。
具体地,预先收集螺柱与法兰焊接所形成的多种焊接缺陷,并根据螺柱与法兰所形成的多种焊接缺陷形成历史焊接缺陷,并将历史焊接缺陷标记在相应地历史图像中,以形成历史焊接信息,用于逻辑处理组件自我学习。
逻辑处理组件用于对焊接信息进行语义切割,提升第一图像切割细节精准度,在具有高精准度切割细节的基础上,通过历史焊接信息进行自我学习。
请参见图4,根据历史焊接信息通过自我学习演进而成逻辑处理组件的步骤为:
步骤S31:扩充历史图像,形成训练集。
具体地,可将做过标记的第一图像进行去裁切、旋转、翻转等方式形成更多个图像,扩充模块207将这些图像加入至历史图像中,在历史图像的数量达到一定规模时,可用作训练集,以训练逻辑处理组件对焊接缺陷的识别精度。
需要说明的是,对第一图像进行去裁切、旋转、翻转等方式形成更多个图像中的这些图像的角度、大小均不相同,能够反应出更多焊接位置的可能性的图像。
步骤S32:输送训练集至一初始模型,形成焊接特征。
具体地,输送模块203还将训练集输送至初始模型中。焊接特征为对第一图像切割之后形成的螺柱的特征、法兰的特征、焊点的特征、法兰缺口的特征、焊接中心的特征,通过上述焊接特征,使得逻辑处理组件能够识别更多种类的焊接信息。
请参见图5,初始模型为未经过训练的语义切割模型,具体包括卷积层及池化层。
步骤S322,输送训练集至卷积层,形成卷积结果。
具体地,输送模块203将训练集输送至卷积层,卷积层中将训练集中的历史图像切割为多个特征,形成卷积结果。
步骤S324,输送卷积结果至池化层,形成焊接特征。
具体地,输送模块203将卷积结果输送至池化层中,池化层为金字塔池化层,将切割为多个特征的历史图像输送至卷积层中,通过金字塔池化层将多个特征还原为历史图像。在历史图像-多个特征-历史图像的过程中,逻辑处理组件根据训练集得到焊接特征,可用于识别多种焊接所形成的特征。
步骤S33:输送焊接特征至一分类器,形成分类结果。
具体地,分类器可为一个,也可以为多个。分类器为多个时,可为法兰轮廓分类器、螺柱轮廓分类器、焊点分类器、法兰缺口分类器、焊点中心分类器。输送模块203将焊接特征输送至分类器中,通过分类器,对形成的焊接特征进行分类,以形成多种类的焊接特征,即形成分类结果。
步骤S34:输送历史焊接缺陷信息及分类结果至一评估模型,形成评估结果。
具体地,输送模块203将历史焊接缺陷信息及分类结果输送至评估模型。评估模型中,将扩充后的历史图像,以20%作为验证集(即不参与训练),剩余的80%作为训练集,该部分训练集训练可训练100次跑一次验证集,在多次的训练当中,观测评估模型的函数是否处于收敛情况,且在无训练的验证集精准度是否相对提升。
步骤S35:确定评估结果符合预设条件。
具体地,判断模块208判断评估结果是否符合预设条件,预设条件包括损失函数的收敛性及识别精准度的预设值。
步骤S36:基于评估结果符合预设条件,根据初始模型及评估结果,形成逻辑处理组件。
具体地,评估结果符合损失函数的收敛性范围,且识别精准度达到预设值,逻辑处理组件保存训练模板,用于检测工件焊接缺陷。
步骤S4:形成焊接缺陷的显示信息,以根据显示信息表达焊接缺陷。
显示模块204显示第一图像中的焊接缺陷,显示信息是显示焊接缺陷被量化后的信息,用于表达焊接缺陷,使作业人员可以更直观地了解到图像中所具有的焊接缺陷。显示信息可以为数据、表格或图像中的至少一种,数据和表格可以表示为焊接缺陷的特征至,图像可以表示为焊接缺陷的具象。
形成焊接缺陷的显示信息,具体为:形成漏焊数量、少焊点数量、焊点爬墙比例、焊点偏位比例、缺陷点比例、焊洞比例及偏位度数的至少一个缺陷显示信息,以根据缺陷显示信息表达焊接缺陷。
步骤S5:根据第一图像和显示信息,生成第二图像。
第二图像为标注缺陷后的图像,即显示信息以图像的形式进行显示。
图像采集模组20所获取的第一图像中包含第一区域,第一区域大致为图像中螺柱与法兰焊接的区域。焊接信息包括第一焊接信息,第一焊接信息大致为螺柱与法兰的焊接点、焊点中心。第一焊接信息为基于第一区域提取获得,即第一焊接信息是在第一区域内所呈现的焊接螺柱与法兰之后所呈现出的信息。
显示信息包含第一显示信息,第一显示信息对应基于第一焊接信息形成的焊接缺陷。即第一显示信息所显示的是螺柱与法兰焊接之后所具有的缺陷信息。
第一图像、第一区域、第一焊接信息、第一显示信息依次生成,相互对应。
具体地,请参见图6,生成第二图像的步骤,包括:
S52:确定第一区域关联第一显示信息。
具体地,确定模块205确定第一区域与第一显示信息是否相关联,第一显示信息应当是基于第一图像、第一区域、第一焊接信息而生成的,以确定第二图像是在第一区域的基础上生成的。
S54:叠加第一显示信息于第一区域的显示范围,以生成第二图像。
具体地,叠加模块206将第一显示信息叠加于第一区域。在第一图像的第一区域中叠加包含缺陷信息的第一显示信息,以使得原有第一图像上显示出缺陷信息,如此,作业人员能够更直观地观察到第一显示信息中的缺陷信息存在于第一区域的哪些位置。
可以理解地,在其他的实施例中,焊接信息还可以包括第一焊点位置及第二焊点位置,则形成焊接缺陷的步骤可以具体为:
输送第一焊点位置及第二焊点位置至逻辑处理组件,形成焊接缺陷,焊接缺陷包含在第一焊点位置形成的第一缺陷,及包括在第二焊点位置形成的第二缺陷;
形成第一缺陷对应的第一缺陷显示信息及第二缺陷对应的第二缺陷显示信息,以根据第一缺陷显示信息及第二缺陷显示信息表达焊接缺陷。
本申请实施例还提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序能够被处理器执行,并实现如上述工件焊接缺陷检测方法。
上述的工件焊接缺陷检测装置100、方法及计算机可读存储介质可应用于镭射焊接机台,螺柱与法兰焊接后即时通过成像并分析当前螺柱与法兰焊接情况,将螺柱与法兰焊接中产生的缺陷显示出来,使作业人员更容易理解当前螺柱与法兰的焊接情况。工件焊接缺陷检测装置100、方法及计算机可读存储介质能够自学习螺柱与法兰焊接产生的缺陷,能够适用于不同需求的缺陷管控标准,相较于传统缺陷检测,每当调整缺陷标准时均需要通过训练才能达到检测一致的目标,本申请的工件焊接缺陷检测不需要重新训练模型,检测速度较人工检测具有优势,就可节省人力及提升检验效率。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围有所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (21)
1.一种工件焊接缺陷检测装置,包括:
通信器,用于接收来自一图像采集模组的第一图像;
处理器,耦接于所述通信器,用于:
根据所述第一图像,提取焊接信息;
输送所述焊接信息至一逻辑处理组件,形成焊接缺陷,所述逻辑处理组件为根据历史焊接信息通过自我学习演进而成;及
形成所述焊接缺陷的显示信息,以根据所述显示信息呈现所述焊接缺陷的具象或特征值。
2.如权利要求1所述的工件焊接缺陷检测装置,其中,所述处理器进一步用于:
根据所述第一图像和所述显示信息,生成第二图像。
3.如权利要求2所述的工件焊接缺陷检测装置,其中,所述第一图像包含第一区域,所述焊接信息包含第一焊接信息,所述第一焊接信息为基于所述第一区域提取获得,所述显示信息包含第一显示信息,所述第一显示信息对应基于所述第一焊接信息形成的所述焊接缺陷;
所述处理器,进一步用于:
确定所述第一区域关联所述第一显示信息;
叠加所述第一显示信息于所述第一区域的显示范围,以生成所述第二图像。
4.如权利要求1所述的工件焊接缺陷检测装置,其中,所述焊接信息包括第一工件的第一轮廓、第二工件的第二轮廓、焊点位置、缺陷点及焊点中心的至少一个,所述第一工件与所述第二工件通过焊接方式连接;
所述处理器,进一步用于:
根据所述第一图像,提取所述第一工件的第一轮廓、所述第二工件的第二轮廓、所述焊点位置、所述缺陷点及所述焊点中心的至少一个;及
输入所述第一工件的第一轮廓、所述第二工件的第二轮廓、所述焊点位置、所述缺陷点及所述焊点中心的至少一个至所述逻辑处理组件,形成所述焊接缺陷。
5.如权利要求1所述的工件焊接缺陷检测装置,其中,所述历史焊接信息包括至少一根据历史焊接缺陷信息标记的历史图像;
所述处理器,进一步用于:
扩充所述历史图像,形成训练集;
输送所述训练集至一初始模型,形成焊接特征;
输送所述焊接特征至一分类器,形成分类结果;
输送所述历史焊接缺陷信息及所述分类结果至一评估模型,形成评估结果;
确定所述评估结果符合预设条件;及
基于所述评估结果符合预设条件,根据所述初始模型及所述评估结果,形成所述逻辑处理组件。
6.如权利要求5所述的工件焊接缺陷检测装置,其中,所述预设条件包括损失函数的收敛性及识别精准度的预设值。
7.如权利要求5所述的工件焊接缺陷检测装置,其中,所述初始模型为语义切割模型且包括卷积层及池化层;
所述处理器,进一步用于:
输送所述训练集至所述卷积层,形成卷积结果;及
输送所述卷积结果至所述池化层,形成所述焊接特征。
8.如权利要求1所述的工件焊接缺陷检测装置,其中,所述处理器进一步用于:
输送所述焊接信息至所述逻辑处理组件,形成所述焊接信息的图像特征;及
输送所述图像特征至一分类器,形成所述焊接缺陷。
9.如权利要求1-8任一项所述的工件焊接缺陷检测装置,其中,所述焊接缺陷包含漏焊数量、少焊点数量、焊点爬墙比例、焊点偏位比例、缺陷点比例、焊洞比例及所述第一工件的偏位度数的至少一个;
所述处理器,进一步用于:
形成所述漏焊数量、所述少焊点数量、所述焊点爬墙比例、所述焊点偏位比例、所述缺陷点比例、所述焊洞比例及所述偏位度数的至少一个的缺陷显示信息,以根据所述缺陷显示信息呈现所述焊接缺陷的具象或特征值。
10.如权利要求1所述的工件焊接缺陷检测装置,其中,所述焊接信息包括第一焊点位置及第二焊点位置,所述处理器进一步用于:
输送所述焊接信息至所述逻辑处理组件,形成所述焊接缺陷,所述焊接缺陷包含在所述第一焊点位置形成的第一缺陷,及包含在所述第二焊点位置形成的第二缺陷;
形成所述第一缺陷对应的第一缺陷显示信息及所述第二缺陷对应的第二缺陷显示信息,以根据所述第一缺陷显示信息及所述第二缺陷显示信息呈现所述焊接缺陷的具象或特征值。
11.一种工件焊接缺陷检测方法,包括:
接收来自一图像采集模组的第一图像;
根据所述第一图像,提取焊接信息;
输送所述焊接信息至一逻辑处理组件,形成焊接缺陷,所述逻辑处理组件为根据历史焊接信息通过自我学习演进而成;及
形成所述焊接缺陷的显示信息,以根据所述显示信息呈现所述焊接缺陷的具象或特征值。
12.如权利要求11所述的工件焊接缺陷检测方法,进一步包括:
根据所述第一图像和所述显示信息,生成第二图像。
13.如权利要求12所述的工件焊接缺陷检测方法,其中,所述第一图像包含第一区域,所述焊接信息包含第一焊接信息,所述第一焊接信息为基于所述第一区域提取获得,所述显示信息包含第一显示信息,所述第一显示信息对应基于所述第一焊接信息形成的所述焊接缺陷;
其中所述生成第二图像的步骤,包括:
确定所述第一区域关联所述第一显示信息;
叠加所述第一显示信息于所述第一区域的显示范围,以生成所述第二图像。
14.如权利要求11所述的工件焊接缺陷检测方法,其中,所述焊接信息包括第一工件的第一轮廓、第二工件的第二轮廓、焊点位置、缺陷点及焊点中心的至少一个,所述第一工件与所述第二工件通过焊接方式连接;
其中所述形成所述焊接缺陷的步骤,包括:
根据所述第一图像,提取所述第一工件的第一轮廓、所述第二工件的第二轮廓、所述焊点位置、所述缺陷点及所述焊点中心的至少一个;及
输送所述第一工件的第一轮廓、所述第二工件的第二轮廓、所述焊点位置、所述缺陷点及所述焊点中心的至少一个至所述逻辑处理组件,形成所述焊接缺陷。
15.如权利要求11所述的工件焊接缺陷检测方法,其中,所述历史焊接信息包括至少一根据历史焊接缺陷信息标记的历史图像;
其中所述根据历史焊接信息通过自我学习演进而成的步骤包括:
扩充所述历史图像,形成训练集;
输送所述训练集至一初始模型,形成焊接特征;
输送所述焊接特征至一分类器,形成分类结果;
输送所述历史焊接缺陷信息及所述分类结果至一评估模型,形成评估结果;
确定所述评估结果符合预设条件;及
基于所述评估结果符合预设条件,根据所述初始模型及所述评估结果,形成所述逻辑处理组件。
16.如权利要求15所述的工件焊接缺陷检测方法,其中,所述预设条件包括损失函数的收敛性及识别精准度的预设值。
17.如权利要求15所述的工件焊接缺陷检测方法,其中,所述初始模型为语义切割模型且包括卷积层及池化层;
其中所述形成焊接特征的步骤,包括:
输送所述训练集至所述卷积层,形成卷积结果;及
输送所述卷积结果至所述池化层,形成所述焊接特征。
18.如权利要求11所述的工件焊接缺陷检测方法,其中,所述形成焊接缺陷的步骤包括:
输送所述焊接信息至所述逻辑处理组件,形成所述焊接信息的图像特征;及
输送所述图像特征至一分类器,形成所述焊接缺陷。
19.如权利要求11-18任一项所述的工件焊接缺陷检测方法,其中,所述焊接缺陷包含漏焊数量、少焊点数量、焊点爬墙比例、焊点偏位比例、缺陷点比例、焊洞比例及所述第一工件的偏位度数的至少一个;
形成所述焊接缺陷的显示信息的步骤,包含:
形成所述漏焊数量、所述少焊点数量、所述焊点爬墙比例、所述焊点偏位比例、所述缺陷点比例、所述焊洞比例及所述偏位度数的至少一个的缺陷显示信息,以根据所述缺陷显示信息呈现所述焊接缺陷的具象或特征值。
20.如权利要求11所述的工件焊接缺陷检测方法,其中,所述焊接信息包括第一焊点位置及第二焊点位置,形成焊接缺陷的步骤包含:
输送所述焊接信息至所述逻辑处理组件,形成所述焊接缺陷,所述焊接缺陷包含在所述第一焊点位置形成的第一缺陷,及包含在所述第二焊点位置形成的第二缺陷;
形成所述第一缺陷对应的第一缺陷显示信息及所述第二缺陷对应的第二缺陷显示信息,以根据所述第一缺陷显示信息及所述第二缺陷显示信息呈现所述焊接缺陷的具象或特征值。
21.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行,并实现如权利要求11-20中任一项所述工件焊接缺陷检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011497659.4A CN114648481A (zh) | 2020-12-17 | 2020-12-17 | 工件焊接缺陷检测装置、方法及计算机可读存储介质 |
US17/538,084 US20220088719A1 (en) | 2020-12-17 | 2021-11-30 | Method, apparatus, and non-transitory computer readable medium for detecting welding defects of workpieces |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011497659.4A CN114648481A (zh) | 2020-12-17 | 2020-12-17 | 工件焊接缺陷检测装置、方法及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114648481A true CN114648481A (zh) | 2022-06-21 |
Family
ID=80739813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011497659.4A Pending CN114648481A (zh) | 2020-12-17 | 2020-12-17 | 工件焊接缺陷检测装置、方法及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220088719A1 (zh) |
CN (1) | CN114648481A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482240A (zh) * | 2022-11-10 | 2022-12-16 | 富联裕展科技(深圳)有限公司 | 焊接设备稳定度的确定方法、装置、焊接设备及存储介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7566640B2 (ja) * | 2021-01-04 | 2024-10-15 | 株式会社東芝 | 処理装置、溶接システム、処理方法、プログラム、及び記憶媒体 |
DE102022209007A1 (de) * | 2022-08-31 | 2024-02-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Segmentierung eines Schliffbilds einer Schweißnaht mittels künstlicher Intelligenz |
CN117649406B (zh) * | 2024-01-29 | 2024-06-07 | 宁德时代新能源科技股份有限公司 | 密封钉焊接缺陷检测方法、装置、设备及存储介质 |
CN117984024B (zh) * | 2024-04-03 | 2024-06-18 | 中国水利水电第十工程局有限公司 | 基于船闸人字门自动化生产的焊接数据管理方法及系统 |
-
2020
- 2020-12-17 CN CN202011497659.4A patent/CN114648481A/zh active Pending
-
2021
- 2021-11-30 US US17/538,084 patent/US20220088719A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482240A (zh) * | 2022-11-10 | 2022-12-16 | 富联裕展科技(深圳)有限公司 | 焊接设备稳定度的确定方法、装置、焊接设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20220088719A1 (en) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114648481A (zh) | 工件焊接缺陷检测装置、方法及计算机可读存储介质 | |
CN110570410B (zh) | 一种自动识别检测焊缝缺陷的检测方法 | |
CN111156923A (zh) | 工件检测方法、装置、计算机设备以及存储介质 | |
CN111091538B (zh) | 一种管道焊缝自动识别、缺陷检测方法及装置 | |
US20220415020A1 (en) | System and method for detection of anomalies in welded structures | |
CN113538341B (zh) | 自动光学检测辅助方法、装置及存储介质 | |
JP2008235504A (ja) | 組立品検査装置 | |
CN115147370A (zh) | 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备 | |
CN113780900A (zh) | 基于边缘计算的焊接检测系统及方法 | |
CN111126227B (zh) | 一种扫描采集异常答题卡的检测方法 | |
CN115619738A (zh) | 一种模组侧缝焊焊后检测方法 | |
CN111758117A (zh) | 检查系统、识别系统以及学习数据生成装置 | |
US20190141236A1 (en) | Inspection workflow using ojbect recognition and other techniques | |
CN107223257A (zh) | 测试方法、测试服务器及系统 | |
US11574400B2 (en) | System and method for automated visual inspection | |
CN113469991B (zh) | 一种锂电池极耳激光焊点视觉在线检测方法 | |
CN111223081A (zh) | 基于深度学习的零件开孔识别与检测方法及系统 | |
CN116385336B (zh) | 基于深度学习的焊缝检测方法、系统、装置及存储介质 | |
CN115908292A (zh) | 焊接工件的缺陷检测方法、装置及存储介质 | |
CN111356914B (zh) | 一种检测方法和检测装置 | |
CN117630003A (zh) | 一种零件缺陷的检测方法和装置 | |
TWI549097B (zh) | 電子元件外觀影像檢測方法及其電腦可讀媒體 | |
KR101910040B1 (ko) | 혈흔 발혈점 추정 시스템 및 방법 | |
CN118781041A (zh) | 模组侧焊缝检测方法、系统、计算机设备及存储介质 | |
TWI822269B (zh) | 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |