Nothing Special   »   [go: up one dir, main page]

CN109416315B - 机器视觉方法和系统 - Google Patents

机器视觉方法和系统 Download PDF

Info

Publication number
CN109416315B
CN109416315B CN201780028097.9A CN201780028097A CN109416315B CN 109416315 B CN109416315 B CN 109416315B CN 201780028097 A CN201780028097 A CN 201780028097A CN 109416315 B CN109416315 B CN 109416315B
Authority
CN
China
Prior art keywords
image
processing device
data processing
data
burst
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780028097.9A
Other languages
English (en)
Other versions
CN109416315A (zh
Inventor
M.瓦肯恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procemex Oy
Original Assignee
Procemex Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procemex Oy filed Critical Procemex Oy
Publication of CN109416315A publication Critical patent/CN109416315A/zh
Application granted granted Critical
Publication of CN109416315B publication Critical patent/CN109416315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/14Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • G01N21/8983Irregularities in textured or patterned surfaces, e.g. textiles, wood for testing textile webs, i.e. woven material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4427Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with stored values, e.g. threshold values
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286Modifications to the monitored process, e.g. stopping operation or adapting control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0297Reconfiguration of monitoring system, e.g. use of virtual sensors; change monitoring method as a response to monitoring results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N2021/8909Scan signal processing specially adapted for inspection of running sheets
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37208Vision, visual inspection of workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37337Noise, acoustic emission, sound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Textile Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Wood Science & Technology (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种方法,包括:由机器视觉系统的图像传感器以第一图像捕获频率来捕获待监测的对象的图像,将所述所捕获图像数据发送到图像数据处理设备以及由所述图像数据处理设备分析所述所接收图像数据,并且其中如果检测到图像数据包括偏移,则发送触发信号以用于触发图像传感器以将其重新配置成捕获图像突发以及用于将所捕获图像突发数据发送到所述图像数据处理设备以供进一步分析。本发明还涉及执行方法的计算机程序产品和机器视觉系统。

Description

机器视觉方法和系统
技术领域
本发明涉及一种用于连续制造过程的成像的方法,在该方法中相机用于待监测对象的突发模式成像。
本发明还涉及使得装置执行该方法的系统和计算机程序产品。
背景技术
在连续制造过程中,存在不断地穿过机器的材料或产品。在这样的过程中,必须监测产品以便检测可能的偏差或壁板断裂。此外,机器本身的情况可以被监测,以便检测可能的机器故障或过程偏差,其可能引起那些上述的产品的偏差或者壁板断裂,但是其也可以引起机器/机械的计划外的或计划的停机时间或损坏机器本身。通过这种(一项或多项)监测,可能获得高质量的最终产品。产品、机器或过程可以例如通过诸如相机系统之类的机器视觉系统来监测。所捕获图像由处理单元分析。
发明内容
现在已经发明了改进的方法和实现该方法的技术装备。本发明的各种方面包括一种方法、包括至少一个图像传感器并且还可能地包括声学传感器的机器视觉系统和包括存储在其中的计算机程序的计算机可读介质,这些通过独立权利要求中陈述的内容来表征。在从属权利要求中公开了本发明的各种实施例。
根据本发明的第一方面,提供了一种方法,包括:通过机器视觉系统的图像传感器以第一图像捕获频率捕获待监测的对象的图像,将所述所捕获图像数据发送到数据处理设备,以及由所述数据处理设备分析所述所接收图像数据,并且其中如果检测到所述所接收图像数据包括偏差,则所述数据处理设备布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以第二图像捕获频率捕获图像突发并且将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。
根据实施例,方法还包括记录机器视觉系统周围的声学环境,将所述所记录声学环境数据发送到数据处理设备,以及由所述数据处理设备分析所述所接收声学环境数据,并且其中如果检测到所述所接收声学环境数据包括偏差,则所述数据处理设备布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以第二图像捕获频率捕获图像突发并且将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。根据实施例,方法还包括确定偏差的根本原因,并且基于根本原因确定重新配置成捕获图像突发的图像传感器。根据实施例,图像传感器在图像突发之后以第一图像捕获频率继续捕获图像。根据实施例,触发信号确定图像突发的图像捕获频率。根据实施例,触发信号确定在图像突发期间捕获的图像的图像分辨率。根据实施例,触发信号确定图像突发的时间长度。
根据本发明的第二方面,提供了一种用于监测待监测对象的机器视觉系统,包括:图像传感器和数据处理设备,其中所述图像传感器被布置成以第一图像捕获频率捕获待监测的所述对象的图像并且将所述所捕获图像数据发送到数据处理设备以供分析,并且其中如果检测到所述所接收图像数据包括偏差,则所述数据处理设备布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以第二图像捕获频率捕获图像突发并且将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。
根据实施例,机器视觉系统还包括声学传感器,其中所述传感器被布置成记录机器视觉系统周围的声学环境,并且其中声学传感器还被布置成将所述所记录声学环境数据发送到数据处理设备以供分析,并且其中如果检测到所述所接收声学环境数据包括偏差,则所述数据处理设备被布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以第二图像捕获频率捕获图像突发并且将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。根据实施例,数据处理设备还确定偏差的根本原因,并且基于根本原因来确定被重新配置成捕获图像突发的图像传感器。根据实施例,图像传感器在图像突发之后以第一图像捕获频率继续捕获图像。根据实施例,触发信号确定图像突发的图像捕获频率。根据实施例,触发信号确定在图像突发期间捕获的图像的图像分辨率。根据实施例,触发信号确定图像突发的时间长度。
根据本发明的第三方面,提供了一种体现在非瞬态计算机可读介质上的计算机程序产品,包括计算机程序代码,其配置成当在至少一个处理器上执行时,使得系统以第一图像捕获频率捕获由机器视觉系统的图像传感器要监测的对象的图像,将所述所捕获图像数据发送到数据处理设备,并且由所述数据处理设备分析所述所接收图像数据,并且其中如果检测到所述所接收图像数据包括偏差,则所述数据处理设备被布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以第二图像捕获频率捕获图像突发并且将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。
根据实施例,系统还记录机器视觉系统周围的声学环境,将所述所记录声学环境数据发送到数据处理设备,并且由所述数据处理设备分析所述所接收声学环境数据,并且其中如果检测到所述所接收声学环境数据包括偏差,则所述数据处理设备被布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以第二图像捕获频率捕获图像突发并且将捕获的图像突发数据发送到所述数据处理设备以供进一步分析。根据实施例,系统还确定偏差的根本原因,并且基于根本原因确定重新配置成捕获图像突发的图像传感器。根据实施例,图像传感器在图像突发之后以第一图像捕获频率继续捕获图像。根据实施例,触发信号确定图像突发的图像捕获频率。根据实施例,触发信号确定在图像突发期间所捕获图像的图像分辨率。根据实施例,触发信号确定图像突发的时间长度。
附图说明
在下文中,将参考附图更详细地描述本发明的各种实施例,在所述附图中:
图1示出了根据示例实施例的机器视觉系统;
图2示出了根据示例实施例的机器视觉系统;以及
图3示出了根据示例实施例的机器视觉系统的检查方法。
具体实施方式
本发明涉及根据示例实施例的机器视觉系统,并且包括用于检测壁板产品、机械或过程中的偏差的至少一个图像传感器。术语“偏差”在本上下文中包括从产品、机械或过程可检测的任何偏差,例如,缺陷、孔、污点、明确的变化、灰色或深色点、条纹、皱纹、气泡或壁板中的图案,或者机器的机械结构中的故障或错误或缺陷或偏差,或者过程的某个其它部分中的缺陷或偏差。图像传感器用于捕获移动对象的图像,所述移动对象例如,作为该图像传感器的监测目标的壁板或机器。机器视觉系统的图像传感器可以是例如相机,例如,c-mos或ccd相机、矩阵或线扫描相机、黑白或彩色相机、常规或智能相机或任何适合的相机。布置成被监测的目标可被照亮以用于成像。根据实施例的机器视觉系统可以布置在例如用于支撑一个或多个图像传感器和可能的一个或多个灯的壁板监测梁或壁板监测导轨中或与其结合。
许多偏差使得一个图像或很少捕获的偏差的顺序图像不够,但是必须(例如,利用具有高频率的多个图像)更仔细地监测产品或机器,以便检测整个偏差或确定偏差的根本原因。这意味着可能需要偏差的更多图像。此外,机器本身的情况也可能需要更精确的监测,以便能够检测可能的机器/机械的(一个或多个)故障或过程偏差。此更精确的监测可能再次需要具有高频率的多个顺序图像。
本发明还涉及根据本发明的示例实施例的方法,其中壁板的一个或多个图像由一个或多个图像传感器以所谓的第一图像捕获模式以第一图像捕获频率捕获,并且一个或多个所捕获图像的图像数据由图像传感器的数据处理设备分析和/或发送到外部数据处理设备以供分析。如果检测到一个或多个所捕获图像包括偏差,那么可以通过触发信号来配置至少一个图像传感器以捕获至少一个图像突发。术语“图像突发”在此上下文中指代图像传感器处于高速图像拍摄模式期间的一段时间。在图像突发期间捕获的图像还可以包括至少部分重叠的图像区域,并且它们还可以具有更高的分辨率。所检测偏差可以引起捕获图像的同一图像传感器的触发,所述图像包括一个或多个其它图像传感器而不是该图像传感器的偏差或者除了该图像传感器之外的一个或多个其它图像传感器的偏差。数据处理设备可以例如通过触发信号来重新配置图像传感器,即改变图像传感器的配置,使得图像传感器被配置成第二图像捕获频率模式,所述第二图像捕获频率模式是图像突发模式。触发信号还可以为图像传感器确定待捕获的图像捕获频率和/或图像突发的分辨率、图像应当如何重叠和/或图像突发的时间长度。
代替对材料壁板的偏差检测或者除了对材料壁板的偏差检测之外,如果在第一图像捕获模式期间经由听觉分析在过程机械的声学表示中检测到偏差(例如预定改变),则可以分析过程机械的声学表示并且还可以由触发信号配置至少一个图像传感器来以第二图像捕获频率模式捕获至少一个图像突发。听觉分析可以例如由图像传感器的数据处理设备和/或外部数据处理设备执行。图像传感器的数据处理设备和/或外部数据处理设备可以包括接收过程的声学环境数据的获取单元,所述声学环境数据是对过程成像并且包括(一个或多个)声学传感器(诸如记录声学环境的麦克风)的图像传感器周围的环境声音,即其周围的音频信号。
此外,还可以手动触发至少一个图像传感器以捕获至少一个图像突发,或者一个图像传感器还可以通过一个触发信号触发多于一个图像突发,使得在图像突发之间存在预定间隔。
在图像突发期间,一个或多个触发的图像传感器处于第二图像捕获频率模式中。第二图像捕获频率模式的图像捕获频率高于第一图像捕获频率模式的图像捕获频率。在第一图像捕获频率模式期间,图像传感器可以捕获例如每秒50-100个图像,并且在第二图像捕获频率模式期间,图像传感器可以捕获例如每秒500-1000个图像。通常,图像突发耗费相对短的时间,例如0.5-1秒,这是因为它可以产生如此多的图像数据以供分析。此外,图像突发的图像可以具有比在图像突发之外(即在第二图像捕获频率模式之外,即在第一图像捕获频率模式期间)捕获的图像更高的分辨率。适用于捕获并且还适用于发送包括多个图像(可能是高分辨率图像)的图像突发数据的图像传感器需要具有足够的处理能力。捕获图像突发的图像传感器可以在其将用于分析的图像突发数据发送到数据处理设备(例如,无线地或经由连接到图像传感器的有线连接的外部数据处理设备)之前将图像突发数据存储在其存储器中。这样,数据发送速率可能不会形成对图像突发数据发送的限制。
可以预定用于机器视觉系统或直接用于机器视觉系统的一个或多个图像传感器,该一个或多个图像传感器被触发以捕获图像突发,或者可替换地,图像传感器或外部数据处理设备可以确定用于触发信号中的图像突发的(一个或多个)图像传感器。
例如,可以按如下定义被触发以用于捕获图像突发的图像传感器。可以基于检测到的材料壁板中的偏差来确定(一个或多个)图像传感器。机器视觉系统可以限定材料壁板偏差与它们的根本原因之间的相互关系。可能存在存储在数据处理系统的存储器中的特定类型的偏差的根本原因。此外,基于根本原因使得机器视觉系统可以确定在(一个或多个)这样的位置中的一个或多个图像传感器,根本原因或其中根本原因引起(一个或多个)偏差的区域应当由图像突发更仔细地成像。此外,代替对材料壁板的偏差检测或除了对材料壁板的偏差检测之外,用于捕获图像突发的图像传感器可以基于机械的声学表示中的所检测偏差来确定。机器视觉系统的数据处理设备可以再次限定机械的声学表示的(一个或多个)偏差与它们的根本原因之间的相互关系。再次,基于(一个或多个)根本原因,数据处理设备可以确定在偏差的根本原因的位置中的一个或多个图像传感器,例如在其中根本原因引起机械的声学表示的改变的区域或特定机器附近。可能的是,为机器视觉系统预定偏差的根本原因。
图1示出了本发明的实施例,其中机器视觉系统10结合待监测对象13公开。机器视觉系统包括至少两个智能相机14、17,其包括图像传感器11、15和数据处理设备部分12、16。区域图像传感器11被布置成从待监测对象(即,可移动壁板状材料)捕获图像并且将每个图像的图像数据发送到智能相机14的数据处理设备部分12。区域图像传感器15被布置成从待监测对象i捕获图像,并将每个图像的图像数据发送到智能相机17的数据处理设备部分16。
数据处理设备部分12、16包括至少一个处理器、包括用于一个或多个程序单元的计算机程序代码的至少一个存储器以及用于无线地或经由有线连接从传感器11接收图像数据的装置(例如,接收器或收发器),以及用于无线地或经由有线连接发送触发信号的装置(例如,发射器或收发器)。可以存在多个处理器,例如通用处理器和图形处理器以及DSP处理器和/或多个不同的存储器,例如用于在运行时存储数据和程序的易失性存储器以及诸如用于永久存储数据和程序的硬盘之类的非易失性存储器。智能相机14的数据处理设备部分12和智能相机17的数据处理设备部分16可以是诸如计算机的适用于处理图像数据的任何计算设备。数据处理设备部分12、16分别经由信号线与区域图像传感器11、15电子通信。智能相机14、17还可以包括视频控制器和音频控制器,以用于生成可以针对具有计算机附件的用户产生的信号。智能相机14、17通过输出装置向用户产生输出。视频控制器可以连接到显示器。显示器可以是例如平坦面板显示器或用于产生较大图像的投影仪。音频控制器可以连接到声源,诸如扬声器或耳机。智能相机14、17还可以包括声学传感器,诸如麦克风。
数据处理设备部分12、16被配置成从图像传感器11、15接收由图像传感器11、15以第一图像捕获频率捕获的图像以作为图像数据。数据处理设备部分12、16分析上述图像,并且如果例如数据处理设备部分12检测到偏差,则其可以通过指示应当捕获的图像突发以及应当发送到数据处理设备部分12,16以供进一步分析的图像突发数据(即数据处理设备部分12从图像传感器11和/或从图像传感器15请求到处理设备部分16的图像突发)由触发信号来配置图像传感器11或可替换地第二相机16的第二图像传感器15或两者这是。在图像突发期间,(一个或多个)图像传感器11和/或15以高于第一图像捕获频率的第二图像捕获频率捕获图像。数据处理设备部分12还可以在触发信号中为(一个或多个)图像传感器11和/或15限定图像突发的图像的数目或图像突发的持续时间,或者其可以针对(一个或多个)图像传感器11和/或15预定。在(一个或多个)图像传感器11和/或15已经捕获了所请求的图像突发之后,(一个或多个)图像传感器11和/或15开始以第一图像捕获频率捕获图像并且发送图像数据直到接收到下一个图像突发触发信号。在该实施例中,第二图像传感器15捕获待监测对象的图像,所述待监测对象是在生产线中的图像传感器11之前布置的机器18。此外,因为机器18在过程中比其中由图像传感器11找到偏差的位置更早,所以例如可能检查机器18是否正常工作或者机器18是否引起材料壁板的偏差。数据处理设备部分12还可以被布置成向用户通知包括机器视觉系统10的机械。
图2示出了本发明的实施例,其中机器视觉系统20结合待监测移动对象23公开。机器视觉系统包括至少两个图像传感器21、25,声学传感器26和用于处理声学数据和图像数据的数据处理设备22。图像传感器21、25被布置成从作为材料壁板的移动对象23捕获图像并且将每个图像的数据发送到数据处理设备22。声学传感器26被布置成捕获待监测移动对象23周围的声学数据。
数据处理设备22包括至少一个处理器、包括用于一个或多个程序单元的计算机程序代码的至少一个存储器,以及用于无线地或经由有线连接(例如,接收器或收发器)接收图像数据的装置以及用于无线地或经由有线连接通过触发信号发送配置的装置(例如,发射器或收发器)。可以存在多个处理器,例如通用处理器和图形处理器以及DSP处理器和/或多个不同的存储器,例如用于在运行时存储数据和程序的易失性存储器以及诸如用于永久存储数据和程序的硬盘之类的非易失性存储器。数据处理设备22可以是诸如计算机的适用于处理图像数据的任何计算设备。数据处理设备22经由信号线与图像传感器21、25和声学传感器26电子通信。为了处理到/来自信号线的信号,数据处理设备22包括I/O电路。图像传感器21、25和声学传感器26与数据处理设备22以及声学传感器26与数据处理设备22之间的连接是有线或无线网络。数据处理设备22还可以包括视频控制器和音频控制器,以用于生成可以向具有计算机附件的用户产生的信号。视频控制器可以连接到显示器。显示器可以是例如平坦面板显示器或用于产生较大图像的投影仪。音频控制器可以连接到声源,诸如扬声器或耳机。数据处理设备22还可以包括声学传感器,诸如麦克风。
数据处理设备22被配置成从图像传感器21、25接收以第一图像捕获频率捕获的图像和由声学传感器26捕获的声学数据。数据处理设备22分析上述图像和声学数据,并且如果数据处理设备22检测到偏差,则其可以通过指示应当捕获的图像突发以及应当发送到数据处理设备22以供进一步分析的图像突发数据(即数据处理设备22从图像传感器21和/或从图像传感器25请求图像突发)由触发信号来配置图像传感器21或可替换地第二图像传感器25或两者。在图像突发期间,(一个或多个)图像传感器21和/或25以高于第一图像捕获频率的第二图像捕获频率捕获图像。
在该实施例中,第二图像传感器25在生产线中被布置在图像传感器21之前,以用于对待监测对象23成像。因此,如果数据处理设备22检测到从图像传感器21接收的图像数据的偏差,则有可能已经在过程的较早阶段中待监测移动对象23中存在错误,并且触发第二图像传感器25以执行图像突发。
数据处理设备22还可以为(一个或多个)图像传感器21和/或25限定图像突发的图像的数目或图像突发的持续时间,或者其可以针对(一个或多个)图像传感器21和/或25预定。在(一个或多个)图像传感器21和/或25已经捕获且图像数据已经发送所请求图像突发数据之后,(一个或多个)图像传感器21和/或25开始捕获并且以第一图像捕获频率,直到接收到下一个图像突发触发信号。数据处理设备22还可以被布置成向用户通知包括机器视觉系统20的机器。
一些图像传感器还可以提供具有多个预定配置集合的可能性,其在使用的情况下可以加速将图像传感器21、25重新配置成不同模式的过程。在预定配置集合的情况下,代替参数的列表,来自数据处理设备22的简单命令将足以重新配置图像传感器21、25以执行图像突发。图像传感器在没有触发信号或任何其它命令(例如,在预定时刻)的情况下自动切换到图像突发模式也是可能的。
还可能的是,在一个机器视觉系统中使用若干图像突发模式类型,例如,使用的图像捕获频率或图像突发长度或图像突发的数目可以变化,并且它们可以取决于例如成像目标或偏差的根本原因。再次,数据处理设备可以(例如,通过触发信号)为图像传感器确定使用什么图像突发模式,或者可以预先为每个图像传感器预定图像突发模式的类型。如果预先预定图像突发模式类型,则可能足以接收仅指示需要改变到图像突发状态模式的简单触发信号。
图3示出了根据示例实施例的机器视觉系统的偏差检查方法30。在步骤31中,机器视觉系统的图像传感器以第一图像捕获频率捕获待监测对象的图像。在步骤32中,图像数据处理设备将所捕获图像数据发送到图像数据处理设备。在步骤33中,图像数据处理设备分析所接收图像数据,并且如果检测到所述所接收图像数据包括偏差,则图像数据处理设备在步骤34中发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以第二图像捕获频率捕获图像突发并且将所捕获图像突发数据发送到所述图像数据处理设备以供进一步分析。应当注意的是,图像传感器还可以用于对不同于壁板状材料的其它类型的(一种或多种)移动对象成像。
本发明的各种实施例可以借助于位于存储器中并且使得装置执行本发明的计算机程序代码来实现。例如,作为计算设备的装置,例如数据处理设备可以包括用于分析、接收和发送数据的电路和电子器件、存储器中的计算机程序代码以及在运行计算机程序代码时使得装置执行实施例的特征的处理器。当运行计算机程序代码时,处理器可以执行以下方法的步骤:由例如相机传感器的图像传感器以第一图像捕获频率捕获待监测对象的(一个或多个)图像,发送所述所捕获图像的图像数据,分析所接收图像,以及如果检测到所述所接收图像包括偏差或者如果检测到机械的声学表示包括变化,则所述数据处理设备被布置成通过触发信号将配置发送到至少一个图像传感器,并且其中所述至少一个图像传感器被布置成捕获在相对短的时间段期间以第二图像捕获频率成像的图像突发。在图像突发之后,图像传感器继续以第一图像捕获频率成像。方法可以进一步包括以下步骤,其中数据处理设备被布置成将所述图像突发的图像数据存储和发送到数据处理设备以供进一步分析。应当注意的是,可能不总是需要图像中的缺陷或机械的声学表示的改变以使得数据处理设备触发图像突发,但是图像突发也可以由数据处理设备随机地触发。
当与现有机器视觉系统的方法和系统相比,由本发明实现了相当多的优点,所述现有机器视觉系统包括至少图像传感器,例如适用于捕获图像突发的相机。借助于根据本发明的布置,可能以两种不同的模式使用图像传感器,其中第一模式包括以第一图像捕获频率成像,并且第二模式包括在需要时以第二图像捕获频率成像达短时间段。另外,借助于根据本发明的布置,也可能在需要时(例如,当单独的和较不频繁捕获的图像没有给出足够信息时)提供图像突发数据。
显而易见的是,本发明不唯一地限于以上呈现的实施例,而是其可以在所附权利要求的范围内进行修改。

Claims (13)

1.一种机器视觉方法,包括:
由机器视觉系统的图像传感器以第一图像捕获频率捕获待监测对象的图像;
将所捕获图像数据发送到数据处理设备;以及
由所述数据处理设备分析所接收图像数据,以及其中
如果检测到所接收图像数据包括偏差,则所述数据处理设备被布置成发送触发信号以用于触发捕获包括所述偏差的所述图像数据的至少所述图像传感器,使得至少所述图像传感器被重新配置成以第二图像捕获频率捕获图像突发,其中所述触发信号限定所述图像突发的持续时间,并且其中所述图像突发的所述第二图像捕获频率高于所述第一图像捕获频率,并且被重新配置成将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。
2.根据权利要求1所述的方法,其中所述方法还包括:
记录所述机器视觉系统周围的声学环境;
将包括过程机械的声学表示的所记录声学环境数据发送到所述数据处理设备;以及
由所述数据处理设备分析所接收声学环境数据,以及其中
如果检测到所接收声学环境数据包括在第一图像捕获模式期间的过程机械的所述声学表示的改变,则所述数据处理设备被布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以所述第二图像捕获频率捕获图像突发并且将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。
3.根据权利要求1或2所述的方法,其中所述方法还包括:
限定所述待监测对象的偏差与它们的原因之间的相互关系;
确定所检测偏差的原因;以及
基于所述原因确定被重新配置成捕获所述图像突发的所述图像传感器,其中所述图像传感器处于这样的位置:在所述位置中所述原因引起所检测偏差。
4.根据权利要求1或2所述的方法,其中所述图像传感器在所述图像突发之后以所述第一图像捕获频率继续捕获图像。
5.根据权利要求1或2所述的方法,其中所述触发信号确定所述图像突发的图像捕获频率。
6.根据权利要求1或2所述的方法,其中所述触发信号确定在所述图像突发期间捕获的图像的图像分辨率。
7.一种用于监测待监测对象的机器视觉系统,包括图像传感器和数据处理设备,其中所述图像传感器被布置成以第一图像捕获频率捕获待监测所述对象的图像,并且将所捕获图像数据发送到所述数据处理设备以供分析,并且其中如果检测到所接收图像数据包括偏差,则所述数据处理设备被布置成发送触发信号以用于触发捕获包括所述偏差的所述图像数据的至少所述图像传感器,使得至少所述图像传感器被重新配置成以第二图像捕获频率捕获图像突发,其中所述触发信号限定所述图像突发的持续时间,并且其中所述图像突发的所述第二图像捕获频率高于所述第一图像捕获频率,以及被重新配置成将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。
8.根据权利要求7所述的机器视觉系统,其中所述机器视觉系统还包括声学传感器,其中所述声学传感器被布置成记录所述机器视觉系统周围的声学环境,并且其中所述声学传感器还被布置成将包括过程机械的声学表示的所记录声学环境数据发送到所述数据处理设备以供分析,并且其中如果检测到所接收声学环境数据包括在所述第一图像捕获模式期间的过程机械的所述声学表示的改变,则所述数据处理设备被布置成发送触发信号以用于触发图像传感器,使得至少一个图像传感器被重新配置成以所述第二图像捕获频率捕获图像突发,并且将所捕获图像突发数据发送到所述数据处理设备以供进一步分析。
9.根据权利要求7或8所述的机器视觉系统,其中所述数据处理设备还:
限定所述待监测对象的偏差与它们的原因之间的相互关系;
确定所检测偏差的原因;以及
基于所述原因确定被重新配置成捕获所述图像突发的所述图像传感器,其中所述图像传感器处于这样的位置:在所述位置中所述原因引起所检测偏差。
10.根据权利要求7或8所述的机器视觉系统,其中所述图像传感器在所述图像突发之后以所述第一图像捕获频率继续捕获图像。
11.根据权利要求7或8所述的机器视觉系统,其中所述触发信号确定所述图像突发的图像捕获频率。
12.根据权利要求7或8所述的机器视觉系统,其中所述触发信号确定在所述图像突发期间捕获的图像的图像分辨率。
13.一种计算机可读存储介质,其上存储有指令,其特征在于,所述指令被处理器执行时实现根据权利要求1或2的方法的步骤。
CN201780028097.9A 2016-05-06 2017-04-28 机器视觉方法和系统 Active CN109416315B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20165389A FI128735B (en) 2016-05-06 2016-05-06 Machine vision method and system
FI20165389 2016-05-06
PCT/FI2017/050322 WO2017191361A1 (en) 2016-05-06 2017-04-28 A machine vision method and system

Publications (2)

Publication Number Publication Date
CN109416315A CN109416315A (zh) 2019-03-01
CN109416315B true CN109416315B (zh) 2021-10-15

Family

ID=60202809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780028097.9A Active CN109416315B (zh) 2016-05-06 2017-04-28 机器视觉方法和系统

Country Status (6)

Country Link
US (1) US10451562B2 (zh)
EP (1) EP3452806B1 (zh)
JP (1) JP6902051B2 (zh)
CN (1) CN109416315B (zh)
FI (1) FI128735B (zh)
WO (1) WO2017191361A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
DE102018107689A1 (de) * 2018-03-29 2019-10-02 Krones Ag Verfahren und Vorrichtung zum Inspizieren von Behältnissen
CN109001225B (zh) * 2018-04-27 2023-07-11 上海宝钢工业技术服务有限公司 行车吊车梁疲劳裂缝检测装置及方法
CN113138191B (zh) * 2020-01-20 2022-08-05 上海各瑟信息科技有限公司 检测对象部位名称分析系统及方法
CN113298057B (zh) * 2021-07-27 2021-10-01 浙江力嘉电子科技有限公司 非现场执法系统异常检测方法及装置、电子设备、存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040057A (en) * 1990-08-13 1991-08-13 Picker International, Inc. Multi-mode TDI/raster-scan television camera system
CA2088816C (en) * 1992-02-07 2000-03-28 Roger-Henri Roch Device for detecting print misregisters, arranged in a rotary printing machine
CN1668081A (zh) * 2005-05-10 2005-09-14 北京中星微电子有限公司 一种监控摄像方法及装置
CN101002229A (zh) * 2004-06-09 2007-07-18 科格内克斯科技及投资公司 用于自动视觉事件检测的方法和装置
WO2007096475A1 (en) * 2006-02-22 2007-08-30 Viconsys Oy Method for monitoring a rapidly-moving paper web and corresponding system
EP2042654A2 (de) * 2007-09-26 2009-04-01 Voith Patent GmbH Bandkalandervorrichtung und Verfahren zum Betrieb einer Bandkalandervorrichtung
CN102656445A (zh) * 2009-12-16 2012-09-05 宝洁公司 使用线扫描摄像机以用于监测在线网的系统和方法
WO2015001196A1 (en) * 2013-07-05 2015-01-08 Procemex Oy Synchronization of imaging
CN105141922A (zh) * 2015-09-02 2015-12-09 广东美的制冷设备有限公司 基于空调的安防监控方法和空调器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10294933A (ja) * 1997-04-18 1998-11-04 Mitsubishi Electric Corp 映像監視システム
JP3581566B2 (ja) * 1998-06-10 2004-10-27 株式会社日立製作所 監視システム
JP2001276027A (ja) * 2000-03-29 2001-10-09 Hitachi Medical Corp デジタルラジオグラフィ装置
US6750466B2 (en) * 2001-02-09 2004-06-15 Wintriss Engineering Corporation Web inspection system
US20050276445A1 (en) * 2004-06-09 2005-12-15 Silver William M Method and apparatus for automatic visual detection, recording, and retrieval of events
FI119708B (fi) * 2006-02-01 2009-02-13 Viconsys Oy Laite rainan tarkkailemiseksi
US7983933B2 (en) * 2006-12-06 2011-07-19 Microsoft Corporation Patient monitoring via image capture
US8213685B2 (en) * 2007-01-05 2012-07-03 American Traffic Solutions, Inc. Video speed detection system
JP5377482B2 (ja) * 2008-06-23 2013-12-25 三菱電機株式会社 列車内監視システムおよび列車内監視方法
DE202010008084U1 (de) 2010-07-15 2011-10-21 Eltromat Gmbh Vorrichtung zur Überwachung des Druckergebnisses bei Rotationsdruckmaschinen
WO2014144628A2 (en) * 2013-03-15 2014-09-18 Master Lock Company Cameras and networked security systems and methods
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US9244042B2 (en) * 2013-07-31 2016-01-26 General Electric Company Vibration condition monitoring system and methods
US9245187B1 (en) * 2014-07-07 2016-01-26 Geo Semiconductor Inc. System and method for robust motion detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040057A (en) * 1990-08-13 1991-08-13 Picker International, Inc. Multi-mode TDI/raster-scan television camera system
CA2088816C (en) * 1992-02-07 2000-03-28 Roger-Henri Roch Device for detecting print misregisters, arranged in a rotary printing machine
CN101002229A (zh) * 2004-06-09 2007-07-18 科格内克斯科技及投资公司 用于自动视觉事件检测的方法和装置
CN1668081A (zh) * 2005-05-10 2005-09-14 北京中星微电子有限公司 一种监控摄像方法及装置
WO2007096475A1 (en) * 2006-02-22 2007-08-30 Viconsys Oy Method for monitoring a rapidly-moving paper web and corresponding system
EP2042654A2 (de) * 2007-09-26 2009-04-01 Voith Patent GmbH Bandkalandervorrichtung und Verfahren zum Betrieb einer Bandkalandervorrichtung
CN102656445A (zh) * 2009-12-16 2012-09-05 宝洁公司 使用线扫描摄像机以用于监测在线网的系统和方法
WO2015001196A1 (en) * 2013-07-05 2015-01-08 Procemex Oy Synchronization of imaging
CN105141922A (zh) * 2015-09-02 2015-12-09 广东美的制冷设备有限公司 基于空调的安防监控方法和空调器

Also Published As

Publication number Publication date
JP2019517193A (ja) 2019-06-20
EP3452806A1 (en) 2019-03-13
FI20165389A (fi) 2017-11-07
EP3452806C0 (en) 2023-07-26
EP3452806A4 (en) 2020-02-05
FI128735B (en) 2020-11-13
JP6902051B2 (ja) 2021-07-14
CN109416315A (zh) 2019-03-01
EP3452806B1 (en) 2023-07-26
US20190137410A1 (en) 2019-05-09
US10451562B2 (en) 2019-10-22
WO2017191361A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN109416315B (zh) 机器视觉方法和系统
US10884401B2 (en) Machine vision method and system for monitoring manufacturing processes
JP2018032396A5 (zh)
JP6863383B2 (ja) 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体
US10440217B2 (en) Apparatus and method for processing three dimensional image
KR102038181B1 (ko) 영상 동기화
WO2017191362A1 (en) Acoustic analysation of an operational state of process machinery
US20110160582A1 (en) Wireless ultrasonic scanning system
US20230228691A1 (en) Smart synchronization method of a web inspection system
JP2019517193A5 (zh)
KR20100117793A (ko) 음원 분석 장치
US9172916B2 (en) Web monitoring system
KR101830331B1 (ko) 기계 이상 동작 검출 장치 및 방법
CN107284057A (zh) 机器视觉检测系统和方法
JP2021128110A (ja) ベルトコンベア監視装置
CN104660999A (zh) 一种对非匀速运动物体进行标准化图像采集的方法及装置
KR102180506B1 (ko) 영상에 포함된 노이즈별 자동 영상보정 기능을 지원하는 카메라 장치
JP2007010419A (ja) 対象物の3次元形状検証システム。
EP4193930A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
CN115571587A (zh) 一种断链位置确定方法、装置、系统及存储介质
JP2012012127A (ja) エレベータのかご内監視装置
CN118570899A (zh) 拍摄系统
JP6808398B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP2020102677A (ja) 情報処理装置、情報処理方法およびプログラム
JP2019047220A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant