JP5326990B2 - Application state inspection apparatus and method, and program - Google Patents
Application state inspection apparatus and method, and program Download PDFInfo
- Publication number
- JP5326990B2 JP5326990B2 JP2009245659A JP2009245659A JP5326990B2 JP 5326990 B2 JP5326990 B2 JP 5326990B2 JP 2009245659 A JP2009245659 A JP 2009245659A JP 2009245659 A JP2009245659 A JP 2009245659A JP 5326990 B2 JP5326990 B2 JP 5326990B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- application
- processing target
- target area
- coating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Application Of Or Painting With Fluid Materials (AREA)
- Coating Apparatus (AREA)
Abstract
Description
本発明は、塗布物の塗布状態を検査する塗布状態検査装置及び方法並びにプログラムに関する。 The present invention relates to an application state inspection apparatus, method, and program for inspecting the application state of an application.
従来から、駆動部を持ち、潤滑油を必要とする機械の組み立てにおいて、機械部品の接合部にシリコーンを材料としたシール剤と呼ばれる液状の物質を塗布することによって、接合部からの油漏れを防止する手法が広く用いられている。この手法の問題点として、シール剤の切れによる油漏れの発生や飛散による駆動部への異物混入などが挙げられる。そのため、従来では、シール剤に染料などを配合して塗布対象のワーク面とシール剤との間に色の違いを発生させ、目視あるいは画像処理などの方法によってシール剤が正しく塗布されているかを検査していた。 Conventionally, when assembling a machine that has a drive unit and requires lubricating oil, a liquid substance called a sealant made of silicone is applied to the joints of machine parts to prevent oil leakage from the joints. Techniques for preventing it are widely used. Problems of this method include the occurrence of oil leakage due to the cutting of the sealing agent and the mixing of foreign matter into the drive unit due to scattering. For this reason, conventionally, a dye or the like is added to the sealing agent to cause a color difference between the workpiece surface to be applied and the sealing agent, and whether the sealing agent is correctly applied by visual or image processing methods. I was inspecting.
検査手法として画像処理を用いる場合、ワーク上におけるシール剤の塗布部を撮影して得られた撮影画像に2値化処理を施すことで、撮影画像をシール剤の塗布領域とワーク面に相当するワーク領域とに分割し、この2値化処理によって得られた検査画像と、事前に取得していた基準画像(正常に塗布されたシール剤を撮影して得られた撮影画像を2値化処理したもの)とのパターンマッチングを行うことにより、シール剤が正常に塗布されたか否かを判定することが一般的である。近年では、検査工程の自動化を図るために、画像処理を用いてシール剤の塗布状態を検査することが主流となっているが、画像処理による検査では室内照明などの外乱光の影響を受けやすく、検査環境によっては検査精度が低下するという課題があった。 When image processing is used as an inspection method, binarization processing is performed on a photographed image obtained by photographing a sealant application portion on a workpiece, so that the photographed image corresponds to a sealant application region and a work surface. An inspection image obtained by the binarization process divided into a work area and a reference image acquired in advance (a photographed image obtained by photographing a normally applied sealant is binarized. In general, it is determined whether or not the sealant has been normally applied by performing pattern matching with the above. In recent years, in order to automate the inspection process, it has become the mainstream to inspect the application state of the sealant using image processing, but inspection by image processing is easily affected by ambient light such as room lighting. However, depending on the inspection environment, there is a problem that the inspection accuracy decreases.
上記課題に対して、下記特許文献1には、照射方向や照射輝度を変更可能な照明を設けることで、限定された検査領域のみに均一な光が照射されるようにして、シール剤の塗布部を撮影する技術が開示されている。また、下記特許文献2には、塗布物に対して吸光度が大きい波長帯の光を照射し、その波長帯の光のみを選択的にカメラ等の撮像装置に向けて透過させて撮影を行う技術が開示されている。
In response to the above-described problem, the following
上記特許文献1の技術では、駆動部を持つ照明光源を必要とし、検査装置の複雑化を招く。また、検査対象の大きさや形状によって照射条件を変えながら複数回撮影する必要があり、検査時間が長くなるという問題がある。さらに、単一方向からの照明照射では、山なりに盛られたシール剤表面のどこかで、直接反射によって有害な(つまり検査精度の低下を招く)光沢が発生することを完全に防止することはできない。このようにシール剤表面に生じる光沢は、2値化処理によってワーク領域の一部として誤認識され、実際にはシール剤の塗布状態が正常であるにも関わらず、異常であるとの検査結果が得られてしまう。
一方、上記特許文献2の技術では、塗布物の吸光特性に適合した単色光源と、その波長帯を選択透過させるためのフィルタを必要とし、装置コストの増大を招くという問題がある。また、吸光特性は塗布物の成分に依存するため、塗布物の成分変更に対応することは困難である。
The technique disclosed in
On the other hand, the technique disclosed in
本発明は上述した事情に鑑みてなされたものであり、検査精度の向上を実現すると共に、装置の単純化及び低コスト化を実現することの可能な塗布状態検査装置及び方法並びにプログラムを提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and provides an application state inspection apparatus, method, and program capable of improving inspection accuracy and realizing simplification and cost reduction of the apparatus. For the purpose.
上記課題を解決するために、本発明では、塗布状態検査装置に係る第1の解決手段として、ワークに塗布された塗布物の塗布状態を検査する塗布状態検査装置であって、前記ワーク上における前記塗布物の塗布部を撮影する撮像装置と、前記撮像装置から得られた撮影画像を、第1閾値を用いて前記塗布物の塗布領域と非塗布領域とに2分割し、前記塗布領域によって囲まれた前記非塗布領域を処理対象領域として選択し、第2閾値を用いて前記処理対象領域が光沢に相当する光沢領域なのか前記ワーク表面に相当するワーク領域なのかを判断し、前記光沢領域と判断した場合、前記処理対象領域として選択した前記非塗布領域を前記塗布領域に変更する画像処理装置と、を備えることを特徴とする。 In order to solve the above-mentioned problem, in the present invention, as a first solution means for an application state inspection device, there is provided an application state inspection device for inspecting the application state of a coating applied to a workpiece, An imaging device that captures the coating portion of the coating material, and a captured image obtained from the imaging device is divided into a coating region and a non-coating region of the coating material using a first threshold, and the coating region The enclosed non-application area is selected as a process target area, and it is determined whether the process target area is a gloss area corresponding to gloss or a work area corresponding to the workpiece surface using a second threshold value. And an image processing device that changes the non-application area selected as the process target area to the application area when it is determined as an area to be processed.
また、塗布状態検査装置に係る第2の解決手段として、上記第1の解決手段において、前記画像処理装置は、前記処理対象領域の面積が所定値以下の場合に、前記第2閾値を用いて前記処理対象領域が前記光沢領域なのか前記ワーク領域なのかを判断する一方、前記処理対象領域の面積が所定値より大きい場合に、前記処理対象領域を前記ワーク領域と判断することを特徴とする。 Further, as a second solving means related to the application state inspection apparatus, in the first solving means, the image processing apparatus uses the second threshold when the area of the processing target area is a predetermined value or less. It is determined whether the processing target area is the glossy area or the work area, and when the area of the processing target area is larger than a predetermined value, the processing target area is determined as the work area. .
また、塗布状態検査装置に係る第3の解決手段として、上記第1または第2の解決手段において、前記画像処理装置は、前記第2閾値を用いて前記処理対象領域を前記光沢領域と前記ワーク領域とに2分割し、前記処理対象領域における前記光沢領域の比率が所定値以上の場合に、前記処理対象領域を前記光沢領域と判断し、前記光沢領域の比率が所定値未満の場合に、前記処理対象領域を前記ワーク領域と判断することを特徴とする。 Further, as a third solving means related to the application state inspection apparatus, in the first or second solving means, the image processing apparatus uses the second threshold value to set the processing target area as the glossy area and the workpiece. When the ratio of the glossy area in the processing target area is equal to or greater than a predetermined value, the processing target area is determined as the glossy area, and when the ratio of the glossy area is less than the predetermined value, The processing target area is determined as the work area.
また、塗布状態検査装置に係る第4の解決手段として、上記第1〜第3のいずれか1つの解決手段において、事前に取得した基準画像を記憶する記憶装置を備え、前記画像処理装置は、前記基準画像と画像処理によって得られた検査画像とを比較することにより、前記塗布物の塗布状態が正常か否かを判定することを特徴とする。 Further, as a fourth solving means related to the application state inspection apparatus, in any one of the first to third solving means, the image processing apparatus includes a storage device that stores a reference image acquired in advance. By comparing the reference image with an inspection image obtained by image processing, it is determined whether or not the application state of the application is normal.
一方、本発明では、塗布状態検査方法に係る第1の解決手段として、ワークに塗布された塗布物の塗布状態を検査する塗布状態検査方法であって、前記ワーク上における前記塗布物の塗布部を撮影する撮像工程と、前記撮像工程によって得られた撮影画像を、第1閾値を用いて前記塗布物の塗布領域と非塗布領域とに2分割する第1の画像処理工程と、前記塗布領域によって囲まれた前記非塗布領域を処理対象領域として選択し、第2閾値を用いて前記処理対象領域が光沢に相当する光沢領域なのか前記ワーク表面に相当するワーク領域なのかを判断し、前記光沢領域と判断した場合、前記処理対象領域として選択した前記非塗布領域を前記塗布領域に変更する第2の画像処理工程とを有することを特徴とする。 On the other hand, in the present invention, as a first solving means related to the application state inspection method, there is an application state inspection method for inspecting the application state of the application applied to the workpiece, and the application portion of the application on the workpiece A first image processing step of dividing the photographed image obtained by the imaging step into a coating region and a non-coating region of the coating material using a first threshold, and the coating region The non-application area surrounded by is selected as a processing target area, and a second threshold is used to determine whether the processing target area is a gloss area corresponding to gloss or a work area corresponding to the work surface, And a second image processing step of changing the non-application area selected as the process target area to the application area when it is determined to be a glossy area.
また、塗布状態検査方法に係る第2の解決手段として、上記第1の解決手段において、前記第2の画像処理工程では、前記処理対象領域の面積が所定値以下の場合に、前記第2閾値を用いて前記処理対象領域が前記光沢領域なのか前記ワーク領域なのかを判断する一方、前記処理対象領域の面積が所定値より大きい場合に、前記処理対象領域を前記ワーク領域と判断することを特徴とする。 Further, as a second solving means related to the application state inspection method, in the first solving means, in the second image processing step, when the area of the processing target region is a predetermined value or less, the second threshold value is set. Determining whether the processing target area is the glossy area or the work area, and determining that the processing target area is the work area when the area of the processing target area is larger than a predetermined value. Features.
また、塗布状態検査方法に係る第3の解決手段として、上記第1または第2の解決手段において、前記第2の画像処理工程では、前記第2閾値を用いて前記処理対象領域を前記光沢領域と前記ワーク領域とに2分割し、前記処理対象領域における前記光沢領域の比率が所定値以上の場合に、前記処理対象領域を前記光沢領域と判断し、前記光沢領域の比率が所定値未満の場合に、前記処理対象領域を前記ワーク領域と判断することを特徴とする。 Further, as a third solving means relating to the application state inspection method, in the first or second solving means, in the second image processing step, the processing target area is set to the glossy area using the second threshold value. And the work area, and when the ratio of the gloss area in the process target area is equal to or greater than a predetermined value, the process target area is determined as the gloss area, and the ratio of the gloss area is less than the predetermined value In this case, the processing target area is determined as the work area.
また、塗布状態検査方法に係る第4の解決手段として、上記第1〜第3のいずれか1つの解決手段において、前記第1及び第2の画像処理工程によって得られた検査画像と事前に取得した基準画像とを比較することにより、前記塗布物の塗布状態が正常か否かを判定する第3の画像処理工程を有することを特徴とする。 Further, as a fourth solving means related to the application state inspection method, in any one of the first to third solving means, the inspection images obtained by the first and second image processing steps are acquired in advance. It is characterized by having a third image processing step of determining whether or not the application state of the applied material is normal by comparing with the reference image.
さらに、本発明では、塗布状態検査プログラムに係る第1の解決手段として、ワークに塗布された塗布物の塗布状態を検査するために用いられる塗布状態検査プログラムであって、前記ワーク上における前記塗布物の塗布部を撮影する撮像装置から得られた撮影画像を、第1閾値を用いて前記塗布物の塗布領域と非塗布領域とに2分割する第1の画像処理と、前記塗布領域によって囲まれた前記非塗布領域を処理対象領域として選択し、第2閾値を用いて前記処理対象領域が光沢に相当する光沢領域なのか前記ワーク表面に相当するワーク領域なのかを判断し、前記光沢領域と判断した場合、前記処理対象領域として選択した前記非塗布領域を前記塗布領域に変更する第2の画像処理と、をコンピュータに実行させることを特徴とする。 Furthermore, in the present invention, as a first solving means related to the application state inspection program, there is provided an application state inspection program used for inspecting the application state of a coating applied to a workpiece, wherein the application on the workpiece is performed. A first image processing that divides a photographed image obtained from an image pickup device that photographs an application part of an object into two using a first threshold value to be an application area and a non-application area of the application object, and is surrounded by the application area The non-application area is selected as a processing target area, and a second threshold is used to determine whether the processing target area is a gloss area corresponding to gloss or a work area corresponding to the work surface, and the gloss area If it is determined, the computer executes the second image processing for changing the non-application area selected as the process target area to the application area.
また、塗布状態検査プログラムに係る第2の解決手段として、上記第1の解決手段において、前記第2の画像処理として、前記処理対象領域の面積が所定値以下の場合に、前記第2閾値を用いて前記処理対象領域が前記光沢領域なのか前記ワーク領域なのかを判断する一方、前記処理対象領域の面積が所定値より大きい場合に、前記処理対象領域を前記ワーク領域と判断するという処理をコンピュータに実行させることを特徴とする。 Further, as a second solving means relating to the application state inspection program, in the first solving means, as the second image processing, when the area of the processing target region is a predetermined value or less, the second threshold value is set. And determining whether the processing target area is the glossy area or the work area, and determining that the processing target area is the work area when the area of the processing target area is larger than a predetermined value. The computer is executed.
また、塗布状態検査プログラムに係る第3の解決手段として、上記第1または第2の解決手段において、前記第2の画像処理として、前記第2閾値を用いて前記処理対象領域を前記光沢領域と前記ワーク領域とに2分割し、前記処理対象領域における前記光沢領域の比率が所定値以上の場合に、前記処理対象領域を前記光沢領域と判断し、前記光沢領域の比率が所定値未満の場合に、前記処理対象領域を前記ワーク領域と判断するという処理をコンピュータに実行させることを特徴とする。 Further, as a third solving means relating to the application state inspection program, in the first or second solving means, as the second image processing, the processing target area is set as the glossy area using the second threshold value. When the work area is divided into two, and when the ratio of the glossy area in the processing target area is equal to or greater than a predetermined value, the processing target area is determined to be the glossy area, and the ratio of the glossy area is less than the predetermined value In addition, the computer is caused to execute a process of determining the processing target area as the work area.
また、塗布状態検査プログラムに係る第4の解決手段として、上記第1〜第3のいずれか1つの解決手段において、記憶装置から基準画像を読出し、前記第1及び第2の画像処理によって得られた検査画像と前記基準画像とを比較することにより、前記塗布物の塗布状態が正常か否かを判定する第3の画像処理をコンピュータに実行させることを特徴とする。 Further, as a fourth solving means related to the application state inspection program, in any one of the first to third solving means, a reference image is read from a storage device and obtained by the first and second image processing. By comparing the inspection image with the reference image, the computer is caused to execute a third image processing for determining whether or not the application state of the application is normal.
本発明によれば、従来では検査精度低下の要因となっていた、光の反射によって塗布物の表面に生じる光沢の影響を除外することができる(光沢に相当する光沢領域を塗布物の塗布領域に含ませることができる)ため、検査精度の向上を実現することが可能となる。また、本発明によれば、画像処理によって塗布物の表面に生じる光沢の影響を除外するため、従来のような駆動部を備える照明光源や単色光源などを必要とせず、装置の単純化及び低コスト化を実現することが可能となる。 According to the present invention, it is possible to eliminate the influence of the gloss produced on the surface of the coated product due to the reflection of light, which has been a cause of a decrease in inspection accuracy in the past (the glossy region corresponding to the gloss is applied to the coated region of the coated product). Therefore, it is possible to improve the inspection accuracy. In addition, according to the present invention, in order to eliminate the influence of the gloss generated on the surface of the coated object by image processing, an illumination light source or a monochromatic light source provided with a conventional drive unit is not required, and the apparatus can be simplified and reduced. Cost reduction can be realized.
以下、図面を参照して、本発明の一実施形態について説明する。
図1は、本実施形態における塗布状態検査装置1の構成概略図である。この図1に示すように、本実施形態における塗布状態検査装置1は、ワークWに塗布されたシール剤(塗布物)Sの塗布状態を検査するものであり、撮像装置2、画像処理装置3及び記憶装置4を備えている。なお、本実施形態では、シール剤Sに染料などを配合して、塗布対象物であるワークWの表面とシール剤Sとの間に色の違いを発生させているものとする。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram of a coating
撮像装置2は、例えばCCD(Charge Coupled Devices)カメラであり、ワークWの直上に配置されて、ワークW上におけるシール剤Sの塗布部を撮影し、その撮影画像を表す画像データを画像処理装置3に出力する。ここで、撮像装置2の解像度をVGA(Video Graphics Array)と仮定すると、撮像装置2から出力される画像データは、撮影画像を構成する640×480個の各画素の明るさ(輝度)を示す輝度データを含んでいる。なお、各輝度データのビット数を8ビットと仮定すると、各画素の輝度は0〜255の階調値で表される。
The
画像処理装置3は、記憶装置4に記憶されている塗布状態検査プログラム4aに従って、上記撮像装置2から入力される画像データを基に所定の画像処理を実行することにより、シール剤Sの塗布状態が正常か否かを判定し、その判定結果を検査結果として出力するコンピュータである。このような画像処理装置3としては、マイクロコンピュータやCPU(Central Processing Unit)等を用いることができる。
The
詳細は後述するが、この画像処理装置3は、塗布状態検査プログラム4aに基づく画像処理として、第1閾値を用いて撮影画像をシール剤Sの塗布領域と非塗布領域とに2分割する第1の画像処理と、塗布領域によって囲まれた非塗布領域を処理対象領域とし、第2閾値を用いて処理対象領域が光の反射によって生じた光沢に相当する光沢領域なのかワークW表面に相当するワーク領域なのかを判断し、光沢領域と判断した処理対象領域を塗布領域に変更する第2の画像処理と、上記第1及び第2の画像処理によって最終的に得られた検査画像と記憶装置4に記憶されている基準画像4bとを比較することにより、シール剤Sの塗布状態が正常か否かを判定する第3の画像処理とを実行する。
Although details will be described later, the
記憶装置4は、例えばHDD(Hard Disk Drive)であり、画像処理装置3にて実行される塗布状態検査プログラム4aと、事前に取得していた基準画像4b(正常に塗布されたシール剤Sを事前に撮影して得られた撮影画像に、後述の第1及び第2の画像処理を行って得られた画像)を予め記憶しており、画像処理装置3からの読出し要求に応じて上記塗布状態検査プログラム4aや基準画像4bを画像処理装置3に出力するものである。
The
次に、上記のように構成された塗布状態検査装置1の動作について、図2のフローチャートを参照しながら詳細に説明する。なお、本実施形態における塗布状態検査装置1は、特殊な専用照明を必要としないため、蛍光灯などの一般的な照明が設けられた室内に設置されているものとする。
Next, the operation of the application
図2に示すように、検査開始時において、まず、撮像装置2は、ワークW上におけるシール剤Sの塗布部を撮影し、その撮影画像を表す画像データを画像処理装置3に出力する(ステップS1:撮像工程)。図3は、ワークW上におけるシール剤Sの塗布部を撮影してられた撮影画像の一例である。本実施形態では、説明の便宜上、図3に示すように、ワークW上において、例えば赤色のシール剤Sが円を描くよう無端状態で塗布され、室内照明が反射してシール剤S表面に光沢SLが生じ、また、ワークW表面にも光沢WLが生じているものと仮定する。
As shown in FIG. 2, at the start of the inspection, first, the
続いて、画像処理装置3は、塗布状態検査プログラム4aに基づく第1の画像処理として、撮像装置2から入力される画像データに基づき、第1閾値を用いて2値化処理を行うことにより、撮影画像をシール剤Sの塗布領域と非塗布領域とに2分割する(ステップS2:第1の画像処理工程)。ここで、撮像装置2から入力される画像データには、R(赤)、G(緑)、B(青)の3原色に対応する輝度データが含まれているため、撮影画像もR、G、Bの各色毎に得られることになる。よって、赤色とワークWの色(例えば青色)との輝度差(R−B)を計算し、その計算結果(以下、差分画像と称する)を赤色の強さと考え、当該差分画像を2値化処理することが好ましい。
Subsequently, the
図4は、上記差分画像を構成する各画素の輝度データを基に、シール剤S、シール剤S表面の光沢SL、ワークW表面、ワークW表面の光沢WLの各輝度を示した図である。この図4に示すように、シール剤Sの輝度が最も高くなる一方、ワークW表面の輝度は最も低くなり、また、シール剤S表面の光沢SL及びワークW表面の光沢WLは白に近い色となるため、それらの輝度はほぼ同程度で且つシール剤Sの輝度とワークW表面の輝度との中間値となることがわかる。 FIG. 4 is a diagram showing the respective luminances of the sealing agent S, the gloss SL on the surface of the sealing agent S, the surface of the workpiece W, and the gloss WL on the surface of the workpiece W based on the luminance data of each pixel constituting the difference image. . As shown in FIG. 4, the brightness of the sealant S is the highest while the brightness of the surface of the work W is the lowest, and the gloss SL of the surface of the sealant S and the gloss WL of the work W surface are close to white. Therefore, it can be seen that the luminances thereof are substantially the same and are intermediate values between the luminance of the sealing agent S and the luminance of the surface of the workpiece W.
このような図4に基づき、差分画像をシール剤Sの塗布領域と非塗布領域とに2分割するために事前に設定された閾値が第1閾値である。具体的には、この第1閾値は、シール剤Sの輝度に該当する画素がシール剤Sの塗布領域の構成画素として判別され、それ以外のワークW表面、シール剤S表面の光沢SL、及びワークW表面の光沢WLの輝度に該当する画素が非塗布領域の構成画素として判別されるように設定されている。 Based on FIG. 4 as described above, the first threshold value is a threshold value set in advance to divide the difference image into two parts, that is, the application area and the non-application area of the sealant S. Specifically, the first threshold value is determined as a pixel corresponding to the brightness of the sealant S as a constituent pixel of the application area of the sealant S, and the other surface of the workpiece W, the gloss SL of the surface of the sealant S, and The pixels corresponding to the brightness of the gloss WL on the surface of the workpiece W are set so as to be determined as the constituent pixels of the non-application area.
つまり、第1閾値を用いて差分画像を2値化処理することにより、差分画像を構成する画素の内、第1閾値以上の輝度を有する画素は、その輝度を第1輝度値(例えば最大階調値「255」)に変換されて、シール剤Sの塗布領域を構成する画素となり、第1閾値未満の輝度を有する画素は、その輝度を第2輝度値(例えば最小階調値「−255」)に変換されて、非塗布領域を構成する画素となる。 In other words, by binarizing the difference image using the first threshold, among the pixels constituting the difference image, the pixel having the luminance equal to or higher than the first threshold is set to the first luminance value (for example, the maximum floor). Is converted into a tone value “255”) to become a pixel constituting the application region of the sealant S, and a pixel having a luminance less than the first threshold value has its luminance set to the second luminance value (for example, the minimum gradation value “−255”). )) To become pixels constituting the non-application area.
図5は、上記のような第1の画像処理によって得られる画像を示している。この図5において、符号SAはシール剤Sの塗布領域を示し、符号NSAは非塗布領域を示している。この図5に示すように、第1閾値を用いて差分画像を2値化処理すると、周りをシール剤Sの塗布領域SAに囲まれた非塗布領域NSAが複数発生することになる。この時点では、これら塗布領域SAに囲まれた非塗布領域NSAが、シール剤S表面の光沢SLに相当する光沢領域なのか、ワークW表面に相当するワーク領域なのかを判別することはできない。 FIG. 5 shows an image obtained by the first image processing as described above. In FIG. 5, the symbol SA indicates the application area of the sealant S, and the symbol NSA indicates the non-application area. As shown in FIG. 5, when the difference image is binarized using the first threshold value, a plurality of non-application areas NSA surrounded by the application area SA of the sealant S are generated. At this time, it is not possible to determine whether the non-application area NSA surrounded by the application area SA is a gloss area corresponding to the gloss SL on the surface of the sealant S or a work area corresponding to the surface of the workpiece W.
さて、図2に戻って説明を続けると、画像処理装置3は、上記のように、第1の画像処理としてステップS2を実行することにより、差分画像をシール剤Sの塗布領域SAと非塗布領域NSAとに2分割した後、第2の画像処理として、以下のステップS3〜S9の処理(第2の画像処理工程)を実行する。すなわち、画像処理装置3は、第2の画像処理として、まず、シール剤Sの塗布領域SAに囲まれた非塗布領域NSAの内、1つを処理対象領域として選択し(ステップS3)、その選択した処理対象領域の面積が所定値以下か否かを判定する(ステップS4)。
Now, returning to FIG. 2 and continuing the description, as described above, the
ここで、面積判定に使用する所定値は、選択した処理対象領域が光沢領域である可能性の高い領域か否かを判別可能な値に設定されている。例えば、図5に示すように、塗布領域SAに囲まれた非塗布領域NSAには、シール剤Sの内部に小さい面積で存在するもの(光沢領域である可能性が高いもの)と、円状に塗布されたシール剤Sの中央に大きい面積で存在するもの(光沢領域である可能性が低いもの)とが含まれている。このような光沢領域である可能性が低い非塗布領域NSAまで処理することは、処理時間の増大を招く。そこで、まず、上記ステップS4の処理により、真に処理すべき処理対象領域(光沢領域である可能性の高い領域)を選別するのである。 Here, the predetermined value used for the area determination is set to a value that can determine whether or not the selected processing target area is likely to be a glossy area. For example, as shown in FIG. 5, the non-application area NSA surrounded by the application area SA has a small area inside the sealant S (which is likely to be a glossy area), and a circular shape. And those present in a large area at the center of the sealing agent S applied to the surface (those that are less likely to be glossy regions). Processing to such a non-application area NSA that is unlikely to be a glossy area causes an increase in processing time. Therefore, first, the processing target area (area that is highly likely to be a glossy area) to be processed is selected by the process of step S4.
上記ステップS4において、「Yes」の場合、つまり処理対象領域の面積が所定値以下の場合(言い換えれば、光沢領域である可能性の高い領域であった場合)、画像処理装置3は、第2閾値を用いて2値化処理を行うことにより、処理対象領域を光沢領域とワーク領域とに2分割する(ステップS5)。なお、ステップS5における処理対象領域の2値化処理では、上記ステップS2(第1の画像処理)を実行する前の輝度データを使用する必要がある(ステップS2後の処理対象領域の輝度データは最小階調値「−255」に変換されているため)。
If “Yes” in step S4, that is, if the area of the processing target area is equal to or smaller than a predetermined value (in other words, if the area is likely to be a glossy area), the
ここで、図4に示すように、処理対象領域を光沢領域とワーク領域とに2分割するために事前に設定された閾値が第2閾値である。具体的には、この第2閾値は、シール剤S表面の光沢SLの輝度に該当する画素が光沢領域の構成画素として判別され、ワークW表面の輝度に該当する画素がワーク領域の構成画素として判別されるように設定されている。
つまり、第2閾値を用いて2値化処理することにより、処理対象領域に含まれる画素の内、第2閾値以上の輝度を有する画素は、その輝度を第1輝度値(例えば最大階調値「255」)に変換されて、光沢領域を構成する画素となり、第2閾値未満の輝度を有する画素は、その輝度を第2輝度値(例えば最小階調値「−255」)に変換されて、ワーク領域を構成する画素となる。
Here, as shown in FIG. 4, a threshold set in advance to divide the processing target area into two areas, that is, the gloss area and the work area, is the second threshold. Specifically, the second threshold value is determined such that a pixel corresponding to the brightness SL of the surface of the sealant S is determined as a constituent pixel of the gloss area, and a pixel corresponding to the brightness of the surface of the work W is set as a constituent pixel of the work area. It is set to be discriminated.
That is, by performing the binarization process using the second threshold value, among the pixels included in the processing target region, the pixel having the luminance equal to or higher than the second threshold value has the luminance value set to the first luminance value (for example, the maximum gradation value). “255”) to become a pixel constituting the glossy region, and a pixel having a luminance less than the second threshold is converted into a second luminance value (for example, the minimum gradation value “−255”). The pixels that make up the work area.
そして、画像処理装置3は、処理対象領域における光沢領域の比率が所定値以上か否かを判定する(ステップS6)。ここで、処理対象領域が光沢領域であれば、その処理対象領域における光沢領域の比率は大きくなるはずであり、逆に、処理対象領域がワーク領域であれば、その処理対象領域における光沢領域の比率は小さくなるはずである。つまり、比率判定に使用される所定値は、処理対象領域が光沢領域であると確定可能な値に設定されている。
Then, the
上記ステップS6において、「Yes」の場合、つまり処理対象領域における光沢領域の比率が所定値以上の場合、画像処理装置3は、その処理対象領域を光沢領域と判断し、その処理対象領域として選択した非塗布領域NSAを塗布領域SAに変更する(ステップS7)。具体的には、画像処理装置3は、処理対象領域として選択した非塗布領域NSAに含まれる各画素の輝度を、第1輝度値(最大階調値「255」)に変換することで塗布領域SAに変更する。
If “Yes” in step S6, that is, if the ratio of the glossy area in the processing target area is equal to or greater than a predetermined value, the
一方、上記ステップS4において、「No」の場合、つまり処理対象領域の面積が所定値より大きい場合(言い換えれば、光沢領域である可能性の低い領域であった場合)、画像処理装置3は、その処理対象領域をワーク領域と判断して後述のステップS9に移行する(ステップS8)。この場合、処理対象領域として選択した非塗布領域NSAは塗布領域SAに変更されることなく、非塗布領域NSAのまま維持される。
On the other hand, if “No” in step S4, that is, if the area of the processing target area is larger than a predetermined value (in other words, if the area is less likely to be a glossy area), the
また、上記ステップS6において、「No」の場合、つまり処理対象領域における光沢領域の比率が所定値未満の場合、画像処理装置3は、その処理対象領域をワーク領域と判断して後述のステップS9に移行する(ステップS8)。この場合も、処理対象領域として選択した非塗布領域NSAは塗布領域SAに変更されることなく、非塗布領域NSAのまま維持される。
If “No” in step S6, that is, if the ratio of the glossy area in the processing target area is less than a predetermined value, the
そして、画像処理装置3は、上記ステップS7またはS8の後、他に塗布領域SAに囲まれた非塗布領域NSAが存在するか否かを判定し(ステップS9)、「Yes」の場合にはステップS3に戻り、「No」の場合には後述のステップS10に移行する。つまり、画像処理装置3は、塗布領域SAに囲まれた非塗布領域NSAの全てについて、上記のステップS3〜S9の処理(第2の画像処理)を実行することにより、シール剤S表面に生じた光沢SLに相当する全ての光沢領域をシール剤Sの塗布領域SAに含ませ、最終的な検査画像を作成する。
Then, after step S7 or S8, the
図6は、上記第1及び第2の画像処理によって得られた検査画像を示している。この図6と図5とを比較してわかるように、塗布領域SAに囲まれた非塗布領域NSAの内、光沢領域と判断された非塗布領域NSAが塗布領域SAに変更され、シール剤S表面に生じた光沢SLに影響されない、本来のシール剤Sの塗布状態を表す検査画像が得られている。 FIG. 6 shows inspection images obtained by the first and second image processing. As can be seen by comparing FIG. 6 and FIG. 5, the non-application area NSA determined as the glossy area in the non-application area NSA surrounded by the application area SA is changed to the application area SA, and the sealant S An inspection image representing the application state of the original sealant S, which is not affected by the gloss SL generated on the surface, is obtained.
そして、画像処理装置3は、第3の画像処理として、記憶装置4から基準画像4bを読出し、上記検査画像と基準画像4bとを比較することにより、シール剤Sの塗布状態が正常か否かを判定する(ステップS10:第3の画像処理工程)。このような検査画像と基準画像4bとの比較判定には、例えば、検査画像と基準画像4bとから抽出されるシール剤Sの塗布領域SAを重ね合わせて不一致となる部分の面積を求め、この面積に基づいて判定したり、塗布領域SAの輪郭線や中心線の距離を計測し、幾何学的な不一致度を計算する等、公知のパターンマッチング技術を用いることができる。
Then, as the third image processing, the
画像処理装置3は、上記ステップS10において、「正常」と判定した場合、シール剤Sの塗布状態は正常であるとの検査結果を外部に出力し(ステップS11)、一方、「異常」と判定した場合、シール剤Sの塗布状態は異常であるとの検査結果を外部に出力する(ステップS12)。
If the
以上説明したように、本実施形態における塗布状態検出装置1によれば、従来では検査精度低下の要因となっていた、光の反射によってシール剤S表面に生じる光沢SLの影響を除外することができる(光沢SLに相当する光沢領域をシール剤Sの塗布領域SAに含ませることができる)ため、検査精度の向上を実現することが可能となる。また、本実施形態における塗布状態検出装置1は、画像処理によってシール剤S表面に生じる光沢SLの影響を除外するため、従来のような駆動部を備える照明光源や単色光源などを必要とせず、装置の単純化及び低コスト化を実現することが可能となる。
As described above, according to the application
なお、上記実施形態では、検査対象の塗布物としてシール剤Sを例示して説明したが、その他の塗布物であっても本発明を適用することが可能である。また、本発明は、例えば、機械部品の接合部における油漏れを防止するために、接合部に塗布した塗布物の塗布状態を検査する場合や、液晶パネルを構成する回路基板と対向基板とを貼り合わせるために、一方の基板に塗布した塗布物の塗布状態を検査する場合など、様々な塗布物の塗布状態の検査に広く適用することができる。 In the above-described embodiment, the sealant S is exemplified as the application to be inspected, but the present invention can be applied to other application. In addition, the present invention, for example, in order to prevent oil leakage at a joint part of a mechanical part, when inspecting the application state of a coating applied to the joint part, or a circuit board and a counter substrate that constitute a liquid crystal panel For bonding, it can be widely applied to the inspection of the application state of various application materials, such as when the application state of the application material applied to one substrate is inspected.
1…塗布状態検査装置、2…撮像装置、3…画像処理装置、4…記憶装置、4a…塗布状態検査プログラム、4b…基準画像、S…シール剤(塗布物)、W…ワーク、SL、WL…光沢、SA…塗布領域、NSA…非塗布領域
DESCRIPTION OF
Claims (12)
前記ワーク上における前記塗布物の塗布部を撮影する撮像装置と、
前記撮像装置から得られた撮影画像を、第1閾値を用いて前記塗布物の塗布領域と非塗布領域とに2分割し、前記塗布領域によって囲まれた前記非塗布領域を処理対象領域として選択し、第2閾値を用いて前記処理対象領域が光沢に相当する光沢領域なのか前記ワーク表面に相当するワーク領域なのかを判断し、前記光沢領域と判断した場合、前記処理対象領域として選択した前記非塗布領域を前記塗布領域に変更する画像処理装置と、
を備えることを特徴とする塗布状態検査装置。 An application state inspection device for inspecting the application state of a coating applied to a workpiece,
An imaging device for photographing the coating portion of the coated material on the workpiece;
A photographed image obtained from the imaging device is divided into a coating area and a non-coating area of the coating material using a first threshold value, and the non-coating area surrounded by the coating area is selected as a processing target area. Then, it is determined whether the processing target area is a glossy area corresponding to gloss or a work area corresponding to the work surface by using the second threshold value, and when the glossy area is determined, the processing target area is selected as the processing target area. An image processing apparatus for changing the non-application area to the application area;
An application state inspection apparatus comprising:
前記画像処理装置は、前記基準画像と画像処理によって得られた検査画像とを比較することにより、前記塗布物の塗布状態が正常か否かを判定することを特徴とする請求項1〜3のいずれか一項に記載の塗布状態検査装置。 A storage device for storing a reference image acquired in advance;
The said image processing apparatus determines whether the application | coating state of the said coating material is normal by comparing the said reference | standard image and the test | inspection image obtained by image processing. The application | coating state inspection apparatus as described in any one.
前記ワーク上における前記塗布物の塗布部を撮影する撮像工程と、
前記撮像工程によって得られた撮影画像を、第1閾値を用いて前記塗布物の塗布領域と非塗布領域とに2分割する第1の画像処理工程と、
前記塗布領域によって囲まれた前記非塗布領域を処理対象領域として選択し、第2閾値を用いて前記処理対象領域が光沢に相当する光沢領域なのか前記ワーク表面に相当するワーク領域なのかを判断し、前記光沢領域と判断した場合、前記処理対象領域として選択した前記非塗布領域を前記塗布領域に変更する第2の画像処理工程と、
を有することを特徴とする塗布状態検査方法。 An application state inspection method for inspecting the application state of a coating applied to a workpiece,
An imaging step of photographing the application part of the application on the workpiece;
A first image processing step of dividing the photographed image obtained by the imaging step into a coating region and a non-coating region of the coating using a first threshold;
The non-application area surrounded by the application area is selected as a process target area, and a second threshold value is used to determine whether the process target area is a gloss area corresponding to gloss or a work area corresponding to the workpiece surface. And, when it is determined that the gloss region, a second image processing step of changing the non-application region selected as the processing target region to the application region;
An application state inspection method comprising:
前記ワーク上における前記塗布物の塗布部を撮影する撮像装置から得られた撮影画像を、第1閾値を用いて前記塗布物の塗布領域と非塗布領域とに2分割する第1の画像処理と、
前記塗布領域によって囲まれた前記非塗布領域を処理対象領域として選択し、第2閾値を用いて前記処理対象領域が光沢に相当する光沢領域なのか前記ワーク表面に相当するワーク領域なのかを判断し、前記光沢領域と判断した場合、前記処理対象領域として選択した前記非塗布領域を前記塗布領域に変更する第2の画像処理と、
をコンピュータに実行させることを特徴とする塗布状態検査プログラム。 An application state inspection program used for inspecting the application state of a coating applied to a workpiece,
First image processing that divides a photographed image obtained from an imaging device that photographs the coating portion of the coating material on the workpiece into a coating region and a non-coating region of the coating material using a first threshold value; ,
The non-application area surrounded by the application area is selected as a process target area, and a second threshold value is used to determine whether the process target area is a gloss area corresponding to gloss or a work area corresponding to the workpiece surface. And, when it is determined that the gloss region, second image processing for changing the non-application region selected as the processing target region to the application region;
A computer-executable program for inspecting the application state.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009245659A JP5326990B2 (en) | 2009-10-26 | 2009-10-26 | Application state inspection apparatus and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009245659A JP5326990B2 (en) | 2009-10-26 | 2009-10-26 | Application state inspection apparatus and method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011089962A JP2011089962A (en) | 2011-05-06 |
JP5326990B2 true JP5326990B2 (en) | 2013-10-30 |
Family
ID=44108332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009245659A Expired - Fee Related JP5326990B2 (en) | 2009-10-26 | 2009-10-26 | Application state inspection apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5326990B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8610289B2 (en) | 2007-06-13 | 2013-12-17 | Schott Solar Ag | Semiconductor component and method for producing a metal-semiconductor contact |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012237679A (en) * | 2011-05-12 | 2012-12-06 | Ihi Corp | Device and method for inspecting coated state, and program |
JP2013002957A (en) * | 2011-06-16 | 2013-01-07 | Ihi Corp | Apparatus, method and program for coating state inspection |
JP6852455B2 (en) * | 2017-02-23 | 2021-03-31 | オムロン株式会社 | Optical measuring device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05223745A (en) * | 1992-02-12 | 1993-08-31 | Sony Corp | Inspecting method for transparent resin |
JPH10170242A (en) * | 1996-12-12 | 1998-06-26 | Sharp Corp | Method and device for inspection of sealant application |
JP2004296271A (en) * | 2003-03-27 | 2004-10-21 | Toshiba Battery Co Ltd | Quality decision testing device and method of coating state of sealing agent |
JP4500635B2 (en) * | 2004-09-13 | 2010-07-14 | アサヒビール株式会社 | Thermoplastic adhesive inspection device and inspection method |
-
2009
- 2009-10-26 JP JP2009245659A patent/JP5326990B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8610289B2 (en) | 2007-06-13 | 2013-12-17 | Schott Solar Ag | Semiconductor component and method for producing a metal-semiconductor contact |
Also Published As
Publication number | Publication date |
---|---|
JP2011089962A (en) | 2011-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6945245B2 (en) | Visual inspection equipment | |
US7978903B2 (en) | Defect detecting method and defect detecting device | |
WO2013078708A1 (en) | Automatic optical detection method and automatic optical detection device | |
US20210195154A1 (en) | Method and system for inspecting display image | |
JPH09329527A (en) | Image processing method, and apparatus therefor | |
KR20140091916A (en) | Inspection Method For Display Panel | |
JP5326990B2 (en) | Application state inspection apparatus and method, and program | |
TWI495867B (en) | Application of repeated exposure to multiple exposure image blending detection method | |
JP2004219108A (en) | Method and apparatus for inspecting irregularities in film thickness of colored film | |
JP7185388B2 (en) | Inspection device and inspection method | |
JP5294445B2 (en) | Disc-shaped substrate inspection apparatus and inspection method | |
JP2009229197A (en) | Linear defect detecting method and device | |
JP4150390B2 (en) | Appearance inspection method and appearance inspection apparatus | |
JP6647903B2 (en) | Image inspection device, image inspection program, computer-readable recording medium, and recorded device | |
JP2008014842A (en) | Spot defect detection method and apparatus | |
JP3695120B2 (en) | Defect inspection method | |
JP2019138639A (en) | Defect detection device and defect detection method | |
JP6056374B2 (en) | Application state inspection apparatus and method | |
JP2008171142A (en) | Spot defect detection method and apparatus | |
JP2006258713A (en) | Method and apparatus for detecting stain defect | |
JP2007285868A (en) | Luminance gradient detection method, defect detection method, luminance gradient detection device, and defect detection device | |
JP2020003219A (en) | Defect inspection device for display device | |
JPH08327497A (en) | Method for inspecting color liquid crystal display panel | |
JP2006145228A (en) | Nonuniformity defect detection method and apparatus | |
JP2011095090A (en) | Device and method for inspecting coated state, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5326990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |