JP3883663B2

JP3883663B2 - Metal specimen surface appearance inspection method and appearance inspection apparatus

Info

Publication number: JP3883663B2
Application number: JP25143097A
Authority: JP
Inventors: 真史西田; 添田　　正彦; 謙太林
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 1997-09-02
Filing date: 1997-09-02
Publication date: 2007-02-21
Anticipated expiration: 2017-09-02
Also published as: JPH1183751A

Description

【０００１】
【発明の属する技術分野】
本発明は、リードフレーム等の金属板加工品の、表面部のキズ欠陥を検出する外観検方法および装置に関し、特に、欠陥と擬似欠陥の区分けを自動的に行える外観検査方法と装置に関する。
【０００２】
【従来の技術】
近年、半導体装置は、電子機器の高性能化と軽薄短小化の傾向（時流）からＬＳＩのＡＳＩＣに代表されるように、ますます高集積化、高機能化になり、ますます多端子（ピン）化が求められるようになってきた。
多端子（ピン）ＩＣ、特にゲートアレイやスタンダードセルに代表されるＡＳＩＣあるいは、マイコン、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）等の半導体装置化には、リードフレームが、ＱＦＰ（ＱｕａｄＦｌａｔＰａｃｋａｇｅ）等の表面実装型パッケージに用いられており、ＱＦＰでは３００ピンクラスのものまでが実用化に至ってきている。
ここで用いられるリードフレームは、通常、コバール、４２合金（４２％Ｎｉ−鉄）、銅系合金等の金属板をフオトリソグラフイー技術を用いたエッチング加工方法やスタンピング法等により、外形加工されるものである。
【０００３】
そして、益々、リードフレームの微細化とともに量産性が求められている中、リードフレームの表面部のキズ欠陥の外観検査においても、人がリードフレームの表面部を直接目視により観察する検査方法から、より自動化された検査方法へと移行しつつある。
従来、リードフレーム等の金属試料の表面部のキズ欠陥等の検出方法としては、図１６（ａ）に示す、金属試料８１０を走行させながら、ラインセンサカメラ８２１により得られた金属試料８１０の表面部の画像データ、あるいは、図１６（ｂ）に示すように、エリアセンサカメラ８２２にて撮影された金属試料８１０の表面部の画像データを用い、該画像データに画像処理を施し、欠陥部を検出し、更に該欠陥部を目視用モニターに表示させ、人が欠陥の度合いを判断する方法が知られている。
しかし、この方法の場合、図１８（ｂ）に示すような致命的な欠陥となる深いキズ（ここでは致命的欠陥１０２０と呼ぶ）と、図１８（ｃ）に示すような致命的な欠陥とはならない欠陥（ここではこれを擬似欠陥１０３０と呼ぶ）とを区分けすることが難しく、図１８（ｃ）に示すような擬似欠陥を必要に応じて致命的欠陥から分けることができなかった。尚、図１８（ａ）、図１８（ｂ）、図１８（ｃ）は、それぞれ、良品部の断面、致命的欠陥部の断面、擬似的欠陥部の断面を示した図である。また、１０１０は良品部の表面である。
この理由を以下簡単に説明しておく。
図１６（ａ）や、図１６（ｂ）に示す方法においては、撮影の照明を図１７（ａ）、に示す明視野方式、図１７（ｂ）に示す垂直落射方式、図１７（ｃ）に示す暗視野方式、のいずれかの方法を用いて行っていた。
図１７（ａ）の明視野方式は、金属試料表面部からの正反射光をカメラ（撮影手段）が撮影するもので、図１７（ａ）に示すように、光源部（照明具）９３０とカメラ（撮影手段）９２０とは、金属試料９１０の表面部９１０Ｓに立てた法線Ｌ１を境として対向する位置にある。
図１７（ｂ）の垂直落射方式は、照明光９３５を金属試料９１０の表面部９１０Ｓに垂直落射させ、この正反射光９３５Ｒを撮影するものである。
図１７（ｃ）の暗視野方式は、照明光９３５を金属試料表面に照射し、その散乱光９３５Ｓを撮影するものである。
これらの照明方式は、いずれも金属表明部からの反射光を撮影するもので、致命的欠陥部、擬似欠陥部の判別が難しい。
【０００４】
１例として、図１５に垂直落射照明の場合を挙げ、良品部、致命的欠陥部、擬似欠陥部の判別の仕方を説明しながら、致命的欠陥と擬似欠陥の判別が難しいことを説明する。
先ず、垂直落射照明にて行うため、金属試料７１０の良品部７１１、致命的欠陥部７１２、擬似欠陥部７１３における、照明光７２５と反射光７２５Ｒの関係は、それぞれ、図１５（ａ）（イ）、図１５（ａ）（ロ）、図１５（ａ）（ハ）のようになる。
即ち、良品部７１１においては、撮影される反射光７２５Ｒの強度は大で、致命的欠陥部７１２においては、その領域全体おいて強度が小となり、擬似欠陥部７１３においては、その領域の大半的部は強度が小であるが、その領域内の凹凸状態により強度の比較的高い箇所が現れる。
したがって、モノクロカメラによる、撮影画像の輝度のプロファイルは、図１５（ｂ）（イ）、図１５（ｂ）（ロ）、図１５（ｂ）（ハ）に示すようになる。
これを、所定のスライスレベルＳＬで２値化処理を施すと、それぞれ、図１５（ｃ）（イ）、図１５（ｃ）（ロ）、図１５（ｃ）（ハ）に示すようになる。
これより、２値化処理（画像処理の一つ）を施して得た、良品部７１１、致命的欠陥部７１２、擬似欠陥部７１３の撮影画像に対応する箇所の、２値化画像のプロファイルでは、良品部７１１と、致命的欠陥部７１２ないし擬似欠陥部７１３との区分けはつくが、致命的欠陥部７１２と擬似欠陥部７１３との区分けがつかない。
このように、致命的欠陥部ないし擬似欠陥部との区分けがつかないため、擬似欠陥部をも致命的欠陥部と一緒に検出してしまうこととなり、検出された箇所をモニターで人が目視で判断し、擬似欠陥部であるか致命的欠陥部であるか区分けしていた。
このため、欠陥検出の効率が悪く問題となっていた。
尚、上記においては、欠陥部とは欠陥のある箇所、致命的欠陥部とは致命的欠陥のある箇所、擬似欠陥部とは擬似欠陥のある箇所を言い、致命的欠陥、擬似欠陥は、それぞれ欠陥の程度を言い、致命的な欠陥となる欠陥をここでは致命的欠陥、致命的な欠陥とはならない欠陥をここでは擬似欠陥と呼ぶ。
欠陥検出においては、擬似欠陥と致命的欠陥との区分けを、如何にうまく行うかが、欠陥検出の効率を上げる点で重要である。
【０００５】
【発明が解決しようとする課題】
上記のように、従来のリードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検査方法においては、種々問題があるが、擬似欠陥と致命的欠陥との区分けを、うまく行える外観検査方法で、その区分けを自動的に行える外観検査方法が求められていた。
本発明は、これに対応するもので、リードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検査方法で、致命的欠陥部を欠陥部として確実に検出し、且つ、一定の基準のもとに擬似欠陥箇所を区分けできる外観検査方法で、該区分けを自動的に行える外観検査方法を提供しようとするものである。
更には、最終的に欠陥としない擬似欠陥の条件を容易に変更できる外観検査方法を提供しようとするものである。
また、同時に、そのような検査方法ができる外観検査装置を提供しようとするものである。
尚、以降、ここでは、欠陥検出においては、一定の基準により、欠陥と判断したものを欠陥、致命的な欠陥ではなく、欠陥としないものを擬似欠陥とする。
【０００６】
【課題を解決するための手段】
本発明の金属試料表面の外観検査方法は、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てて得られた３つの画像データから、ＲＧＢカラー画像を合成し、合成された画像の色合いから欠陥、擬似欠陥の判別を行う外観検査方法であって、合成された画像の各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める工程と、求められた各画素の色相値から、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースに従い、合成された画像の各画素毎に、その色相値の分類を付与する分類付与工程と、前記分類付与工程により分類された各分類の色相を代表する数値を各画素に持たせ、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、その順番を変えて、順次施すことにより、欠陥に分類されているが必要以上に小さい領域を除去する孤立微小領域除去処理工程とを有し、前記分類付与され、かつ前記孤立微小領域除去された結果に基づき、欠陥、擬似欠陥の判別を行うことを特徴とするものである。
そして、上記における色相値が、Ｈａｙｄｎの定義による色相変換式から得られる数値ないし該数値の所定倍数であることを特徴とするものである。
尚、前述の通り、以降、ここでは、欠陥検出においては、一定の基準により、欠陥と判断したものを欠陥、致命的な欠陥ではなく、欠陥としないものを擬似欠陥とする。
【０００７】
金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データ等を入力する入力部と、画像データに対し、各種画像処理を施すための画像処理部と、画像処理部の処理結果に基づき欠陥、擬似欠陥の判別を行う判定部と、判定部の判定結果に基づき、前記合成した画像の欠陥箇所を表示する表示部とを備えた金属試料表面の外観検査装置であって、前記画像処理部は、前記３つの画像データないし前記３つの画像データを画像処理して得た画像データから合成されたカラー画像データの各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める色相変換部と、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースと、色相変換部の処理結果に基づき、前記データベースを参照しながら、合成した画像の各画素毎に、その色相値の分類を付与する分類付与部と、前記分類付与部により分類された各分類の色相を代表する数値を各画素に持たせ、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、その順番を変えて、順次施すことにより、欠陥に分類されているが必要以上に小さい領域を除去する孤立微小領域除去処理部とを有し、前記判定部は、前記分類付与され、かつ前記孤立微小領域除去された結果に基づき、欠陥、擬似欠陥の判別を行う、ことを特徴とするものである。
そして、上記において、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データを作成する、検査用画像取り込み部を備えていることを特徴とするものである。
尚、ここでは、撮影方向は金属試料表面に略直交し、仰角とは、撮影手段の撮影方向と金属試料表面との交点と各照明光の光源部（照明具）とのなす角度をそれぞれ言う。
【０００８】
【作用】
本発明の金属試料表面の外観検査方法は、上記のように構成することにより、リードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検査方法で、致命的欠陥部を欠陥部として確実に検出し、一定の基準のもとに擬似欠陥箇所を区分けでき、且つ該区分けを自動で行える検査方法の提供を可能としている。
更には、最終的に欠陥としない擬似欠陥の条件を容易に変更できる外観検査方法の提供を可能としている。
具体的には、合成された画像の各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める工程と、求められた各画素の色相値から、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースに従い、合成された画像の各画素毎に、その色相値の分類を付与する分類付与工程とを有し、分類付与工程の結果に基づき、欠陥、擬似欠陥の判別を行うことにより、これを達成している。
詳しくは、撮影により得られる、各仰角の画像データの光強度が、試料の面状態（傾き度合い）によって異なることから、金属試料表面の表面状態により合成されたＲＧＢカラー画像のＲ、Ｇ、Ｂの色合いが異なるようになる、という原理に基づき、金属試料の表面状態に相当する合成されたカラー画像を各画素毎に色分けし、更に、色分けされた各画素毎に、その色相を正確に数値（色相値と言う）で求め、且つ、各画素毎の色相値を、予め求めてある金属試料の表面状態と色相値の範囲との対応データベースを参照にしながら、分類分けし、これに基づいて欠陥と擬似欠陥とを区分けするものである。
従って、数値（色相値）により、欠陥を擬似欠陥と分けることが可能で、欠陥部と擬似欠陥部との区分けを自動的に行うことができる。また、欠陥部、擬似欠陥部の程度分けも容易にできる。
【０００９】
本発明の外観検査装置は、本発明の金属試料表面の外観検査方法を行うための装置であり、入力部から入力された、それぞれＲＧＢ３色の１色が割り当てられた３つの画像データに基づいて、処理が行われるが、３つの画像データを作成する検査用カラー画像取り込み部は、必ずしも、外観検査装置と一体である必要は無い。
即ち、金属試料を外形加工して作製する製造ラインに検査用カラー画像取り込み部を設けておき、得られた画像データを、別の場所における、外観検査装置で検査することもできるし、検査用カラー画像取り込み部にて得られた画像データを、時間をずらして検査することも可能となる。
【００１０】
【発明の実施の形態】
本発明を図に基づいて説明する。
図１は、本発明の金属試料表面の外観検査方法の実施の形態の１例を示したフロー図で、図２は図１に示す処理を、処理画像を具体的に挙げ、図によって説明したもので、図３は本発明の外観検査装置の実施の形態の第１の例の機能構成を示した概略図で、図４は本発明の外観検査装置の実施の形態の第２の例の機能構成を示した概略図である。
はじめに、本発明の金属試料表面の外観検査方法を図１に基づいて説明する。
尚、Ｓ１１〜Ｓ１９、Ｓ２１〜Ｓ２３は処理の各ステップを示すものである。
また、図１に示すフローは、リードフレーム等の、金属板に貫通孔を設けて外形加工した金属試料の外観検査方法の処理例である。
【００１１】
先ず、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てて得られた３つの画像データを、図４に示す検査用カラー画像取り込み部３８０にて取り込む。（Ｓ１１）
同時に、検査用カラー画像の検査領域以外の領域をマスキングするための、マスキング用画像データを取り込んでおく。（Ｓ２１）
マスキング用画像データも、通常は、図４に示す検査用カラー画像取り込み部３８０に透過照明手段を設け、検査用カラー画像を撮影する撮影手段により、透過照明による撮影を行い作成することができる。
【００１２】
次いで、検査用カラー画像データについて、ノイズ除去処理を行う。（Ｓ１２）
ノイズ除去処理としては、例えば、処理画像データの各画素毎に、その周辺の画素を含めた９画素の平均値（光強度の平均値）を、新たに、その画素の値とするような、平滑化処理が採られる。
図８に示す例では、処理画像データの各画素値をｆ（ｉ、ｊ）、処理後の画像データの各画素値をｇ（ｉ、ｊ）とした場合、図８の（ａ）に示す式のように表されるが、このような処理は、図８（ｂ）に示す、３×３のフィルタｈ（ｋ、ｌ）をパラメータとしたフィルタリング処理とも言われる。
【００１３】
ノイズ除去が行われた、３つの画像データを合成し、画素単位で色相変換を行う。（Ｓ１３）
色相変換としては、例えば、図９に示す、Ｈａｙｄｎの色相変換式（図９（ａ）の▲１▼式、▲２▼式、▲３▼式）を用いて、その色相値Ｈを求める。
これより、色相値Ｈは０〜３の間の実数として得られるが、通常は、色相値を基に画像化するため、処理の面から、得られた色相値Ｈからさらに図９（ｂ）の▲４▼式を用いて、新たに色相値Ｈ０を得る。（以降は、Ｈ０を色相値として扱う）
【００１４】
一方、検査用カラー画像の検査領域以外の領域をマスキングするための、マスキング用画像データについては、画素単位で、所定のスライスレベルにて２値化する２値化処理を行う。（Ｓ２２）
この処理は、検査領域の周辺部が、リードフレーム等では、貫通した状態であるため、透過照明により検査領域とその周辺部とを撮影した場合、検査領域と周辺部では、透過光の強度に大きな差があり、撮影画像データを所定のスライスレベルで２値化することにより、ほぼ検査領域とその周辺部とを、画素単位で分けることができる。
このように、透過照明による撮影により得られた画像データに対し、例えば、各画素の値（光強度）がスライスレベル値より大きいものを１、小のものを０とすれば、２値化画像においては、大まかには、周辺部に対応する領域の画素の値は１、検査領域は０になる。
しかし、一般には金属試料のエッジ部領域は、テーパー状で、検査領域から除外する必要があり、検査領域部をこの分だけ減らす必要がある
このため、２値化処理によって得られた２値化画像データについて、周辺部領域を数画素分だけ膨張させる処理を必要に応じて行う。（Ｓ２３）
更に、図１０（ａ）に金属試料の一部断面図を示し、これを反射照明して撮影した場合の反射撮影画像（図１０（ｂ））と、透過照明して撮影した透過画像を２値化画像としたもの（図１０（ｃ））との位置関係を示しておく。尚、１１１Ｓ、１１１Ｂは、それぞれ、値０ないし値１の領域である。
図１０（ｄ）は、図１０（ｂ）に示す２値化画像の周辺部（背景部）に相当する領域１１１Ｂを膨張させて、エッジ部に相当する領域を含むようにした、膨張処理後の画像を示したものである。１１２Ｓは検査領域、１１２Ｂはマスキング領域である。
これにより、金属試料のエッジ部を除いた本来平坦であるべき領域を検査領域として限定する。
【００１５】
色相変換された画像データの領域で、ステップＳ２３の膨張処理により得られたマスキング領域１１２Ｂ（これを、周辺部領域ないし背景領域とも言う）を、以降の処理の対象から除く。（Ｓ１４）
この処理を周辺部除去処理あるいは背景除去処理と、ここでは言う。
これにより、マスキング領域１１２Ｂ（周辺部領域）については以降の処理が行われない為、マスキング領域１１２Ｂ（周辺部領域）について以降の処理を行った場合に比べ、無駄が省かれると同時に誤検出が減少する。
【００１６】
次いで、予め、欠陥と色相値の範囲が分類と対応づけられているデータベースを参照にして、色相変換された画像データについて、画素単位で、その色相値に対応する分類を付与する。（Ｓ１５）
分類の付与は、例えば図１１に示すように、色相値の所定の範囲に対応して、分類（図１１では、Ａ〜Ｅ）を付与する。
そして、例えば、Ａ、Ｂを検査金属試料の欠陥でない正常な表面、Ｃを擬似欠陥部、Ｄ、Ｅを欠陥部として設定しておく。
便宜上、Ａ〜Ｅの各分類を、各分類の色相を代表する数値を割り振って識別する。換言すると各分類の色相を代表する数値を各画素に持たせておく。
【００１７】
次いで、分類済みの画像データの中で、画素単位で、欠陥に分類されているが、必要以上に小さい領域（画素領域）を除去するために、孤立微小領域除去処理を行う。（Ｓ１６）
この処理は、例えば、各画素に持たせた、分類付与工程により分類された各分類の色相を代表する数値を用いて行う。
図１２（ｂ）の▲１▼式に示すように、各画素（ｆ（ｉ、ｊ））毎に、各画素（ｆ（ｉ、ｊ））とその画素の上下左右の画素を含めた計５個の画素について、数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし図１２（ｃ）の▲２▼式に示すように、各画素とその画素の上下左右の画素を含めた計５個の画素について、数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、最大フィルタリング処理、最小フィルタリング処理をその順番を変えて、順次施す。
尚、図１２（ａ）は、各画素（ｆ（ｉ、ｊ））と、その上下左右の画素を含めた計５個の画素を示した図である。
上記においては、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素について、最大フィルタリング処理、最小フィルタリング処理を行ったが、各画素とその画素の近傍８画素を含めた計９個の画素について、行っても良い。
そして、例えば、分類と数値が、それぞれ、図１２（ｄ）のような場合には、最小フィルタリング処理を行った後に、最大フィルタリング処理を行う。
【００１８】
次いで、上記のように、各カテゴリーに分類された多値化データから、欠陥に分類された箇所をラベリングする。（Ｓ１７）
【００１９】
そして、ラベリング結果を基に最終的な良否判定を行う。（Ｓ１８）
尚、上記は１実施の形態で、ラベリング処理は、その後の処理で面積や個数をもとに最終的な良否判定を行いたい場合等に行うもので、孤立微小点処理を行った時点で１画素でも欠陥があれば欠陥としても良い。
更に、判定結果を表示する。（Ｓ１９）
【００２０】
更に、図２に、処理するカラー画像の一部を具体的に挙げ、上記処理を図を用いて説明する。
図２（ａ）は、検査するカラー画像の一部（これを以下被検査画像２００と言う）を示した図であり、図１のステップＳ１１により取り込まれた３つの画像データを合成したカラー画像データの一部を示した図である。
図２（ａ）中、２００は被検査画像、２００Ａは検査領域、２００Ｂは周辺部（背景部）、２１０は金属試料で、２１０Ｓは表面、２１０Ｅはエッジ部、２２０はその周辺部（背景部とも言う）で、２５０は欠陥部、２６０は擬似欠陥部、２７０はノイズ部、２８０は色合いが周辺とは異なる微小領域である。
図２（ａ）に示す被検査画像２００に対し、ノイズ除去処理（図１に示すステップＳ１２）、色相変換処理（図１に示すステップＳ１３）を行うと、図２（ｂ）に示すような画像が得られる。
図２（ｃ）は、図２（ａ）に示す処理する被検査画像２００に対応するマスキング用画像２９０を示した図で、図１に示すステップＳ２１にて得られたマスキング用画像の一部である。
図２（ｄ）は、図２（ｃ）に示すマスキング用画像２９０に対し、２値化処理（図１に示すステップＳ２２）、膨張処理（図１に示すステップＳ２３）を行った後の、状態を示した図である。
【００２１】
図２（ｂ）に示す画像データ２０１と、図２（ｄ）に示す画像データ２９１から、図２（ｅ）に示す、検査領域２０２Ａと検査対象外の領域（非検査領域）２０２Ｂとからなる画像データ２０２を得る。
以降の処理は、検査領域２０２Ａのみを対象として行われる。
図２（ｅ）に示す、画像データ２０２に対し、各画素毎に、予め、欠陥と色相値の範囲が対応づけられているデータベースを参照にして、色相変換された画像データについて、画素単位で、その色相値に対応する分類を付与する（図１に示すステップＳ１５）と、各箇所の色相により、例えば、図２（ｆ）に示すように、分類が付与される。
尚、この例では、色相値の範囲により、Ａ、Ｂは検査金属試料の表面部、Ｃは擬似欠陥部、Ｄ、Ｅは欠陥部と対応つけて分類している。
【００２２】
次いで、図２（ｆ）に示す画像データ２０３に対し、孤立小領域除去処理（図１に示すステップＳ１６）を行い、図２（ｇ）に示す画像データ２０４を得る。
次いで、ラベリング処理を行い、欠陥部を判定する。この画像を示したのが図２（ｈ）である。
【００２３】
次に、本発明の外観検査装置の実施形態の第１の例を図３に基づいて説明する。
図３中、３００は外観検査装置、３１０は入力部、３２０は画像処理部、３３０は色相変換部、３４０は分類付与処理部、３５０はデータベース（データ記憶部）、３６０は判定部、３７０は表示部である。
図３に示すように、本発明の外観検査装置３００は、入力部３１０、画像処理部３２０、データベース３５０、判定部３６０、表示部３７０とから成る。
入力部３１０は、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つのカラー画像データや、検査画像の検査領域以外をマスキングするためのマスキング用画像等を入力する。
画像処理部３２０は、入力部３１０から入力された画像データに対し、各種画像処理を施すための処理部で、図１に示す、ノイズ除去処理（Ｓ１２）、色相変換処理（Ｓ１３）、２値化処理（Ｓ２２）、膨張処理（Ｓ２３）、周辺部（背景）除去処理（Ｓ１４）、分類付与処理（Ｓ１５）、孤立微小領域除去処理、ラベリング処理等の各種処理を行うものである。
画像処理部３２０の色相変換部３３０は、カラー画像データを各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求めるものである。
データベース３５０は、検査する対象の表面状態と色相値の範囲との対応づけがなされているデーターベースである。
画像処理部３２０の分類付与処理部３４０は、データベース３５０を参照にしながら、各画素毎にその色相値が求められている処理画像の各画素毎に、その色相値の分類を付与するものである。
判定部３６０は、色相値の分類を付与結果に基づき、欠陥、擬似欠陥の判別を行うものである。
表示部３７０は、判定部３６０の判定結果に基づき、分類が付与された処理画像の欠陥箇所を表示するものである。
この装置３００は、被検査画像データやマスキング用画像データがあれば、いつでも必要な時に検査できるものとしている。
【００２４】
次に、本発明の外観検査装置の実施形態の第２の例を図４に示す。
図４に示す第２の例（検査装置３００Ａ）は、図３に示す第１の例の装置３００に、検査用カラー画像取り込み部３８０を兼ね備えたものである。
【００２５】
検査用カラー画像取り込み部３８０について簡単に説明する。
検査用カラー画像取り込み部３８０は、検査する金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データを作成するものである。
そして、図５（ａ）に示すように、金属試料表面を３つの異なる仰角位置から照明する照明手段４３０と、該照明手段４３０の各位置からの反射照明による画像を撮影する撮影手段４２０と、必要に応じ、各位置からの反射照明による撮影画像を、それぞれ、Ｒ、Ｇ、Ｂに割当てる画像色割当部４６０とを有しており、また、検査用カラー画像の検査領域以外の領域をマスキングするマスキング用画像を取り込むための透過照明手段４３５を備えている。
【００２６】
検査用カラー画像取り込み部３８０は、図５（ｂ）に示すように、金属試料表面を３つ異なる仰角θ１、θ２、θ３から照明して、各仰角毎の画像を撮影する。
ここで言う仰角とは、撮影手段の撮影方向Ｌ０と金属試料表面４１０Ｓとの交点Ｐ０と各照明光の光源部（照明具）４３１、４３２、４３３とのなす角度θ１、θ２、θ３をそれぞれ言う。撮影方向Ｌ０は金属試料表面４１０Ｓに直交とする。
尚、マスキング用画像の取込みは、金属試料４１０を透過照明して撮影手段４２０にて、金属試料の検査領域とその周辺の背景部とを撮影して得る。
【００２７】
図５（ａ）に示す検査用カラー画像取り込み部３８０においては、撮影手段４２０は、モノクロカメラであり、照明手段４３０は、３つ異なる仰角位置にて、それぞれ固定された照明具４３１、４３２、４３３により、固定して設けられており、各照明具４３１、４３２、４３３を、それぞれ時間をずらして、所定時間点灯する点灯部４４０を備えている。
制御部４５０は各部を制御するものである。
【００２８】
検査用カラー画像取り込み部としては、図５（ａ）に示す装置３８０の他に、図６、図７に示す構造のものが挙げられる。
図６に示す検査用カラー画像取り込み部３８３においては、撮影手段５２０は、モノクロカメラで、照明手段５３０は、３つ異なる仰角位置にて、１つの照明具５３１を、順次、前記３つ異なる仰角位置に移動させる可動部５４０を備えている。
この装置３８３は、１つの照明具５３１を３つの異なる仰角位置にて、点灯させて照明光とするもので、図５に示す装置３８０の場合と同様、３つの異なる仰角からの照明で、それぞれ、金属表面部５１０Ｓを撮影手段５２０で撮影できる。
図７に示す検査用カラー画像取り込み部３８５においては、撮影手段６２０は、カラーカメラで、照明手段６３０として、３つ異なる仰角位置に、それぞれＲＧＢの各１色を照明光とする照明具６３１、６３２、６３３を固定して設けている。
尚、上記図５、図６、図７に示す装置における、照明具としては、サークル状の蛍光灯、光ファイバーを用いたもの、サークル状に配列させたＬＥＤ照明を用いたものでも良い。
【００２９】
撮影された画像データの、欠陥部と擬似欠陥とで色相が異なる理由を、以下、説明しておく。
図１３（ａ）に示すように、金属試料表面の傾きにより、各仰角からの照明光の正反射光の、カメラ（撮影手段）への入射量がそれぞれ異なる。即ち、各仰角から照明して得られた画像は、撮影される金属試料表面の傾きにより、それぞれ、光強度を異とする。
Ａ１の位置（第一の仰角位置）からの照明では、金属試料表面が平坦（傾きθ２１が０度）に近い程、その正反射光の量は大きく、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明では、それぞれ、金属試料表面が所定の傾きθ２２、θ２３に近い程、その正反射光の量は大きくなる。
撮影される画像においては、傾きがそれぞれ、平坦（傾きθ２１が０度）、θ２２、θ２３に近い箇所においては、Ａ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像の輝度（光強度）が強くなる。
したがって、各仰角から照明して得られた画像は、図１３（ｂ）（イ）〜図１３（ｂ）（ハ）に示すように、輝度（光強度）の大きい領域を持つ。
尚、ここで言う傾きとは、金属試料の正常な面（良品部）に対する傾きを言う。
【００３０】
撮影により得られた、各仰角の画像データにそれぞれＲＧＢ３色の１色を割当てる。
例えば、図１３で、Ａ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像について、それぞれＢ、Ｇ、Ｒの色を割り当て、これを表示すると、図１３（ｂ）（イ）〜図１３（ｂ）（ハ）の各輝度（光強度）大の箇所が、それぞれ、Ｂ、Ｇ、Ｒの色合いとなる。
そして、Ｂ、Ｇ、Ｒの色に割当られたＡ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像を合わせ、ＲＧＢカラー画像を合成し、これを表示すると、図１３（ｃ）に示すように、金属表面の傾きにより、各色が強く表示される。
尚、図１３に示すように、Ａ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像Ｂ、Ｇ、Ｒの色に割当て、これを合わせ、ＲＧＢカラー画像を合成すると、図１４に示すように、良品部は全体がＢ色に表示され、致命的欠陥部は、中心から外側にＢ、Ｇ、Ｒの色あいを持ち、擬似欠陥部は、Ｒ、Ｇ、Ｂが不規則に混ざった色となる。擬似欠陥部は、実際には無彩色、または黄色が多い。
このように、合成された画像のＲ、Ｇ、Ｂの色合いが、金属試料の表面状態により異なることより、欠陥部、擬似欠陥部の色合いも異なる。
この性質を利用して、図１に示す処理による欠陥検出ができるのである。
【００３１】
【発明の効果】
本発明は、上記のように、リードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検方法で、致命的欠陥部を欠陥部として確実に検出し、一定の基準のもとに擬似欠陥箇所を区分けでき、且つ該区分けを自動で行える検査方法の提供を可能としている。
更には、最終的に欠陥としない擬似欠陥の条件を容易に変更できるものとしている。
また、同時に、そのような検査方法を実施できる外観検査装置の提供を可能しとている。
この結果、検査の効率を上げ、生産性を上げることを可能としている。
【図面の簡単な説明】
【図１】本発明の金属試料表面の外観検査方法の実施の形態の１例を示したフロー図
【図２】処理画像データの具体例を挙げ、その処理を分かり易く示したフロー図
【図３】本発明の外観検査方法の実施の形態の第１の例を概略構成図
【図４】本発明の外観検査方法の実施の形態の第２の例を概略構成図
【図５】検査用カラー画像取り込み部の１例を示した図
【図６】検査用カラー画像取り込み部の他の１例を示した図
【図７】検査用カラー画像取り込み部の他の１例を示した図
【図８】ノイズ除去処理（平滑化処理）を説明するための図
【図９】色相変換を説明するための図
【図１０】マスキング用画像データを説明するための図
【図１１】分類付与を説明するための図
【図１２】孤立小領域除去を説明するための図
【図１３】金属試料表面状態と撮影画像の関係を説明するための図
【図１４】金属試料表面状態と合成されたカラー画像の関係を説明するための図
【図１５】従来の検査方法を説明するための図
【図１６】従来の検査装置を説明するための図
【図１７】従来の照明方式を説明するための図
【図１８】金属試料表面の欠陥を説明するための図
【符号の説明】
１１０金属試料
１１０Ｅエッジ部
１１０Ｓ表面部
１１１Ｂ周辺部（背景部）領域
１１１Ｓ試料領域
１１２Ｂマスキング領域
１１２Ｓ検査領域
２００Ａ検査領域
２００Ｂ非検査領域
２００〜２０５画像データ
２０２Ａ検査領域
２０２Ｂ非検査領域
２１０金属試料
２１０Ｅエッジ部
２１０Ｓ表面部
２２０周辺部（背景部）
２５０欠陥部
２６０擬似欠陥部
２７０周辺と色合いが異なる小領域
２８０ノイズによる検出部
２９０マスキング用画像
２９１画像データ
３００、３００Ａ外観検査装置
３１０入力部
３２０画像処理部
３３０色相変換部
３４０分類付与部
３５０データベース
３６０判定部
３７０表示部
３８０、３８３、３８５検査用カラー画像取込み部
４１０金属試料
４１０Ｓ金属試料表面
４２０撮影手段（カメラ）
４３０照明手段
４３５透過照明手段
４３１、４３２、４３３照明具
４４０点灯部
４５０制御部
４６０画像色割当部
５１０金属試料
５１０Ｓ金属試料表面
５２０撮影手段（カメラ）
５３０照明手段
５３１照明具
５３５透過照明手段
５４０可動部
５５０制御部
５６０画像色割当部
６１０金属試料
６１０Ｓ金属試料表面
６２０撮影手段（カラーカメラ）
６３０照明手段
６３１、６３２、６３３照明具
６３５透過照明手段
６５０制御部
７１０金属試料
７１０Ｓ表面
７１１良品部
７１２致命的欠陥部
７１３擬似欠陥部
７２０撮影手段
７２５照明光
７２５Ｒ反射光
７３１、７３２、７３３照明具
７５１、７５２、７５３輝度（光強度）が大の領域
８１０金属試料
８１０Ｓ金属試料の表面
８２１ラインセンサカメラ
８２１Ａ、８２２Ａ撮影視野
８２２エリアセンサカメラ
９１０金属試料
９１０Ｓ表面部
９２０カメラ（撮影手段）
９３０光源部（照明具）
９３５照明光
９３５Ｒ正反射光
９３５Ｓ散乱光
９４０ビームスプリッタ
１０１０良品部の表面
１０２０致命的欠陥部
１０３０擬似欠陥部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an appearance inspection method and apparatus for detecting a flaw in a surface portion of a processed metal plate such as a lead frame, and more particularly to an appearance inspection method and apparatus capable of automatically classifying defects and pseudo defects.
[0002]
[Prior art]
In recent years, semiconductor devices have become more highly integrated and more functional as represented by LSI ASICs due to the trend toward higher performance and lighter and shorter electronic devices (current), and more and more terminals (pins). ) Has been required.
Multi-terminal (pin) ICs, especially ASICs typified by gate arrays and standard cells, or microcomputers, DSPs (Digital Signal Processors) and other semiconductor devices, lead frames are surface mounted such as QFP (Quad Flat Package). It is used for mold packages, and QFP up to 300-pin class has come into practical use.
The lead frame used here is usually processed into a metal plate such as Kovar, 42 alloy (42% Ni-iron), a copper alloy, etc. by an etching method using a photolithographic technique, a stamping method, or the like. Is.
[0003]
And more and more, with the miniaturization of the lead frame and mass productivity are required, even in the appearance inspection of scratch defects on the surface portion of the lead frame, from the inspection method in which a person directly observes the surface portion of the lead frame visually, It is moving to a more automated inspection method.
Conventionally, as a method of detecting a flaw defect or the like on the surface portion of a metal sample such as a lead frame, the surface of the metal sample 810 obtained by the line sensor camera 821 while running the metal sample 810 shown in FIG. 16B, or image data of the surface portion of the metal sample 810 photographed by the area sensor camera 822 as shown in FIG. 16B, image processing is performed on the image data, and the defective portion is detected. A method is known in which a defect is detected and further displayed on a visual monitor so that a person can judge the degree of the defect.
However, in the case of this method, a deep flaw that becomes a fatal defect as shown in FIG. 18B (referred to here as a fatal defect 1020) and a fatal defect as shown in FIG. It is difficult to distinguish a defect that should not be detected (this is called a pseudo defect 1030), and a pseudo defect as shown in FIG. 18C cannot be separated from a fatal defect as necessary. FIG. 18A, FIG. 18B, and FIG. 18C are views showing a cross section of a non-defective part, a cross section of a fatal defect part, and a cross section of a pseudo defect part, respectively. Reference numeral 1010 denotes the surface of the non-defective part.
The reason for this will be briefly described below.
In the methods shown in FIGS. 16 (a) and 16 (b), the illumination for photographing is the bright field method shown in FIG. 17 (a), the vertical incident method shown in FIG. 17 (b), and FIG. 17 (c). The dark field method shown in FIG.
In the bright field method of FIG. 17A, the regular reflection light from the surface of the metal sample is photographed by a camera (imaging means). As shown in FIG. 17A, the light source unit (illuminator) 930 and The camera (photographing means) 920 is at a position facing the normal line L <b> 1 standing on the surface portion 910 </ b> S of the metal sample 910.
In the vertical incident light method of FIG. 17B, the illumination light 935 is vertically incident on the surface portion 910S of the metal sample 910, and the regular reflected light 935R is photographed.
In the dark field method of FIG. 17C, illumination light 935 is irradiated onto the surface of a metal sample, and the scattered light 935S is photographed.
All of these illumination methods photograph reflected light from a metal manifestation part, and it is difficult to distinguish between a fatal defect part and a pseudo defect part.
[0004]
As an example, FIG. 15 shows the case of vertical epi-illumination, and it will be explained that it is difficult to discriminate between a fatal defect and a pseudo defect while explaining how to discriminate a good part, a fatal defect part, and a pseudo defect part.
First, since the vertical epi-illumination is performed, the relationship between the illumination light 725 and the reflected light 725R in the non-defective part 711, the fatal defect part 712, and the pseudo defect part 713 of the metal sample 710 is shown in FIG. ), FIGS. 15A and 15B, and FIGS. 15A and 15C.
That is, in the non-defective part 711, the intensity of the reflected light 725R to be photographed is large, in the fatal defect part 712, the intensity is low in the entire area, and in the pseudo defect part 713, most of the area is obtained. The portion has a low strength, but a portion having a relatively high strength appears due to the uneven state in the region.
Accordingly, the brightness profile of the captured image by the monochrome camera is as shown in FIGS. 15B, 15A, 15B, and 15B, and 15C.
When this is subjected to binarization processing at a predetermined slice level SL, it becomes as shown in FIGS. 15 (c) (a), 15 (c) (b), and 15 (c) (c), respectively. .
Thus, in the binarized image profile of the portion corresponding to the photographed image of the non-defective part 711, the fatal defect part 712, and the pseudo defect part 713 obtained by performing the binarization process (one of the image processes). The non-defective part 711 can be distinguished from the fatal defect part 712 or the pseudo defect part 713, but the fatal defect part 712 and the pseudo defect part 713 cannot be distinguished.
In this way, since it cannot be distinguished from a fatal defect part or a pseudo defect part, the pseudo defect part is also detected together with the fatal defect part. Judgment was made to classify whether it was a pseudo defect part or a fatal defect part.
For this reason, the defect detection efficiency is poor and has been a problem.
In the above, the defect part is a defective part, the fatal defect part is a fatal defect part, the pseudo defect part is a pseudo defect part, and the fatal defect and the pseudo defect are respectively The degree of the defect is referred to, and a defect that becomes a fatal defect is called a fatal defect, and a defect that does not become a fatal defect is called a pseudo defect here.
In defect detection, how to properly classify a pseudo defect and a fatal defect is important in terms of increasing the efficiency of defect detection.
[0005]
[Problems to be solved by the invention]
As described above, there are various problems in the conventional visual inspection method for detecting a scratch defect on the surface of a processed product (metal sample) such as a lead frame, but it is possible to distinguish pseudo defects from fatal defects. There is a need for an appearance inspection method that can be automatically classified by an appearance inspection method that can be performed.
The present invention corresponds to this, and is an appearance inspection method for detecting a flaw defect in a surface portion of a processed product (metal sample) such as a lead frame, and a fatal defect portion is reliably detected as a defect portion, and The present invention aims to provide an appearance inspection method that can automatically classify pseudo-defect portions based on a certain standard, and that can automatically perform the classification.
Furthermore, another object of the present invention is to provide an appearance inspection method capable of easily changing the condition of a pseudo defect which is not finally a defect.
At the same time, it is an object of the present invention to provide an appearance inspection apparatus capable of such an inspection method.
In the following description, in defect detection, a defect determined as a defect according to a certain standard is referred to as a defect, and a defect that is not a defect but a fatal defect is referred to as a pseudo defect.
[0006]
[Means for Solving the Problems]
In the method for inspecting the appearance of a metal sample surface according to the present invention, the surface of the metal sample is illuminated from three different elevation angles, and the same region is photographed. An appearance inspection method for synthesizing an RGB color image from three image data obtained by assigning one color and discriminating a defect and a pseudo defect from the hue of the synthesized image, each pixel of the synthesized image For each step, a hue value is obtained from the light intensity of the R color component, the light intensity of the G color component, and the light intensity of the B color component, and the surface state and hue of the object to be inspected from the obtained hue value of each pixel. In accordance with a database that is associated with a range of values, a classification providing step for assigning a classification of the hue value for each pixel of the synthesized image; Each pixel has a numerical value representative of the hue of each classification classified by the classification providing step, and for each pixel, a total of five pixels including each pixel and four neighboring pixels or each pixel and its pixel For a total of 9 pixels including 8 pixels in the vicinity of the pixel, the maximum filtering process that newly sets the numerical value of the pixel having the maximum numerical value as the numerical value of the pixel, or includes each pixel and 4 pixels in the vicinity of the pixel For a total of nine pixels including a total of five pixels or each pixel and eight neighboring pixels, a minimum filtering process that newly sets the numerical value of the pixel having the smallest numerical value as the numerical value of the pixel, If necessary, the order is changed and sequentially applied, and an isolated minute area removing process step for removing an area that is classified as a defect but is smaller than necessary is provided. region Based on the removed by is a result of performing defect determination of the pseudo defect It is characterized by this.
The hue value in the above is a numerical value obtained from a hue conversion formula defined by Haydn or a predetermined multiple of the numerical value.
As described above, hereinafter, in defect detection, a defect determined as a defect according to a certain standard is referred to as a defect, and a defect that is not a fatal defect and not a defect is referred to as a pseudo defect.
[0007]
Illuminate the surface of the metal sample from three different elevation angles, photograph the same area, and obtain three image data, etc., each assigned one color of RGB 3 to the image data obtained by illumination at each elevation angle. An input unit for input, an image processing unit for performing various image processing on the image data, a determination unit for determining defects and pseudo defects based on the processing results of the image processing unit, and a determination result of the determination unit And a display unit for displaying a defective portion of the synthesized image. An apparatus for inspecting the appearance of a metal sample surface, The image processing unit includes, for each pixel of color image data synthesized from image data obtained by performing image processing on the three image data or the three image data, the light intensity of the R color component and the G color component. Based on the hue conversion unit for obtaining the hue value from the light intensity and the light intensity of the B color component, the database in which the surface state to be inspected and the range of the hue value are associated, and the processing result of the hue conversion unit , Referring to the database, for each pixel of the synthesized image, a classification assigning unit for assigning a classification of the hue value; Each pixel has a numerical value representative of the hue of each classification classified by the classification assigning unit, and for each pixel, a total of five pixels including each pixel and four neighboring pixels or each pixel and its pixel For a total of 9 pixels including 8 pixels in the vicinity of the pixel, the maximum filtering process that newly sets the numerical value of the pixel having the maximum numerical value as the numerical value of the pixel, or includes each pixel and 4 pixels in the vicinity of the pixel For a total of nine pixels including a total of five pixels or each pixel and eight neighboring pixels, a minimum filtering process that newly sets the numerical value of the pixel having the smallest numerical value as the numerical value of the pixel, If necessary, it has an isolated minute region removal processing unit that removes a region that is classified as a defect but is smaller than necessary by changing the order and applying it sequentially. The determination unit is configured to determine a defect or a pseudo defect based on the result of the classification and the removal of the isolated minute region.
In the above, the surface of the metal sample is illuminated from three different elevation angles, the same region is photographed, and one of the three RGB colors is assigned to the image data obtained by illumination at each elevation angle. It is characterized by having an inspection image capturing unit for creating one image data.
Here, the imaging direction is substantially perpendicular to the surface of the metal sample, and the elevation angle refers to the angle formed by the intersection of the imaging direction of the imaging means and the surface of the metal sample and the light source part (illuminator) of each illumination light. .
[0008]
[Action]
The appearance inspection method for the surface of a metal sample according to the present invention is an appearance inspection method for detecting a flaw defect on a surface portion of a processed product (metal sample) such as a lead frame by configuring as described above. It is possible to provide an inspection method that can be reliably detected as a defective portion, can be used to classify a pseudo-defect portion based on a certain standard, and can be automatically classified.
Furthermore, it is possible to provide an appearance inspection method that can easily change the condition of a pseudo defect that is not finally a defect.
Specifically, for each pixel of the synthesized image, a step of obtaining a hue value from the light intensity of the R color component, the light intensity of the G color component, and the light intensity of the B color component; According to the database in which the surface state to be inspected and the range of the hue value are associated with each other based on the hue value, there is a classification providing step for assigning the hue value classification to each pixel of the synthesized image. And this is achieved by discriminating defects and pseudo defects based on the result of the classification imparting step.
Specifically, since the light intensity of the image data at each elevation angle obtained by photographing varies depending on the surface state (degree of inclination) of the sample, R, G, B of the RGB color image synthesized according to the surface state of the metal sample surface Based on the principle that the hue of the sample will be different, the synthesized color image corresponding to the surface state of the metal sample is color-coded for each pixel, and the hue for each color-coded pixel is accurately numerical (Referred to as “hue value”), and the hue value for each pixel is classified by referring to the correspondence database of the surface state of the metal sample and the range of the hue value obtained in advance, and based on this This classifies the defect from the pseudo defect.
Therefore, it is possible to divide a defect from a pseudo defect by a numerical value (hue value), and it is possible to automatically classify a defect portion and a pseudo defect portion. In addition, the degree of defect and pseudo defect can be easily divided.
[0009]
The appearance inspection apparatus of the present invention is an apparatus for performing the appearance inspection method of a metal sample surface according to the present invention, and is based on three image data each assigned with one of three RGB colors input from an input unit. However, the inspection color image capturing unit for generating the three image data is not necessarily integrated with the appearance inspection apparatus.
In other words, a color image capturing unit for inspection is provided in a production line that is produced by processing a metal sample, and the obtained image data can be inspected with an appearance inspection apparatus in another place. It is also possible to inspect the image data obtained by the color image capturing unit at different times.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be described with reference to the drawings.
FIG. 1 is a flow chart showing an example of an embodiment of a method for inspecting the appearance of a metal sample surface according to the present invention. FIG. 2 illustrates the processing shown in FIG. FIG. 3 is a schematic diagram showing the functional configuration of the first example of the embodiment of the appearance inspection apparatus of the present invention, and FIG. 4 shows the second example of the embodiment of the appearance inspection apparatus of the present invention. It is the schematic which showed the function structure.
First, a method for inspecting the appearance of a metal sample surface according to the present invention will be described with reference to FIG.
S11 to S19 and S21 to S23 indicate steps of the process.
Moreover, the flow shown in FIG. 1 is a processing example of an appearance inspection method for a metal sample, such as a lead frame, in which a through-hole is provided in a metal plate and processed.
[0011]
First, the same area is photographed by illuminating the surface of the metal sample from three different elevation angles, and three colors obtained by assigning one of the three RGB colors to the image data obtained by illumination at each elevation angle are obtained. The image data is captured by the inspection color image capturing unit 380 shown in FIG. (S11)
At the same time, image data for masking for masking an area other than the inspection area of the color image for inspection is captured. (S21)
The image data for masking can also be usually created by providing transmission illumination means in the inspection color image capturing unit 380 shown in FIG. 4 and photographing with transmission illumination by the imaging means for photographing the inspection color image.
[0012]
Next, noise removal processing is performed on the color image data for inspection. (S12)
As the noise removal processing, for example, for each pixel of the processed image data, an average value of nine pixels including the peripheral pixels (average value of light intensity) is newly set as the value of the pixel. A smoothing process is taken.
In the example shown in FIG. 8, when each pixel value of the processed image data is f (i, j) and each pixel value of the processed image data is g (i, j), it is shown in (a) of FIG. Although expressed as an equation, such processing is also referred to as filtering processing using a 3 × 3 filter h (k, l) shown in FIG. 8B as a parameter.
[0013]
Three pieces of image data from which noise has been removed are combined, and hue conversion is performed in units of pixels. (S13)
As the hue conversion, for example, the hue value H is obtained by using a Haydn hue conversion formula (formula (1), formula (2), formula (3) in FIG. 9A) shown in FIG.
As a result, the hue value H is obtained as a real number between 0 and 3. Usually, since the image is formed based on the hue value, the obtained hue value H is further illustrated in FIG. 9B from the viewpoint of processing. A hue value H0 is newly obtained using the equation (4). (Hereafter, H0 is treated as a hue value)
[0014]
On the other hand, with respect to masking image data for masking an area other than the inspection area of the inspection color image, a binarization process for binarizing at a predetermined slice level is performed for each pixel. (S22)
In this process, since the periphery of the inspection area is penetrated by the lead frame or the like, when the inspection area and its periphery are photographed by transmitted illumination, the intensity of the transmitted light is increased in the inspection area and the periphery. There is a large difference, and by binarizing the captured image data at a predetermined slice level, it is possible to divide the inspection region and its peripheral portion in units of pixels.
In this way, for image data obtained by imaging with transmitted illumination, for example, if the value (light intensity) of each pixel is 1 greater than the slice level value and 0 is smaller, the binarized image In general, the pixel value of the area corresponding to the peripheral portion is 1 and the inspection area is 0.
However, in general, the edge region of the metal sample is tapered and needs to be excluded from the inspection region, and the inspection region portion needs to be reduced by this amount.
For this reason, processing for expanding the peripheral region by several pixels is performed as necessary for the binarized image data obtained by the binarization processing. (S23)
Further, FIG. 10 (a) shows a partial cross-sectional view of a metal sample, and a reflection photographed image (FIG. 10 (b)) in the case of photographing with reflection illumination and a transmission image photographed with transmission illumination are shown in two. The positional relationship with the digitized image (FIG. 10C) is shown. In addition, 111S and 111B are areas of value 0 to value 1, respectively.
FIG. 10D shows a region 111B corresponding to the peripheral portion (background portion) of the binarized image shown in FIG. 10B that is expanded to include the region corresponding to the edge portion. The image of is shown. 112S is an inspection area, and 112B is a masking area.
Thereby, the area | region which should be originally flat except the edge part of a metal sample is limited as an inspection area | region.
[0015]
A masking area 112B (also referred to as a peripheral area or a background area) obtained by the expansion process in step S23 in the area of the image data that has undergone hue conversion is excluded from the target of subsequent processing. (S14)
This processing is referred to here as peripheral portion removal processing or background removal processing.
As a result, since the subsequent processing is not performed for the masking region 112B (peripheral region), waste is reduced and erroneous detection is simultaneously performed as compared to the case where the subsequent processing is performed for the masking region 112B (peripheral region). Decrease.
[0016]
Next, with reference to a database in which a range of defects and hue values is associated with classifications, the classification corresponding to the hue values is given to the image data subjected to hue conversion in units of pixels. (S15)
For example, as shown in FIG. 11, the classification (A to E in FIG. 11) is assigned corresponding to a predetermined range of hue values.
Then, for example, A and B are set as normal surfaces that are not defects of the inspection metal sample, C is set as a pseudo defect portion, and D and E are set as defect portions.
For convenience, each classification of A to E is identified by assigning a numerical value representative of the hue of each classification. In other words, each pixel has a numerical value representing the hue of each classification.
[0017]
Next, in order to remove an area (pixel area) that is classified as a defect in pixel units in the classified image data but is smaller than necessary, an isolated minute area removal process is performed. (S16)
This process is performed using, for example, a numerical value representing the hue of each classification classified by the classification providing step, which is given to each pixel.
As shown in the equation (1) in FIG. 12B, for each pixel (f (i, j)), the total including each pixel (f (i, j)) and the upper, lower, left and right pixels of the pixel is included. For the five pixels, a maximum filtering process in which the numerical value of the pixel having the maximum numerical value is newly set as the numerical value of the pixel, or as shown in Equation (2) in FIG. For a total of five pixels, including the top, bottom, left, and right pixels, the minimum filtering process that newly sets the numerical value of the pixel with the smallest numerical value as the numerical value of the pixel is changed to the maximum filtering process and the minimum filtering process as necessary. Change the order and apply sequentially.
FIG. 12A shows a total of five pixels including each pixel (f (i, j)) and its upper, lower, left, and right pixels.
In the above, for each pixel, the maximum filtering process and the minimum filtering process were performed for a total of five pixels including each pixel and four neighboring pixels. A total of nine pixels may be performed.
For example, when the classification and the numerical value are respectively as shown in FIG. 12D, the maximum filtering process is performed after the minimum filtering process.
[0018]
Next, as described above, the locations classified as defects are labeled from the multilevel data classified into the respective categories. (S17)
[0019]
Then, final pass / fail determination is performed based on the labeling result. (S18)
Note that the above is one embodiment, and the labeling process is performed when it is desired to make a final pass / fail judgment based on the area and number in the subsequent process. If a pixel has a defect, it may be a defect.
Further, the determination result is displayed. (S19)
[0020]
Further, FIG. 2 specifically shows a part of the color image to be processed, and the above processing will be described with reference to the drawings.
FIG. 2A is a diagram showing a part of a color image to be inspected (hereinafter referred to as an inspected image 200), and a color image obtained by synthesizing the three image data captured in step S11 of FIG. It is the figure which showed a part of data.
In FIG. 2A, 200 is an image to be inspected, 200A is an inspection region, 200B is a peripheral portion (background portion), 210 is a metal sample, 210S is a surface, 210E is an edge portion, and 220 is a peripheral portion (background portion). In other words, 250 is a defect portion, 260 is a pseudo defect portion, 270 is a noise portion, and 280 is a minute region whose hue is different from that of the periphery.
When noise removal processing (step S12 shown in FIG. 1) and hue conversion processing (step S13 shown in FIG. 1) are performed on the inspection image 200 shown in FIG. 2 (a), as shown in FIG. 2 (b). An image is obtained.
FIG. 2C shows a masking image 290 corresponding to the image 200 to be processed shown in FIG. 2A, and a part of the masking image obtained in step S21 shown in FIG. It is.
FIG. 2D shows the result of performing binarization processing (step S22 shown in FIG. 1) and expansion processing (step S23 shown in FIG. 1) on the masking image 290 shown in FIG. It is the figure which showed the state.
[0021]
The image data 201 shown in FIG. 2B and the image data 291 shown in FIG. 2D are composed of an inspection area 202A and a non-inspection area (non-inspection area) 202B shown in FIG. Image data 202 is obtained.
The subsequent processing is performed only for the inspection area 202A.
With respect to the image data 202 shown in FIG. 2E, the hue-converted image data is referred to in units of pixels by referring to a database in which defects and hue value ranges are associated in advance for each pixel. When the classification corresponding to the hue value is assigned (step S15 shown in FIG. 1), the classification is assigned according to the hue of each location, for example, as shown in FIG.
In this example, according to the range of hue values, A and B are classified in correspondence with the surface portion of the inspection metal sample, C is a pseudo defect portion, and D and E are associated with the defect portion.
[0022]
Next, an isolated small area removal process (step S16 shown in FIG. 1) is performed on the image data 203 shown in FIG. 2 (f) to obtain image data 204 shown in FIG. 2 (g).
Subsequently, a labeling process is performed and a defective part is determined. FIG. 2 (h) shows this image.
[0023]
Next, the 1st example of embodiment of the external appearance inspection apparatus of this invention is demonstrated based on FIG.
In FIG. 3, 300 is an appearance inspection apparatus, 310 is an input unit, 320 is an image processing unit, 330 is a hue conversion unit, 340 is a classification imparting processing unit, 350 is a database (data storage unit), 360 is a determination unit, and 370 is It is a display unit.
As shown in FIG. 3, the appearance inspection apparatus 300 of the present invention includes an input unit 310, an image processing unit 320, a database 350, a determination unit 360, and a display unit 370.
The input unit 310 illuminates the surface of the metal sample from three different elevation angles to photograph the same region, and assigns one of RGB colors to image data obtained by illumination at each elevation angle. One color image data, a masking image for masking the area other than the inspection area of the inspection image, and the like are input.
The image processing unit 320 is a processing unit for performing various types of image processing on the image data input from the input unit 310. The noise removal processing (S12), hue conversion processing (S13), and binary processing shown in FIG. Various processes such as a conversion process (S22), an expansion process (S23), a peripheral part (background) removal process (S14), a classification imparting process (S15), an isolated minute area removal process, and a labeling process are performed.
The hue conversion unit 330 of the image processing unit 320 obtains a hue value from the color image data for each pixel from the light intensity of the R color component, the light intensity of the G color component, and the light intensity of the B color component.
The database 350 is a database in which a surface state to be inspected is associated with a range of hue values.
The classification assigning processing unit 340 of the image processing unit 320 gives a classification of the hue value to each pixel of the processed image for which the hue value is obtained for each pixel while referring to the database 350. .
The determination unit 360 determines a defect or a pseudo defect based on the result of assigning the hue value classification.
The display unit 370 displays a defective portion of the processed image to which the classification is given based on the determination result of the determination unit 360.
The apparatus 300 can be inspected whenever necessary if there is image data to be inspected and image data for masking.
[0024]
Next, the 2nd example of embodiment of the external appearance inspection apparatus of this invention is shown in FIG.
A second example (inspection apparatus 300A) shown in FIG. 4 is a combination of the apparatus 300 of the first example shown in FIG. 3 and a color image capturing unit 380 for inspection.
[0025]
The inspection color image capturing unit 380 will be briefly described.
The inspection color image capturing unit 380 illuminates the surface of the metal sample to be inspected from three different elevation angles to photograph the same region, and the image data obtained by the illumination at each elevation angle is 1 for each of three RGB colors. Three image data to which colors are assigned are created.
And as shown to Fig.5 (a), the imaging | photography means 420 which image | photographs the image by the illumination means 430 which illuminates the metal sample surface from three different elevation angle positions, and the reflected illumination from each position of this illumination means 430, If necessary, it has an image color assigning unit 460 for assigning captured images by reflected illumination from each position to R, G, and B, respectively, and masking areas other than the inspection area of the inspection color image Transmitting illumination means 435 for capturing a masking image is provided.
[0026]
As shown in FIG. 5B, the inspection color image capturing unit 380 illuminates the surface of the metal sample from three different elevation angles θ1, θ2, and θ3, and takes an image for each elevation angle.
The elevation angle here refers to angles θ1, θ2, and θ3 formed by the intersection P0 between the imaging direction L0 of the imaging means and the metal sample surface 410S and the light source portions (illuminators) 431, 432, and 433 of each illumination light, respectively. . The imaging direction L0 is orthogonal to the metal sample surface 410S.
The masking image is captured by transmitting the metal sample 410 and photographing the inspection area of the metal sample and the surrounding background portion with the photographing means 420.
[0027]
In the inspection color image capturing unit 380 shown in FIG. 5A, the photographing unit 420 is a monochrome camera, and the illumination unit 430 includes lighting fixtures 431 and 432 fixed at three different elevation positions. 433 is provided with a lighting unit 440 that lights each of the lighting fixtures 431, 432, and 433 for a predetermined period of time while shifting the time.
The control unit 450 controls each unit.
[0028]
As the inspection color image capturing unit, in addition to the device 380 shown in FIG. 5A, one having the structure shown in FIGS.
In the inspection color image capturing unit 383 shown in FIG. 6, the photographing unit 520 is a monochrome camera, and the illumination unit 530 sequentially attaches one illuminator 531 to the three different elevation angles at three different elevation angle positions. A movable portion 540 that moves to a position is provided.
This device 383 turns on a single illuminator 531 at three different elevation positions to produce illumination light. Like the device 380 shown in FIG. The metal surface portion 510S can be photographed by the photographing means 520.
In the inspection color image capturing unit 385 shown in FIG. 7, the photographing unit 620 is a color camera, and the lighting unit 630 is an illuminating unit 630. 632 and 633 are fixedly provided.
In addition, as a lighting fixture in the apparatus shown in the said FIG.5, FIG.6, FIG.7, the thing using the LED illumination arranged in the circle shape fluorescent lamp, the optical fiber, and the circle form may be used.
[0029]
The reason why the hue of the captured image data is different between the defective portion and the pseudo defect will be described below.
As shown in FIG. 13 (a), the amount of regular reflection light of illumination light from each elevation angle to the camera (imaging means) varies depending on the inclination of the surface of the metal sample. That is, the images obtained by illuminating from each elevation angle have different light intensities depending on the inclination of the surface of the metal sample to be photographed.
In illumination from the position A1 (first elevation angle position), the closer the surface of the metal sample is to be flat (inclination θ21 is 0 degree), the greater the amount of specular reflection light, A2 (second elevation angle position), A3 In illumination from (third elevation angle position), the closer the metal sample surface is to the predetermined inclinations θ22 and θ23, the greater the amount of specularly reflected light.
In the captured image, the inclination is flat (inclination θ21 is 0 degree), and at positions close to θ22 and θ23, the position of A1 (first elevation angle position), A2 (second elevation angle position), and A3 The brightness (light intensity) of the image by illumination from (third elevation angle position) is increased.
Therefore, an image obtained by illuminating from each elevation angle has a region with high luminance (light intensity) as shown in FIGS. 13 (b) (a) to 13 (b) (c).
In addition, the inclination said here means the inclination with respect to the normal surface (non-defective part) of a metal sample.
[0030]
One RGB color is assigned to each elevation angle image data obtained by photographing.
For example, in FIG. 13, the colors B, G, and R are respectively set for the images by illumination from the position A1 (first elevation angle position), A2 (second elevation angle position), and A3 (third elevation angle position). When this is assigned and displayed, the portions with high luminance (light intensity) in FIGS. 13B, 13A, 13B, and 13C are shades of B, G, and R, respectively.
Then, the images by illumination from the positions A1 (first elevation angle position), A2 (second elevation angle position), A3 (third elevation angle position) assigned to the colors B, G, and R are combined, and RGB When color images are synthesized and displayed, each color is strongly displayed due to the inclination of the metal surface as shown in FIG.
As shown in FIG. 13, the colors of the images B, G, and R by illumination from the position A1 (first elevation angle position), A2 (second elevation angle position), and A3 (third elevation angle position) are used. As shown in FIG. 14, the non-defective part is displayed in B color as a whole, and the fatal defective part has B, G, and R hues from the center to the outside. The pseudo defect portion has a color in which R, G, and B are irregularly mixed. Pseudo defects are actually achromatic or yellow in many cases.
As described above, since the colors of R, G, and B in the synthesized image are different depending on the surface state of the metal sample, the hues of the defect portion and the pseudo defect portion are also different.
By utilizing this property, it is possible to detect defects by the processing shown in FIG.
[0031]
【The invention's effect】
As described above, the present invention is an appearance inspection method for detecting a flaw defect on a surface portion of a processed product (metal sample) such as a lead frame, and reliably detects a fatal defect portion as a defect portion. Based on this, it is possible to provide an inspection method capable of classifying pseudo-defect portions and automatically performing the classification.
Furthermore, it is assumed that the conditions for pseudo defects that are not finally defects can be easily changed.
At the same time, it is possible to provide an appearance inspection apparatus capable of performing such an inspection method.
As a result, it is possible to increase the efficiency of inspection and increase productivity.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an example of an embodiment of an appearance inspection method for a metal sample surface according to the present invention.
FIG. 2 is a flowchart showing a specific example of processed image data and showing the processing in an easy-to-understand manner.
FIG. 3 is a schematic configuration diagram of a first example of an embodiment of an appearance inspection method according to the present invention.
FIG. 4 is a schematic configuration diagram of a second example of an embodiment of an appearance inspection method according to the present invention.
FIG. 5 is a diagram illustrating an example of a color image capturing unit for inspection
FIG. 6 is a diagram showing another example of a color image capturing unit for inspection
FIG. 7 is a diagram showing another example of a color image capturing unit for inspection
FIG. 8 is a diagram for explaining noise removal processing (smoothing processing);
FIG. 9 is a diagram for explaining hue conversion;
FIG. 10 is a diagram for explaining image data for masking
FIG. 11 is a diagram for explaining classification assignment
FIG. 12 is a diagram for explaining isolated small region removal;
FIG. 13 is a diagram for explaining the relationship between a metal sample surface state and a photographed image;
FIG. 14 is a diagram for explaining a relationship between a metal sample surface state and a synthesized color image;
FIG. 15 is a diagram for explaining a conventional inspection method;
FIG. 16 is a diagram for explaining a conventional inspection apparatus;
FIG. 17 is a diagram for explaining a conventional illumination method;
FIG. 18 is a diagram for explaining defects on the surface of a metal sample.
[Explanation of symbols]
110 Metal samples
110E Edge part
110S surface part
111B Peripheral (background) area
111S sample area
112B Masking area
112S Inspection area
200A Inspection area
200B non-inspection area
200-205 Image data
202A Inspection area
202B non-inspection area
210 Metal samples
210E Edge part
210S Surface part
220 Peripheral part (background part)
250 defective part
260 Pseudo defects
270 Small area with different color from the surrounding area
280 Noise detection unit
290 Masking image
291 Image data
300, 300A visual inspection device
310 Input section
320 Image processing unit
330 Hue conversion section
340 Classification assignment unit
350 database
360 judgment part
370 display
380, 383, 385 Color image capturing part for inspection
410 Metal sample
410S Metal sample surface
420 Shooting means (camera)
430 Illumination means
435 Transmitted illumination means
431, 432, 433 Lighting
440 lighting part
450 Controller
460 Image color assignment unit
510 Metal sample
510S Metal sample surface
520 Photography means (camera)
530 Illumination means
531 Lighting
535 Transmitted illumination means
540 moving parts
550 control unit
560 Image color assignment unit
610 Metal sample
610S metal sample surface
620 Photography means (color camera)
630 Illumination means
631, 632, 633 Lighting
635 Transmitted illumination means
650 control unit
710 Metal sample
710S surface
711 Good product department
712 Fatal defect
713 Pseudo defects
720 Photography means
725 Illumination light
725R Reflected light
731, 732, 733 Lighting equipment
751, 752, 753 Areas with high luminance (light intensity)
810 Metal sample
810S Metal sample surface
821 Line sensor camera
821A, 822A Field of view
822 Area sensor camera
910 Metal sample
910S surface part
920 camera (photographing means)
930 Light source section (lighting fixture)
935 Illumination light
935R specular light
935S scattered light
940 Beam splitter
1010 Non-defective part surface
1020 Critical defect
1030 Pseudo defects

Claims

Three image data obtained by illuminating the surface of a metal sample from three different elevation angles and photographing the same region, and by assigning one of the three RGB colors to the image data obtained by illumination at each elevation angle An RGB color image, and an appearance inspection method for discriminating defects and pseudo defects from the hue of the synthesized image,
Obtaining a hue value from the light intensity of the R color component, the light intensity of the G color component, and the light intensity of the B color component for each pixel of the synthesized image;
Based on the obtained hue value of each pixel, a classification of the hue value is given to each pixel of the synthesized image according to a database in which the surface state to be inspected and the range of the hue value are associated with each other. A classification assignment process;
Each pixel has a numerical value representative of the hue of each classification classified by the classification providing step, and for each pixel, a total of five pixels including each pixel and four neighboring pixels or each pixel and its pixel For a total of 9 pixels including 8 pixels in the vicinity of the pixel, the maximum filtering process that newly sets the numerical value of the pixel having the maximum numerical value as the numerical value of the pixel, or includes each pixel and 4 pixels in the vicinity of the pixel For a total of nine pixels including a total of five pixels or each pixel and eight neighboring pixels, a minimum filtering process that newly sets the numerical value of the pixel having the smallest numerical value as the numerical value of the pixel, If necessary, by changing the order and performing sequentially, it has an isolated minute region removal process step that removes a region that is classified as a defect but is smaller than necessary,
A method for inspecting the appearance of a metal sample surface, wherein a defect and a pseudo defect are discriminated based on the result of classification and removal of the isolated minute region .

2. A method for inspecting the appearance of a metal sample surface, wherein the hue value in claim 1 is a numerical value obtained from a hue conversion formula defined by Haydn or a predetermined multiple of the numerical value.

Illuminate the surface of the metal sample from three different elevation angles, photograph the same area, and obtain three image data, etc., each assigned one color of RGB 3 to the image data obtained by illumination at each elevation angle. An input section to input,
An image processing unit for performing various image processing on the image data, a determination unit for determining a defect and a pseudo defect based on a processing result of the image processing unit,
Based on the determination result of the determination unit, a visual inspection apparatus for the surface of a metal sample including a display unit that displays a defect portion of the synthesized image ,
The image processing unit includes, for each pixel of color image data synthesized from image data obtained by performing image processing on the three image data or the three image data, the light intensity of the R color component and the G color component. A hue conversion unit for obtaining a hue value from the light intensity and the light intensity of the B color component;
Based on the database in which the surface state of the object to be inspected and the range of hue values are associated, and the processing result of the hue conversion unit, referring to the database, the hue value for each pixel of the synthesized image A classification granting unit for granting a classification of
Each pixel has a numerical value representative of the hue of each classification classified by the classification assigning unit, and for each pixel, a total of five pixels including each pixel and four neighboring pixels or each pixel and its pixel For a total of 9 pixels including 8 pixels in the vicinity of the pixel, the maximum filtering process that newly sets the numerical value of the pixel having the maximum numerical value as the numerical value of the pixel, or includes each pixel and 4 pixels in the vicinity of the pixel For a total of nine pixels including a total of five pixels or each pixel and eight neighboring pixels, a minimum filtering process that newly sets the numerical value of the pixel having the smallest numerical value as the numerical value of the pixel, If necessary, it has an isolated minute region removal processing unit that removes a region that is classified as a defect but is smaller than necessary by changing the order and applying it sequentially.
The determination unit determines a defect and a pseudo defect based on the result of the classification and the isolated minute region removed.
An appearance inspection apparatus characterized by that.

In claim 3, the surface of the metal sample is illuminated from three different elevation angles to photograph the same region, and one RGB color is assigned to the image data obtained by illumination at each elevation angle. An appearance inspection apparatus comprising an inspection image capturing unit that creates one image data.