JP6322335B2 - 外観検査装置 - Google Patents

Description

この発明は、基板の外観を検査する外観検査装置および外観検査方法に関する。

特許文献１に記載のビジョン検査装置は、検査対象物に正対する第１カメラと、格子模様を照射する格子模様照射部とを備え、検査対象物に照射された格子模様が変形する様子を第１カメラで撮像した結果に基づき、検査対象物の高さを測定する。

特表２０１４−５１０２７６号公報

このような技術は、例えば部品が半田により取り付けられた基板の外観を検査するのに用いることができる。ただし、上記の第１カメラは、検査対象物に正対するものである。そのため、基板を検査するにあたって、基板に存在する物体（半田あるいは部品等）の側面の三次元形状を必ずしも的確に計測できない場合があった。ちなみに、特許文献１では、第１カメラの周囲に配置された第２カメラが設けられている。ただし、この第２カメラは部品の浮き立ちや未挿入を確認するに過ぎず、かかる問題を解消するのに足りるものではなかった。

この発明は上記課題に鑑みなされたものであり、基板に存在する物体の側面の三次元形状を的確に計測することを可能とする技術の提供を目的とする。

本発明にかかる外観検査装置は、上記目的を達成するために、基板を保持する基板保持部と、基板保持部に保持される基板に向けて光を照射するプロジェクターと、基板保持部に保持される基板の表面の法線方向に対して傾斜して配置された傾斜カメラと、基板に対して設定した計測領域にプロジェクターから光を照射しつつ計測領域を傾斜カメラにより撮像した撮像画像に基づき、計測領域の三次元形状を計測する制御部とを備える。

本発明にかかる外観検査方法は、上記目的を達成するために、基板に対して計測領域を設定する工程と、計測領域に光を照射しつつ、基板の表面の法線方向に対して傾斜して配置された傾斜カメラにより計測領域を撮像して、撮像画像を取得する工程と、撮像画像に基づき計測領域の三次元形状を計測する工程とを備える。

このように構成された本発明（外観検査装置および外観検査方法）が備える傾斜カメラは、基板の表面の法線方向に対して傾斜して配置されており、上記の正対カメラと比較して基板の表面に存在する物体の側面を捉えるのに適している。そして、基板に対して設定された計測領域を傾斜カメラにより撮像した撮像画像に基づき、計測領域の三次元形状を計測する。したがって、計測領域が基板に存在する物体の側面を含むように設定された場合であっても、物体の側面の三次元形状を的確に計測することが可能となっている。

基板に存在する物体の側面の三次元形状を的確に計測することが可能となる。

本発明にかかる外観検査装置が備える検査ヘッドの一例を模式的に示す斜視図。 図１の検査ヘッドの一例を模式的に示す平面図。 本発明にかかる外観検査装置を模式的に例示するブロック図。 基板検査のために実行される画像撮像の一例を示すフローチャート。 計測領域の向きを模式的に説明する平面図。 基板検査のために実行される画像処理の一例を示すフローチャート。 傾斜カメラが有する利点を模式的に説明する図。 傾斜カメラが有する別の利点を模式的に説明する図。 異なる種類の部品が混在する基板を検査する様子を模式的に示す図。

図１は本発明にかかる外観検査装置が備える検査ヘッドの一例を模式的に示す斜視図である。図２は図１の検査ヘッドの一例を模式的に示す平面図である。両図および以下の図では、互いに直交する水平方向Ｘ、水平方向Ｙおよび鉛直方向Ｚを適宜示すものとする。この検査ヘッド３は、水平に保持される基板１０の表面１０ａを検査対象としており、検査範囲Ｆ３内の基板１０の表面１０ａに対して、所定パターンの光を照射（投影）しつつ撮像を行う。

両図に示すように、検査ヘッド３は、鉛直方向Ｚからの平面視において中央に位置する正対カメラ３１ａと、正対カメラ３１ａの光軸Ａａを中心に同心円状に等間隔で並ぶ４台の傾斜カメラ３１ｂ〜３１ｅとを有する。なお、両図では、５台のカメラに互いに異なる符号３１ａ〜３１ｅが付されているが、以下では、個々のカメラを区別しない場合は共通の符号３１を適宜用いることとする。カメラ３１ａ〜３１ｅとしては、例えばＣＣＤ(Charge Coupled Device)カメラを用いることができる。５台のカメラ３１ａ〜３１ｅは、基板１０の表面１０ａ上の検査範囲Ｆ３に対向するように配置されており、検査範囲Ｆ３をそれぞれの視野に収めることができる。換言すれば、５台のカメラ３１ａ〜３１ｅの視野は、基板１０の表面１０ａ上の検査範囲Ｆ３において互いに重複する。

正対カメラ３１ａは、その光軸Ａａが鉛直方向Ｚに平行となるように配置されており、上方から検査範囲Ｆ３に正対する。したがって、正対カメラ３１ａの光軸Ａａが基板１０の表面１０ａと成す角度は９０度となっている。正対カメラ３１ａはテレセントリックレンズを有しており、このテレセントリックレンズを介して検査範囲Ｆ３における基板１０の表面１０ａを撮像する。

傾斜カメラ３１ｂ〜３１ｅは、それぞれの光軸Ａｂ〜Ａｅが鉛直方向Ｚに対して傾斜するように配置されており、斜め上方から検査範囲Ｆ３に対向する。傾斜カメラ３１ｂ〜３１ｅの光軸Ａｂ〜Ａｅが基板１０の表面１０ａと成す角度（仰角）は互いに等しく、９０度未満の鋭角となっている。一方、鉛直方向Ｚからの平面視において、４台の傾斜カメラ３１ｂ〜３１ｅの光軸Ａｂ〜Ａｅは９０度ずつ異なっている。つまり、図２の平面視において座標軸Ｘ（水平方向Ｘ）を始線として反時計回りに角度（方位角）を定義すると、傾斜カメラ３１ｂの光軸Ａｂの角度は４５度となり、傾斜カメラ３１ｃの光軸Ａｃの角度は１３５度となり、傾斜カメラ３１ｄの光軸Ａｄの角度は２２５度となり、傾斜カメラ３１ｅの光軸Ａｅの角度は３１５度となる。

さらに、検査ヘッド３は、正対カメラ３１ａの光軸Ａａを中心に同心円状に等間隔で並ぶ４台のプロジェクター３２ｂ〜３２ｅ（投影機）を有する。なお、両図では、４台のプロジェクターに互いに異なる符号３２ｂ〜３２ｅが付されているが、以下では、個々のプロジェクターを区別しない場合は共通の符号３２を適宜用いることとする。プロジェクター３２ｂ〜３２ｅのそれぞれは、光強度分布が正弦波状に変化する縞状のパターンの光（パターン光）を検査範囲Ｆ３に照射する。パターン光を構成する縞は、鉛直方向Ｚからの平面視において、４台の傾斜カメラ３１ｂ〜３２ｅそれぞれの光軸Ａｂ〜Ａｅと４５度で交差する方向に平行である。

プロジェクター３２ｂ〜３２ｅのそれぞれは、ＬＥＤ(Light Emitting
Diode)等の光源と、光源からの光を検査範囲Ｆ３へ向けて反射するデジタル・マイクロミラー・デバイスとを有している。そして、デジタル・マイクロミラー・デバイスの各マイクロミラーの角度を調整することで、互いに位相の異なる４通りのパターン光を検査範囲Ｆ３に照射できる。つまり、検査ヘッド３は、プロジェクター３２ｂ〜３２ｅから照射するパターン光の位相を変化させながらカメラ３１ａ〜３１ｅにより撮像を行うことで、位相シフト法によって検査範囲Ｆ３内の三次元形状を計測することができる。

４台のプロジェクター３２ｂ〜３２ｅは、それぞれの光軸Ｂｂ〜Ｂｅが鉛直方向Ｚに対して傾斜するように配置されて、斜め上方から検査範囲Ｆ３に対向しており、基板１０の表面１０ａ上の検査範囲Ｆ３をそれぞれの光の照射範囲に収めることができる。換言すれば、４台のプロジェクター３２ｂ〜３２ｅのパターン光の照射範囲は、基板１０の表面１０ａ上の検査範囲Ｆ３において互いに重複する。

プロジェクター３２ｂ〜３２ｅの光軸Ｂｂ〜Ｂｅが基板１０の表面１０ａと成す角度（仰角）は互いに等しく、９０度未満の鋭角となっている。一方、鉛直方向Ｚからの平面視において、４台のプロジェクター３２ｂ〜３２ｅの光軸Ｂｂ〜Ｂｅは９０度ずつ異なっている。つまり、図２の平面視において座標軸Ｘ（水平方向Ｘ）を始線として反時計回りに角度（方位角）を定義すると、プロジェクター３２ｂの光軸Ｂｂの角度は０度となり、プロジェクター３２ｃの光軸Ｂｃの角度は９０度となり、プロジェクター３２ｄの光軸Ｂｄの角度は１８０度となり、プロジェクター３２ｅの光軸Ｂｅの角度は２７０度となる。このように、円周方向に隣り合う傾斜カメラ３１ｂ〜３２ｅの間にプロジェクター３２ｂ〜３２ｅが配置されている。

図３は本発明にかかる外観検査装置を模式的に例示するブロック図である。この外観検査装置１は、制御装置１００によって搬送コンベア２、検査ヘッド３および駆動機構４を制御して、基板１０（プリント基板）に対して設定した計測領域の三次元形状を取得することにより、基板１０の外観を検査する。

搬送コンベア２は、基板１０を所定の搬送経路に沿って搬送する。具体的には、搬送コンベア２は、検査前の基板１０を外観検査装置１内の検査位置に搬入し、基板１０を検査位置で水平に保持する。これによって、平板状の基板１０の表面１０ａが水平に保持され、基板１０の表面１０ａの法線方向は鉛直方向Ｚに一致する。また、検査位置における基板１０への検査が終了すると、搬送コンベア２は、検査後の基板１０を外観検査装置１の外へ搬出する。

検査ヘッド３は、搬送コンベア２により保持される基板１０の表面１０ａに対して、鉛直方向Ｚの上側から対向する。検査ヘッド３は、上述したとおり、基板１０の表面１０ａ上の検査範囲Ｆ３にプロジェクター３２ｂ〜３２ｅからパターン光を照射しつつ、カメラ３１ａ〜３１ｅにより検査範囲Ｆ３を撮像する。駆動機構４は、検査ヘッド３を支持しつつ、モーターによって水平方向Ｘ、Ｙおよび鉛直方向Ｚへ検査ヘッド３を駆動させる。この駆動機構４の駆動によって、検査ヘッド３は、基板１０の表面１０ａに設定された計測領域を検査範囲Ｆ３内に収めることができる。

制御装置１００は、ＣＰＵ(Central Processing Unit)およびメモリーで構成された主制御部１１０を有しており、主制御部１１０が装置各部の制御を統括することで、検査が実行される。また。制御装置１００は、ディスプレイ、キーボードおよびマウス等の入出力機器で構成されたユーザーインターフェース２００を有しており、ユーザーは、ユーザーインターフェース２００を介して制御装置１００に指令を入力したり、制御装置１００による検査結果を確認したりすることができる。さらに、制御装置１００は、プロジェクター３２ｂ〜３２ｅを制御する照射制御部１２０、カメラ３１ａ〜３１ｅを制御する撮像制御部１３０、駆動機構４を制御する駆動制御部１４０、データ等を記憶する記憶部１５０、および画像処理を実行する画像処理部１６０を有する。

そして、制御装置１００は、検査ヘッド３を用いて計測領域を撮像する撮像動作と、撮像動作で取得した撮像画像に対して演算処理を施す画像処理とを実行して、基板１０を検査する。続いては、基板１０の表面１０ａに電子部品を取り付ける半田の形状を計測し、その計測結果に基づき半田の形状の良否を検査する場合を例示して、具体的な説明を行う。

図４は基板検査のために実行される画像撮像の一例を示すフローチャートである。図４のフローチャートは、主制御部１１０の制御に従って実行される。ステップＳ１０１では、主制御部１１０は、記憶部１５０に記憶された部品データＤｅに基づき、計測領域Ｒ（Ｉ）（図５）を特定する。つまり、部品データＤｅは、基板１０の表面１０ａにおける部品の位置および形状を示す。そこで、主制御部１１０は、基板１０の表面１０ａに部品を取り付ける半田の位置を部品データＤｅから求めて、当該半田を含むように計測領域を設定する。なお、基板１０の表面１０ａでは、複数の部品が取り付けられており、半田の取付箇所（パッド）が複数設けられている。これに対応して、計測領域Ｒ（Ｉ）も複数設定されることとなる。

続いて、撮像動作の対象とする計測領域Ｒ（Ｉ）を識別するための識別番号Ｉをゼロにリセットし（ステップＳ１０２）、識別番号Ｉをインクリメントする（ステップＳ１０３）。そして、識別番号Ｉが最大値Ｉｍａｘ以下であれば（ステップＳ１０４で「ＮＯ」）、駆動制御部１４０が駆動機構４により検査ヘッド３の位置を調整することで、検査ヘッド３をＩ番目の計測領域Ｒ（Ｉ）に対向させる。ここで、最大値Ｉｍａｘは、ステップＳ１０１で特定された計測領域Ｒ（Ｉ）の個数である。これによって、Ｉ番目の計測領域Ｒ（Ｉ）が検査ヘッド３の検査範囲Ｆ３内に含まれることとなる。ステップＳ１０６では、主制御部１１０がＩ番目の計測領域Ｒ（Ｉ）の向きを判定する。

図５は計測領域の向きを模式的に説明する平面図である。同図においては、矩形状のチップ部品８を例に挙げて、チップ部品８の配置方向Ｅが水平方向Ｘに平行な配置パターン１、水平方向Ｘに直交する配置パターン２、および水平方向Ｘから４５度傾いた配置パターン３をそれぞれ示す。ここで、チップ部品８の配置方向Ｅは、鉛直方向Ｚからの平面視におけるチップ部品８の長さ方向であり、図５の例ではチップ部品８の両端に設けられた端子８１、８２が並ぶ方向に一致する。図５に示すように、チップ部品８の配置方向Ｅの第１側Ｅ１では、基板１０の表面１０ａに設けられたパッド１１に端子８１が半田９１により取り付けられ、チップ部品８の配置方向Ｅの第２側Ｅ２（第１側Ｅ１の逆側）では、基板１０の表面１０ａに設けられたパッド１２に端子８２が半田９２により取り付けられている。

そして、図４のステップＳ１０６では、主制御部１１０は、計測領域Ｒ（Ｉ）が設定された半田９１、９２の斜面の向き（換言すれば、当該斜面の法線の向き）を、計測領域Ｒ（Ｉ）の向きとして判断する。具体的には、計測領域Ｒ（Ｉ）の設定対象である半田９１、９２が付着する端子８１、８２が、チップ部品８において第１側Ｅ１および第２側Ｅ２のいずれの端に位置するかを確認する。そして、第１側Ｅ１の端に位置することを確認すると、計測領域Ｒ（Ｉ）が配置方向Ｅの第１側Ｅ１を向くと判定し、第２側Ｅ２の端に位置することを確認すると、計測領域Ｒ（Ｉ）が配置方向Ｅの第２側Ｅ２を向くと判定する。

図５の具体例で示すと、「配置パターン１」の例では、計測領域Ｒ（Ｉ）が水平方向Ｘに平行な配置方向Ｅの第１側Ｅ１を向くと判定する。「配置パターン２」の例では、計測領域Ｒ（Ｉ）が水平方向Ｘに直交する配置方向Ｅの第１側Ｅ１を向くと判定する。あるいは、「配置パターン３」の例では、計測領域Ｒ（Ｉ）が水平方向Ｘから４５度傾いた配置方向Ｅの第１側Ｅ１を向くと判定する。

ステップＳ１０７では、主制御部１１０は、計測領域Ｒ（Ｉ）の向きの判定結果に基づき、当該計測領域Ｒ（Ｉ）の撮像に用いるプロジェクター３２をプロジェクター３２ｂ〜３２ｅのうちから選択する。具体的には、計測領域Ｒ（Ｉ）が向く側から当該計測領域Ｒ（Ｉ）にパターン光を照射するという照射条件を満たすプロジェクター３２を選択する。

したがって、計測領域Ｒ（Ｉ）が配置方向Ｅの第１側Ｅ１を向く場合は、第１側Ｅ１から計測領域Ｒ（Ｉ）にパターン光を照射するプロジェクター３２が選択される。ここで、第１側Ｅ１から計測領域Ｒ（Ｉ）にパターン光を照射するプロジェクター３２には、配置方向Ｅに直交する方向からの側面視において（換言すれば、配置方向Ｅにおいて）、計測領域Ｒ（Ｉ）よりも第１側Ｅ１から計測領域Ｒ（Ｉ）にパターン光を照射する全てのプロジェクター３２が該当する。

図５の具体例で示すと、「配置パターン１」の例では、水平方向Ｘに平行な配置方向Ｅにおいて、検査範囲Ｆ３内の計測領域Ｒ（Ｉ）よりも第１側Ｅ１から光を照射する１台のプロジェクター３２ｄ（図２）が選択される。「配置パターン２」の例では、水平方向Ｘに直交する配置方向Ｅにおいて、検査範囲Ｆ３内の計測領域Ｒ（Ｉ）よりも第１側Ｅ１から光を照射する１台のプロジェクター３２ｃが選択される。あるいは、「配置パターン３」の例では、水平方向Ｘから４５度傾く配置方向Ｅにおいて、検査範囲Ｆ３内の計測領域Ｒ（Ｉ）よりも第１側Ｅ１から光を照射する２台のプロジェクター３２ｃ、３２ｄが選択される。なお、ここでは、計測領域Ｒ（Ｉ）が配置方向Ｅの第１側Ｅ１を向く場合を例示して説明したが、計測領域Ｒ（Ｉ）が配置方向Ｅの第２側Ｅ２を向く場合も同様である。

続いて、ステップＳ１０７で選択されたプロジェクター３２を識別する識別番号Ｐをゼロにリセットし（ステップＳ１０８）、識別番号Ｐをインクリメントする（ステップＳ１０９）。そして、識別番号Ｐが最大値Ｐｍａｘ以下であれば（ステップＳ１１０で「ＮＯ」）、位相シフト法によって計測領域Ｒ（Ｉ）の三次元形状を計測するために必要な撮像画像を取得するステップＳ１１１〜Ｓ１１４を実行する。ここで、最大値Ｐｍａｘは、ステップＳ１０７で選択されたプロジェクター３２の個数である。

つまり、記憶部１５０には、上述した４通りのパターン光を示すパターンデータＤｐ（Ｓ）（Ｓ＝１、２、３、４）が記憶されている。そして、照射制御部１２０は、記憶部１５０から読み出したパターンデータＤｐ（Ｓ）に基づきプロジェクター３２を制御することで、パターンデータＤｐ（Ｓ）が示すパターン光をプロジェクター３２から検査範囲Ｆ３内の計測領域Ｒ（Ｉ）に照射できる。

そこで、パターン光を識別する識別番号Ｓをゼロにリセットし（ステップＳ１１１）、識別番号Ｓをインクリメントする（ステップＳ１１２）。そして、識別番号Ｓが最大値Ｓｍａｘ（＝４）以下であれば（ステップＳ１１３で「ＮＯ」）、５台のカメラ３１ａ〜３１ｅに検査範囲Ｆ３内の計測領域Ｒ（Ｉ）を撮像させて、５台のカメラ３１ａ〜３１ｅそれぞれの撮像画像を取得する（ステップＳ１１４）。なお、計測領域Ｒ（Ｉ）の撮像は、Ｐ番目の１台のプロジェクター３２のみを点灯させつつ他のプロジェクター３２を消灯させた状態で、５台のカメラ３１ａ〜３１ｅを同時に露光させて（すなわち、５台のカメラ３１ａ〜３１ｅの露光時間を同じにして）、実行される。そして、識別番号Ｓが最大値Ｓｍａｘを超えるまで（ステップＳ１１３で「ＹＥＳ」）、ステップＳ１１２〜Ｓ１１４が繰り返し実行される。これによって、識別番号Ｓをインクリメントして計測領域Ｒ（Ｉ）に照射するパターン光の位相を変更しながら、５台のカメラ３１ａ〜３１ｅによる計測領域Ｒ（Ｉ）の撮像画像を取得する（ステップＳ１１４）。

こうして、識別番号Ｐのプロジェクター３２から光を照射しつつカメラ３１ａ〜３１ｅのそれぞれで計測領域Ｒ（Ｉ）を撮像した４枚で１組の撮像画像が取得される。そこで、主制御部１１０は、撮像の際に光を照射したプロジェクター３２を識別する識別番号Ｐと、撮像を行ったカメラ３１ａ〜３１ｅを識別する識別番号Ｃとに関連付けて、計測領域Ｒ（Ｉ）の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を記憶部１５０に記憶する。

そして、識別番号Ｐが最大値Ｐｍａｘを超えるまで（ステップＳ１１０で「ＹＥＳ」）、ステップＳ１０９〜Ｓ１１４が繰り返し実行される。これによって、ステップＳ１０７で選択された全てのプロジェクター３２を用いて、計測領域Ｒ（Ｉ）の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を取得できる。識別番号Ｉが最大値Ｉｍａｘを超えるまで（ステップＳ１０４で「ＹＥＳ」）、ステップＳ１０３〜Ｓ１１４が繰り返し実行される。これによって、ステップＳ１０１で特定された全ての計測領域Ｒ（Ｉ）について撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を取得できる。こうして、図４の撮像動作を終えると、撮像動作で取得した撮像画像に対して演算処理を施す画像処理が実行される。

図６は基板検査のために実行される画像処理の一例を示すフローチャートである。図６のフローチャートは、主制御部１１０の制御に従って実行される。まず、画像処理の対象とする計測領域Ｒ（Ｉ）を識別するための識別番号Ｉをゼロにリセットし（ステップＳ２０１）、識別番号Ｉをインクリメントする（ステップＳ２０２）。そして、識別番号Ｉが最大値Ｉｍａｘ以下であれば（ステップＳ２０３で「ＮＯ」）であれば、図５を用いて上述したステップＳ１０６での手法を用いて、主制御部１１０がＩ番目の計測領域Ｒ（Ｉ）の向きを判定する（ステップＳ２０４）。

ステップＳ２０５では、主制御部１１０は、計測領域Ｒ（Ｉ）の向きの判定結果に基づき、計測領域Ｒ（Ｉ）の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）のうち、いずれの傾斜カメラ３１ｂ〜３１ｅで撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いるかを選択する。具体的には、計測領域Ｒ（Ｉ）が向く側から当該計測領域Ｒ（Ｉ）を撮像するといった撮像条件を満たす傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を選択する。

したがって、計測領域Ｒ（Ｉ）が配置方向Ｅの第１側Ｅ１を向く場合は、第１側Ｅ１から計測領域Ｒ（Ｉ）を撮像する傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）が選択される。ここで、第１側Ｅ１から計測領域Ｒ（Ｉ）を撮像する傾斜カメラ３１には、配置方向Ｅに直交する方向からの側面視において（換言すれば、配置方向Ｅにおいて）、計測領域Ｒ（Ｉ）よりも第１側Ｅ１から計測領域Ｒ（Ｉ）を撮像する全ての傾斜カメラ３１が該当する。

図５の具体例で示すと、「配置パターン１」の例では、水平方向Ｘに平行な配置方向Ｅにおいて、検査範囲Ｆ３内の計測領域Ｒ（Ｉ）よりも第１側Ｅ１から撮像する２台の傾斜カメラ３１ｃ、３１ｄのそれぞれが撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）が選択される。「配置パターン２」の例では、水平方向Ｘに直交する配置方向Ｅにおいて、検査範囲Ｆ３内の計測領域Ｒ（Ｉ）よりも第１側Ｅ１から撮像する２台の傾斜カメラ３１ｂ、３１ｃのそれぞれが撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）が選択される。あるいは、「配置パターン３」の例では、水平方向Ｘから４５度傾く配置方向Ｅにおいて、検査範囲Ｆ３内の計測領域Ｒ（Ｉ）よりも第１側Ｅ１から撮像する１台の傾斜カメラ３１ｃが選択される。なお、ここでは、計測領域Ｒ（Ｉ）が配置方向Ｅの第１側Ｅ１を向く場合を例示して説明したが、計測領域Ｒ（Ｉ）が配置方向Ｅの第２側Ｅ２を向く場合も同様である。

ステップＳ２０６では、画像処理部１６０は、ステップＳ２０５で選択した傾斜カメラ３１および正対カメラ３１それぞれの撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出する。具体的には例えば次のようにして、三次元形状Ｄｔ（Ｉ）を求めれば良い。

まず、選択した傾斜カメラ３１による計測領域Ｒ（Ｉ）の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を正対カメラ３１の座標系に変換する。そして、座標変換後の傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の画素値と、正対カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の画素値との平均を画素毎に算出する。なお、平均の算出は、撮像の際に用いたプロジェクター３２のパターン光の位相が互いに同一の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）どうしについて実行する。これによって、平均の画素値を有する平均撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）が、互いに位相の異なる４通りのパターン光について取得できる。そこで、画像処理部１６０は位相シフト法を用いて、これらの平均撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）から計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出する。

ステップＳ２０７では、画像処理部１６０は、算出した三次元形状Ｄｔ（Ｉ）に基づき、計測領域Ｒ（Ｉ）の半田９１、９２の形状の良否を判定する。そして、識別番号Ｉが最大値Ｉｍａｘを超えるまで（ステップＳ２０３で「ＹＥＳ」）、ステップＳ２０２〜Ｓ２０７が繰り返し実行される。これによって、ステップＳ１０１で特定された全ての計測領域Ｒ（Ｉ）について、三次元形状Ｄｔ（Ｉ）が求められて、良否判定が実行される。

以上に説明したように、本実施形態が備える傾斜カメラ３１ｂ〜３１ｅは、基板１０の表面１０ａの法線方向（鉛直方向Ｚ）に対して傾斜して配置されており、基板１０の表面１０ａに存在する半田９１、９２の側面を捉えるのに適している（図７）。ここで、図７は傾斜カメラが有する利点を模式的に説明する図である。つまり、基板１０の表面１０ａの法線方向（鉛直方向Ｚ）から半田９１の側面９１ａを捉える矢印Ｖ１に比べて、基板１０の表面１０ａの法線方向に対して半田９１の側面９１ａが向く側（換言すれば、側面９１ａの法線方向が向く側）に傾斜した方向から側面９１ａを捉える矢印Ｖ２の方が、半田９１の側面９１ａをより正面から的確に捉えられる。そして、本実施形態では、基板１０に対して設定された計測領域Ｒ（Ｉ）を傾斜カメラ３１ｂ〜３１ｅにより撮像した計測領域Ｒ（Ｉ）に基づき、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測する。したがって、計測領域Ｒ（Ｉ）が基板１０に存在する半田９１、９２の側面９１ａ、９２ａを含むように設定された場合であっても、半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測することが可能となっている。

また、このような傾斜カメラ３１ｂ〜３１ｅは、基板１０の表面１０ａの写り込みを抑制するのに適するといった別の利点も有する。図８は傾斜カメラが有する別の利点を模式的に説明する図である。図８の「写り込み有り」の欄に示すように、基板１０の表面１０ａの法線方向（鉛直方向Ｚ）から半田９１の側面９１ａを捉える矢印Ｖ１の場合、基板１０の表面１０ａで反射された光が、半田９１の側面９１ａで再反射されてカメラ３１に入射する。そのため、基板１０の反射面１０ｂが、半田９１の側面９１ａの撮像画像に写り込んでしまうおそれがある。これに対して、図８の「写り込み無し」の欄に示すように、基板１０の表面１０ａの法線方向に対して半田９１の側面９１ａが向く側（に傾斜した方向から側面９１ａを捉える矢印Ｖ２の場合、このような写り込みの発生を抑制できる。

さらに、複数の傾斜カメラ３１ｂ〜３１ｅが設けられている。したがって、複数の方向から傾斜カメラ３１ｂ〜３１ｅにより計測領域Ｒ（Ｉ）を撮像することができ、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

また、複数の傾斜カメラ３１ｂ〜３１ｅそれぞれの撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）のうち計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）の計測に用いる撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を、傾斜カメラ３１ｂ〜３１ｅが計測領域Ｒ（Ｉ）を撮像する方向に基づき選択する（ステップＳ２０４、Ｓ２０５）。これにより、複数の撮像方向のうち適当な撮像方向から計測領域Ｒ（Ｉ）を撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測することが可能となる。したがって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

具体的には、上記のステップＳ２０４、Ｓ２０５で示したように、基板１０の表面１０ａに半田９１、９２により取り付けられたチップ部品８の位置および外形を示す部品データＤｅを取得し、計測領域Ｒ（Ｉ）を撮像する傾斜カメラ３１ｂ〜３１ｅの撮像方向に求める撮像条件を当該部品データＤｅに応じて設定する。そして、この撮像条件を満たす方向から計測領域Ｒ（Ｉ）を撮像する傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）の計測に用いる。かかる構成では、部品データＤｅに基づき選択した撮像方向から計測領域Ｒ（Ｉ）を撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測することが可能となる。したがって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

特に、本実施形態では、計測領域Ｒ（Ｉ）は、半田９１、９２の側面９１ａ、９２ａに対して設定される。そして、半田９１、９２と当該半田９１、９２により基板１０に取り付けられるチップ部品８との位置関係を部品データＤｅから判断した結果に基づき撮像条件を設定する。かかる構成では、複数の撮像方向のうちから半田９１、９２とチップ部品８との位置関係に基づき選択した撮像方向から計測領域Ｒ（Ｉ）を撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測することが可能となる。したがって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

具体的には、計測領域Ｒ（Ｉ）の設定対象である半田９１（半田９２）が付着する端子８１（端子８２）が、基板１０の表面１０ａに平行な配置方向Ｅにおいてチップ部品８のいずれの側の端にあるかを部品データＤｅに基づき判定する（ステップＳ２０４）。そして、該当の端子８１（端子８２）が配置方向Ｅにおけるチップ部品８の第１側Ｅ１（第２側Ｅ２）の端に位置すると判定すると、計測領域Ｒ（Ｉ）よりも配置方向Ｅの第１側Ｅ１（第２側Ｅ２）から計測領域Ｒ（Ｉ）を撮像するという撮像条件を設定する。これによって、チップ部品８の端子８１（端子８２）を基板１０に取り付ける半田９１（半田９２）の側面９１ａ（側面９１ｂ）の三次元形状Ｄｔ（Ｉ）を的確に計測することが可能となる。

ところで、ステップＳ２０５の判断においては、計測領域Ｒ（Ｉ）の向きによって、当該計測領域Ｒ（Ｉ）を撮像する際の撮像条件を満たす２台の傾斜カメラ３１が存在し得る。つまり、配置方向Ｅに直交する方向Ｖにおいて計測領域Ｒ（Ｉ）を挟むように配置された２台の傾斜カメラ３１が存在する場合、当該２台の傾斜カメラ３１が撮像条件を満たすこととなる。上述の図５の具体例で示すと、「配置パターン１」の例では２台の傾斜カメラ３１ｃ、３１ｄが撮像条件を満たし、「配置パターン２」の例では２台の傾斜カメラ３１ｂ、３１ｃが撮像条件を満たす。かかる場合、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）は、２台の傾斜カメラ３１それぞれの撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測できる。

つまり、２台の傾斜カメラ３１それぞれの撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を正対カメラ３１の座標系に変換する。そして、一の傾斜カメラ３１の座標変換後の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）、他のカメラ３１の座標変換後の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）、および正対カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の画素値の平均を画素毎に算出する。この際、平均の算出は、撮像の際に用いたプロジェクター３２のパターン光の位相が互いに同一の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）どうしについて実行する。これによって、平均の画素値を有する平均撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）が、互いに位相の異なる４通りのパターン光について取得できる。そこで、位相シフト法を用いて、これらの平均撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）から計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出することができる。

さらに、これら２台の傾斜カメラ３１それぞれの露光時間を互いに重複させて、撮像を実行している。これによって、２台の傾斜カメラ３１の撮像に要する時間を短縮でき、三次元形状Ｄｔ（Ｉ）の計測を効率的に行うことが可能となっている。

ちなみに、傾斜カメラ３１には、プロジェクター３２から射出されて基板１０の表面１０ａで正反射された光が入射するおそれがある。このような正反射光は、傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）におけるハレーションの原因となる。そこで、２台の傾斜カメラ３１それぞれの撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を相補的に、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）の算出に用いても良い。つまり、一の傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）においてハレーションを起こしている部分の画素値は、例えばｎｕｌｌとして扱う等して、上記の平均演算に用いないこととする。そして、該当部分については、他の傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の画素値のみを用いる。これによって、ハレーションの影響を抑えて、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するのに有利となっている。

また、プロジェクター３２は、搬送コンベア２に保持される基板１０の表面１０ａの法線方向（鉛直方向Ｚ）に対して傾斜して配置されている。かかる構成では、基板１０の表面１０ａの法線方向に対して傾斜したプロジェクター３２によって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａにパターン光を照射することが可能となる。したがって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

さらに、複数のプロジェクター３２ｂ〜３２ｅが設けられている。したがって、傾斜して配置されたプロジェクター３２ｂ〜３２ｅからのパターン光を複数の方向から計測領域Ｒ（Ｉ）に照射することができ、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

また、複数のプロジェクター３２ｂ〜３２ｅのうちから計測領域Ｒ（Ｉ）の撮像に用いるプロジェクター３２を、プロジェクター３２が計測領域Ｒ（Ｉ）にパターン光を照射する照射方向に基づき選択する（ステップＳ１０６、Ｓ１０７）。これにより、複数の照射方向のうち適当な照射方向からパターン光を照射しつつ計測領域Ｒ（Ｉ）を撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測することが可能となる。したがって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

具体的には、上記ステップＳ１０６、Ｓ１０７で示したように、基板１０の表面１０ａに半田９１、９２により取り付けられたチップ部品８の位置および外形を示す部品データＤｅを取得し、計測領域Ｒ（Ｉ）にパターン光を照射するプロジェクター３２のパターン光の照射方向に求める照射条件を当該部品データＤｅに応じて設定する。そして、この照射条件を満たす方向から計測領域Ｒ（Ｉ）にパターン光を照射するプロジェクター３２を点灯させつつ計測領域Ｒ（Ｉ）を撮像する。かかる構成では、部品データＤｅに基づき選択した照射方向からパターン光を照射しつつ計測領域Ｒ（Ｉ）を撮像した撮像画像Ｄｓ（Ｉ，Ｐ、Ｃ）を用いて計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測することが可能となる。したがって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

特に、本実施形態では、計測領域Ｒ（Ｉ）は、半田９１、９２の側面９１ａ、９２ａに対して設定される。そして、半田９１、９２と当該半田９１、９２により基板１０に取り付けられるチップ部品８との位置関係を部品データＤｅから判断した結果に基づき照射条件を設定する。かかる構成では、複数の照射方向のうちから半田９１、９２とチップ部品８との位置関係に基づき選択した照射方向から光を照射しつつ計測領域Ｒ（Ｉ）を撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測することが可能となる。したがって、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するにあって有利となっている。

具体的には、計測領域Ｒ（Ｉ）の設定対象である半田９１（半田９２）が付着する端子８１（端子８２）が、基板１０の表面１０ａに平行な配置方向Ｅにおいてチップ部品８のいずれの側の端にあるかを部品データＤｅに基づき判定する（ステップＳ１０６）。そして、該当の端子８１（端子８２）が配置方向Ｅにおけるチップ部品８の第１側Ｅ１（第２側Ｅ２）の端に位置すると判定すると、計測領域Ｒ（Ｉ）よりも配置方向Ｅの第１側Ｅ１（第２側Ｅ２）から計測領域Ｒ（Ｉ）にパターン光を照射するという照射条件を設定する。これによって、チップ部品８の端子８１（端子８２）を基板１０に取り付ける半田９１（半田９２）の側面９１ａ（側面９１ｂ）の三次元形状Ｄｔ（Ｉ）を的確に計測することが可能となる。

ところで、ステップＳ１０７の判断においては、計測領域Ｒ（Ｉ）の向きによって、当該計測領域Ｒ（Ｉ）にパターン光を照射する際の照射条件を満たす２台のプロジェクター３２が存在し得る。つまり、配置方向Ｅに直交する方向Ｖにおいて計測領域Ｒ（Ｉ）を挟むように配置された２台のプロジェクター３２が存在する場合、当該２台のプロジェクター３２が照射条件を満たすこととなる。上述の図５の具体例で示すと、「配置パターン３」の例では２台のプロジェクター３２ｃ、３２ｄが照射条件を満たす。かかる場合、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）は、２台のプロジェクター３２を順番に点灯させて撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測できる。

つまり、一のプロジェクター３２を点灯させて撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）、および他のプロジェクター３２を点灯させて撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の画素値の平均を画素毎に算出する。なお、平均の算出は、撮像の際に用いたプロジェクター３２のパターン光の位相が互いに同一の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）どうしについて実行する。こうして、平均の画素値を有する平均撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）が、互いに位相の異なる４通りのパターン光について取得できる。そこで、位相シフト法を用いて、これらの平均撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）から計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出することができる。

また、かかる構成は、上述したハレーションの影響を抑えるのに応用することもできる。つまり、一のプロジェクター３２を用いて撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）においてハレーションを起こしている部分の画素値は、例えばｎｕｌｌとして扱う等して、上記の平均演算に用いないこととする。そして、該当部分については、他のプロジェクター３２を用いて撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の画素値のみを用いる。これによって、ハレーションの影響を抑えて、基板１０の表面１０ａに存在する半田９１、９２の側面９１ａ、９２ａの三次元形状Ｄｔ（Ｉ）を的確に計測するのに有利となっている。

また、４台の傾斜カメラ３１ｂ〜３１ｅは、基板１０の表面１０ａの法線を中心に９０度のピッチで円周状に配列されている。また、プロジェクター３２は、基板１０の表面１０ａの法線方向（鉛直方向Ｚ）からの平面視において、４台の傾斜カメラ３１ｂ〜３１ｅそれぞれの光軸Ａｂ〜Ａｅと４５度で交差する方向に平行な縞からなるパターン光を計測領域Ｒ（Ｉ）に照射する。そして、プロジェクター３２から計測領域Ｒ（Ｉ）にパターン光を照射しつつ、４台の傾斜カメラ３１ｂ〜３１ｅの露光時間を互いに重複させて計測領域Ｒ（Ｉ）を撮像した結果に基づき、位相シフト法を用いて計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測する。これによって、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）の計測に必要となる撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の撮像に要する時間の短縮を図ることができ、三次元形状Ｄｔ（Ｉ）の計測を効率的に行うことが可能となっている。

また、正対カメラ３１ａおよび傾斜カメラ３１ｂ〜３１ｅが設けられており、それぞれの撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測していた。これによって、より精度の高い計測が可能となっている。

このように本実施形態では、外観検査装置１が本発明の「外観検査装置」の一例に相当し、搬送コンベア２が本発明の「基板保持部」の一例に相当し、プロジェクター３２ｂ〜３２ｅのそれぞれが本発明の「プロジェクター」の一例に相当し、傾斜カメラ３１ｂ〜３１ｅのそれぞれが本発明の「傾斜カメラ」の一例に相当し、正対カメラ３１ａが本発明の「正対カメラ」の一例に相当し、制御装置１００が本発明の「制御部」の一例に相当し、計測領域Ｒ（Ｉ）が本発明の「計測領域」の一例に相当し、部品データＤｅが本発明の「部品データ」の一例に相当し、チップ部品８が本発明の「部品」あるいは「チップ部品」の一例に相当し、端子８１、８２が本発明の「端子」の一例に相当し、半田９１、９２が本発明の「半田」の一例に相当し、配置方向Ｅが本発明の「特定方向」の一例に相当する。

なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、計測領域Ｒ（Ｉ）の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）から当該計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出する具体的手法は上記の例に限られず、従来の手法を適宜用いることができる。

また、ステップＳ２０５の判断において撮像条件を満たす２台の傾斜カメラ３１が存在する場合は、当該２台の傾斜カメラ３１両方の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出していた。しかしながら、２台の傾斜カメラ３１のうちから選択した１台の傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出しても構わない。

また、ステップＳ１０７の判断において照射条件を満たす２台のプロジェクター３２が存在する場合は、当該２台のプロジェクター３２それぞれを点灯させて撮像した撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出していた。しかしながら、２台のプロジェクター３２のうちから選択した１台のプロジェクター３２を点灯させて撮像したＤｓ（Ｉ、Ｐ、Ｃ）を用いて、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出しても構わない。

また、正対カメラ３１ａを備えた外観検査装置１に対して本発明を適用した場合について説明を行った。しかしながら、正対カメラ３１ａを具備しない外観検査装置１に対しても本発明を適用可能である。

また、ステップＳ１１４でのパターンの撮像では、計測領域Ｒ（Ｉ）の向きに拘わらず全ての傾斜カメラ３１ｂ〜３１ｅを点灯させていた。しかしながら、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）の算出に用いるのは、計測領域Ｒ（Ｉ）に対して所定の位置関係、すなわち撮像条件を満たす傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）のみである。そこで、ステップＳ１０６における計測領域Ｒ（Ｉ）の向きの判定結果に基づき、撮像条件を満たす傾斜カメラ３１を特定し、ステップＳ１１４では、こうして特定された傾斜カメラ３１のみを撮像に用いても良い。

また、検査範囲Ｆ３に複数の計測領域Ｒ（Ｉ）を含みつつ、各計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を計測するように構成しても構わない。かかる構成においても、各計測領域Ｒ（Ｉ）について撮像条件を求めて、当該撮像条件を満たす傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を用いて各計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を算出すれば良い。

さらに、かかる構成では、２台以上の傾斜カメラ３１の露光時間を互いに重複させて、当該２台以上の傾斜カメラ３１に撮像を実行させても良い。この場合、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）の算出に用いる撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）を、当該２台以上の傾斜カメラ３１の撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）のうちから選択することで、適切な撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）により三次元形状Ｄｔ（Ｉ）を算出できる。しかも、計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）の算出に必要となる撮像画像Ｄｓ（Ｉ、Ｐ、Ｃ）の撮像に要する時間の短縮も図ることができ、三次元形状Ｄｔ（Ｉ）の計測を効率的に行うことが可能となる。

また、計測した三次元形状Ｄｔ（Ｉ）を点群データとして記憶部１５０に保持するように構成しても良い。これによって、ユーザーインターフェース２００の画面上で計測領域Ｒ（Ｉ）の三次元形状Ｄｔ（Ｉ）を映し出す視線を変えるといった人の画像処理を施しつつ、ユーザーが基板１０の検査を実行することが可能となる。

また、チップ部品８を基板１０に接合する半田９１、９２の検査に本発明を適用した場合を例示した。しかしながら、チップ部品８とは異なる種類の部品（例えばリード部品）を基板１０に接続する半田９１、９２の検査に本発明を適用することもできる。

さらに言えば、多種多様な部品が混在する基板１０の検査に対しては、本発明を適用することが好適となる。図９は異なる種類の部品が混在する基板を検査する様子を模式的に示す図である。図９の例では、鉛直方向Ｚからの平面視において、部品８Ａが部品８Ｂに隠れている。したがって、正対カメラ３１ａのみでは、部品８Ａの取付状態を検査することはできない。これに対して、上記の実施形態に示した構成では、図９において一点鎖線矢印で示す方向から撮像を行う傾斜カメラ３１で部品８Ａを撮像することで、部品８Ａの取付状態も検査することが可能となる。

また、上記では、半田の形状を検査する場合について主に説明した。しかしながら、検査の対象は半田に限られず、基板１０の表面１０ａに存在する各種物体が検査の対象となり得る。

以上、具体的な実施形態を例示して説明してきたように、本発明では例えば、少なくとも２台の傾斜カメラは、基板の表面の法線方向からの平面視において互いに異なる方向を向くとともに、それぞれの視野が基板の表面の検査範囲において互いに重複し、制御部は、複数の傾斜カメラの視野が重複する検査範囲内に計測領域を設定するように、外観検査装置を構成しても良い。かかる構成は、複数の方向から傾斜カメラにより計測領域を撮像することができ、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利である。

また、制御部は、複数の傾斜カメラそれぞれの撮像画像のうち計測領域の三次元形状の計測に用いる撮像画像を、傾斜カメラが計測領域を撮像する方向に基づき選択するように、外観検査装置を構成しても良い。これにより、複数の撮像方向のうち適当な撮像方向から計測領域を撮像した撮像画像を用いて計測領域の三次元形状を計測することが可能となる。したがって、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利である。

具体的には、制御部は、基板の表面に半田により取り付けられた部品の位置および外形を示す部品データを取得し、計測領域を撮像する傾斜カメラの撮像方向に求める撮像条件を当該部品データに応じて設定し、撮像条件を満たす方向から計測領域を撮像する傾斜カメラの撮像画像を計測領域の三次元形状の計測に用いるように、外観検査装置を構成しても良い。かかる構成では、複数の撮像方向のうちから部品の位置および外形に基づき選択した撮像方向から計測領域を撮像した撮像画像を用いて計測領域の三次元形状を計測することが可能となる。したがって、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利となる。

また、制御部は、半田の表面に対して計測領域を設定し、半田と、基板に取り付けられる部品との位置関係を部品データから判断した結果に基づき撮像条件を設定するように、外観検査装置を構成しても良い。かかる構成では、複数の撮像方向のうちから半田と部品との位置関係に基づき選択した撮像方向から計測領域を撮像した撮像画像を用いて計測領域の三次元形状を計測することが可能となる。したがって、基板の表面に存在する半田の側面の三次元形状を的確に計測するにあって有利となる。

具体的には、例えば部品が端子を有するチップ部品を含む場合には、制御部は、部品データから、計測領域の設定対象である半田が付着する端子が、基板の表面に平行な特定方向におけるチップ部品の第１側の端に位置すると判断すると、計測領域の第１側から計測領域を撮像するという撮像条件を設定するように、外観検査装置を構成しても良い。これによって、チップ部品の端子を基板に取り付ける半田の側面の三次元形状を的確に計測することが可能となる。

また、少なくとも２台の傾斜カメラは、基板の表面に平行で特定方向に直交する方向において計測領域を挟むように配置されて計測領域を撮像し、制御部は、撮像条件を満たす撮像画像を計測領域の三次元形状の計測に用いるように、外観検査装置を構成しても良い。かかる構成では、異なる方向から２台の傾斜カメラが計測領域を撮像した撮像画像に基づき計測領域の三次元形状を計測できる。その結果、２台の傾斜カメラの撮像画像を相補的に用いて、計測領域の三次元形状を計測できる。具体的には、例えば一方の傾斜カメラの撮像画像の一部分がハレーションを起こしていても、当該一部分を他方の傾斜カメラの撮像画像により補うことができる。したがって、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利となる。

また、制御部は、基板の表面に平行で特定方向に直交する方向において計測領域を挟むように配置された少なくとも２台の傾斜カメラのそれぞれの露光時間を互いに重複させて撮像を実行させるように、外観検査装置を構成しても良い。これによって、２台の傾斜カメラの撮像に要する時間を短縮でき、三次元形状の計測を効率的に行うことが可能となる。

また、制御部は、複数の計測領域を設定し、複数の傾斜カメラのうち少なくとも２台の傾斜カメラに露光時間を互いに重複させて撮像を実行させ、複数の計測領域のそれぞれについて、計測領域の三次元形状の計測に用いる撮像画像を露光時間を互いに重複させた傾斜カメラの撮像画像のうちから選択するように、外観検査装置を構成しても良い。これによって、計測領域の三次元形状の計測に必要となる撮像画像の撮像に要する時間の短縮を図ることができ、三次元形状の計測を効率的に行うことが可能となる。

また、プロジェクターは、基板保持部に保持される基板の表面の法線方向に対して傾斜して配置されるように、外観検査装置を構成しても良い。かかる構成では、基板の表面の法線方向に対して傾斜したプロジェクターによって、基板の表面に存在する物体の側面に光を照射することが可能となる。したがって、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利である。

また、基板の表面の法線方向からの平面視において互いに異なる方向を向くとともに、それぞれの光の照射範囲が基板の表面において互いに重複する複数のプロジェクターを備えるように、外観検査装置を構成しても良い。かかる構成では、傾斜して配置されたプロジェクターからの光を複数の方向から計測領域に照射することができ、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利である。

また、複数のプロジェクターのうちから計測領域の撮像に用いるプロジェクターを、プロジェクターが計測領域に光を照射する照射方向に基づき選択するように、外観検査装置を構成しても良い。これにより、複数の照射方向のうち適当な照射方向から光を照射しつつ計測領域を撮像した撮像画像を用いて計測領域の三次元形状を計測することが可能となる。したがって、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利である。

具体的には、制御部は、基板の表面に半田により取り付けられた部品の位置および外形を示す部品データを取得し、計測領域に光を照射するプロジェクターの光の照射方向に求める照射条件を当該部品データに応じて設定し、照射条件を満たす方向から計測領域に光を照射するプロジェクターを点灯させつつ傾斜カメラに計測領域を撮像させるように、外観検査装置を構成しても良い。かかる構成では、複数の照射方向のうちから部品の位置および外形に基づき選択した照射方向から光を照射しつつ計測領域を撮像した撮像画像を用いて計測領域の三次元形状を計測することが可能となる。したがって、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利となる。

また、制御部は、半田の表面に対して計測領域を設定し、半田と、基板に取り付けられる部品との位置関係を部品データから判断した結果に基づき照射条件を設定するように、外観検査装置を構成しても良い。かかる構成では、複数の照射方向のうちから半田と部品との位置関係に基づき選択した照射方向から光を照射しつつ計測領域を撮像した撮像画像を用いて計測領域の三次元形状を計測することが可能となる。したがって、基板の表面に存在する半田の側面の三次元形状を的確に計測するにあって有利となる。

具体的には、例えば部品が端子を有するチップ部品を含む場合には、制御部は、部品データから、計測領域の設定対象である半田が付着する端子が、基板の表面に平行な特定方向におけるチップ部品の第１側の端に位置すると判断すると、計測領域の第１側から計測領域に光を照射するという照射条件を設定するように、外観検査装置を構成しても良い。かかる構成は、チップ部品の端子を基板に取り付ける半田の側面の三次元形状を的確に計測するにあたって有利である。

また、少なくとも２台のプロジェクターは、基板の表面に平行で特定方向に直交する方向において計測領域を挟むように配置され、制御部は、少なくとも２台のプロジェクターを順番に点灯させて計測領域を撮像するように、外観検査装置を構成しても良い。かかる構成では、異なる方向から光を照射する２台のプロジェクターを順番に点灯させつつ撮像した撮像画像に基づき計測領域の三次元形状を計測できる。その結果、一方のプロジェクターを点灯させて撮像した撮像画像と、他方のプロジェクターを点灯させて撮像した撮像画像とを相補的に用いて、計測領域の三次元形状を計測できる。具体的には、一方のプロジェクターを点灯させた際の撮像画像の一部分がハレーションを起こしていても、当該一部分を他のプロジェクターを点灯させた際の撮像画像により補うことができる。したがって、基板の表面に存在する物体の側面の三次元形状を的確に計測するにあって有利となる。

また、複数の傾斜カメラは、基板の表面の法線を中心に９０度のピッチで円周状に配列された少なくとも４台の傾斜カメラを含み、プロジェクターは、基板の表面の法線方向からの平面視において、４台の傾斜カメラそれぞれの光軸と４５度で交差する方向に平行な縞からなるパターンの光を計測領域に照射し、制御部は、プロジェクターから計測領域に光を照射しつつ４台の傾斜カメラの露光時間を互いに重複させて計測領域を撮像した結果に基づき、計測領域の三次元形状を計測するように、外観検査装置を構成しても良い。これによって、計測領域の三次元形状の計測に必要となる撮像画像の撮像に要する時間の短縮を図ることができ、三次元形状の計測を効率的に行うことが可能となる。

また、基板の表面の法線方向を向くとともに、基板の表面において複数の傾斜カメラの視野と重複する視野を有する正対カメラをさらに備え、制御部は、計測領域にプロジェクターから光を照射しつつ計測領域を正対カメラで撮像した撮像画像と、傾斜カメラにより撮像した撮像画像とに基づき、計測領域の三次元形状を計測するように、外観検査装置を構成しても良い。このように正対カメラおよび傾斜カメラそれぞれの撮像画像を用いて計測領域の三次元形状を計測することで、より精度の高い計測が可能となる。

この際、制御部は、傾斜カメラで撮像した撮像画像を正対カメラの座標系に変換した画像と、正対カメラが撮像した撮像画像とに基づき、各画素における計測領域の高さを決定することで、計測領域の三次元形状を計測するように、外観検査装置を構成しても良い。

また、制御部は、計測した計測領域の三次元形状を点群データとして保持するように、外観検査装置を構成しても良い。これによって、計測領域の三次元形状の視線を変えるといった任意の画像処理を施しつつ検査を行うことが可能となる。

さらに、カメラ３１およびプロジェクター３２それぞれの個数や配置についても、適宜変更が可能である。

１…外観検査装置
１０…基板
２…搬送コンベア（基板保持部）
３１ａ…正対カメラ
３１ｂ〜３１ｅ…傾斜カメラ
３２ｂ〜３２ｅ…プロジェクター
８…チップ部品
８１、８２…端子
９１、９２…半田
１００…制御装置（制御部）
Ｒ（Ｉ）…計測領域
Ｄｅ…部品データ
Ｅ…配置方向（特定方向）
Ｅ１…第１側
Ｅ２…第２側
Ｖ…配置方向に直交する方向
Ｆ３…検査範囲
Ｚ…鉛直方向（基板の法線方向）
Ｄｓ（Ｉ、Ｐ、Ｃ）…撮像画像

Claims (13)

1. 基板を保持する基板保持部と、
   前記基板保持部に保持される前記基板の表面の法線方向に対して傾斜して配置されて、前記基板に向けて光を照射する複数のプロジェクターと、
   前記基板保持部に保持される前記基板の表面の法線方向に対して傾斜して配置され、前記基板の表面の法線方向からの平面視において互いに異なる方向を向くとともに、それぞれの視野が前記基板の表面の検査範囲において互いに重複する複数の傾斜カメラと、
   前記複数の傾斜カメラの視野が重複する検査範囲内に設定した計測領域に前記プロジェクターから光を照射しつつ前記計測領域を前記傾斜カメラにより撮像した撮像画像に基づき、前記計測領域の三次元形状を計測する制御部と
   を備え、
   前記複数のプロジェクターは、前記基板の表面の法線方向からの平面視において互いに異なる方向を向くとともに、それぞれの光の照射範囲が前記基板の表面において互いに重複し、
   前記複数のプロジェクターのうちから、前記プロジェクターが前記計測領域に光を照射する照射方向に基づき選択された前記プロジェクターが前記計測領域の撮像に用いられ、
   前記制御部は、前記基板の表面に半田により取り付けられた部品の位置および外形を示す部品データを取得し、前記計測領域を撮像する前記傾斜カメラの撮像方向に求める撮像条件を当該部品データに応じて設定し、前記複数の傾斜カメラそれぞれの前記撮像画像のうち前記撮像条件を満たす方向から前記計測領域を撮像する前記傾斜カメラの前記撮像画像を選択して、前記計測領域の三次元形状の計測に用いる外観検査装置。
2. 前記制御部は、前記半田の表面に対して前記計測領域を設定し、前記半田と、前記基板に取り付けられる前記部品との位置関係を前記部品データから判断した結果に基づき前記撮像条件を設定する請求項１に記載の外観検査装置。
3. 前記部品は、端子を有するチップ部品を含み、
   前記制御部は、前記部品データから、前記計測領域の設定対象である前記半田が付着する前記端子が、前記基板の表面に平行な特定方向における前記チップ部品の第１側の端に位置すると判断すると、前記計測領域の第１側から前記計測領域を撮像するという前記撮像条件を設定する請求項２に記載の外観検査装置。
4. 少なくとも２台の前記傾斜カメラは、前記基板の表面に平行で前記特定方向に直交する方向において前記計測領域を挟むように配置されて前記計測領域を撮像し、
   前記制御部は、前記撮像条件を満たす前記撮像画像を前記計測領域の三次元形状の計測に用いる請求項３に記載の外観検査装置。
5. 前記制御部は、前記基板の表面に平行で前記特定方向に直交する方向において前記計測領域を挟むように配置された少なくとも２台の前記傾斜カメラのそれぞれの露光時間を互いに重複させて撮像を実行させる請求項４に記載の外観検査装置。
6. 前記制御部は、複数の前記計測領域を設定し、前記複数の傾斜カメラのうち少なくとも２台の傾斜カメラに露光時間を互いに重複させて撮像を実行させ、前記複数の計測領域のそれぞれについて、前記計測領域の三次元形状の計測に用いる前記撮像画像を露光時間を互いに重複させた前記傾斜カメラの前記撮像画像のうちから選択する請求項１ないし５のいずれか一項に記載の外観検査装置。
7. 前記制御部は、前記基板の表面に半田により取り付けられた部品の位置および外形を示す部品データを取得し、前記計測領域に光を照射する前記プロジェクターの光の照射方向に求める照射条件を当該部品データに応じて設定し、前記照射条件を満たす方向から前記計測領域に光を照射する前記プロジェクターを点灯させつつ前記傾斜カメラに前記計測領域を撮像させる請求項１ないし６のいずれか一項に記載の外観検査装置。
8. 前記制御部は、前記半田の表面に対して前記計測領域を設定し、前記半田と、前記基板に取り付けられる前記部品との位置関係を前記部品データから判断した結果に基づき前記照射条件を設定する請求項７に記載の外観検査装置。
9. 前記部品は、端子を有するチップ部品を含み、
   前記制御部は、前記部品データから、前記計測領域の設定対象である前記半田が付着する前記端子が、前記基板の表面に平行な特定方向における前記チップ部品の第１側の端に位置すると判断すると、前記計測領域の第１側から前記計測領域に光を照射するという前記照射条件を設定する請求項８に記載の外観検査装置。
10. 少なくとも２台の前記プロジェクターは、前記基板の表面に平行で前記特定方向に直交する方向において前記計測領域を挟むように配置され、
    前記制御部は、少なくとも２台の前記プロジェクターを順番に点灯させて前記計測領域を撮像する請求項９に記載の外観検査装置。
11. 前記基板の表面の法線方向を向くとともに、前記基板の表面において前記複数の傾斜カメラの視野と重複する視野を有する正対カメラをさらに備え、
    前記制御部は、前記計測領域に前記プロジェクターから光を照射しつつ前記計測領域を前記正対カメラで撮像した撮像画像と、前記傾斜カメラにより撮像した前記撮像画像とに基づき、前記計測領域の三次元形状を計測する請求項１ないし１０のいずれか一項に記載の外観検査装置。
12. 前記制御部は、前記傾斜カメラで撮像した前記撮像画像を前記正対カメラの座標系に変換した画像と、前記正対カメラが撮像した前記撮像画像とに基づき、各画素における前記計測領域の高さを決定することで、前記計測領域の三次元形状を計測する請求項１１に記載の外観検査装置。
13. 前記制御部は、計測した前記計測領域の三次元形状を点群データとして保持する請求項１ないし１２のいずれか一項に記載の外観検査装置。

Images