JP6848385B2 - 三次元形状計測装置 - Google Patents

Description

本発明は、三次元形状の計測装置、特に計測対象の高さ情報を取得可能な三次元形状計測装置に関する。

従来から、画像を用いて物体の三次元形状を計測する技術として、計測対象にプロジェクタ等の投影手段から周期性を有するパターンを投影し、該パターンが投影された状態の計測対象をカメラ等の撮影手段により撮影して、撮影された二次元画像を用いて計測対象の立体的形状を求める、位相シフト法が知られている。具体的には、撮影された画像において計測対象表面の形状（凹凸など）に依存して生じるパターンの歪みを解析することで、計測対象の三次元形状を計測する。

ところで、上記の方法においては、検査対象の表面の形状に起因して、パターンが遮られて影が生じ、そのために立体的形状を計測できない場合があるという問題がある。

このような問題に対して、計測対象に対して異なる方向からパターンを投影するように複数の投影手段を配置し、影になる領域を減少させる技術が提示されている（例えば特許文献１、２）。

特開２０１５−１３８１号公報 特開２０１５−２１７６３号公報

しかしながら、従来技術のように装置に投影手段を配置する方法では、影になる領域を十分に減少させるには多数の投影手段を配置する必要があり、これによって計測装置全体が大型化し、コストも増大してしまう。

また、多くの投影手段を配置しようとしても、投影手段同士の物理的な干渉を避けることはできず、全方位から計測対象にパターンを投影することができるだけの投影手段を配置することは不可能であるため、影が生じる領域を十分に減少させることはできない。

本発明は、上記のような実情に鑑みてなされたものであり、その目的とするところは、パターンの投影によって物体の三次元形状の計測を行う際に、投影手段の数を増やさなくとも影となる領域が生じることを抑止できる技術を提供することにある。

前記の目的を達成するために、本発明は以下の構成を採用する。

本発明に係る三次元形状計測装置は、計測対象に対してパターンを投影する投影手段と、前記パターンが投影された前記計測対象を撮影する撮影手段と、前記撮影手段により取得された画像を処理することで、検査対象の三次元形状を計測する計測手段と、前記投影手段を移動させる移動手段と、を有する構成とした。

このような構成により、所定の位置からのパターンの投影で影になる領域が生じた場合
であっても、当該影の領域にパターンが投影されるように投影手段を移動させることによって、当該領域にもパターンが投影された状態で計測対象を撮影することが可能になる。そのために、前記移動手段は、前記撮影手段が、前記計測手段が前記計測対象の三次元形状を計測することが可能なパターンを撮影し得る位置まで、前記投影手段を移動させるものであるとよい。

また、前記移動手段は、前記投影手段を、前記計測対象を内部に含んだ円周上において回転移動させるものであってもよい。このような構成であれば、特に前記計測対象が円の中心付近に位置する場合には、前記撮影手段と前記計測対象との距離の変動を抑えて前記撮影手段を移動させることが可能になる。このため、パターンの焦点を前記計測対象に概ね維持したまま前記計測対象に対するパターンの入射角を変えて影になっていた領域にもパターンを投影することが可能になる。

また、前記三次元形状計測装置は前記画像投影手段を複数有していてもよい。このような構成であると、同時に複数のパターンを前記計測対象に投影することが可能となり、より効率的に計測対象の三次元形状を計測することができる。

また、前記移動手段は、軸方向に開口する中空部を有する円筒状の回転機構であって、前記計測対象の上方に該開口が位置するように配置され、前記撮影手段は、前記計測対象に対して垂直な方向から、前記円筒状の回転機構の開口を通じて、前記計測対象を撮影するものであってもよい。このような構成であると、装置全体の小型化を図りつつ、前記計測対象を直上から撮影することが可能になる。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する三次元形状計測装置として捉えることができる。また、本発明は、かかる三次元形状計測装置を備える検査装置や３次元スキャナや物体認識装置として捉えることもできる。

本発明によれば、パターンの投影によって物体の三次元形状の計測を行う際に、投影手段の数を増やさなくとも、影となる領域が生じることを抑止できる技術を提供することができる。

図１は本発明の第１の実施例に係る三次元形状計測装置のハードウェア構成を示す模式図である。 図２は本発明の第１の実施例に係る三次元形状計測装置の撮影手段、投影手段および移動手段と、計測対象物との配置関係を表す概略図である。 図３は移動手段の内部構造を表す概略図である。 図４は本発明の第１の実施例に係る三次元形状計測装置の計測手段の機能を示すブロック図である。 図５は本発明の第１の実施例に係る三次元形状計測処理の手順を示すフローチャートである。 図６は本発明の第１の実施例に係る三次元形状計測装置の第１の変形例を示す概略図である。 図７は本発明の第１の実施例に係る三次元形状計測装置の第２の変形例を示す概略図である。 図８は本発明の第２の実施例に係る基板外観検査装置を示す概略図である。 図９は移動手段および照明手段の内部構造を表す概略図である。 図１０は本発明の第２の実施例に係る基板外観検査装置の主な機能を示すブロック図である。 図１１は本発明の第２の実施例に係る基板外観検査装置の検査手順を示すフローチャートである。

以下に図面を参照して、この発明を実施するための形態を、実施例に基づいて例示的に詳しく説明する。ただし、この実施例に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜実施例１＞
（三次元形状計測装置の構成）
まず、図１〜図３を用いて、本実施例に係る三次元形状計測装置１の構成例を説明する。図１は本実施例に係る三次元形状計測装置１のハードウェア構成を示す模式図、図２は第１の実施例に係る三次元形状計測装置の撮影手段、投影手段および移動手段と、計測対象物との配置関係を表す概略図である。図３は、移動手段１３の内部構造を示す概略図である。

図１が表すように、本実施例に係る三次元形状計測装置１は、主な構成として投影手段としてのプロジェクタ１０、撮影手段としてのカメラ１１、計測手段としての制御装置１２（例えばコンピュータ）、移動手段としての移動機構１３を有している。

プロジェクタ１０は、計測対象に対してパターンを投影する手段である。ここで、パターンとは、例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。このパターンにより、計測対象の三次元形状を計測する処理については公知であるので詳細な説明は割愛する。なお、プロジェクタ１０の数は本実施例のように１つであってもよいし、２つ以上であってもよい。

カメラ１１は、パターンが投影された状態の計測対象を撮影し、デジタル画像を出力する手段である。カメラ１１は例えば、光学系とイメージセンサを有して構成される。三次元形状の計測を行う際は、プロジェクタ１０から投影するパターンの位相を変えながら、複数枚の画像を取り込む。

図２及び図３に示すように、本実施例においては、カメラ１１は、移動機構１３の一部である中空円筒状の回転機構１３１の中空部分に収まっており、同じく移動機構１３の一部である基準板１３２の中央部に設けられた円形の開口を通して計測対象物Ｏを撮影する。即ち、本実施例では、計測時には計測対象物Ｏがカメラ１１の真下に位置するように配置される。
なお、本明細書では、撮影手段によって撮影された画像を「観測画像」という。

制御装置１２は、プロジェクタ１０、カメラ１１及び後述する移動機構１３の制御、カメラ１１から取り込まれた画像に対する処理、三次元形状の計測などの機能を有しており、特許請求の範囲における計測手段に該当する。制御装置１２は、ＣＰＵ（プロセッサ）、メモリ、不揮発性の記憶装置（例えば、ハードディスクやフラッシュメモリ）、入力装置（例えば、キーボード、マウス、タッチパネルなど）、表示装置（例えば、液晶ディスプレイなど）を備えるコンピュータにより構成することができる。後述する制御装置１２の機能は、不揮発性の記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することにより実現することができる。ただし、制御装置１２の機能の全部又は一部を、専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置１２の機能を複数のコンピュータの協働により実現しても構わない。

移動機構１３はプロジェクタ１０を、計測対象物Ｏに対して相対的に移動させる手段である。図２及び図３に示すように、本実施例における移動機構１３は、モータ（図示せず）によって駆動される中空円筒状の回転機構１３１と、該回転機構１３１に組み付けられてプロジェクタ１０を支持する基準板１３２と、を備えている。回転機構１３１は、筐体１３１ａと回転体１３１ｂからなり、筐体１３１ａの上部が三次元形状計測装置１のフレーム１４に固定されている。

回転機構１３１は、例えばギアによってモータの回転が伝達されることにより、Ｚ軸方向に延びる回転軸を中心として３６０度の範囲内で回転体１３１ｂが回転するように構成されている。この回転体１３１ｂが回転すると、回転機構１３１に組み付けられた基準板１３２も回転し、これによって基準板１３２に係止されているプロジェクタ１０は、円筒状の回転機構１３１の回転軸を中心とした円周上を回転移動することになる。すなわち、回転機構１３１の回転軸と同軸上に計測対象物Ｏが配置されている場合、プロジェクタ１０は計測対象物Ｏを中心として、ＸＹ軸により定義される平面上を回転移動する。

（制御部の機能）
続いて、図４に基づいて制御装置１２の三次元形状計測に関わる機能を説明する。制御装置１２は、三次元形状計測に関わる機能として、画像取得部２０、三次元形状計測部２１、投影手段位置制御部２２、影領域判定部２３を有している。

画像取得部２０はカメラ１１から三次元形状計測に用いる複数の観測画像を取り込む機能であり、例えば計測対象物Ｏに投影されるパターンの位相が４分の１πずつ異なる画像４枚を取得する。

三次元形状計測部２１は取得された複数の観測画像に基づいて、計測対象物Ｏの三次元形状を算出する機能である。本実施例では、取得した４枚の画像間における計測対象物Ｏの表面上の一点の位置を表す画素の二次元の位相差に基づいて、当該点の三次元位置を求め、取得された二次元画像から計測対象物Ｏの三次元形状を計測する。

投影手段位置制御部２２は、入力された投影手段位置情報に基づいて、当該位置に投影手段を移動させるように移動機構１３を制御するための信号を出力する。本実施例では、ユーザーが入力装置を用いて任意の投影手段位置情報を入力すると、プロジェクタ１０を当該位置に移動させるように回転機構１３１を駆動させるための信号を出力する。なお、投影手段位置情報は、特定の位置を基準点とした絶対値であってもよいし、位置情報入力時点のプロジェクタ１０の位置を基準として、相対的な位置を示す値であってもよい。

影領域判定部２３は、画像取得部２０によって取得された観測画像にパターンの投影されていない影の領域が存在するか否かを判定する機能である。判定のための基準は特に限定されず、例えば、観測画像の輝度値に対して所定の閾値を基準として設定しておき、観測画像の輝度値が該閾値を下回る部分があればそれを影の領域であると判定するようにしてもよい。また、投影されるパターンと観測画像のパターンを対比して、観測画像においてパターンの欠落部分を検出できた場合には、影の領域が存在すると判断してもよい。

（三次元形状計測処理の流れ）
次に、図５を参照して、本実施例における三次元形状計測の手順について説明する。まず、計測対象物Ｏに対して、プロジェクタ１０から、パターンが投影される（ステップＳ１１）。次に、撮影手段１２によってパターンが投影されている状態の計測対象物Ｏが撮影され、制御装置１２が、画像取得部２０によって当該画像を取得する（ステップＳ１２）。

そしてステップＳ１３において、ステップＳ１２で取得された画像に、パターンが投影されていない影の領域が存在するか否かを判断する。ここで、観測画像に影の領域が存在する場合には、ステップＳ１４に進み、ユーザーに対して観測画像に影の領域が存在することを通知する警告を出力する。警告は、例えば表示装置にエラーメッセージを表示させるものであってもよいし、音声により警告音を発するものであってもよい。また、これらを組み合わせたものであっても構わない。

ステップＳ１５において、警告を受けたユーザーは、制御装置１２に任意の投影手段位置情報を入力し、プロジェクタ１０を移動させる。その上で再び計測対象物Ｏに対してパターンを投影し、撮影を行い、観測画像に影の領域がなくなるまで、ステップＳ１１〜Ｓ１５の処理を繰り返し行う。

一方、ステップＳ１３において、観測画像に影の領域がないと判断された場合には、制御部１２の三次元形状計測部２１によって、計測対象物Ｏの三次元形状が算出され（ステップＳ１６）、三次元形状計測の処理を終える。

以上のような本実施例の三次元形状計測装置１の構成により、一つのプロジェクタ１０によって、計測対象物Ｏを中心とした円周上のいずれの位置からでも計測対象物Ｏに対してパターンを投影することが可能になる。このため、多数の投影手段を配置することなく、精度の高い三次元形状計測ができ、装置の大型化、高コスト化を抑えることができる。

＜変形例＞
なお、本実施例に係る三次元形状計測装置１では、プロジェクタ１０を一つのみ配置していたが、必ずしもこのようにする必要はなく、二つ以上の投影手段を設けてもよい。例えば、図６に示すように、二つのプロジェクタ１０ａ、１０ｂを、基準版１３２の対向する位置に配置し、計測対象物Ｏに同時にパターンを投影するようにしてもよい。この場合には、回転機構１３１の駆動（回転）角度は１８０度とすることができる。
複数の投影手段によりパターンを投影すると、それだけ計測対象物Ｏに影の領域が生じにくくなるため、計測の効率を高めることができる。また、投影手段を移動させる場合にも、移動手段の回転角度を小さくすることができ、移動のための時間を短縮することが可能になる。このため、計測の効率化とコスト低減等のバランスを勘案して、任意の数の投影手段を配置することができる。

また、図７に示すように、本実施例における三次元形状計測装置１に、斜視カメラ１１２を設けて、計測対象物Ｏを斜め上から撮影した斜視画像を取得し、該画像を三次元形状計測に用いてもよい。このようにすれば、計測対象物Ｏを直上から撮影した場合には死角となってしまう位置についても、斜視画像により観測可能であるため、精度の高い三次元形状計測が可能になる。

なお、本実施例における三次元形状計測処理では、ステップＳ１３において、観測画像に影の領域が有るか否かの判断を制御部１２で行っていたが、この判断は観測画像を表示装置に表示させたうえで、ユーザーが目視により行ってもよい。

また、本実施例では、ステップＳ１３で影の領域があるか否かの判断を行っていたが、これを、観測画像に基づいて計測対象物Ｏの三次元形状が計測できるか否かを判断するステップとしてもよい。即ち、影の領域によって計測対象物Ｏの三次元形状が計測不可能と判断された場合にステップＳ１４に進むようにしてもよい。影の領域があったとしても、計測対象物Ｏの三次元形状が計測できるのであれば、プロジェクタ１０を移動させる必要は無いからである。

＜実施例２＞
次に、本発明に係る他の実施例である基板外観検査装置５について説明する。基板外観検査装置５は、実施例１の三次元形状計測装置１にいわゆるカラーハイライト方式による外観検査を組み合わせた、基板の外観検査装置である。このため、三次元形状計測装置１の三次元形状の計測に関する部分については、実施例１と同様の構成であるから、実施例１と同一の符号を付して説明を省略する。

図８は本発明の第２の実施例に係る基板外観検査装置５を示す概略図、図９は照明装置５１の内部構造を表す概略図である。図８に示すように、本実施例に係る基板外観検査装置５は、三次元形状計測装置１の基準板１３２の底面に照明装置５１が組み付けられた構成となっている。また、図９に示すように、照明装置５１は、環状の赤色照明（Ｒ）５１１、緑色照明（Ｇ）５１２、青色照明（Ｂ）５１３が異なる高さに配置された中空の照明手段である。

図１０は、基板外観検査装置５の主な機能を示すブロック図である。図１０に示すように、本実施例における基板外観検査装置５では、制御部１２に、実施例１の機能に加えて、三次元形状判定部２４と、はんだ状態計測部２５、はんだ状態判定部２６が備わっている。

三次元形状判定部２４は、計測された計測対象物Ｏの三次元形状が、所定の検査基準を満たしているか否かを判定する機能である。はんだ状態計測部２５は、撮影装置１１によって撮影された画像に基づいて、計測対象物Ｏ上のはんだ面の状態を計測する機能である。はんだ状態判定部２６は、計測されたはんだ面の状態が、所定の検査基準を満たしているか否かを判定する機能である。

次に、本実施例における基板外観検査装置５を用いた基板外観検査の処理の流れを説明する。図１１は基板外観検査装置５の検査手順を示すフローチャートである。図１１に示すように、基板外観装置５はまず計測対象物Ｏの三次元形状を計測する（ステップＳ２１）。なお、三次元形状の計測処理の詳細は、実施例１において説明した処理の流れ（図５参照）と同様であるため説明を省略する。

そして、ステップＳ２２において、当該形状が所定の検査基準を満たしているか否かを判断する。ここで、当該形状が所定の検査基準を満たしていない場合には、計測対象物Ｏは不良品であると判定して処理を終える（ステップＳ２３）。

一方、ステップ２２において、所定の検査基準を満たしていると判断された場合には、ステップＳ２４に進み、カラーハイライト方式におけるはんだ状態の計測を行う。なお、カラーハイライト方式によるはんだ状態の計測については公知の技術であるため、詳細は省略するが、概略以下のような方法により行われる。

即ち、基板外観検査装置５の、Ｒ照明５１１、Ｇ照明５１２、Ｂ照明５１３から、それぞれ計測対象物Ｏのはんだ面に照明光が照射され、計測対象物Ｏ上のはんだ面の角度に応じて、それぞれ異なる角度で入射したＲＧＢの３色の照明の反射光が撮影装置１１によって撮影される。はんだの状態（形状）に応じて赤、緑、青の各色の反射の仕方が決まるため、撮影された画像における３色の割合や位置を特定することで、はんだの状態を計測することができる。

そして、次にステップＳ２５において、上記のように計測されたはんだの状態が、所定の検査基準を満たしているか否かを判断する。ここで、はんだの状態が検査基準を満たし
ている場合には、計測対象物Ｏは良品であると判定して（ステップＳ２６）、処理を終了する。一方、はんだの状態が検査基準を満たしていないと判断された場合には、計測対象物Ｏは、不良品であると判定して（ステップＳ２３）、処理を終了する。

以上のように、投影手段の数を少なくしつつ精度の高い三次元形状計測が可能な、位相シフト方式による外観検査と、カラーハイライト方式によるはんだ状態の計測を、多くの要素を共通にした一つの装置で実施するようにした、本実施例の基板外観検査装置５のような構成により、装置の大型化を抑え、かつ高い検査精度をもった検査装置を提供することが可能になる。
＜変形例＞
なお、本実施例に係る基板外観検査装置５では、位相シフト方式による検査の後に、カラーハイライト方式の検査を行うようにしていたが、この順序が逆であっても構わない。また、それぞれの検査を並行して実施し、検査結果を最終的に照合して、良不良の判定を行うようにしてもよい。

＜その他＞
上記各実施例は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明はその技術的思想の範囲内で種々の変形が可能である。例えば、上記実施例においては、移動機構１３はモータとモータの回転により駆動する円筒状の回転機構及び基準板による構成であったが、必ずしもこのような構成に限る必要はない。例えば、モータとしては、回転モータの他リニアモータを使用してもよい。また、モータの代わりに他の手段（例えば空圧や油圧を用いたアクチュエータ）を用いてもよい。さらに、回転機構は円筒状でなくてもよいし、基準板を用いない構成であってもよい。
また、投影手段１０の移動についても、上記実施例ではＸＹ軸により定義される平面上で回転移動するものであったが、これに限る必要はなく、例えば、ＺＸ軸により定義される平面上を回転移動するものであってもよいし、これらを組み合わせたものであってもよい。また、移動の方法も回転移動のみに限定されず、直線状や円弧以外の曲線状に移動するものであってもよい。

１・・・三次元形状計測装置
５・・・基板外観検査装置
１０・・・プロジェクタ
１１・・・カメラ
１２・・・制御装置
１３・・・移動機構
２０・・・画像取得部
２１・・・三次元形状計測部、
２２・・・投影手段位置制御部、
２３・・・影領域判定部
５１・・・照明装置
Ｏ・・・計測対象物

Claims (4)

1. 計測対象である基板に対してパターンを投影する投影手段と、
   前記基板を中心とする円環状に配置されるとともに、前記基板に対して赤色光、緑色光、青色光、の各波長の照明光を照射する光源を備える照明手段と、
   前記パターンが投影された前記基板、及び、前記照明光が照射された前記基板を、基板面に対して垂直な方向から撮影する撮影手段と、
   前記撮影手段により取得された画像を処理することで、前記基板の三次元形状を計測する計測手段と、
   軸方向に円形に開口する中空部を有する円筒状の回転機構と、前記回転機構の前記開口の外周側に取り付けられ、前記軸方向に対して垂直な方向に延びてその外周端において前記投影手段が組付けられるとともに、その底面側において前記照明手段が組付けられる板状部と、を備え、前記回転機構が前記開口の円周方向に回転することによって前記板状部の外周端に組み付けられた前記投影手段を円周上で移動させる移動手段と、を有しており、
   前記移動手段は前記基板の上方に前記開口が位置するように配置され、前記撮影手段は、前記基板に対して垂直な方向から前記開口を通じて、前記基板を撮影する、
   ことを特徴とする、三次元形状計測装置。
2. 前記移動手段は、
   前記撮影手段が、前記計測手段が前記基板の三次元形状を計測することが可能なパターンを撮影し得る位置に、前記投影手段を移動させる
   ことを特徴とする、請求項１に記載の三次元形状計測装置。
3. 前記移動手段は、
   前記投影手段を、前記基板を内部に含んだ円周上において回転移動させる
   ことを特徴とする、請求項１又は２に記載の三次元形状計測装置。
4. 前記投影手段を複数有することを特徴とする、請求項１から３のいずれか１項に記載の三次元形状計測装置。

Images