JP5822463B2 - 三次元計測装置、三次元計測方法、およびプログラム - Google Patents

Description

本発明は、三次元計測装置、三次元計測方法、およびプログラムに関する。

測定対象物にパターン光を投影し、パターン光が投影された測定対象物を撮像し、三角測量の原理で測定対象物の三次元形状を計測する方式として、パターン投影法がある。パターン投影法による高精度な三次元計測を行う手法としては、空間符号化法、位相シフト法、光切断法等が代表的なものである。例えば空間符号化法は複数の縞パターン光を測定対象物に時系列に投影し、撮像するため、三次元計測を行うのに撮像枚数分の時間がかかる。位相シフト法も計測領域に応じて複数枚撮像するため時間がかかる。光切断法は領域をライン投影しながらスキャンして撮影するため多数の撮影枚数が必要となる。少しでも計測時間を削減するため、三次元計測する領域を限定する対策も考えられている。

その従来技術の例としては、以下の技術がある。これは、測定対象物に対して、あらかじめ二次元画像から得られる特徴を抽出する領域と三次元計測を行う領域との関係を記憶しておき、三次元計測時に二次元画像から部品の特徴を抽出し、抽出結果から該当する三次元計測領域に光照射を行い、三次元情報を得るものである（特許文献１）。

また、有効な投影するパターンを制御する従来技術としては、以下の技術がある。これは、測定対象物にパターンを投影して、撮影した画像の特徴量やこれらの変化量に応じて、光空間変調素子によって投影するパターンの種類および数を適応制御するものである（特許文献２）。

特許第３８５９５７１号公報 特開２００６−２９２３８５号公報

従来のパターン投影法では、事前に得た三次元情報を有効に利用し、必要な領域のみを三次元計測することは行われていないため、範囲全域で三次元計測を行わねばならず、変化していない領域も再度三次元計測を行う必要がある。このため撮影枚数や画素数が多い場合は計測に時間を要する。二次元画像から領域を限定する方式では三次元計測以外の計測系を搭載しなければならず、測定系や処理系が複雑になるという課題があった。

上記の課題に鑑み、本発明は、事前に得た三次元情報を有効に利用することにより、高速に三次元計測を行うことを目的とする。

上記の目的を達成する本発明に係る三次元計測装置は、
測定対象を撮像する撮像手段と、
前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出手段と、
明部と暗部とを含むパターンのうち、前記変化領域抽出手段により抽出された前記変化領域の幅よりも小さい幅を有する所定パターンを前記変化領域に照射する光照射手段と、
前記光照射手段によって前記変化領域に対して前記所定パターンが照射され、前記撮像手段により撮像された画像に基づいて、前記変化領域に対して三次元形状を計測し、当該変化領域の三次元形状の計測結果に基づいて前記測定対象の三次元形状を計測する計測手段と
を備えることを特徴とする。

本発明によれば、事前に得た三次元情報を有効に利用することにより、高速に三次元計測を行うことができる。

第１実施形態に係る三次元計測装置の構成を示す図。 第１実施形態に係る三次元計測装置の処理の流れを示すフローチャート。 第１実施形態に係る三次元計測装置の処理の流れを示すフローチャート。 第１実施形態に係る三次元計測装置の処理の流れを示すフローチャート。 第１実施形態に係る空間符号化法による縞パターン光と奥行きとの関係を示す図。 第１実施形態に係る空間符号化法による縞パターン光を示す図。 第１実施形態に係る空間符号化法による縞パターン光の照射範囲を説明する図。 第２実施形態に係る空間符号化法による縞パターン光を示す図。 第２実施形態に係る空間符号化法による縞パターン光の照射範囲を説明する図。 第３実施形態に係る位相シフト法による縞パターン光の照射範囲を説明する図。 第３実施形態に係る光切断法による縞パターン光の照射範囲を説明する図。 三次元計測装置の構成および三次元計測方法の概念図。 グレイコードによる空間符号化法の投影する縞パターン光を示す図。 第１実施形態に係る空間符号化法による縞パターン光の変化領域の抽出方法を説明する図。 位相シフト法の説明図。

（第１実施形態）
三次元情報にかかわる事前情報として、事前に計測した三次元画像を用いる場合の第一の実施形態を示す。三次元計測手法としては、高精度な三次元形状計測手法の代表的な空間符号化法に適用した例である。以下、図面を参照して本発明の第一の実施形態を説明する。

先ず、空間符号化の原理について説明する。本手法は三次元形状を算出する手法として、明部と暗部が任意の幅で交互に配置する縞パターン光を照射して空間を２進符号化する空間符号化し、対応する符号の位置ずれ量から三角測量の原理で３次元形状を求めるものである。

図１２は、三次元計測装置の構成および計測方法の概念を示す。三次元計測装置の構成は、測定対象物にパターンを照射するプロジェクタ１２０１、反射パターンを撮像するカメラ１２０２から構成されるのが一般的である。プロジェクタ１２０１から測定対象物１２０３に向けて明部と暗部が任意の幅で交互に配置する縞パターン光を照射する。縞パターン光はあらかじめ決められた複数のパターン形状があり、それらが各々照射され、そのたび撮像して画像データとして取得する。測定対象物１２０３の明部と暗部の境界位置を（Ｘ，Ｙ，Ｚ）とし、境界位置（Ｘ，Ｙ，Ｚ）とプロジェクタ１２０１、カメラ１２０２を結んだ時のプロジェクタ１２０１の主点位置を（Ｘ１，Ｙ１）、カメラ１２０２の主点位置を（Ｘ２，Ｙ２）とする。カメラ１２０２の主点位置（Ｘ２，Ｙ２）はカメラ１２０２の撮像センサ（ＣＣＤやＣＭＯＳなど）の水平座標によって求まる。水平座標とは撮像センサの水平幅と垂直幅によって決まり、例えば６４０×４８０の撮像センサであれば、水平方向のｘ座標は０から６４０、垂直方向のｙ座標は０から４８０の値を有する。プロジェクタ１２０１の主点位置（Ｘ１，Ｙ１）も同様に投光センサの水平座標によって求まる。またプロジェクタ１２０１とカメラ１２０２間のＬは基線長となり、装置の構成条件から定められる。これらのパラメータから三角測量の原理によって測定対象物１２０３の境界位置（Ｘ，Ｙ，Ｚ）を求めることができる。測定対象物１２０３全面に対してそれぞれの境界位置（Ｘ，Ｙ，Ｚ）を求めることで、測定対象物１２０３の三次元形状を計測することができる。

次に縞パターン光の形状について説明する。図１３では、符号化誤り耐性のあるグレイコードと呼ばれる２進符号の縞パターン光を示す。撮像された反射パターンで黒く観察された部分は０、白く観察された部分は１に対応する。図１３ａでは全体を２分割し、２つの領域で１、０と符号化する。図１３ｂでは明部と暗部の４つの領域を１、０、０、１と符号化し、対応する縞パターン光を照射および撮像する。さらに図１３ｃでは８つの領域を１、０、０、１、１、０、０、１と符号化し、対応する縞パターン光を照射および撮像する。こうして各領域に符号化された領域番号が付与されるので、各領域を判断することができる。図１３では各領域は（１，１，１）、（１，１，０）、（１，０，０）、（１，０，１）、（０，０，１）、（０，０，０）、（０，１，０）、（０，１，１）として判断できる。このようにして３枚の縞パターン光を使い、空間を８分割することができるため、この空間符号化を３ｂｉｔの空間符号化と呼び、図１３ａ、図１３ｂ、図１３ｃの縞パターン光をそれぞれ１ｂｉｔの縞パターン光、２ｂｉｔの縞パターン光、３ｂｉｔの縞パターン光と呼ぶ。

さらに詳細に形状計測を行う場合には、明部と暗部の領域を次々に縮小しながらｎ枚の縞パターン光を照射すると、プロジェクタの照射領域を２ｎに分割した領域番号を付与し、各領域を判断できる。たとえば領域を１０２４分割する三次元計測においては１０ｂｉｔの空間符号化が行われる。

グレイコードの利点は、縞パターン光のずれやぼけなどで領域境界に符号化の誤りが発生しても、最悪でも隣接領域と判断されるだけで、大きくずれた領域として符号化誤りを生じないことである。そのためグレイコードによる空間符号化は一般に用いられている方法である。

次に空間符号化法に本発明による事前画像と新たに三次元計測用に撮像した画像を用いる事により、必要最低限の投影・計算を行うシステム構成について説明する。図１は、パターン投影により測定対象物の三次元形状を測定するシステムの構成を示す図である。

測定対象物１００は、本実施形態における測定装置で測定される測定対象である。光照射部１０１は、測定対象物１００にパターン光を照射するための手段である。撮像部１０２は、測定対象物１００を撮像するための手段である。画像記憶部１０３は、撮像部１０２で撮像した画像を記憶するための手段であり、画像を複数枚記憶するだけの充分な容量がある。三次元形状算出部１０４は、光照射部１０１が測定対象物１００に対しパターン光を照射し、照射された測定対象物１００を撮像部１０２が撮像することにより、測定対象物１００の三次元形状を算出するための手段である。出力部１０５は、三次元形状算出部１０４による算出結果を出力する。出力部１０５は、算出結果を表示するためのモニタ、プリンタなどを有する。記録部１０６は、三次元形状算出部１０４による算出結果を記録するための手段である。記録部１０６は、算出結果のデータを記録するためのハードディスク、フラッシュメモリなどを備える。変化領域抽出部１０７は、三次元形状算出部１０４により三次元形状が算出された後に、測定対象物１００の状態に変化があった領域を抽出するための手段である。測定対象物１００の状態の変化としては、例えば、測定対象物１００が複数の対象物から成り立っていて、そこに新たな対象物が追加されたり、そこから対象物が取り除かれたりする場合が相当する。変化領域を抽出する方法としては、例えば、前回に撮像部１０２で撮像した画像と今回撮像した画像との差分を取る方法がある。また、図示しないロボットアームなどにより対象物の追加や取り除きが行われた位置を記憶しておき、それを利用する方法もある。以上は、自動的に変化領域を抽出する方法であるが、測定対象物１００の画像が出力された出力部１０５を見ながらユーザが手動で変化領域を指定する方法もある。これらの他にも、変化領域を抽出する方法であれば、いずれの方法でも良い。照射範囲設定部１０８は、変化領域抽出部１０７により抽出された変化領域に応じて光照射部１０１が測定対象物１００にパターン光を照射する範囲を設定するための手段である。これにより変化領域以外にはパターン光を照射されなくなる。光特性設定部１０９は、照射範囲設定部１０８により設定された照射範囲に応じたパターン光特性を設定するための手段である。記憶部１１０は、三次元形状算出部１０４により算出された三次元形状の情報や、変化領域抽出部１０７により抽出された変化領域の情報や、照射範囲設定部１０８により設定された照射範囲の情報などを記憶する。また、制御部１１１による制御情報なども記憶する。制御部１１１は、光照射部１０１、撮像部１０２、光特性設定部１０９、変化領域抽出部１０７、照射範囲設定部１０８、記憶部１１０、三次元形状算出部１０４、出力部１０５、記録部１０６の動作を制御する。制御部１１１は、ＣＰＵ、ＲＡＭ、各種制御プログラムが格納されたＲＯＭなどを備える。

ＲＯＭに格納された各種プログラムは、光照射部１０１が照射するパターン光特性を制御するための制御プログラム、撮像部１０２を制御するための制御プログラム、光特性設定部１０９を制御するための制御プログラムなどが含まれる。また、変化領域抽出部１０７を制御するための制御プログラム、照射範囲設定部１０８を制御するための制御プログラム、三次元形状算出部１０４を制御するための制御プログラムなども含まれる。また、各種プログラムには、出力部１０５を制御するための制御プログラム、記録部１０６を制御するための制御プログラムなどが含まれても良い。

図２は、本実施形態における測定装置の処理の流れを示した図である。図２を用いて、本実施形態における処理の流れを説明する。図２は、測定対象物の三次元計測を最初に行う場合の処理の流れを示す。

（ステップ２０１）ステップ２０１では、制御部１１１が撮像部１０２に撮像部１０２が撮像できる範囲すべてを撮像するよう全領域撮像信号を送り、撮像部１０２が複数のパターン光を照射して測定対象物１００を含んだ全領域を撮像する。

（ステップ２０２）ステップ２０２では、制御部１１１が画像記憶部１０３に撮像した画像を記憶させる。

（ステップ２０３）ステップ２０３では、三次元形状算出部１０４が三次元形状を算出するのに必要なパターン光を光照射部１０１がすべて照射したか否か判定する。三次元形状を算出するのに必要なパターン光を光照射部１０１がすべて照射したと判定した時は、ステップ２０５に処理が移る。三次元形状を算出するのに必要なパターン光を光照射部１０１がすべて照射していないと判定した時は、ステップ２０４に処理が移る。

（ステップ２０４）ステップ２０４では、制御部１１１が光照射部１０１に次のパターン光を全領域に照射させる。

（ステップ２０５）ステップ２０５では、制御部１１１が三次元形状算出部１０４に撮像部１０２が撮影した測定対象物１００の全パターン照射画像を使って測定対象物１００の三次元形状を算出させる。

（ステップ２０６）ステップ２０６では、制御部１１１の制御により、出力部１０５および記録部１０６が、測定対象物１００の三次元形状結果の出力と記録を行う。出力部１０５は、測定対象物１００の三次元形状結果をモニタなどに表示する。記録部１０６は、測定対象物１００の三次元形状結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。

図３は、測定対象物の三次元計測を一度行った後に、次に三次元計測を行う場合の処理の流れを示す。

（ステップ３０１）ステップ３０１では、制御部１１１が撮像部１０２に撮像部１０２が撮像できる範囲すべてを撮像するよう全領域撮像信号を送り、撮像部１０２が測定対象物１００を含んだ全領域を撮像する。

（ステップ３０２）ステップ３０２では、制御部１１１が画像記憶部１０３に撮像した画像を記憶させる。

（ステップ３０３）ステップ３０３では、制御部１１１が画像記憶部１０３に撮像した画像と、前回に撮像し、画像記憶部１０３に記憶させた画像とを比較させる。

（ステップ３０４）ステップ３０４では、制御部１１１が変化領域抽出部１０７に比較した画像から変化領域が有るか否かを判定させる。制御部１１１が変化領域抽出部１０７に比較した画像から変化領域が有ると判定した時は、ステップ３０５に処理が移る。制御部１１１が変化領域抽出部１０７に比較した画像から変化領域が無いと判定した時は、処理を終了する。

（ステップ３０５）ステップ３０５では、制御部１１１が変化領域抽出部１０７に比較した画像から変化領域を抽出させる。変化領域を抽出する方法については、後述する。

（ステップ３０６）ステップ３０６では、制御部１１１が照射範囲設定部１０８に抽出した変化領域からパターン光の照射範囲を設定させる。照射範囲を設定する方法については、後述する。

（ステップ３０７）ステップ３０７では、制御部１１１が光特性設定部１０９に設定した照射範囲に応じたパターン光特性を設定させ、光照射部１０１にパターン光を照射させる。照射範囲に応じたパターン光特性を設定する方法については、後述する。

（ステップ３０８）ステップ３０８では、制御部１１１が光照射部１０１に照射範囲に応じたパターン光を変化領域に照射させる。

（ステップ３０９）ステップ３０９では、制御部１１１が撮像部１０２にパターン光が照射された照射範囲である変化領域を撮像させる。

（ステップ３１０）ステップ３１０では、制御部１１１が画像記憶部１０３に撮像した画像を記憶させる。

（ステップ３１１）ステップ３１１では、三次元形状算出部１０４が三次元形状を算出するのに必要なパターン光を光照射部１０１がすべて照射したか否か判定する。三次元形状を算出するのに必要なパターン光を光照射部１０１がすべて照射したと判定した時は、ステップ３１２に処理が移る。三次元形状を算出するのに必要なパターン光を光照射部１０１がすべて照射していないと判定した時は、ステップ３０８に処理が移る。

（ステップ３１２）ステップ３１２では、制御部１１１が三次元形状算出部１０４に撮像部１０２が撮影した測定対象物１００の全パターン照射画像を使って測定対象物１００の三次元形状を算出させる。

（ステップ３１３）ステップ３１３では、制御部１１１が三次元形状算出部１０４に測定対象物１００の前回の全体の三次元計測結果と、今回の変化領域の三次元計測結果とを統合して測定対象物１００の今回の全体の三次元計測結果を生成させる。

（ステップ３１４）ステップ３１４では、制御部１１１の制御により、出力部１０５および記録部１０６が、測定対象物１００の三次元形状結果の出力と記録を行う。出力部１０５は、測定対象物１００の三次元形状結果をモニタなどに表示する。記録部１０６は、測定対象物１００の三次元形状結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。

次に、変化領域を抽出する方法について説明する。変化領域を抽出する方法としては、上述したように、前回に撮像部１０２で撮像した画像と今回撮像した画像との差分を取る方法がある。また、図示しないロボットアームなどにより対象物の追加や取り除きが行われた位置を記憶しておき、それを利用する方法もある。その他に、空間符号化法の縞パターン光を利用した方法もあるので、以下で説明する。

図１４の（ａ）は、平面に対し空間符号化法による三次元計測を行っている途中で、最も細い縞パターン光を平面に照射し、それを撮像する時の撮像部１０２と光照射部１０１との配置関係および撮像部１０２で撮像された画像を示す図である。撮像画像には、光照射部１０１から照射された縞パターン光が規則的に並んでいる状態が撮影されている。

図１４の（ｂ）は、平面上にある測定対象物１００に対し空間符号化法による三次元計測を行っている途中で、最も細い縞パターン光を測定対象物１００に照射し、それを撮像する時の撮像部１０２と光照射部１０１との配置関係および撮像部１０２で撮像された画像を示す図である。測定対象物１００は高さがあるため、撮像部１０２と光照射部１０１との視差により、光照射部１０１から照射された縞パターン光が平面上の縞パターン光と位置ずれが生じている状態が撮影されている。

図１４の（ａ）、（ｂ）とから、最も細い縞パターン光を照射して撮像した画像を比較することにより、変化領域を抽出することができる。さらに、太い縞パターン光を使用した場合に比べ、変化領域をより詳細に抽出することが可能となる。

この方法の利点としては、変化領域を抽出するために特化したプロセスを経ることなく、三次元計測を行うプロセスの一部を利用して、変化領域を抽出することができるため、余計な処理負荷をかけないですむところである。つまり、三次元計測の高速化に寄与する。

図４は、測定対象物の三次元計測を一度行った後に、次に三次元計測を行う場合の照射範囲を設定する処理の流れを示す。

（ステップ４０１）ステップ４０１では、制御部１１１が照射範囲設定部１０８に変化領域抽出部１０７が抽出した変化領域の変化前の三次元位置を取得させる。

（ステップ４０２）ステップ４０２では、制御部１１１が照射範囲設定部１０８に取得させた変化領域の変化前の三次元位置から奥行き範囲を設定させる。

（ステップ４０３）ステップ４０３では、制御部１１１が照射範囲設定部１０８に設定させた奥行き範囲から最も細い縞パターン光での照射範囲を設定させる（照射制御処理）。

照射範囲を設定する方法について具体的に説明する。図５の（ａ）は、平面に対し空間符号化法による三次元計測を行っている途中で、ある縞パターン光を平面に照射し、それを撮像する時の撮像部１０２と光照射部１０１との配置関係および撮像部１０２で撮像された画像を示す図である。撮像画像には、光照射部１０１から照射された縞パターン光が規則的に並んでいる状態が撮影されている。

図５の（ｂ）は、平面上にある測定対象物１００に対し空間符号化法による三次元計測を行っている途中で、ある縞パターン光を測定対象物１００に照射し、それを撮像する時の撮像部１０２と光照射部１０１との配置関係および撮像部１０２で撮像された画像を示す図である。測定対象物１００は高さがあるため、撮像部１０２と光照射部１０１との視差により、光照射部１０１から照射された縞パターン光が平面上の縞パターン光と位置ずれが生じている状態が撮影されている。この時、照射する縞パターン光の範囲は、位置ずれを考慮した範囲に設定する。

図５の（ｃ）は、平面上にある測定対象物１００のうち上方部が取り除かれた後に、空間符号化法による三次元計測を行っている途中で、ある縞パターン光を測定対象物１００に照射し、それを撮像する時の撮像部１０２と光照射部１０１との配置関係および撮像部１０２で撮像された画像を示す図である。（ｂ）の時と比べて測定対象物１００の高さが低くなったため、撮像部１０２と光照射部１０１との視差による光照射部１０１から照射された縞パターン光と平面上の縞パターン光との位置ずれ量が異なった状態で撮影されている。

これら図５の（ａ）〜（ｃ）から、同じ縞パターン光を照射する場合でも、測定対象物の奥行きによっては、対応する縞パターン光が異なることが判る。したがって、照射する縞パターン光の範囲を設定するためには、抽出した変化領域と以前に算出した三次元計測結果を利用する。

照射範囲に応じたパターン光特性を設定する方法について説明する。図６は、測定対象物１００に対し空間符号化による三次元計測を行っている際の、縞パターン光を測定対象物１００に照射し、それを撮像部１０２で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。空間符号化では、太い縞パターン光から順番に照射し、一番細い縞パターン光まで照射していく。

図７は、測定対象物１００のうち一部が取り除かれた後に、空間符号化による三次元計測を行っている際の、縞パターン光を測定対象物１００に照射し、それを撮像部１０２で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。一部が取り除かれた領域は、変化領域抽出部１０７により変化領域として抽出され、照射範囲設定部１０８により縞パターン光の照射範囲が設定される。設定された照射範囲以外の領域は、三次元形状に変化がないため三次元計測を行わなくても良い。つまり設定された照射範囲外の太い縞パターン光は、三次元計測に使わなくて良い。その際、照射範囲内で縞パターン光が一様でなくなったところから、それより細い縞パターン光を使って三次元計測が可能となる。なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。

以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。

（第２実施形態）
以下、図面を参照して本発明の第二の実施形態を説明する。第一の実施形態と異なる点は、縞パターン光を照射する順番を一番細い縞から行い、照射範囲に応じて最大縞パターン光を決定することである。

装置の構成は、第一の実施形態における図１の装置の構成と同じであるため、省略する。また、第一の実施形態における図２〜４の処理の流れも同じであるため、省略する。以下に、異なる点を説明する。

照射範囲に応じたパターン光特性を設定する方法について説明する。図８は、測定対象物１００に対し空間符号化による三次元計測を行う際の、縞パターン光を測定対象物１００に照射し、それを撮像部１０２で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。この実施例の空間符号化では、細い縞パターン光から順番に照射し、一番太い縞パターン光まで照射していく。

図９は、測定対象物１００のうち一部が取り除かれた後に、空間符号化による三次元計測を行う際の、縞パターン光を測定対象物１００に照射し、それを撮像部１０２で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。

一部が取り除かれた領域は、変化領域抽出部１０７により変化領域として抽出され、照射範囲設定部１０８により縞パターン光の照射範囲が設定される。設定された照射範囲以外の領域は、三次元形状に変化がないため三次元計測を行わなくても良い。つまり設定された照射範囲外の太い縞パターン光は、三次元計測に使わなくて良い。その際、細い縞パターン光から見て照射範囲内で縞パターン光が一様になるところまでの縞パターン光を使って三次元計測が可能となる。

なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。

（第３実施形態）
以下、図面を参照して本発明の第三の実施形態を説明する。第一、二の実施形態と異なる点は、変化領域抽出部１０７により変化領域を抽出され、照射範囲設定部１０８によりパターン光の照射範囲が設定された後、照射範囲の照射パターン方法を変更することである。具体的には実際に計測手法を空間符号化法から位相シフト法に変更したものである。

装置の構成は、第一の実施形態における図１の装置の構成と同じであるため、省略する。また、第一の実施形態における図２〜４の処理の流れも同じであるため、省略する。以下に、異なる点を説明する。

照射範囲に応じたパターン光特性を設定する方法について説明する。図１０は、変化領域抽出部１０７により変化領域を抽出され、照射範囲設定部１０８によりパターン光の照射範囲が設定された後、照射範囲に位相シフト法による縞パターン光を測定対象物１００に照射し、それを撮像部１０２で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。

図１０の（ａ）は空間符号化法で縞パターン光を照射した際に、変化領域抽出部１０７により変化領域として抽出され、照射範囲設定部１０８により縞パターン光の照射範囲が設定される図を示す。照射範囲が設定されると、図１０の（ｂ）で示すように、照射範囲内を位相シフト法による縞パターン光を照射する。図１０の（ｃ）は、位相シフト法による縞パターン光が移動した図を示す。

ここで図１５を用いて位相シフト法について説明する。位相シフト法では、明度が正弦波状に変化する縞パターン光を測定対象物に照射し、縞パターン光の位相をπ／２ずつ、ずらして撮像部で撮像する。これを、位相が２πになるまで計４枚撮像する。４枚の画像上の同じ位置での明度をＡ、Ｂ、Ｃ、Ｄとすると、その位置でのパターンの位相αは、式（１）のように表される。

この位相を基に三角測量の原理により三次元計測することができる。位相シフト法では一位相内であれば空間符号化に比べ連続的に三次元形状情報を得ることができるが、一位相を超えると三次元位置の接続を行う必要がある。したがって、位相シフト法による縞パターン光を一位相で照射範囲内を照射することにより、変化領域の三次元形状を位相接続することなしに計測することが可能となる。

なお、図１０では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。なお、異なる周波数の位相シフト法により、広い領域への適用を図る位相接続法を用いた三次元形状計測法に適用しても良い。これは、周波数の異なる計測処理を行う中で、最大高周波位相シフトパターンから順次計測し、事前情報を用いる事により、変化がなくなった時点で、低周波計測を打ち切る手法を取っても良い。

（第４実施形態）
以下、図面を参照して本発明の第四の実施形態を説明する。第一から第三の実施形態と異なる点は、変化領域抽出部１０７により変化領域を抽出され、照射範囲設定部１０８によりパターン光の照射範囲が設定された後、照射範囲の照射パターン方法を変更することである。具体的には実際に計測手法を空間符号化法から光切断法に変更したものである。

図１１は、変化領域抽出部１０７により変化領域を抽出され、照射範囲設定部１０８によりパターン光の照射範囲が設定された後、照射範囲に光切断法によるパターン光を測定対象物１００に照射し、それを撮像部１０２で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。

光切断法では、パターン光を移動させて撮像するため、一般的に時間がかかるが、変化領域のみを照射範囲とすることにより高速化が図れる。また、変化領域が複数存在する場合には、マルチラインの光切断法を利用して、複数の変化領域を同時に測定することにより、一つの変化領域の時と同様に高速化が図れる。なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。

以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。

（第５実施形態）
以下、本発明の第五の実施形態を説明する。第一から第四の実施形態と異なる点は、変化領域抽出部１０７により変化領域が抽出された後、光特性設定部１０９がパターン光特性を設定して、三次元計測する奥行き範囲と計測時間を設定することである。

変化領域抽出部１０７で抽出された変化領域に対し、光特性設定部１０９が設定する縞パターン光の太さおよびどこまで細い縞パターン光を設定するかに応じて、三次元計測する奥行き範囲を設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。設定するパターン光特性は、抽出された変化領域から自動的に設定してもよいし、ユーザが手動で指定してもよい。

（第６実施形態）
以下、本発明の第六の実施形態を説明する。第一から第五の実施形態と異なる点は、照射範囲設定部１０８により照射範囲を設定し、三次元計測する奥行き範囲を設定して、光特性設定部１０９がパターン光特性を設定することである。

照射範囲設定部１０８により設定する照射範囲と、設定する三次元計測する奥行き範囲に応じて、縞パターン光の太さおよびどこまで細い縞パターン光を使うか設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。

照射範囲設定部１０８は、変化領域抽出部１０７により抽出された変化領域に基づかずに照射範囲を設定してもよい。三次元計測する奥行き範囲は、制御部１１１が設定してもよい。設定する照射範囲および設定する奥行き範囲は、自動的に設定してもよいし、ユーザが手動で指定してもよい。

（第７実施形態）
以下、本発明の第七の実施形態を説明する。第一から第六の実施形態と異なる点は、光特性設定部１０９がパターン光特性を設定して、三次元計測する奥行き範囲と計測時間を設定することである。

光特性設定部１０９が設定する縞パターン光の太さおよびどこまで細い縞パターン光を設定するかに応じて、三次元計測する奥行き範囲を設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。

光特性設定部１０９は、変化領域抽出部１０７により抽出された変化領域に基づかずにパターン光特性を設定してもよい。設定するパターン光特性は、自動的に設定してもよいし、ユーザが手動で指定してもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 測定対象を撮像する撮像手段と、
   前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出手段と、
   明部と暗部とを含むパターンのうち、前記変化領域抽出手段により抽出された前記変化領域の幅よりも小さい幅を有する所定パターンを前記変化領域に照射する光照射手段と、
   前記光照射手段によって前記変化領域に対して前記所定パターンが照射され、前記撮像手段により撮像された画像に基づいて、前記変化領域に対して三次元形状を計測し、当該変化領域の三次元形状の計測結果に基づいて前記測定対象の三次元形状を計測する計測手段と
   を備えることを特徴とする三次元計測装置。
2. 前記光照射手段は、最も幅が小さいパターンから前記所定パターンまで順次、前記測定対象にパターンを投影し、
   前記撮像手段は、前記パターンが順次投影されるごとに前記測定対象を順次撮影し、
   前記計測手段は、前記順次撮影された画像と、以前に三次元形状が計測された際に撮影された画像とに基づいて前記測定対象の三次元形状を計測することを特徴とする請求項１に記載の三次元計測装置。
3. 前記光照射手段は、前記変化領域のみにパターンを照射することを特徴とする請求項１または２に記載の三次元計測装置。
4. 前記パターンは、グレイコードに基づくパターンであることを特徴とする請求項１乃至３の何れか１項に記載の三次元計測装置。
5. 前記変化領域抽出手段は、以前に前記撮像手段により撮像された画像と新たに前記撮像手段で撮像された画像とを比較することにより、前記新たに撮像された画像における変化領域を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の三次元計測装置。
6. 測定対象を撮像する撮像手段と、変化領域抽出手段と、光照射手段と、計測手段とを備える三次元計測装置における三次元計測方法であって、
   前記変化領域抽出手段が、前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出工程と、
   前記光照射手段が、明部と暗部とを含むパターンのうち、前記変化領域抽出工程により抽出された前記変化領域の幅よりも小さい幅を有する所定パターンを前記変化領域に照射する光照射工程と、
   前記計測手段が、前記光照射手段によって前記変化領域に対して前記所定パターンが照射され、前記撮像手段により撮像された画像に基づいて、前記変化領域に対して三次元形状を計測し、当該変化領域の三次元形状の計測結果に基づいて前記測定対象の三次元形状を計測する計測工程と、
   を有することを特徴とする三次元計測方法。
7. コンピュータに請求項６に記載の三次元計測方法の各工程を実行させるためのプログラム。