JP4848166B2 - 三次元計測用投影装置及びシステム - Google Patents

Description

本発明は、三次元計測用投影装置及び三次元計測システムに関する。詳しくは、三次元計測用ターゲットパターンを投影する投影装置及び投影されたパターンを含む撮影画像を用いて、広範囲な領域を自動的に計測可能な三次元計測システムに関する。

従来は、非接触で三次元計測を行う場合、非接触三次元計測機と呼ばれるパターン投光機とＣＣＤカメラが一体となった比較的大型な装置で小領域ごとに計測を行い、さらにその小領域ごとに貼り付けたそれぞれのターゲットを写真測量手法で計測し、その座標点からそれら小領域を統合して、広範囲な計測を行っていた。

また、デジタルカメラなどの画像だけで三次元計測する場合、ステレオペアの設定、２枚以上の画像の標定、および計測位置の設定をマニュアルもしくは半自動処理にて行っていた。（特許文献１，２参照）
特開２００３−２８４０９８号公報（段落００１８〜００７３、図１〜図１１） 特開２００５−１７４１５１号公報（段落００２１〜００８７、図１〜図２４）

広範な領域を計測するには、大型の非接触三次元測定器で多数箇所の小領域を計測し、さらに写真測量手法により、各小領域に貼られた画像接続用のターゲットをカメラで撮影し、各ターゲット点を高精度に三次元計測し、そのカメラ座標系と各三次元測定器で計測した小領域中のターゲットの三次元座標系（地球座標系等）を統合して広範な全体領域としていた。

しかしながら、この手法によれば、小領域と広範な領域の測定に別々の測定器を利用しなければならず、煩雑であり、また、三次元計測全体を通した自動化ができないという問題があった。特に、高精度で広範囲にわたり多数の小領域を統合する場合は、各々の計測範囲が狭まるために結果として計測領域数が膨大になり、結果として煩雑で効率の悪い作業となっていた。例えば、車の側面を計測するだけでも小領域数は１００カット以上となっていた。このように、個々の作業は簡単でも全体としては手間がかかり、非効率な作業となっていたという問題があった。

本発明は、ターゲットパターンを投影する投影装置を活用して、広域の非接触三次元測定を効率化すること、自動化を促進することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る三次元計測用投影装置８０は、例えば図１に示すように、計測点Ｑを表示する計測パターンＰを測定対象物に投影する投影部１２と、投影部１２を制御して、計測パターンＰを投影させるパターン投影制御部４９３と、投影部１２により投影された計測パターンＰの撮影画像から計測点Ｑを検出するパターン検出部４９１と、パターン検出部４９１で検出された第１の計測パターンにおける計測点Ｑの変位に基づいて計測点Ｑを追加、削除又は変更した第２の計測パターンを形成するパターン形成部４９２とを備える。

ここにおいて、計測点には標定点が含まれ、計測パターンには標定パターンが含まれるものとする。また、三次元計測は絶対座標で行われても、相対座標で行われても良い。変位とは測定対象物表面が投影光に垂直な平面に投影された場合の計測点からの変位をいい、計測点を変更するとは、計測点の種別（格子の交差点、小円、レトロターゲット、カラーコード付きターゲット等）、位置、色彩、寸法等を変更することをいう。また、変位に基づいて計測点を追加、削除又は変更するとは、典型的には変位が大きい箇所に計測点を追加するのであるが、角、凹部凸部の頂点、鞍部等の特徴点が見出された場合に計測点を追加したり、特徴点近くの計測点を特徴点に移動したり、標定やステレオマッチングの不良点を削除したり、多様な場合がある。また、第１の計測パターンから第２の計測パターンの形成は１度に限られるものではなく、何度繰り返されても良い。これに伴い、計測パターンの投影及び検出も何度繰り返されても良い。また、パターン投影制御部、パターン検出部、パターン形成部は典型的にはコンピュータ内に実現され、投影部と一体的に構成されても良く、分離構成されても良い。
このように構成すると、測定対象物の形状等に応じて計測パターンを最適化できるので、最適化された計測パターンを用いて、標定や三次元測定を効率化できる。また、計測パターンの投影から検出までを自動化できるので、標定や三次元測定の自動化を促進できる。

また、本発明の第２の態様に係る三次元計測用投影装置は、例えば図２５に示すように、計測点Ｑを表示する計測パターンＰを測定対象物に投影する投影部１２と、計測パターンＰを複数記憶するパターン記憶部４９５と、パターン記憶部４９５に記憶された複数の計測パターンＰから、投影する計測パターンＰを選択するパターン選択部４９６と、投影部１２を制御して、パターン選択部４９６で選択された計測パターンＰを投影させるパターン投影制御部４９３と、投影部１２により投影された計測パターンＰの撮影画像から計測点Ｑを検出するパターン検出部４９１とを備え、パターン選択部４９６は、パターン検出部４９１で検出された第１の計測パターンにおける計測点Ｑの変位に基づいて、パターン記憶部４９５に記憶された複数の計測パターンＰから、計測点Ｑを追加、削除又は変更した第３の計測パターンを選択する。

ここにおいて、第１の計測パターンから第３の計測パターンへの変更は１度に限られるものではなく、何度繰り返されても良い。これに伴い、計測パターンの投影及び検出も何度繰り返されても良い。また、パターン選択部は典型的にはパーソナルコンピュータ内に実現され、パターン記憶部はパーソナルコンピュータ内又は外付けの記憶装置内に実現されるので、これらは投影部と一体的に構成されても良く、分離構成されても良い。
このように構成すると、測定対象物の形状等に応じて計測パターンを最適化できるので、最適化された計測パターンを用いて、標定や三次元測定を効率化できる。また、計測パターンの投影から検出までを自動化できるので、標定や三次元測定の自動化を促進できる。

また、本発明の第３の態様は、第１又は第２の態様に係る三次元計測用投影装置において、例えば図１に示すように、投影部１２により投影された計測パターンＰを撮影する撮像部１０を備え、パターン検出部４９１は、撮像部１０により撮影された計測パターンＰの撮影画像から計測点Ｑを検出する。請求項１又は請求項２に撮像部を追加した構成である。ここにおいて、撮像部は投影部やパターン投影制御部等と一体的に構成されても良く、分離構成されても良い。

また、本発明の第４の態様は、第３の態様に係る三次元計測用投影装置において、撮像部１０は、焦点距離可変に構成され、投影部１２は、撮像部１０に設定された撮影可能な範囲に対応して、投影される計測パターンＰの投影範囲を設定可能である。このように構成すると、撮像部の焦点距離等に合わせて適当な投影範囲を設定できる。

また、本発明の第５の態様は、第１乃至第３のいずれかの態様に係る三次元計測用投影装置において、パターン投影制御部４９３は、投影部１０に一様な照明光で対象物を照明するテクスチャー取得用の照明を行なわせる。 このように構成すると、測定対象物の三次元形状を概略把握でき、第２の計測パターンの設計や第３の計測パターンの選択に有用である。

また、本発明の第６の態様は、第１乃至第３のいずれかの態様に係る三次元計測用投影装置において、パターン投影制御部４９３は、撮像部１０に係る焦点距離、撮影距離、基線長、オーバーラップ率のいずれか一つを入力することにより、計測パターンＰの計測点Ｑの配置、パターン密度を調整可能である。このように構成すると、撮像部の焦点距離等に合わせて適当な計測パターンを選択できる。

また、本発明の第７の態様は、第１乃至第３のいずれかの態様に係る三次元計測システム１００において、例えば図２に示すように、撮影画像は対をなすステレオ画像であり、ステレオ画像について標定を行なう標定部４４を備え、標定部４４は、第２の計測パターン又は第３の計測パターンを用いて標定を行う。このように構成すると、最適な計測パターンを用いて、高精度の標定を効率的に行うことができる。

また、本発明の第８の態様は、第１乃至第３のいずれかの態様に係るカラーコード付き標識において、カラーコードパターンＰ３は、形状及び寸法が同一であり色彩が異なる複数の単位パターンからなる。ここにおいて、形状が同一のパターンには、回転パターンや反転パターンも含まれるものとする。このように構成すると、規格化によりカラーコードパターンの抽出が容易、確実になる。また、カラーコードを判別し易くなる。

また、本発明の第９の態様は、第１乃至第３のいずれかの態様に係る三次元計測用投影装置を有する三次元計測システムにおいて、撮影画像は対をなすステレオ画像であり、ステレオ撮影画像のパターンマッチング処理を行うマッチング処理部７０を備え、マッチング処理部７０は、投影された第１の計測パターンの撮影画像を用いてマッチング処理を行い、パターン形成部４９２は、マッチング処理において検出された撮影画像上の不良領域に対応する第１の計測パターンの領域に計測点Ｑを追加して第２の計測パターン又は第３の計測パターンを形成する。

ここにおいて、マッチング処理において検出された不良領域とは、ステレオ画像のマッチング処理において、撮影画像上の大部分の計測点の座標が一致し或は座標の差が微小であるのに対して、座標の差が大きい領域をいう。これらの領域では精密な計測が行われていないので、計測点を増加することにより精密な測定が可能になる。このように構成すると、少ない繰り返しで精密測定に早く到ることができる。

また、本発明の第１０の態様は、第１乃至第６のいずれかの態様に係る三次元計測用投影装置を有する三次元計測システムである。このように構成すると、計測パターンを最適化できるので、最適化された計測パターンを用いて、標定や三次元測定を効率化できる。また、計測パターンの投影から検出までを自動化できるので、標定や三次元測定の自動化を促進できる。

また、本発明の第１１の態様に係る三次元計測用投影装置の計算処理部４９は、例えば図１に示すように、投影部１２を制御して計測点Ｑを表示する計測パターンＰを測定対象物に投影させるパターン投影制御部４９３と、投影部１２により投影された第１の計測パターンの撮影画像から計測点Ｑを検出するパターン検出部４９１と、パターン検出部４９１で検出された第１の計測パターンにおける計測点の変位に基づいて計測点を追加、削除又は変更した第２の計測パターンを形成するパターン形成部４９２とを備える。請求項１の三次元計測用投影装置に対応する計算処理部の発明である。

また、本発明の第１２の態様に係る三次元計測用パターン投影方法は、例えば図２３に示すように、計測点Ｑを表示する計測パターンＰを複数記憶するパターン記憶工程Ｓ７１０と、複数の計測パターンのうちの第１の計測パターンを測定対象物に投影する第１の投影工程Ｓ７２０と、第１の投影工程Ｓ７２０により投影された第１の計測パターンを撮影する撮像工程Ｓ７３０と、撮像工程Ｓ７３０により撮影された第１の計測パターンの撮影画像から計測点を検出するパターン検出工程Ｓ７４０と、パターン検出工程Ｓ７４０で検出された第１の計測パターンにおける計測点の変位に基づいて計測点を追加、削除又は変更した第２の計測パターンを形成するパターン形成工程Ｓ７５０，Ｓ７６０と、第２の計測パターンを測定対象物に投影する第２の投影工程Ｓ７７０とを備える。
このように構成すると、計測パターンを最適化できるので、最適化された計測パターンを用いて、標定や三次元測定を効率化できる。また、計測パターンの投影から検出までを自動化できるので、標定や三次元測定の自動化を促進できる。

また、本発明の第１３の態様に係る三次元計測用パターン投影方法は、例えば図２７に示すように、計測点Ｑを表示する計測パターンＰを複数記憶するパターン記憶工程Ｓ７１０と、複数の計測パターンのうちの第１の計測パターンを測定対象物に投影する第１の投影工程Ｓ７２０と、第１の投影工程Ｓ７２０により投影された第１の計測パターンを撮影する撮像工程Ｓ７３０と、撮像工程Ｓ７３０により撮影された第１の計測パターンの撮影画像から計測点を検出するパターン検出工程Ｓ７４０と、パターン検出工程Ｓ７４０で検出された第１の計測パターンにおける計測点の変位に基づいて、パターン記憶部４９５に記憶された計測パターンから、計測点を追加、削除又は変更した第３の計測パターンを選択するパターン選択工程Ｓ７５０，Ｓ７８０と、第３の計測パターンを測定対象物に投影する第３の投影工程Ｓ７９０とを備える。
このように構成すると、計測パターンを最適化できるので、最適化された計測パターンを用いて、標定や三次元測定を効率化できる。また、計測パターンの投影から検出までを自動化できるので、標定や三次元測定の自動化を促進できる。

また、本発明の第１４の態様に係る三次元計測用パターン投影方法は、第１２又は１３の態様に係る三次元計測用パターン投影方法において、例えば図５に示すように、撮像工程Ｓ７３０において、撮影画像は対をなすステレオ画像であり、ステレオ画像について標定を行なう標定工程Ｓ３０と、測定対象物の三次元形状を計測する三次元計測工程Ｓ５０とを備え、第２の計測パターン又は第３の計測パターンに追加される計測点は、標定工程Ｓ３０又は三次元計測工程Ｓ５０においてリファレンスポイントとして投影される。
ここにおいて、リファレンスポイントは第２の計測パターン又は第３の計測パターンに追加され、投影されてそのまま撮影に使用されても良く、測定対象物の投影された点に貼り付けて撮影に使用されても良い。このように構成すると、標定工程又は三次元計測工程において、順次リファレンスポイントを増やして精密標定又は精密測定に移行できる。

本発明によれば、ターゲットパターンを投影する投影装置を活用して、広域の非接触三次元測定を効率化し、自動化を促進することができる。

［第１の実施の形態］
以下に、図面に基づき本発明の第１の実施の形態について説明する。本実施の形態は、計測前準備としての計測パターン（標定パターンを含む）の投影を活用し、標定又は三次元計測に用いる計測パターンを再構成する例、また、計測パターンを構成するターゲット（標識）としてカラーコード付きターゲットを用いる例を示す。

［投影装置の構成］
図１に本実施の形態による投影装置８０の基本構成例のブロック図を示す。図１において、１２は計測パターン等の各種投影パターンを投影する投影部としてのプロジェクター、１０は投影されたパターンを撮影する撮像部としてのステレオカメラ、４９は計算処理部であり、撮像部１０で撮影した撮影画像から測定対象物１の特徴点、計測点、標識（ターゲット）などを検出するパターン検出部４９１、各種投影パターンやこれらの投影パターンに用いるカラーコード付きターゲットＣＴ、リファレンスポイントＲＦ等のパターン要素を形成するパターン形成部４９２、パターン形成部４９２で形成された投影パターンを投影部１２に投影させるパターン投影制御部４９３を有する。また、投影パターンの色彩を修正する色彩修正部４９４を有する。色彩修正部４９４は、例えば、テクスチャー照明モードで得られた撮影画像の彩色に基づいて投影パターン内のカラーコード付きターゲットＣＴの彩色を修正する。

投影パターンには、計測パターン、標定パターン、ランダムパターン、計測準備用パターン、重複撮影範囲表示用パターン、テクスチャー用照明パターン等の各種パターンがある。計測パターンＰは三次元計測に用いられる計測点Ｑ（位置検出用パターン等）を表示するもので、測定対象物に投影された計測点Ｑが三次元形状の計測点として使用される。標定パターンは標定に用いられる標定点を表示するもので、測定対象物に投影された標定点がステレオ撮影され、標定に使用される。ところで計測パターンと標定パターンを比較すると、通常は計測点数が標定点数に比して多いのであるが、その他に明確な区別がなく、通常は三次元計測に用いられる時は計測パターンといい、標定に用いられる時は標定パターンという。

ランダムパターンは計測点をランダムに配置した計測パターンの一種である。計測準備用パターンは標定や三次元計測の予備測定に用いられるパターンで、例えば図１６のような格子パターンや多数の小円をアレイ状に配置したパターンが使用され、それぞれ、格子の交差点や円形小点の重心点が計測点、標定点として使用される。しかし、これらに限られるものではなく、通常の標定パターンや計測パターンも計測準備用パターンとして使用可能である。本実施の形態では、計測パターン、標定パターン、ランダムパターン、計測準備用パターンは計測パターンに含まれるものとし、標定点は計測点に含まれるものとする。

重複撮影範囲表示用パターンはステレオ画像の重複範囲を表示するもので、例えば図７（ａ）に示すようにカラーコード付きターゲットＣＴを四隅に配置し、左右２枚のステレオ画像がこれら四隅のカラーコード付きターゲットを含むようにオーバーラップ部を定め、これを表示するものである。テクスチャー用照明パターンは、有形のパターンを用いず、一様な照明光で対象物を照明するテクスチャー取得用の照明を行なうパターンである。

［システム構成］
図２に本実施の形態における三次元計測システム１００の全体構成例のブロック図を示す。三次元計測装置１００は、撮像部１０、投影部１２、撮影画像データ記憶部１３、対応部４０、計算処理部４９、表示画像形成部５０、表示装置６０を備える。このうち、撮影画像データ記憶部１３、対応部４０、計算処理部４９、表示画像形成部５０は例えばコンピュータで構成されている。測定対象物１は、施工対象物・製作対象物となる有体物で、例えば建築物、工場等の各種工作物や人物・風景等が該当する。

投影部１２は測定対象物１に各種パターンを投影する。撮像部１０は、測定対象物１の撮影画像（典型的にはステレオ画像であるが、単写真画像をペアで用いても良い）を取得するもので、例えば測量用のステレオカメラ又は汎用のデジタルカメラと、これらのカメラで撮影された測定対象物１の画像に対してレンズ収差の補償を行なう装置を組合せた機器が用いられる。撮影画像データ記憶部１３は、測定対象物１の撮影画像を記憶するもので、例えば撮像部１０で撮影された測定対象物１のステレオ画像を記憶する。

対応部４０は、測定対象物１に係る一対の撮影画像又はモデル画像を対応付けて標定やステレオマッチングを行なうもので、測定対象物１の画像がステレオ画像の場合には、カラーコード付き標識の抽出、基準点設定、対応点探索の後に、標定処理を行う。また、三次元計測に際しステレオマッチングを行なう。抽出部４１、基準点設定部４２、対応点探索部４３、標定部４４、対応点指示部４５、識別コード判別部４６、パターン情報記憶部４７、撮影・モデル画像表示部４８、モデル画像形成部４８Ａ、モデル画像記憶部４８Ｂ、計算処理部４９を有している。このうち、抽出部４１、識別コード判別部４６、パターン情報記憶部４７は計算処理部４９のパターン検出部４９１としても機能する。また、マッチング処理部７０は、ステレオマッチングの主機能を担う部分で、基準点設定部４２、対応点探索部４３、対応点指示部４５を有する。

基準点設定部４２は、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。特徴点には、例えば測定対象物１の中心位置、重心位置、コーナー位置、測定対象物１に貼付された又は投影された標識（ターゲット）などがある。対応点探索部４３は、ステレオ画像の他方の画像（探索画像）上における、基準点設定部４２により設定された基準点と対応する対応点を定める。操作者が対応点指示部４５によって特徴点近傍に指示点を指示すると、操作者が厳格に特徴点を指示しなくても、基準点設定部４２によって操作者が基準画像で本来意図した特徴点に引き込まれると共に、対応点探索部４３によって探索画像の対応点が定められる。

標定部４４は、基準点設定部４２により設定された基準点と対応点探索部４３により求められた対応点を用いて、ステレオ画像などの一対の画像の対応点関係を求め、標定計算処理を行う。対応点指示部４５は、操作者が基準画像の特徴点近傍以外の点を指定した場合に、探索画像上での対応点を定める。操作者は、表示装置６０に表示される基準画像上の指示点と、対応点指示部４５によって定められる探索画像上での対応点の表示位置とを対比して、測定対象物１の特徴点の対応関係を容易に認識できる。また、対応点指示部４５による位置対応を用いて、標定部４４による相互標定が行なわれる。

計算処理部４９は撮像部１０から画像データを受け取って各種パターンを検出し、また、各種パターンを発生させ、投影部１２から投影させる。パターン検出部４９１は各種パターンを検出するが、このうち、抽出部４１、識別コード判別部４６の機能については後に図４で説明する。パターン情報記憶部４７は抽出部４１、識別コード判別部４６で検出、判別されたカラーコード付きターゲットの位置座標、カラーコード、リファレンスポイントの位置座標などのパターン情報を記憶する。なお、抽出された撮影画像の色彩補正は抽出部４１内の色彩補正部３１２が行ない、形成または選択された投影パターンの色彩修正は計算処理部４９の色彩修正部４９４が行う。

モデル画像形成部４８Ａは、標定部４４によって標定計算処理されたパラメータ（撮影したカメラの位置、傾き）から、モデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像（ステレオ画像）の対応点を同一エピポーララインＥＰ上に再配置し（図１０（ｂ）参照）、立体視可能な画像に再配置したものである。モデル画像記憶部４８Ｂは、モデル画像形成部４８Ａで形成された測定対象物１のモデル画像を記憶する。撮影・モデル画像表示部４８は、対応部４０で行う抽出、基準点設定、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル画像形成部４８Ａにより形成されたモデル画像を一対の画像として表示装置６０に表示する。

表示画像形成部５０は、測定対象物１の三次元座標データ及び測定対象物１の撮影画像又はモデル画像に基づき、任意の方向からの測定対象物１の立体的二次元画像を作成し、表示するもので、三次元座標データ演算部５１で測定対象物１に関する三次元計測位置座標を演算により求め、その結果を三次元座標データ記憶部５３に記憶する。立体的二次元画像形成部５４は、求められた三次元座標データに基づいて立体的二次元画像を作成し、その結果を立体的二次元画像記憶部５５に記憶する。立体的二次元画像表示部５７は立体的二次元画像記憶部５５に記憶された情報を基に任意の方向から見た立体的二次元画像を表示装置６０に表示する。

［カラーコード付きターゲット］
図３にカラーコード付きターゲットの例を示す。図３（ａ）はカラーコードの単位領域が３個、図３（ｂ）は６個、図３（ｃ）は９個のカラーコード付きターゲットである。図３（ａ）〜（ｃ）のカラーコード付きターゲットＣＴ（ＣＴ１〜ＣＴ３）は、位置検出用パターン（レトロターゲット部）Ｐ１、基準色パターン（基準色部）Ｐ２、カラーコードパターン（カラーコード部）Ｐ３、空パターン（白色部）Ｐ４で構成されている。これら、位置検出用パターンＰ１、基準色パターンＰ２、カラーコードパターンＰ３、空パターンＰ４はカラーコード付きターゲットＣＴ１内の所定の位置に配置される。すなわち、基準色パターンＰ２、カラーコードパターンＰ３、空パターンＰ４は位置検出用パターンＰ１に対して所定の位置関係に配置される。

レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの方向（傾斜の程度を表す）検出用、ターゲット領域検出用として使用される。

基準色部Ｐ２は、照明やカメラ等の撮影条件による色のズレに対応するために、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用する。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコード付きターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラーブリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコード付きターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。

カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、図３（ａ）のカラーコード付きターゲットＣＴ１では、カラーコード部Ｐ３の単位領域が３個のため、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位領域の数とカラーコード数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみで無く、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコード付きターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコード付きターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもカラーコード付きターゲットＣＴを画像中から検出することが可能である。

白色部Ｐ４は、カラーコード付きターゲットＣＴの方向検出用と色ズレのキャリブレーション用として使用する。カラーコード付きターゲットＣＴの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをカラーコード付きターゲットＣＴの方向検出用に使用できる。このように白色部Ｐ４はレトロターゲットと異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。

図４にカラーコード付きターゲットＣＴを抽出する抽出部４１及びそのカラーコードを判別する識別コード判別部４６の構成例を示す。抽出部４１は、探索処理部１１０、レトロターゲットグループ化処理部１２０、カラーコード付きターゲット検出処理部１３０、画像・カラーパターン記憶部１４０を有する。また、識別コード判別部４６はカラーコード付きターゲット検出処理部１３０で検出されたカラーコードを判別しコード番号を付与する。

探索処理部１１０は、撮影画像データ記憶部１３又はモデル画像記憶部４８Ｂから読み込まれたカラー画像（撮影画像又はモデル画像）から、レトロターゲットパターン等の位置検出用パターンＰ１を検出する。位置検出用ターゲットとして、レトロターゲットパターンの代わりにテンプレートパターンが用いられた場合は、テンプレートパターン検出をする。
レトロターゲットグループ化処理部は１２０は、探索処理部１１０で検出したレトロターゲットが同じカラーコード付きターゲットＣＴに属すると判断されたもの（例えば座標がカラーコード付きターゲットＣＴ内にあるもの）を同一グループに属する候補としてグループ化する。

カラーコード付きターゲット検出処理部１３０は、同じカラーコード付きターゲットに属すると判断されたレトロターゲットのグループから、当該カラーコード付きターゲットＣＴの領域と方向を検出するカラーコード付きターゲット領域方向検出処理部１３１と、カラーコード付きターゲットＣＴの基準色部Ｐ２、カラーコード部Ｐ３における色彩の配列、画像中の測定対象物１の色彩を検出する色彩検出処理部３１１と、基準色パターンＰ２を参照してカラーコード部Ｐ３及び画像中の測定対象物１の色彩を補正する色彩補正部３１２と、グループ化が適正になされたかを確認する確認処理部３１３で構成されている。 なお、抽出された撮影画像の色彩補正は色彩補正部３１２が行ない、形成または選択された投影パターンの色彩修正は色彩修正部４９４が行う。

画像・カラーパターン記憶部１４０は、抽出部４１に読み込んだ画像（撮影画像・モデル画像）を記憶する読込画像記憶部１４１と、使用が予定される複数種類のカラーコード付きターゲットＣＴについて、カラーコード付きターゲットＣＴの種別を示す種別コード番号を記憶し、さらに、各種のカラーコード付きターゲットＣＴについて、パターン配置とコード番号の対応関係を記録するカラーコード付きターゲット対応表１４２で構成されている。

識別コード判別部４６は、カラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するもので、カラーコード付きターゲット検出処理部１３０で検出されたカラーコード付きターゲットＣＴの領域と方向のデータに基づいて、カラーコード付きターゲットＣＴの座標を変換する座標変換処理部３２１と、座標変換されたカラーコード付きターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するコード変換処理部３２２で構成されている。

［システムの動作］
図５に、三次元計測システムの動作を説明するフローチャート例を示す。ここでは基本フローとして各種パターン投影に係るフローを除いたものを示し、各種パターン投影に係るフローは図１４で後述する。
まず、撮影対象物１にカラーコード付きターゲットを貼付する（Ｓ０１）。投影を行なう場合には貼付に代えて又は貼付と併用して投影が行なわれる。カラーコード付きターゲットを貼付した位置は、計測点Ｑとして標定や三次元計測に使用される。次に、デジタルカメラ等の撮像部１０を用いて撮影した測定対象物１の画像（典型的にはステレオ画像）を撮影し（Ｓ１０）、撮影した画像を撮影画像データ記憶部１３に画像登録する（Ｓ１１）。

図６にオーバーラップ撮影の例を示す。計測対象物１に対して、１台、２台もしくは複数台のカメラ１０にてオーバーラップするように撮影する（Ｓ１０）。カメラ１０の台数は１台〜複数台、何台でも良く、とくに制約はない。基本的には図６（ｂ）に示すように、２台１組のカメラでステレオ撮影し、このステレオ撮影した画像の一部をオーバーラップさせながら一連のステレオ画像を取得し、標定や三次元計測に供するのであるが、図６（ａ）に示すように、１台で複数方向からオーバーラップするように撮影しても良く、また、複数台のマルチカメラでオーバーラップするように撮影してもよい。この場合オーバーラップしあう２つの画像でペアを構成するが、１つの画像が例えば左隣の画像と１つのペアを構成し、右隣の画像と別のペアを構成しても良い。

図７に左右のステレオカメラで撮影される撮影画像の例を示す。図７（ａ）にステレオ画像のオーバーラップの様子を示す。計測される基本範囲は、２枚（一対）のステレオ撮影画像のオーバーラップ範囲である。このとき、４個のカラーコード付きターゲットＣＴがオーバーラップ範囲に入るように撮影するが好ましい。このようにするとステレオ画像を用いて三次元測定が可能である。また、図７（ｂ）に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。この様に、上下左右方向に２個のカラーコード付きターゲットＣＴを含んでオーバーラップするように一連の画像を撮影するのが好ましい。このようにすると広域にわたる非接触三次元測定の自動化が可能になる。

図５に戻り、次に、対応部４０は、撮影画像データ記憶部１３に登録された撮影画像又はモデル画像記憶部４８Ｂに記憶されたモデル画像を抽出部４１の画像・カラーパターン記憶部１４０へ読み込む。抽出部４１では撮影画像からカラーコード付きターゲットＣＴを抽出する（Ｓ１４）。識別コード判定部４６において、抽出されたカラーコード付きターゲットＣＴの識別コードを判別し（Ｓ１５）、抽出されたカラーコード付きターゲットＣＴの位置座標及び識別コードはパターン情報記憶部４７に記憶される。

［ステレオペアの設定］
次に、ステレオペアの設定に移行する。識別コードを利用して撮影画像データ記憶部１３に登録された画像のうち、ステレオペアとなる左右画像の組を設定する（Ｓ１６）。

図８に、ステレオペア選択（Ｓ１６）のフロー例を示す。まず。画像毎に登録されたカラーコード付きターゲットＣＴの番号をリストアップし（Ｓ５５０）、この中から、共通のコード番号のターゲットＣＴが複数含まれている画像からステレオペアを選択する（Ｓ５６０）。撮影の際に図７（ａ）に示すように、４つのカラーコード付きターゲットＣＴを含むようにステレオ撮影していれば、４つのカラーコード付きターゲットＣＴが入った画像が２枚ずつあるので、ステレオペアが設定できる。また、図７（ｂ）に示すように、各ステレオペア間で共通のコード番号のカラーコード付きターゲットＣＴが２個入っている場合は、その画像の上下左右いずれかの隣接画像の関係にあるので、各ステレオペア間での配置関係を決定できる（Ｓ５７０）。このステレオペア選択のフローは自動的に行うことが可能である。

次に、基準点設定部４２によって、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する（Ｓ１８）。また、対応点探索部４３によって、ステレオ画像の他方の画像（探索画像）上における、基準点と対応する対応点を定める（Ｓ１９）。

［標定］
つぎに、標定部４４によって、標定を行なう（Ｓ３０）。撮影画像データ記憶部１３に記憶された測定対象物１のステレオ画像の相互標定を行い、ステレオ画像のモデル画像に対する対応点関係を求める。
ここで、２枚以上の画像のそれぞれの対応点（同一点）を各画像上で基準点設定部４２と対応点探索部４３により、操作者がマウスカーソルなどで基準画像上で指示した指示点に対して、特徴点に適合する基準点と対応する対応点の画像座標を読み取る。この対応点は通常画像毎に６点以上必要である。予め測定対象物１について図示しない三次元位置測定装置で別途測定した三次元座標データを三次元座標データ記憶部５３に記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。記憶されていなければ相対標定を実行する。

たとえば、オーバーラップしたステレオ画像の中にカラーコード付きターゲットが４個あり、１つのカラーコード付きターゲット中に３点の位置検出用パターン（レトロターゲット）があれば、合計１２点の位置検出用パターン（レトロターゲット）の重心位置座標から標定処理できる。標定は最低でも６点以上あれば行えるので、位置検出用パターンはカラーコード付きターゲット中に最低２点あればよい。その場合８点で標定処理される。
なお、標定処理は、自動、マニュアル、もしくは半自動によっても可能である。半自動では、カラーコード付きターゲットＣＴ内の位置検出用パターンＰ１の近辺をマウスでクリックすれば、自動位置検出が行なえる。

次にステレオペア選択された各画像について、対応点の座標を用いて、標定部４４により標定計算処理を行う。標定計算処理により、撮影した左右それぞれのカメラの位置、傾き、対応点の位置、計測精度を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。

図９は、ステレオ画像におけるモデル座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。共面条件式により、左右カメラの位置を定めるのに必要とされるパラメータを求めることができる。

モデル画像形成部４８Ａは、標定部４４で標定されたパラメータに基づいて一対のモデル画像を形成し（Ｓ４２）、モデル画像形成部４８Ａで形成されたモデル画像は、モデル画像記憶部４８Ｂに記憶される（Ｓ４３）。撮影・モデル画像表示部４８は、このモデル画像をステレオ画像として表示装置６０に表示する（Ｓ４４）。

図１０にリファレンスポイントＲＦを有するターゲットの例を示す。リファレンスポイントＲＦを有する計測パターンを用いて標定を行なうことにより、また、標定を繰り返すことにより、標定の精度が向上するが、このような標定は、通常は一度標定処理されたモデル画像に基づいて行われる。モデル画像はモデル画像記憶部４８Ｂから抽出部４１の読込画像記憶部１４１に読み込まれて、再標定に用いられる。図１０（ａ）ではリファレンスポイントＲＦとして複数のレトロターゲットが配置されている。平面的な測定対象物１では、カラーコード付きターゲットＣＴだけでよい場合もあるが、測定対象物１の曲面が複雑な場合や曲率が大である場合は、カラーコード付きターゲットＣＴに加えてこれらリファレンスポイントＲＦとして多数のレトロターゲットを貼り付けたほうが標定や計測の信頼性が高くなる。

図１１にリファレンスポイントの自動対応付けのフロー例を示す。ここではこのリファレンスポイントＲＦの自動位置検出、対応付けについて説明する。まず、カラーコード付きターゲットＣＴ内の位置検出用パターン（レトロターゲット）Ｐ１の位置を検出する（Ｓ１１０）。図１０（ａ）において、４つのカラーコード付きターゲットＣＴ内の位置検出用パターンＰ１は合計１２点で６点以上あり、標定処理が可能である。そこで、標定処理を行い、次いで、偏位修正処理を行う。一般的には、標定作業により撮影カメラの位置と傾きを求めて（Ｓ１２０）、その結果を用いて偏位修正画像を作成する作業が行われる（Ｓ１３０）。ここでは、標定部４４の標定結果を用いてモデル画像形成部４８Ａにより、偏位修正画像を作成する処理を行う。

モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーララインＥＰ上に再配置し、立体視可能な画像に再配置したものである。偏位修正処理により偏位修正画像（モデル画像）を作成する。偏位修正画像とは、左右画像のエピポーララインＥＰを横一線となるように並べ替えた画像である。従って、図１０（ｂ）に示すように、左右画像のリファレンスポイントＲＦは同一エピポーララインＥＰ上に再配列される。標定処理の結果を用いてモデル画像を形成すると、このような偏位修正画像を得られる。

次に、同一エピポーララインＥＰ上のリファレンスポイントＲＦとなるターゲットを探索する（Ｓ１４０）。偏位修正画像になっていれば、同一ライン上の一次元探索だけで済むので、探索が容易である。他の場合は、エピポーララインＥＰだけではなく、その近辺を数ライン分探索する。図１０（ｂ）のように、同一ライン上でリファレンスポイントＲＦが見つかったら、それを対応点として対応付けし、識別（ナンバリング）する（Ｓ１５０）。ここで、もしリファレンスポイントＲＦが同一ライン上に複数ある場合は、その左右の位置から各リファレンスポイントＲＦを識別する。次に、検出されたリファレンスポイントＲＦを加えて、再度標定を行う（Ｓ１６０）。ここで、再度標定を行うことで、標定の信頼性を向上できる。標定結果の精度が十分で（Ｓ１７０）、問題なければ処理を終了する。不十分であれば、悪い点を削除し（Ｓ１８０）、再度標定をやり直す（Ｓ１６０）。

［マッチングエリア決定］
図５に戻り、次に、対応部４０にてマッチングエリアの決定（三次元計測範囲の決定）（Ｓ４５）を行い、三次元座標演算部５１にて三次元計測（ステレオ計測）を行い（Ｓ５０）、三次元座標データ記憶部５３にステレオ画像の対応点の三次元座標を登録する。マッチングエリアの決定（Ｓ４５）には、マニュアル計測、半自動計測、自動計測が可能である。半自動では、カラーコード付きターゲットＣＴ内の位置検出用パターンＰ１の近辺をマウスでクリックすれば、自動位置検出が行なえる。

次に、ステレオマッチングエリアの自動決定いついて説明する。図７（ａ）に示すように、ステレオ画像の４隅に配置されたカラーコード付きターゲットＣＴを含むように対応点探索部４３でマッチング範囲を自動設定する。なお、マッチングの前に、一連のモデル画像について、隣接し合うモデル画像で共有されたカラーコード付き標識ＣＴの識別コードが一致するように、測定対象物１に係る一連のモデル画像を配列して用いても良い。

図１２にステレオマッチングエリアの自動決定の処理フロー例を示す。また、図１３はステレオマッチングエリア設定を説明するための図である。図１３はカラーコード付きターゲットＣＴが位置検出用の３つのレトロターゲットを有する例である。まず、ステレオ画像の４隅に配置されたカラーコード付きターゲットＣＴを抽出する（Ｓ１６０）。次に４つのカラーコード付きターゲットＣＴ内にある各レトロターゲット部Ｐ１を検出する（Ｓ１７０）。これらの検出については図１７及び図１８の説明を参照されたい。次に、その検出された各レトロターゲット部Ｐ１の座標値から全てのレトロターゲット部Ｐ１を含むように、最も外側のレトロターゲット部Ｐ１を繋いだエリアを計測エリアとして設定する。すなわち、左上を原点（０，０）とした場合、Ｙ座標が最小の点同士を結べば水平の上ライン、Ｙ座標が最大値の点を結べば水平の下ライン、Ｘ座標が最小値の点を結べば垂直方向の左ライン、Ｘ座標が最大値の点を結べば垂直方法の右ライン、というふうに、計測すべきマッチングエリアを自動で決定できる。

このように、マッチング領域を決定することで、図７（ｂ）に示すように、各モデル画像間のオーバーラップも確実にとれるようになる。すなわち、カラーコード付きターゲットＣＴを画面の４隅の近くに配置し、常にこれらのカラーコード付きターゲットＣＴの最も外側にあるレトロターゲットを結ぶ領域をマッチングエリアとすることで、ステレオマッチングエリアが自動的に決められると同時に、各モデル画像間のオーバーラップを確実にすることができる。この場合、各カラーコード付きターゲットＣＴに位置検出用パターン（レトロターゲット部）Ｐ１を最低２点以上配置（２点の場合は対角に配置）すれば、マッチングエリアの自動設定処理が可能となる。

全自動の場合、コード識別数が多ければ、隣接画像のオーバーラップをとりながら一対の画像（典型的にはステレオ画像）を基本単位として、任意の順序で撮影可能である。また、撮影順番を決めれば、コード識別数が少なくても自動化が可能である。その場合、ステレオ撮影された（オーバーラップした）２枚の画像中のカラーコード付きターゲットＣＴが識別できればよい。マッチングエリアの決定（Ｓ４５）がなされた領域については、三次元計測（ステレオ計測）がなされる（Ｓ５０）。三次元計測には、例えば相互相関係数法を利用した画像相関処理が用いられる。画像相関処理は対応部４０（抽出部４１、基準点設定部４２、対応点探索部４３など）の機能及び三次元座標データ演算部５１の演算処理によりなされる。

三次元座標データ演算部５１の演算処理にて測定対象物１の三次元座標が求められ、三次元座標データ記憶部５３に記憶される。三次元座標データ演算部５１にて求められた三次元座標あるいは三次元座標データ記憶部５３から読み込まれた三次元座標から、立体的二次元画像形成部５４にて測定対象物１の立体的二次元画像を作成し、立体的二次元画像記憶部５５にて立体的二次元画像を記憶する。立体的二次元画像表示部５７は立体的二次元画像記憶部５５に記憶された情報を基に任意の方向から見た立体的二次元画像を表示装置６０に表示する。

かかる立体的二次元画像の画面は、任意の方向からの斜視状態を表すことが可能な測定対象物１の立体的二次元画像であり、ワイヤーフレーム面やテクスチャーマッピングによる画像の表示も可能である。テクスチャーマッピングとは、測定対象物１の二次元画像に立体感を表現するテクスチャーを貼り付けることをいう。
このようにして、撮影（Ｓ１０）〜三次元計測（Ｓ５０）までは自動計測が可能であり、測定対象物１の三次元座標が求められ、立体的画像が表示装置６０に表示される。（特許文献２参照）

〔投影装置の利用〕
本実施の形態では、この基本処理フローに投影部（プロジェクター）１２を利用することにより、次の処理を可能とするものである。
（ａ）プロジェクター１２でカメラで撮影する範囲を照明し、ステレオカメラ１０でその範囲を撮影するように調整する。
また、カラーコード付きターゲットＣＴを投影パターンの４隅に配置して撮影範囲（重複撮影範囲）を表示すると共に、隣接画像の接続に用いるようにすることも可能である。
（ｂ）プロジェクター１２でテクスチャー用照明（照明のみ）を投影し、カメラ１０では、１つのモデル画像のテクスチャー用の画像（測定対象物の画像）としてステレオペア画像を撮影する。

（ｃ）計測前準備として、プロジェクター１２から計測準備用パターンを投影し、これをステレオ撮影する。計測準備用パターンは例えば図１６のように多数の小円をアレイ状に配置したパターンや格子パターンを用いることができる。測定対象物１の形状が目視、あるいは計算処理にてわかるパターンであればよい。チェックは目視もしくは計算処理にて行う。計測対象物１の形状に応じて投影パターンが変形するので、パターンの変形点をチェックすることにより、測定対象物１の形状の概略を把握できる。

計測前準備で抽出した変形点に、リファレンスポイントＲＦを貼り付ける、もしくは、計測点Ｑ（標定点を含む）を増加する等の処置が可能である。また、標定点の大きさ、数、配置などを計算して本番のパターン投影に反映できる。

計測前準備で変形点のチェックを行なうに際し、概略測定を併せて行なう方法も可能である。すなわち、撮影画像をパターン検出部４９１を介して標定部４４に送り、標定計算をする。さらに、計測準備用パターンの計測点数が十分多い場合など、投影した標定点を計測点として計測処理を完了することも可能である。

（ｄ）標定処理において、プロジェクター１２からカラーコード付きターゲットＣＴ及びリファレンスポイントＲＦを投影する。ここで、カラーコード付きターゲットＣＴを照射された位置に貼り付ける。計測前準備で貼ってある場合はそれ以外の点に貼る。なお、投影されたパターンから計測する場合は貼り付ける必要はなく、これをステレオ撮影し、再度標定処理に利用する。

（ｅ）三次元計測において、プロジェクター１２から計測用のパターンを投影する。この場合、例えばステレオマッチング用にランダムパターンなどを照射する。計測用パターンは、先にカメラコンディションにより必要精度が算出されており、その精度に見合った大きさの計測用パターンが照射される。これをステレオ撮影し、三次元計測に利用する。

（ｆ）次の撮影位置に移動するときに、プロジェクター１２によって次の撮影位置を概略ナビゲ−ションしてもよい。
なお、以上の処理を全自動化することも可能である。その場合、貼り付け作業は行わず、すべてプロジェクターからの投影パターンを用いて、計測前準備、標定及び三次元計測を行なう。

図１４に、投影装置を利用する計測フローの例を示す。プロジェクター１２で第１の計測パターン（予備測定用パターン等）を投影し、投影されたパターンの変形に基づき第２の計測パターン（精密測定用パターン等）を形成して投影するものである。
まず、撮影コンディションを入力する（Ｓ２００）。撮像部１０は、焦点距離可変の光学系で構成される。撮影コンディションは、撮像部１０のカメラパラメータとして、使用するデジタルカメラの画素数、概略ピクセルサイズ、焦点距離、撮影距離、基線長、オーバラップ率のいずれか一つを入力すれば、平面分解能、奥行き分解能、画角、計測領域などを計算できる。すなわち、撮像部１０における撮影範囲に応じて、投影部１２は投影されるパターン範囲を設定することができる。これにより予備測定用パターンの計測点の配置、パターン密度を調整可能である。加えて、サイドラップ率、計測したい領域の大きさ等を入力すれば、撮影枚数が計算できる。あるいは、カメラパラメータと必要精度（画素分解能）などを入れてカメラの撮影距離、基線長などを計算することも可能である。

次に、入力されたコンディションによってカメラパラメータを計算する（Ｓ２１０）。この場合、そのコンディションによって、平面画素分可能、奥行き分解能、一対のステレオ画像における計測範囲の大きさ、測定対象物全体の画像を得るための必要画像枚数などが算出される。
平面分解能、奥行き分解能の計算式は以下のとおりである（＊は乗算演算子）。

Δｘｙ（平面分解能）＝δｐ（ピクセルサイズ）＊Ｈ（撮影距離）／ｆ（焦点距離）
Δｚ（奥行き分解能）＝δｐ＊Ｈ＊Ｈ／（ｆ＊Ｂ（基線長：カメラ間距離））

次に、撮像部１０のカメラパラメータの計算結果に合致するように、プロジェクター１２の位置、投影条件を設定する（Ｓ２２０）。

次に、プロジェクター１２を撮影範囲表示モードとして、カメラ１０で撮影する範囲を投影する（Ｓ２３０）。投影は左右のステレオカメラ１０で撮影される範囲のみの照明となっていてもよい。この場合、先に入力したコンディションと使用するプロジェクター１２の画角から自動的に計算してその範囲を照明もしくは表示する。左右の撮影範囲の重複範囲から標定や三次元計測可能な有効範囲が定まる。重複撮影範囲表示用パターンはステレオ画像の重複範囲（オーバーラップ部）を表示するもので、パターン投影制御部４９３により４個のカラーコード付きターゲットＣＴを投影し、図７（ａ）に示すように重複範囲の四隅に配置するように設定し、パターン形成部４９２でこの配置状態のパターンを重複撮影範囲表示用パターンとして形成する。そして各種計測パターンにこの重複撮影範囲表示用パターンを重ねて投影すると、又は各種計測パターンに重複撮影範囲表示用パターンと同じ位置に４個のカラーコード付きターゲットＣＴを追加して投影すると、ステレオ画像を撮影する際に４個のカラーコード付きターゲットＣＴを含めるように撮影でき、さらに、隣接する画像を接続できるようして、測定対象物全体に亘る一連のステレオ画像を撮影できる。

次に、投影された範囲がほぼ画面一杯に写るようにカメラ位置を設定する（Ｓ２４０）。この場合、重複撮影範囲表示用パターンにおける４個のカラーコード付きターゲットＣＴが確実に左右のステレオ撮影画面に入るように設定する。なお、先に入力されたコンディションで概略のカメラ位置は既知なので、それらのカメラコンディションを測定対象物に投影して確認できるようにそても良い。

次に、投影モードをテクスチャー照明モードとして、テクスチャー用照明をプロジェクター１２より投影する（Ｓ２４５）。テクスチャー用照明とは、有形のパターンを用いず、一様な照明光で対象物を照明するもので、測定対象物１にターゲットを貼り付ける位置を検討するためにも有効である。もし、撮影範囲を投影する工程（Ｓ２３０）で照明のみの投影を行なっている場合には、この作業は不要である。

次に、テクスチャー用の画像として１モデル（ステレオペア：２枚の画像）を撮影する（第１の撮影 Ｓ２５０）。テクスチャー画像が必要ないときは、ここで撮影しなくともよい。なお、テクスチャー照明モードで投影されたパターンの撮影画像から取得された色彩に基づいて、投影部１２により投影するカラーコード付きターゲットＣＴの色彩を修正することも可能である。修正は例えばパターン形成部４９２で色彩修正部４９４を利用して行ない、パターン投影制御部４９３で修正された計測パターンを投影部１２に投影させる。
なお、以上の工程は、図５の処理フローの前に、少なくとも撮影（Ｓ１０）の前に行われる。

次に計測前準備（予備測定）（Ｓ２５５）について説明する。計測前準備を行う理由は、本番の標定や三次元計測を効率良く行えるようにするためである。したがって、対象物によって行っても行わなくともよい。あるいは一度やっておけば、類似の対象物を計測する場合には必要ない。

図１５に計測前準備（Ｓ２５５）の処理フロー例を示す。計測前準備（Ｓ２５５）は図５の撮影（Ｓ１０）の前に行われる。まず、プロジェクターの投影モードを計測モードとして、計測準備用パターンを投影する（Ｓ３００）。なお、計測準備用パターンも計測パターンＰの１態様である。図１６に計測準備用パターンの例を示す。図１６（ａ）は多数の小円をアレイ状に配置したパターン（小円パターンという）であり、図１６（ｂ）は格子パターンである。しかし、これらに限られるものではなく、測定対象物１の形状が目視、あるいは計算処理にてわかるパターンであればよい。すなわち、測定対象物の形状の起伏が存在する位置に適当な間隔でくまなく配置できるパターンであればよい。小円パターンや格子パターンの場合、計測対象物１の形状に応じて投影したパターンが変形するので、計測点の変位をパターンの変形点をチェックすることにより見出し、測定対象物１の形状の概略を把握できる。ここにおいて、変位とは測定対象物表面が投影光に垂直な平面に投影された場合の計測点からの変位をいう。

撮影コンディション入力工程（Ｓ２００）で撮影コンディションを入力しているので、この値から、標定点の大きさ、数、配置などを計算してパターン形成部４９２により計測パターンを形成し、パターン投影制御部４９３により投影部１２に投影させても良い。また、同時にリファレンスポイントＲＦやカラーコード付きターゲットＣＴを格子の交差点や小円の重心点等に挿入又は置換して計測準備用パターンとしてもよいし、他の形状のものを挿入又は置換してもよい。

次に、パターンの変形点をチェックする（Ｓ３１０）。チェックは目視もしくは計算処理にて行う。ここでは、予備的におよその形状を予測できれば良いので、目視でも可能な場合が多い。計算処理の場合、ステレオカメラ１０からの撮影画像をパターン検出部４９１にて格子の交差点や小円の重心点の変位を検出する。格子の交差点や小円の重心点は計測点に含まれる。例えば、格子の交差点や小円の重心点が等間隔でない箇所などを変形点（変位が生じている点）として検出すればよい。小円パターンの場合は重心位置検出アルゴリズムによって重心点を検出し、位置計測する。これにより、計測準備用パターンを第１の計測パターンＰとし、格子の交差点や小円の重心点をその計測点Ｑとすれば、パターン検出部４９１で第１の計測パターンにおける計測点の変位が検出されることとなる。

変形点（変位が生じている点）が検出されたら、変形点にリファレンスポイントを貼り付ける、もしくは、計測準備用パターンにリファレンスポイントを追加する（Ｓ３２０）。チェックが目視の場合、変形点をチェックした時点でリファレンスポイントを貼り付けても良い。自動化処理の場合は、変位の大きさすなわち変形の大きさに応じて計測準備用パターンにリファレンスポイントを追加する。
このように、計測前準備を行うことにより、パターン変形点を事前に見出し、リファレンスポイントとして測定対象物１にターゲットを貼り付けたり、リファレンスポイントを追加した投影パターンを作成する、また、変形点付近のリファレンスポイントを増加する。これにより、標定や三次元計測を効果的に行うことができる。リファレンスポイントを追加した投影パターンを作成する場合には、これにより、パターン検出部４９１で検出された第１の計測パターンにおける計測点の変位に基づいて、パターン形成部４９２で計測点を追加した第２の計測パターンを形成することとなる。

図１４のフローに戻り、次に、カラーコード付きターゲットＣＴ及びリファレンスポイントＲＦを投影する（Ｓ２６０）。この工程は図５のＳ０１に相当する。計測前準備が行われた場合には、その結果として、測定対象物１の変形点又は計測パターンＰのこれに対応する点にリファレンスポイントＲＦが増加されている。ここで、カラーコード付きターゲットＣＴを測定対象物１の照射された位置に貼り付ける。前準備で貼ってある場合はそれ以外の点に貼る。なお、投影された計測パターンＰを用いて計測する場合は貼り付ける必要はない。

次に、ステレオ撮影する（第２の撮影 Ｓ２７０）。この工程は図５のＳ１０に相当する。測定対象物に貼り付けられた又は計測パターンに追加されたカラーコード付きターゲットＣＴ及びリファレンスポイントＲＦを含んで、第２の撮影がされる。この第２の撮影で得られた撮影画像は、標定に用いられ、効率的な標定が行われる（Ｓ２７５ 図５のＳ１１〜Ｓ３０に相当する）。また、第２の撮影において使用された計測パターンを第１の計測パターンとして標定を行い、新たに標定点（計測点に含まれる）に変形点（変位が生じたもの）が見出され、これらの変形点付近のリファレンスポイントを増加した場合には、パターン検出部４９１で第１の計測パターンにおける計測点の変位が検出され、パターン形成部４９２でこの変位に基づいて計測点を追加した第２の計測パターンを形成することとなる。

次に、投影モードを例えばランダムパターンモードとして、三次元計測用の計測パターンを投影する（Ｓ２８０）。この工程は図５のＳ０１に相当する。この場合、例えばステレオマッチング（三次元計測）用にランダムパターンなどを照射する。計測パターンは、先にカメラコンディションにより必要精度が算出されているので、その精度に見合った大きさの計測パターンが照射される。計測前準備が行われた場合には、計測パターンにも、変形点にリファレンスポイントが増加されている。

次に、ステレオ撮影する（第３の撮影 Ｓ２９０）。この工程は図５のＳ１０に相当する。測定対象物に貼り付けられた又は計測パターンに追加されたカラーコード付きターゲットＣＴ及びリファレンスポイントＲＦを含んで、第３の撮影がされる。この第３の撮影で得られた撮影画像は、三次元計測に用いられ、効率的な形状計測が行われる（Ｓ２９５、図５のＳ４２〜Ｓ５０に相当する）。また、第３の撮影において使用された計測パターンを第１の計測パターンとして三次元計測を行い、新たに計測点に変形点（変位が生じたもの）が見出され、これらの変形点付近のリファレンスポイントを増加した場合には、パターン検出部４９１で第１の計測パターンにおける計測点の変位が検出され、パターン形成部４９２でこの変位に基づいて計測点を追加した第２の計測パターンを形成することとなる。
この設置位置で計測が行われたら、つぎの撮影位置に移動する（Ｓ２９８）。すなわち、Ｓ２２０に戻って（場合によりＳ２００に戻って）、測定対象物全体の三次元データを得るまで、撮影が繰り返される。

このときプロジェクターによって次の撮影位置についてナビゲーションしてもよい。ナビゲーションとは例えば、投影された格子状パターンの歪具合から、標定点の数、配置を選択してラフ測定を行い、標定点の配置を検討したり、ミスマッチング領域を探して標定点の増加を検討したりすることをいう。すなわちナビゲーションの結果により、パターンの貼付位置又は投影位置が定められる。

なお、第２の計測パターンを形成するに際し、計測点を減少又は変更することも可能である。例えば、リファレンスポイントをカラーコード付きターゲットに変更する、カラーコード付きターゲットのカラーコードパターンを変更する、特徴点付近の計測点を特徴点に移動する、前段階に戻って計測を行なうため、リファレンスポイントを減少する、標定不良点を削除するなどの場合がある。
図１４の処理を全自動化することも可能である。その場合、ターゲットの貼り付けは行わず、すべてプロジェクターからの投影パターンを用いて計測準備、標定及び三次元計測を行なう。また、図５の処理フローにおいて投影装置の利用によりカラーコード付き標識貼り付け（Ｓ０１）がカラーコード付き標識投影に代えられれば、このフローの全自動化も可能である）。

［カラーコード付きターゲットの検出フロー］
次に、カラーコード付きターゲットの検出フローについて説明する。カラーコード付きターゲットの検出はマニュアルもしくは自動処理で行う。自動処理の場合、カラーコード付きターゲットＣＴの色識別数もしくは撮影方法により異なったものとなる。まず最初に、カラーコード付きターゲットＣＴの色識別数が多い場合について説明する。この場合、撮影の順番に制約はなく、全自動処理が可能となる。

図１７にカラーコード付きターゲットの検出のフロー例を示す。図５のＳ１４〜Ｓ１５の工程の例である。
まず、処理対象のカラー画像（撮影画像又はモデル画像）を抽出部４１の読込画像記憶部１４１に読み込む（Ｓ５００）。次に、読込まれた各画像よりカラーコード付きターゲットＣＴを抽出する（Ｓ５１０）。

探索方法は、（１）カラーコード付きターゲットＣＴ中の位置検出用パターン（レトロターゲット）Ｐ１を探索する方法、（２）カラーコード部Ｐ３の色分散を検出する方法、あるいは（３）彩色された位置検出用パターンを用いる方法など種々の方法がある。

（１）カラーコード付きターゲットＣＴにレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を２値化することにより簡単にレトロターゲットを検出できる。

図１８はレトロターゲットを用いた重心位置検出の説明図で、（Ａ１）は内円部２０４の明度が明るく、外円部２０６の明度が暗いレトロターゲット、（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット、（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが図１８（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図１８（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。

ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図１８（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
ここに、（ｘｇ、ｙｇ）は重心位置の座標、ｆ（ｘ、ｙ）は（ｘ、ｙ）座標上の濃度値である。
なお、図１８（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
これにより、レトロターゲット２００の重心位置が求まる。

（２）通常、カラーコード付きターゲットＣＴのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコード付きターゲットＣＴを検出できる。
（３）カラーコード付きターゲットＣＴに使用している３隅のレトロターゲットに異なる色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする。３隅のレトロターゲットに異なる色をもたせているため、１つのカラーコード付きターゲットに属する各レトロターゲットを判別しやすい。レトロターゲットグループ化処理において、多数のレトロターゲットを使用する場合にも、異なる色のレトロターゲットで一番距離が近いものをグループ候補として選択することにより、処理が簡単になる。

リファレンスポイントＲＦとして多数のレトロターゲットを用いる場合には、カラーコード付きターゲットＣＴのレトロターゲットと単体のレトロターゲットが混在するので、カラーコード付きターゲットＣＴのレトロターゲットを彩色したレトロターゲットとし、単体のレトロターゲットを白色とすれば、判別し易い。

ここでは、（１）の例について説明する。図１７において、レトロターゲット検出処理部１１１は、カラー画像中から検出した複数のレトロターゲットの座標を読込画像記憶部１４１に保存する。
次に、レトロターゲットグループ化処理部１２０は、読込画像記憶部１４１に保存されたレトロターゲットの座標から、探索処理部１１０で検出したレトロターゲットが同じカラーコード付きターゲットＣＴに属すると判断されたもの（例えば座標がカラーコード付きターゲットＣＴ内にあるもの）を同一グループに属する候補としてグループ化し、読込画像記憶部１４１にその候補の組み合わせ（３個１組）をグループとして保存する（Ｓ５２０）。確認は、例えば、検出したカラーコード付きターゲットＣＴ内の３個のレトロターゲット間の距離及び３個のレトロターゲットを結ぶ三角形の頂角を計測することにより可能である（Ｓ５３０参照）。
さらに、検出したカラーコード付きターゲットＣＴのパターンをカラーコード付きターゲット対応表１４２と照合することにより、どの種別のカラーコード付きターゲットであるかを確認する。

次に、カラーコード付きターゲット検出処理部１３０は、領域方向検出処理部１３１において読込画像記憶部１４１に保存された、レトロターゲットのグループ単位にレトロターゲットの重心位置からカラーコード付きターゲットＣＴの領域と方向を求める（Ｓ５３０）。この領域と方向を求める前又は後に、色彩検出処理部３１１で基準色部Ｐ２、カラーコード部Ｐ３、画像中の測定対象物１の色彩を検出する。必要であれば、色彩補正部３１２で基準色部Ｐ２の色を基準にしてカラーコード部Ｐ３や画像中の測定対象物１の色彩を補正する。また、基準にならない印刷色のカラーコード付きターゲットを使用した場合には、その基準色部を併せて補正する。そして確認処理部３１３において、グループ化が適正に行なわれたか、すなわち、一旦グループ化されたレトロターゲットの重心位置が同じカラーコード付きターゲットＣＴに属するか否かを確認する。同じグループに属すると判別された場合は次の識別コード判別処理（Ｓ５３５）に進み、同じグループに属さないと判別された場合には、再度グループ化処理（Ｓ５２０）に戻る。

図１９、図２０にカラーコード付きターゲット領域方向検出処理部１３１の処理フロー例を示す。また、図２１、図２２でレトロターゲットのコード読み込みを説明する。ここでは、図３（ａ）のカラーコード付きターゲットＣＴ１からコードを読み込む手続きについて説明する。
カラーコード付きターゲットＣＴ１からコードを読み込むには、カラーコード付きターゲットＣＴ１の領域と方向を知る必要があるため、３つの位置検出用レトロターゲットの重心点をＲ１，Ｒ２，Ｒ３にラベリングする（図２１（ａ）参照）。

ラベリング方法は、対象の３つのレトロターゲットの重心点Ｒ１〜Ｒ３を通る三角形を作成する（Ｓ６００）。３つのレトロターゲットの重心点Ｒ１〜Ｒ３の中から適当に１つを選んでＴ１と仮にラベリングし（Ｓ６１０）、残りの２つの重心点を時計回りにＴ２，Ｔ３と仮にラベリングをする（Ｓ６１２、図２１（ｂ）参照）。
次に、それぞれの重心点を通る辺をラベリングする。Ｔ１とＴ２を通る辺をＬ１２、Ｔ２とＴ３を通る辺をＬ２３、Ｔ３とＴ１を通る辺をＬ３１とする（Ｓ６１４、図２２（ａ）参照）。

次に、三角形の内側を各頂点（重心点）から半径Ｒ離れた画素値を弧状にスキャンをして、スキャンした範囲で色の変化みる（図２２（ｂ）参照）。
重心点Ｔ１では、Ｌ１２からＬ３１を時計回りに、重心点Ｔ２では、Ｌ２３からＬ１２を時計回りに、重心点Ｔ３では、Ｌ３１からＬ２３を時計回りにスキャンをする（Ｓ６２０〜Ｓ６２５）。
半径の決め方は、スキャンをする角度に応じて画像上でレトロターゲットのサイズに倍率をかけて決める。レトロターゲットを斜め方向から撮影された場合は楕円になるため、スキャン範囲も楕円形状になる。倍率は、レトロターゲットのサイズと、レトロターゲット重心位置と基準色部Ｐ２の距離によって決められる。

ラベリングの確認処理は、確認処理部３１３により行われる。スキャンの結果に色の変化があった重心点をＲ１とし、残りの２つの重心点は、色の変化があった重心点から時計回りにラベリングしてＲ２、Ｒ３とする（Ｓ６３０〜Ｓ６３２）。この例では、重心点Ｔ２をＲ１、重心点Ｔ３をＲ２、重心点Ｔ１をＲ３とする。色の変化があった重心点が１つ、色の変化がない重心点が２つ検出されなかった場合は、レトロターゲットの組み合わせエラーとなり（Ｓ６３３）、３組のレトロターゲットを新たに選出して（Ｓ６３４）、Ｓ６００に戻る。このように、処理の結果から、選ばれた３つレトロターゲットが、同じカラーコード付きターゲットＣＴ１に属するか否かも確認できる。このようにしてレトロターゲットのグループ化が確定する。
上記のラベリング方法は、図３（ａ）のカラーコード付きターゲットＣＴ１を例に説明したが、他の、カラーコード付きターゲットＣＴについても、一部の処理を変えることにより同様の処理ができる。

［コードの識別］
図１７に戻り、識別コード判別部４６は、抽出部４１で抽出されたカラーコード付きターゲットＣＴ１について、座標変換処理部３２１においてグループ化されたレトロターゲットの重心位置に基づいて、カラーコード付きターゲットＣＴ１の設計値にあうように座標変換し、次に、コード変換処理部３２２において、カラーコードを識別し（Ｓ５３５）、コード変換してカラーコード付きターゲットＣＴ１の識別コードを求め（Ｓ５４０）、読込画像記憶部１４１に保存する（Ｓ５４５）。

図２０でこの処理フローを説明する。曲面に貼付された、斜め方向から撮影された等により、形に歪のあるカラーコード付きターゲットの撮影画像を、ラベルＲ１，Ｒ２，Ｒ３を用いて、歪のない正面図に座標変換する（Ｓ６４０）。座標変換することより、カラーコード付きターゲットの設計値を参照して、レトロターゲット部Ｐ１・基準色部Ｐ２・カラーコード部Ｐ３・白色部Ｐ４を判別しやすくなり、後の処理が進め易くなる。

次に、座標変換されたカラーコード付きターゲットＣＴ１上で、設計値どおりに白色部Ｐ４があるか確認をする（Ｓ６５０）。設計値どおりでない場合は検出エラーとなる（Ｓ６３３）。設計値どおりに白色部Ｐ４がある場合は、カラーコード付きターゲットＣＴ１が検出されたと判断される（Ｓ６５５）。

次に、色彩補正され、領域と方向がわかったカラーコード付きターゲットＣＴ１のカラーコードの判別をする。
カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。例えば、コード色数がｎで単位領域が３個の場合、ｎ×ｎ×ｎのコードを表せ、他の単位領域に使用されている色を重複して使用しないという条件を課した場合は、ｎ×（ｎ−１）×（ｎ−２）のコードを表せる。コード色数がｎ、単位領域がｎ個で、色を重複して使用しないという条件を課した場合は、ｎの階乗通りのコードを表現できる。
識別コード判別部４６は、コード変換処理部３２２において、カラーコード部Ｐ３における単位領域の配色の組み合わせを、カラーコード付きターゲット対応表１４２の配色の組み合わせと比較・照合して識別コードを判別する。

色彩の判別方法は、（１）基準色部Ｐ２の色とカラーコード部Ｐ３の色を比較して決める相対比較方法と、（２）基準色部Ｐ２の色と白色部Ｐ４の色を使ってカラーコード付きターゲットＣＴ１の色補正を行い、その補正された色でカラーコード部Ｐ３のコードの判別をする絶対比較方法の、二つの方法がある。例えば、カラーコード部Ｐ３に使用する色数が少ない場合は基準色を相対比較の比較色として使用し、カラーコード部Ｐ３に使用する色数が多い場合は、色を補正するためにキャリブレーション用の色として絶対比較の比較色として使用する。前述のように、色彩の検出は色彩検出処理部３１１で、色補正は色彩補正部３１２で行う。

識別コード判別部４６は、コード変換処理部３２２において、（１）、（２）どちらかの方法を使用して、基準色部Ｐ２とカラーコード部Ｐ３を検出し（Ｓ６６０、Ｓ６７０）、カラーコード部Ｐ３の各色を判別し（図１７のＳ５３５）、色をコードに変換して、対象のカラーコード付きターゲットＣＴ１の識別コードを求める（Ｓ６８０、図１７のＳ５４０）。
そして画像ごとに、当該画像に含まれるカラーコード付きターゲットＣＴ１の番号をパターン情報記憶部４７に登録する（図１７のＳ５４５）。パターン情報記憶部４７に登録されたデータは、標定や三次元計測で使用され、効率化が図られる。

［三次元計測用パターン投影方法］
図２３に本実施の形態における三次元計測用パターンの投影方法（計測前準備を行なう）の処理フロー例を示す。本実施の形態は、プロジェクター１２で第１の計測パターン（予備測定用パターン等）を投影し、投影されたパターンの変形に基づき第２の計測パターン（精密測定用パターン等）を形成して投影するものである。
まず、パターン記憶部４９５に測定対象物表面に計測点を表示する計測パターンを複数記憶する（パターン記憶工程：Ｓ７１０）。次に、パターン投影制御部４９３は投影部１２に複数の計測パターンのうちの１つを第１の計測パターンとして投影させる（第１の投影工程：Ｓ７２０）。次に、撮像部１０は投影工程で投影された第１の計測パターンを撮影する（撮像工程：Ｓ７３０）。次に、パターン検出部４９１は撮像工程により撮影された第１の計測パターンの撮影画像から計測点を検出する（パターン検出工程：Ｓ７４０）。次に、パターン検出部４９１はパターン検出工程で検出された第１の計測パターンにおける計測点の変位を検出する（変位検出工程：Ｓ７５０）。次に、パターン形成部４９２は検出された第１の計測パターンにおける計測点の変位に基づいて計測点を追加、削除又は変更した第２の計測パターンを形成する（パターン形成工程：Ｓ７６０）。次に、パターン投影制御部４９３は投影部１２に第２の計測パターンを投影させる（第２の投影工程：Ｓ７７０）。
このように、投影装置を活用して、計測前準備を行い、標定又は三次元計測に用いるターゲットパターンを再構成することにより、様々な対象に対して非接触三次元測定を適切化かつ自動化することができる。

図２４に本実施の形態における三次元計測用パターンの投影方法（カラーコード付きターゲットを投影）の別の処理フロー例を示す。本実施の形態は、プロジェクター１２でカラーコード付き標識を含む計測パターンを形成して投影するものである。
まず、パターン形成部４９２において、計測位置を示すための位置検出用パターンＰ１と標識を識別するための複数の色彩が施されたカラーコードパターンＰ３とを有するカラーコード付き標識ＣＴを含む計測パターンを形成する（パターン形成工程：Ｓ８１０）。次に、パターン投影制御部４９３は投影部１２にパターン形成工程で形成された計測パターンを投影する（投影工程：Ｓ８４０）。次に、撮像部１０は投影工程により投影された計測パターンを撮影する（撮像工程：Ｓ８５０）。次に、パターン検出部４９２は撮像工程により撮影された計測パターンの撮影画像から位置検出用パターンＰ１とカラーコードパターンＰ３を検出し、カラーコードを識別する（パターン検出工程：Ｓ８６０）。

このように、カラーコード付きターゲットを使用することにより、各ターゲットを容易に識別でき、広域の測定対象物の画像を自動接続することにより、標定や三次元計測を効率化、自動化することができる。

〔第２の実施の形態〕
第１の実施の形態では、計測パターンをパターン形成部で形成する例を説明したが、多数の計測パターンをパターン記憶部に記憶しておき、その中から条件に応じて最も適切な計測パターンをパターン選択部で選択して投影する例を説明する。またパターン形成部で形成した計測パターンをパターン記憶部に記憶することも可能な構成とする。

図２５に本実施の形態における三次元計測用パターン投影装置８０Ａの構成例を、図２６に本実施の形態における三次元計測システム１００Ａの全体構成例のブロック図を示す。第１の実施の形態に比して、計算処理部４９において、パターン記憶部４９５とパターン選択部４９６が追加されている。パターン記憶部４９５は多数の計測パターン、ランダムパターン、重複撮影範囲表示用パターン、テクスチャー用照明パターン等の各種パターンを記憶する。パターン形成部４９２で形成した各種パターンも記憶する。パターン選択部４９６は、パターン記憶部４９５に記憶された計測パターンの中から投影する計測パターンを適宜選択する。パターン投影制御部４９３は投影部１２を制御して、パターン選択部４９６で選択された計測パターンを投影させる。パターン検出部４９１から、第１の計測パターンにおける計測点の変位が大きいと通知を受けたときには、パターン選択部４９６は、パターン記憶部４９５に記憶された計測パターンの中から変位部分に位置計測用パターンが多いものを選択して、第３の計測パターンとして選択する。パターン投影制御部４９３はパターン選択部４９６で選択された第３の計測パターンを投影部１２に投影させる。パターン記憶部４９５に適当なパターンが見出されない場合には、パターン形成部４９２は第１の計測パターンを基に変位部分に計測点を追加して新たな第２の計測パターンを形成する。この場合、パターン投影制御部４９３はパターン形成部４９２で形成された第２の計測パターンを投影部１２に投影させる。

また、パターン記憶部４９５はカラーコード付きターゲットＣＴ、単色ターゲットパターンを含む計測パターンを記憶する。これらの配置や彩色は多種多様である。パターン選択部４９６は、パターン記憶部４９５に記憶された多種多様の計測パターンから投影する計測パターンを適宜選択する。パターン投影制御部４９３はパターン選択部４９６で選択された計測パターンを投影部１２に投影させる。また、パターン記憶部４９５はカラーコード付きターゲット、単色ターゲットパターンなどのパターン要素を記憶し、パターン形成部４９２はこれらの要素を用いてパターンを編集したり、形成したりすることができる。パターン形成部が形成した計測パターンはパターン記憶部４９５に記憶され、パターン投影制御部４９３はパターン形成部４９２で形成された計測パターンを投影部１２に投影させることもできる。

図２７に本実施の形態における三次元計測用パターンの投影方法（計測前準備を行なう）の処理フロー例を示す。本実施の形態は、プロジェクター１２で第１の計測パターン（予備測定用パターン等）を投影し、投影されたパターンの変形に基づき第３の計測パターン（精密測定用パターン等）を選択して投影するものである。
まず、パターン記憶部４９５に測定対象物表面に計測点を表示する計測パターンを複数記憶する（パターン記憶工程：Ｓ７１０）。次に、パターン投影制御部４９３は投影部１２に複数の計測パターンのうちの１つを第１の計測パターンとして投影させる（第１の投影工程：Ｓ７２０）。次に、撮像部１０は投影工程で投影された第１の計測パターンを撮影する（撮像工程：Ｓ７３０）。次に、パターン検出部４９１は撮像工程により撮影された第１の計測パターンの撮影画像から計測点を検出する（パターン検出工程：Ｓ７４０）。次に、パターン検出部４９１はパターン検出工程で検出された第１の計測パターンにおける計測点の変位を検出する（変位検出工程：Ｓ７５０）。次に、パターン選択部４９６は検出された第１の計測パターンにおける計測点の変位に基づいて、パターン記憶部４９５に記憶された計測パターンから計測点を追加、削除又は変更した第３の計測パターンを選択する（パターン選択工程：Ｓ７８０）。次に、パターン投影制御部４９３は投影部１２に第３の計測パターンを投影させる（第３の投影工程：Ｓ７９０）。

図２８に本実施の形態における三次元計測用パターンの別の投影方法（カラーコード付きターゲットを投影）の処理フロー例を示す。本実施の形態は、プロジェクター１２でカラーコード付き標識を含む計測パターンを選択して投影するものである。
まず、パターン記憶部４９５において、計測位置を示すための位置検出用パターンＰ１と標識を識別するための複数の色彩が施されたカラーコードパターンＰ３とを有するカラーコード付き標識ＣＴを含む計測パターンを複数記憶する（パターン記憶工程：Ｓ８２０）。次に、パターン選択部４９６はパターン記憶工程で記憶された複数の計測パターンから投影する計測パターンを選択する（パターン選択工程：Ｓ８３０）。次に、パターン投影制御部４９３は投影部１２にパターン選択工程で選択された計測パターンを投影する（投影工程：Ｓ８４０）。次に、撮像部１０は投影工程により投影された計測パターンを撮影する（撮像工程：Ｓ８５０）。次に、パターン検出部４９２は撮像工程により撮影された計測パターンの撮影画像から位置検出用パターンＰ１とカラーコードパターンＰ３を検出し、カラーコードを識別する（パターン検出工程：Ｓ８６０）。

〔第３の実施の形態〕
本実施の形態はカラーコード付きターゲットを用いずに、通常のリファレンスポイント（レトロターゲットやテンプレート）のみを用いる例を示す。これらのリファランスポイントは位置検出用パターンのみからなるもので、通常図１８のような白黒のレトロターゲットが使用されるが、単色ターゲットパターンを用いても良い。パターン形成部４９２はこれらリファレンスポイントのみからなる、計測パターンを含む各種投影パターンを形成し、パターン記憶部４９５はこれら各種投影パターンを記憶し、パターン選択部４９６はこれら各種投影パターンから投影するパターンを選択し、パターン投影制御部４９３は投影部１２を制御してこれら各種投影パターンを投影させ、パターン検出部４９１はこれらの投影パターンの撮影画像からリファレンスポイント検出する。レトロターゲットやテンプレートを用いても、その重心点を検出でき、ステレオ画像において基準点及び対応点として対応させることができるので、計測前準備だけでなく、標定及び三次元計測も可能である。図１４の処理フロー全体を行うことも可能である。
本実施の形態のシステム構成としては、第１、第２の実施の形態に比して、図４において抽出部の構成が検索処理部１１０だけで良く、簡略化でき、また、識別コード判別部４６を省略できる。なお、カラーコード付きターゲットを使用しない場合は、広角プロジェクターによって測定対象物の座標が明確なポイントを複数含む撮影画像を撮影するのが良い。

〔第４の実施の形態〕
本実施の形態では計測前準備（Ｓ２５５）の段階で概略測定又は測定まで行う方法を説明する。本実施の形態のシステム構成は、第１又は第２の実施の形態と同様である。
図２９に、概略測定の処理フローを示す。まず、投影モードを計測モードとして投影部１２から測定対象物１に計測準備用パターンを投影し、この投影パターンを撮像部１０により撮影して、撮影画像を抽出部４１（パターン検出部４９１）に送信する（Ｓ３１１）。次に、抽出部４１（パターン検出部４９１）にて撮影画像上の計測点の重心位置を検出する（Ｓ３１２）。次に、ステレオ画像の一方（基準画像）において検出された計測点の重心位置を基準点設定部４２で基準点として設定し、ステレオ画像の他方（探索画像）において基準点に対応する対応点を求める（Ｓ３１３）。次に、標定部４４で標定計算をする（Ｓ３１４）。標定は基準点と対応点のペアが６以上あれば可能である。標定結果から、精度の悪い点があった場合には（Ｓ３１５ａでＮｏ）、その点を取り除いて（Ｓ３１５）、６点以上のペアを選んで再度、標定計算をしなおす（Ｓ３１４）。悪い点がなくなるまで、Ｓ３１４，Ｓ３１５を繰り返す。悪い点がなくなれば（Ｓ３１５ａでＹｅｓ）、標定によりカメラ画像とモデル画像との対応関係が定まると共に、悪い点を取り除いた点をリファレンスポイントＲＦとしてパターン情報記憶部４７に登録する。次に、登録したリファレンスポイントＲＦから変形点付近のものを抽出して、測定対象物１の変形点に対応する位置にリファレンスポイントＲＦを貼り付ける、もしくは、計測準備用パターンにリファレンスポイントＲＦを追加して新たな計測パターンＰを形成する（Ｓ３１６）。

仮に、計測準備用パターンの計測点（標定点を含む）数が十分多いときは、この投影した標定点を計測点として計測処理を完了することも可能である。この場合、図１４のＳ２６０以後の処理は必要なくなる。

さらに厳密性を要するときは、概略面計測まで行う。図３０に概略面計測の処理フロー例を示す。リファレンスポイント追加した計測パターンを投影するときは、例えば計測モードで行なう。まず、リファレンスポイントの最外周を計測エリアとする（Ｓ３１７）。次に、ステレオマッチングを行なう（Ｓ３１８）。次に、ミスマッチングしている領域を映す（Ｓ３１９）。次に、ミスマッチングしている点の箇所にリファレンスポイントを貼り付け、或いは計測パターンにリファレンスポイントを追加して新たな計測パターンを形成する（Ｓ３１９ａ）。
ここで、タイポイント（接続用：カラーコード化ターゲット）が先に貼ってあれば、計測前準備の処理フロー（Ｓ３００〜Ｓ３２０）を繰り返すことで、計測前処理でなく、この領域の計測を完了させることも可能である。

〔第５の実施の形態〕
本実施の形態は、パターン投影の回数を増やすものである。本実施の形態のシステム構成は、第１又は第３の実施の形態と同様である。例えば、標定点投影を複数回行なっても良く、計測点投影を複数回行なっても良い。また、計測によりミスマッチングが生じた場合には、標定点を増加して再度標定点投影を行い、さらに計測を行なっても良い。

また、以上の実施の形態で説明した三次元計則用パターン投影方法又は三次元計則方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムとしても実現可能である。プログラムは計算処理部４９の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施の形態に種々変更を加えられることは明白である。例えば、以上の実施の形態では第２の計測パターンの形成に際し、計測点を増加する例を主に説明したが、計測点を減少又は変更することも可能である。カラーコード付き標識について、カラーコードの単位領域数を増加する、基準コード部の位置を変更する、レトロターゲット部を大きくする、白色部に英数字を記載するなど図３以外の構成も可能である。また、計測パターンについて、典型的には矩形の投影範囲にカラーコード付き標識を４隅に配置し、その内側に単色ターゲットパターンを配置するとしても、単色ターゲットの配置は多様にでき、その内側にカラーコード付き標識を配置しても良い。

また、一連の撮影画像について、各撮影画像が４個のカラーコード付き標識ＣＴを含むように、かつ隣接し合う撮影画像間では２個のカラーコード付き標識ＣＴを共有するようにして撮影し、隣接し合う撮影画像で共有されたカラーコード付き標識ＣＴの識別コードが一致するように、一連の撮影画像の配列を自動的に定めても良い。また、ステレオカメラ、プロジェクター、計算処理部は一体的に構成されても良く、分離構成されても良い。また、以上の実施の形態では計算処理部のパターン検出部を対応部内の抽出部、基準点設定部、対応点探索部等と共用する構成としたが、分離構成しても良い。

本発明は、非接触で対象物を三次元計測するシステム、方法に利用される。

第１の実施の形態における投影装置の基本構成例のブロック図である。 第１の実施の形態における三次元計測システムの全体構成例のブロック図である。 カラーコード付きターゲットの例を示す図である。 抽出部及び識別コード判別部の構成例を示す図である。 第１の実施の形態における三次元計測システムの処理フロー例を示す図である。 オーバーラップ撮影の例を示す図である。 ステレオカメラで撮影される撮影画像の例を示す図である。 ステレオペア選択のフロー例を示す図である。 ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。 リファレンスポイントを有するターゲットの例を示す図である。 リファレンスポイントの自動対応付けのフロー例を示す図である。 ステレオマッチングエリアの自動決定の処理フロー例を示す図である。 ステレオマッチングエリアの自動決定を説明するための図である。 投影装置を利用する計測フローの例を示す図である。 計測前準備の処理フロー例を示す図である。 計測準備用パターンの例を示す図である。 カラーコード付きターゲットの検出のフロー例を示す図である。 レトロターゲットを用いた重心位置検出の説明図である。 カラーコード付きターゲット領域方向検出処理部の処理フロー例を示す図である。 カラーコード付きターゲット領域方向検出処理部の処理フロー例（続）を示す図である。 レトロターゲットのコード読み込みを説明するための図（その１）である。 レトロターゲットのコード読み込みを説明するための図（その２）である。 第１の実施の形態における三次元計測用パターンの投影方法（計測前準備を行なう）の処理フロー例を示す図である。 第１の実施の形態における三次元計測用パターンの別の投影方法（カラーコード付きターゲットを投影）の処理フロー例を示す図である。 第２の実施の形態における三次元計測用投影装置の構成例を示す図である。 第２の実施の形態における三次元計測システムの全体構成例のブロック図である。 第２の実施の形態における三次元計測用パターンの投影方法（計測前準備を行なう）の処理フロー例を示す図である。 第２の実施の形態における三次元計測用パターンの別の投影方法（カラーコード付きターゲットを投影）の処理フロー例を示す図である。 第４の実施の形態における概略測定の処理フローを示す図である。 第４の実施の形態における概略面計測の処理フローを示す図である・

符号の説明

１ 測定対象物
１０ 撮像部
１２ 投影部
１３ 撮影画像データ記憶部
４０ 対応部
４１ 抽出部
４２ 基準点設定部
４３ 対応点探索部
４４ 標定部
４５ 対応点指示部
４６ 識別コード判別部
４７ パターン情報記憶部
４８ 撮影・モデル画像表示部
４８Ａ モデル画像形成部
４８Ｂ モデル画像記憶部
４９ 計算処理部
５０ 表示画像形成部
５１ 三次元座標データ演算部
５３ 三次元座標データ記憶部
５４ 立体的二次元画像形成部
５５ 立体的二次元画像記憶部
５７ 立体的二次元画像表示部
６０ 表示装置
７０ マッチング処理部
８０、８０Ａ 三次元計測用投影装置
１００、１００Ａ 三次元計測システム
１１０ 探索処理部
１１１ レトロターゲット検出処理部
１２０ レトロターゲットグループ化処理部
１３０ カラーコード付きターゲット検出処理部
１３１ カラーコード付きターゲット領域方向検出処理部
１４０ 画像・カラーパターン記憶部
１４１ 読込画像記憶部
１４２ カラーコード付きターゲット対応表
２００ レトロターゲット
２０４ 内部円
２０６ 外部円
３１１ 色彩検出処理部
３１２ 色彩補正部
３１３ 確認処理部
３２１ 座標変換処理部
３２２ コード変換処理部
４９１ パターン検出部
４９２ パターン形成部
４９３ パターン投影制御部
４９４ 色彩修正部
４９５ パターン記憶部
４９６ パターン選択部
ＣＴ、ＣＴ１〜ＣＴ３ カラーコード付きターゲット
ＥＰ エピポーラライン
Ｌ１２、Ｌ２３、Ｌ３１ 辺
Ｐ 計測パターン
Ｐ１ 位置検出用パターン（レトロターゲット部）
Ｐ２ 基準色パターン（基準色部）
Ｐ３ カラーコードパターン（カラーコード部）
Ｐ４ 空パターン（白色部）
Ｑ 計測点
Ｒ１〜Ｒ３ 重心点
ＲＦ リファレンスポイント
Ｔｏ 閾値
Ｔ１〜Ｔ３ 仮のラベル

Claims (12)

1. 計測点を表示する計測パターンを測定対象物に投影する投影部と、
   前記投影部を制御して、前記計測パターンを投影させるパターン投影制御部と、
   前記投影部により投影された前記計測パターンを撮影する撮像部と、
   前記投影部により投影された前記計測パターンの撮影画像から前記計測点を検出するパターン検出部と、
   前記パターン検出部で検出された第１の計測パターンにおける計測点の変位に基づいて計測点を追加、削除又は変更した第２の計測パターンを形成するパターン形成部とを備え；
   前記パターン検出部は、前記撮像部により撮影された前記計測パターンの撮影画像から前記計測点を検出する；
   三次元計測用投影装置。
2. 計測点を表示する計測パターンを測定対象物に投影する投影部と、
   前記計測パターンを複数記憶するパターン記憶部と、
   前記パターン記憶部に記憶された複数の計測パターンから、投影する計測パターンを選択するパターン選択部と、
   前記投影部を制御して、前記パターン選択部で選択された計測パターンを投影させるパターン投影制御部と、
   前記投影部により投影された前記計測パターンを撮影する撮像部と、
   前記投影部により投影された計測パターンの撮影画像から前記計測点を検出するパターン検出部とを備え、
   前記パターン選択部は、前記パターン検出部で検出された第１の計測パターンにおける計測点の変位に基づいて、前記パターン記憶部に記憶された複数の計測パターンから、計測点を追加、削除又は変更した第３の計測パターンを選択し、
   前記パターン検出部は、前記撮像部により撮影された前記計測パターンの撮影画像から前記計測点を検出する；
   三次元計測用投影装置。
3. 前記撮像部は、焦点距離可変に構成され、
   前記投影部は、前記撮像部に設定された撮影可能な範囲に対応して、投影される計測パターンの投影範囲を設定可能である；
   請求項１又は請求項２に記載の三次元計測用投影装置。
4. 前記パターン投影制御部は、前記投影部に一様な照明光で対象物を照明するテクスチャー取得用の照明を行なわせる；
   請求項１又は請求項２に記載の三次元計測用投影装置。
5. 前記パターン投影制御部は、前記撮像部に係る焦点距離、撮影距離、基線長、オーバーラップ率のいずれか一つを入力することにより、前記計測パターンの計測点の配置、パターン密度を調整可能である；
   請求項１又は請求項２に記載の三次元計測用投影装置。
6. 前記撮影画像は対をなすステレオ画像であり、
   前記ステレオ画像について標定を行なう標定部を備え；
   前記標定部は、前記第２の計測パターン又は前記第３の計測パターンを用いて標定を行う；
   請求項１又は請求項２に記載の三次元計測用投影装置を有する三次元計測システム。
7. 測定対象物の三次元座標を演算する三次元座標データ演算部を備え；
   前記三次元座標データ演算部は、前記第２の計測パターン又は前記第３の計測パターンを用いて三次元座標を演算する；
   請求項１又は請求項２に記載の三次元計測用投影装置を有する三次元計測システム。
8. 前記撮影画像は対をなすステレオ画像であり、
   前記ステレオ撮影画像のパターンマッチング処理を行うマッチング処理部を備え；
   前記マッチング処理部は、投影された前記第１の計測パターンの撮影画像を用いてマッチング処理を行い；
   前記パターン形成部は、前記マッチング処理において検出された前記撮影画像上の不良領域に対応する前記第１の計測パターンの領域に計測点を追加して前記第２の計測パターン又は前記第３の計測パターンを形成する；
   請求項１又は請求項２に記載の三次元計測用投影装置を有する三次元計測システム。
9. 請求項１乃至請求項５のいずれか１項に記載の三次元計測用投影装置を有する三次元計測システム。
10. 計測点を表示する計測パターンを複数記憶するパターン記憶工程と、
    複数の前記計測パターンのうちの第１の計測パターンを測定対象物に投影する第１の投影工程と、
    前記第１の投影工程により投影された前記第１の計測パターンを撮影する撮像工程と、
    前記撮像工程により撮影された前記第１の計測パターンの撮影画像から前記計測点を検出するパターン検出工程と、
    前記パターン検出工程で検出された前記第１の計測パターンにおける計測点の変位に基づいて計測点を追加、削除又は変更した第２の計測パターンを形成するパターン形成工程と、
    前記第２の計測パターンを前記測定対象物に投影する第２の投影工程とを備える；
    三次元計測用パターン投影方法。
11. 計測点を表示する計測パターンを複数記憶するパターン記憶工程と、
    複数の前記計測パターンのうちの第１の計測パターンを測定対象物に投影する第１の投影工程と、
    前記第１の投影工程により投影された前記第１の計測パターンを撮影する撮像工程と、
    前記撮像工程により撮影された前記第１の計測パターンの撮影画像から前記計測点を検出するパターン検出工程と、
    前記パターン検出工程で検出された前記第１の計測パターンにおける計測点の変位に基づいて、前記パターン記憶部に記憶された計測パターンから、計測点を追加、削除又は変更した第３の計測パターンを選択するパターン選択工程と、
    前記第３の計測パターンを前記測定対象物に投影する第３の投影工程とを備える；
    三次元計測用パターン投影方法。
12. 前記撮像工程において、撮影画像は対をなすステレオ画像であり、
    前記ステレオ画像について標定を行なう標定工程と、
    前記測定対象物の三次元形状を計測する三次元計測工程とを備え、
    前記第２の計測パターン又は前記第３の計測パターンに追加される計測点は、前記標定工程又は前記三次元計測工程においてリファレンスポイントとして投影される；
    請求項１０又は請求項１１に記載の三次元計測用パターン投影方法。