JP2002213931A

JP2002213931A - ３次元形状計測装置および３次元形状計測方法

Info

Publication number: JP2002213931A
Application number: JP2001009029A
Authority: JP
Inventors: Yutaka Egawa; 豊江川
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2001-01-17
Filing date: 2001-01-17
Publication date: 2002-07-31

Abstract

(57)【要約】【課題】複数のカメラによって撮影されたパターン照
射画像に基づく距離データ算出処理をより効率的に実行
する３次元形状計測装置を提供する。【解決手段】異なるパターン光、あるいはパターン光
とパターンの無い照射光とを異なる偏光として測定対象
物に照射し、これらを分離して複数のカメラで選択的に
撮影し、撮影画像から差分データを取得して視差画像を
生成する。本構成により、1回の投影・撮像で、測定対
象物の色、反射率差異、模様などの影響をキャンセルし
て正確な視差画像が生成でき、複雑な模様を持つ被写体
であっても、動く被写体であっても、測定装置が移動し
ていても、また、照明や投影光が時間変化しても、変化
の影響を排除した高精度の計測が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、輝度情報および距
離情報から３次元形状を計測する３次元形状計測装置お
よび３次元形状計測方法に関する。特に、本発明は、被
写体に模様、異なる反射率の部位などを有する場合や、
被写体または計測装置が動く場合であっても正確に被写
体の形状を計測することを可能とした３次元形状計測装
置および３次元形状計測方法に関する。

【０００２】

【従来の技術】３次元形状を取得する手法には、アクテ
ィブ手法（Active vision）とパッシブ手法（Passive v
ision）がある。アクティブ手法は、（1）レーザ光や超
音波等を発して、対象物からの反射光量や到達時間を計
測し、奥行き情報を抽出する手法や、（2）スリット光
などの特殊なパターン光源を用いて、対象表面パターン
の幾何学的変形等の画像情報より対象形状を推定するパ
ターン投影方法や、(3)光学的処理によってモアレ縞に
より等高線を形成させて、３次元情報を得る方法などが
ある。一方、パッシブ手法は、対象物の見え方、光源、
照明、影情報等に関する知識を利用して、一枚の画像か
ら３次元情報を推定する単眼立体視、三角測量原理で各
画素の奥行き情報を推定するステレオ視法等がある。

【０００３】ステレオ視法は、２つの視点からの撮像画
像の違いから視差を計算し、視差に基づいて三角測量に
より、画像上各点の位置を計算する。被写体の模様（テ
クスチャ）情報を基に、２つの画像における対応領域を
探索する必要があり、処理負荷が大きい問題がある。

【０００４】さらに、アクティブステレオ法（パターン
投影法）は、ステレオ視法に対し、被写体のテクスチャ
を既知の単純なパターンに置き換えることで、処理負荷
を低減する。２台のカメラではなく、1台のカメラと1台
のパターン投光器を用い、投影した２次元投影パターン
と撮像パターンの違いから視差を計算する。

【０００５】アクティブステレオ法の問題として、撮像
パターンと投影パターンを比較する際に、投影パターン
に対し撮像パターンが、形状の影響、反射率、模様の影
響等の要因で変化する問題がある。被写体が全面で白色
である場合は、撮像されるパターンは形状の影響のみに
より投影パターンに対して変化する。しかし、被写体が
模様を持つ場合、模様の影響による変化を形状の影響と
して計算すると、誤差要因になってしまう。したがっ
て、被写体を模様のないものに限定しなければならな
い。

【０００６】反射率の差異、模様のある被写体を測定す
るためには、投影パターンを変えて複数回撮像して、差
分を撮ることにより、模様の影響によるパターン変化を
キャンセルし、形状の影響によるパターンの変化の成分
のみを抽出する手法がよく用いられている。

【０００７】

【発明が解決しようとする課題】しかし、投影パターン
を変えて複数回の投影・撮像により測定を行う方法で
は、被写体が動く場合や、測定装置が動く場合に正確な
測定が困難になるという問題がある。

【０００８】また、複数回の撮像を行う際の投影光や環
境光のちらつきや時間変化は、画像間の差分を抽出する
ことではキャンセルされずに残ってしまい、誤差要因に
なる。

【０００９】本発明は、上述の問題点に鑑みてなされた
ものであり、１回の投影・撮像で、測定対象となる被写
体の反射率の差異、模様の影響によるパターン変化をキ
ャンセルし、形状の影響によるパターンの変化の成分の
みを抽出して正確な被写体形状を計測することを可能と
した３次元形状計測装置および３次元形状計測方法を提
供することを目的とする。

【００１０】

【課題を解決するための手段】本発明の第１の側面は、
２次元パターンを計測対象に対して投影したパターン画
像に基づいて計測対象の距離情報を取得する３次元形状
計測装置において、少なくとも１つの２次元パターンを
含む複数の照射光を、各々が異なる偏光角を持つ偏光照
射光として計測対象に対して照射する投光手段と、前記
複数の照射光が照射された計測対象の像を撮像する撮像
手段であり、前記偏光照射光の各々を選択的に撮像し複
数の撮影画像を取得する撮像手段と、前記撮像手段の撮
影した複数の画像に基づいて視差画像を生成し、該視差
画像に基づいて前記計測対象の距離情報を求める画像処
理手段と、を有することを特徴とする３次元形状計測装
置にある。

【００１１】さらに、本発明の３次元形状計測装置の一
実施態様において、前記投光手段は、１つの２次元パタ
ーンと、パターンを持たない均一照射光の各々を異なる
偏光角を持つ偏光照射光として計測対象に対して照射す
る構成であることを特徴とする。

【００１２】さらに、本発明の３次元形状計測装置の一
実施態様において、前記投光手段は、複数の異なる２次
元パターンの各々を異なる偏光角を持つ偏光照射光とし
て計測対象に対して照射する構成であることを特徴とす
る。

【００１３】さらに、本発明の３次元形状計測装置の一
実施態様において、前記画像処理手段は、前記複数の撮
像手段の各々の撮影した複数の画像の差分データを算出
し、該差分データに基づいて視差画像を生成する構成で
あることを特徴とする。

【００１４】さらに、本発明の３次元形状計測装置の一
実施態様において、前記画像処理手段は、前記複数の撮
像手段の各々の撮影した複数の画像の加算データを算出
し、該加算データに基づいて輝度画像を生成する構成で
あることを特徴とする。

【００１５】さらに、本発明の３次元形状計測装置の一
実施態様において、前記投光手段は、複数の光源と、該
複数の光源に対応して設定されたそれぞれが異なる偏光
角の出力光を出力する複数の偏光フィルタとを有する構
成であることを特徴とする。

【００１６】さらに、本発明の３次元形状計測装置の一
実施態様において、前記投光手段は、それぞれが異なる
偏光角の出力光を出力する複数の偏光光源を有する構成
であることを特徴とする。

【００１７】さらに、本発明の３次元形状計測装置の一
実施態様において、前記撮像手段は、複数の撮影手段
と、該複数の撮影手段に対応して設定されたそれぞれが
異なる偏光角の光を通過させる複数の偏光フィルタとを
有する構成であることを特徴とする。

【００１８】さらに、本発明の３次元形状計測装置の一
実施態様において、前記撮像手段は、複数の撮影手段
と、異なる偏光角の光を分離するビームスプリッタとを
有する構成であることを特徴とする。

【００１９】さらに、本発明の第２の側面は、２次元パ
ターンを計測対象に対して投影したパターン画像に基づ
いて計測対象の距離情報を取得する３次元形状計測方法
において、少なくとも１つの２次元パターンを含む複数
の照射光を、各々が異なる偏光角を持つ偏光照射光とし
て計測対象に対して照射するパターン投光ステップと、
前記複数の照射光が照射された計測対象の像を撮像する
撮像ステップであり、前記偏光照射光の各々を選択的に
撮像し複数の撮影画像を取得する撮像ステップと、前記
撮像ステップにおいて撮影した複数の画像に基づいて視
差画像を生成し、該視差画像に基づいて前記計測対象の
距離情報を求める画像処理ステップと、を有することを
特徴とする３次元形状計測方法にある。

【００２０】さらに、本発明の３次元形状計測方法の一
実施態様において、前記パターン投光ステップは、１つ
の２次元パターンと、パターンを持たない均一照射光の
各々を異なる偏光角を持つ偏光照射光として計測対象に
対して照射することを特徴とする。

【００２１】さらに、本発明の３次元形状計測方法の一
実施態様において、前記パターン投光ステップは、複数
の異なる２次元パターンの各々を異なる偏光角を持つ偏
光照射光として計測対象に対して照射することを特徴と
する。

【００２２】さらに、本発明の３次元形状計測方法の一
実施態様において、前記画像処理ステップは、前記複数
の撮像手段の各々の撮影した複数の画像の差分データを
算出し、該差分データに基づいて視差画像を生成するこ
とを特徴とする。

【００２３】さらに、本発明の３次元形状計測方法の一
実施態様において、前記画像処理ステップは、前記複数
の撮像手段の各々の撮影した複数の画像の加算データを
算出し、該加算データに基づいて輝度画像を生成するこ
とを特徴とする。

【００２４】

【発明の実施の形態】以下、図を用いて本発明の３次元
形状計測装置および３次元形状計測方法の実施の形態を
詳しく説明する。

【００２５】［実施例１］図1に本発明の３次元形状計
測装置の一実施形態に係る構成の概要を説明する図を示
す。この３次元形状計測装置は、強度または波長につい
てコード化された複数の異なる投影パターン光を測定対
象物１０に照射し、複数のカメラの各々において複数の
投影パターンから選択された各々の投影パターン画像を
取得するものである。

【００２６】図１の構成において、３次元形状を測定し
ようとする測定対象物１０には、第1の光源１１１、第1
の偏光板１１２、第1のハーフミラー１３１を介して投
影部１、１１０から供給される第1の投影パターンが照
射される。この第1の投影パターンは、例えば図２
（ａ）に示すストライプ状のパターンである。また、第
２の光源１２１、第２の偏光板１２２、第1のハーフミ
ラー１３１を介して投影部２、１２０から供給される第
２の投影パターンが照射される。この第２の投影パター
ンは、例えば図２（ｂ）に示す均一なパターン（パター
ンなし）である。

【００２７】なお、第1の実施例として、第1の投影パタ
ーンとしてストライプパターン、第２の投影パターンと
してパターンを持たない均一照射光とした構成例を説明
する。後段の第２実施例として、第1の投影パターンと
してストライプパターンＡ、第２の投影パターンとして
異なるストライプパターンＢを用いた例について説明す
る。

【００２８】図１の構成では、第1の光源１１１、第1の
偏光板１１２、第1のハーフミラー１３１を介して投影
部１、１１０から供給される第1の投影パターンが照射
され、第２の光源１２１、第２の偏光板１２２、第1の
ハーフミラー１３１を介して投影部２、１２０から供給
される第２の投影パターンが照射される。

【００２９】第1のハーフミラー１３１は、第1の光源１
１１、第1の偏光板１１２を介して照射される第1の投影
パターンの反射光と、第２の光源１２１、第２の偏光板
１２２を介して照射される第２の投影パターンの透過光
が同一光軸に重なるように設けられる。

【００３０】第1の投影パターンを照射する投影光路上
に設けられた第1の偏光板１１２と、第２の投影パター
ンを照射する投影光路上に設けられた第２の偏光板１２
２とは偏光の角度が異なる。例えば第1の偏光板１１２
と第２の偏光板１２２とは９０度異なる偏光成分光を出
力する。第1の投影パターンは、第1の偏光板１１２によ
る偏光成分からなる偏光パターンとして被測定対象物１
０に照射され、第２の投影パターンは、第２の偏光板１
２２による偏光成分からなる偏光パターンとして被測定
対象物１０に照射される。

【００３１】複数の異なる偏光投影パターンが照射され
た測定対象物１０の画像は、２つのカメラ１５１，１６
１によって撮影される。

【００３２】測定対象物１０の画像は、第２のハーフミ
ラー１７１を通過し、第３の偏光板１５２を介して第1
のカメラ１５１によって第1の撮影画像が撮影される。
また、これと同時に第２のハーフミラー１７１によって
反射され、第４の偏光板１６２を介して第２のカメラ１
６１によって第２の撮影画像が撮影される。第1のカメ
ラ１５１によって撮影された第1の撮影画像は、撮込部
１，１５０を介して画像処理部２００に出力、格納さ
れ、第２のカメラ１６１によって撮影された第２の撮影
画像は、撮込部２，１６０を介して画像処理部２００に
出力、格納される。

【００３３】第２のハーフミラー１７１は、第1の撮影
画像を撮影する第1のカメラ１５１と、第２の撮影画像
を撮影する第２のカメラ１６１とが同一光軸に重なるよ
うに設けられる。

【００３４】第1の撮影画像を撮影する第1のカメラ１５
１の撮像光路上に設けられた第３の偏光板１５２と、第
２の撮影画像を撮影する第２のカメラ１６１の撮像光路
上に設けられた第４の偏光板１６２とは偏光の角度が異
なる。

【００３５】第３の偏光板１５２は、第1の光源１１
１、第1の偏光板１１２を介して照射される第1の投影パ
ターンの偏光成分画像を通過させ、第２の投影パターン
の偏光成分画像を通過させない。従って、第1のカメラ
１５１は、第1の投影パターン照射画像を撮影すること
になる。具体的には、例えば第1の投影パターンが図２
の（ａ）に示すようなストライプパターンであり、測定
対象物が図２の（ｃ）に示すような物体であった場合、
第1のカメラ１５１の撮影する画像は、図２の（ｄ）に
示す画像となる。

【００３６】一方、第４の偏光板１６２は、第２の光源
１２１、第２の偏光板１２２を介して照射される第２の
投影パターンの偏光成分画像を通過させ、第１の投影パ
ターンの偏光成分画像を通過させない。従って、第２の
カメラ１６１は、第２の投影パターン照射画像を撮影す
ることになる。具体的には、例えば第２の投影パターン
が図２の（ｂ）に示すようなパターン（パターンなし）
であり、測定対象物が図２の（ｃ）に示すような物体で
あった場合、第２のカメラ１６１の撮影する画像は、図
２の（ｅ）に示す画像となる。

【００３７】これらの、第1のカメラ１５１によって撮
り込まれた第1の投影パターン画像は、撮込部１，１５
０を介して画像処理部２００に出力、格納され、第２の
カメラ１６１によって撮り込まれた第２の投影パターン
画像は、撮込部２，１６０を介して画像処理部２００に
出力、格納される。これらの画像に基づいて測定対象物
の形状の計測処理ず画像処理部２００において実行さ
れ、計測された形状データに基づく３次元画像が表示部
３００に表示される。

【００３８】図３に画像処理部２００の構成を説明する
ブロック図を示す。画像処理部２００は、第1の投影パ
ターン情報を格納する第1の投影パターンメモリ２０
１、第２の投影パターン情報を格納する第２の投影パタ
ーンメモリ２０２を有する。第1の投影パターンメモリ
２０１には、例えば図２（ａ）のストライプパターンデ
ータが格納され投影部１，１０１に第1のパターンデー
タが供給される。第２の投影パターンメモリ２０２に
は、例えば図２（ｂ）のパターンデータが格納され投影
部２，１２０に第２のパターンデータが供給される。

【００３９】第1のカメラ１５１によって撮り込まれた
第1の投影パターン画像は、撮込部１，１５０を介して
画像処理部２００の第1の画像メモリ２０３に格納され
る。また、第２のカメラ１６１によって撮り込まれた第
２の投影パターン画像は、撮込部２，１６０を介して画
像処理部２００の第２の画像メモリ２０４に格納され
る。

【００４０】具体的には、例えば第1の投影パターンが
図２の（ａ）に示すようなストライプパターンであり、
測定対象物が図２の（ｃ）に示すような物体であった場
合、第1のカメラ１５１が撮影し、第1の画像メモリ２０
３に格納される画像は、図２の（ｄ）に示す画像とな
る。また、第２の投影パターンが図２の（ｂ）に示すよ
うなパターン（パターンなし）である場合は、第２のカ
メラ１６１が撮影し、第２の画像メモリ２０４に格納さ
れる画像は、図２の（ｅ）に示す画像となる。

【００４１】撮像画像処理部２０５は、これら２つの画
像メモリ２０３，２０４に格納された画像を比較して、
測定対象物の反射率情報を持つ輝度画像と、反射率情報
を除去した差分画像としての視差パターン画像を生成す
る。

【００４２】第1の投影パターンとして図２の（ａ）に
示すようなストライプパターン、第２の投影パターンと
して図２の（ｂ）に示すようなパターン（パターンな
し）とした場合の撮像画像処理部２０５における処理に
ついて図４のフローに従って説明する。

【００４３】撮像画像処理部２０５は、２つの画像メモ
リ２０３，２０４に格納された画像データを入力し、各
対応画素値の差分を算出（Ｓ１０１）する。この差分算
出処理をすべての画素について実行（Ｓ１０２でＹｅｓ
となるまで）して、この差分画像データを視差画像とし
て視差パターン画像メモリ２０６に出力する。

【００４４】撮像画像処理部２０５において２つのパタ
ーン画像の差分に基づいて生成される視差パターン画像
の例を図５に示す。図５の視差パターン画像は、第1の
投影パターンとして図２の（ａ）に示すストライプパタ
ーンを、第２の投影パターンとして図２の（ｂ）に示す
ようなパターン（パターンなし）を（ｃ）に示す測定対
象物にそれぞれ異なる偏光成分光として照射し、図２の
（ｄ）に示す画像と図２の（ｅ）に示す画像とを２つの
カメラで撮影してこれらの画像データの差分により生成
される視差画像である。

【００４５】図５に示すように、２つの撮像パターンの
差分をとることにより、被写体反射率の影響をキャンセ
ルすることが可能となる。図２（ｃ）の例では、測定対
象物に異なる反射率を持つ着色領域１１、あるいは構成
物１２が存在するが、第1の投影パターンの撮影画像で
ある図２（ｄ）の画像から、第２の投影パターンの撮影
画像である図２（ｅ）の画像の各画素において差分をと
ることで、着色領域１１、あるいは構成物１２の影響を
取り除くことが可能となる。この結果、図５に示すよう
に純粋な視差画像が生成可能となる。

【００４６】形状計算処理部２０７は、視差パターン画
像メモリ２０６に格納された視差パターン画像に基づい
て測定対象物の形状計算を実行する。

【００４７】図６を用いて形状計算処理部２０７におい
て実行される形状計算処理について説明する。形状計算
処理部２０７では、視差パターン画像からストライプパ
ターンを抽出し、各ストライプにおける色や輝度の情報
を検出し、この検出した情報と、投影パターンメモリ２
０１に記憶された投影パターンにおけるストライプパタ
ーンの色や輝度と比較して、投光器からのスリット角θ
を算出する。図6のように、各ストライプのスリット角
θと、カメラの結像面上に撮像された画像上のｘ座標と
カメラパラメータである焦点距離Ｆと基線長（距離）Ｌ
から、次の式（１）によって測定点Ａまでの距離Ｚを算
出する。

【００４８】

【数１】Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） …（１）

【００４９】上記式に基づいて、測定対象物の距離デー
タ、すなわち形状データが算出され、算出された形状デ
ータとしての距離画像が形状データメモリ２０８に格納
される。

【００５０】また、輝度画像メモリ２０９には、パター
ン無しの照射画像が格納される。この例の場合、第２の
画像メモリ２０４の画像が輝度画像としてそのまま使用
可能である。

【００５１】形状計算処理部２０７で生成され形状デー
タメモリ２０８に格納された距離画像は、統合処理部２
１０でポリゴン化し、輝度画像メモリ２０９に記憶され
た輝度画像をテクスチャマッピングして３次元画像が生
成され、表示部３００へ出力することにより測定対象物
の３次元形状が表示される。

【００５２】図７は、人物を撮像したときの（ａ）輝度
画像と（ｂ）距離画像の一例を示す。この距離画像は、
カメラの受光部から対象物各点までの距離を各画素値と
し、２次元に配列したものである。これらを画面上で表
示する方法として、例えば、輝度の大小で表現すること
ができ、紙面手前側の領域における輝度を大にし、紙面
奥方向に輝度が小になるように表現しても良い。

【００５３】統合処理部で２１０では図７（ｂ）に示す
ような距離画像に基づいて、ポリゴン化を実行し、生成
したポリゴンデータに輝度画像メモリ２０９に記憶され
た輝度画像をテクスチャマッピングして３次元データを
生成して表示出力部へ出力する。

【００５４】このように、本発明の３次元形状計測装置
によると、２つのカメラで同時に撮像したデータに基づ
いて正確な距離情報を取得することが可能となり、従来
の測定手法に比較して測定時間を短縮することが出来
る。また、測定対象物の反射率の差異を除去するための
特殊な設備が不要であるため、コストを抑えることが出
来る。

【００５５】［実施例２］次に、第２実施例として、第
1の投影パターンとしてストライプパターンＡ、第２の
投影パターンとして異なるストライプパターンＢを用い
た例について説明する。

【００５６】図８に２つの異なる投影パターン、測定対
象物、２つの撮影画像の例を示す。測定対象物に照射さ
れる２つの異なる投影パターンは、例えば図８（ａ）に
示すストライプ状のパターンと（ｂ）に示すストライプ
状のパターンである。パターン上部の数値は、各パター
ンに割り当てられたコードであり、８つの異なるコード
を用いた例を示している。コードは、例えば異なる明度
によって異なるコードを割り当てたり、あるいは異なる
カラーを異なるコードとして割り当ててもよい。

【００５７】なお、図８（ａ）に示すストライプ状のパ
ターンと（ｂ）に示すストライプ状のパターンの各々
は、各パターンの和がすべて同一、ここではコード値の
加算値がすべて「９」になるようにしてある。これは輝
度画像の生成を２つのパターン撮影画像の加算処理によ
って簡易に求めるためである。この処理については後述
する。

【００５８】実施例１で説明した図１と同様の構成にお
いて、第1の光源１１１、第1の偏光板１１２、第1のハ
ーフミラー１３１を介して投影部１、１１０から供給さ
れる図８（ａ）に示す第1の投影パターンが照射され、
第２の光源１２１、第２の偏光板１２２、第1のハーフ
ミラー１３１を介して投影部２、１２０から供給される
図８（ｂ）に示す第２の投影パターンが照射される。

【００５９】測定対象物１０の画像は、第２のハーフミ
ラー１７１を通過し、第３の偏光板１５２を介して第1
のカメラ１５１によって第1の撮影画像が撮影される。
また、これと同時に第２のハーフミラー１７１によって
反射され、第４の偏光板１６２を介して第２のカメラ１
６１によって第２の撮影画像が撮影される。測定対象物
が図８の（ｃ）に示すような物体であった場合、第1の
カメラ１５１の撮影する画像は、図８の（ｄ）に示す画
像となる。また、第２のカメラ１６１の撮影する画像
は、図８の（ｅ）に示す画像となる。

【００６０】画像処理部２００の２つの画像メモリ２０
３，２０４の各々には、図８（ｄ），（ｅ）の画像デー
タが格納される。撮像画像処理部２０５は、これら２つ
の画像メモリ２０３，２０４に格納された画像を比較し
て、測定対象物の反射率情報を持つ輝度画像と、反射率
情報を除去した差分画像としての視差パターン画像を生
成する。

【００６１】撮像画像処理部２０５における処理につい
て図９のフローに従って説明する。図９には、（ａ）差
分画像（視差画像）の生成処理フローと、（ｂ）和画像
（輝度画像）の生成処理フローを示す。

【００６２】まず、（ａ）差分画像（視差画像）の生成
処理について説明する。撮像画像処理部２０５は、２つ
の画像メモリ２０３，２０４に格納された画像データを
入力し、ステップＳ２０１において各対応画素値の差分
を算出し、さらに、ステップＳ２０２において予め２つ
のパターンデータの持つコード値総計（ここでは９）を
加算し、ステップＳ２０３において２で割る処理を実行
し、これらの処理をすべての画素について実行（Ｓ２０
４でＹｅｓとなるまで）する。その結果、図１０（ａ）
に示す視差画像データが生成される。

【００６３】ここでは、図８（ｅ）の画像から（ｄ）の
画像のコードを減算する処理として説明する。例えば、
図８（ｃ）に示すような着色領域１１、あるいは構成物
１２により反射率が異なり、これらの領域にあるコード
のパターンを照射した場合にそれぞれ照射コードに対し
て着色領域１１：＋α、構成物１２：＋βの影響をもた
らすとする。

【００６４】この場合、図８（ａ）の第1の投影パター
ンの照射画像の撮影画像として取得される図８（ｄ）の
画像において、右から３番目の領域は、本来コード２の
データが得られるが、着色領域１１の領域では、コード
２＋αが得られることになる。また、左から２番目の領
域は、本来コード４のデータが得られるが、構成物１２
の領域では、コード４＋βが得られることになる。ま
た、図８（ｂ）の第２の投影パターンの照射画像の撮影
画像として取得される図８（ｅ）の画像において、右か
ら３番目の領域は、本来コード７のデータが得られる
が、着色領域１１の領域では、コード７＋αが得られる
ことになる。また、左から２番目の領域は、本来コード
５のデータが得られるが、構成物１２の領域では、コー
ド５＋βが得られることになる。

【００６５】このように、図８（ｄ）、（ｅ）の画像の
各々は、着色領域１１、あるいは構成物１２の影響を受
けた画像となる。

【００６６】これらの２画像からまず差分を計算する。
図１０の（ａ）には、右から３番目のパターンについて
の計算処理例を示している。測定対象物の下部の着色領
域１１以外の部分では、「７−２」が計算され、また、
測定対象物の上部の着色領域１１の部分では、「（７＋
α）−（２＋α）」が計算される。さらに、２つのパタ
ーンデータの持つコード値総計（ここでは９）を加算
し、この値を２で除する処理を実行する。この結果、右
から３番目のパターンの下部の着色領域１１以外の部分
では、「７−２＋９＝７」が算出され、また、測定対象
物の上部の着色領域１１の部分では、「｛（７＋α）−
（２＋α）＋９｝／２＝７」が算出される。結果として
着色領域の影響がキャンセルされる。

【００６７】これは構成物１２についても同様であり、
構成物１２の持つコードに対する影響値：βがキャンセ
ルされることになる。その結果、着色領域１１、あるい
は構成物１２の影響が取り除かれ、図１０（ａ）に示す
ような純粋な視差画像が生成される。

【００６８】一方、輝度画像の生成は、図９（ｂ）和画
像（輝度画像）の生成処理によって実行される。まず、
撮像画像処理部２０５は、２つの画像メモリ２０３，２
０４に格納された画像データを入力し、ステップＳ３０
１において各対応画素値の和を算出し、さらに、ステッ
プＳ３０２において２で割る処理を実行し、必要であれ
ば画像全体に対する均一な輝度調整を実行する。これら
の処理をすべての画素について実行（Ｓ３０３でＹｅｓ
となるまで）する。その結果、図１０（ｂ）に示す輝度
画像データが生成される。

【００６９】図１０の（ｂ）には、右から３番目のパタ
ーンについての計算処理例を示している。測定対象物の
下部の着色領域１１以外の部分では、「（７＋２）／２
＝４．５」が計算され、また、測定対象物の上部の着色
領域１１の部分では、「｛（７＋α）＋（２＋α）｝＝
α＋４．５」が算出される。４．５は、すべての領域に
おいて均一なコード値であり、このコード値が輝度デー
タとして不要であれば、４．５をキャンセルするために
画像全体に対する均一な輝度調整を実行する。なお、予
め調整の不要な値としてパターン設定することにより輝
度調整は省略可能である。

【００７０】このように撮像画像処理部２０５は、視差
画像、輝度画像を生成し、それぞれ視差パターン画像メ
モリ２０６、輝度画像メモリ２０９に格納する。形状計
算処理部２０７は、視差パターン画像メモリ２０６に格
納された視差パターン画像に基づいて測定対象物の形状
計算を実行し距離画像を生成する。形状計算は、実施例
１で説明した図６の距離（形状）計算理論によって実現
される。

【００７１】形状計算処理部２０７で生成され形状デー
タメモリ２０８に格納された距離画像は、統合処理部２
１０でポリゴン化し、輝度画像メモリ２０９に記憶され
た輝度画像をテクスチャマッピングして３次元画像が生
成され、表示部３００へ出力することにより測定対象物
の３次元形状が表示される。

【００７２】このように、本発明の３次元形状計測装置
によると、２つのカメラで同時に撮像したデータに基づ
いて正確な距離情報を取得することが可能となり、従来
の測定手法に比較して測定時間を短縮することが出来
る。また、測定対象物の反射率の差異を除去するための
特殊な設備が不要であるため、コストを抑えることが出
来る。

【００７３】［その他の実施例］上述した実施例では、
図１を用いて説明したように、２つの異なるパターン投
影のために、異なる角度の偏光を出力する２つの偏光板
を用い、一方、撮影手段にも異なる角度の偏光を通過さ
せる２つの偏光板を用いた構成例を示した。この他にい
くつかの構成例が適用可能であり、それらの代表的構成
例について図１１を用いて説明する。

【００７４】図１１（ａ），（ｂ）は、異なる複数のパ
ターン照射を実現する構成であり、（ｃ），（ｄ）は、
それぞれのパターン画像を選択的に撮影する撮影手段構
成を示している。

【００７５】（ａ）は、偏光光源とハーフミラー構成を
用いた複数パターン照射構成である。偏光光源５１１，
５１２は、それぞれ異なる角度の偏光を出力する光源で
あり、これらの光源から、異なるパターンを測定対象物
に対して照射する。偏光光源５１１，５１２からのパタ
ーンは、ハーフミラー５１３は、偏光光源５１１の反射
光と、偏光光源５１２の透過光が同一光軸に重なるよう
に設けられる。

【００７６】（ｂ）は、光源と偏光フィルタとハーフミ
ラーを設けた構成である。光源５２１からパターン光が
照射され、光源５２２から異なるパターン光が照射され
る。それぞれのパターン光は、偏光フィルタ５２４，５
２５によって特定の角度の偏光としてハーフミラー５２
３を通過またはハーフミラーによって反射されて測定対
象物に照射される。

【００７７】（ｃ）は、異なるパターン光が照射された
測定対象物の撮影構成であり、それぞれ異なるパターン
画像を選択的に撮影するカメラ５３１，５３２の前方に
偏光ビームスプリッタ５３３を設けた構成である。複数
のパターンは、前述の実施例、または図１１（ａ），
（ｂ）のような構成によって異なる偏光成分からなるパ
ターン光として測定対象物に照射されており、これらの
パターン光を偏光ビームスプリッタ５３３が分離し、一
方を通過、他方ほ反射し、異なるカメラによって各パタ
ーン画像が撮影される。

【００７８】（ｄ）は、カメラと偏光フィルタとハーフ
ミラーを設けた測定対象物の撮影構成であり、それぞれ
異なるパターン画像を選択的に撮影するカメラ５４１，
５４２の前方に偏光フィルタ５４４，５４５が設けら
れ、ハーフミラー５４３の反射光、通過光から偏光フィ
ルタ５４４，５４５を通過したパターン画像を撮影す
る。複数のパターンは、前述の実施例、または図１１
（ａ），（ｂ）のような構成によって異なる偏光成分か
らなるパターン光として測定対象物に照射されており、
偏光フィルタ５４４，５４５は、それぞれこれらのパタ
ーン光の異なるパターン光成分を通過するように構成さ
れる。このように、異なるパターン光の照射構成、撮影
構成は様々な態様が適用可能である。

【００７９】なお、上述した実施例では、測定対象物の
模様、反射率の差異などのキャンセル効果について重点
的に説明したが、本発明の構成は、1回の撮影で視差画
像を生成する構成であるので、例えば測定対象物が動く
ような被写体である場合にも、動きの影響を受けること
なく1回の撮影タイミングで取得される複数の画像に基
づいて正確な距離情報を取得可能となるという効果があ
る。また、測定装置が移動していても、同様の理由によ
り良好に計測が可能である。また、照明や投影光が時間
変化しても、変化の影響を排除して高精度の計測が可能
となる。

【００８０】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【００８１】

【発明の効果】上述したように、本発明の３次元形状測
定装置および３次元形状計測方法によれば、1回の投影
・撮像で、測定対象物の反射率の差異、模様等の影響を
キャンセルして、形状を計測できるので、複雑な模様を
持つ被写体であっても、動く被写体であっても、測定装
置が移動していても、良好に計測が可能である。また、
照明や投影光が時間変化しても、変化の影響をキャンセ
ル出来、効率的にかつ高精度な形状計測が可能となる。

【図面の簡単な説明】

【図１】本発明の３次元形状計測装置の構成概要を示す
ブロック図である。

【図２】本発明の３次元画形状計測装置により適用され
る照射パターン、測定対象物例、撮影画像例を説明する
図である。

【図３】本発明の３次元形状計測装置の画像処理部構成
を示すブロック図である。

【図４】本発明の３次元形状計測装置の撮像画像処理部
における視差画像生成処理フローを示す図である。

【図５】本発明の３次元形状計測装置の撮像画像処理部
において生成される視差画像の例を示す図である。

【図６】本発明の３次元形状計測装置において適用可能
な空間コード化法による距離算出法を示す図である。

【図７】本発明の３次元形状計測装置において生成され
る輝度画像および距離画像の例を示す図である。

【図８】本発明の３次元画形状計測装置により適用され
る照射パターン、測定対象物例、撮影画像例を説明する
図である。

【図９】本発明の３次元形状計測装置の撮像画像処理部
における視差画像生成処理フローおよび輝度画像生成処
理フローを示す図である。

【図１０】本発明の３次元形状計測装置の撮像画像処理
部において生成される視差画像、輝度画像の例を示す図
である。

【図１１】本発明の３次元形状計測装置のパターン投影
構成およびパターン撮影構成例を示す図である。

【符号の説明】

１０測定対象物１１０，１２０投影部１１１，１２１光源１１２，１２２偏光板１３１ハーフミラー１５０，１６０撮込部１５１，１６１カメラ１５２，１６２偏光板１７１ハーフミラー２００画像処理部３００表示部２０１，２０２投影パターンメモリ２０３，２０４画像メモリ２０５撮像画像処理部２０６視差パターン画像メモリ２０７形状計算処理部２０８形状データメモリ２０９輝度画像メモリ２１０統合処理部５１１，５１２偏光光源５１３ハーフミラー５２１，５２２光源５２３ハーフミラー５２４，５２５偏光フィルタ５３１，５３２カメラ５３３ハーフミラー５４１，５４２カメラ５４３ハーフミラー５４４，５４５偏光フィルタ

フロントページの続きＦターム(参考） 2F065 AA06 AA53 BB05 CC16 DD06 EE04 FF08 FF09 FF42 FF49 HH06 HH07 JJ03 JJ05 LL00 LL28 LL33 LL41 QQ03 QQ24 QQ25 QQ27 SS02 SS13 5B057 BA02 BA15 CA08 CA13 CA16 CB08 CB13 CB17 DA16 DA17 DB03 DB09 DC32

Claims

【特許請求の範囲】

【請求項１】２次元パターンを計測対象に対して投影し
たパターン画像に基づいて計測対象の距離情報を取得す
る３次元形状計測装置において、少なくとも１つの２次元パターンを含む複数の照射光
を、各々が異なる偏光角を持つ偏光照射光として計測対
象に対して照射する投光手段と、前記複数の照射光が照射された計測対象の像を撮像する
撮像手段であり、前記偏光照射光の各々を選択的に撮像
し複数の撮影画像を取得する撮像手段と、前記撮像手段の撮影した複数の画像に基づいて視差画像
を生成し、該視差画像に基づいて前記計測対象の距離情
報を求める画像処理手段と、を有することを特徴とする３次元形状計測装置。
【請求項２】前記投光手段は、１つの２次元パターン
と、パターンを持たない均一照射光の各々を異なる偏光
角を持つ偏光照射光として計測対象に対して照射する構
成であることを特徴とする請求項１に記載の３次元形状
計測装置。
【請求項３】前記投光手段は、複数の異なる２次元パタ
ーンの各々を異なる偏光角を持つ偏光照射光として計測
対象に対して照射する構成であることを特徴とする請求
項１に記載の３次元形状計測装置。
【請求項４】前記画像処理手段は、前記複数の撮像手段の各々の撮影した複数の画像の差分
データを算出し、該差分データに基づいて視差画像を生
成する構成であることを特徴とする請求項１乃至３いず
れかに記載の３次元形状計測装置。
【請求項５】前記画像処理手段は、前記複数の撮像手段の各々の撮影した複数の画像の加算
データを算出し、該加算データに基づいて輝度画像を生
成する構成であることを特徴とする請求項１乃至４いず
れかに記載の３次元形状計測装置。
【請求項６】前記投光手段は、複数の光源と、該複数の
光源に対応して設定されたそれぞれが異なる偏光角の出
力光を出力する複数の偏光フィルタとを有する構成であ
ることを特徴とする請求項１乃至５いずれかに記載の３
次元形状計測装置。
【請求項７】前記投光手段は、それぞれが異なる偏光角
の出力光を出力する複数の偏光光源を有する構成である
ことを特徴とする請求項１乃至５いずれかに記載の３次
元形状計測装置。
【請求項８】前記撮像手段は、複数の撮影手段と、該複数の撮影手段に対応して設定さ
れたそれぞれが異なる偏光角の光を通過させる複数の偏
光フィルタとを有する構成であることを特徴とする請求
項１乃至７いずれかに記載の３次元形状計測装置。
【請求項９】前記撮像手段は、複数の撮影手段と、異なる偏光角の光を分離するビーム
スプリッタとを有する構成であることを特徴とする請求
項１乃至７いずれかに記載の３次元形状計測装置。
【請求項１０】２次元パターンを計測対象に対して投影
したパターン画像に基づいて計測対象の距離情報を取得
する３次元形状計測方法において、少なくとも１つの２次元パターンを含む複数の照射光
を、各々が異なる偏光角を持つ偏光照射光として計測対
象に対して照射するパターン投光ステップと、前記複数の照射光が照射された計測対象の像を撮像する
撮像ステップであり、前記偏光照射光の各々を選択的に
撮像し複数の撮影画像を取得する撮像ステップと、前記撮像ステップにおいて撮影した複数の画像に基づい
て視差画像を生成し、該視差画像に基づいて前記計測対
象の距離情報を求める画像処理ステップと、を有することを特徴とする３次元形状計測方法。
【請求項１１】前記パターン投光ステップは、１つの２
次元パターンと、パターンを持たない均一照射光の各々
を異なる偏光角を持つ偏光照射光として計測対象に対し
て照射することを特徴とする請求項１０に記載の３次元
形状計測方法。
【請求項１２】前記パターン投光ステップは、複数の異
なる２次元パターンの各々を異なる偏光角を持つ偏光照
射光として計測対象に対して照射することを特徴とする
請求項１０に記載の３次元形状計測方法。
【請求項１３】前記画像処理ステップは、前記複数の撮像手段の各々の撮影した複数の画像の差分
データを算出し、該差分データに基づいて視差画像を生
成することを特徴とする請求項１０乃至１２いずれかに
記載の３次元形状計測方法。
【請求項１４】前記画像処理ステップは、前記複数の撮像手段の各々の撮影した複数の画像の加算
データを算出し、該加算データに基づいて輝度画像を生
成することを特徴とする請求項１０乃至１３いずれかに
記載の３次元形状計測方法。