JP5016520B2 - ３次元形状計測方法および装置 - Google Patents

Description

本発明は、被計測物体の３次元形状計測方法および装置に関する。

従来から、非接触かつ自動処理により被計測物体の３次元形状を計測する方法として、いわゆる位相シフト法が知られている。位相シフト法は、互いに位相をずらした正弦波縞パターン光による照明状態のもとで撮像した複数の縞パターン画像つまり複数の輝度分布データを用いて、画像全体について定まる１つの位相状態について画素点毎の位相を求め、その位相の分布データを３次元座標決定の基礎データとする。３次元形状計測結果は、位相分布データと撮像の幾何学条件等から得られ、各画素に被計測物体表面の３次元座標を割り当てた距離画像として得られる。

位相シフト法を用いて３次元形状計測を行う場合に、被計測物体表面に反射率の異なる部分、例えば、文字や柄があると、これらの文字や柄と背景部分の境界において計測誤差が発生する。その原因は、境界部分における注目画素の輝度がその周辺画素の輝度に影響されてぼけて真の輝度から変化することによる。このぼけは、撮像の際の焦点ぼけやレンズの変調伝達関数特性に基づくぼけによる。縞パターン画像がぼけると基礎データとする位相の分布データが誤差を含み、計測誤差が発生する。

上述の誤差の発生をシミュレーションにより図１６乃至図２１を参照して説明する。図１６、図１７に示すように一様照明のもとで明部（領域ｘ２）と暗部（領域ｘ１，ｘ３）とが２値の輝度値Ｌ１，Ｌ２となるコントラストのある対象領域に対して、強制的にぼけを発生させて比較する。図１８（ａ）〜（ｄ）は、明度がｘ方向に正弦波状に変化する照明のもとで、それぞれ位相変化分δφを０（初期位相状態）から、π／２，π，３π／２とした場合の、ｘ０方向に沿った輝度変化の計算値を示す。これはぼけのないデータである。図１９（ａ）〜（ｄ）は、図１８（ａ）〜（ｄ）の輝度変化に標準偏差σのガウス移動平均処理を行って、計算により強制的に輝度変化をぼかして得たデータである。図２０は、図１８（ａ）〜（ｄ）から算出した位相分布と、図１９（ａ）〜（ｄ）から算出した位相分布とを重ねて示している。図２１は、図２０において位相差ΔＰが生じている部分Ｄを拡大して示している。

図２０に示すように、明暗の境界ｘｂの位置で、破線で示したぼかし有りの位相値は、実線で示したぼかしのない正しい位相値から変化して、位相差ΔＰの誤差を有している。位相差ΔＰの大きさは、明暗の境界線に垂直な方向、すなわち、輝度（明度）の勾配方向と縞パターンの変化方向（図１７乃至図２１ではｘ方向）とがなす角度（γとする）によって変化する。シミュレーションによると、角度γが０゜のときが誤差がもっとも大きく、９０゜のときに誤差は最小になり、誤差の大きさはこの間で角度γの大きさと共に単調減少する。

上述のような特性を有する位相シフト法は、被計測物体上に反射率の異なる部分があると、その部分の明暗状態が表面形状を反映しないものとなって計測誤差を発生するので、被計測物体は白く塗装して計測される。従って、位相シフト法による３次元形状計測は、例えば、３次元ＣＡＤに基づいて製作された製品が正しい形状にできているかを検証するために、白塗装された試作段階の物体について行われるが、実際の生産工程におけるインライン計測には殆ど使われていない。

ところで、位相シフト法において、カメラの視野方向と投影装置による投影方向とが異なることに加え被計測物体が３次元形状であることにより発生する自己隠蔽（いわゆるオクルージョン）や、影、乱反射、などの影響を解消するため、異なる複数の方向から縞パターン光を投影したり、被計測物体を回転させたりして、計測精度を上げることが提案されている（例えば、特許文献１参照）。
特開平７−１９８２５号公報

しかしながら、上述したように、従来の位相シフト法は実際の生産工程におけるインライン計測には殆ど使われていない。また、上述した特許文献１に示されるような位相シフト法による計測方法は、被計測物体表面の反射率の違いにより発生する計測誤差を解決することができない。

本発明は、上記課題を解消するものであって、簡単な構成により、表面に文字や柄などによる反射率の異なる領域が混在する被計測物体についても計測精度を向上できる位相シフト法による３次元形状計測方法および装置を提供することを目的とする。

上記課題を達成するために、請求項１の発明は、明度が正弦波状に変化する縞パターンを異なる位相で３回以上被計測物体に投影して一定位置から複数の画像を撮像し、これらの画像を用いて画像中の各画素毎に被計測物体の３次元座標を求める位相シフト法による３次元形状計測方法において、被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸と１つの投影用光軸とで構成される平面を複数設定し、前記平面の１つについて該平面に対して９０°を除く所定の角度を有しかつ前記撮像部の光軸に直交する直線の方向としたパターン変化方向に沿って明度が変化する縞パターンを該平面を構成する投影用光軸方向から前記計測領域に投影すると共に前記撮像部によって撮像して位相シフト法により該計測領域の３次元座標を取得するステップを、前記各平面について独立に行うことにより複数種類の３次元座標データを取得する座標計測ステップと、前記計測領域を均一な照明光のもとで撮像した画像を微分処理し該画像中の画素毎に輝度の勾配方向を求めるステップを、前記各平面について独立に、前記投影用光軸方向からの照明と前記撮像部による撮像とによって行うことにより複数種類の勾配方向データを取得する勾配取得ステップと、前記各平面毎の３次元座標データと勾配方向データとから成る複数の組における互いに他の組の画像中の画素に対応する各画素について、それぞれ前記輝度の勾配方向と前記パターン変化方向とのなす角度または該角度に相当する傾き成分を求め、各組における当該画素に対する３次元座標をこれらの角度または傾き成分に基づいて合成して当該画素における３次元座標の計測結果とする画素データ決定ステップと、を含むものである。

請求項２の発明は、請求項１に記載の３次元形状計測方法において、前記画素データ決定ステップは、前記３次元座標を合成する際に、前記複数の組における輝度の勾配方向と前記パターン変化方向とのなす角度を互いに比較して９０゜により近い角度を与える組から３次元座標を選択して当該画素における計測結果とするものである。

請求項３の発明は、請求項１に記載の３次元形状計測方法において、前記画素データ決定ステップは、前記勾配取得ステップにおける微分処理による微分値の大きさが前記複数の組における互いに対応する画素のいずれについても予め定めた閾値より小さくなる場合には、前記各組における当該画素に対する３次元座標を互いに均等に合成して当該画素における３次元座標の計測結果とするものである。

請求項４の発明は、請求項１乃至請求項３のいずれか一項に記載の３次元形状計測方法を用いる３次元形状計測装置である。

請求項１の発明によれば、輝度の勾配方向とパターン変化方向のなす角度または該角度に相当する傾き成分を求め、各組における注目画素に対する３次元座標をこれらの角度または傾き成分に基づいて合成して当該画素における３次元座標の計測結果とするので、被計測物体上に文字や柄等による反射率が異なる領域が存在する場合であっても反射率の変化部分（画像中の輝度変化部分）で発生する計測誤差を低減できると共に、ランダムノイズによる計測誤差を低減することができ、精度の高い計測ができる。３次元座標（座標値）の合成は、複数のパターン変化方向のもとでの計測結果を、各計測における輝度の勾配方向とパターン変化方向のなす角度または該角度に相当する傾き成分の大きさに応じた重みを付けて合成することにより行えばよい。

請求項２の発明によれば、輝度の勾配方向とパターン変化方向とのなす角度を比較して最適と考えられる３次元座標の計測結果を選択するので、選択するだけの簡単な操作によって、簡単な構成による精度の高い計測ができる。これは、合成における重み付けを”１”と”０”とした場合に相当する。

請求項３の発明によれば、微分処理による微分値の大きさ、すなわち輝度勾配の大きさが予め定めた閾値より小さい場合には、複数の計測結果の平均値を３次元座標の計測結果とするので、ランダムノイズによる計測誤差を低減することができ、精度の高い計測ができる。これは、輝度変化が小さい場合には、輝度変化による縞パターン画像のぼけの発生が少なく、このようなぼけによる計測誤差が小さいので、ランダムノイズに注目して誤差低減を図ることができることによる。

請求項４の発明によれば、表面に文字や柄などによる反射率の異なる領域が混在する被計測物体についても計測精度を向上できる位相シフト法による３次元形状計測装置を提供することができる。

以下、本発明の実施形態に係る３次元形状計測装置および方法について、図面を参照して説明する。

（第１の実施形態）
図１は第１の実施形態に係る３次元形状計測装置の模式的構成を示し、図２は同装置の投影部と撮像部の配置を示し、図３は同装置の投影部、撮像部、および縞パターンの位置関係を示す（図３は、図２の矢印３０ａ方向から見た図）。

３次元形状計測装置１は、文字や柄などによる反射率の異なる領域が表面に混在する被計測物体についても、位相シフト法を用いて非接触で精度良くその３次元形状を計測可能とする装置であって、画像中の画素毎に被計測物体の３次元座標を求めることができる。この３次元形状計測装置１は、基本的に、通常の位相シフト法による３次元形状計測を複数回行い、その計測結果から最良の計測結果を決定することにより、最終的に高精度の３次元形状計測を可能にする。

このため、３次元形状計測装置１は、互いに異なる方向から被計測物体の計測領域１０に縞パターンを投影する２つの縞パターン投影部２と、計測領域１０の上方に設置されて計測領域１０を撮像する撮像部３と、縞パターン投影部２および撮像部３とを制御すると共に縞パターン投影部２および撮像部３から出力されるデータを基に計測領域１０の３次元形状を求める計算を行う３次元計測処理部４とを備えている。計測領域１０は、任意の３次元凹凸表面を有する被計測物体の表面領域である。

縞パターン投影部２は、照明部２１、縞パターン生成部２２、および投影光学部２３を備えている。照明部２１は、光源と光源からの光を平行光に変換するコンデンサーレンズとを用いて構成される。縞パターン生成部２２は、光の透過率が一方向に沿って正弦波状に変化する、平面上において平行縞となる縞パターンを生成する部分であり、透過型液晶板と偏光板とを用いて構成される。投影光学部２３は、縞パターン生成部２２で作られた縞パターンを計測対象物に投影するためのレンズで構成される。

縞パターン投影部２は、複数設けられ、本実施形態では、Ａ，Ｂの２系統を用いる例を示す。縞パターン投影部２は、実際に複数の機器を準備する必要はなく、１系統の縞パターン投影部２の配置を変えることにより２系統の動作を実現してもよい。これは、複数系統からの照明のもとで同時に撮像することはないからである。しかしながら、撮像の段取り変えに要する時間などを考えると、複数系統を固定して移動せずに用いる方が好ましい。この２系統の縞パターン投影部２と撮像部３との配置関係については、後述する。

上述の縞パターン生成部２２を構成する透過型液晶板と偏光板とは、反射型液晶板と偏光板との組合せ、縞パターンを焼き付けたフィルムと所定の位相をずらすためのそのフィルムを移動させるアクチュエータとの組合せ、またはデジタルミラーデバイス（ＤＭＤ）などによって、同等の機能を実現するようにしてもよい。

撮像部３は、計測領域１０からの光を光電変換して画像データを生成するための撮像素子３１と、計測領域１０の像を撮像素子３１上に形成するための光学レンズから成る撮像光学部３２とを備えている。

３次元計測処理部４は、縞パターンデータ作成部４１と、中央制御部４２と、メモリ４３と、演算部４４と、計測結果や撮像画像等を表示する表示部４５と、本装置の操作に必要な入出力部（不図示）と、を備えている。また、演算部４４は、最終的な計測結果を決定するための計測結果決定部４ａを備えている。このような３次元計測処理部４は、ＣＰＵ、外部記憶装置、表示装置、入力装置などを備えた一般的な構成を備えたコンピュータ、およびコンピュータ上のプロセスや機能の集合を用いて構成することができる。

表示部４５は、通常のコンピュータ周辺機器として用いられる液晶ディスプレイやＣＲＴ等で構成することができる。入出力部は、簡単なスイッチ群で構成したり、通常のコンピュータ周辺機器におけるマウスやキーボード等を用いて構成される。

縞パターンデータ作成部４１は、縞パターン投影部２の縞パターン生成部２２において生成される縞パターンのもとになるデータを生成する。

中央制御部４２は、縞パターン投影部２に送る縞パターンのもとデータの送信制御、縞パターン投影部２の投影制御、撮像部３の撮像制御などを行って、計測領域１０に投影する縞パターンの位相を一定の位相間隔でシフトさせると共に、各位相のもとで照明した計測領域１０の撮像部３による撮像を制御する。中央制御部４２は、このほか、表示部４５や入出力部その他の各部の制御を行う。

メモリ４３は、３次元形状計測に必要なデータを記録するところであり、撮像部３と縞パターン投影部２の空間配置に関するデータ、撮像部３の分解能、縞パターンのピッチ、位相シフト量、撮像部３によって撮像された画像データ等のデータが記録される。

演算部４４は、メモリ４３に記録されたデータを用いて、位相シフト法における撮像画像の各画素での位相値を求め、求まった位相値に基づいて各画素点毎に計測領域１０の３次元形状座標を算出する。

（縞パターン投影部２と撮像部３の空間配置）
本実施形態では、Ａ，Ｂの２系統の縞パターン投影部２を用いており、これらを互いに直交する２平面（図２におけるＡ面、Ｂ面）内にそれぞれ配置する。従って、各縞パターン投影部２の投影用光軸２０はＡ面、またはＢ面に含まれる。また、撮像部３は、その光軸３０を前記直交するＡ面とＢ面の交線に一致させて計測領域１０の上方に配置する。

ここで、直交座標系を構成する空間の座標軸Ｘ，Ｙ，Ｚ、および画像面における座標軸ｘ，ｙを定義する。Ｚ軸は撮像部３の光軸３０とし、Ｘ軸、Ｙ軸はそれぞれＡ面、Ｂ面にあるとする。座標軸ｘ，ｙは、座標軸Ｘ，Ｙに一致させて、または対応させて定義することができる。

（縞パターンＳＰの配置）
本実施形態の位相シフト法で用いられる縞パターンＳＰは、明度が一定方向（以下、パターン変化方向５）に沿って正弦波状に変化するパターンである。本実施形態においては、パターン変化方向５を、Ｘ，ｘ軸方向と、Ｙ，ｙ軸方向とに設定している。なお、パターン変化方向５は、必ずしも投影用光軸２０が含まれているＡ面やＢ面に含まれる必要はなく、これらの面に対してゼロではない任意の角度を持たせることができる。さらに一般にＡ面、Ｂ面も必ずしも互いに直角である必要はない。

（動作説明）
次に、図４、図５を参照して３次元形状計測装置１の動作を説明する。３次元形状計測装置１は、前述したように、基本的に、通常の位相シフト法による３次元形状計測を複数回行い、その計測結果から最良の計測結果を決定することにより、最終的に高精度の３次元形状計測を可能にするものである。そこで、本実施形態では、まず、上述のＡ，Ｂの２系統の縞パターン投影部２を用いて、通常の３次元形状計測が行われる。その後、演算部４４の計測結果決定部４ａにおいて、最良の計測結果が画素毎に決定される。

図４に示す画像Ｇは、一様な明るさの光で照明した計測領域１０を撮像したものである。画像Ｇには、明るい背景画像の中に暗い画像部分が写っている。図５には、その明暗領域の境界における画素ｇの周辺画像が拡大されて示されている。座標軸ｘ，ｙは、画像Ｇにおける画素ｇの位置を決定する。また、それぞれの縞パターンＳＰのパターン変化方向５がｘ軸方向とｙ軸方向に設定されている。

図５において、輝度の勾配方向ｈが示されている。輝度の勾配方向ｈは、画像Ｇの各画素における輝度値をｘ軸方向とｙ軸方向とに沿ってそれぞれ微分して得られた各微分強度を成分とするベクトル方向として、各画素ｇ毎に算出される。なお、一様輝度の画像部分では、勾配方向は定義されない。この場合、従来技術における課題として述べたぼけによる計測誤差の発生もない。

本発明の３次元形状計測装置１は、図２１を参照して説明したように、被計測物体表面の反射率の違い、特に、明暗の境界ｘｂの位置で発生する画像のぼけによる計測誤差を解決するものである。そして、このぼけによる計測誤差の大きさは、明暗の境界線に垂直な方向、すなわち、輝度（明度）の勾配方向と縞パターンの変化方向とがなす角度（γとする）によって変化し、角度γが０゜のときが誤差がもっとも大きく、９０゜のときに誤差は最小になり、０゜＜γ＜９０゜では誤差の大きさは角度γの大きさと共に単調減少する、ということが分かっている。

上述のぼけによる計測誤差を解消するために、計測結果決定部４ａは、以下に示すように、最良の計測結果を選択して最終の計測結果を決定する。

各縞パターンＳＰにおけるパターン変化方向５の単位ベクトルｕａ，ｕｂ、および上記輝度の勾配方向ｈの単位ベクトルｕ０を定義する。なお、本実施形態の場合、単位ベクトルｕａ，ｕｂの方向は、それぞれｘ軸、ｙ軸の方向に一致させているが、このような一致は、３次元形状計測装置１における計測にとって本質的なものではない。

単位ベクトルｕａと単位ベクトルｕ０のなす角度をα、単位ベクトルｕｂと単位ベクトルｕ０のなす角度をβとすると、ベクトルの内積の絶対値について以下の関係がある。
｜ｕ０・ｕａ｜＝｜ｃｏｓα｜、
｜ｕ０・ｕｂ｜＝｜ｃｏｓβ｜。

角度θ（ただし、０゜＜θ＜１８０゜とする）について、｜ｃｏｓθ｜がゼロに近いほど、θは９０゜に近い。そこで、計測結果決定部４ａは、上述の｜ｃｏｓα｜と｜ｃｏｓβ｜とを比較して、よりゼロに近い方を見つけて、そのような結果を与える縞パターン投影部２による計測結果を、注目画素ｇにおける３次元形状計測結果とする。図４、図５における画素ｇの場合、ｘ軸方向（単位ベクトルｕａ方向）に縞パターンの変化方向５が向いている縞パターンＳＰによる計測結果（Ａ系統の縞パターン投影部２による計測結果）が、最良の計測結果として決定される。計測結果決定部４ａは、このような計測結果の決定を全ての画素ｇについて行う。

本実施形態の３次元形状計測装置１によれば、表面に文字や柄などによる反射率の異なる領域が混在していることにより撮像された画像中の画素における輝度値が真の値から変化するような被計測物体についても、計測精度を向上することができる。

（第２の実施形態）
図６は第２の実施形態に係る３次元形状計測方法のフローチャートを示し、図７は同方法における点群データ取得のフローチャートを示し、図８は同方法における画像データ取得のフローチャートを示し、図９は同方法における画素データ決定のフローチャートを示す。本実施形態は、上述の第１の実施形態における３次元形状計測装置１を用いて３次元形状計測を行う方法を示すものであり、図１〜図５を適宜参照する。

本計測方法の全体の流れが図６に示され、主なサブルーティンが図７、図８、図９に示されている。本計測方法では、処理の前半において２組の点群データ取得が行われ（Ｓ１，Ｓ２）、後半において２組の３次元形状データから各画素における最良の３次元形状データを決定する選択決定が行われる（ループＬＰ１〜ＬＰ１１，ＬＰ２〜ＬＰ２２）。前半の処理は、中央制御部４２の制御のもとで２つの縞パターン投影部２（投影部Ａ，Ｂとする）を用いて行われる。また、後半の決定処理は、計測結果決定部４ａによって行われる。以下、処理の流れに沿って説明する。

（点群データ取得）
まず、前半の点群データ取得（Ｓ１，Ｓ２）を、サブルーティンのフローチャート（図７）を参照して説明する。この処理の個々のデータを除く基本部分は、投影部Ａ，Ｂにとって共通の処理である。以下において、式や変数における添字ｋは、投影部Ａ，Ｂを識別するＡまたはＢを表すものとする。この点群データ取得処理では、３次元形状データおよび輝度勾配データが点群データとして取得される。

ここで、”点群データ”という用語について説明する。位相シフト法を用いる３次元形状計測では、計測領域１０に対して一定の位置に固定した撮像部３によって種々の画像が撮像され参照される。これらの画像は、互いに同じ画素数、および互いに同じｘ，ｙ座標系（図１参照）のもとでの同じ画素配列を有して構成されている。また、各画素は、ＸＹＺ座標系（図１参照）で定義される３次元空間における計測領域１０の表面の特定の点に対応している。点群データは、これらの特定の点に関するデータ、すなわち、輝度、ＸＹＺ座標値、所定の画像についてその点における輝度の勾配方向、などのデータの総称である。通常、そのデータの種類毎に画素数と同じ数のデータの集まり（すなわち点群）となる。

上述のように、点群データは画像中の画素毎に取得されるデータであり、点群データ取得処理は、画像を撮像する画像データ取得処理（Ｓ１０）、および、演算部４４による画素毎の点群データ取得のための画像処理（ループＬＰ３〜ＬＰ３３，ＬＰ４〜ＬＰ４４）によって行われる。この画像処理では、位相シフト法に関する処理（Ｓ１１、Ｓ１２）、および本発明の特徴的処理である輝度勾配データの取得が行われる（Ｓ１３）。

画像データ取得処理（Ｓ１０）を、さらに、サブルーティンのフローチャート（図８）を参照して説明する。このサブルーティンの処理では、４相の位相シフト法のための４つの縞パターン光による照明のもとでの４つの画像データと、一様照明のもとでの１つの画像データが取得される。縞パターンによる画像は輝度データＩ_ｋｉ（ｘ，ｙ），ｉ＝０，１，２，３として記録され（ＬＰ５〜ＬＰ５５）、一様照明による画像は輝度データＩ_ｋ（ｘ，ｙ）として記録される（Ｓ２４〜Ｓ２６）。ここで、ｘ，ｙは画像上の画素の位置を示す座標であり、画像のサイズに応じてｘ＝０，１，・・，ｍ，ｙ＝０，１，・・，ｎである。なお、ここでは４相の位相シフト法を用いる例を示すが、３次元形状データを取得するためには、これに限らず３相または５相以上の位相シフト法を用いることもできる。

（縞パターン光による画像データ取得）
中央制御部４２は、位相変化ループ（ＬＰ５〜ＬＰ５５）において、変数ｉの値を各ループ毎にｉ＝０，１，２，３と変化させて、投影縞パターンデータ生成（Ｓ２０）、縞パターン投影（Ｓ２１）、撮像（Ｓ２２）、輝度データ記録（Ｓ２３）を行う。すなわち、中央制御部４２は、正弦波の位相をπ／２ずつ変化させて画像データを輝度データとしてメモリ４３に４回取り込む。

より具体的に述べると、３次元計測処理部４の縞パターンデータ作成部４１が、投影縞パターンデータを生成する（Ｓ２０）。生成された縞パターンデータは、中央制御部４２の制御によって縞パターン投影部２に転送され、縞パターン投影部２より、正弦波状に明度が変化する縞パターンＳＰとして被計測物の計測領域１０に投影される（Ｓ２１）。

縞パターン生成部２２で作られる縞パターンＬ_ｋｉ（ｕ，ｖ）は、次式（１）に表される。この縞パターンは、明度が正弦波状に変化する。ここで、（ｕ，ｖ）は縞パターン投影部２の縞パターン生成部２２を構成する透過型液晶板上の座標であり、ｂ（ｕ，ｖ）はバイアス値、ａ（ｕ，ｖ）は振幅、φ（ｕ）は初期位相（ｉ＝０の場合の位相）、ｉπ／２は初期位相からの位相シフト量（ｉ＝０，１，２，３）である。

撮像部３は、縞パターンが投影された被計測物の計測領域１０を撮像し（Ｓ２２）、撮像された各画素の輝度データから成る輝度データＩ_ｋｉ（ｘ，ｙ）は、３次元計測処理部４のメモリ４３に記録される（Ｓ２３）。

（一様照明による画像データ取得）
次に、中央制御部４２は、縞パターン投影部２によって明るさが一様な照明光を被計測物の計測領域１０に投影し（Ｓ２４）、撮像部３によって撮像し（Ｓ２５）、縞パターンのない一様照明での輝度データＩ_ｋ（ｘ，ｙ）をメモリに記録する（Ｓ２６）。

縞パターンのない画像は、上述のように縞パターンが投影されていない一様照明による状態を撮像して得ることもできるが、位相シフト法計測のために取得した縞パターンの画像を合成して取得することもできる。つまり、具体的な輝度データＩ_ｋの取得方法として、次の２つの方法を用いることができる。
（１）パターンのない明るさが一定の画像を投影部から投影して撮像する。
（２）Ｉ_ｋ＝Ｉ_ｋ０＋Ｉ_ｋ１＋Ｉ_ｋ２＋Ｉ_ｋ３により合成して求める。

（位相算出）
次に、図７に戻って、位相算出（Ｓ１１）を説明し、その後、３次元データ計算（Ｓ１２）を説明する。まず、上述の縞パターン投影と撮像によって得られた各画素の輝度値Ｉ_ｋｉ（ｘ，ｙ）（ｉ＝０，１，２，３）から、次式（２）によって定義される位相φ（ｘ，ｙ）が算出される（Ｓ１１）。算出は演算部４４において行われる。

この位相φ（ｘ，ｙ）は、画像全体について定まる１つの位相状態について、座標（ｘ，ｙ）で定まる画素点毎の位相（位相値）の分布データである。この式で表される位相分布データと撮像の幾何学条件等から、被計測物体表面の３次元座標を各画素に割り当てた、いわゆる距離画像が得られる。より詳しく説明すると、計測領域１０に投影された縞パターンＳＰは、計測領域１０の３次元形状によって変調（歪曲）される。投影時の位相φ（ｕ）と、撮像した画像から求めた位相φ（ｘ，ｙ）は、もとが同じものであるので、撮像部３の撮像素子３１上の座標と液晶板上の座標の対応関係を得ることができる。従って、三角測量の原理によって被計測物表面の計測領域１０の３次元座標Ｘ，Ｙ，Ｚが、次式（３）によって求められる（Ｓ１２）。

ここで、（Ｘ，Ｙ，Ｚ）は３次元空間における計測領域１０の表面の点の座標、ｕ（φ）は液晶板上における画素の座標（位相が変化する方向の座標）である。またｐ^ｃ，ｐ^ｐはそれぞれ、撮像部３、縞パターン投影部２のキャリブレーションで求められるパラメータであり、次式（４）（５）を満足する。

上述の処理に基づいて、１つの縞パターン投影部２と撮像部３の組み合わせによる３次元形状計測結果として、画像上の画素位置（ｘ，ｙ）において空間座標データ（Ｘ，Ｙ，Ｚ）が定義された３次元点群データＰ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）が得られる。

（輝度勾配データ計算）
図７における処理の後半では、一様照明での輝度データＩ_ｋ（ｘ，ｙ）について輝度勾配データを求める計算が行われる（Ｓ１３）。輝度勾配は、画像のｘ方向、ｙ方向について輝度データの微分値を算出して求められる。この算出には、例えばＳｏｂｅｌフィルタを用いることができる。輝度データＩ_ｋに対応するｘ方向の微分値Ｄ_ｋｘ（ｘ，ｙ）、ｙ方向の微分値Ｄ_ｋｙ（ｘ，ｙ）は、それぞれ次式（６）（７）で求められる。

輝度の勾配方向を表す角度θ_ｋ（ｘ，ｙ）はこれらの微分値から次式（８）で求められる。この角度θ_ｋ（ｘ，ｙ）は画像におけるｘ軸方向となす角度として定義されている。

本実施形態の３次元形状計測方法では、輝度の勾配方向と、縞パターンＳＰの変化方向とのなす角度が、投影部Ａ，Ｂのどちらの場合においてより９０゜に近いか、を判定に用いるので、θ_ｋ（ｘ，ｙ）の値は０゜から９０゜の範囲の値でよい。従って、ｘ方向微分値、ｙ方向微分値の絶対値を用いて、次式（９）のように求めた角度Θ_ｋ（ｘ，ｙ）を用いることもできる。以下では、便宜上、角度Θ_ｋ（ｘ，ｙ）を用いるものとして説明する。また、これらの角度θ_ｋ（ｘ，ｙ）、または角度Θ_ｋ（ｘ，ｙ）が定義できなく、存在しない場合には、「９９９」などの所定の異常値を角度値として与えておくものとする。

以上の処理により、図６のステップＳ１，Ｓ２における、投影部Ａ，Ｂによる２組の点群データ取得が完了し、３次元形状データＰ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ），ｋ＝Ａ，Ｂ、輝度勾配データΘ_ｋ（ｘ，ｙ），Ｄ_ｋｘ（ｘ，ｙ），Ｄ_ｋｙ（ｘ，ｙ），ｋ＝Ａ，Ｂが取得される。以下では、図６における各画素における最良の３次元形状データの選択による画素データの決定の処理を説明する（ループＬＰ１〜ＬＰ１１、ＬＰ２〜ＬＰ２２）。なお、Ｐ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）をＰ_ｋ（ｘ，ｙ）と表記し、選択決定された最終の３次元形状データをＰ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）、またはＰ（ｘ，ｙ）と表記する。

（画素データの決定）
ループ処理において（ループＬＰ１〜ＬＰ１１，ＬＰ２〜ＬＰ２２）、座標ｘ，ｙによって指定された特定の画素について、Ｐ_Ａ（ｘ，ｙ），Ｐ_Ｂ（ｘ，ｙ）の存在の如何が判断され、いずれか一方のみが存在する場合には、その値が選択され、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）、または、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とされる（Ｓ６、またはＳ８）。また、いずれも存在していなければ（Ｓ３とＳ７でＮｏ）、Ｐ（ｘ，ｙ）は、非存在とされ、「９９９」などの所定の異常値がＰ（ｘ，ｙ）に与えられる（Ｓ９）。

上述の処理（Ｓ６，Ｓ８，Ｓ９）は、各縞パターン投影部２からの投影方向に依存して発生する３次元立体形状に起因する隠蔽（影ができる、いわゆるオクルージョン）のため計測結果がなくなる場合の対応処理である。これにより、２種類の測定結果のうち、一方が隠蔽の影響を受ける場合、他方を正しい計測結果として選択することができる。

Ｐ_Ａ（ｘ，ｙ），Ｐ_Ｂ（ｘ，ｙ）がいずれも存在する場合（Ｓ３とＳ４でＹｅｓ）、輝度勾配に基づく画素データの決定が行われる（Ｓ５）。

輝度勾配に基づく画素データの選択決定を、サブルーティンのフローチャート（図８）を参照して説明する。まず、輝度勾配データである角度Θ_Ａ（ｘ，ｙ），Θ_Ｂ（ｘ，ｙ）の存在の如何が判断され（＃１）、いずれか一方の角度が、上述のように「９９９」とされて、存在しない場合（＃１でＮｏ）、デフォルトでＰ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）とされる（＃４）。なお、これらの角度がいずれも存在しない場合は、輝度勾配が定義されない状態、すなわち、輝度勾配がない状態であり、注目画素の周辺画素において一様輝度分布となっていることを示す。

角度Θ_Ａ（ｘ，ｙ），Θ_Ｂ（ｘ，ｙ）のいずれも存在する場合には（＃１でＹｅｓ）、パターン変化方向の角度（η_Ａ，η_Ｂとする）と、角度Θ_Ａ（ｘ，ｙ），Θ_Ｂ（ｘ，ｙ）との差の絶対値としての角度α，βが求められる（＃２）。この角度α，βは、第１の実施形態における図５に示した角度α，βに相当する。また、角度η_Ａ，η_Ｂは、同じく図５に示した単位ベクトルｕａ，ｕｂの方向に相当し、本実施形態の場合、ｘ軸方向を基準にするとη_Ａ＝０，η_Ｂ＝９０゜である。

次に、上述の角度α，βのいずれが９０゜に近いか判断され、角度αが角度βよりも９０゜に近い場合、つまり、β＜α≦９０゜の場合（＃３でＹｅｓ）、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）とされる（＃４）。また、角度αが角度βよりも９０゜に近くはない場合（＃３でＮｏ）、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とされる（＃５）。

上記では、角度Θ_Ａ（ｘ，ｙ），Θ_Ｂ（ｘ，ｙ）を用いて最良のデータを選択決定する旨説明したが、同様の選択決定は、輝度勾配データであるｘ方向の微分値Ｄ_ｋｘ（ｘ，ｙ）、ｙ方向の微分値Ｄ_ｋｙ（ｘ，ｙ）を用いて行うこともできる。この方法によると、角度Θ_Ａ（ｘ，ｙ），Θ_Ｂ（ｘ，ｙ）を求めるための逆正接の計算が不要であるので、より少ない計算処理量で処理できる利点がある。

本実施形態の場合、角度η_Ａ，η_Ｂが、η_Ａ＝０，η_Ｂ＝９０゜であるので、微分値を用いる選択決定は、次の関係によって行うことができる。ただし、次式は、投影部Ａのデータにより判断するので、投影部Ａ，Ｂによって得られた輝度勾配の方向が互いに略等しい場合に適用される。
Ｄ_Ａｙ≧Ｄ_Ａｘ の場合、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）、
Ｄ_Ａｙ＜Ｄ_Ａｘ の場合、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）。

上述のような画素データの決定処理が、全画素について行われることにより、最適選択された最終の３次元座標データ、すなわち３次元形状計測結果Ｐ（ｘ，ｙ）、より明示的にＰ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）が取得される。

本実施形態の３次元形状計測方法によれば、輝度の勾配方向とパターン変化方向とのなす角度を比較して最適と考えられる３次元座標の計測結果を選択するので、表面に文字や柄などによる反射率の異なる領域が混在する被計測物体についても、選択するだけの簡単な操作によって、精度の高い計測ができる。また、異なる方向からの投影部Ａ，Ｂによる点群データの比較と選択により、隠蔽（オクルージョン）による計測結果の欠損を回避できる。

（第３の実施形態）
図１０は第３の実施形態に係る３次元形状計測方法および装置を説明するための投影部、撮像部、および縞パターンの位置関係を示す。本実施形態は、第１または第２の実施形態における２つの縞パターン投影部２を３つとする構成にしたものである。各縞パターン投影部２の配置面Ａ，Ｂ，Ｃは、面間の角度をφ１，φ２とされ、縞パターンＳＰのパターン変化方向５も配置面Ａ，Ｂ，Ｃに応じて設定されている。角度φ１，φ２は、例えば、それぞれ６０゜とすることにより、第１の実施形態における９０゜の場合よりも、ぼけに対する誤差回避をより効果的に行えるので、より精度良く３次元形状計測を行える。

本発明の３次元形状計測方法および装置は、より一般的に、縞パターン投影部２（より基本的に投影用光軸、以下同様）を２つ以上設けることができ、その数を増やすことにより、ぼけに対する誤差回避をより効果的に行える。また、多数の計測結果を統計処理することにより、ランダムノイズ誤差を低減したりできる。縞パターン投影部２の数は、測定に係る時間や、必要な計測精度や、設備費等の兼ね合いで決定すればよい。

ここで、縞パターン投影部２を任意の数だけ備えた場合の、一般的な３次元形状計測方法について説明する。なお、説明の便宜のため、図１乃至図１０に示した各部の名称や符号等を参照するが、それらの構成に限定されるものではない。この３次元形状計測方法では、第１、第２の実施形態同様に、明度が正弦波状に変化する縞パターンＳＰを異なる位相で３回以上被計測物体の計測領域１０に投影して、一定位置に配置された撮像部３により撮像することにより、各画像間で互いに画素位置が対応づけられた複数の画像を撮像し、これらの画像を用いて画像中の各画素毎に被計測物体の３次元座標を求める位相シフト法を用いる。

この３次元形状計測方法は、座標計測ステップと、勾配取得ステップと、画素データ決定ステップと、を含んでおり、各ステップを以下に詳述する。

座標計測ステップでは、被計測物体の計測領域１０上方に撮像部３を設置し、撮像部３の光軸３０と１つの投影用光軸２０とで構成される平面を複数設定し、前記平面の１つについて該平面に対して所定の角度を有しかつ撮像部３の光軸３０に直交する直線の方向としたパターン変化方向５に沿って明度が変化する縞パターンＳＰを該平面を構成する投影用光軸２０方向から計測領域１０に投影すると共に撮像部３によって撮像して位相シフト法により該計測領域の３次元座標（Ｘ，Ｙ，Ｚ）を取得するステップを、前記各平面について独立に行うことにより複数種類の３次元座標データＰ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）を取得する。ここで、Ｘ，Ｙ，Ｚは計測領域１０に設定された空間座標、ｘ，ｙは画像に設定された座標である。ここで、添字ｋは、各投影用光軸２０等を識別する変数であり、第１の実施形態におけるＡ，Ｂ等を識別する添字である。

勾配取得ステップでは、計測領域１０を均一な照明光のもとで撮像した画像を微分処理し該画像中の画素毎に輝度の勾配方向ｈを求めるステップを、前記各平面について独立に投影用光軸２０方向からの照明と撮像部３による撮像とによって行うことにより複数種類の勾配方向データを取得する。輝度の勾配方向ｈは、角度θ_ｋ（ｘ，ｙ）、ｘ方向の微分値Ｄ_ｋｘ（ｘ，ｙ）、ｙ方向の微分値Ｄ_ｋｙ（ｘ，ｙ）等で表される。

この勾配取得ステップと上述の座標計測ステップとは、互いに順番を入れ替えて実行することができる。また、これらのステップをそれぞれ一括して行わずに、互いに前記各平面毎（各投影用光軸２０毎）のステップによってまとめて行うようにしてもよい。

画素データ決定ステップでは、各投影用光軸２０毎の３次元座標データＰ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）と勾配方向データθ_ｋ（ｘ，ｙ），Ｄ_ｋｘ（ｘ，ｙ），Ｄ_ｋｙ（ｘ，ｙ）から成る複数の組における互いに他の組の画像中の画素に対応する各画素について、それぞれ輝度の勾配方向ｈとパターン変化方向５とのなす角度γまたは該角度γに相当する傾き成分を求め、各組における当該画素に対する３次元座標Ｘ，Ｙ，Ｚをこれらの角度γまたは傾き成分に基づいて合成して当該画素における３次元座標の計測結果Ｐ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）とする。

また、上述の画素データ決定ステップは、３次元座標を合成する際に、前記互いに対応する各画素について求めた輝度の勾配方向と前記パターン変化方向とのなす角度γを比較して９０゜により近い角度γを与える組から３次元座標を選択して当該画素における計測結果Ｐ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）とすることができる。これは、合成時の重み付けを、選択した１つのデータについて”１”とし、他のデータの全てについて”０”とした場合に相当する。

（第４の実施形態）
図１１は第４の実施形態に係る３次元形状計測方法を説明するフローチャートを示し、図１２は同方法における画素データ決定のフローチャートを示す。本実施形態の３次元形状計測方法は、第２の実施形態における、「輝度勾配（すなわち角度）に基づく画素データ決定の処理」を、「微分強度（すなわち輝度分布の微分値）」に基づいて行うところが異なっており、他の点は第２の実施形態と同様である。

従って、図１１に示すフローチャートは、第２の実施形態のフローチャート（図６）におけるステップＳ５を、輝度強度に基づく画素データ決定の内容（Ｓ５０）、に置き換えたものとなっている。なお、図１１のフローチャートにおけるステップＳ１，Ｓ２では、角度勾配を表す角度θ_ｋ（ｘ，ｙ）やΘ_ｋ（ｘ，ｙ）の導出は不要である。また、ここでいう「微分強度」は、画像中の輝度変化の微分値のことであり、ｘ方向の微分強度Ｄ_ｋｘとｙ方向の微分強度Ｄ_ｋｙがある（ｋはＡまたはＢ）。これらは、前述の勾配方向データであって、Ｄ_ｋｘ＝Ｄ_ｋｘ（ｘ，ｙ），Ｄ_ｋｙ＝Ｄ_ｋｙ（ｘ，ｙ）である。

以下では、ステップＳ５０の具体的処理を示すサブルーティン（図１２）を説明し、他の説明は省略する。ここでも、図１〜図５、および図６を適宜参照する。

画素データ決定サブルーティンの最初のステップで、２つの投影部Ａ，Ｂのもとで得られた微分強度が、互いにｘ方向成分同士と閾値Ｔ_ｘ、およびｙ方向成分同士と閾値Ｔ_ｙで比較される（＃１０）。例えば、ｘ方向について、微分強度Ｄ_Ａｘが微分強度Ｄ_Ｂｘに閾値Ｔ_ｘを加えた値よりも大きい（Ｄ_Ａｘ＞Ｄ_Ｂｘ＋Ｔ_ｘ）場合に（＃１０でＹｅｓ）、投影部Ｂによる３次元形状データが、ｘｙ座標を有する注目画素に対する最終データとして選択決定されＰ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とされる（＃１４）。

上述の選択決定の判定は、隠蔽（オクルージョン）による誤計測を回避するためのものである。すなわち、隠蔽によって画像に影が生じ、その影の境界線によって微分強度が強くなってしまう場所において、そのような影の影響が少ないと考えられるより信頼性の高い計測結果を選択する処理である。上の例では、微分強度Ｄ_Ａｘが微分強度Ｄ_Ｂｘに閾値Ｔ_ｘを加えた値よりも大きいので（Ｄ_Ａｘ＞Ｄ_Ｂｘ＋Ｔ_ｘ）、投影部Ａによる３次元形状データＰ_Ａ（ｘ，ｙ）には隠蔽による影の影響があると判断され、Ｐ_Ｂ（ｘ，ｙ）が選択され決定されている。

同様に、ｙ方向についても、微分強度Ｄ_Ａｙが微分強度Ｄ_Ｂｙに閾値Ｔ_ｙを加えた値よりも大きい（Ｄ_Ａｙ＞Ｄ_Ｂｙ＋Ｔ_ｙ）場合に（＃１０でＹｅｓ）、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とされる（＃１４）。この処理を言い換えると、ｘ方向とｙ方向のいずれかにおいて、異常に大きい輝度微分強度を有するような３次元形状データは、隠蔽による影の影響を含む可能性があるので除外する処理と言える。

上述とは逆の場合には、すなわち、投影部Ｂによる微分強度が異常に大きい場合には（＃１１でＹｅｓ）、同様の理由で、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）とされる（＃１３）。

いずれの微分強度も、閾値Ｔ_ｘ，Ｔ_ｙによって判断されるような大きな異常値を持たない場合に（＃１０でＮｏ、＃１１でＮｏ）、投影部Ａに関する微分強度のｘｙ方向の成分の大小比較が行われる（＃１２）。この大小比較は、隠蔽による影響がない状況下で、文字や柄などによる反射率の異なる領域の境界部分におけるぼけの影響による計測誤差の発生を回避するために行われる。この場合、隠蔽もなく、また、一様な照明のもとでの画像に基づく輝度の微分強度なので、投影部Ａ，Ｂのいずれに基づく微分強度も互いに同等の値を有すると考えられ、いずれの微分強度を用いても有効に大小比較できると考えられる。

上述のぼけの影響による計測誤差は、画像の輝度の勾配方向と、縞パターンの変化方向との角度が９０゜に近いほど小さいので、Ｄ_Ａｙ≧Ｄ_Ａｘの場合（＃１２でＹｅｓ）、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）とすればよい（＃１３）。

補足説明すると、本実施形態の３次元形状計測方法は、第２の実施形態と同様に、第１の実施形態の構成の３次元形状計測装置を用いることを想定しているので、投影部Ａによる縞パターンの変化方向はＸ軸方向（ｘ軸方向）である。また、投影部Ｂによる縞パターンの変化方向はＹ軸方向（ｙ軸方向）である。

そこで、Ｄ_Ａｙ≧Ｄ_Ａｘの場合、輝度の勾配方向は、ｘ軸方向よりも、ｙ軸方向に傾いていることになる。つまり、ｘ軸とｙ軸とは直角なので、輝度の勾配方向は、ｘ軸方向に対してより大きな、９０゜に近い角度を有することになり、ｘ軸方向に縞パターン変化方向を有する場合の３次元形状データＰ_Ａ（ｘ，ｙ）が、より誤差の少ないデータとして選択される。逆の場合、すなわち、Ｄ_Ａｙ≧Ｄ_Ａｘではない場合（＃１２でＮｏ）、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とされる（＃１４）。

（第５の実施形態）
図１３は第５の実施形態に係る３次元形状計測方法における画素データ決定のフローチャートを示す。本実施形態の３次元形状計測方法は、上述の第４の実施形態と同様に「微分強度（すなわち輝度分布の微分値）」に基づいて「画素データ決定の処理」を行うが、２つの計測データのうちいずれかを選択するのではなく、所定の重み付けのもとで、２つの計測データを合成したデータを最終の「画素データ」すなわち３次元形状計測データとするところが異なり、他の点は第４の実施形態と同様である。

図１３に示す本実施形態のサブルーティンのフローチャートは、第４の実施形態のフローチャート（図１２）に代わるものである。ステップ＃２０，＃２１における処理は、前述の図１２におけるステップ＃１０，＃１１における処理と同様なので説明は省略する。

いずれの微分強度も、閾値Ｔ_ｘ，Ｔ_ｙによって判断されるような大きな異常値を持たない場合に（＃２０でＮｏ、＃２１でＮｏ）、次式（１０）に示すように、パラメータｔを設定する（＃２２）。

パラメータｔの設定には、投影部Ａによる微分強度データＤ_Ａｙ（ｘ，ｙ），Ｄ_Ａｘ（ｘ，ｙ）が用いられているが、隠蔽もなく、また、一様な照明のもとでの画像に基づく輝度の微分強度なので、投影部Ａ，Ｂのいずれに基づく微分強度データでも、同等にパラメータｔを設定できると考えられる。

上式（１２）のｔは、分母を１として考えると、ｔがｘ成分に相当し、（１−ｔ）がｙ成分に相当する。また、ｔ＝１なら、微分強度はｘ成分のみであり、輝度勾配方向はｘ軸方向であり、この方向に直交するｙ軸方向に縞パターン変化方向となっている３次元形状計測値Ｐ_Ｂ（ｘ，ｙ）が選択決定される。

また、ｔ＝０なら、微分強度はｙ成分のみであり、輝度勾配方向はｙ軸方向であり、この方向に直交するｘ軸方向に縞パターン変化方向となっている３次元形状計測値Ｐ_Ａ（ｘ，ｙ）が選択決定される。

パラメータｔが、０＜ｔ＜１の場合には、それぞれ、Ｐ_Ａ（ｘ，ｙ）とＰ_Ｂ（ｘ，ｙ）とからの寄与を、（１−ｔ）とｔの重み付けのもとで、Ｐ（ｘ，ｙ）に算入すればよいことが分かる。

上記のことから、パラメータｔを用いて、次式（１１）に示すように、投影部Ａ，Ｂによる３次元形状計測値Ｐ_Ａ（ｘ，ｙ），Ｐ_Ｂ（ｘ，ｙ）を合成して、ｘｙ座標を有する注目画素に対する最終データＰ（ｘ，ｙ）を決定する（＃２３）。

本実施形態の３次元形状計測方法によれば、２つの縞パターン変化方向を互いに直角方向にとって、投影部Ａ，Ｂによって取得した３次元形状計測データを、輝度の勾配方向の角度（微分強度の２成分の大小関係）応じて加重平均をするので、ランダム雑音の影響を低減させることができ、かつ、反射率の混在による計測誤差（ぼけの影響）を低減させることができ、３次元形状計測の精度を向上させることができる。

（第６の実施形態）
図１４は第６の実施形態に係る３次元形状計測方法における画素データ決定のフローチャートを示す。本実施形態の３次元形状計測方法は、上述の第５の実施形態とは、注目画素における輝度の微分強度がいずれも小さい場合の処理を組み入れた点が異なり、他は第５の実施形態と同様である。すなわち、図１４に示すフローチャートにおいて、ステップ＃３０，＃３１が、図１３のフローチャートに追加されている。

いずれの微分強度も、閾値Ｔ_ｘ，Ｔ_ｙによって判断されるような大きな異常値を持たない場合に（＃２０でＮｏ、＃２１でＮｏ）、投影部Ａに関する微分強度の成分Ｄ_Ａｙ（ｘ，ｙ），Ｄ_Ａｘ（ｘ，ｙ）が、それぞれ閾値Ｔ_０より小さいかどうか比較される（＃３０）。いずれも小さい場合、すなわち、Ｄ_Ａｙ（ｘ，ｙ）＜Ｔ_０、かつＤ_Ａｘ（ｘ，ｙ）＜Ｔ_０の場合（＃３０でＹｅｓ）、上述のパラメータｔが、ｔ＝０．５とされる（＃３１）。

上述の処理は、隠蔽もなく、また、一様な照明のもとでの画像に基づく輝度の微分強度なので、投影部Ａ，Ｂのいずれに基づく微分強度も互いに同等の値を有すると考えられるので、投影部Ａに関する微分強度の成分によって判断されている。

また、上述の輝度の微分強度の成分がいずれも小さいという条件は、微分強度の大きさそのものが小さいことを意味する。上述の処理は、注目している画素の周辺における輝度変化が少なく、輝度変化による縞パターン画像のぼけの発生が少なく、従って、このようなぼけによるによる計測誤差が小さいので、ランダムノイズに注目して誤差低減を図る処理である。

本実施形態の３次元形状計測方法によれば、パラメータｔの計算を簡略化し、ｔ＝０．５と固定値とすることにより、計算処理を少なくしながら、計測結果を平均化することによりランダム雑音の影響を低減させることができ、計測誤差を低減して精度の高い計測ができる。

なお、本発明は、上記各実施形態によって示した構成に限られることなく種々の変形が可能である。例えば、上述した各実施形態の構成を矛盾のない範囲で互いに組み合わせた構成とすることができ、そのような組合せ可能な構成の実施形態は明記されていなくても当然に本発明に含まれる。また、いずれの縞パターン投影部２についても、その投影用光軸２０と撮像部３の光軸３０とは、必ずしも同一平面に含まれる必要はなく、互いの幾何学的な空間配置が明確であればよく、互いにねじれの位置の関係とすることもできる。また、位相シフト法で用いられる縞パターンＳＰは、明度が必ずしも正弦波状に変化するパターンである必要はなく、明度が周期的に変化する縞パターンであればよい。

本発明の第１の実施形態に係る３次元形状計測装置の模式的構成図。 同上装置の投影部と撮像部の配置を示す模式的斜視図。 同上装置の投影部、撮像部、および縞パターンの位置関係を示す平面図。 同上装置において撮像される画像の例。 同上装置において３次元座標データ選択に用いられる輝度の勾配方向の図。 第２の実施形態に係る３次元形状計測方法を説明するフローチャート。 同上方法における点群データ取得のフローチャート。 同上方法における画像データ取得のフローチャート。 同上方法における画素データ決定のフローチャート。 第３の実施形態に係る３次元形状計測方法および装置を説明するための投影部、撮像部、および縞パターンの位置関係を示す平面図。 第４の実施形態に係る３次元形状計測方法を説明するフローチャート。 同上方法における画素データ決定のフローチャート。 第５の実施形態に係る３次元形状計測方法における画素データ決定のフローチャート。 第６の実施形態に係る３次元形状計測方法における画素データ決定のフローチャート。 本発明の参考となる平面図。 従来および本発明が適用される反射率の異なる領域を含む計測領域の一様照明のもとでの画像。 図１６の画像におけるｘ０方向に沿った輝度値変化を示すグラフ。 （ａ）〜（ｄ）はそれぞれ図１６の画像を明度がｘ方向に正弦波状に変化する照明のもとで位相変化分を初期位相０から、π／２，π，３π／２とした場合のｘ０方向に沿った輝度値変化の計算値を示すグラフ。 （ａ）〜（ｄ）はそれぞれ図１８（ａ）〜（ｄ）の輝度値に移動平均処理を行って輝度変化をぼかした状態のグラフ。 図１８（ａ）〜（ｄ）から算出した初期位相のｘ方向の変化を示すグラフと図１９（ａ）〜（ｄ）から算出した初期位相のｘ方向の変化を示すグラフを重ねて示したグラフ。 図２０のＤ部を拡大したグラフ。

符号の説明

１ ３次元形状計測装置
２ 撮像部
３ 投影部
４ 計測処理部
５ パターン変化方向
１０ 計測領域
２０ 撮像部光軸
３０ 投影用光軸
ｇ 画素
ｈ 勾配方向
Ｇ 画像
ＳＰ 縞パターン
Ｘ，Ｙ，Ｚ ３次元座標

Claims (4)

1. 明度が正弦波状に変化する縞パターンを異なる位相で３回以上被計測物体に投影して一定位置から複数の画像を撮像し、これらの画像を用いて画像中の各画素毎に被計測物体の３次元座標を求める位相シフト法による３次元形状計測方法において、
   被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸と１つの投影用光軸とで構成される平面を複数設定し、前記平面の１つについて該平面に対して９０°を除く所定の角度を有しかつ前記撮像部の光軸に直交する直線の方向としたパターン変化方向に沿って明度が変化する縞パターンを該平面を構成する投影用光軸方向から前記計測領域に投影すると共に前記撮像部によって撮像して位相シフト法により該計測領域の３次元座標を取得するステップを、前記各平面について独立に行うことにより複数種類の３次元座標データを取得する座標計測ステップと、
   前記計測領域を均一な照明光のもとで撮像した画像を微分処理し該画像中の画素毎に輝度の勾配方向を求めるステップを、前記各平面について独立に、前記投影用光軸方向からの照明と前記撮像部による撮像とによって行うことにより複数種類の勾配方向データを取得する勾配取得ステップと、
   前記各平面毎の３次元座標データと勾配方向データとから成る複数の組における互いに他の組の画像中の画素に対応する各画素について、それぞれ前記輝度の勾配方向と前記パターン変化方向とのなす角度または該角度に相当する傾き成分を求め、各組における当該画素に対する３次元座標をこれらの角度または傾き成分に基づいて合成して当該画素における３次元座標の計測結果とする画素データ決定ステップと、を含むことを特徴とする３次元形状計測方法。
2. 前記画素データ決定ステップは、前記３次元座標を合成する際に、前記複数の組における輝度の勾配方向と前記パターン変化方向とのなす角度を互いに比較して９０゜により近い角度を与える組から３次元座標を選択して当該画素における計測結果とすることを特徴とする請求項１に記載の３次元形状計測方法。
3. 前記画素データ決定ステップは、前記勾配取得ステップにおける微分処理による微分値の大きさが前記複数の組における互いに対応する画素のいずれについても予め定めた閾値より小さくなる場合には、前記各組における当該画素に対する３次元座標を互いに均等に合成して当該画素における３次元座標の計測結果とすることを特徴とする請求項１に記載の３次元形状計測方法。
4. 請求項１乃至請求項３のいずれか一項に記載の３次元形状計測方法を用いる３次元形状計測装置。

Images