JP2009115612A - ３次元形状計測装置及び３次元形状計測方法 - Google Patents

Abstract

【課題】コスト上昇を抑えながら比較的に短時間で被計測物の３次元形状を計測する。
【解決手段】位相シフト法を利用した３次元形状計測において必須となる正弦波状の縞パターンの各々において、１周期毎に正弦波の振幅Ａ_ｎを変化させた投影パターンを生成して被計測物Ｍに投影して撮像する。振幅の違いから周期を推定して相対位相を位相接続できることから、特許文献２に記載されている従来例のように高価な投影装置や撮像装置を用いる必要が無く、その結果、表面に段差や孔のある物体の３次元形状をコスト上昇を抑えながら少ない撮像回数で計測することができる。
【選択図】図１

Description

本発明は、被計測物の３次元形状を計測する３次元形状計測装置及び３次元形状計測方法に関する。

従来、物体の３次元形状を計測する方法として位相シフト法が広く用いられている。位相シフト法は光切断法の一種であって、投影装置により被計測物に特定のパターンを投影し、被計測物の表面で乱反射された投影像を投影装置の投影光軸と異なる方向から撮像装置で撮像し、この撮像装置で撮像した濃淡画像（以下、単に「画像」と呼ぶ）を画像処理することで被計測物の３次元形状を計測するものである。以下、位相シフト法の原理について更に詳しく説明する。

先ず、投影装置から正弦波状に輝度が変化する縞パターンを被計測物に投影し、この縞パターンの位相を、例えばπ／２ずつずらして撮像装置で撮像するという手順を、縞パターンの位相が１周期分移動するまで複数回（最低３回、通常は４回以上）繰り返す。ここで、撮像装置で撮像された４枚の画像上の同じ位置での輝度（濃度）は、絶対的な明るさはその位置での被計測物の表面性状や色等により変化しても、相対的な輝度差は必ず投影パターンの位相差分だけの変化を示すから、その位置での投影されたパターンの相対位相値が求められる。

相対位相φは投影縞パターンの１周期毎の値、即ち−π〜πの間の値となるから、複数周期分投影された縞の絶対位相Φを求めるには、縞次数ｎ（一端から他端に向かって数えてｎ周期目の縞であることを表す値）の縞が、撮像された各画像上でどの位置にあるかを推定する処理が必要である。

そして、撮像された４枚の画像の各点において、相対位相値と縞次数とを用いて、上記絶対位相Φ（＝φ＋２ｎπ）を求める。この処理を以下では「位相接続処理」と呼ぶ。位相接続処理によって求められた絶対位相Φが等しい点を連結して得られる線（等位相線）が、光切断法における切断線と同じく被計測物をある平面で切断した断面の形状を表すから、この絶対位相Φをもとに三角測量の原理により被計測物の３次元形状（画像各点での高さ情報）が計測できる。

而して、正弦波縞の絶対位相値、即ち縞パターンの投影に用いた実体格子上の位置と撮像装置の撮像素子上の結像点位置（画像上の座標）が特定できるので、投影装置と撮像装置の光学的な配置に基づいて三角測量の原理から、画像上の点に対応する被計測物上の投影点の３次元空間での絶対的な座標値（Ｘ，Ｙ，Ｚ）を求めれば、被計測物の３次元形状を得ることができる。

このように位相シフト法では、得られた画像の各点に対応する３次元座標が簡単な計算処理により求められるとともに高密度の３次元形状の計測データが最低３回の撮像により得られるため、１点あたりの計測時間で評価すると他の計測方法に比べて数倍から数万倍の速度での計測が可能になるという特徴がある。

しかしながら、被計測物の表面に段差や穴があって縞と縞との境界（位相境界）が特定できない場合などには、縞次数ｎが正しく求められないために位相接続処理が困難になり、正しい距離が得られなくなるという問題（位相飛び問題）が発生するという欠点がある。また、位相シフト法は、なるべく多数の縞を投影し、撮影された画像上において投影縞のコントラストがなるべく高くなるように撮像することで高精度の計測が可能となるが、縞次数が多いと上記位相飛び問題が発生しやすく、高さ計測に必要な絶対位相値を得るのが困難になるという問題がある。

そこで従来より、位相飛び問題を解決する３次元形状計測装置や３次元形状計測方法が種々提案されている（特許文献１，２参照）。特許文献１に記載された方法では、基準正弦波とその整数倍の波長をもつ正弦波を重畳させて投影し、各々の波長で求められた相対位相の情報を統合することで位相境界位置を一意に得ている。また、特許文献２に記載された方法では、所謂空間コード法と位相シフト法を組み合わせ、縞次数ｎを確定するための空間コードパターンを、縞パターンを投影する光の波長と異なる波長の光で縞パターンと同時に投影し、縞パターンと空間コードパターンとが同時に投影された撮影画像を、光の波長に基づいて縞パターンが投影された画像と空間コードパターンが投影された画像とに分離し、空間コードパターンが投影された複数枚の画像から縞次数ｎを確定している。尚、空間コードパターンとは空間をコード化するためのものであって、例えば、Ｔ周期目の縞パターンに対しては、Ｔの２進数表現に対応して、ビット値が０なら暗パターン、ビット値が１なら明パターンとして構成された明暗パターンであり、最下位ビットに対する明暗パターンから順番に投影される。
特許３１９９０４１号公報 特開２００６−１７７７８１号公報

しかしながら、特許文献１に記載されている従来例では、１回の計測において必要な画像の枚数（撮像装置による撮像回数）が増加してしまうために計測に要する時間が長くなってしまう（例えば、特許文献１では８回の撮像が必要である）。一方、特許文献２に記載されている従来例では、特許文献１に記載されている従来例と比較して少ない枚数（撮像回数）の画像で計測可能ではあるが、縞パターンを投影する光の波長と異なる波長の光で空間コードパターンを同時に投影するためにカラーパターンが投影可能な投影装置と、カラー画像が撮像可能な撮像装置が必要であり、モノクロ画像によって計測する場合に比べてコストが上昇してしまうという問題がある。

本発明は、上記の点に鑑みて為されたもので、コスト上昇を抑えながら比較的に短時間で被計測物の３次元形状を計測できる３次元形状計測装置及び３次元形状計測方法を提供することを目的とする。

請求項１の発明は、上記目的を達成するために、被計測物に任意パターンの光を投影する投影手段と、投影手段を制御して所定の光パターンから成る投影パターンを被計測物に投影させる投影パターン制御手段と、被計測物を撮像する撮像手段と、撮像手段の撮像画像から投影パターンが投影された被計測物の濃淡画像を取得する画像取得手段と、画像取得手段で取得した濃淡画像内の任意の位置における投影パターンの相対位相を演算する相対位相演算手段と、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算する絶対位相演算手段と、絶対位相から被計測物の３次元座標を演算する３次元座標演算手段とを備え、投影パターン制御手段は、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンにおいて各々の振幅を１周期毎に変化させた投影パターンを生成して投影手段より被計測物に投影させ、相対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算し、絶対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算することを特徴とする。

請求項２の発明は、上記目的を達成するために、被計測物に任意パターンの光を投影する投影手段と、投影手段を制御して所定の光パターンから成る投影パターンを被計測物に投影させる投影パターン制御手段と、被計測物を撮像する撮像手段と、撮像手段の撮像画像から投影パターンが投影された被計測物の濃淡画像を取得する画像取得手段と、画像取得手段で取得した濃淡画像内の任意の位置における投影パターンの相対位相を演算する相対位相演算手段と、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算する絶対位相演算手段と、絶対位相から被計測物の３次元座標を演算する３次元座標演算手段とを備え、投影パターン制御手段は、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンのうち、少なくとも１種類以上の縞パターンにおいて振幅を周期に応じて変化させた投影パターンと、残りの縞パターンにおいて振幅を周期に応じて前記投影パターンとは異なる態様で変化させた投影パターンと、縞パターンの振幅中心値から成る均一な投影パターンとを生成して投影手段より被計測物に投影させ、相対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算し、絶対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算することを特徴とする。

請求項３の発明は、請求項１又は２の発明において、画像取得手段は、撮像手段の撮像画像から投影パターンが投影されていない状態の被計測物の濃淡画像を取得する無パターン画像取得手段を備えたことを特徴とする。

請求項４の発明は、請求項１乃至３の何れか１項の発明において、前記投影パターン制御手段は、光の強度を正弦波状且つ等間隔に位相をシフトして変化させた複数種類の縞パターンから投影パターンを生成することを特徴とする。

請求項５の発明は、上記目的を達成するために、所定の光パターンから成る投影パターンを被計測物に投影し、投影パターンを投影した被計測物の濃淡画像を取得し、投影パターンを投影したときの濃淡画像内の任意の位置における投影パターンの相対位相を演算し、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算し、絶対位相から被計測物の３次元座標を演算することで被計測物の３次元形状を計測する３次元形状計測方法であって、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンにおいて各々の振幅を１周期毎に変化させた投影パターンを生成して被計測物に投影する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算する過程とを有することを特徴とする。

請求項６の発明は、上記目的を達成するために、所定の光パターンから成る投影パターンを被計測物に投影し、投影パターンを投影した被計測物の濃淡画像を取得し、投影パターンを投影したときの濃淡画像内の任意の位置における投影パターンの相対位相を演算し、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算し、絶対位相から被計測物の３次元座標を演算することで被計測物の３次元形状を計測する３次元形状計測方法であって、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンのうち、少なくとも１種類以上の縞パターンにおいて振幅を周期に応じて変化させた投影パターンと、残りの縞パターンにおいて振幅を周期に応じて前記投影パターンとは異なる態様で変化させた投影パターンと、縞パターンの振幅中心値から成る均一な投影パターンとを生成して被計測物に投影する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算する過程とを有することを特徴とする。

請求項７の発明は、請求項５又は６の発明において、投影パターンを投影した被計測物の濃淡画像を取得する過程において、投影パターンを投影していない状態の被計測物の濃淡画像を取得する過程を有することを特徴とする。

請求項８の発明は、請求項５乃至７の何れか１項の発明において、前記投影パターン制御手段は、光の強度を正弦波状且つ等間隔に位相をシフトして変化させた複数種類の縞パターンから投影パターンを生成することを特徴とする。

請求項１，５の発明によれば、位相シフト法を利用した３次元形状計測において必須となる正弦波状の縞パターンの各々において、１周期毎に振幅を変化させた投影パターンを生成して被計測物に投影しているため、周期毎の振幅の違いから周期を推定して相対位相を位相接続できるから、従来例のように高価な投影装置や撮像装置を用いる必要が無く、その結果、表面に段差や孔がある物体の３次元形状をコスト上昇を抑えながら少ない撮像回数で計測することができる。

請求項２，６の発明によれば、位相シフト法を利用した３次元形状計測において必須となる正弦波状の縞パターンの各々において、少なくとも１種類以上の縞パターンにおいて振幅を周期に応じて変化させた投影パターンと、残りの縞パターンにおいて振幅を周期に応じて前記投影パターンとは異なる態様で変化させた投影パターンと、縞パターンの振幅中心値から成る均一な投影パターンとを生成して投影手段より被計測物に投影させるため、周期毎の振幅の違いから周期を推定して相対位相を位相接続できるから、従来例のように高価な投影装置や撮像装置を用いる必要が無く、その結果、表面に段差や孔のある物体の３次元形状をコスト上昇を抑えながら少ない撮像回数で計測することができる。また、振幅が互いに異なる投影パターンを組み合わせて周期を推定するので、振幅の種類が少なくても多くの周期を推定することができ、したがって小さい振幅での位相検出を回避することができ、位相の検出精度が低下するのを防ぐことができる。

請求項３，７の発明によれば、被計測物に照射されている投影装置から投影パターンとして照射される光以外の光を考慮して３次元形状を計測することができるので、暗室等の周囲の光を遮断した場所を用意せずに計測することができる。

請求項４，８の発明によれば、等間隔に位相をシフトさせた複数種類の縞パターンから投影パターンを生成するので、周期を推定するために必要な演算を既知量位相をシフトさせた場合と比べて容易に行うことができる。

以下、図面を参照して本発明を実施形態により詳細に説明する。

（実施形態１）
本実施形態の３次元形状計測装置は、図１に示すように、被計測物Ｍに任意パターンの光を投影する投影装置１と、被計測物Ｍを撮像する撮像装置２と、投影装置１及び撮像装置２を制御するとともに撮像装置２で撮像した撮像画像に対して画像処理を行う画像処理装置３とで構成される。

投影装置１は、光源１０と、光源１０の前方に配置された透過型の液晶パネル１１と、液晶パネル１１を通過した光を被計測物Ｍの表面に集光するレンズ１２とを有した所謂液晶プロジェクタから成る。また、撮像装置２は、ＣＣＤやＣＭＯＳ等の固体撮像素子、被写体の像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素毎の輝度（濃度値）を得る信号処理回路等で構成された、所謂モノクロ型のスチルカメラである。画像処理装置３は、ＣＰＵ、メモリ、ディスプレイ、ハードディスク等の記憶装置、入出力用の各種インタフェース等を具備する汎用のコンピュータ（ハードウェア）と、本発明に係る３次元形状計測方法をコンピュータに実行させる３次元形状計測用プログラム（ソフトウェア）で構成され、当該３次元形状計測用プログラムをＣＰＵで実行することにより、投影パターン制御手段３０、画像取得手段３１、無パターン画像取得手段３２、相対位相演算手段３３、絶対位相演算手段３４、３次元座標演算手段３５の各手段を実現している。

投影パターン制御手段３０は、後述する投影パターンを生成して記憶装置に予め記憶するとともに必要に応じて記憶した投影パターンのデータを読み出し、例えば、ＤＶＩ（Digital Visual Interface）のような汎用のディスプレイ用インタフェースを介して投影パターンのデータを投影装置１に伝送するとともに、ＲＳ２３２ＣやＩＥＥＥ４８８等の汎用の通信インタフェースを介して投影装置１の動作（光源１０の点灯・消灯や光量調整等）を制御する機能を有している。尚、投影装置１では投影パターンデータに基づいて液晶パネル１１に投影パターンを表示させる。

また、画像取得手段３１は、撮像装置２で標本化並びに量子化されたディジタルの画像信号を取り込むとともに、取り込んだ画像信号から各画素の輝度（濃度値）で表される画像データを取得してメモリに記憶する機能を有している。尚、画像取得手段３１は、ＲＳ２３２ＣやＩＥＥＥ４８８等の汎用の通信インタフェースを介して撮像装置２の動作（撮像のタイミング等）を制御する機能や、投影パターン制御手段３０に対して投影装置１に投影パターンを投影させるように指示する機能も有している。

無パターン画像取得手段３２は、投影装置１から投影パターンが投影されていない状態において撮像装置２で撮像された画像信号を取り込んで画像データを取得するとともにメモリに記憶する機能を有している。つまり、被計測物Ｍには投影装置１から投影パターンとして照射される光以外の光（以下、このような光を「環境光」と呼ぶ）も照射されており、無パターン画像取得手段３２では、環境光のみが照射されているときの被計測物Ｍの画像データを取得している。

相対位相演算手段３３は、従来技術で説明した相対位相φを演算により求める機能を有する。また、絶対位相演算手段３４は、後述するように縞次数ｎを確定するとともに確定した縞次数ｎと相対位相φとを用いて絶対位相Φ（＝φ＋２ｎπ）を演算により求める機能を有している。更に、３次元座標演算手段３５は、画像上の点ｐ（ｕ，ｖ）に対応する被計測物Ｍ上の投影点Ｐ（Ｘ，Ｙ，Ｚ）の３次元座標を演算により求める機能を有しており、３次元座標演算手段３５で求めた３次元座標から被計測物Ｍの３次元形状を得る（計測する）ことができる。

ここで本実施形態では、光の強度を正弦波状且つπ／２ずつ位相をシフトして変化させた４種類（０，π／２，π，３π／２）の各々の縞パターンにおいて、以下の表１に示すように１周期毎に正弦波の振幅Ａ_ｎを変化させた４種類の投影パターンを投影パターン制御手段３０により生成し、当該投影パターンを投影装置１から被計測物Ｍに投影させる。

４種類の投影パターンＰ_ｋ（ｋ＝０，１，２，３）並びに縞次数ｎは次式で表される。但し、Ａ_ｎは正弦波の振幅、Φは絶対位相、Ｃは正弦波の中心値、［ｍ］はｍを超えない最大の整数を示している。

ここで、投影装置１において投影可能なパターンが８ビットの画像データで構成されるとしたとき、正弦波の中心値Ｃ＝１２５，正弦波の振幅Ａ_ｎの最大値＝１２５とすると、投影パターンＰ_ｋの濃度値を０〜２５０の範囲で表現できるので、８ビットの画像データとして構成可能である。このときの投影パターンＰ_０，Ｐ_１，Ｐ_２，Ｐ_３の波形を図２（ａ）〜（ｄ）にそれぞれ示す。

次に、本実施形態の３次元形状計測装置の動作、即ち、本発明に係る３次元形状計測方法について説明する。先ず、画像処理装置３のＣＰＵで３次元形状計測用プログラムを実行することで３次元形状計測装置が動作を開始すると、画像取得手段３１が投影パターン制御手段３０に指示を与え、当該指示に従って投影パターン制御手段３０が記憶装置に格納されている最初の投影パターンＰ_０の画像データをメモリの作業領域に読み出し、更にディスプレイ用インタフェースを介して投影装置１に伝送し、投影装置１を制御して投影パターンＰ_０を被計測物Ｍに投影させる。画像データが投影装置１に伝送された後、画像取得手段３１は撮像装置２を制御して投影パターンＰ_０が投影された被計測物Ｍを撮像させ、撮像装置２から出力された画像信号を取り込んで投影パターンＰ_０が投影された被計測物Ｍの画像データを取得してメモリに記憶する。また、画像取得手段３１では残り３種類の投影パターンＰ_１，Ｐ_２，Ｐ_３についても順番に投影装置１に投影させ、それぞれの投影パターンＰ_１，Ｐ_２，Ｐ_３が投影された被計測物Ｍの画像データを取得してメモリに記憶する。

一方、無パターン画像取得手段３２は、投影装置１を停止させた状態、つまり、被計測物Ｍに環境光のみが照射されている状態で撮像装置２に被計測物Ｍを撮像させて投影パターンＰ_ｋが投影されていない状態の被計測物Ｍの画像データを取得してメモリに記憶する。

投影パターンＰ_ｋが投影された状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）Ｉ_０〜Ｉ_３は、環境光の影響も含めて次式で表される。但し、Ｅは環境光による輝度、ρは被計測物Ｍの表面反射率、βは撮像装置２における光電変換係数である。尚、Ｉ_４は投影パターンＰ_ｋが投影されない状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）を表している。

ここで、ａ_ｎ＝βρＡ_ｎ，ｃ＝βρＣ，ｅ＝βρＥとおくと、各輝度Ｉ_ｋ（ｋ＝０，１，２，３，４）は次式で表される。

相対位相演算手段３３では、Ｉ_０とＩ_２及びＩ_１とＩ_３のそれぞれの差分値を用いて、次式によって相対位相φの推定値＜φ＞と正弦波の振幅ａ_ｎ（＝βρＡ_ｎ）の推定値＜ａ_ｎ＞を求める。

そして、絶対位相演算手段３４では、Ｉ_０〜Ｉ_４の加算値を用いて、正弦波の中心値ｃ（＝βρＣ）の推定値＜ｃ＞を次式によって求める。

ここで、絶対位相演算手段３４では、正弦波の中心値Ｃ、及びその推定値＜ｃ＞、正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞を用いて、正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞を次式によって求め、表１を参照して正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞と対応する縞次数ｎの推定値＜ｎ＞を求める。

更に、絶対位相演算手段３４は、相対位相φの推定値＜φ＞と縞次数ｎの推定値＜ｎ＞とから絶対位相Φの推定値＜Φ＞を次式によって求める。

そして、３次元座標演算手段３５において絶対位相の推定値＜Φ＞から三角測量の原理により各画素（ｕ，ｖ）での高さ情報（３次元空間における各画素の座標値）を求めるとともに、各画素（ｕ，ｖ）に対応する被計測物Ｍ上の投影点の３次元空間での絶対的な座標値を求めれば、被計測物Ｍの３次元形状を得ることができる。

上述のように、本実施形態によれば、位相シフト法を利用した３次元形状計測において必須となる正弦波状の縞パターンの各々において、１周期毎に正弦波の振幅Ａ_ｎを変化させた投影パターンを生成して被計測物Ｍに投影しているため、周期毎の正弦波の振幅Ａ_ｎの違いから周期を推定して相対位相を位相接続できるから、特許文献２に記載されている従来例のように高価な投影装置や撮像装置を用いる必要が無く、その結果、表面に段差や孔のある物体の３次元形状をコスト上昇を抑えながら少ない撮像回数（本実施形態では５回）で計測することができる。

ところで、上記では４種類の投影パターンを用いて３次元形状の計測を行ったが、光の強度を正弦波状且つ２π／３ずつ位相をシフトして変化させた３種類（０，２π／３，４π／３）の縞パターンを用いて計測を行ってもよい。この場合、４種類の投影パターンを用いる場合と比較して撮像回数を１回減らすことができる。以下、３種類の縞パターンを用いた場合について説明する。３種類の投影パターンＰ_ｋ（ｋ＝０，１，２）は次式で表される。

投影パターンＰ_ｋが投影された状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）Ｉ_０〜Ｉ_２は、環境光の影響も含めて次式で表される。尚、Ｉ_３は投影パターンＰ_ｋが投影されない状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）を表している。

ここで、ａ_ｎ＝βρＡ_ｎ，ｃ＝βρＣ，ｅ＝βρＥとおくと、各輝度Ｉ_ｋ（ｋ＝０，１，２，３）は次式で表される。

相対位相演算手段３３では、Ｉ_０〜Ｉ_２を用いて、次式によって相対位相φの推定値＜φ＞と正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞を求める。

そして、絶対位相演算手段３４では、Ｉ_０〜Ｉ_３の加算値を用いて、正弦波の中心値ｃの推定値＜ｃ＞を次式によって求める。

ここで、絶対位相演算手段３４では、正弦波の中心値Ｃ、及びその推定値＜ｃ＞、正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞を用いて、正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞を上記（２）式によって求め、表１を参照して正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞と対応する縞次数ｎの推定値＜ｎ＞を求める。更に、絶対位相演算手段３４は、相対位相φの推定値＜φ＞と縞次数ｎの推定値＜ｎ＞とから絶対位相Φの推定値＜Φ＞を上記（３）式によって求める。そして、３次元座標演算手段３５において絶対位相の推定値＜Φ＞から三角測量の原理により各画素（ｕ，ｖ）での高さ情報を求めるとともに、各画素（ｕ，ｖ）に対応する被計測物Ｍ上の投影点の３次元空間での絶対的な座標値を求めれば、被計測物Ｍの３次元形状を得ることができる。

尚、暗室での計測等のように、環境光が無い、即ちＥ=０と近似できる場合には、無パターン画像取得手段３２を必要とせず、上記の４種類の投影パターンを用いる場合及び３種類の投影パターンを用いる場合の何れにおいても撮像回数を１回減らすことができる。環境光が無い場合には、上記４種類の投影パターンを用いる計測においては、Ｅ＝０，ｅ＝０，Ｉ_４＝０として各計算を行い、上記３種類の投影パターンを用いる計測においては、Ｅ＝０，ｅ＝０，Ｉ_３＝０として各計算を行えばよい。

また、被計測物Ｍの表面反射率ρ、撮像装置２における光電変換係数βが既知であれば、正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞が求まれば（１）式から正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞を求めることができるので、上記の４種類の投影パターンを用いる場合及び３種類の投影パターンを用いる場合の何れにおいても、正弦波の中心値ｃの推定値＜ｃ＞を求める過程を必要とせず、したがって無パターン画像取得手段３２を必要としないために、環境光が有る場合において撮像回数を１回減らすことができる。

ところで、上記では正弦波の振幅Ａ_ｎと縞次数ｎとの関係を表１のように定義したが、正弦波の振幅Ａ_ｎの１周期毎の変化を縞次数ｎ、振幅変化係数αを用いて次式のように定義してもよい。

この場合、上記の式と（２）式から縞次数ｎの推定値＜ｎ＞は次式で表される。尚、‖ｍ‖はｍに最も近い整数を示している。

而して、振幅変化係数αを適宜変更することで、正弦波の振幅Ａ_ｎの１周期毎に種々変化させた投影パターンを用いて計測することができる。

（実施形態２）
本実施形態の３次元形状計測装置は、投影パターン制御手段３０が実施形態１とは異なる投影パターンを生成する点で相違しているが、装置の構成は実施形態１と共通であるので、実施形態１と共通する構成要素には同一の符号を付して説明を省略する。また、３次元形状計測方法に関しても実施形態１と共通であるので、実施形態１と共通する点については説明を省略する。

本実施形態においては、光の強度を正弦波状且つπ／２ずつ位相をシフトして変化させた４種類（０，π／２，π，３π／２）の各々の縞パターンにおいて、周期に応じて正弦波の振幅Ａ_ｎを変化させた２種類（０，π／２）の投影パターン、及び周期に応じて正弦波の振幅Ｂ_ｎを変化させた残りの２種類（π，３π／２）の投影パターン、並びに正弦波の中心値Ｃから成る均一な投影パターンを投影パターン制御手段３０により生成し、当該投影パターンを投影装置１から被計測物Ｍに投影させる。尚、以下の表２に示すように、正弦波の振幅Ａ_ｎ，Ｂ_ｎは、周期に応じて互いに異なる変化をするように定義している。

４種類の投影パターンＰ_ｋ（ｋ＝０，１，２，３）並びに縞次数ｎは次式で表される。但し、Ａ_ｎ，Ｂ_ｎは正弦波の振幅、Φは絶対位相、Ｃは正弦波の中心値、［ｍ］はｍを超えない最大の整数を示している。

ここで、投影装置１において投影可能なパターンが８ビットの画像データで構成されるとしたとき、正弦波の中心値Ｃ＝１２５，正弦波の振幅Ａ_ｎ，Ｂ_ｎの最大値＝１２５とすると、投影パターンＰ_ｋの濃度値を０〜２５０の範囲で表現できるので、８ビットの画像データとして構成可能である。このときの投影パターンＰ_０，Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４の波形を図３（ａ）〜（ｅ）にそれぞれ示す。

投影パターンＰ_ｋが投影された状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）Ｉ_０〜Ｉ_４は、環境光の影響も含めて次式で表される。但し、Ｅは環境光による輝度、ρは被計測物Ｍの表面反射率、βは撮像装置２における光電変換係数である。尚、Ｉ_５は投影パターンＰ_ｋが投影されない状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）を表している。

ここで、ａ_ｎ＝βρＡ_ｎ，ｂ_ｎ＝βρＢ_ｎ，ｃ＝βρＣ，ｅ＝βρＥとおくと、各輝度Ｉ_ｋ（ｋ＝０，１，２，３，４，５）は次式で表される。

相対位相演算手段３３では、Ｉ_０とＩ_２及びＩ_１とＩ_３のそれぞれの差分値を用いて、次式によって相対位相φの推定値＜φ＞を求める。

そして、絶対位相演算手段３４では、Ｉ_０とＩ_２及びＩ_１とＩ_３の加算値、並びにＩ_４，Ｉ_５を用いて、正弦波の振幅ａ_ｎ，ｂ_ｎの推定値＜ａ_ｎ＞，＜ｂ_ｎ＞、正弦波の中心値ｃの推定値＜ｃ＞を次式によって求める。

ここで、絶対位相演算手段３４では、正弦波の中心値Ｃ、及びその推定値＜ｃ＞、正弦波の振幅ａ_ｎ，ｂ_ｎの推定値＜ａ_ｎ＞，＜ｂ_ｎ＞を用いて、正弦波の振幅Ａ_ｎ，Ｂ_ｎの推定値＜Ａ_ｎ＞，＜Ｂ_ｎ＞を次式によって求め、表２を参照して正弦波の振幅Ａ_ｎ，Ｂ_ｎの推定値＜Ａ_ｎ＞，＜Ｂ_ｎ＞と対応する縞次数ｎの推定値＜ｎ＞を求める。

更に、絶対位相演算手段３４は、相対位相φの推定値＜φ＞と縞次数ｎの推定値＜ｎ＞とから絶対位相Φの推定値＜Φ＞を上記（３）式によって求める。そして、３次元座標演算手段３５において絶対位相の推定値＜Φ＞から三角測量の原理により各画素（ｕ，ｖ）での高さ情報を求めるとともに、各画素（ｕ，ｖ）に対応する被計測物Ｍ上の投影点の３次元空間での絶対的な座標値を求めれば、被計測物Ｍの３次元形状を得ることができる。

上述のように、本実施形態によれば、位相シフト法を利用した３次元形状計測において必須となる正弦波状の縞パターンの各々において、周期に応じて正弦波の振幅Ａ_ｎを変化させた２種類（０，π／２）の投影パターン、及び周期に応じて前記２種類の投影パターンの振幅の変化とは異なる態様で正弦波の振幅Ｂ_ｎを変化させた残りの２種類（π，３π／２）の投影パターン、並びに正弦波の中心値Ｃから成る均一な投影パターンを生成して被計測物Ｍに投影させるため、周期毎の振幅Ａ_ｎ，Ｂ_ｎの違いから周期を推定して相対位相を位相接続できるから、特許文献２に記載されている従来例のように高価な投影装置や撮像装置を用いる必要が無く、その結果、表面に段差や孔のある物体の３次元形状をコスト上昇を抑えながら少ない撮像回数（本実施形態では５回）で計測することができる。また、振幅が互いに異なる投影パターンを組み合わせて周期を推定するので、振幅の種類が少なくても多くの周期を推定することができ、したがって小さい振幅での位相検出を回避することができ、位相の検出精度が低下するのを防ぐことができる。

ところで、上記では４種類の投影パターンを用いて３次元形状の計測を行ったが、光の強度を正弦波状且つ２π／３ずつ位相をシフトして変化させた３種類（０，２π／３，４π／３）の縞パターンを用いて計測を行ってもよい。この場合、４種類の投影パターンを用いる場合と比較して撮像回数を１回減らすことができる。以下、３種類の縞パターンを用いた場合について説明する。３種類の投影パターンＰ_ｋ（ｋ＝０，１，２）は次式で表される。

投影パターンＰ_ｋが投影された状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）Ｉ_０〜Ｉ_３は、環境光の影響も含めて次式で表される。尚、Ｉ_４は投影パターンＰ_ｋが投影されない状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）を表している。

ここで、ａ_ｎ＝βρＡ_ｎ，ｂ_ｎ＝βρＢ_ｎ，ｃ＝βρＣ，ｅ＝βρＥとおくと、各輝度Ｉ_ｋ（ｋ＝０，１，２，３，４）は次式で表される。

相対位相演算手段３３では、Ｉ_０〜Ｉ_３を用いて、次式によって相対位相φの推定値＜φ＞と正弦波の振幅ａ_ｎ，ｂ_ｎの推定値＜ａ_ｎ＞，＜ｂ_ｎ＞を求める。

そして、絶対位相演算手段３４では、Ｉ_３，Ｉ_４を用いて、正弦波の中心値ｃの推定値＜ｃ＞を次式によって求める。

ここで、絶対位相演算手段３４では、正弦波の中心値Ｃ、及びその推定値＜ｃ＞、正弦波の振幅ａ_ｎ，ｂ_ｎの推定値＜ａ_ｎ＞，＜ｂ_ｎ＞を用いて、正弦波の振幅Ａ_ｎ，Ｂ_ｎの推定値＜Ａ_ｎ＞，＜Ｂ_ｎ＞を上記（５）式、（６）式によって求め、表２を参照して正弦波の振幅Ａ_ｎ，Ｂ_ｎの推定値＜Ａ_ｎ＞，＜Ｂ_ｎ＞と対応する縞次数ｎの推定値＜ｎ＞を求める。更に、絶対位相演算手段３４は、相対位相φの推定値＜φ＞と縞次数ｎの推定値＜ｎ＞とから絶対位相Φの推定値＜Φ＞を上記（３）式によって求める。そして、３次元座標演算手段３５において絶対位相の推定値＜Φ＞から三角測量の原理により各画素（ｕ，ｖ）での高さ情報を求めるとともに、各画素（ｕ，ｖ）に対応する被計測物Ｍ上の投影点の３次元空間での絶対的な座標値を求めれば、被計測物Ｍの３次元形状を得ることができる。

尚、暗室での計測等のように、環境光が無い、即ちＥ=０と近似できる場合には、無パターン画像取得手段３２を必要とせず、上記の４種類の投影パターンを用いる場合及び３種類の投影パターンを用いる場合の何れにおいても撮像回数を１回減らすことができる。環境光が無い場合には、上記４種類の投影パターンを用いる計測においては、Ｅ＝０，ｅ＝０，Ｉ_５＝０として各計算を行い、上記３種類の投影パターンを用いる計測においては、Ｅ＝０，ｅ＝０，Ｉ_４＝０として各計算を行えばよい。

また、被計測物Ｍの表面反射率ρ、撮像装置２における光電変換係数βが既知であれば、正弦波の振幅ａ_ｎ，ｂ_ｎの推定値＜ａ_ｎ＞，＜ｂ_ｎ＞が求まれば（４）式から正弦波の振幅Ａ_ｎ，Ｂ_ｎの推定値＜Ａ_ｎ＞，＜Ｂ_ｎ＞を求めることができるので、上記の４種類の投影パターンを用いる場合及び３種類の投影パターンを用いる場合の何れにおいても、正弦波の中心値ｃの推定値＜ｃ＞を求める過程を必要とせず、したがって無パターン画像取得手段３２を必要としないために、環境光が有る場合において撮像回数を１回減らすことができる。

（実施形態３）
本実施形態の３次元形状計測装置は、投影パターン制御手段３０が実施形態１とは異なる投影パターンを生成する点で相違しているが、装置の構成は実施形態１と共通であるので、実施形態１と共通する構成要素には同一の符号を付して説明を省略する。また、３次元形状計測方法に関しても実施形態１と共通であるので、実施形態１と共通する点については説明を省略する。

本実施形態においては、光の強度を正弦波状且つ既知量であるＳ_１，Ｓ_２ずつ位相をシフトして変化させた３種類（０，Ｓ_１，Ｓ_２）の各々の縞パターンにおいて、前記表１に示すように１周期毎に正弦波の振幅Ａ_ｎを変化させた３種類の投影パターンを投影パターン制御手段３０により生成し、当該投影パターンを投影装置１から被計測物Ｍに投影させる。

３種類の投影パターンＰ_ｋ（ｋ＝０，１，２）並びに縞次数ｎは次式で表される。

投影パターンＰ_ｋが投影された状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）Ｉ_０〜Ｉ_２は、環境光の影響も含めて次式で表される。尚、Ｉ_３は投影パターンＰ_ｋが投影されない状態で撮像装置２で撮像された画像上の任意の画素（ｕ，ｖ）における輝度（濃度値）を表している。

ここで、ａ_ｎ＝βρＡ_ｎ，ｃ＝βρＣ，ｅ＝βρＥとおくと、各輝度Ｉ_ｋ（ｋ＝０，１，２，３）は次式で表される。

相対位相演算手段３３では、Ｉ_０〜Ｉ_２を用いて下記のように相対位相φの推定値＜φ＞及び正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞を求める。先ず、次式のように上式におけるｓｉｎ（Φ），ｃｏｓ（Φ）の各係数を揃える。

次に、上式を用いて相対位相φの推定値＜φ＞及び正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞を求める。

尚、上式におけるＦ，Ｇ，Ｈは次式で表される。

そして、絶対位相演算手段３４では、Ｉ_０及びＩ_３、並びに相対位相φの推定値＜φ＞及び正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞を用いて正弦波の中心値ｃの推定値＜ｃ＞を次式によって求める。

ここで、絶対位相演算手段３４では、正弦波の中心値Ｃ、及びその推定値＜ｃ＞、正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞を用いて、正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞を上記（２）式によって求め、表１を参照して正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞と対応する縞次数ｎの推定値＜ｎ＞を求める。更に、絶対位相演算手段３４は、相対位相φの推定値＜φ＞と縞次数ｎの推定値＜ｎ＞とから絶対位相Φの推定値＜Φ＞を上記（３）式によって求める。そして、３次元座標演算手段３５において絶対位相の推定値＜Φ＞から三角測量の原理により各画素（ｕ，ｖ）での高さ情報を求めるとともに、各画素（ｕ，ｖ）に対応する被計測物Ｍ上の投影点の３次元空間での絶対的な座標値を求めれば、被計測物Ｍの３次元形状を得ることができる。

上述のように、本実施形態によれば、等間隔ではなく既知量Ｓ_１，Ｓ_２ずつ位相をシフトさせた複数種類の縞パターンから投影パターンを生成した場合においても、実施形態１と同様に周期毎の正弦波の振幅Ａ_ｎの違いから周期を推定して相対位相を位相接続できるから、特許文献２に記載されている従来例のように高価な投影装置や撮像装置を用いる必要が無く、その結果、表面に段差や孔のある物体の３次元形状をコスト上昇を抑えながら少ない撮像回数（本実施形態では４回）で計測することができる。

尚、暗室での計測等のように、環境光が無い、即ちＥ=０と近似できる場合には、無パターン画像取得手段３２を必要とせず、撮像回数を１回減らすことができる。環境光が無い場合には、Ｅ＝０，ｅ＝０，Ｉ_３＝０として各計算を行えばよい。

また、被計測物Ｍの表面反射率ρ、撮像装置２における光電変換係数βが既知であれば、正弦波の振幅ａ_ｎの推定値＜ａ_ｎ＞が求まれば（１）式から正弦波の振幅Ａ_ｎの推定値＜Ａ_ｎ＞を求めることができるので、正弦波の中心値ｃの推定値＜ｃ＞を求める過程を必要とせず、したがって無パターン画像取得手段３２を必要としないために、環境光が有る場合において撮像回数を１回減らすことができる。

本発明に係る３次元形状計測装置の実施形態を示すブロック図である。 （ａ）〜（ｄ）は実施形態１における投影パターンの波形図である。 （ａ）〜（ｅ）は実施形態２における投影パターンの波形図である。

符号の説明

１ 投影装置
２ 撮像装置
３ 画像処理装置
３０ 投影パターン制御手段
３１ 画像取得手段
３２ 無パターン画像取得手段
３３ 相対位相演算手段
３４ 絶対位相演算手段
３５ ３次元座標演算手段
Ｍ 被計測物

Claims (8)

1. 被計測物に任意パターンの光を投影する投影手段と、投影手段を制御して所定の光パターンから成る投影パターンを被計測物に投影させる投影パターン制御手段と、被計測物を撮像する撮像手段と、撮像手段の撮像画像から投影パターンが投影された被計測物の濃淡画像を取得する画像取得手段と、画像取得手段で取得した濃淡画像内の任意の位置における投影パターンの相対位相を演算する相対位相演算手段と、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算する絶対位相演算手段と、絶対位相から被計測物の３次元座標を演算する３次元座標演算手段とを備え、投影パターン制御手段は、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンにおいて各々の振幅を１周期毎に変化させた投影パターンを生成して投影手段より被計測物に投影させ、相対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算し、絶対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算することを特徴とする３次元形状計測装置。
2. 被計測物に任意パターンの光を投影する投影手段と、投影手段を制御して所定の光パターンから成る投影パターンを被計測物に投影させる投影パターン制御手段と、被計測物を撮像する撮像手段と、撮像手段の撮像画像から投影パターンが投影された被計測物の濃淡画像を取得する画像取得手段と、画像取得手段で取得した濃淡画像内の任意の位置における投影パターンの相対位相を演算する相対位相演算手段と、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算する絶対位相演算手段と、絶対位相から被計測物の３次元座標を演算する３次元座標演算手段とを備え、投影パターン制御手段は、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンのうち、少なくとも１種類以上の縞パターンにおいて振幅を周期に応じて変化させた投影パターンと、残りの縞パターンにおいて振幅を周期に応じて前記投影パターンとは異なる態様で変化させた投影パターンと、縞パターンの振幅中心値から成る均一な投影パターンとを生成して投影手段より被計測物に投影させ、相対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算し、絶対位相演算手段は、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算することを特徴とする３次元形状計測装置。
3. 前記画像取得手段は、撮像手段の撮像画像から投影パターンが投影されていない状態の被計測物の濃淡画像を取得する無パターン画像取得手段を備えたことを特徴とする請求項１又は２記載の３次元形状計測装置。
4. 前記投影パターン制御手段は、光の強度を正弦波状且つ等間隔に位相をシフトして変化させた複数種類の縞パターンから投影パターンを生成することを特徴とする請求項１乃至３の何れか１項に記載の３次元形状計測装置。
5. 所定の光パターンから成る投影パターンを被計測物に投影し、投影パターンを投影した被計測物の濃淡画像を取得し、投影パターンを投影したときの濃淡画像内の任意の位置における投影パターンの相対位相を演算し、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算し、絶対位相から被計測物の３次元座標を演算することで被計測物の３次元形状を計測する３次元形状計測方法であって、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンにおいて各々の振幅を１周期毎に変化させた投影パターンを生成して被計測物に投影する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算する過程とを有することを特徴とする３次元形状計測方法。
6. 所定の光パターンから成る投影パターンを被計測物に投影し、投影パターンを投影した被計測物の濃淡画像を取得し、投影パターンを投影したときの濃淡画像内の任意の位置における投影パターンの相対位相を演算し、任意位置の相対位相を位相接続して投影パターンの絶対位相を演算し、絶対位相から被計測物の３次元座標を演算することで被計測物の３次元形状を計測する３次元形状計測方法であって、光の強度を正弦波状且つ既知量位相をシフトして変化させた複数種類の縞パターンのうち、少なくとも１種類以上の縞パターンにおいて振幅を周期に応じて変化させた投影パターンと、残りの縞パターンにおいて振幅を周期に応じて前記投影パターンとは異なる態様で変化させた投影パターンと、縞パターンの振幅中心値から成る均一な投影パターンとを生成して被計測物に投影する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて相対位相を演算する過程と、投影パターンを投影して撮像された被計測物の濃淡画像における濃度値に基づいて投影パターンの振幅を演算するとともに、当該振幅から周期を推定し、相対位相を位相接続して絶対位相を演算する過程とを有することを特徴とする３次元形状計測方法。
7. 前記投影パターンを投影した被計測物の濃淡画像を取得する過程において、投影パターンを投影していない状態の被計測物の濃淡画像を取得する過程を有することを特徴とする請求項５又は６記載の３次元形状計測方法。
8. 前記投影パターン制御手段は、光の強度を正弦波状且つ等間隔に位相をシフトして変化させた複数種類の縞パターンから投影パターンを生成することを特徴とする請求項５乃至７の何れか１項に記載の３次元形状計測方法。

Images