Nothing Special   »   [go: up one dir, main page]

JP5995484B2 - 三次元形状測定装置、三次元形状測定方法、及びプログラム - Google Patents

三次元形状測定装置、三次元形状測定方法、及びプログラム Download PDF

Info

Publication number
JP5995484B2
JP5995484B2 JP2012080161A JP2012080161A JP5995484B2 JP 5995484 B2 JP5995484 B2 JP 5995484B2 JP 2012080161 A JP2012080161 A JP 2012080161A JP 2012080161 A JP2012080161 A JP 2012080161A JP 5995484 B2 JP5995484 B2 JP 5995484B2
Authority
JP
Japan
Prior art keywords
luminance distribution
test object
distribution
pattern
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012080161A
Other languages
English (en)
Other versions
JP2013210262A5 (ja
JP2013210262A (ja
Inventor
安藤 利典
利典 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012080161A priority Critical patent/JP5995484B2/ja
Priority to US13/800,032 priority patent/US8659765B2/en
Publication of JP2013210262A publication Critical patent/JP2013210262A/ja
Publication of JP2013210262A5 publication Critical patent/JP2013210262A5/ja
Application granted granted Critical
Publication of JP5995484B2 publication Critical patent/JP5995484B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、三次元形状測定装置三次元形状測定方法、及びプログラムに関し、特に、被検物にパターン光を投影しこれを撮像することで被検物の三次元形状データを取得するために用いて好適なものである。
被検物にマーカーとなるパターン光を投影し、これを撮像することで被検物の三次元形状データを取得する三次元形状測定方法はよく知られた技術である。
この技術において重要な要素は、投影したパターン光を撮像し、撮像した画像の中における、マーカーの位置を正確に算出することである。
例えば、非特許文献1には、相補パターン投影法と呼ばれるものの原理が紹介されており、特許文献1においても同じ方法が用いられている。
相補パターン投影法とは、具体的には、明暗が相互に反転しており、被検面上に相補的な照度分布を形成する二種類のパターン光を被検面に投影し、それらのパターン光の明暗が交差する点をマーカーとして利用するものである。
特開2009‐42015号公報
電子情報通信学会論文誌 D,Vol.J71−D,No.7,pp.1249−1257
しかしながら、従来このような方法では、二種類のパターン光の投影、撮像時において、環境光の強度が変化した場合、マーカーの位置の算出にエラーが発生する虞があるという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、被検物に対して投影した、明暗が相互に反転している二種類のパターン光の明暗が交差する点を、環境光に変化があっても正確に検出できるようにすることを目的とする。
本発明の三次元形状測定装置は、明部と暗部とを有する第1のパターンと、前記第1のパターンに対し、明部と暗部との関係が反転した関係にある第2のパターンとを、被検物に投影する投影手段と、前記被検物を撮像することにより得られる、前記第1のパターンが投影された状態の画像における前記被検物の第1の輝度分布と、前記第2のパターンが投影された状態の画像における前記被検物の第2の輝度分布と、前記第1のパターンおよび前記第2のパターンが投影されない状態の画像における前記被検物の第3の輝度分布とをそれぞれ取得する輝度分布取得手段と、前記第1の輝度分布、前記第2の輝度分布、および前記第3の輝度分布に基づいて、前記第1の輝度分布が得られたときと前記第2の輝度分布が得られたときとの環境光の輝度の変化分の分布である第4の輝度分布を導出する輝度分布導出手段と、前記第1の輝度分布と、前記第2の輝度分布と、の交点を導出する交点導出手段と、前記交点に基づいて、前記被検物の三次元形状を導出する三次元形状導出手段と、を有し、前記交点導出手段は、前記第の輝度分布を用いて、前記第1の輝度分布に含まれる環境光による成分と、前記第2の輝度分布に含まれる環境光による成分とを略等しくした状態で、前記第1の輝度分布と、前記第2の輝度分布との交点を導出することを特徴とする。
本発明によれば、被検物に対して投影した、明暗が相互に反転している二種類のパターン光の明暗が交差する点を、環境光に変化があっても正確に検出することができる。
三次元形状測定装置の構成を示す図である。 パターン光A、Bに対応する、各画素の明暗の状態を示す図である。 相補な関係にある2つのパターン光の照度分布を示す図である。 高周波成分が欠落したパターン光の照度分布を示す図である。 相補な関係にある2つのパターン光の照度分布の別の例を示す図である。 一様な照明光を投影した場合に得られる被検物の輝度分布を示す図である。 パターン光A、Bのみによる被検物の輝度分布を示す図である。 外光のみによる被検物の輝度分布を示す図である。 相補なパターン光のみによる輝度分布と外光のみによる輝度分布とを加算した輝度分布を示す図である。 相補なパターン光による輝度分布の差分を示す図である。 パターン光Bを投影した場合の被検物の輝度分布と、その表示区間における平均値とを示す図である。 パターン光Aを投影した場合の被検物の輝度分布と、その表示区間における平均値とを示す図である。 光のみの被検物の輝度分布を示す図である。 パターン光Bによる補正後の輝度分布を示す図である。 相補なパターン光による補正後の輝度分布の差分を示す図である。 三次元形状測定装置による処理の第1の例を示すフローチャートである。 三次元形状測定装置による処理の第2の例を示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。
図1は、三次元形状測定装置の代表的な構成の一例を示す図である。
図1において、投影部1は、液晶パネル3と、液晶パネル3を照明する照明部2と、液晶パネル3の像を、被検面6の近傍に配置された被検物7上に投影する撮像光学系4と、を有する。
投影部1は、後述する投影撮像制御部20からの指令によって、所定のパターン光を被検物7上に投影する(図1の投影光速5を参照)。
撮像部8は、撮像素子10と、被検物7上に投影されたパターン光を、撮像素子10上に輝度分布として結像し撮像させる撮像光学系9と、を有する。
撮像部8は、後述する投影撮像制御部20からの指令によって、撮像動作を行い、撮像素子10上の輝度分布を、撮像素子10で離散的にサンプリングされた階調分布として、後述する階調交点算出部21に出力する(図1の撮像光速11を参照)。
投影撮像制御部20は、投影部1に対して、所定のタイミング又はユーザにより指示されたタイミングで、所定のパターン光を被検物7に投影することを指示すると共に、撮像部8に対して、被検物7上のパターン光を撮像することを指示する。
階調交点算出部21は、被検物7上に2種類のパターン光が投影された際の輝度分布の交点を算出する。
三次元形状導出部22は、階調交点算出部21により算出された交点をマーカーとし、2種類のパターン光が投影された際の輝度分布に基づいて、被検物7の三次元形状を導出する。尚、被検物7の三次元形状を導出する手法は、公知の技術で実現されるので、ここでは、その詳細な説明を省略する。
三次元形状測定装置は、図示しない環境照明の元に設置されている。よって、被検物7の撮像により得られる輝度分布は、投影されたパターン光の輝度分布に、当該環境照明による輝度分布が加わった輝度分布である。
投影撮像制御部20は、少なくとも二種類のパターン光A、Bを順番に投影することを、投影部1に対して指示する。そうすると、投影部1は、投影が指示されたパターン光A、Bを被検物7に投影する。そして、投影撮像制御部20は、パターン光A、Bが投影された被検物7の撮像を、撮像部8に対して指示する。そうすると、撮像部8は、パターン光A、Bが投影されたときの被検物7の撮像をそれぞれ行う。
図2は、パターン光A、Bに対応する、液晶パネル3の各画素の明暗の状態の一例を示す図である。具体的に図2(A)は、パターン光Aに対応する、液晶パネル3の各画素の明暗の状態の一例を示す図であり、図2(B)は、パターン光Bに対応する、液晶パネル3の各画素の明暗の状態の一例を示す図である。
図2において、白が明部、黒が暗部である。パターン光A、Bは、明部と暗部とが交互に繰り返し存在するパターンを有する。そして、パターン光A、Bでは、明暗が反転している(パターン光Aで明部の領域は、パターン光Bでは暗部の領域となり、パターン光Aで暗部の領域は、パターン光Bでは明部の領域となる)。これにより被検面6上に相補的な照度分布が形成される。
本発明においては、相補なパターン光とは、同じ照度分布の周期的パターンが半位相(半周期)ずれたものを指している。
図3は、相補な関係にある2つのパターン光の照度分布の一例を示す図である。図3〜図5において、横軸は、投影対象である被検物7上の位置であり、縦軸は、被検物7に投影されるパターン光の照度を、照度分布(投影パターン)の最大照度で正規化した値である。
図3において、実線がパターン光Aの照度分布を示し、破線がパターンAとは相補な関係にあるパターン光Bの照度分布を示す。前述したように、2つのパターン光A、Bは、それぞれ周期的に明暗を繰り返しており、明部と暗部とが入れ替わる、いわゆる半位相ずれた関係を有する。
図3に示すパターン光の照度分布では、照度の変化が直線的である。このようなパターン光は、お互いのパターン光の明暗の交点を算出する投影パターンとしては理想的なパターン光である。しかしながら、現実には、撮像光学系4の結像特性、パターンを表示する液晶デバイス、或いはスライド等の性能により、パターン光の高周波成分が欠落することが一般的である。
図4は、そのような高周波成分が欠落したパターン光の照度分布の一例を示す図である。図4に示す照度分布は、図3における照度分布から、高周波成分を欠落させて結像することで形成される。
図5は、相補な関係にある2つのパターン光の照度分布のさらに別の一例を示す図である。図5に示す照度分布を得るには、例えば、特願2011−152342号明細書に記載された技術を用いることができる。図5においても図3、図4と同様に、実線がパターン光Aの照度分布を示し、波線がパターン光Bの照度分布を示している。また、2つのパターン光A、Bは、それぞれ周期的に明暗を繰り返しており、明暗の位相が半位相ずれた関係となっている。
図3及び図4に示す照度分布では、明暗の幅が等しく、且つ、2つのパターン光A、Bの交点が、振幅の中点にある。これに対し、図5に示す照度分布では、明部の幅が暗部の幅に対して狭く設定されており、その結果、2つのパターン光A、Bの交点は、振幅の中点よりも照度が小さい位置に存在する。
相補なパターン光は、明暗のパターンと、その周期は同一であるが、位相が半位相ずれたものである。よって、相補なパターン光は、数学的には、N(Nは正の整数)周期の照度の平均値が等しいパターンであり、実用上は多周期が含まれる範囲において、照度の平均値が等しくなる性質を有している。
次に、被検物7上にパターン光A、Bを投影した場合に撮像される画像の輝度分布について説明する。
図6は、投影部1によって一様な照度の照明光を投影した場合に得られる被検物7の輝度分布の一例を示す図である。図6〜図8において、縦軸は、被検物7の画像の輝度に相当し、横軸は、投影対象である被検物7上の位置を示す。 図6〜図8における輝度分布の変化は、被検物7の表面の反射率に起因するものである。
図7は、図4に示した照度分布を有する相補なパターン光(パターン光A、B)を、図6に示した輝度分布を得た被検物7と同じ被検物7に投影した場合に得られる被検物7の輝度分布を示す図である。図7において、実線が、パターン光Aを投影した場合に得られる被検物7の輝度分布を示し、破線が、パターン光Bを投影した場合に得られる被検物7の輝度分布を示す図である。
図8は、外光による被検物7の輝度分布の一例を示す図である。ここでは説明の簡略化の為、被検物7の反射率とは無関係に、図8で示した光量だけ輝度が増加するとする。
図9は、相補なパターン光の投影のみにより得られる被検物7の輝度分布(図7)に、外光のみによる被検物7の輝度分布(図8)を加算した輝度分布を示す図である。
図9において、実線は、図7に示すパターン光Aの投影により得られた被検物7の輝度分布(実線)に、図8に示す実線の輝度分布(パターン光Aを投影したときの外光による被検物7の輝度分布)が加わったものである。一方、破線は、図7に示すパターン光Bの投影により得られた被検物7の輝度分布(破線)に、図8に示す破線の輝度分布(パターン光Bを投影したときの外光による被検物7の輝度分布)が加わったものである。
相補なパターン光を用いた測距方法においては、2つのパターン光の輝度の同一となる位置(以下、この位置を必要に応じて「輝度交点」或いは「交点」と称する)をマーカーとして用いることが基本である。ところが、外光による画像の輝度成分が含まれない「図7に示す輝度分布」おける交点と、2つのパターン光の間で異なる外光による輝度成分が含まれる「図9に示す輝度分布」おける交点とでは、明らかにその位置が異なる。
図10は、相補なパターン光による輝度分布の差分を示す図である。図10は、相補なパターン光による輝度分布の交点の位置を示すためのものであり、その交点は、図中で輝度差0の横軸と曲線との交点で示される。
図10において、実線は、パターン光Bを投影した場合に得られる被検物7の輝度分布から、パターン光Aを投影したときの外光による被検物7の輝度分布を減じたものである(図7の破線の輝度分布から実線の輝度分布を減じたものである)。一方、破線は、パターン光Bを投影したときの外光による被検物7の輝度分布から、パターン光Aを投影したときの外光による被検物7の輝度分布を減じたものである(図9の破線の輝度分布から実線の輝度分布を減じたものである)。
図10から明らかなように、パターン光Aを投影したときとパターン光Bを投影したときとで外光による輝度成分が変化することにより、本来の交点である、実線と0点とが交わる点とは異なった位置に、破線と0点とが交わる位置が移動している。
尚、図7では、外光が含まれない場合の輝度分布を示した。パターン光Aを投影したときとパターン光Bを投影したときとで同量の外光が含まれている場合、即ち外光の時間変動が無い場合には、図7に示す輝度分布の差分をとることにより、外交成分は相殺され、その結果は、図10に示す実線と等しくなる。
図11は、図9に示した輝度分布であって、パターン光Bを投影した場合の被検物7の輝度分布(破線)と、その表示区間(所定範囲)における平均値とを示す図である。図11において、当該平均値は130.7である。
図12は、図9に示した輝度分布であって、パターン光Aを投影した場合の被検物7の輝度分布(実線)と、その表示区間(所定範囲)における平均値とを示す図である。図12において、当該平均値は105.6である。
パターン光Aを投影した場合の被検物7の輝度分布の平均値と、パターン光Bを投影した場合の被検物7の輝度分布の平均値には、25.1(130.7−105.6)の差が発生している。
パターン光Aと、パターン光Bは、相補なパターンであり、位相が半位相ずれている以外は同じ照度分布を持つ。このため、それらの平均値は等しい。したがって、パターン光A、Bを被検物7に投影した場合の、その反射光の平均値も、略等しいと期待できる。 よって、前述した平均値の差(=25.1)の値は、それぞれのパターン光A、Bを照射したときの外光成分に起因すると考えられる。
そこで、前述した平均値の差をなくす(0(ゼロ)にする)ためには、その差に等しい外光分布を、パターン光A、Bを投影した場合の被検物7の輝度分布の何れかに加減(加算または減算)すればよい。
図13は、相補なパターン光の投影を行わずに、外光成分のみの被検物7の輝度分布の一例を示す図である。破線が、外光成分のみの被検物7の輝度分布を示し、一点鎖線が、その表示区間(所定範囲)における平均値を示す。当該平均値は83.3であった。
外光成分のみの被検物7の輝度分布は、図13に示した分布を維持しつつ時間と共に変動するとする。そうすると、前述した平均値の差(=25.1)を0(ゼロ)にするために、パターンAを投影した際の被検物7の輝度分布とパターンBを投影した際の被検物7の輝度分布とで等しい平均値になるようにする。そのために、図13に外光による輝度分布を縮小して、図11に示したパターン光Bによる輝度分布から減ずる。
ここで、25.1/83.3=0.30であるから、図11に示したパターン光Bによる輝度分布から、図13に示した外光による輝度分布(破線)に0.30を乗じたものを減ずる。
図14は、このようにして算出された、パターン光Bによる補正後の輝度分布の一例を示す図である。図14の一点鎖線に示すように、パターン光Bによる補正後の輝度分布の平均値は、パターン光Aによる輝度部プログラムの平均値(図12の一点鎖線を参照)と等しくなっている。
輝度交点の算出は、図12に示したパターン光Aによる輝度分布と、図14に示したパターン光Bによる輝度分布との差分をとり、その差分の値が0となる被検物7上の座標を求めることで行われる。
図15は、相補なパターン光による輝度分布の差分の一例を示す図である。図15において、実線は、相補なパターン光の間で外光成分に差が無い場合、又は外光が無い場合を示し、図10に示した実線に等しい。一方、破線は、相補なパターン光の間で外光成分に差が生じた場合であって、本実施形態の手法を適用した場合を示し、図12に示したパターン光Aによる輝度分布と図14に示したパターン光Bによる補正後の輝度分布との差分の分布である。尚、図15では、0点をよぎる位置の差が判りやすいように、便宜上、実線、破線とで符号が逆転するようにプロットしている。
図15に示すように、図10に示した本実施形態の手法を適用しない場合(パターン光Bによる輝度分布を補正しない場合)の差分の分布に対して、パターン光Aによる輝度が0となる位置との差が大幅に小さくなることが分かる。
図16は、本実施形態の三次元形状測定装置による処理の一例を説明するフローチャートである。
まず、ステップS1601において、投影部1は、投影撮像制御部20からの指令により、パターン光Aを、第1のパターン光の一例として被検物7上に投影する(第1の投影を行う)。
次に、ステップS1602において、撮像部8は、投影撮像制御部20からの指令により、撮像動作を行い、パターン光Aが投影された被検物7の輝度分布L1を、第1の輝度分布の一例として取得する(第1の輝度分布取得を行う)。
次に、ステップS1603において、投影部1は、投影撮像制御部20からの指令により、パターン光Bを、第2のパターン光の一例として被検物7上に投影する(第2の投影を行う)。
次に、ステップS1604において、撮像部8は、投影撮像制御部20からの指令により、撮像動作を行い、パターン光Bが投影された被検物7の輝度分布L2を、第2の輝度分布の一例として取得する(第2の輝度分布取得を行う)。
次に、ステップS1605において、撮像部8は、投影撮像制御部20からの指令により、撮像動作を行い、外光(環境光)成分のみの被検物7の輝度分布L0を、第3の輝度分布の一例として取得する(第3の輝度分布取得を行う)。
次に、ステップS1606において、階調交点算出部21は、パターン光Aが投影された被検物7の輝度分布L1の平均値Ave(L1)を算出する。
次に、ステップS1607において、階調交点算出部21は、パターン光Bが投影された被検物7の輝度分布L2の平均値Ave(L2)を算出する。
次に、ステップS1608において、階調交点算出部21は、外光成分のみの被検物7の輝度分布L0の平均値Ave(L0)を算出する。
次に、ステップS1609において、階調交点算出部21は、被検物7の輝度分布L2の平均値Ave(L2)から被検物7の輝度分布L1の平均値Ave(L1)を減算して、これらの差分e(=Ave(L2)−Ave(L1))を算出する。
次に、ステップS1610において、階調交点算出部21は、被検物7の輝度分布L1、L2の平均値の差分eを、外光成分のみの被検物7の輝度分布L0の平均値Ave(L0)で割って、外光の成分差η(=e/Ave(L0))を算出する。
次に、ステップS1611において、階調交点算出部21は、被検物7の輝度分布L2から、外光成分のみの被検物7の輝度分布L0に外光の成分差ηを乗じた値を減算して、被検物7の輝度分布の補正値L2´(=L2−ηL0)を算出する。
次に、ステップS1612において、階調交点算出部21は、被検物7の輝度分布L1と、被検物7の輝度分布の補正値L2´との交点Pを算出する(交点導出を行う)。
最後に、ステップS1613において、三次元形状導出部22は、被検物7の輝度分布L1と、被検物7の輝度分布の補正値L2´との交点Pをマーカーとして用いて、被検物7の三次元形状を導出する(三次元形状導出を行う)。
以上のように本実施形態では、明部と暗部のパターンが反転したパターン光A、Bを被検物7に投影し、それぞれにおける被検物7の輝度分布L1、L2と、その平均値Ave(L1)、Ave(L2)を算出する。それらの平均値の差eが0(ゼロ)になるように、外光成分のみの被検物7の輝度分布L0に係数ηを乗じた輝度分布を、パターン光Bを被検物7に投影して得られた輝度分布L2から減算してその補正値L2´を算出する。そして、パターン光Aを被検物7に投影して得られた輝度分布L1と、パターン光Bを被検物7に投影して得られた輝度分布L2の補正値L2´との交点を導出する。このようにすることによって、パターン光Aを被検物7に投影して得られた輝度分布L1に含まれる外光成分と、パターン光Bを被検物7に投影して得られた輝度分布L2に含まれる外光成分との差を小さくすることができる。よって、パターン光Aを被検物7に投影したときと、パターン光Bを被検物7に投影したときとで、外光(環境光)に変化があっても、パターン光A、Bを被検物7に投影して得られた輝度分布L1、L2の明暗が交差する点を正確に検出することができる。
本実施形態では、外光成分のみの被検物7の輝度分布L0に係数ηを乗じた輝度分布を、パターン光Bを被検物7に投影して得られた輝度分布L2から減算してその補正値L2´を算出するようにした。しかしながら、被検物7の輝度分布L1、L2の平均値Ave(L1)、Ave(L2)が等しくなるように、外光成分のみの被検物7の輝度分布L0に係数を乗じた輝度分布を、被検物7の輝度分布L1、L2の何れか一方に対して加減していればよい。
例えば、ステップS1609において、差分e(=Ave(L1)−Ave(L2))を算出する。そして、ステップS1611において、被検物7の輝度分布の補正値L1´(=L1−ηL0)を算出し、ステップS1612において、被検物7の輝度分布の補正値L1´と、被検物7の輝度分布L2との交点Pを算出することができる。
また、ステップS1609において、差分e(=Ave(L1)−Ave(L2))を算出する。そして、ステップS1611において、被検物7の輝度分布の補正値L2´(=L2+ηL0)を算出し、ステップS1612において、被検物7の輝度分布の補正値L2´と、被検物7の輝度分布L1との交点Pを算出することができる。
また、ステップS1609において、差分e(=Ave(L2)−Ave(L1))を算出する。そして、ステップS1611において、被検物7の輝度分布の補正値L1´(=L1+ηL0)を算出し、ステップS1612において、被検物7の輝度分布の補正値L1´と、被検物7の輝度分布L2との交点Pを算出することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態では、被検物7の輝度分布L1、L2の平均値Ave(L1)、Ave(L2)が等しくなるように、外光成分のみの被検物7の輝度分布L0に係数を乗じた輝度分布を、被検物7の輝度分布L2から減算する場合を例に挙げて説明した。これに対し、本実施形態では、被検物7の輝度分布L1、L2の差分である差分分布の平均値が0(ゼロ)となるように、当該差分分布に対し、外光成分のみの被検物7の輝度分布L0に係数を乗じた輝度分布を加減する。このように本実施形態と第1の実施形態とでは、被検物7の輝度分布L1、L2の交点を求める際の処理の一部が主として異なる。よって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図16に付した符号と同一の符号を付すこと等により詳細な説明を省略する。
本実施形態では、パターン光Bを投影した場合に得られる被検物7の輝度分布L2から、パターン光Aを投影した場合に得られる被検物7の輝度分布L1を減算して差分分布を求める。この差分分布は、図10の破線で示した形となる。この差分分布の平均値を算出すれば、それは、パターン光Aを投影したときの被検物7の輝度分布L1と、パターン光Bを投影したときの被検物7の輝度分布L2の各々の平均値の差に等しくなる。よって、本実施形態では、この平均値の差を0とするように、外光による輝度分布L0に係数を掛けたものを、差分分布から減算する。
図17は、本実施形態の三次元形状測定装置による処理の一例を説明するフローチャートである。
まず、ステップS1701において、投影部1は、投影撮像制御部20からの指令により、パターン光Aを、第1のパターン光の一例として被検物7上に投影する(第1の投影を行う)。
次に、ステップS1702において、撮像部8は、投影撮像制御部20からの指令により、撮像動作を行い、パターン光Aが投影された被検物7の輝度分布L1を、第1の輝度分布の一例として取得する(第2の輝度分布取得を行う)。
次に、ステップS1703において、投影部1は、投影撮像制御部20からの指令により、パターン光Bを、第2のパターン光の一例として被検物7上に投影する(第2の投影を行う)。
次に、ステップS1704において、撮像部8は、投影撮像制御部20からの指令により、撮像動作を行い、パターン光Bが投影された被検物7の輝度分布L2を、第2の輝度分布の一例として取得する(第2の輝度分布取得を行う)。
次に、ステップS1705において、撮像部8は、投影撮像制御部20からの指令により、撮像動作を行い、外光(環境光)成分のみの被検物7の輝度分布L0を、第3の輝度分布の一例として取得する(第3の輝度分布取得を行う)。
次に、ステップS1706において、階調交点算出部21は、パターン光Bが投影された被検物7の輝度分布L2から、パターン光Aが投影された被検物7の輝度分布L1を減算して差分分布S(=L2−L1)を求める。
次に、ステップS1707において、階調交点算出部21は、差分分布Sの平均値Ave(S)を算出する。
次に、ステップS1708において、階調交点算出部21は、外光成分のみの被検物7の輝度分布L0の平均値Ave(L0)を算出する。
次に、ステップS1709において、階調交点算出部21は、差分分布Sの平均値Ave(S)を、外光成分のみの被検物7の輝度分布L0の平均値Ave(L0)で割って、外光の成分差η(=Ave(S)/Ave(L0))を算出する。
次に、ステップS1710において、階調交点算出部21は、差分分布Sから、外光成分のみの被検物7の輝度分布L0に外光の成分差ηを乗じた値を減算して、差分分布の補正値S´(=S−ηL0)を算出する。
次に、ステップS1711において、階調交点算出部21は、差分分布の補正値S´において輝度が0となる点(0点)Qを求める(交点導出を行う)。
最後に、ステップS1712において、三次元形状導出部22は、差分分布の補正値S´において輝度が0となる点(0点)Qをマーカーとして用いて、被検物7の三次元形状を導出する(三次元形状導出を行う)。
以上のようにしても第1の実施形態で説明したのと同じ効果を得ることができる。
本実施形態では、ステップS1706において、パターン光Bが投影された被検物7の輝度分布L2から、パターン光Aが投影された被検物7の輝度分布L1を減算して差分分布Sを算出した。そして、ステップS1710において、この差分分布Sから、外光成分のみの被検物7の輝度分布L0に外光の成分差ηを乗じた値を減算して、差分分布の補正値S´(=S−ηL0)を算出した。しかしながら、被検物7の輝度分布L1、L2の差分である差分分布の平均値が0(ゼロ)となるように、当該差分分布に対し、外光成分のみの被検物7の輝度分布L0に係数を乗じた輝度分布を加減していればよい。すなわち、ステップS1706において、差分分布S(=L1−L2)を求め、ステップS1710において、差分分布の補正値S´(=S−ηL0)を算出するようにしてもよい。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
1 投影部、8 撮像部、21 階調交点算出部

Claims (7)

  1. 明部と暗部とを有する第1のパターンと、前記第1のパターンに対し、明部と暗部との関係が反転した関係にある第2のパターンとを、被検物に投影する投影手段と、
    前記被検物を撮像することにより得られる、前記第1のパターンが投影された状態の画像における前記被検物の第1の輝度分布と、前記第2のパターンが投影された状態の画像における前記被検物の第2の輝度分布と、前記第1のパターンおよび前記第2のパターンが投影されない状態の画像における前記被検物の第3の輝度分布とをそれぞれ取得する輝度分布取得手段と、
    前記第1の輝度分布、前記第2の輝度分布、および前記第3の輝度分布に基づいて、前記第1の輝度分布が得られたときと前記第2の輝度分布が得られたときとの環境光の輝度の変化分の分布である第4の輝度分布を導出する輝度分布導出手段と、
    前記第1の輝度分布と、前記第2の輝度分布と、の交点を導出する交点導出手段と、
    前記交点に基づいて、前記被検物の三次元形状を導出する三次元形状導出手段と、を有し、
    前記交点導出手段は、前記第の輝度分布を用いて、前記第1の輝度分布に含まれる環境光による成分と、前記第2の輝度分布に含まれる環境光による成分とを略等しくした状態で、前記第1の輝度分布と、前記第2の輝度分布との交点を導出することを特徴とする三次元形状測定装置。
  2. 前記交点導出手段は、前記第1の輝度分布の所定範囲における平均値と、前記第2の輝度分布の所定範囲における平均値とが略等しくなるように、前記第1の輝度分布と、前記第2の輝度分布と、の何れか一方に対して、前記第の輝度分布を加算または減算し、当該加算または減算した後の輝度分布を用いて前記交点を導出することを特徴とする請求項1に記載の三次元形状測定装置。
  3. 前記第4の輝度分布は、前記第3の輝度分布に係数を乗じた輝度分布であり、
    前記係数は、前記第1の輝度分布の所定範囲における平均値と、前記第2の輝度分布の所定範囲における平均値との差分を、前記第3の輝度分布の所定範囲における平均値で割った値であることを特徴とする請求項2に記載の三次元形状測定装置。
  4. 前記交点導出手段は、前記第1の輝度分布と、前記第2の輝度分布との、所定範囲における差分である差分分布の平均値がゼロとなるように、前記差分分布に対して、前記第の輝度分布を加算または減算し、当該加算または減算した後の差分分布を用いて前記交点を導出することを特徴とする請求項1に記載の三次元形状測定装置。
  5. 前記第4の輝度分布は、前記第3の輝度分布に係数を乗じた輝度分布であり、
    前記係数は、前記差分分布の所定範囲における平均値を、前記第3の輝度分布の所定範囲における平均値で割った値であることを特徴とする請求項4に記載の三次元形状測定装置。
  6. 明部と暗部とを有する第1のパターンを、被検物に投影する第1の投影工程と、
    前記第1のパターンに対し、明部と暗部との関係が反転した関係にある第2のパターンを、前記被検物に投影する第2の投影工程と、
    前記被検物を撮像することにより得られる、前記第1のパターンが投影された状態の画像における前記被検物の第1の輝度分布を取得する第1の輝度分布取得工程と、
    前記被検物を撮像することにより得られる、前記第2のパターンが投影された状態の画像における前記被検物の第2の輝度分布を取得する第2の輝度分布取得工程と、
    前記被検物を撮像することにより、前記第1のパターンおよび前記第2のパターンが投影されない状態の画像における前記被検物の第3の輝度分布とをそれぞれ取得する第3の輝度分布取得工程と、
    前記第1の輝度分布、前記第2の輝度分布、および前記第3の輝度分布に基づいて、前記第1の輝度分布が得られたときと前記第2の輝度分布が得られたときとの環境光の輝度の変化分の分布である第4の輝度分布を導出する輝度分布導出工程と、
    前記第1の輝度分布と、前記第2の輝度分布と、の交点を導出する交点導出工程と、
    前記交点に基づいて、前記被検物の三次元形状を導出する三次元形状導出工程と、を有し、
    前記交点導出工程は、前記第の輝度分布を用いて、前記第1の輝度分布に含まれる環境光による成分と、前記第2の輝度分布に含まれる環境光による成分とを略等しくした状態で、前記第1の輝度分布と、前記第2の輝度分布との交点を導出することを特徴とする三次元形状測定方法。
  7. コンピュータを、請求項1乃至5の何れか1項に記載の三次元形状測定装置の各手段として機能させることを特徴とするプログラム。
JP2012080161A 2012-03-30 2012-03-30 三次元形状測定装置、三次元形状測定方法、及びプログラム Expired - Fee Related JP5995484B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012080161A JP5995484B2 (ja) 2012-03-30 2012-03-30 三次元形状測定装置、三次元形状測定方法、及びプログラム
US13/800,032 US8659765B2 (en) 2012-03-30 2013-03-13 Three-dimensional shape determining apparatus and three-dimensional shape determining method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012080161A JP5995484B2 (ja) 2012-03-30 2012-03-30 三次元形状測定装置、三次元形状測定方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2013210262A JP2013210262A (ja) 2013-10-10
JP2013210262A5 JP2013210262A5 (ja) 2015-04-30
JP5995484B2 true JP5995484B2 (ja) 2016-09-21

Family

ID=49234609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012080161A Expired - Fee Related JP5995484B2 (ja) 2012-03-30 2012-03-30 三次元形状測定装置、三次元形状測定方法、及びプログラム

Country Status (2)

Country Link
US (1) US8659765B2 (ja)
JP (1) JP5995484B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104583713B (zh) * 2012-06-29 2019-04-19 Inb视觉股份公司 使优选是结构化的物体表面成像的方法及用于成像的装置
US8994943B2 (en) * 2012-11-30 2015-03-31 Infineon Technologies Ag Selectivity by polarization
JP6161276B2 (ja) 2012-12-12 2017-07-12 キヤノン株式会社 測定装置、測定方法、及びプログラム
WO2016199518A1 (ja) * 2015-06-09 2016-12-15 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP6415412B2 (ja) * 2015-09-28 2018-10-31 キヤノン株式会社 計測装置および計測方法
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH061164B2 (ja) * 1985-01-31 1994-01-05 伍良 松本 立体形状測定装置
JPH0615968B2 (ja) * 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JPS6454206A (en) * 1987-08-25 1989-03-01 O G Joho Syst Kk Position measuring method
DE4007502A1 (de) * 1990-03-09 1991-09-12 Zeiss Carl Fa Verfahren und vorrichtung zur beruehrungslosen vermessung von objektoberflaechen
JP3519698B2 (ja) * 2001-04-20 2004-04-19 照明 與語 3次元形状測定方法
JP4931728B2 (ja) 2007-08-08 2012-05-16 シーケーディ株式会社 三次元計測装置及び基板検査機
DE102007054906B4 (de) * 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US9046355B2 (en) * 2009-07-29 2015-06-02 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and program
JP5986357B2 (ja) 2011-07-08 2016-09-06 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
US20130258354A1 (en) 2013-10-03
US8659765B2 (en) 2014-02-25
JP2013210262A (ja) 2013-10-10

Similar Documents

Publication Publication Date Title
JP5995484B2 (ja) 三次元形状測定装置、三次元形状測定方法、及びプログラム
Feng et al. High dynamic range 3d measurements with fringe projection profilometry: a review
CN110268223B (zh) 三维形状计测装置、三维形状计测方法以及非暂时性存储介质
JP5443303B2 (ja) 外観検査装置及び外観検査方法
Waddington et al. Modified sinusoidal fringe-pattern projection for variable illuminance in phase-shifting three-dimensional surface-shape metrology
TWI414749B (zh) 表面輪廓測量設備
JP6658625B2 (ja) 3次元形状計測装置及び3次元形状計測方法
JP5994787B2 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム
JP2009115612A (ja) 3次元形状計測装置及び3次元形状計測方法
US11300402B2 (en) Deriving topology information of a scene
KR101445831B1 (ko) 3차원 형상 측정 장치 및 측정 방법
US20160284102A1 (en) Distance measurement apparatus, distance measurement method, and storage medium
US20210254968A1 (en) Method and System for Automatic Focusing for High-Resolution Structured Light 3D Imaging
Ritz et al. High resolution acquisition of detailed surfaces with lens-shifted structured light
KR101705762B1 (ko) 3차원 형상 측정 장치의 틸트 교정 방법
JP2012053016A (ja) 外観検査装置及び外観検査方法
JP2014186010A (ja) 計測装置、方法及びプログラム
JP2014070936A (ja) 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
KR101757240B1 (ko) 3차원 형상 측정 장치에서의 기준 패턴 생성 방법
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
KR101436403B1 (ko) 정현파 격자를 이용한 섀도우모아레 방법 및 이를 이용한 측정 장치
KR101653649B1 (ko) 균일도 보상 패턴광을 이용한 3차원 형상 측정 방법
US10659699B2 (en) Apparatus and method for reconstructing a three-dimensional profile of a target surface
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
JP2014035198A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160823

R151 Written notification of patent or utility model registration

Ref document number: 5995484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees