Nothing Special   »   [go: up one dir, main page]

JP5576726B2 - 三次元計測装置、三次元計測方法、及びプログラム - Google Patents

三次元計測装置、三次元計測方法、及びプログラム Download PDF

Info

Publication number
JP5576726B2
JP5576726B2 JP2010148026A JP2010148026A JP5576726B2 JP 5576726 B2 JP5576726 B2 JP 5576726B2 JP 2010148026 A JP2010148026 A JP 2010148026A JP 2010148026 A JP2010148026 A JP 2010148026A JP 5576726 B2 JP5576726 B2 JP 5576726B2
Authority
JP
Japan
Prior art keywords
pattern
image data
luminance
reliability
luminance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010148026A
Other languages
English (en)
Other versions
JP2012013453A (ja
Inventor
志幾 ▲高▼林
哲理 園田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010148026A priority Critical patent/JP5576726B2/ja
Priority to EP15151217.5A priority patent/EP2889575B1/en
Priority to EP11728427.3A priority patent/EP2588836B1/en
Priority to US13/702,360 priority patent/US8970853B2/en
Priority to PCT/JP2011/063751 priority patent/WO2012002152A1/en
Priority to KR1020137001762A priority patent/KR101461068B1/ko
Publication of JP2012013453A publication Critical patent/JP2012013453A/ja
Application granted granted Critical
Publication of JP5576726B2 publication Critical patent/JP5576726B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、明部と暗部が任意の幅で配置するパターン光を複数枚投影して距離情報を取得する空間符号化法により三次元形状を計測する三次元計測装置、三次元計測方法、及びプログラムに関する。
被写体にパターン光を複数枚投影して、パターン光が投影された被写体を撮像することで、パターンの変形から三角測量の原理を用いて形状測定を行うパターン投影法が知られている。その中で、明部と暗部が任意の幅で交互に配置する縞パターン光を投影して空間を2進符号化する空間符号化法は三次元計測の分野でよく用いられており、製品化もなされている。
図1を参照して、一般的な三次元形状を測定する装置の構成および三次元計測の概念を説明する。三次元形状測定装置は、測定対象物体にパターンを照射するプロジェクタ101、反射パターンを撮像するカメラ102から構成されるのが一般的である。プロジェクタ101から被写体103に向けて明部と暗部が任意の幅で交互に配置された縞パターン光を投射する。縞パターン光は予め決められた複数のパターン形状があり、それら投影され、その度にカメラ102により撮像して画像データとして取得する。被写体103の明部と暗部の境界位置を(X,Y,Z)とする。境界位置(X,Y,Z)とプロジェクタ101を線で結んだ時のプロジェクタ101の主点位置を(X1,Y1)とする。同様に、境界位置(X,Y,Z)とカメラ102を線で結んだ時のカメラ102の主点位置を(X2,Y2)とする。ここで、カメラ102の主点位置(X2,Y2)はカメラ102の撮像センサ(CCDやCMOSなど)の水平座標によって求まる点である。水平座標とは撮像センサの水平幅と垂直幅によって決まり、例えば640×480の撮像センサであれば、水平方向のx座標は0から640、垂直方向のy座標は0から480の値を有する。同様にプロジェクタ101の主点位置(X1,Y1)も投光センサの水平座標によって求まる。また、プロジェクタ101とカメラ102との間の距離Lは基線長となり、装置の構成条件から定められる値である。これらのパラメータから三角測量の原理によって被写体103の境界位置(X,Y,Z)を求めることができる。被写体103の全面に対してそれぞれの境界位置(X,Y,Z)を求めることで、被写体103の三次元形状を測定することができる。
次に縞パターン光の形状について説明する。図2を参照して、符号化誤り耐性のあるグレイコードと呼ばれる2進符号の縞パターン光を説明する。撮像された反射パターンで黒く観察された部分は0、白く観察された部分は1に対応する。図2(a)では全体を2分割し、2つの領域で1、0と符号化する。図2(b)では明部と暗部の4つの領域を1、0、0、1と符号化し、対応する縞パターン光を照射および撮像する。さらに図2(c)では8つの領域を1、0、0、1、1、0、0、1と符号化し、対応する縞パターン光を照射および撮像する。このように各領域に符号化された領域番号が付与されるので、各領域を判断することができる。各領域は(1,1,1)、(1,1,0)、(1,0,0)、(1,0,1)、(0,0,1)、(0,0,0)、(0,1,0)、(0,1,1)として判断できる。このようにして3枚の縞パターン光を使い、空間を8分割することができるため、この空間符号化を3bitの空間符号化と称する。そして、図2(a)、図2(b)、図2(c)の縞パターン光をそれぞれ1bitの縞パターン光、2bitの縞パターン光、3bitの縞パターン光と称する。
さらに詳細に三次元形状測定を行う場合には、明部と暗部の領域を順次縮小しながらn枚の縞パターン光を照射する。そしてプロジェクタの照射領域を2nに分割した領域番号を付与することにより、各領域を判断できる。例えば、領域を1024分割する三次元計測においては10bitの空間符号化が行われる。
グレイコードの利点は、縞パターン光のずれやぼけなどで領域境界に符号化の誤りが発生しても、隣接領域と判断されるだけで、大きくずれた領域として符号化誤りを生じないことである。そのためグレイコードによる空間符号化は一般に用いられている方法である。
空間符号化法による三次元計測で精度を向上させるには、撮像した画像データから明部と暗部の境界の水平座標位置x(以下、「境界位置」と称する)を決定する必要がある。図3を参照して、で明部と暗部の境界位置について説明する。図3は2bitの縞パターン光を撮像した画像データの輝度を縦軸に、水平座標xを横軸にとった時のグラフである。図3(a)は理想的な境界位置を示す。図3(a)では明部と暗部の輝度値が境界において1,0で異なるため、明部と暗部の境界位置が一意に決まり、位置aおよび位置bが境界位置と決定できる。しかし実際の計測では、縞パターン光のボケ、被写体の反射率、外光の影響などにより、図3(b)に示されるように境界近傍はなだらかな変化となり、境界位置を一意に決めることができず、計測誤差を生じさせる。
こうした問題を回避するため、計測精度を示す信頼度を計測点に付与し、その信頼度が閾値以下であれば、その計測座標は使用しない方法が開示されている(例えば、特許文献1参照)。
特許文献1では、縞パターン光のほかに、全面明部である全点灯光と、全面暗部である全消灯光とを被写体に照射する。信頼度は全点灯光と全消灯光の輝度差に対する縞パターン光の輝度差の割合としている。そして信頼度が閾値を超える測定点のみを出力している。
特許第3996560号公報
特許文献1の発明では、縞パターン光の輝度差を求める必要がある。輝度差を正確に求めるためには、複数の画素の輝度値を用いて輝度曲線を算出する必要があり、計算コストがかかるという課題がある。また、予めサンプリング点を決めて輝度差を求める方法もあるが、その場合にはサンプリング点ごとに信頼度が異なり、正確に信頼度が反映されない恐れがあるという課題もある。
上記の課題に鑑み、本発明は計測精度を示す信頼度を簡易かつ正確に算出すすることを目的とする。
上記の目的を達成する本発明に係る三次元計測装置は、
パターンを対象物体に投影し、前記対象物体により反射された反射パターンから前記対象物体の三次元形状情報を算出するための三次元計測装置であって、
明部と暗部とが交互に配置されたパターンの反射パターン光を第1の画像データとして撮像し、当該パターンの明部と暗部とが反転したパターンの反射パターンを第2の画像データとして撮像する撮像手段と、
前記第1の画像データに含まれる第1の輝度値および前記第2の画像データに含まれる第2の輝度値に基づき、前記明部と前記暗部との境界位置を決定する決定手段と、
前記第1の輝度値の勾配を表す第1の輝度勾配と、前記第2の輝度値の勾配を表す第2の輝度勾配とに基づいて前記境界位置の正確性を示す信頼度を算出する信頼度算出手段と、
を備えることを特徴とする。
また、上記の目的を達成する本発明に係る三次元計測装置は、
パターン光を対象物体に投影し、前記対象物体により反射された反射パターン光から前記対象物体の三次元形状情報を算出するための三次元計測装置であって、
明部と暗部とが交互に配置された縞パターン光の反射パターン光を第1の画像データとして撮像し、全てが明部である全照明パターン光の反射パターン光を第2の画像データとして撮像し、全てが暗部である全消灯パターン光の反射パターン光を第3の画像データとして撮像する撮像手段と、
前記第1の画像データと前記第2の画像データと前記第3の画像データとに基づき、前記明部と前記暗部との境界位置を決定する決定手段と、
前記第2の画像データおよび前記第3の画像データと、前記第1の画像データの輝度勾配から、前記境界位置の正確性を示す信頼度を算出する信頼度算出手段と、
を備えることを特徴とする。
本発明によれば、取得した画像情報より明暗が反転している位置近傍の複数画素を利用して計測精度を示す信頼度とするため、簡易にかつ正確に信頼度を算出することが可能となる。また境界位置の算出と同時に信頼度を求めることができるため、計算処理の迅速化を図る事が可能となる。
三次元形状測定装置の構成および計測方法の概念図。 グレイコードによる空間符号化法の投影する縞パターン光を示す図。 境界位置の説明図。 基本構成概略図。 第1実施形態に係る信頼度算出を示す図。 第2実施形態に係る信頼度算出を示す図。 第3実施形態に係る信頼度算出を示す図。
(第1実施形態)
図4を参照して、本発明に係る三次元形状測定装置の基本構成概略図について説明する。三次元計測装置は、明部と暗部が交互に配置された縞パターン光を被写体407に投影するプロジェクタ402と、縞パターン光が投影された被写体407(対象物体)の反射パターン光を撮像するカメラ403と、種々の演算を実行する計算処理部41を備える。計算処理部41は、縞パターン光の投影や撮像を指示し、撮像された画像データを計算処理する。
計算処理部41は、CPU400と、パターンメモリ401と、画像メモリ1404と、信頼度算出部405と、計測処理部406とを備える。CPU400は各種の演算を実行する。パターンメモリ401はROM等で構成されており、縞パターン光のパターン形状プログラム、投影時間を設定するタイムアカウントプログラムなどを格納する。CPU400からの投影指示を受信したパターンメモリ401は縞パターン光形状信号をプロジェクタ402に送信する。またタイムアカウント信号がプロジェクタ402およびカメラ403に送信され、縞パターン光の投影および撮像のタイミングが管理される。
カメラ403により撮像された画像データは、画像メモリ404に一時的に格納され、順次信頼度算出部405に送信される。信頼度算出部405は、ROMやRAM等で構成されており、縞パターン光の明部と暗部の境界位置を決定し、かつ境界位置の信頼度を算出する処理を行う。境界位置を決定する方法および信頼度を算出する方法は後述する。
次に画像データは計測処理部406に送信される。計測処理部406は画像データから三次元位置情報を算出する。計測処理部406はROMやRAM等で構成される。計測処理部406は、プロジェクタ402とカメラ403の基線長、焦点距離、画素数等の機器に依存するパラメータ、予め行うキャリブレーションによるディストーション、外光輝度などの外部パラメータ等を格納する。また三角測量による三次元計測プログラムも格納する。計測処理部406は画像データを2値化処理して、符合データ化する。Nbitで空間符号化を行う場合、縞パターン光はN種類のパターン形状となるので、符号データはN枚生成されることになる。データには信頼度算出部405で算出された信頼度および境界位置が付与される。次に符号データからプロジェクタ402の画素とカメラ403の画素との対応関係をとり、三角測量の原理によって三次元計測を行い三次元形状情報を取得する(三次元形状算出)。計測結果はカメラ403の画素数に応じた距離画像データとして生成される。距離画像データにも、任意で信頼度を付与する事ができる。距離画像データは不図示の出力部で画像化され、不図示の表示部で距離画像として観察することができる。
上記の画像メモリ404、信頼度算出部405、計測処理部406の処理はすべてCPU400からの指示に基づいて行われる。
次に図5を参照して、信頼度の算出方法について説明する。
図5(a)は投影する縞パターン光を示す。縞パターン光51は3bitのグレイコードによる空間符号化の縞パターン光で、ポジティブパターンと称する。縞パターン光52は縞パターン光51の明部と暗部を反転させた逆縞パターン光であり、ネガティブパターンと称する。本図では、一例として3bitの縞パターン光のポジティブ/ネガティブパターンを示す。しかし、実際の空間符号化による計測では、プロジェクタの解像度に応じて、例えば1bitから10bitまでの縞パターン光のポジティブ/ネガティブパターンを投影し、それぞれ撮影してもよい。つまり、10bitの計測であれば、撮影枚数は20枚必要となる。図5(b)を用いて境界位置を決定する考え方を説明する。図5(b)は撮像した画像データの輝度を縦軸に、水平ピクセル座標を横軸にとったグラフである。縞パターン光の反射パターン光を撮像した画像データを第1の画像データとする。同様に、逆縞パターン光の反射パターン光を撮像した画像データを第2の画像データとする。輝度線53は縞パターン光51で撮像した第1の画像データの一部分の輝度線である。一方、輝度線54は逆縞パターン光52で撮像した第2の画像データの輝度線で、水平ピクセル座標の相対位置は輝度線53と同じとする。輝度線53と輝度線54とは、位置M及び位置Nで交わる。そこで位置M、位置Nを境界位置とする。図5(c)を用いて実際の境界位置の計算方法を説明する。グラフの下に画素番号が置かれ、点55、点56はそれぞれs番目、s+1番目の縞パターン光51を投影して撮影した画像データの画素である。点57、点58はそれぞれs番目、s+1番目の縞パターン光52を投影して撮影した画像データの画素である。そして点55と点56、点57と点58をそれぞれ直線で結び、線分500と線分501との交点59の水平座標を求める。このようにして境界位置Nを求める。ここで、信頼度は線分500と線分501の交わりで形成される角度φと定義する。
すなわち、第1の画像データおよび第2の画像データの各画像データを構成する各画素について、縞パターン光51に対する第1の輝度値と、逆縞パターン光52に対する第2の輝度値とを算出する(輝度値算出)。そして、第1の輝度値および第2の輝度値の大小関係が反転する画素に対応する位置を明部と暗部の境界位置として決定する。境界位置における縞パターン光51の第1の輝度勾配と、逆縞パターン光52の第2の輝度勾配とを算出する。各輝度勾配算出処理は、境界位置での各輝度曲線の傾きを算出する処理としてもよい。この第1の輝度勾配と、と第2の輝度勾配との相関を示す相関値を境界位置の正確性を示す信頼度として算出する。なお、相関値(信頼度)は角度φだけでなく、例えば、各輝度値をプロットした輝度曲線の境界位置における線分500と、線分501の一致度としてもよい。
以下、この信頼度である角度φの算出方法を詳述する
各点の座標をそれぞれ点55(Xa,Ya)、点56(Xb,Yb)、点57(Xa,Yd)、点58(Xb,Yc)とする。そして、線分500と線分501との交点を点59(Px,Py)と置く。
線分500の傾きP1は、
Figure 0005576726
線分501の傾きP2は、
Figure 0005576726
と求まる。
式(1)及および式(2)から線分500を通る直線の式は、式(3)のように表される。
Figure 0005576726

同様に、線分501を通る直線の式は、式(3)のように表される。
Figure 0005576726

式(3)及および式(4)から点59の座標(Px,Py)は、式(5)及および式(6)のように表される。
Figure 0005576726
Figure 0005576726
境界位置は式(5)により算出される。
図5(c)で示すように角度φをφ1とφ2に分割すると、各点の座標から、φ1は式(7)で表され、φ2は式(8)で表される。
Figure 0005576726
Figure 0005576726
式(7)及および式(8)より、角度φが式(9)のように求まる。
Figure 0005576726
ここで、画素間の距離を1とすると、Xb−Xa=1となるため、式(9)は、式(10)のように表すことができる。
Figure 0005576726
これにより、信頼度φ(角度φ)が算出される。
計測処理部406は、算出された信頼度に基づいて、信頼度が所定の閾値以下の計測点に対して、距離画像上への出力禁止を行う。また距離画像データの各測定点に信頼度を付与して全点出力を行い、距離画像データの編集時に、計測者が信頼度の閾値を任意に設定することで、所望する信頼度の高い計測点のみの距離画像データを取得することも可能である。
以上のように本発明に係る第1実施形態によれば、画像データから明暗領域の反転位置の最近傍にある4点の画素を直線結合した線分同士のなす角を信頼度とするため、境界位置を求めるのと同時に信頼度を算出できる。また計算が4点の輝度値のみで求まるので、簡易に計算することが可能である。
第1実施形態では、線分同士のなす角を信頼度として用いたが、2つの線分の交点(図5における点59)の輝度値を更なる第2の信頼度として追加してもよい。点59の輝度値は式(6)により求めることができる。信頼度が角度のみでは、対象からの反射光の輝度を知る事はできない。同じ角度でも、高輝度の場合と低輝度の場合で計測精度が異なり、閾値以上の高輝度では同じ角度でもコントラストが低下して信頼度が低下する場合がある。そのため、2つの線分の交点の輝度値も信頼度とし、角度と併せて判定する事で、信頼度による判定精度をより高めることが可能となる。
(第2実施形態)
本実施形態では、ポジティブパターンと均一光量の均一パターン光を用いる空間符号化法の信頼度算出方法について説明する。
図6(a)は投影する縞パターン光を示す。縞パターン光601は3bitのグレイコードによる空間符号化の縞パターン光である。パターン602は明部のみの全照明パターン光である。パターン603は暗部のみの全消灯パターン光である。3bitの空間符号化を行う場合には、1bitから3bitの縞パターン光と明部のみの全照明パターン602、暗部のみの全消灯パターン603が必要となる。縞パターン光の反射パターン光を撮像した画像データを第1の画像データとする。同様に、全照明パターン光の反射パターン光を撮像した画像データを第2の画像データとする。また、全消灯パターン光の反射パターン光を撮像した画像データを第2の画像データとする。
図6(b)を参照して、縞パターン光601の境界位置を決定する方法を説明する。図6(b)は撮像した画像データの輝度値を縦軸に、水平座標xを横軸にとったグラフである。
輝度線53は縞パターン光601で撮像した第1の画像データの輝度線(第1の輝度値曲線)である。輝度線604は全照明パターン602を投影して撮像した第2の画像データの輝度線(第2の輝度値曲線)である。輝度線605は全消灯パターン603を投影して撮像した第3の画像データの輝度線(第3の輝度値曲線)である。輝度線604と輝度線605の平均輝度値を求めて、それを輝度線606とする。縞パターン光601の輝度線53と平均値の輝度線606は位置M´及び位置N´で交わるものとする。そこで位置M´、位置N´を境界位置とする。
次に図6(c)を参照して、実際の計算方法を示す。グラフの下に画素番号が置かれ、点607、点608はそれぞれs番目、s+1番目の縞パターン光601を投影して撮影した画像データの画素である。点609、点610はそれぞれs番目、s+1番目の全照明パターン602を投影して撮影した画像データの画素である。点611、点612はそれぞれs番目、s+1番目の全消灯パターン603を投影して撮影した画像データの画素である。全照明パターン602と全消灯パターン603を投影して撮影した画像データの対応する画素の平均輝度値を求めると、s番目の点609と点611の平均値は点61
3と求まる。また、s+1番目の点610と点612の平均値は点614と求まる。そこで点607と点608、点613と点614をそれぞれ直線で結び、その交点615の水平座標を求める。このようにして境界位置N´を算出できる。ここで信頼度は2直線の交わりで形成される角度θと定義する。第1実施形態と同様に、角度θは式(9)で求めることができる。なお、信頼度は角度θではなく、輝度勾配、すなわち境界位置での傾きとしてもよい。
第2実施形態においても、2つの線分の交点(点615)の輝度値を第2の信頼度として追加してもよい。
以上のように第2実施形態によれば、ポジティブパターンと均一光量の均一パターン光を用いる空間符号化法においても第1実施形態と同様に信頼度を求めることができる。本実施形態は、ポジティブ/ネガティブパターンを用いる空間符号化法に比べて、精度は低減するものの、撮影枚数は約半分で済むため、精度より高速を求められる計測において有効である。
(第3実施形態)
第3実施形態では、明暗領域の反転位置の近傍における画素を選択した場合の信頼度算出方法について説明する。
図7は撮像した画像データの輝度を縦軸に、水平座標xを横軸にとったグラフである。輝度線53はポジティブパターンで撮像した画像データの一部分の輝度線である。輝度線54はネガティブパターンで撮像した画像データの輝度線である。水平ピクセル座標の相対位置は輝度線53と同じとする。線分500および線分501は、明暗領域の反転位置から最近傍にある画素、すなわち画素番号sと画素番号s+1の輝度を直線結合した線分である。この場合は線分500および線分501の交わり角φを信頼度とする。
上記は明暗領域の反転位置から最近傍にある画素を使用したが、画素間隔を倍にした画素を選択しても構わない。点702、点703はそれぞれs−1番目、s+2番目のポジティブパターンを投影して撮影した画像データの画素である。点704、点705はそれぞれs−1番目、s+2番目のネガティブパターンを投影して撮影した画像データの画素である。点702と点703、点704と点705をそれぞれ直線で結び、線分706と線分707とする。この場合は線分706および線分707の交わり角φ´を信頼度とする。
さらに画素間隔を広げて、s−2番目の画素とs+3番目の画素、又はs−3番目の画素とs+4番目の画素のように、明暗領域の反転位置から等距離にある画素を用いて傾きを算出して、線分がなす角度を同様に信頼度としてもよい。
以上のように第3実施形態によれば、明暗領域の反転位置から近傍にある画素を複数選択することができる。そのため、複数の傾きを信頼度として算出し、その平均値を信頼度にしてもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (14)

  1. パターンを対象物体に投影し、前記対象物体により反射された反射パターンから前記対象物体の三次元形状情報を算出するための三次元計測装置であって、
    明部と暗部とが交互に配置されたパターンの反射パターン光を第1の画像データとして撮像し、当該パターンの明部と暗部とが反転したパターンの反射パターンを第2の画像データとして撮像する撮像手段と、
    前記第1の画像データに含まれる第1の輝度値および前記第2の画像データに含まれる第2の輝度値に基づき、前記明部と前記暗部との境界位置を決定する決定手段と、
    前記第1の輝度値の勾配を表す第1の輝度勾配と、前記第2の輝度値の勾配を表す第2の輝度勾配とに基づいて前記境界位置の正確性を示す信頼度を算出する信頼度算出手段と、
    を備えることを特徴とする三次元計測装置。
  2. 前記信頼度算出手段は、前記信頼度を、前記第1の輝度勾配に対応する直線と、前記第2の輝度勾配に対応する直線とのなす角度に基づき算出すること特徴とする請求項1に記載の三次元計測装置。
  3. 前記決定手段は、前記第1の輝度値の変化を表す線と、前記第2の変化を表す線とが交わる画素の位置を前記境界位置として決定することを特徴とする請求項1または2に記載の三次元計測装置。
  4. パターンを対象物体に投影し、前記対象物体により反射された反射パターンから前記対象物体の三次元形状情報を算出するための三次元計測装置であって、
    明部と暗部とが交互に配置されたパターンが対象物体で反射された反射パターンを第1の画像データとして撮像し、当該パターンの明部と暗部とが反転したパターンが前記対象物体で反射された反射パターンを第2の画像データとして撮像する撮像手段と、
    前記第1の画像データに含まれる第1の輝度値および前記第2の画像データに含まれる第2の輝度値に基づき、前記明部と前記暗部との境界位置を決定する決定手段と、
    前記第1の輝度値の変化を表す第1の輝度線と、前記第2の輝度値の変化を表す第2の輝度線とに基づいて前記境界位置の正確性を示す信頼度を算出する信頼度算出手段と、
    を備えることを特徴とする三次元計測装置。
  5. 前記信頼度算出手段は、前記信頼度を、前記第1の輝度線と、前記第2の輝度線とのなす角度に基づき算出すること特徴とする請求項4に記載の三次元計測装置。
  6. 前記決定手段は、前記第1の輝度値の変化を表す第1の輝度線と、前記第2の輝度値の変化を表す第2の輝度線とが交わる画素の位置を前記境界位置として決定することを特徴とする請求項4または5に記載の三次元計測装置。
  7. パターンを対象物体に投影し、前記対象物体により反射された反射パターンから前記対象物体の三次元形状情報を算出するための三次元計測装置であって、
    明部と暗部とが交互に配置されたパターンの反射パターンを第1の画像データとして撮像し、全てが明部である全照明パターンの反射パターンを第2の画像データとして撮像し、全てが暗部である全消灯パターンの反射パターンを第3の画像データとして撮像する撮像手段と、
    前記第1の画像データに含まれる輝度値の変化を表す第1の輝度線前記第2の画像データに含まれる輝度値および前記第3の画像データに含まれる輝度値の平均を取った平均輝度値の変化を表す第2の輝度線とに基づき、前記明部と前記暗部との境界位置を決定する決定手段と、
    前記第1の輝度線および前記第2の輝度線に基づき前記境界位置の正確性を示す信頼度を算出する信頼度算出手段と、
    を備えることを特徴とする三次元計測装置。
  8. 前記信頼度算出手段は、前記信頼度を前記第1の輝度と、前記第2の輝度線とのなす角度に基づき算出することを特徴とする請求項に記載の三次元計測装置。
  9. 前記信頼度算出手段は、前記境界位置における輝度値を第2の信頼度として更に算出し、
    前記第2の信頼度が閾値以上である場合に、前記境界位置に対応する位置を表示手段に表示することを禁止する禁止手段を有することを特徴とする請求項1乃至の何れか1項に記載の三次元計測装置。
  10. 前記三次元計測装置は、前記パターンを被写体に投影する投影手段を有することを特徴とする請求項1乃至9のいずれか1項に記載の三次元計測装置。
  11. パターンを対象物体に投影し、前記対象物体により反射された反射パターンから前記対象物体の三次元形状情報を算出する三次元計測方法であって、
    撮像手段が、明部と暗部とが交互に配置されたパターン光の反射パターンを第1の画像データとして撮像し、当該パターンの明部と暗部とが反転したパターンの反射パターンを第2の画像データとして撮像する撮像工程と、
    決定手段が、前記第1の画像データに含まれる第1の輝度値および前記第2の画像データに含まれる第2の輝度値に基づき、前記明部と前記暗部との境界位置を決定する決定工程と、
    信頼度算出手段が、前記第1の輝度値の勾配を表す第1の輝度勾配と、前記第2の輝度値の勾配を表す第2の輝度勾配とに基づいて前記境界位置の正確性を示す信頼度を算出する信頼度算出工程と、
    を有することを特徴とする三次元計測方法。
  12. パターンを対象物体に投影し、前記対象物体により反射された反射パターンから前記対象物体の三次元形状情報を算出する三次元計測方法であって、
    撮像手段が、明部と暗部とが交互に配置されたパターンが対象物体で反射された反射パターンを第1の画像データとして撮像し、当該パターンの明部と暗部とが反転したパターンが前記対象物体で反射された反射パターンを第2の画像データとして撮像する撮像工程と、
    決定手段が、前記第1の画像データに含まれる第1の輝度値および前記第2の画像データに含まれる第2の輝度値に基づき、前記明部と前記暗部との境界位置を決定する決定工程と、
    信頼度算出手段が、前記第1の輝度値の変化を表す第1の輝度線と、前記第2の輝度値の変化を表す第2の輝度線とに基づいて前記境界位置の正確性を示す信頼度を算出する信頼度算出工程と、
    を有することを特徴とする三次元計測方法。
  13. パターンを対象物体に投影し、前記対象物体により反射された反射パターンから前記対象物体の三次元形状情報を算出する三次元計測方法であって、
    撮像手段が、暗部と明部とが交互に配置されたパターンの反射パターンを第1の画像データとして撮像し、全てが明部である全照明パターンの反射パターンを第2の画像データとして撮像し、全てが暗部である全消灯パターンの反射パターンを第3の画像データとして撮像する撮像工程と、
    決定手段が、前記第1の画像データに含まれる輝度値の変化を表す第1の輝度線前記第2の画像データに含まれる輝度値および前記第3の画像データに含まれる輝度値の平均を取った平均輝度値の変化を表す第2の輝度線とに基づき、前記明部と前記暗部との境界位置を決定する決定工程と、
    信頼度算出手段が、前記第1の輝度線および前記第2の輝度線に基づき前記境界位置の正確性を示す信頼度を算出する信頼度算出工程と、
    を有することを特徴とする三次元計測方法。
  14. 請求項11乃至13のいずれか1項に記載の三次元計測方法をコンピュータに実行させるためのプログラム。
JP2010148026A 2010-06-29 2010-06-29 三次元計測装置、三次元計測方法、及びプログラム Expired - Fee Related JP5576726B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010148026A JP5576726B2 (ja) 2010-06-29 2010-06-29 三次元計測装置、三次元計測方法、及びプログラム
EP15151217.5A EP2889575B1 (en) 2010-06-29 2011-06-09 Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
EP11728427.3A EP2588836B1 (en) 2010-06-29 2011-06-09 Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
US13/702,360 US8970853B2 (en) 2010-06-29 2011-06-09 Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
PCT/JP2011/063751 WO2012002152A1 (en) 2010-06-29 2011-06-09 Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
KR1020137001762A KR101461068B1 (ko) 2010-06-29 2011-06-09 삼차원 계측장치, 삼차원 계측방법 및 기억매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010148026A JP5576726B2 (ja) 2010-06-29 2010-06-29 三次元計測装置、三次元計測方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014137063A Division JP5968370B2 (ja) 2014-07-02 2014-07-02 三次元計測装置、三次元計測方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2012013453A JP2012013453A (ja) 2012-01-19
JP5576726B2 true JP5576726B2 (ja) 2014-08-20

Family

ID=44627684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010148026A Expired - Fee Related JP5576726B2 (ja) 2010-06-29 2010-06-29 三次元計測装置、三次元計測方法、及びプログラム

Country Status (5)

Country Link
US (1) US8970853B2 (ja)
EP (2) EP2588836B1 (ja)
JP (1) JP5576726B2 (ja)
KR (1) KR101461068B1 (ja)
WO (1) WO2012002152A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033109A1 (en) 2010-09-08 2012-03-15 Canon Kabushiki Kaisha Method and apparatus for 3d-measurement by detecting a predetermined pattern
JP2013124884A (ja) 2011-12-13 2013-06-24 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6112769B2 (ja) * 2012-03-05 2017-04-12 キヤノン株式会社 情報処理装置、情報処理方法
JP6238521B2 (ja) 2012-12-19 2017-11-29 キヤノン株式会社 3次元計測装置およびその制御方法
JP6420530B2 (ja) 2013-06-26 2018-11-07 キヤノン株式会社 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体
JP6144976B2 (ja) * 2013-06-26 2017-06-07 キヤノン株式会社 情報処理装置、組み付け装置、情報処理方法、及びプログラム
US9759553B2 (en) * 2013-07-09 2017-09-12 Auburn University Determining geometric characteristics of reflective surfaces
CN104751436B (zh) * 2013-12-27 2017-12-26 联想(北京)有限公司 一种信息处理的方法及一种电子设备
US9799117B2 (en) 2013-09-30 2017-10-24 Lenovo (Beijing) Co., Ltd. Method for processing data and apparatus thereof
JP6254849B2 (ja) 2014-01-17 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
US10068344B2 (en) 2014-03-05 2018-09-04 Smart Picture Technologies Inc. Method and system for 3D capture based on structure from motion with simplified pose detection
JP6434788B2 (ja) * 2014-03-06 2018-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 計測システム、計測方法およびビジョンチップ
JP6335011B2 (ja) * 2014-04-25 2018-05-30 キヤノン株式会社 計測装置およびその方法
JP6256249B2 (ja) * 2014-08-08 2018-01-10 オムロン株式会社 計測装置、基板検査装置、及びその制御方法
US20160134860A1 (en) * 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
CN104634277B (zh) * 2015-02-12 2018-05-15 上海图漾信息科技有限公司 拍摄设备和方法、三维测量系统、深度计算方法和设备
US10032279B2 (en) * 2015-02-23 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP6548422B2 (ja) * 2015-03-27 2019-07-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
DE102015121673B4 (de) * 2015-12-11 2019-01-10 SmartRay GmbH Formermittlungsverfahren
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US11061234B1 (en) * 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
WO2020231872A1 (en) 2019-05-10 2020-11-19 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
US11340456B1 (en) 2019-05-22 2022-05-24 Facebook Technologies, Llc Addressable crossed line projector for depth camera assembly
JP2021124323A (ja) * 2020-02-03 2021-08-30 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
JP7378310B2 (ja) * 2020-02-10 2023-11-13 三菱電機株式会社 形状測定システム、形状測定方法およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4202612A (en) * 1976-12-28 1980-05-13 Solid Photography Inc. Arrangement for sensing the geometric characteristics of an object
US4259589A (en) * 1979-07-20 1981-03-31 Solid Photography, Inc. Generation of contiguous data files of three-dimensional information
US4634279A (en) * 1984-02-06 1987-01-06 Robotic Vision Systems, Inc. Method of three-dimensional measurement with few projected patterns
US4653104A (en) * 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US4846577A (en) * 1987-04-30 1989-07-11 Lbp Partnership Optical means for making measurements of surface contours
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
JP2002164066A (ja) * 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP3996560B2 (ja) * 2003-08-18 2007-10-24 株式会社リコー 物体形状測定装置
EP1882895A4 (en) * 2005-05-12 2012-06-27 Techno Dream 21 Co Ltd MEASURING METHOD FOR THREE-DIMENSIONAL SHAPING AND EQUIPMENT THEREFOR
JP2008145139A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp 形状計測装置
JP4931728B2 (ja) * 2007-08-08 2012-05-16 シーケーディ株式会社 三次元計測装置及び基板検査機
JP5016520B2 (ja) * 2008-02-26 2012-09-05 パナソニック株式会社 3次元形状計測方法および装置
JP2010148026A (ja) 2008-12-22 2010-07-01 Ricoh Co Ltd 画像処理方法、画像処理装置、プログラムおよび記録媒体
US9046355B2 (en) * 2009-07-29 2015-06-02 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and program
JP5864950B2 (ja) 2011-08-15 2016-02-17 キヤノン株式会社 三次元計測装置、三次元計測方法およびプログラム

Also Published As

Publication number Publication date
KR101461068B1 (ko) 2014-11-13
US20130076896A1 (en) 2013-03-28
WO2012002152A1 (en) 2012-01-05
US8970853B2 (en) 2015-03-03
JP2012013453A (ja) 2012-01-19
EP2889575A1 (en) 2015-07-01
EP2588836A1 (en) 2013-05-08
EP2588836B1 (en) 2015-03-18
EP2889575B1 (en) 2019-08-07
KR20130032368A (ko) 2013-04-01

Similar Documents

Publication Publication Date Title
JP5576726B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP5907596B2 (ja) 三次元計測装置、三次元計測方法及びプログラム
JP5631094B2 (ja) 計測装置および計測方法
CN103069250B (zh) 三维测量设备、三维测量方法
JP4830871B2 (ja) 3次元形状計測装置及び3次元形状計測方法
JP5123522B2 (ja) 3次元計測方法及びそれを用いた3次元形状計測装置
JP6238521B2 (ja) 3次元計測装置およびその制御方法
JP5032943B2 (ja) 3次元形状計測装置及び3次元形状計測方法
US9074879B2 (en) Information processing apparatus and information processing method
CN104838228A (zh) 三维扫描仪及操作方法
JP6170281B2 (ja) 三次元計測装置、三次元計測装置の制御方法、およびプログラム
JP6161276B2 (ja) 測定装置、測定方法、及びプログラム
JP2015021862A (ja) 3次元計測装置及び3次元計測方法
JP2015184056A (ja) 計測装置、方法及びプログラム
JP6351201B2 (ja) 距離計測装置および方法
US8970674B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and storage medium
JP2008145139A (ja) 形状計測装置
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP2012068176A (ja) 三次元形状計測装置
JP5743433B2 (ja) 三次元形状計測装置
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
JP2020046229A (ja) 三次元形状測定装置及び三次元形状測定方法
JP6552230B2 (ja) 計測装置
JP2009216650A (ja) 三次元形状測定装置
JP2008170282A (ja) 形状測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140704

R151 Written notification of patent or utility model registration

Ref document number: 5576726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees