Nothing Special   »   [go: up one dir, main page]

JP2021076531A - 3次元計測装置及び3次元計測方法 - Google Patents

3次元計測装置及び3次元計測方法 Download PDF

Info

Publication number
JP2021076531A
JP2021076531A JP2019204927A JP2019204927A JP2021076531A JP 2021076531 A JP2021076531 A JP 2021076531A JP 2019204927 A JP2019204927 A JP 2019204927A JP 2019204927 A JP2019204927 A JP 2019204927A JP 2021076531 A JP2021076531 A JP 2021076531A
Authority
JP
Japan
Prior art keywords
pattern
image data
dimensional
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019204927A
Other languages
English (en)
Inventor
大輔 千賀
Daisuke Chiga
大輔 千賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP2019204927A priority Critical patent/JP2021076531A/ja
Priority to CN202011259614.3A priority patent/CN112857259A/zh
Priority to KR1020200151162A priority patent/KR20210057698A/ko
Publication of JP2021076531A publication Critical patent/JP2021076531A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】物体の3次元形状の情報を得るまでの時間を短縮すること。
【解決手段】3次元計測装置は、物体に対してパターン光を照射する投影装置と、パターン光が照射された物体の全領域を撮像するように配置され、それぞれが物体の部分的な領域を撮像する複数の撮像装置と、複数の撮像装置のそれぞれから物体の部分的な領域の画像データを取得するとともに、複数の画像データに対応する物体の部分的な領域の3次元形状を算出し、算出された複数の物体の部分的な領域の3次元形状を合成して物体の全体的な形状を特定する制御装置と、を備える。
【選択図】図1

Description

本開示は、3次元計測装置及び3次元計測方法に関する。
特許文献1に開示されているように、複数の方向から物体にパターン光を照射して、物体の3次元形状を計測する技術が知られている。
特開2003−202296号公報
物体は、撮像装置で撮像される。撮像装置は、パターン光を照射する照射装置とともにヘッドに配置され、物体上を走査しながら物体を撮像する。そのため、撮像装置が物体の全体を撮像するまでに時間が掛かってしまう可能性がある。
本開示は、物体の3次元形状の情報を得るまでの時間を短縮することを目的とする。
本開示に従えば、物体に対してパターン光を照射する投影装置と、前記パターン光が照射された前記物体の全領域を撮像するように配置され、それぞれが前記物体の部分的な領域を撮像する複数の撮像装置と、複数の前記撮像装置のそれぞれから前記物体の部分的な領域の画像データを取得するとともに、複数の前記画像データに対応する前記物体の部分的な領域の3次元形状を算出し、算出された複数の前記物体の部分的な領域の3次元形状を合成して前記物体の全体的な3次元形状を特定する制御装置と、を備える、3次元計測装置が提供される。
本開示によれば、物体の3次元形状の情報を得るまでの時間を短縮することを目的とする。
図1は、第1実施形態に係る3次元計測装置の一例を示す模式図である。 図2は、照射装置の構成の一例を示す図である。 図3は、撮像装置の構成の一例を示す図である。 図4は、第1実施形態に係る3次元計測装置の撮像装置の配置の一例を示す模式図である。 図5は、第1実施形態に係る3次元計測装置の撮像装置の撮像範囲の一例を示す図である。 図6は、第1実施形態に係る3次元計測装置の制御装置の構成の一例を示す機能ブロック図である。 図7は、第1実施形態に係る3次元計測方法の一例を示すフローチャートである。 図8は、第1実施形態に係る縞パターンの一例を示す図である。 図9は、第1実施形態に係るパターンが投影された物体の画像データの一例を示す図である。 図10は、第1実施形態に係る画像データの画素の輝度の一例を示す図である。 図11は、第1実施形態に係る相対位相値及び絶対位相値の一例を模式的に示す図である。 図12は、第1実施形態に係るグレイコードパターンの一例を示す図である。 図13は、第1実施形態に係るグレイコードパターンが投影された物体の画像データの一例を示す図である。 図14は、第1実施形態に係る第1画像データの輝度変化と、第2画像データの輝度変化と、複数のグレイコードパターンを合成することにより生成される縞次数コードと、縞次数との関係を示す図である。 図15は、第2実施形態に係る3次元計測装置の一例を示す図である。 図16は、第2実施形態に係る3次元計測装置の撮像装置の撮像範囲の一例を示す図である。 図17は、第2実施形態に係る3次元計測装置の制御装置の構成の一例を示す機能ブロック図である。 図18は、第2実施形態に係る3次元計測方法の一例を示すフローチャートである。 図19は、各実施形態に係るコンピュータシステムを示すブロック図である。
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
以下の説明においては、XYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。所定面のX軸と平行な方向をX軸方向とし、X軸と直交する所定面のY軸と平行な方向をY軸方向とし、所定面と直交するZ軸と平行な方向をZ軸方向とする。また、X軸を中心とする回転又は傾斜方向をθX方向とし、Y軸を中心とする回転又は傾斜方向をθY方向とし、Z軸を中心とする回転又は傾斜方向をθZ方向とする。XY平面は所定面である。
[第1実施形態]
<3次元計測装置>
図1を用いて、第1実施形態について説明する。図1は、第1実施形態に係る3次元計測装置の一例を示す模式図である。
図1に示すように、第1実施形態に係る3次元計測装置1は、検査対象物である物体Sに対してパターン光PLを照射する複数の投影装置3と、パターン光PLが照射された物体Sを撮像し、撮像範囲Aにおける物体Sの部分的な画像データを取得する複数の撮像装置4と、撮像装置4により取得された物体Sの画像データに基づいて物体Sの3次元形状を算出する制御装置5とを備える。複数の撮像装置4は、物体Sの+Z方向側において、支持部材2により支持されている。第1実施形態において、物体Sは、例えば、電子部品E1、電子部品E2、および電子部品E3などが搭載された実装基板である。この場合、3次元計測装置1は、電子部品E1〜E3などが搭載された実装基板の表面の3次元形状を計測する。なお、本実施形態において、物体Sは、実装基板に限定されない。
図2と、図3とを用いて、投影装置3および撮像装置4の構成について説明する。図2は、投影装置3の構成の一例を示す模式図である。図3は、撮像装置4の構成の一例を示す模式図である。
投影装置3は、光を発生する光源31と、光源31から射出された光を光変調してパターン光PLを生成する光変調素子32と、光変調素子32で生成されたパターン光PLを物体Sに投影する投影光学系33とを有する。
光変調素子32は、デジタルミラーデバイス(Digital Mirror Device:DMD)を含む。なお、光変調素子32は、透過型の液晶パネルを含んでもよいし、反射型の液晶パネルを含んでもよい。光変調素子32は、制御装置5から出力されるパターンデータに基づいてパターン光PLを生成する。投影装置3は、パターンデータに基づいてパターン化されたパターン光PLを物体Sに照射する。
撮像装置4は、物体Sで反射したパターン光PLを結像する結像光学系41と、結像光学系41を介して物体Sの画像データを取得する撮像素子42とを有する。撮像素子42は、CMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)又はCCDイメージセンサ(Charge Coupled Device Image Sensor)を含む固体撮像素子である。撮像素子42は、入射面41Sを介して入射した外部からの光を受光する。
撮像装置4は、比較的安価なカメラおよびレンズで構成することができる。撮像装置4として、例えば、スマートフォンに搭載されるような汎用的なカメラを用いてよい。撮像装置4のレンズとして、汎用的な非テレセントリックなレンズを用いてよい。
図4を用いて、3次元計測装置1の投影装置3および撮像装置4の配置について説明する。図4は、3次元計測装置1の投影装置3および撮像装置4の配置の一例を示す模式図である。
投影装置3の位置は、固定される。投影装置3は、物体Sの+Z方向側に配置される。投影装置3は、物体Sの表面の全領域にパターン光PLを照射できる位置に配置される。投影装置3は、例えば、矩形の物体Sの4辺のそれぞれに対向する位置に1台ずつの計4台が配置される。投影装置3は、物体Sの表面の全領域にパターン光PLを配置できるのであれば、配置する場所や、配置する数に特に制限はない。例えば、投影装置3は、物体Sと対向する位置に配置されてもよい。投影装置3は、物体Sの表面の全領域にパターン光PLを配置できるのであれば、1台であってもよい。
複数の撮像装置4のそれぞれの位置は、固定される。複数の撮像装置4は、物体Sの+Z方向側に配置される。複数の撮像装置4は、XY平面上に2次元的に配置される。撮像装置4は、例えば、XY平面上でマトリックス状に配置される。この場合、撮像装置4は、例えば、X方向にN台配置され、Y方向にM台配置される。NとMは、数〜数十の整数であるが、これに限定されない。NとMは同じでもよいし、異なっていてもよい。複数の撮像装置4の結像光学系41の入射面41Sは、物体Sと対向する。複数の撮像装置4の結像光学系41の入射面41Sは、物体Sに対して傾いていてもよい。複数の撮像装置4の結像光学系41の入射面41Sの物体Sに対する角度は、それぞれ、同じでもよいし、異なっていてもよい。各撮像装置4の結像光学系41の入射面41Sと、物体Sの表面との間の距離は、それぞれ同じであってもよいし、異なっていてもよい。なお、複数の撮像装置4の配置方法はこれらに限定されず、物体Sの表面の全領域を撮影できるように物体Sの+Z方向側に配置されていればよい。
複数の撮像装置4は、それぞれ、例えば物体Sがベルトコンベアなどで運ばれ、各撮像装置4の−Z方向側に位置した物体Sを撮像する。複数の撮像装置4は、それぞれ、例えば作業者によって各撮像装置4の−Z方向側に配置された物体Sを撮像する。
図5を用いて、物体Sにおける撮像装置4の撮像範囲について説明する。図5は撮像装置の撮像範囲を説明するための図である。
図5では、撮像装置4は、物体Sに対向してマトリックス状にN×M台配置されている場合の、各撮像装置4の撮像範囲を示している。撮像範囲A11は1行1列目の撮像装置4の撮像範囲であり、撮像範囲ANMはN行M列目の撮像装置4の撮像範囲である。図5に示すように、3次元計測装置1は、複数の撮像装置4を用いることで、物体Sの表面を隙間なく撮像する。隣接する撮像装置4間の撮像範囲は、一部が重複してもよい。例えば、撮像範囲A11は、撮像範囲A12と、撮像範囲A21と、撮像範囲A22と、一部が重複してもよい。
制御装置5は、コンピュータシステムを含み、投影装置3及び撮像装置4を制御する。制御装置5は、CPU(Central Processing Unit)のようなプロセッサを含む演算処理装置と、ROM(Read Only Memory)又はRAM(Random Access Memory)のようなメモリ及びストレージを含む記憶装置とを有する。演算処理装置は、記憶装置に記憶されているコンピュータプログラムに従って演算処理を実施する。また、制御装置5は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
3次元計測装置1は、パターン投影法に基づいて、物体Sの3次元形状を計測する。投影装置3は、パターン光PLとして、例えば、正弦波状の明度分布の縞パターン光を位相シフトさせながら物体Sに照射する。投影装置3は、パターン光PLをダイレクトに物体Sに照射する。また、投影装置3は、空間コード法に基づいて、空間コードパターンの一種であるグレイコードパターンを物体Sに投影してもよい。
撮像装置4は、パターン光PLが照射された物体Sの画像データを取得する。具体的には、撮像装置4は、自身の撮像範囲に対応する範囲の物体Sの部分的な画像データを取得する。
<制御装置>
図6を用いて、第1実施形態に係る制御装置5の構成の一例について説明する。図6は、第1実施形態に係る制御装置5の構成の一例を示す機能ブロック図である。
図6に示すように、制御装置5は、入出力部51と、パターン生成部52と、画像データ取得部53と、相対位相値算出部54と、縞次数算出部55と、絶対位相値算出部56と、3次元形状算出部57と、3次元形状特定部58とを備える。本実施形態において、制御装置5は、複数の撮像装置4のそれぞれから物体Sの部分的な領域の画像データを取得する。制御装置5は、複数の画像データに対応する物体Sの部分的な領域の3次元形状を算出する。制御装置5は、算出された複数の物体Sの部分的な領域の3次元形状を合成して物体Sの全体的な形状を特定する。
パターン生成部52は、パターンデータを生成する。パターン生成部52で生成されたパターンデータは、入出力部51を介して光変調素子32に出力される。光変調素子32は、パターン生成部52で生成されたパターンデータに基づいて、パターン光を生成する。本実施形態において、パターン生成部52は、パターンデータとして、縞パターンデータを生成する。パターン生成部52は、パターンデータとして、グレイコードパターンデータを生成してもよい。光変調素子32は、パターン生成部52で生成された縞パターンデータに基づいて、縞パターン光を生成する。光変調素子32は、パターン生成部52で生成されたグレイコードパターンデータに基づいて、グレイコードパターン光を生成する。
画像データ取得部53は、入出力部51を介して、各撮像装置4の撮像素子42から画像データを取得する。画像データ取得部53は、パターン光が照射された物体Sの画像データを取得する。具体的には、画像データ取得部53は、各撮像装置4の撮像素子42からそれぞれの撮像範囲に対応する物体Sの部分的な画像データを複数取得する。
相対位相値算出部54は、複数の画像データMの輝度に基づいて、画像データMの複数の画素pそれぞれの相対位相値θpを算出する。相対位相値算出部54は、位相シフトされた縞パターンPBのそれぞれが投影された物体Sの画像を示す複数の画像データMの同一の点の輝度に基づいて、その点に対応する画像データMの画素pの相対位相値θpを算出する。相対位相値算出部54は、画像データMの複数の点それぞれの輝度に基づいて、画像データMの複数の画素pそれぞれの相対位相値θpを算出する。相対位相値算出部54は、各撮像装置4の撮像素子42から取得された画像データについて、相対位相値を算出する。
縞次数算出部55は、複数の画像データMに基づいて、画像データMの複数の画素pそれぞれの縞パターンPBの縞次数nを算出する。縞次数nとは、物体Sに1度に投影される縞パターンPBの複数の縞のうち、特定の縞を基準として付される複数の縞それぞれの番号である。換言すれば、縞次数nとは、物体Sに1度に投影される縞パターンPBの複数の縞のうち、基準の縞から数えてn番目の縞であることを示す値である。縞次数算出部55は、各撮像装置4の撮像素子42から取得された画像データについて、縞次数を算出する。
絶対位相値算出部56は、相対位相値θと縞次数nとに基づいて、画像データMの複数の画素pそれぞれの絶対位相値θaを算出する。絶対位相値算出部56は、各撮像装置4の撮像素子42から取得された画像データについて、絶対位相値を算出する。
3次元形状算出部57は、画像データMの複数の画素pそれぞれの絶対位相値θaに基づいて、画像データMの複数の画素pそれぞれに対応する物体Sの複数の点それぞれの高さデータを算出して、物体Sの部分的な3次元形状を算出する。3次元形状算出部57は、各撮像装置4の撮像素子42から取得された画像データについて、物体Sの部分的な3次元形状を算出する。
3次元形状特定部58は、物体Sの部分的な3次元形状に基づいて、物体Sの全体的な3次元形状を特定する。3次元形状特定部58は、物体Sの部分的な3次元形状の算出結果を合成することで、物体Sの全体的な3次元形状を算出する。
<3次元計測方法>
次に、図7を用いて、第1実施形態に係る3次元計測方法について説明する。図7は、第1実施形態に係る3次元計測方法の一例を示すフローチャートである。
パターン生成部52は、縞パターンデータを生成する。縞パターンデータは、投影装置3の光変調素子32に出力される。投影装置3は、パターン光を位相シフトさせながら物体Sに照射する(ステップS10)。撮像装置4は、パターン光が照射された物体Sの部分的な画像データを複数取得する(ステップS11)。
図8は、第1実施形態に係る縞パターンPBの一例を示す図である。図8に示すように、縞パターンPBは、位相シフト量が0[°]である縞パターンPB1と、位相シフト量が90[°]である縞パターンPB2と、位相シフト量が180[°]である縞パターンPB3と、位相シフト量が270[°]である縞パターンPB4とを含む。投影装置3は、縞パターンPB1、縞パターンPB2、縞パターンPB2、及び縞パターンPB4のそれぞれを物体Sに順次投影する。
図9は、本実施形態に係る縞パターンPBが投影された物体Sの部分的な画像データMの一例を示す図である。図9に示すように、画像データMは、縞パターンPB1が投影された物体Sの画像データM1、縞パターンPB2が投影された物体Sの画像データM2、縞パターンPB3が投影された物体Sの画像データM3、及び縞パターンPB4が投影された物体Sの画像データM4を含む。画像データ取得部53は、複数の画像データM(M1,M2,M3,M4)を取得する。
図10は、本実施形態に係る画像データM1の画素p(x,y)の輝度a、画像データM2の画素p(x,y)の輝度a、画像データM3の画素p(x,y)の輝度a、及び画像データM4の画素p(x,y)の輝度aの一例を示す図である。4つの画像データM(M1,M2,M3,M4)において、画素p(x,y)は、物体Sの同一の点からの光が入射した画素である。図10に示すように、相対的な輝度は、縞パターンPBの位相シフト量だけ変化する。
相対位相値算出部54は、複数の画像データM(M1,M2,M3,M4)の輝度に基づいて、画像データMの複数の画素pそれぞれの相対位相値θpを算出する(ステップS12)。
縞パターンPBが投影された物体Sの複数の点それぞれの相対位相値θpと、画像データMの複数の画素pそれぞれの相対位相値θpとは、1対1で対応する。相対位相値算出部54は、画像データMの複数の画素pそれぞれの相対位相値θpを算出して、縞パターンPBが投影された物体Sの複数の点それぞれの相対位相値θpを算出する。
相対位相値算出部54は、(1)式に基づいて、画素p(x,y)の相対位相値θp(x,y)を算出する。
Figure 2021076531
相対位相値算出部54は、全ての画素pについて相対位相値θpを算出する。全ての画素pについての相対位相値θpが算出されることにより、縞パターンPBが投影された物体Sの全ての点についての相対位相値θpが算出される。
図11は、本実施形態に係る相対位相値θp及び絶対位相値θaの一例を模式的に示す図である。図11に示すように、相対位相値θpは、縞パターンPBの1位相毎に算出される。(1)式は逆正接関数であるため、図11に示すように、各画素pの相対位相値θpは、縞パターンPBの1位相毎の値(−π〜πの間の値)となる。
相対位相値θpから物体Sの3次元形状を算出するために、物体Sの各点における絶対位相値θaを算出する位相接続が実施される。本実施形態においては、位相接続のために、物体Sにグレイコードパターンを投影する空間コード化法が使用される。本実施形態においては、空間コード化法に基づいて縞パターンPBの縞次数nが算出される。図11に示すように、相対位相値θpと縞次数nとに基づいて、絶対位相値θa(=θp+2nπ)が算出される。
図12は、本実施形態に係るグレイコードパターンPRの一例を示す図である。グレイコードパターンPRは、明暗のコードが所定の周期で反転するパターンである。図12に示すように、グレイコードパターンPRは、縞パターンPBの周期よりも短い周期でコードが変化するグレイコードパターンPR1と、グレイコードパターンPR1の周期とは異なる周期でコードが変化するグレイコードパターンPR2と、グレイコードパターンPR1,PR2の周期とは異なる周期でコードが変化するグレイコードパターンPR3と、グレイコードパターンPR1,PR2,PR3の周期とは異なる周期でコードが変化するグレイコードパターンPR4とを含む。投影装置3は、グレイコードパターンPR1、グレイコードパターンPR2、グレイコードパターンPR3、及びグレイコードパターンPR4のそれぞれを物体Sに順次投影する。
図13は、本実施形態に係るグレイコードパターンPRが投影された物体Sの画像データNの一例を示す図である。画像データNは、グレイコードパターンPR1が投影された物体Sの画像データN1と、グレイコードパターンPR2が投影された物体Sの画像データN2と、グレイコードパターンPR3が投影された物体Sの画像データN3と、グレイコードパターンPR4が投影された物体Sの画像データN4とを含む。画像データ取得部53は、複数の画像データN(N1,N2,N3,N4)を取得する。
縞次数算出部55は、複数の画像データNに基づいて、画像データMの複数の画素pそれぞれの縞パターンの縞次数nを算出する(ステップS13)。
縞次数算出部55は、空間コーディングの手法を用いて画像データMにおける縞パターンPBの縞次数nを算出する。
図14は、本実施形態に係る縞パターンPBを投影して撮像された画像データMの輝度変化と、グレイコードパターンPRを投影して撮像された画像データNの輝度変化と、複数のグレイコードパターンPRを合成することにより生成されるグレイコードGC(縞次数コード)と、縞次数nとの関係を示す図である。
縞次数算出部55は、画像データMの複数の画素のそれぞれについて、複数のグレイコードパターンPRの合成値であるグレイコードGCを生成する。グレイコードGCは、同一の縞次数コードによって構成されるコードである。グレイコードGCは、所定の周期で生成される。本実施形態において、グレイコードGCの周期は、縞パターンPBの周期よりも短い。
縞次数コードは、複数のグレイコードパターンPRが物体Sに投影されたときの明暗コードの組み合わせに基づいて規定される。グレイコードパターンPRは、明暗コードが交互に反転するパターンを含む。本実施形態においては、4つのグレイコードパターンPR(PR1,PR2,PR3,PR4)が物体Sのある点に投影されたとき、それら4つのグレイコードパターンPRの明コードと暗コードとの組み合わせにより、2進数に基づいて縞次数コードが規定される。図10に示す例では、縞次数コードとして、「0x0000」、「0x0001」、「0x0010」、「0x0011」、「0x0100」、「0x0101」、「0x0110」、「0x0111」が規定される。
本実施形態において、1回目に投影されるグレイコードパターンPRの明暗コードの周期Lrは、縞パターンPBの周期Lbよりも短い。2回目に投影されるグレイコードパターンPRの明暗コードの周期Lrは、1回目に投影されるグレイコードパターンPRの明暗コードの周期Lrの2倍である。3回目に投影されるグレイコードパターンPRの明暗コードの周期Lrは、2回目に投影されるグレイコードパターンPRの明暗コードの周期Lrの2倍である。4回目に投影されるグレイコードパターンPRの明暗コードの周期Lrは、3回目に投影されるグレイコードパターンPRの明暗のコードの周期Lrの2倍である。
1つのグレイコードGCは、1つの縞次数コードによって規定される。すなわち、グレイコードGCと縞次数コードとは、1対1で対応する。本実施形態においては、グレイコードGCの周期は、縞パターンPBの周期よりも短い。本実施形態において、グレイコードGCの周期は、縞パターンPBの周期の3/4である。すなわち、縞パターンPBの3周期分の長さとグレイコードGCの4周期分の長さとが等しい。
縞パターンPBの周期をLb、グレイコードパターンの周期をLr、0.5以上1未満の数をT、0以上の整数をi、としたとき、本実施形態においては、(2)式の条件を満足する。
Figure 2021076531
図14に示す例では、数Tは、3/4である。すなわち、グレイコードパターンPR1の周期Lrは、(3/4)×Lbである。グレイコードパターンPR2の周期Lrは、(6/4)×Lbである。グレイコードパターンPR3の周期Lrは、(12/4)×Lbである。グレイコードパターンPR4の周期Lrは、(24/4)×Lbである。
このように、複数のグレイコードパターンPRの合成値から縞次数コード及び縞次数コードに1対1で対応するグレイコードGCが算出され、縞次数nが算出される。
絶対位相値算出部56は、相対位相値θpと縞次数nとに基づいて、画像データMの複数の画素pそれぞれの絶対位相値θaを算出する(ステップS14)。
3次元形状算出部57は、画像データMの複数の画素pそれぞれの絶対位相値θaに基づいて、物体Sの部分的な3次元形状を算出する(ステップS15)。
3次元形状算出部57は、絶対位相値θaに基づいて、三角測量の原理により、画像データMの各画素pにおける高さデータを算出する。画像データMの各画素pにおける高さデータと物体Sの表面の各点における高さデータとは1対1で対応する。物体Sの表面の各点における高さデータは、3次元空間における各点の座標値を示す。3次元形状算出部57は、各点における高さデータに基づいて、物体Sの3次元形状データを算出する。
制御装置5は、物体Sを撮像する全ての撮像装置から取得した画像データに基づいて、物体Sの部分的な3次元形状を算出したか否かを判定する(ステップS16)。算出したと判定された場合(ステップS16:Yes)、ステップS17に進む。一方、算出したと判定されない場合(ステップS16:No)、ステップS10に進む。
ステップS16でYesと判定された場合、3次元形状特定部58は、3次元形状算出部57によって算出された物体Sの部分的な3次元形状に基づいて、物体Sの全体的な3次元形状を特定する(ステップS17)。3次元形状特定部58は、物体Sの部分的な3次元形状データを物体Sの全領域に渡って合成して、物体Sの全体的な3次元形状データを算出する。
上述のとおり、第1実施形態では、物体Sを撮像する撮像装置4を移動させることなく、物体Sの3次元形状を特定することができる。これにより、3次元計測装置1は、物体Sまたは撮像装置4の走査時間を省略することができるため、物体Sの全体の3次元形状を特定するまでの時間を短縮することができる。
また、第1実施形態では、物体Sを撮像する撮像装置4を移動させる必要がないので、物体Sを撮像する際のブレを少なくすることができる。これにより、3次元計測装置1は、物体Sの全体の3次元形状をより精度よく特定することができる。
また、第1実施形態では、撮像装置4を汎用的なカメラで構成することができる。これにより、3次元計測装置1は、物体Sの全体の3次元形状を低コストで特定することができる。
[第2実施形態]
図15を用いて、第2実施形態について説明する。図15は、第2実施形態に係る3次元計測装置1Aの一例を示す模式図である。
図15に示すように、第2実施形態に係る3次元計測装置1Aは、通常画角の撮像装置4(第1カメラ)に加えて、パターン光PLが照射された物体Sを撮像し、撮像範囲Bにおける物体Sの部分的な画像データを取得する複数の撮像装置4A(第2カメラ)を備える点で、図1に図示の3次元計測装置1と異なっている。撮像装置4Aの撮像範囲Bは、撮像装置4の撮像範囲Aよりも広い。すなわち、撮像装置4Aは、撮像装置4よりも広角な範囲を撮像可能な撮像装置である。
撮像装置4Aは、例えば、X方向にQ台配置され、Y方向にR台配置される。Qは、撮像装置4のX方向における台数であるNよりも小さい。Rは、撮像装置4のY方向における台数であるMよりも小さい。
図16を用いて、物体Sにおける撮像装置4Aの撮像範囲について説明する。図16は、撮像装置4Aの撮像範囲を説明するための図である。
図16では、撮像装置4Aが物体Sに対向してマトリックス状にQ×R台配置されている場合の、各撮像装置4Aの撮像範囲を示している。撮像範囲B11は1行1列目の撮像装置4Aの撮像範囲であり、撮像範囲BQRはQ行R列目の撮像装置4Aの撮像範囲である。図16に示すように、3次元計測装置1Aは、複数の撮像装置4を用いることで、物体Sの表面を隙間なく撮像する。撮像装置4Aの撮像範囲B11〜BQRは、撮像装置4の撮像範囲A11〜ANMよりも広い。そのため、3次元計測装置1Aは、3次元計測装置1よりも少ない撮像回数で物体Sの表面を隙間なく撮像することができる。
図17を用いて、第2実施形態に係る制御装置5Aの構成について説明する。図17は、第2実施形態に係る制御装置5Aの構成の一例を示す機能ブロック図である。
図17に示すように、制御装置5Aは、設定部59を備える点で、図6に図示の制御装置5と異なっている。
設定部59は、物体Sを撮像するための撮像装置を判定する。設定部59は、判定結果に基づいて、物体Sを撮像する撮像装置として、撮像装置4または撮像装置4Aを設定する。
設定部59は、物体Sを撮像する撮像装置として、物体Sそのものに応じて、撮像装置4または撮像装置4Aを設定する。設定部59は、物体Sを撮像する撮像装置として、ユーザからの指示に基づいて、撮像装置4または撮像装置4Aを設定する。設定部59は、物体Sの形状をより精度よく算出する場合には、物体Sを撮像する撮像装置を撮像装置4に設定する。設定部59は、物体Sの形状をより短時間で算出する場合には、物体Sを撮像する撮像装置を撮像装置4Aに設定する。
図18を用いて、第2実施形態に係る3次元計測方法について説明する。図18は、第2実施形態に係る3次元計測方法の一例を示すフローチャートである。
まず、制御装置5Aは、物体Sを撮像する撮像装置を広角へ切り替えるか否かを判定する(ステップS20)。広角に切り替えると判定された場合(ステップS20:Yes)、ステップS21に進む。一方、広角に切り替えると判定されなかった場合(ステップS20:No)、ステップS22に進む。
ステップS20でYesと判定された場合、設定部59は、物体Sを撮像する撮像する撮像装置として広角の撮像装置4Aを設定する(ステップS21)。そして、ステップS23に進む。一方、ステップS20でNoと判定された場合、設定部59は、物体Sを撮像する撮像装置として通常画角の撮像装置4を設定する(ステップS22)。そして、ステップS23に進む。
ステップS23〜ステップS30の処理は、図7に図示のステップS10〜ステップS17の処理と同一なので、説明を省略する。
上述のとおり、第2実施形態では、3次元形状の検査対象である物体Sに応じて、通常の撮像装置から広角の撮像装置に切り替えることができる。これにより、第2実施形態では、物体Sのおおよその形状を把握したい場合には、撮像装置4Aを用いることで、より短時間で、物体Sのおおよその形状を算出することができる。
[コンピュータシステム]
図19は、各実施形態に係るコンピュータシステム1000を示すブロック図である。上述の制御装置5,5Aは、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。制御装置5,5Aの機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
プログラムは、上述の実施形態に従って、コンピュータシステム1000に、物体Sに対してパターン光を照射することと、パターン光が照射された物体Sの全領域を撮像するように、物体Sの複数の部分的な領域を撮像することと、物体Sの複数の部分的な領域の画像データを取得するとともに、複数の画像データに対応する物体Sの部分的な領域の3次元形状を算出し、算出された物体Sの複数の部分的な領域の3次元形状を合成して物体Sの全体的な3次元形状を特定することと、を実行させることができる。
1,1A…3次元計測装置、2…支持部材、3…投影装置、31…光源、32…光変調素子、33…投影光学系、4,4A…撮像装置、41…結像光学系、42…撮像素子、5,5A…制御装置、51…入出力部、52…パターン生成部、53…画像データ取得部、54…相対位相値算出部、55…縞次数算出部、56…絶対位相値算出部、57…3次元形状算出部、58…3次元形状特定部、59…設定部

Claims (6)

  1. 物体に対してパターン光を照射する投影装置と、
    前記パターン光が照射された前記物体の全領域を撮像するように配置され、それぞれが前記物体の部分的な領域を撮像する複数の撮像装置と、
    複数の前記撮像装置のそれぞれから前記物体の部分的な領域の画像データを取得するとともに、複数の前記画像データに対応する前記物体の部分的な領域の3次元形状を算出し、算出された複数の前記物体の部分的な領域の3次元形状を合成して前記物体の全体的な3次元形状を特定する制御装置と、
    を備える、3次元計測装置。
  2. 複数の前記撮像装置は、前記物体に対向して2次元に配置されている、
    請求項1に記載の3次元計測装置。
  3. 複数の前記撮像装置は、マトリックス状に配置されている、
    請求項2に記載の3次元計測装置。
  4. 前記投影装置は、正弦波状の明度分布の縞パターン光を位相シフトさせながら前記物体に照射する、
    請求項1〜3のいずれか1項に記載の3次元計測装置。
  5. 複数の撮像装置は、通常画角で前記物体を撮像する第1カメラと、通常画角に対して広角で前記物体を撮像する第2カメラとを含み、
    前記制御装置は、前記物体に応じて前記物体を撮像するために前記第1カメラと前記第2カメラとを設定する、
    請求項1〜4のいずれか1項に記載の3次元計測装置。
  6. 物体に対してパターン光を照射することと、
    前記パターン光が照射された前記物体の全領域を撮像するように、前記物体の複数の部分的な領域を撮像することと、
    前記物体の複数の部分的な領域の画像データを取得するとともに、複数の前記画像データに対応する前記物体の部分的な領域の3次元形状を算出し、算出された前記物体の複数の部分的な領域の3次元形状を合成して前記物体の全体的な3次元形状を特定することと、
    を含む、3次元計測方法。
JP2019204927A 2019-11-12 2019-11-12 3次元計測装置及び3次元計測方法 Pending JP2021076531A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019204927A JP2021076531A (ja) 2019-11-12 2019-11-12 3次元計測装置及び3次元計測方法
CN202011259614.3A CN112857259A (zh) 2019-11-12 2020-11-12 3维测量装置及3维测量方法
KR1020200151162A KR20210057698A (ko) 2019-11-12 2020-11-12 3차원 계측 장치 및 3차원 계측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019204927A JP2021076531A (ja) 2019-11-12 2019-11-12 3次元計測装置及び3次元計測方法

Publications (1)

Publication Number Publication Date
JP2021076531A true JP2021076531A (ja) 2021-05-20

Family

ID=75898459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019204927A Pending JP2021076531A (ja) 2019-11-12 2019-11-12 3次元計測装置及び3次元計測方法

Country Status (3)

Country Link
JP (1) JP2021076531A (ja)
KR (1) KR20210057698A (ja)
CN (1) CN112857259A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008014940A (ja) * 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
JP2009042015A (ja) * 2007-08-08 2009-02-26 Ckd Corp 三次元計測装置及び基板検査機
JP2011179982A (ja) * 2010-03-01 2011-09-15 Fukuoka Institute Of Technology 表面検査装置、表面検査方法および表面検査プログラム
JP2014206547A (ja) * 2008-01-16 2014-10-30 オルボテック リミテッド 複数のカメラを使用した基板検査

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202296A (ja) 2002-01-07 2003-07-18 Canon Inc 画像入力装置、三次元測定装置および三次元画像処理システム
DE202010018585U1 (de) * 2009-05-27 2017-11-28 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form
JP5818341B2 (ja) * 2010-12-13 2015-11-18 国立大学法人 和歌山大学 形状計測装置および形状計測方法
JP5709009B2 (ja) * 2011-11-17 2015-04-30 Ckd株式会社 三次元計測装置
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
JP6357949B2 (ja) * 2014-07-29 2018-07-18 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法
KR101659302B1 (ko) * 2015-04-10 2016-09-23 주식회사 고영테크놀러지 3차원 형상 측정장치
JP6823985B2 (ja) * 2016-09-28 2021-02-03 Juki株式会社 3次元形状計測方法及び3次元形状計測装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008014940A (ja) * 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
JP2009042015A (ja) * 2007-08-08 2009-02-26 Ckd Corp 三次元計測装置及び基板検査機
JP2014206547A (ja) * 2008-01-16 2014-10-30 オルボテック リミテッド 複数のカメラを使用した基板検査
JP2011179982A (ja) * 2010-03-01 2011-09-15 Fukuoka Institute Of Technology 表面検査装置、表面検査方法および表面検査プログラム

Also Published As

Publication number Publication date
KR20210057698A (ko) 2021-05-21
CN112857259A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
US9628779B2 (en) Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface
AU2011269189B2 (en) Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface
JP6823985B2 (ja) 3次元形状計測方法及び3次元形状計測装置
JP5485889B2 (ja) 位相解析測定を行う装置および方法
KR20180003528A (ko) 3차원 측정 시스템의 갱신 보정 방법
US6509559B1 (en) Binary optical grating and method for generating a moire pattern for 3D imaging
JP2006514739A5 (ja)
KR101281454B1 (ko) 측정장치 및 이의 보정방법
JP2006514739A (ja) 歯科用レーザデジタイザシステム
CN104937367A (zh) 用于电路板的三维成像的多照相机传感器
KR101562467B1 (ko) 스마트 폰을 이용한 3차원 형상 측정 장치
JP2008190962A (ja) 3次元計測装置
CN110612428A (zh) 使用特征量的三维测量方法及其装置
JP5956296B2 (ja) 形状計測装置及び形状計測方法
KR100982051B1 (ko) Dmd를 이용한 모아레 측정 장치
JP2021076531A (ja) 3次元計測装置及び3次元計測方法
JP2006084286A (ja) 3次元計測方法とその計測装置
JP2015081894A (ja) 表面形状測定装置及び表面形状測定方法
KR20130022415A (ko) 측정장치 및 이의 보정방법
JP2008170282A (ja) 形状測定装置
JP2010210410A (ja) 三次元形状測定装置
JP7509182B2 (ja) パラメーター決定方法、情報処理装置、及びプログラム
JP2005265816A (ja) 非接触形状計測方法及び装置
KR100495900B1 (ko) 전자부품 및 솔더 도포 검사장치
JPH07218226A (ja) 表面形状3次元計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240312