Nothing Special   »   [go: up one dir, main page]

JP4347614B2 - 3次元曲面形状の測定装置及び測定方法 - Google Patents

3次元曲面形状の測定装置及び測定方法 Download PDF

Info

Publication number
JP4347614B2
JP4347614B2 JP2003164646A JP2003164646A JP4347614B2 JP 4347614 B2 JP4347614 B2 JP 4347614B2 JP 2003164646 A JP2003164646 A JP 2003164646A JP 2003164646 A JP2003164646 A JP 2003164646A JP 4347614 B2 JP4347614 B2 JP 4347614B2
Authority
JP
Japan
Prior art keywords
projection
pattern
image
slit
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003164646A
Other languages
English (en)
Other versions
JP2005003409A (ja
Inventor
満昭 上杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Techno Research Corp
Original Assignee
JFE Techno Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Techno Research Corp filed Critical JFE Techno Research Corp
Priority to JP2003164646A priority Critical patent/JP4347614B2/ja
Publication of JP2005003409A publication Critical patent/JP2005003409A/ja
Application granted granted Critical
Publication of JP4347614B2 publication Critical patent/JP4347614B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、3次元曲面の形状を非接触で測定する方法及び装置に関するものである。
【0002】
【従来の技術】
光を用いた非接触3次元形状計測技術は、かつて図7に示す「光切断法」(たとえば「画像処理ハンドブック(昭晃堂)pp.398-399参照」が主流であった。この方法は、図7に示すように、被測定物51に対して、スリット光源52からのスリット光53を照射した時に物体表面に形成される光ビームパタン(光切断線)が、これを照射方向と異なる方向から観察した時、被測定物体51のスリット光照射位置での断面形状に対応するという現象に着目した方式であり、その簡便性、非接触性及び定量性故に従来より広く用いられている方法である。
【0003】
しかしながら、この方式は、測定対象の反射率が一様ではない場合、光切断線の輝度も一様にならないため、光切断線自体を背景から抽出することが必ずしも容易でなかった。例えば、反射率の低い部分における光切断線を検出するためにスリット光を強くすると、反射率の高い部分でハレーションを起こし光切断線の分解能が落ちるという問題があった。
【0004】
そのため、測定精度が、測定対象の反射率ムラや大きな凹凸差の影響を受けやすく、さらには背景光下での測定が難しいなど所謂「ロバスト性」においても難があり、人体形状計測をはじめとする「測定のフレキシビリティ(いつでも,どこでも,何でも測定可能)」を要求される分野では、その適用に限界があった。
【0005】
これに対して、昭和60年代になって、所謂「空間コード化法」として知られる方式群が提案された。「空間コード化法」は、測定対象表面の各点毎に、まず投影される光の投光角度を求め、その角度から三角測量原理に基づいて形状を求める方式である。この方法は、形状再生にあたって、「光切断法」のように「光切断線」を抽出するプロセスが必要ないため、測定の「ロバスト性」の高い方式群である。
【0006】
なお、ここで言う「空間コード化法」は、上記の定義に該当する方法全般を指す広義の意味で用いている。そこで、狭義の意味で「空間コード化法」と称されることがある「2値コードパタン投影法」の他、以下に述べる「イメージエンコード法」も広義の「空間コード化法」として扱う。
【0007】
この方式群のひとつとして、特許文献1に開示される「イメージエンコード法」が考案されている。この方式の概念図を図8に示す。図8に示すように、基準面1上に置かれた被測定対象物2の表面に斜め上方から紙面に垂直方向に拡がったスリット光3aを投光し、このスリット光3aを例えば回転ミラー4を用いて紙面横方向に移動させながら、例えば被測定対象2直上よりテレビカメラ8で撮像する。
【0008】
この時、テレビカメラ8に接続されたモニタテレビ8a上では、物体表面でのスリット光の線状の反射パタンが画面横方向に移動していく様子が観察される。前述のように、スリット光3aの反射パタンの描く曲線の形状は、物体表面の凹凸情報を反映しており、従来の光切断法においては、反射パタンの線形状を時々刻々抽出し、これを再構成することにより、被測定対象の3次元形状を測定していた。
【0009】
この方法においては、スリット光3aの線状の反射パタンが物体表面上を移動していく様子を写すテレビカメラ8から出力されるビデオ信号をもとにして、3次元形状を再構成する。まず、画面内の各画素毎に、その画素に対応する物体表面の位置をスリット光が通過した瞬間のスリット光投光角度をその画素の値とする画像を合成する。
【0010】
この方式の核となる画像処理装置である「イメージエンコーダ」の構成を図9に示す。図9で、画像合成回路13は、テレビカメラ8 より入力されるビデオ信号を処理して各画素毎に、最も明るくなった瞬間の輝度を演算する最大輝度画像演算部18と、各画素が時間的に最大の輝度をとる瞬間のスリット光投光角度θをその画素の値とする画像合成演算を行なう画像合成演算部19とから構成されており、これらの制御用として同期回路20、メモリアドレス発生回路21及び出力制御回路22を備えている。
【0011】
最大輝度演算部18は、最大輝度画像演算のバッファメモリである最大輝度画像メモリ23を中心として同期回路20より出力されるタイミング信号に基づいてビデオ信号をA/D変換しディジタル化するA/D変換回路24、メモリアドレス発生回路21より指定される最大輝度画像メモリのアドレスのデータの読出し、書込みを制御する最大輝度画像メモリ25、更に、テレビカメラから入力される画像と最大輝度メモリの画像の対応する画素の値を比較し、大きい方の値を選択出力する比較回路26及びスイッチ回路27より構成されている。
【0012】
一方、合成画像演算部19は、合成画像演算結果を格納する合成画像メモリ28を中心として構成されており、最大輝度画像演算部18の中の比較回路26の出力信号に基づいて、テレビカメラから入力される信号レベルがそれに対応する最大輝度画像メモリ23のアドレスの画素の値よりも大きかった時にそのスリット光投光角度θを合成画像メモリ28に書込む機能を有する合成画像メモリ制御回路29を備えている。
【0013】
この回路は、演算の開始のタイミングで、最大輝度画像メモリ13及び合成画像メモリ28が零にクリアされた状態からスタートし、テレビカメラから入力されるビデオ信号をA/D変換回路24を用いてディジタル化しながら、ビデオ信号の値と、その画素の位置に対応する最大輝度画像メモリ13の画素の値とを比較してビデオ信号の値のほうが大きい時にのみ最大輝度画像メモリ13のその画素の値をビデオ信号の値で更新すると同時に、合成画像の対応する画素にその時のスリット光投光角度θを書込む機能を有している。
【0014】
このようにして外部からの演算制御信号によって指示されている間、上記の演算が行なわれる結果、演算終了時に、合成画像メモリ28に、先に説明した所定の画像が生成されている。このようにして演算された合成画像は、出力制御回路22を介して、次の演算回路へと転送される。
本考案の結果、測定の精度と信頼性(ロバスト性)とを兼ね備えた形状計測が実現された。
【0015】
また、測定時間の短縮を目的として、特許文献2に開示される「マルチスリット走査」を用いた「イメージエンコード法」が考案された。この方式は、図10に示すように、基準面1上に置かれた被測定対象2の表面に斜め上方から紙面に垂直方向に拡がりかつ同一直線上で交わるような複数のスリット光3aを投光し、このスリット光を例えば回転ミラー4を用いて紙面横方向に移動させながら、例えば被測定対象2の真上よりテレビカメラ8で撮像する。
【0016】
この時、テレビカメラ8に接続されたモニタテレビ8a上では、被測定対象の表面上で、複数のスリット光の反射パタンが移動していく様子が観察される。そして、このテレビカメラ8から出力されるビデオ信号をもとにして、画面内の各画素毎に、その画素に対応する物体表面の位置をスリット光が通過した瞬間について、その時のスリット光走査角度をその画素の値とする画像を合成する。
【0017】
このようにこの従来技術は、スリットを複数本化することによって走査角度の限定を可能とし、測定時間を圧縮するようにしたものである。
【0018】
これに対して、同じ「空間コード化法」として分類される形状計測方式に、特許文献3に開示される「2値コードパタン投影法」が知られている。この方式は図12に示すように、測定対象表面に投光角度と対応付けてコード化された2値ストライプパタンを投影し、これをテレビカメラで撮影した画像を処理しコードを解読することにより、対象表面の各場所での投光角度を求めて、三角測量原理により形状を求める方式である。この方式の特徴を、「マルチスリットイメージエンコード法」と比較して表1に纏める。
【0019】
【表1】
Figure 0004347614
【0020】
これら2つの方式は、いずれも「空間コード化法」に属し、「光切断法」と比較すると、対象表面の反射率のムラや背景光の影響を受けにくいという「ロバスト性」を本質的に有している。また、いずれも高速計測に配慮して構成された方式であり、「高速性」もまた本質的に満足している。
【0021】
【特許文献1】
特公平6-25655号公報
【特許文献2】
特開平7-260443号公報
【特許文献3】
特開昭64-54208号公報
【0022】
【発明が解決しようとする課題】
しかしながら、特許文献1記載の方式は、特許文献2記載の方式に比べ、一般に測定時間が長いという問題がある。そこで、応答性の要求されるFA用途や、長時間の静止に耐えない人体形状計測用途に対しては、より高速の形状計測法が求められていた。
【0023】
特許文献2記載の技術「マルチスリットイメージエンコード法」は、図11に示すように、測定時間を圧縮するようにしたものであるが、その代償として、スリットピッチ単位の「形状の折り返し」の「不確定性」を生じる。そのため、「絶対形状計測」という視点で見ると、逆に制約を生ずることとなった。すなわち、比較的平坦な形状では問題ないものの、段差のあるような形状では、隣接するスリットとの区別がつきにくくなるという可能性があった。
【0024】
特許文献3記載の技術「2値コードパタン投影法」は、測定対象表面上の各点の照明投光角度を「絶対値」としてコード化できることから、「マルチスリットイメージエンコード法」にはない「絶対値計測」という利点を有する。しかし、ストライプ幅が狭くなってくると、テレビカメラで撮影したときに、カメラ分解能以下のピッチのストライプが相互に分離できなくなるという分解能限界があり「測定精度」は期待できない。
【0025】
本発明は、「マルチスリットイメージエンコード法」の有する上記の問題点に鑑みてなされたものであり、この利点である「高精度」「ロバスト性」「高速性」を生かして、かつ対象の「絶対形状」を測定する方法を提供するものである。
【0026】
【課題を解決するための手段】
上記課題は次の発明により解決される。その発明は、任意のパタンが投影可能な同一のプロジェクタを用いて、被測定対象物表面に複数本のスリット光からなり、スリット方向と直交する方向にシフトしつつ複数回投影されるスリットパタンと、各パタンのストライプの明暗の組み合わせが投影された位置への投光角度に対応するコードを示す1本以上のストライプ状の光からなるストライプパタンとをそれぞれ投影するパタン投影手段と、被測定物表面に投影されたスリットパタン及びストライプパタンを投影方向とは異なる方向から撮影する撮像手段と、撮影されたパタン投影画像を画像処理して、複数本のスリットパタンの複数枚の投影画像からの形状演算結果と、コード化されたストライプパタンの複数枚の投影画像からの形状演算結果とを組み合わせて、前記被測定対象物の3次元曲面形状を演算する形状演算手段とを備えたことを特徴とする3次元曲面形状の測定装置である。この発明において、プロジェクタは、コンピュータに接続されたプロジェクタであることを特徴とする3次元曲面形状の測定方法とすることもできる。
【0029】
この発明は、被測定対象物表面に複数本のスリット光からなるスリットパタン、即ちマルチスリット光のパタンをシフトしながら複数回投影すると共に、ストライプの明暗の組み合わせによりコード化された複数のストライプパタンを順次投影する。スリットパタンのシフトは、順次行ってもランダムに行ってもよく、ストライプパタンの最小幅に対応する領域をカバーするものであればよい。
【0030】
投影と同時に、これらの投影パタンを、投影方向とは異なる方向からテレビカメラで撮影して、個々の投影パタンに対応する画像を得る。以下、投影パタンに応じてそれぞれ、マルチスリット投影画像、ストライプ投影画像と呼ぶ。
【0031】
ここで、複数回投影されるスリットパタンとストライプパタンは、任意の平面に投影した場合、個々のスリットがストライプの境界と交差することのないよう、即ち必ずいずれかのストライプの中に収まるように設定しておく。これは、ある平面上に(例えば基準面等の上に)投影されたスリットとストライプが平行となるよう、投影手段を調整することにより、容易に実施できる。
【0032】
ストライプ投影画像からは、複数のストライプパタンが示すコードに基づき、投影手段から測定対象表面への投光角度の範囲(ストライプの最小単位に対応)が決定される。マルチスリット投影画像からは、スリットパタンを複数回投影することにより、測定対象表面のストライプの最小単位内での更に小さい投光角度を決定することができる。
【0033】
これらの投影画像から、投影手段、撮像手段、および投光角度の幾何学的関係から、三角測量の原理を用いて測定対象表面の空間の絶対位置(基準面からの高さ等)を算出する。
【0035】
この発明は、パタン投影手段を同一の投影手段(プロジェクタ)とすることにより、スリットとストライプを原理的に平行とすることができる。なお、スリットパタンとストライプパタンの両方のパタンは、液晶プロジェクタ等により投影することができる。
【0037】
この発明では、マルチスリット投影画像からは、個々のスリットの投影領域それぞれについて、個々の領域の細部の形状を演算処理により求め、ストライプ投影画像からは、ストライプ幅(最小幅)の精度で測定範囲全体の概略の形状を演算処理により求める。これらの演算結果を用いて、測定範囲全体の概略の形状に、細部の形状を合成することにより、測定範囲全体の形状が細部にわたって(スリット投影画像の精度で)決定できる。
【0038】
以上において、複数本のスリットパタンの投影画像からの形状演算については、被測定物表面上での投影パタンの輝度が比較的一様な場合は、前述の「光切断法」を適用することも可能である。この場合、光切断線の位置を撮像手段の画素の位置により検出するので、高い測定精度を得るには画素数を十分に高くする必要がある。
【0039】
以上の発明において更に、複数本のスリットパタンの投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、各画素が最大輝度を示すタイミングにおけるスリットの投影位置をその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値と、パタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求めることを特徴とする3次元曲面形状の測定装置とすることもできる。
【0040】
この発明では、スリットが投影された位置を画素の位置から求めるのではなく、個々の画素についてスリットパタンの投影中に最も輝度が高くなった時のスリットパタンを選択し、そのスリットパタンに対応するスリットの投光角度をその画素への投光角度とする。従って、スリットの精度(投影パタンの画素数)を高くすることにより、スリットの投光角度を高い精度で算出することができる。
【0041】
また、以上の発明において、コード化されたストライプパタンの複数枚の投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、その明暗変化のシーケンスをその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値とパタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいて、概略の全体形状を求めることを特徴とする3次元曲面形状の測定装置とすることもできる。
【0042】
さらに以上の発明において、パタン投影手段の投影画像の生成と、撮像手段から得られる光パタン画像の画像処理とを、同一のコンピュータで実行することを特徴とする3次元曲面形状の測定装置とすることもできる。
【0043】
その他、以上の発明においては、パタン投影手段を複数有することを特徴とする3次元曲面形状の測定装置、撮像手段を複数有することを特徴とする3次元曲面形状の測定装置、あるいは、投影・撮像手段として不可視光を用いることを特徴とする3次元曲面形状の測定装置とすることもできる。
【0044】
また、この装置を用いた3次元曲面形状の測定方法の発明は次のようになる。それは、コンピュータに接続されたプロジェクタを用いて、被測定対象物表面に複数本のスリット光からなるスリットパタンをスリット方向と直交する方向にシフトさせて複数回投影する工程と、
前記プロジェクタを用いて、ストライプの明暗の組み合わせによりパタン内の位置をコード化するための複数のストライプパタンを投影する工程と、
被測定物表面に投影された光パタンを投影方向とは異なる方向から撮影する工程と、
スリットパタンの複数の投影画像の中から、各画素ごとに最大輝度を示す投影画像を選択し、その投影画像に対応するスリットの相対的投光角度を前記各画素の値とする相対投光角度画像を合成し、相対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求める工程と、
ストライプパタンの複数枚の投影画像の各画素ごとに前記複数枚の投影画像における明暗変化をコード化してその画素の値とする絶対投光角度画像を合成し、絶対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係から、三角測量の原理に基づいて概略の全体形状を求める工程と、
前記精密な部分形状の演算結果と、前記概略の全体形状の演算結果とを組み合わせて、被測定対象全体の精密な形状を演算する工程と、
からなることを特徴とする3次元曲面形状の測定方法である。
【0045】
以上のように、この発明においては、コンピュータに接続されたプロジェクタを用いて、まず被測定対象物表面にマルチスリットパタンをシフトして投影すると共に、同じプロジェクタを用いて、ストライプの明暗の組み合わせにより空間の絶対位置の同定が可能なようコード化された複数のストライプパタンを順次投影する。その際、これらの投影パタンを、投影方向とは異なる方向からカメラで撮影して、個々の投影パタンに対応する画像を得る。以下、投影パタンに応じてそれぞれ、マルチスリット投影画像、ストライプ投影画像と呼ぶ。
【0046】
まずマルチスリット投影画像については、各画素ごとに各画素の明るさの時間変化をチェックし、その画素が最大輝度を示すタイミングにおけるスリットの相対的投影位置(投光角度)をその画素の値とする相対投光角度画像を作成する。以下、前述のマルチスリットイメージエンコード法により、ストライプパタンの最小幅に対応する領域について、精密な部分形状を求める。
【0047】
ストライプパタン投影画像については、各画素ごとに各画素の明るさの時間変化をチェックし、ストライプパタンによるコード化を行う。例えば、その明暗変化のシーケンスをコード化して、その画素の値とする絶対投光角度画像を作成する。このようにして、各画素は、そのコードの示す最小幅のストライプ、即ち投光角度のゾーンと対応づけられる。
【0048】
絶対投光角度画像の各画素の値(投光角度)とパタン投影手段、撮像手段、および対象基準面(形状演算の座標系)の幾何学的関係とから、三角測量の原理に基づいて、被測定対象物表面に投影されたストライプの形状を演算処理により求める。このようにして、最小ストライプ幅での概略の全体形状を求める。
【0049】
またこの発明においてさらに、複数枚のストライプパタンを、最小ストライプ幅より小さい所定幅シフトして投影し、これらシフトして得られたストライプパタン投影画像と元のストライプパタン投影画像を用いて、一方の投影画像のストライプ境界が投影された付近の画素の投光角度を、他方の投影画像から求めることを特徴とする3次元曲面形状の測定方法とすることもできる。
【0050】
この発明では、最小ストライプ幅より小さい幅(例えば半幅)シフトしたストライプパタンと元のストライプパタンとを用いることにより、ストライプ境界に近い領域を避けて読み出すことができる。ストライプパタンの境界付近では、測定対象物の動揺や測定装置の振動等により、複数のストライプパタンにおける投影画像の位置がブレることがあり、信頼性の低い領域となる。そこで、この境界付近については、互いにもう一方の投影画像を用いることによりこの影響を避け、信頼性の高い投光角度を決定することができる。
【0051】
最終的に、これら精密な部分形状演算結果と、概略の全体形状演算結果とを組み合わせて、被測定対象の全体の精密な3次元曲面形状を演算・測定する。
【0052】
本発明の測定原理を先ず概念的に説明する。先に述べたように、「マルチスリットイメージエンコード法」は測定精度は極めて高いが絶対形状の計測については制約があり、一方、「2値コードパタン投影法」は、分解能限界があり「測定精度」は期待できない。
【0053】
本発明では、これら2つの方式を融合することにより、「高精度」「絶対値」形状計測を実現する。しかしながら、その実現にあたっては、ひとつクリアするべき大きな課題が存在する。それは、これらの2つの方式を単に合わせると、パタン投影手段がそれぞれ必要となり、装置が大型化するという問題である。
【0054】
一般にスリット光の投影はレーザを用いて行われる。それに対して、2値コードパタンの投影は、かつてはON-OFFコントロール可能なよう専用に構成された液晶ストライププロジェクタをもちいて各液晶ストライプのON-OFFにより生成していた。この2つの異なる投影手段の統合を実現するために、本発明では、コンピュータに接続されたプロジェクタを採用する。コンピュータに接続されたプロジェクタは、コンピュータプログラムによって自由にパタンを切り替えることが出来、さらにはその切替速度も近年の技術の進展の中で、テレビカメラの走査速度を上回るようになってきている。
【0055】
コンピュータに接続されたプロジェクタを用いることにより、2値コードパタンの投影は勿論のこと、スリット光走査についても、画面上に、数走査線分のラインを逐次表示し、表示位置を少しずつずらしていくことによって、複数のスリットからなるパタンを容易に実現することが出来る。すなわち、先に言及した「マルチスリット走査」と「2値コードパタン投影」とを1台の投影手段に纏めることが出来る。
【0056】
更に本発明では、同一の投影手段によりこれら両者のパタンを投影することにより、スリットパタンとストライプパタンの寸法と位置を同一の基準で設定することができる。従って、測定精度はプロジェクタで生成できるパタンの精度まで、向上させることが可能となる。また、別々の投影手段を組み合わせた場合に不可避である、投影手段間の位置合せ、パタン寸法合わせ等の煩雑な作業を省略することができる。
【0057】
また、投影パタンをデジタル式のプロジェクタで投影すれば、パタン自体をデジタル値として扱うことができるので、パタンの投光角度等の演算処理が容易となる。従って、パタンの較正等が容易となり、また測定対象(分解能)に応じてスリット間隔、ストライプ幅(最小幅)等、パタンを調整することができる。
【0058】
【発明の実施の形態】
図1に、本発明の1構成例を示す。プロジェクタはコンピュータに接続され、測定対象表面に、コンピュータで生成されるパタンを投影できるよう配置されている。カメラはプロジェクタの投影方向とは異なる方向から、測定対象表面を観察するよう配置されており、撮影画像はデジタル化されてコンピュータ内に取り込まれる。
【0059】
なお、プロジェクタおよびカメラについては、前者は液晶やDLP(Digital Light Processing)、後者はCCD素子等を用いた機器により容易に実現できる。なお、DLPプロジェクタは、微少な鏡面DMD(Digital Micromirror Device)の反射角度制御により投影を行うもので、投影パタンの高速制御が可能となる。
【0060】
これらの素子の画素数は、目的とする測定精度に応じて適宜選択することができる。例えば、プロジェクタは1024×768、カメラは600×480等とすれば、出願時における通常の目的には十分である。また、双方の精度のバランスの観点からは、カメラの画素数に対してプロジェクタの画素数を縦横それぞれ1〜2倍程度とすればよい。
【0061】
図2は、本発明の装置の演算処理システムの構成例を示すブロック図である。演算処理システムはコンピュータにより実現され、パタン投影ブロック30、画像入力ブロック40、形状演算ブロック50、およびシーケンス制御手段90を備えている。ここで、シーケンス制御手段90は、これらのブロックと投影手段(プロジェクタ)7、撮像手段(カメラ)8を、所定のシーケンスで動作させるとると共に、これらの間の同期をとる。以下、各ブロックについて説明する。
【0062】
パタン投影ブロック30においては、スリットパターン(シーケンス)発生回路31aで所定のスリット間隔およびスリット幅のスリットパターンを生成し、更にスリット位置をシフトした複数のスリットパターンを生成する。
【0063】
同様にここでは、ストライプパターン(シーケンス)発生回路31bで所定のストライプ幅およびストライプ位置からなる複数のストライプパターンを生成する。また、ストライプパターン(シーケンス)発生回路31cは、同31bで作成したストライプパターンに対して、所定幅(例えば、最小ストライプ幅の1/2)シフトさせた複数のストライプパターンを発生させる。
【0064】
これらのパタンは、これらのスリットおよびストライプパターンは、それぞれ所定の順序でメモリ等に格納しておき、プロジェクタ出力切替回路32により、順次あるいは交互に投影手段7に出力される。なお、以上の一連の演算処理は、パタン投影制御回路39の制御により実行される。
【0065】
投影手段(プロジェクタ)7より被測定対象に投影された各種パタンは、撮像手段(カメラ)8で撮像され、得られた画像信号は随時画像入力ブロック40に画像信号として入力される。
【0066】
画像入力ブロック40では、画像信号を必要に応じてデータ変換し、画像メモに格納する。まずカメラ入力回路41でカメラからの画像入力(信号)を、画像入力ブロック40内で処理可能なデータ形式(画像データ)に変換する。次いで画像メモリ切替回路42では、画像データを対応する投影パタン(スリットパタン、ストライプパタン等)により分類し、対応する画像メモリ43a〜43cに転送する。
【0067】
スリットパタンおよびストライプパタン用の各シーケンス画像メモリ43a〜43cは、これらの画像データをそれぞれの投影パタンの投影順序のデータ(識別ID)と共に格納する。ここで、ストライプパタンシーケンス画像メモリ#1(図中43b)および同#2 (図中43c)は、ストライプパタンを所定幅(最小幅の1/2)シフトさせた投影パタンに対応する画像データを格納している。なお、以上の一連の演算処理は、画像入力制御回路49の制御により実行される。
【0068】
形状演算ブロック50では、これら各画像メモリ43a〜43cに格納された一連の画像データを用いて、被測定物表面の形状を演算処理により求める。スリット投光角度画像合成回路51aでは、スリットパタン画像メモリ43aより画像データ(スリット画像データ)を読み出し、個々の画素に対してスリットが投影された時の投光角度(スリット投光角度)を求める。
【0069】
得られたスリット投光角度を用いて、精密部分形状演算回路52aでは、三角測量の原理に基づき、被測定物表面の形状を演算する。これにより、隣接スリット間隔を幅とする個々の帯状領域(最小幅のストライプパタンに対応)について、精密な(投影手段の分解能相当の)部分形状が得られる。
【0070】
同様に、ストライプ投光角度画像合成回路51b,cでは、ストライプパタン画像メモリ43 b,cよりストライプ画像データを読み出す。次いで、個々の画素に対して投影された複数のストライプのシーケンス(順序)から、予め設定してあるコードと投光角度の関係を用いてストライプ投光角度を得る。得られたストライプ投光角度を用いて、概略全体形状演算回路52bでは、三角測量の原理に基づき、最小幅のストライプパタンを単位として、全体の概略形状を算出する。
【0071】
なお、ストライプ投光角度画像合成回路51b,cは、図では2つの回路で並列処理を行っているが、1つの回路で順次又は交互に処理してもよい。
【0072】
精密全体形状演算回路53では、これらの部分・概略形状演算回路52a,bにより得られた精密な部分形状と全体の概略形状に基づき、精密な全体の形状を合成する。得られた形状は形状画像メモリ54に格納し、必要に応じてモニタ表示等の出力を行う。なお、以上の一連の演算処理は、形状演算制御回路59の制御により実行される。
【0073】
その他、この演算処理システムの例では、コンピュータの個々の処理を各種の回路やメモリにより表現しているが、これら個々の処理はハードウェアあるいはソフトウェアのいずれで構成してもよい。ソフトウェアで構成する場合は、ハードウェアによる場合よりも演算処理速度は低いが、画素数等が特に高くない限り、実用上は十分短時間で処理可能である。
【0074】
図3にパタン投影・画像入力手順を示す。測定にあたっては、まず、2値コードパタン投影が行われ、画像がコンピュータ内に入力される。なお、図3の例では、ストライプパタン境界における不確定性の影響を避けるために、最小ストライプ幅の半幅だけシフトしたパタンも併せて投影・撮像している。
【0075】
図3に示す2値コードパタン画像の各画素の明暗のシーケンスは、投影手段からその画素に対応する対象を見込んだ投光角に対応している。このことから、その明暗シーケンス(投光角度を示すコード)を各画素毎に解読することにより、投光角度画像(投光角度を明るさで表した画像;以下、投光角度画像1と称す)を再生することが出来る。
【0076】
但し、先にも述べたように、2値コードパタンのストライプ幅は、カメラ分解能との兼ね合いであまり細かくは出来ず、自ずと限界がある。このことから、得られる投光角度画像1は投光角度の絶対値を表しているものの、粗いステップ状の形状を表すこととならざるをえず、精度は高くない。
【0077】
以上の工程と前後して、マルチスリットパタン投影が行われる。マルチスリットパタン投影は、先にも述べたように、マルチスリットパタンをスリットと直交する方向(この図では上下方向)にシフトしながら、プロジェクタに表示・投影することにより実現される。
【0078】
図3に示す一連のマルチスリットパタン画像について、「イメージエンコード法」の原理に基づいて、各画素ごとの輝度最大タイミングを演算し合成すると、もうひとつの投光角度画像(以下、投光角度画像2と称す)が得られる。この画像は、先の2値コードパタン画像から演算して得られた投光角度画像1とはその特徴を異にする。
【0079】
投光角度画像2においては、スリット間の領域の投光角度情報は極めて精密な情報が得られる代わりに、マルチスリットの各スリット相互の区別がつかない。このことから、投光角度情報は「折りたたまれた」情報とならざるを得ず、投光角度の絶対値をこの画像から求めることは出来ない。
【0080】
ここで、スリット走査方向に「投光角度情報」を「尺取り」方式で接続していけば、絶対投光角度情報が一見得られそうに思われる。しかし、対象形状に「不連続」(大きな段差)があると投光角度の「不確定」が生じ、絶対投光角度情報があらゆる場所で得られるという「保証」はない。
【0081】
この点について本発明においては、ここまでに得られた2種類の投光角度画像1と2とは、先にも述べたように「絶対角度」と「精度」という視点で、互いに補完しうる特徴を有している。各画素において、投光角度画像1の「ラフな絶対角度」と投光角度画像2の「精密な相対角度」とを演算・合成することにより、「精密」な「絶対角度」からなる投光角度画像(以下、投光角度画像3)を得ることが出来る。
【0082】
投光角度3が得られさえすれば、あらかじめ判っているプロジェクタ、測定対象、およびカメラの相対的な位置・角度情報をもとに、三角測量原理に基づいて、形状画像(各画素の値が、その画素に対応する測定対象上の凹凸量を表す画像)を容易に求めることが出来る。
【0083】
図4に、このようして得られた一連の2値コードパタン画像およびマルチスリットパタン画像から、形状を演算・再生する手順の例を示す。
【0084】
なお、図4の例では、図3の最小ストライプ幅の半幅だけシフトしたパタンを併せて投影・撮像した場合の形状再生例を示している。この場合には、2値コードパタンベースの投光角度画像として、投光角度画像1に加えて、1/2ストライプ幅シフトパタンに対する投光角度画像(以下、投光角度画像1'と称する)が得られる。
【0085】
投光角度画像2との合成にあたって、投光角度画像1及び1'から「絶対角度」を読み取る際に、それぞれストライプ境界に近い領域(すなわち、信頼性の低い領域)を避けて読み出すような合成を行えばよい。これは例えば、ストライプ境界から所定角度分(投影手段の所定画素分)については互いに他方の投光角度画像を用いることにより実施できる。
【0086】
この例では、パタン投影手段は1式で構成する例を示したが、測定の「死角」をなくすために、複数方向からパタン投影し、得られる形状を合成して「死角」の少ない形状を得ることは、容易に可能である。図5は、パタン投影手段として複数のプロジェクタ(▲1▼、▲2▼)7を設けた装置構成例を示す図である。
【0087】
この例では、パタン投影ブロック(▲1▼、▲2▼)30で前述と同様、スリットパタンおよびストライプパタンを生成し、2台のプロジェクタ▲1▼、▲2▼(投影手段▲1▼、▲2▼)7で順次、交互、又は所定のシーケンスでパタンを投影する。カメラ8で得られた画像信号は、画像入力ブロック40で画像データに変換される。
【0088】
形状演算ブロック(▲1▼、▲2▼)50では、それぞれ前述と同様に部分形状と概略形状を演算処理により算出し、部分形状と概略形状を合成して、それぞれの画像データ▲1▼、▲2▼に基づく精密全体形状(▲1▼、▲2▼)を算出する。形状合成ブロック60では、得られた精密全体形状▲1▼、▲2▼について、両者の死角となっている部分を互いに他方の形状で補い、「死角」の少ない形状を得る。
【0089】
これらの例では、撮像手段は1式で構成する例を示したが、測定の「死角」をなくすために、複数方向から撮像し、得られる形状を合成して「死角」の少ない形状を得ることは、容易に可能である。図6は、撮像手段として複数のカメラ(▲1▼、▲2▼)8を設けた装置構成例を示す図である。
【0090】
この例では、パタン投影ブロック30で前述と同様、スリットパタンおよびストライプパタンを生成し、プロジェクタ(投影手段)7でそれぞれのパタンを投影する。カメラ(▲1▼、▲2▼)8で得られた画像信号は、画像入力ブロック(▲1▼、▲2▼)40で画像データ(▲1▼、▲2▼)に変換される。
【0091】
形状演算ブロック(▲1▼、▲2▼)50では、それぞれ前述と同様に部分形状と概略形状を演算処理により算出し、部分形状と概略形状を合成して、それぞれの画像データ▲1▼、▲2▼に基づく精密全体形状(▲1▼、▲2▼)を算出する。形状合成ブロック60では、得られた精密全体形状▲1▼、▲2▼について、両者の死角となっている部分を互いに他方の形状で補い、「死角」の少ない形状を得る。
【0092】
なお本構成は、飽くまでも本発明の一実施例を示したものであり、以下のような構成のバリエーションは容易に考えることが出来ると共に実施可能である。
【0093】
(1) これらの例では、投影パタンのスリットおよびストライプの方向は「横方向」の場合を示したが、この方向は「縦方向」でも斜め方向でも、任意の方向で構わない。
【0094】
(2) これらの例では、パタン投影制御用のコンピュータと画像入力制御用のコンピュータと形状演算用のコンピュータを1台のコンピュータで実施する例を示したが、これを複数のコンピュータ、さらにはネットワーク上のコンピュータで実現することは、容易に可能である。
【0095】
(3) 特に「セキュリティ分野」のように、被測定者に、測定していることを「気づかせない」ために、赤外光のような不可視光を投影・撮像して形状を測定するように構成することも容易に可能である。これは美容分野等のように、測定を意識させずに被測定者の自然な表情を得る場合にも応用可能である。
【0096】
【発明の効果】
本発明は、投影手段から複数本のスリット光からなるスリットパタンと1本以上のストライプ状の光からなるストライプパタンとをパタンを変えて複数回投影し、それぞれの投影画像について画像解析を行う。これにより、複数のストライプ状の領域について精密な部分形状を得ると共に、ストライプメッシュ(最小ストライプ幅)での概略の全体形状を得ることにより、測定対象全体の精密な全体形状を合成する。その結果、「高精度」「高速」「ロバスト」な「絶対形状」計測を、「コンパクト」な光学系の構成で実現することが可能となる。
【図面の簡単な説明】
【図1】発明の構成を示す図。
【図2】制御システム構成例を示すブロック図。
【図3】形状演算手順を示す図。
【図4】形状演算例を示す図。
【図5】複数の投影手段を用いた構成例を示す図。
【図6】複数の撮像手段を用いた構成例を示す図。
【図7】光切断法の構成を示す図。
【図8】イメージエンコード法の構成を示す図。
【図9】イメージエンコーダの構成を示す図。
【図10】マルチスリットイメージエンコード法の構成を示す図。
【図11】マルチスリットイメージエンコード法の課題を示す図。
【図12】2値パタン投影法の構成と課題を示す図。
【符号の説明】
1 基準面
2 被測定対象物
3a スリット光
4 回転ミラー
7 投影手段
8 テレビカメラ
8a モニタテレビ
13 画像合成回路
18 最大輝度画像演算部
19 画像合成演算部
20 同期回路
21 メモリアドレス発生回路
22 出力制御回路
23 最大輝度画像メモリ
25 最大輝度画像メモリ制御回路
26 比較回路
27 スイッチ回路
28 合成画像メモリ
30 パタン投影ブロック
31a〜31c パターン(シーケンス)発生回路
32 プロジェクタ出力切替回路
39 パタン投影制御回路
40 画像入力ブロック
41 カメラ入力回路
42 画像メモリ切替回路
43a〜43c 画像メモリ
49 画像入力制御回路
50 形状演算ブロック
51a〜51c 角度画像合成回路
52a 精密部分形状演算回路
52b 概略全体形状演算回路
53 精密全体形状演算回路
54 形状画像メモリ
59 形状演算制御回路
60 形状合成ブロック
90 シーケンス制御手段
θ スリット光投光角度(基準面の法線となす角度 、従来技術では基準面となす角度)
Z 基準面からの高さ

Claims (10)

  1. 任意のパタンが投影可能な同一のプロジェクタを用いて、被測定対象物表面に複数本のスリット光からなり、スリット方向と直交する方向にシフトしつつ複数回投影されるスリットパタンと、各パタンのストライプの明暗の組み合わせが投影された位置への投光角度に対応するコードを示す1本以上のストライプ状の光からなるストライプパタンとをそれぞれ投影するパタン投影手段と、被測定物表面に投影されたスリットパタン及びストライプパタンを投影方向とは異なる方向から撮影する撮像手段と、撮影されたパタン投影画像を画像処理して、複数本のスリットパタンの複数枚の投影画像からの形状演算結果と、コード化されたストライプパタンの複数枚の投影画像からの形状演算結果とを組み合わせて、前記被測定対象物の3次元曲面形状を演算する形状演算手段とを備えたことを特徴とする3次元曲面形状の測定装置。
  2. 前記プロジェクタが、コンピュータに接続されたプロジェクタであることを特徴とする、請求項1記載の3次元曲面形状の測定装置。
  3. 複数本のスリットパタンの投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、各画素が最大輝度を示すタイミングにおけるスリットの投影位置をその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値と、パタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求めることを特徴とする請求項1または2記載の3次元曲面形状の測定装置。
  4. コード化されたストライプパタンの複数枚の投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、その明暗変化のシーケンスをその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値とパタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいて概略の全体形状を求めることを特徴とする請求項1ないし請求項3記載の3次元曲面形状の測定装置。
  5. パタン投影手段の投影画像の生成と、撮像手段から得られる光パタン画像の画像処理とを、同一のコンピュータで実行することを特徴とする請求項1ないし請求項4記載の3次元曲面形状の測定装置。
  6. パタン投影手段を複数有することを特徴とする請求項1ないし請求項5記載の3次元曲面形状の測定装置。
  7. 撮像手段を複数有することを特徴とする請求項1ないし請求項6記載の3次元曲面形状の測定装置。
  8. 投影・撮像手段として不可視光を用いることを特徴とする請求項1ないし請求項7記載の3次元曲面形状の測定装置。
  9. 任意のパタンが投影可能なプロジェクタを用いて、被測定対象物表面に複数本のスリット光からなるスリットパタンをスリット方向と直交する方向にシフトさせて複数回投影する工程と、
    前記プロジェクタを用いて、ストライプの明暗の組み合わせによりパタン内の位置をコード化するための複数のストライプパタンを投影する工程と、
    被測定物表面に投影された光パタンを投影方向とは異なる方向から撮影する工程と、
    スリットパタンの複数の投影画像の中から、各画素ごとに最大輝度を示す投影画像を選択し、その投影画像に対応するスリットの相対的投光角度を前記各画素の値とする相対投光角度画像を合成し、相対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求める工程と、
    ストライプパタンの複数枚の投影画像の各画素ごとに前記複数枚の投影画像における明暗変化をコード化してその画素の値とする絶対投光角度画像を合成し、絶対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係から、三角測量の原理に基づいて概略の全体形状を求める工程と、
    前記精密な部分形状の演算結果と前記概略の全体形状の演算結果とを組み合わせて、被測定対象全体の精密な形状を演算する工程と、
    からなることを特徴とする3次元曲面形状の測定方法。
  10. 複数枚のストライプパタンを、最小ストライプ幅より小さい所定幅シフトして投影し、これらシフトして得られたストライプパタンの投影画像と元のストライプパタンの投影画像とを用いて、一方の投影画像の中でストライプ境界が投影された付近の画素の投光角度を、他方の投影画像から求めることを特徴とする請求項9記載の3次元曲面形状の測定方法。
JP2003164646A 2003-06-10 2003-06-10 3次元曲面形状の測定装置及び測定方法 Expired - Lifetime JP4347614B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003164646A JP4347614B2 (ja) 2003-06-10 2003-06-10 3次元曲面形状の測定装置及び測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003164646A JP4347614B2 (ja) 2003-06-10 2003-06-10 3次元曲面形状の測定装置及び測定方法

Publications (2)

Publication Number Publication Date
JP2005003409A JP2005003409A (ja) 2005-01-06
JP4347614B2 true JP4347614B2 (ja) 2009-10-21

Family

ID=34091360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003164646A Expired - Lifetime JP4347614B2 (ja) 2003-06-10 2003-06-10 3次元曲面形状の測定装置及び測定方法

Country Status (1)

Country Link
JP (1) JP4347614B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730836B2 (ja) * 2005-09-15 2011-07-20 Jfeスチール株式会社 面歪の測定装置及び方法
JP4944435B2 (ja) * 2005-12-07 2012-05-30 ローランドディー.ジー.株式会社 三次元形状の測定方法およびその装置
JP4874657B2 (ja) * 2006-01-18 2012-02-15 ローランドディー.ジー.株式会社 三次元形状の測定方法およびその装置
JP4917351B2 (ja) * 2006-05-16 2012-04-18 ローランドディー.ジー.株式会社 3次元形状測定装置におけるキャリブレーション方法
JP4889373B2 (ja) * 2006-05-24 2012-03-07 ローランドディー.ジー.株式会社 3次元形状測定方法およびその装置
JP4957291B2 (ja) * 2006-09-08 2012-06-20 Jfeスチール株式会社 面歪の測定装置及び方法
JP5123522B2 (ja) * 2006-12-25 2013-01-23 パナソニック株式会社 3次元計測方法及びそれを用いた3次元形状計測装置
JP4998711B2 (ja) * 2007-03-12 2012-08-15 Jfeスチール株式会社 面歪の測定装置及び方法
JP4931728B2 (ja) 2007-08-08 2012-05-16 シーケーディ株式会社 三次元計測装置及び基板検査機
DE202010018585U1 (de) * 2009-05-27 2017-11-28 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form
JP2011007744A (ja) * 2009-06-29 2011-01-13 Nissan Motor Co Ltd 三次元計測装置、及び三次元計測方法
JP2014055814A (ja) * 2012-09-11 2014-03-27 Keyence Corp 形状測定装置、形状測定方法および形状測定プログラム
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
JP6694873B2 (ja) * 2014-08-28 2020-05-20 ケアストリーム ヘルス インク 歯の表面に従ってセンサ画素配列を照射画素配列にマッピングするための装置の作動方法、及び、歯の表面輪郭画像を提供する装置の作動方法
JP6476252B2 (ja) * 2017-08-31 2019-02-27 株式会社キーエンス 形状測定装置、形状測定方法および形状測定プログラム
CN109211135A (zh) * 2018-07-30 2019-01-15 深圳阜时科技有限公司 一种感测装置、感测方法及设备
JP7172305B2 (ja) * 2018-09-03 2022-11-16 セイコーエプソン株式会社 三次元計測装置およびロボットシステム
JP7349827B2 (ja) * 2019-02-08 2023-09-25 株式会社キーエンス 検査装置
CN112880587B (zh) * 2021-01-12 2022-05-10 东南大学 薄板件装配偏差在线测量方法

Also Published As

Publication number Publication date
JP2005003409A (ja) 2005-01-06

Similar Documents

Publication Publication Date Title
JP4347614B2 (ja) 3次元曲面形状の測定装置及び測定方法
JP6055332B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2017215374A (ja) 画像投影システムおよび画像投影方法
JP2001116526A (ja) 3次元形状計測装置
KR20100017236A (ko) 카메라 위치를 얻기 위한 중앙 개구를 가진, 단일 렌즈, 단일 센서 3-d 영상화 장치
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2003078725A (ja) 画像入力装置
JP2009031150A (ja) 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
JP4764959B1 (ja) 撮影装置及びその制御方法
WO2002028091A1 (fr) Procede et dispositif de creation d'images
JP2010510572A (ja) ライトのモデリングのための方法およびシステム
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
CN107493427A (zh) 移动终端的对焦方法、装置和移动终端
JP2008217243A (ja) 画像生成装置
JP2000065542A (ja) 3次元画像撮影装置
JPH11108633A (ja) 3次元形状計測装置及びそれを用いた3次元彫刻装置
JP3507865B2 (ja) Dmdを用いたccdカメラによる実時間形状計測方法と装置
JP4391137B2 (ja) 3次元曲面形状の測定装置及び測定方法
JP3925266B2 (ja) 3次元形状入力装置および位置ずれ検出方法
JP3965894B2 (ja) 画像処理装置および画像処理方法
JP2009258005A (ja) 三次元測定装置及び三次元測定方法
CN107734266B (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN107529020B (zh) 图像处理方法及装置、电子装置和计算机可读存储介质
JP2014157044A (ja) 距離検出カメラ
JP5363872B2 (ja) 画像補正装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090716

R150 Certificate of patent or registration of utility model

Ref document number: 4347614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140724

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term