Nothing Special   »   [go: up one dir, main page]

JP3819662B2 - 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体 - Google Patents

三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体 Download PDF

Info

Publication number
JP3819662B2
JP3819662B2 JP2000052422A JP2000052422A JP3819662B2 JP 3819662 B2 JP3819662 B2 JP 3819662B2 JP 2000052422 A JP2000052422 A JP 2000052422A JP 2000052422 A JP2000052422 A JP 2000052422A JP 3819662 B2 JP3819662 B2 JP 3819662B2
Authority
JP
Japan
Prior art keywords
dimensional
shape
dimensional modeling
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000052422A
Other languages
English (en)
Other versions
JP2001243468A (ja
Inventor
幸則 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2000052422A priority Critical patent/JP3819662B2/ja
Priority to TW90108760A priority patent/TWI226022B/zh
Publication of JP2001243468A publication Critical patent/JP2001243468A/ja
Application granted granted Critical
Publication of JP3819662B2 publication Critical patent/JP3819662B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
対象物についての複数枚の画像データから対象物の三次元形状データを生成する三次元モデリング技術に関し、特に三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体に関する。
【0002】
【従来の技術】
従来、各種の三次元画像の生成方法として、対象物のシルエット情報から三次元形状を推定するシルエット法や、レーザ光を用いた光切断法、複数の白黒パタンを照射する空間コード化法などが広く知られている。
【0003】
シルエット法では以下のようにして形状データを生成する。例えば、対象物を回転台の上に載せ、適当な角度間隔で複数画像を撮影したのち、これらの画像毎に、対象物のシルエット画像を求める。ここで、撮影時にブルーバックなどの背景板を用いれば、良く知られているクロマキー技術を用いて容易にかつ安定してシルエット画像を得ることができる。
【0004】
今、回転テーブルと撮影カメラとの位置関係が予め正確に求められているとすれば、回転テーブル上に仮定した三次元空間に対し、それぞれの撮影視点からシルエットを投影することができる。そして、全てのシルエットが投影された空間を物体領域として抽出する。こうすることで、対象物の三次元形状を推定する。
【0005】
一方、レーザ光を用いた光切断法では、基本的に図15に示すような構造を持つレーザ光照射機器を用いる。即ち、図15では、ビーム状のレーザ光を円筒レンズで一旦スリット光にしたのち、その進行方向をガルバノミラー或いはポリゴンミラーを用いて変化させることで、2次元的なスキャンを可能にしている。
【0006】
このようにして対象物に照射されたレーザ光は、カメラなどの画像入力部に取り込まれる。レーザ光は一般照明光に比べ、強度が十分に大きいものであり、入力された画像中から最大輝度を示す点(或いは線)を容易に抽出できる。レーザ光源と画像入力部との位置関係は予め正確に計測されており、また、画像入力時のミラーの角度が正確に判明していれば、三角測量の原理に基づいて、カメラ或いはレーザ光源から対象物までの距離が計算できる。
【0007】
また、空間コード化光方式では、図9に示すような複数の白黒パタンを対象物に照射し、撮影する。そして、それぞれの画像について、各画素ごとに白黒パタンのどちらが照射されているかを求める。これは、上記パタンをさらに反転させて照射した画像との比較をすることにより、正確に求まることが知られている。
【0008】
このようにして、例えば、7パタンを照射した場合には、画像は全部で128の短冊領域に分割できることになる。ここで、パタンの方向と、カメラから照射部への向とがほぼ直交すれば、各画素のパタン系列と、パタン照射部から発せられた光の方向とが対応づけることができる。従って、三角測量の原理に基づいて、カメラ或いはレーザ光源から対象物までの距離が計算できることになる。
【0009】
【発明が解決しようとする課題】
上述のシルエット法では、背景と対象物を分離しシルエット情報が得られさえすれば、三次元形状が推定できる。従って、対象物の材質や色に関する制約はない。その一方、シルエット輪郭としてあらわれない形状については、正確に三次元形状推定できないという問題がある。具体的にはコップの内側などが該当する。この部分は、つねに他の部分のシルエット内部に対応するため、シルエット輪郭としては観測できない部分であり、シルエット法では正確に三次元形状推定できないことになる。
【0010】
一方、基本的に、レーザ光を用いた光切断法や空間コード化法は、対象物に光を照射し、照射部分と非照射部分を区別出来なくてはならない。しかしながら、例えば人間の頭髪部など黒色の部分については、この区別が極めて困難である。従って、レーザ光を用いた光切断法や空間コード化法では、光を吸収する材質や色の部分については、三次元形状情報をえることが難しい。もちろん、この解決法として極めて強力なレーザ光を用いるという方法が考えられる。しかし、人間が対象の場合、安全性の観点から問題が発生すると考えられる。
【0011】
これに加えて、空間コード化法では複数のパタンを時分割的に照射する必要があり、高速なデータ入力は難しい。同様にレーザ光を用いた光切断法でも、照射できるレーザビームは一つのみであり、これをスキャンする必要があるため、やはり高速なデータ入力は難しいという問題があった。
【0012】
【課題を解決するための手段】
請求項1の三次元モデリング装置に係る発明は、三次元物体の三次元形状データを生成する三次元モデリング装置であって、前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算手段と、前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算手段と、前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成手段と、を具備し、前記概略形状計算手段で計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また前記詳細形状計算手段で計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする。
【0013】
請求項2の三次元モデリング装置に係る発明は、請求項1に係る三次元モデリング装置において、前記三次元物体に対し、パタン光を照射する照射手段と、前記三次元物体の画像を取得する画像入力手段と、を具備し、前記画像入力手段は、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする。
【0014】
請求項3の三次元モデリング装置に係る発明は、請求項1又は2に記載の三次元モデリング装置において、前記三次元形状データ生成手段は、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする。
【0016】
請求項の三次元モデリング装置に係る発明は、請求項1〜のうちいずれかに記載の三次元モデリング装置において、前記詳細形状計算手段は、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする。
【0019】
請求項の三次元モデリング装置に係る発明は、請求項1〜のうちいずれかに記載の三次元モデリング装置において、前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をHSV空間で記した際に色相が少なくとも90度以上異なるか、又は明度が0.3以上異なることを特徴とする。
【0020】
請求項の三次元モデリング装置に係る発明は、請求項1〜のうちいずれかに記載の三次元モデリング装置において前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする。
【0021】
請求項の三次元モデリング装置に係る発明は、請求項に記載の三次元モデリング装置において、前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする。
【0022】
請求項の三次元モデリング装置に係る発明は、請求項、又はに記載の三次元モデリング装置において、前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする。
【0023】
請求項の三次元モデリング装置に係る発明は、請求項に記載の三次元モデリング装置において、前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする。
【0024】
請求項10の三次元モデリング方法に係る発明は、三次元物体の三次元形状データを生成する三次元モデリング方法は、前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算ステップと、前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算ステップと、前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成ステップと、からなり、前記概略形状計算ステップで計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また前記詳細形状計算ステップで計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする。
【0025】
請求項11の三次元モデリング方法に係る発明は、請求項10に係る三次元モデリング方法において、前記三次元物体に対し、照射手段によってパタン光を照射する照射ステップと、前記三次元物体の画像を取得する画像入力ステップと、を備え、前記画像入力ステップは、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする。
【0026】
請求項12の三次元モデリング方法に係る発明は、請求項10又は11に記載の三次元モデリング方法において、前記三次元形状データ生成ステップは、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする。
【0028】
請求項13の三次元モデリング方法に係る発明は、請求項1012のうちいずれかに記載の三次元モデリング方法において、前記詳細形状計算ステップは、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする。
【0031】
請求項14の三次元モデリング方法に係る発明は、請求項1013のうちいずれかに記載の三次元モデリング方法において、前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をHSV空間で記した際に色相が少なくとも90度以上異なるか、又は明度が0.3以上異なることを特徴とする。
【0032】
請求項15の三次元モデリング方法に係る発明は、請求項1014のうちいずれかに記載の三次元モデリング方法において前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする。
【0033】
請求項16の三次元モデリング方法に係る発明は、請求項15に記載の三次元モデリング方法において、前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする。
【0034】
請求項17の三次元モデリング方法に係る発明は、請求項15、又は16に記載の三次元モデリング方法において、前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする。
【0035】
請求項18の三次元モデリング方法に係る発明は、請求項17に記載の三次元モデリング方法において、前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする。
【0077】
【発明の実施の形態】
以下に本発明の好適な実施の形態を示す。
【0078】
尚、以下の説明及び請求項において、「画像」とはコンピュータで処理可能なデジタル化された画像情報(画像データ)から、35mフィルム或いは印画紙に焼き付けられた画像までもを含めた広義の画像を意味するものとする。
(構成の説明)
図1に本発明の概念構成図を示す。入力対象物10は回転台11の上に設置される。12はパタン照射部であり、パタン光を対象物10に照射する。パタンを照射された対象物は受光部13により撮影される。
【0079】
尚、これらパタン照射及び撮影は制御部14により制御される。撮影された画像データは処理部15に送られる。処理部では、三次元形状計算が行われ、得られた三次元形状データは記録部16に保存される。
【0080】
尚、受光部13は通常アナログカメラ或いはデジタルカメラが利用されるが、対象物によっては、非可視光画像を得る特殊カメラであっても良い。また、制御部14及び処理部15は通常パーソナルコンピュータやワークステーションなどの計算機が用いられる。さらに、記録部16はハードディスク、CD-R、フロッピーディスク、MO、DVDその他あらゆる記録媒体を用いることができる。
【0081】
図2に、本発明における処理の大まかな流れを示す。処理はキャリブレーション、概略形状抽出、詳細形状抽出、三次元形状データ生成の4ステップからなる。
【0082】
キャリブレーションステップ(S20)では、カメラの内部パラメータ(画角情報即ち焦点距離とCCDサイズの比やレンズ歪みなど)、及び外部パラメータ(カメラ位置)を求める。概略形状抽出ステップ(S21)では、対象物の大まかな形状情報を得る。一方詳細形状抽出ステップ(S22)では対象物の詳細な形状情報を得る。また、三次元形状データ生成ステップ(S23)では、対象物の大まかな形状情報と詳細な形状情報とを統合し、最終的な三次元形状データを生成する。
【0083】
以下に、本発明の好適な実施の形態の一つをより詳細に示す。
【0084】
ここでは、図1で示したように、回転台11の上に対象物10を載せて、回転台11を回転させつつカメラで対象物10の画像を撮影することを前提にする。もちろん、多数のカメラ13を対象物10の回りに配置させ、これらから対象物10の複数の画像を得ても良い。対象物10が回転台11に載せられないような物体や、長時間静止出来ない物体などは、多数カメラ配置の方が好適と考えられる。
【0085】
また、概略形状抽出ステップでシルエット法を用いること、及び詳細形状抽出ステップでバイナリーパタンを用いた空間コード化法による能動ステレオ法を用いて形状測定をすること、を前提に説明する。従って、受光部13としては二つのカメラを用いることになる。
以下、図2の流れに従って順に説明してゆく。
【0086】
(キャリブレーションステップ)
キャリブレーションステップでは、カメラ13の内部パラメータ及び外部パラメータを求める。ここでカメラ13の内部パラメータとは、画角情報(焦点距離とCCDサイズの比:以後「パースペクティブ比」と呼ぶ。)やレンズ歪みパラメータである。また、カメラ13の外部パラメータとは、カメラ13の位置及び姿勢情報であり、より具体的には、回転台回転軸とカメラ13の位置関係、及びカメラ13の相互の位置関係を意味する。
【0087】
図3はパースペクティブ比を説明するための図である。ここでカメラモデルとして、ピンホールカメラモデルを前提としている。パースペクティブ比は、焦点距離とCCDサイズ(例えばCCD縦サイズ)の比として定義する。図3の場合、hccd/fがパースペクティブ比である。これは、遠近法において、画面に投影される物体サイズが視点から物体までの距離に応じて拡大/縮小される際の、拡大/縮小率を決定するパラメータにほかならない。
【0088】
さて、実際にはカメラ13の焦点距離及びCCDサイズは未知の場合が多い。或いは、既知であっても、実際の形状計測に用いる場合には不正確である場合が多い。
【0089】
この時には次のようにして求めることができる。まず、長さHの基準ポール30が画像面31に入るように撮影する。そして、このときのカメラと基準ポールとの距離Lを計測する。ここで画像面の縦サイズをhpx(単位:ピクセル)とし、画像面に基準ポールがhピクセルの長さで映っているとすると、H/L = h/fであるから、パースペクティブ比は(H×hpx)/(h×L)で計算される値となる。
【0090】
次に、外部パラメータ即ち回転台11の回転軸とカメラ13の位置関係を求める方法について説明する。以下ではこの処理を「回転台キャリブレーション」と呼ぶことにする。
【0091】
図4を参照して、回転台キャリブレーション処理では、まず、回転台11の上に、既知パタンを印刷した物体40(これを「参照物体」と呼ぶ。)を配置する。ここで既知パタンとは、例えば円マーク42であり、これが平板状の参照物体に複数印刷されている。すべての円マークは予め指定された場所に印刷されており、回転台キャリブレーション処理を行う計算機には、予め各円マークの印刷位置が登録されているとする。このように既知パタンが印刷された物体とカメラ13との位置関係は、Hough変換を用いて信頼性良く求めることができる。この概略については後述する。
【0092】
さて、回転台11の回転軸41とカメラ13との位置関係を求めるためには、カメラ13と参照物体40の位置関係が求められただけでは不十分である。そこで、回転台11を回しながら、幾つかの視点から参照物体40を撮影し、それぞれの視点における、カメラ13と参照物体40との位置関係を求める。これは、カメラ視点が固定と考えると、参照物体40が回転台11の回転動作に伴い、どのように動いたかという情報を得たことになる。この動きは回転台11の回転軸41に沿って円運動を形成しているため、参照物体40上における任意の点(例えば原点)の動きを追跡し、その軌跡に円あてはめを行う。この円の中心を通り、円が成す平面に直交する直線が回転台11の回転軸41となる。
【0093】
尚、以下にHough変換を用いた参照物体40とカメラ13との位置関係算出
方法について説明する。図4及び図5を参照して、まず、参照物体40を撮影する。そして、撮影された画像50から、円マーク42を抽出する。参照物体40上の円マーク42は複数存在しており、従って、この時点で円マークは互いに区別できない。そこで、抽出された円マークから任意の3つを取り出す。一方、計算機に登録されている円マーク位置データ51から、やはり任意の3つを取りだす。
【0094】
そして、これらが仮に正しいとした場合の、参照物体座標系と、カメラ座標系との変換行列を求める。この変換行列は、参照物体座標系から見たカメラの位置及び姿勢と見做すことができ、カメラの位置(X,Y,Z)及びカメラの向き(α,β,γ)の6自由度で決定される。尚、X,Y,Z,α,β,γによって規定されるカメラ座標系と参照物体座標系の関係式は、以下の数1となる。
【0095】
【数1】
Figure 0003819662
【0096】
さて、ここで得られたX,Y,Z,α,β,γは正しいことが保証されていない。しかし、上述のような任意の3つの抽出円マーク組、及び3つの登録位置データ組の全組み合わせについて、X,Y,Z,α,β,γを求めた場合を考えてみると、いくつかは正しい組み合わせとなり、正しいX,Y,Z,α,β,γの値を得ることになる。これら正しい組合わせの場合は常に同じX,Y,Z,α,β,γとなる。一方、誤った組合わせの場合は、でたらめなX,Y,Z,α,β,γとなる。
【0097】
そこで、図6に示すように、X,Y,Z,α,β,γ各変数に対応したテーブルを準備し、上記すべての組み合わせについて得られたX,Y,Z,α,β,γについて、テーブルに投票処理する。そして各テーブルでピークを呈する部分を正しい解と見なす。図6では上向き矢印で示された点がそれぞれの変数の解となる。
【0098】
一方、図4に示されるカメラ13間の位置関係は、複数のカメラ13で同じ参照物体40を撮影した際の、参照物体座標系と、カメラ座標系との変換行列から容易に計算できる。即ち、カメラa座標系の三次元の点Pをカメラaの座標系であらわした値をPa、カメラbの座標系であらわした値をPb、参照物体座標系であらわした値をPo、とすると、これらの関係は以下のようになる。
【0099】
Pa = Roa * Po + Toa
Pb = Rob * Po + Tob
ここでRoa、Rob、Toa、Tobはそれぞれ参照物体座標系からカメラa、b座標系への回転変換パラメータ、及び並進パラメータである。即ち、カメラ間の座標変換は、
Pa = Roa *R ob (-1) *Pb + (Toa - Rob (-1) *Tob)
であらわされる。従って、例えば、カメラbの原点は、カメラaでは(Toa - Rob (-1) Tob)の位置にあることになる。
(シルエット法による概略形状計算ステップ)
次に、シルエット法を用いた概略形状抽出について説明する。図7を参照して、まず、カメラから入力された複数の物体画像に対し、対象物体のシルエットを抽出する処理を行なう(S70)。シルエット抽出には、例えば、ブルーバックを用いたクロマキー法や、予め背景画像データを入力しておき、上記物体画像データと背景画像データとの差分処理からシルエットを得る背景差分法などを用いることができる。クロマキー法や背景差分法についての詳細説明は割愛するが、例えば、特開平11−96361号公報などを参照されたい。
【0100】
続いて、複数のシルエット画像から、対象物の三次元形状を再構成する形状再構成処理を行なう(S71)。ここでは、まず、対象物体が存在すると予測さる三次元空間を、ボクセル空間として表現する。ボクセル空間とは、非常に小さな立体素(ボクセル)の集まりで三次元空間を表現するものである。また、対象物体が存在する空間は、回転台の上方で、かつ、カメラの視野に収まる領域として予測することができる。
【0101】
そして、各ボクセルをそれぞれのシルエット画像に投影し、全ての物体シルエット画像上に(或いは一定枚数以上のシルエット画像上に)投影されたもののみを物体概略形状として抽出する。
【0102】
図8は、上記の形状再構成過程を説明するものである。一般に、多数枚のシルエット画像をもとにボクセル空間80へ投影処理を行うが、図では一部のシルエット画像のみを示している。
【0103】
ここで存在可能領域を考える。シルエット画像1に対する存在可能領域とは、カメラの視点中心81を頂点とし、シルエット画像1中の物体像を断面形状とする錐体状の領域82となる。尚、他のシルエット画像に対する存在可能領域も同様に定義できる。従って、対象物体はかならず(シルエット画像に誤りがない限り)、この存在可能領域の内部に存在していることになる。この処理は、直感的には、石膏ブロックから、シルエット外の部分を削り落としてゆき、最終的に物体を削り出す作業になぞらえることが出来る。
【0104】
以上のようにして抽出されたボクセルの集合が物体の三次元形状を表現するものとなる。しかしながら、上記の概略形状では、細かい物体形状は表現されていない。例えば、シルエット輪郭として観測できない部分(例えばコップの内面など)については、埋まった状態で概略形状として計算されてしまう点に注意が必要である。そして、このような凹形状をより正確に求める手法の一つとして、次に説明する空間コード化法がある。
(空間コード化法を用いた詳細形状計算ステップ)
バイナリーパタンを用いた空間コード化法による能動ステレオ法について以下に説明する。バイナリーパタンとは白黒のパタンを意味する。図9(A)〜(G)に、コード化されたバイナリーパタンの一例が示されている。(A)は明の部分と暗の部分が半々のパタンで、(B)、(C)、・・と順次パターンのピッチが1/2となっていく。このようなパタン光を順次対象物に照射していく。
【0105】
図10には、説明のために3種類のパタン光を順次照射した場合のコード例が示されている。各パターンを8ビットのデータとみなすと、パタンA(図10における(A))の明の部分が(1111)、暗の部分が(0000)となり、8ビットで(11110000)となる。パタンB(図10における(B))は同様にして(11001100)となり、パタンC(図10における(C))は(10101010)となる。
【0106】
そして、パタンAをMSB(最上位ビット)、パタンCをLSB(最下位ビット)とすると、3ビットの2進コードを各々の分割領域に割り当てることができる。例えば、右端の領域に対しては(000)=0(10進)を割り当て、左端の領域に対しては(111)=7(10進)を割り当てることができる。
【0107】
このように、n個のパタンを用いることで、nビットの2進コードを空間領域に割り当てることができ、このコードにより空間を一意に識別することができる。図9では合計7個のパタンを用いているため、128個の空間領域を一意に識別することができる。対象物に対してこのようなパタン光を照射して対象物のある点Pの空間領域が特定されると、二つのカメラ画像に投影されているそれぞれの空間領域について容易に識別でき、画像間の対応関係が容易に得られる。
【0108】
即ち、例えば画像にて時系列的に0010101と観測される部位は、それぞれのカメラ画像において唯一であり、これが対応点となる。そして、二つのカメラ位置はキャリブレーションステップにおいて予め求められているため、三角測量原理から各空間領域の三次元位置は容易に計算できる。
【0109】
以上のようにして得られる詳細形状は、観測視点、即ち、受光部視点からの奥行きデータとなる。これを「詳細デプスマップ」と呼ぶことにする。詳細デプスマップは、次の三次元形状データ生成において用いられる。尚、空間コード化による3次元位置計測の詳細に関しては、例えば「三次元画像計測」(井口征士、佐藤宏介共著:昭晃堂)を参照されたい。
(三次元形状データ生成ステップ)
上述のように空間コード化法によって、詳細な形状が求められるが、光を吸収するような黒色の部分については、全く情報が得られない場合がある。一方、シルエット法では、詳細な形状を求めないかわりに、光を吸収するような黒色の部分についても概略の形状を求めることができる。そこで、両者の長所を組み合わせるよう、生成データ統合する必要がある。この統合処理を行うのが三次元形状データ生成ステップである。
【0110】
三次元形状データ生成ステップでは、まず、ボクセルで表現された概略形状を、空間コード化法のカメラ視点からの奥行きデータに変換する。これを概略デプスマップと呼ぶことにする。これに対し、すでに空間コード化法により得られた詳細デプスマップのデータも存在している。
【0111】
さて、詳細デプスマップに関しては、光を吸収するような黒色の部分が対象物に存在している場合などは、一部情報が欠けている可能性がある。これに対し、概略デプスマップは、詳細な凹凸が表現されていない可能性がある。従って、各部位に対する、それぞれのデプスマップ情報の状態は、以下の4つの場合に分けることができる。
【0112】
1:概略デプスマップと詳細デプスマップの奥行き値が等しい。
【0113】
2:概略デプスマップより詳細デプスマップの方が奥行き値が大きい。
【0114】
3:概略デプスマップより詳細デプスマップの方が奥行き値が小さい。
【0115】
4:詳細デプスマップの値が存在しない。
【0116】
1は、シルエット法でも、空間コード化法でも正しく物体形状が計測できた部位になる。2は、シルエット法より、空間コード化法のほうが正確に物体形状が計測できた部位と考えられる。これらに対し、3は、空間コード化法において、白黒パタンの抽出に失敗(具体的には黒パタンが照射されているにも関わらず白パタンが照射されていると判定するなど)するなどして、空間コード化法が明らかに誤った値を出力していると判断できる。
【0117】
なぜなら、正しい物体表面は、かならずシルエット法で求められた表面の上或いは内部にのみ存在するからである。また、4は、該部位が黒色であるなどの理由で、形状データが得られなかった場合に相当する。
【0118】
そこで、以下のようにそれぞれのデプスマップを統合し、最終デプスマップを得る。
【0119】
1、及び2の場合:詳細デプスマップをそのまま最終デプスマップとする。
【0120】
3、及び4の場合:概略デプスマップを最終デプスマップとする。
【0121】
図11に、概略デプスマップ及び詳細デプスマップ、並びにこれらから得られた最終デプスマップの鳥瞰図(ワイヤフレーム表示)を示す。
【0122】
そしてこれらの最終デプスマップを、すでに得られた概略データ(ボクセル集合体の形式で表現されている)に対し、適用する。即ち、概略データを表現するボクセルのうち、最終デプスマップと整合性がとれないもの、より具体的には、最終デプスマップで示される受光部視点からの距離より短い距離のボクセルについては、これを除去する。このようにして除去処理の後、最終的に残っているボクセルにより、物体形状が表現される。
【0123】
尚、三次元形状データは、しばしばCG(Computer Graphics)及びCAD(Computer Aided Design)の各種ツールにおいて使用されるが、この際にはボクセル集合で表現するよりも、ポリゴンやNURBSなどパラメトリック曲面で表現されることが一般的である。この目的で、ボクセル集合の中から、物体表面に対応するボクセルを抽出し、これらを接続することで、ポリゴン表現に変換したり、NURBSに変換することが可能である。
【0124】
以上に述べた本手法の効果を再度まとめると以下のようになる。
1.シルエット法では、対象物の色彩に依存せず三次元形状情報が得られるが、凹形状部分は正しく計測されないという問題がある。
2.凹部分についても正確に形状を求める方法として、レーザ光を用いた光切断法、複数の白黒パタンを照射する空間コード化法があるが、黒色部分や鏡面反射部についてはデータが得られないという問題がある。
3.シルエット法による概略形状抽出と、例えば空間コード化を組み合わせることで、凹形状、黒色部及び鏡面反射部それぞれについて良好な三次元形状計測が可能になる。
(別の実現例:パタン枚数の削減)
上記では、シルエット法と空間コード化法それぞれの長所を適切に利用することで、より汎用的な三次元形状モデリングを実現する方法について述べた。一方、シルエット法などによる概略形状情報を利用することで、空間コード化法における照射パタン数の削減も可能になる。この利点に着目した実施の形態について以下に説明する。
【0125】
この場合の概念構成図は、第1の実施の形態と同じになるため、ここでは説明を省略する。また、処理の大まかな流れも第1の実施の形態と同じであり、キャリブレーション、概略形状抽出、詳細形状計算、及び三次元データ生成の4ステップからなるが、詳細形状計算ステップでは、より具体的には対象物表面候補抽出をおこない、また、三次元データ生成ステップは、表面存在可能領域決定、及び最終三次元形状決定の二つのサブステップからなる。これを示した流れ図が図12である。このうち、キャリブレーション及び概略形状抽出については既に説明したので、ここでの説明は割愛する。
【0126】
以下に、まず、対象物表面候補抽出ステップの処理内容を記す。今、図9に示されたパタンのうち、(D)(E)(F)及び(G)のみ用いる場合を考える。この場合、本来(A)(B)(C)によって区別される3ビット分の情報が欠けているため、同じ白黒パタン時系列を示す部位が一般に8個存在することになる。
【0127】
図13は、上記の状況を示した図である。ここでは、二つのカメラa、bが左右に配置され、対象物には縦方向のバイナリーパタンが照射したと仮定し、これを上方から見た図となっている。カメラaの画面上の、ある点において、コード0010が割り当てられたとすると、カメラbの画面上で同じコード0010が割り当てられた点は、図中対応点候補として○で示した個所であり、8点存在することになる。これら8点の三次元位置は図中表面候補として示した○の地点である。従って、これらを8つの三次元位置を物体表面候補として抽出する。
【0128】
次に、表面存在可能領域決定ステップを説明する。概略形状の内部領域は、物体の表面が存在可能な領域を示すと見做せる。なぜなら、概略形状の外部には決して物体の表面が存在し得ないからである。加えて、対象物の性質が分かっている場合にはさらに表面存在可能領域に制限を与えることができる。例えば、人の顔を入力している場合、表面の凹凸には一定の制限がある。
【0129】
従って、例えば、「概略形状表面から3cmより内側に真の表面は存在しない」というルールを適用することが可能である。このようなルール適用は、人の顔に限らず、あらかじめ対象物体の性質が分かっている場合には一般に可能である。従って、表面存在可能領域決定ステップでは、概略形状情報、及び対象物体の性質を用いて、物体の表面が存在可能な領域を決定する。
【0130】
そして、最終三次元形状抽出ステップでは、得られた物体表面候補のうち、表面存在可能領域内にあるもののみを抽出する。例えば、図13の場合、もともと8個の物体表面候補が存在しているが、それぞれの候補の間隔は極めて疎である。また、決定されている表面存在可能領域が斜線で示される部分だとすると、これらの候補のうち、表面存在可能領域内に当てはまる候補は130で示される○のみになる。従って、130で示される○が最終的な三次元形状として抽出される。
【0131】
このように、概略形状情報を利用することで、空間コード化法におけるパタン数削減が可能になる。これは、データ入力時間の短縮に極めて有効となる。また、空間コード化法の代わりに、レーザ光照射による光切断法を用いた場合、スパイクと呼ばれる対象物体表面データに関するノイズ(極端に表面から飛び出ている、或いは凹んでいるとして誤計測された表面形状データ部分)を容易に除去することができる。
(データ記録)
以上、データ生成について述べたが、このように、信頼性或いは精度の異なる機器又は手法により獲得された三次元データを統合し、あらたな三次元データを生成した場合、このデータは部位により、精度或いは信頼性が異なることになる。
【0132】
例えば、概略形状データをそのまま最終データとした個所は、詳細形状データを最終データとした個所に比べ、信頼性は低いと考えられる。そこで、このようなデータを記録する際に、三次元データの部位毎に信頼性評価値を付加して記録することが好適である。
【0133】
今、三次元データはポリゴンに基づいて表現されるとし、図14に、信頼性データの具体例を示す。図14に示すように、三次元データは頂点座標データ部と、これらを接続して構成されるポリゴンデータ部に別けられる。たとえば、頂点0番(vid 0)は(x,y,z)=(0.0, 20.0,43.0)、頂点1番は(10.3, 5.2, 133.8)、頂点2番は(-20.9,3.2,13.9)に位置し、ポリゴン0番(pid 0)はこれら頂点0番、1番、2番が接続されたものとなることを、このデータは意味している。また、信頼性(例えば、値が大きいほど信頼性が高いとする)は各頂点に対して定義されており、例えば頂点0ではr=1.0、頂点1ではr=0.5となっている。
【0134】
このように、三次元形状データに信頼性を付加して記録することで、生成された対象物体の三次元形状データと、別の手法或いは装置により獲得された同じ対象物体の三次元形状データを更に統合する際、信頼性に応じた重みづけを行いつつ統合処理を進めることが出来る。
【0135】
また、三次元形状データをさまざまなアプリケーションに応用する場合、信頼性に応じて、利用可能な部分を適宜抽出できることになる。たとえば、インターネット上で形状をみる場合などは、形状精度はあまり重要でない場合が多く、信頼性が低いものも含めて表示する。
【0136】
一方、同じデータをCADツールに入力する際は、形状精度が重要であるため、信頼性が高いものだけを入力し、その他はCADツールの持つマニュアルモデリング機能で補間生成するなどの利用方法が考えられる。
【0137】
さらには、三次元データを人手により修正加工する場合、オペレータに修正すべき個所を自動的に教示すると操作性がよくなると考えられる。この際に、上記の信頼性情報が三次元データに付加されておれば、これに応じて修正個所の教示をすることができる。
【0138】
以上、信頼性を数値的な評価値で表現することを前提にデータ記録について述べた。しかし、信頼性の表現は数値的な評価値としてあらわすことに限定されないのはいうまでもない。たとえば、信頼性をいくつかのレベルにわけ、それぞれをシンボルに割り当てる方法が考えられる。そのほか、複数メディアを統合したデータ記録方式が一般的になった場合、音声、或いは映像を用いて信頼性を表現する場合も考えられる。
(その他)
尚、上記では概略形状をシルエット法によって求めたが、その他の手法で概略形状を得ても良い。また、対象物があらかじめ限定されている場合、人手により、或いはデータベース等からの供給により、概略形状を与えることも好適である。
【0139】
さらに、詳細形状抽出の手法として、バイナリーコード化光を用いた能動ステレオ法を用いた場合について説明したが、カラーコード化光或いはレーザ光を用いた光切断法、さらにはモアレ法などを用いても良い。本明細書における「パタン光」とは、これらの方法において用いられる照射光すべてを含んでいることはいうまでもない。また、予めパタン照射部とカメラとの位置関係が正確に求まっていれば、使用カメラ数は1台のみとしても良い。
【0140】
また、空間コード化法において概略形状情報を利用することで、照射パタン数の削減が可能となることについて述べたが、同様に、レーザ光を用いた光切断法においては、複数レーザ光を照射し、奥行きデータの複数候補を得た後、概略形状情報を利用した絞り込を行うことが可能である。この場合も、単一レーザ光を用いた場合に比べ、高速なデータ入力が可能になる。
【0141】
加えて、上記ではシルエット法によって得られる概略形状をボクセルの集合体で表現する方法について述べたが、佐藤他、「曲面物体の形状測定と記述」電子通信学会論文誌 Vol. J-62-D,No.1 (1979)で述べられているように包絡線によって形状を再構成してもよい。また、再構成された形状をポリゴンやNURBSなどのパラメトリック曲面で表現しても良い。
(位置あわせ不要なバイナリーパタン照射)
さて、以上では、一般的なバイナリーパタンによる空間コード化法について述べた。
【0142】
しかし、図9或いは図10に示したバイナリーパタンを用いる場合、以下の問題が発生する。一般に、対象物にバイナリーパタンを照射した入力画像内を白パタンに対応する部分(白パタン領域)と黒パタンに対応する部分(黒パタン領域)とに分離する必要がある。このとき、白パタンと黒パタンの境界部は、白パタン領域に割り当てられるか黒パタン領域に割り当てられるか極めて不安定になる。
【0143】
図16は、入力対象物10に対し、パタン照射部12からバイナリーパタンを照射し、二つのカメラ13A及びBにより画像を入力している状況を示している。カメラAで入力された画像において、白パタン部と黒パタン部との境界付近を拡大した物を図17に示している。
【0144】
図17(a1)はカメラAで入力した画像の一部を示し、図17(b1)はカメラBで入力した画像の一部を示している。いずれにおいても↑で示された白黒パタンの境界は中間的な明度となっている。このような場合、↑で示された部分が最終的に黒パタンに対応したコードが割り当てられるか、或いは白パタンに対応したコードが割り当てられるかは非決定的である。
【0145】
図17(a2)はカメラAで入力した画像の↑部分が白パタンに対応したコードが割り当てられ、図17(b2)はカメラBで入力した画像↑部分が白パタンに対応したコードが割り当てられた場合を示す。この場合、本来↑部には同じコードが割り当てられるべきであるにもかかわらず実際には異なるコードが割り当てられ、その結果、対応関係の誤りが発生することになる。
【0146】
この問題を避けるため、図18に示すように、パタンAの白と黒との境界位置iは、パタンBの白と黒との境界位置ii及びiiiの中点に存在させる方法がある。パタンBとCについても同様な位置関係とする。ここで、もっとも細かいパタンについては、コード割り当てはパタン境界に割り当てることにする。即ち、左が白、右が黒の境界部分に1の、左が黒、右が白の境界部分に0のコードを割り当てる。
【0147】
しかし、この場合、パタンの位置が正確に設定されなければならない。この設定が不正確だと、例えばパタンAが大きく右方向にずれることが考えられ、iがiiと重なって結局上述の問題が発生しうるからである。
【0148】
しかしながら、パタンの位置を正確に設定するためには、高価なパタン照射機構が必要になる.これに対し、パタンの位置を正確に設定する必要がなければ、たとえばスライドプロジェクタのような安価なパタン照射機構を用いることができる。パタンの位置を正確に設定することなく、上記問題を回避するためには、以下の方法が好適である。
【0149】
即ち、対象物にバイナリーパタンを照射した入力画像内を白パタンに対応する部分(白パタン領域)と黒パタンに対応する部分(黒パタン領域)とにのみ分離するのではなく、図19で示すように6種類の領域に分類する。即ち、
A:白パタン領域、
B:白パタンから黒パタンの遷移領域での白領域、
C:白パタンから黒パタンの遷移領域での黒領域、
D:黒パタン領域、
E:黒パタンから白パタンの遷移領域での黒領域、
F:黒パタンから白パタンの遷移領域での白領域、
以上のような領域わけ(コード割り当て)の後、対応関係を得ることになる。
【0150】
ここで、領域割り当てのエラーを考慮し、以下の対応関係を正しいとみなす。
【0151】
A <-> F,A,B
B <-> A,B,C
C <-> B,C,D
D <-> C,D,E
E <-> D,E,F
F <-> E,F,A
以上のように、割り当てコードを2つより増やし、かつ、対応関係に許容範囲を導入することで、領域わけ時に不安定要素があっても対応関係は安定して得ることが出来る。
(カラーコードパタン照射)
次にカラーパタンによる空間コード化法について説明する。上記のバイナリーパタンを用いた空間コード化法では複数のパタンを照射する必要がある。これに代えて、カラーパタンを用いることで、照射パタン数を削減することが可能である。
【0152】
図20にカラーパタンの例を示す。ここで隣接したパタンの間で色彩は出来るだけ異なることが望ましく、その色彩をHSV空間で記した際に色相が少なくとも90度以上異なるか、又は明度が0.3以上ことなることが望ましい。図20の場合、赤、緑、青、黒、の4種類の色を用いてパタンを構成している。もちろん、これ以外の組み合わせでもよいし、互いの色相や明度が十分異なれば、別の色でもよい。
【0153】
このようなパタンを照射された物体の画像に対し、以下の処理を行うことで、各画像を撮影した視点から対象物までの距離を計算する。
1.画像から特徴点を抽出
画像に対し、エッジ抽出を行い、さらに細線化処理を施す。このうち、予め定められた一定値以上の細線化エッジを特徴点とする。
2.各特徴点の属性を割り当て
特徴点の左右の色彩情報を属性として割り当てる。ここで、安定した属性割り当てのため、左右二つの特徴点に挟まれた領域ないの色彩データを平均化することが好適である。また、画像に対し、領域分割を施し、同領域内の色彩データを平均化してもよい。
3:属性に基づいた複数視点からの画像間で特徴点の対応づけ
それぞれの画像から抽出された特徴点どうしの対応づけを属性に基いて行う。
【0154】
ここで、属性の類似したものほど尤らしい対応とみなす。類似性は、上記属性をRGBで表現し、たとえば、
|Rla - Rlb| +|Gla - Glb| +|Bla - Blb| +|Rra - Rrb| +|Gra - Grb| +|Bra - Brb|
として計算する。ここで、Rlaとはカメラ視点aの画像における特徴点の左の色彩に関するR成分の値を意味する。また|Rla - Rlb|はRlaとRlbの差の絶対値をあらわす。このほか、HSVその他の色空間を用いて同様に類似性を評価してもよい。
【0155】
尚、3の処理においては、二つの画像間で属性が最も類似している特徴点どうしを対応づける、いわゆる2眼ステレオ法に基いた方法の他に、3眼以上の多眼ステレオ法を用いることで、より信頼性良く特徴点の対応づけを行うことも好適である。
【0156】
たとえば、3眼ステレオ法の場合、カメラ視点A,Bに対応した二つの画像間(ABペア)で属性が類似している特徴点を複数抽出するともに、カメラ視点B,Cに対応した二つの画像間(BCペア)でも属性が類似している特徴点を複数抽出する。そしてそれぞれの対応特徴点候補に対し、カメラ視点Bからの奥行き値を求める。もし、対応特徴点候補が正しければ、A,Bペアで求めた場合の奥行き値と、B,Cペアで求めた奥行き値は一致(或いはある誤差範囲内)するはずである。
【0157】
したがって、それぞれ抽出された候補特徴点の奥行きを比較し、その差が最も小さいものを正しい対応特徴点とする。これにより信頼性良く特徴点の対応づけを行うことができる。図21は、A、B、及びCの3つのカメラを用いて得られた対応特徴点候補の奥行き値を模式的に示している。この場合、図中○で示された組が最終的に正しい対応特徴点と判断される。
【0158】
尚、上記の説明では、ステレオカメラの配置が左右方向になされることを前提としており、このため、パタンは縦長の短冊上とした。もちろん、ステレオカメラが上下方向にの配置される場合には、横長の短冊状パタンを用いることが好適である。
(精度の異なる3Dセンサーの利用)
この他、三次元形状入力装置において、入力精度が異なる複数の三次元形状入力手段、たとえばレーザスキャナヘッドをもちいることは好適である。
【0159】
一般に、入力精度の高いレーザスキャナヘッドは、入力精度の低いレーザスキャナヘッドにくらべて計測範囲が小さい。そこで、まず、低精度レーザスキャナヘッドを用いて対象物の概略形状を得る。つぎに、高精度レーザスキャナヘッドを用いて、より詳細に対象物の形状を得る。
【0160】
ここで、高精度レーザスキャナヘッドはロボットアーム或いは多軸ステージに取り付けられており、得られた概略形状に基いて、計測に適切な位置に高精度レーザスキャナヘッドを移動し、必要な形状データを得る。このようにして、高精度レーザスキャナヘッドのみでは全体の形状計測が困難な大きな対象物に対しても、精度良く、かつ自動的に形状計測が可能になる。
【0161】
尚、以上の説明では、精度の異なる2種類のレーザスキャナヘッドを用いた場合を説明したが、さらに多くの種類のレーザスキャナヘッドを用いてもよい。また、レーザスキャナヘッドの代わりに、別の手法に基いた三次元計測手段を用いてよいことは当然であり、すでに述べた能動ステレオ法、或いはモアレ法を用いた三次元計測手段などが利用できる。
【0162】
【発明の効果】
以上説明したように、本発明によれば、概略形状情報と、光照射により得られた詳細形状情報を共に利用することで、凹形状、暗色部及び鏡面反射部それぞれについて良好な三次元形状計測が可能になる。
【0163】
さらに、詳細形状情報を利用することで、空間コード化法を用いた場合の照射パタンを削減したり、レーザ光照射による光切断法におけるスパイクノイズを容易に除去することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態に関する構成図である。
【図2】本発明の一実施の形態の流れ図である。
【図3】パースペクティブ比を説明する図である。
【図4】キャリブレーション(外部パラメータ算出)を説明する図である。
【図5】Hough変換の原理を説明する図である。
【図6】Hough変換でのパラメータ決定を説明する図である。
【図7】シルエット法による概略形状計算の流れ図である。
【図8】シルエット法による形状再構成を説明する図である。
【図9】7種類のバイナリーパタンの例である。
【図10】バイナリーパタンによる空間コード化法の原理を示す図である。
【図11】概略デプスマップ、詳細デプスマップ及び最終デプスマップの説明図である。
【図12】本発明の別の実施の形態の流れ図である。
【図13】複数の表面候補と、概略形状に基づいた表面存在可能領域の関係を説明する図である。
【図14】信頼性情報を持つ三次元形状データの例である。
【図15】レーザ光照射部の基本構成を説明する図である。
【図16】二つのカメラによるパタン照射画像入力の例を示す図である。
【図17】バイナリーパタンのコード割り当て誤りの例を説明する図である。
【図18】別のバイナリーパタンの例を説明する図である。
【図19】6種類のコード化領域の割り当てを説明する図である。
【図20】カラーコードパタンの例を示す図である。
【図21】A、B、及びCの3つのカメラを用いて得られた対応特徴点候補の奥行き値を模式的に示す図である。
【符号の説明】
10…入力対象物
11…回転台
12…パタン照射部
13…受光部(カメラ)
14…制御部
15…処理部
16…記録部
30…基準ポール
31…画像面
40…参照物体
41…回転軸
42…円マーク
50…撮影画像
51…登録済み円マーク位置データ
80…ボクセル空間
81…カメラ視点中心
82…錐体状領域
130…最終三次元形状部分

Claims (18)

  1. 三次元物体の三次元形状データを生成する三次元モデリング装置であって、
    前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算手段と、
    前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算手段と、
    前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成手段と、
    を具備し、
    前記概略形状計算手段で計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また 前記詳細形状計算手段で計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする三次元モデリング装置。
  2. 請求項1に係る三次元モデリング装置において、
    前記三次元物体に対し、パタン光を照射する照射手段と、
    前記三次元物体の画像を取得する画像入力手段と、
    を具備し、
    前記画像入力手段は、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする三次元モデリング装置。
  3. 請求項1又は2に記載の三次元モデリング装置において、
    前記三次元形状データ生成手段は、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする三次元モデリング装置。
  4. 請求項1〜3のうちいずれかに記載の三次元モデリング装置において、
    前記詳細形状計算手段は、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする三次元モデリング装置。
  5. 請求項1〜4のうちいずれかに記載の三次元モデリング装置において、
    前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をHSV空間で記した際に色相が少なくとも90度以上異なるか、又は明度が0.3以上異なることを特徴とする三次元モデリング装置。
  6. 請求項1〜5のうちいずれかに記載の三次元モデリング装置において
    前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする三次元モデリング装置。
  7. 請求項6に記載の三次元モデリング装置において、
    前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする三次元モデリング装置。
  8. 請求項6、又は7に記載の三次元モデリング装置において、
    前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする三次元モデリング装置。
  9. 請求項8に記載の三次元モデリング装置において、
    前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする三次元モデリング装置。
  10. 三次元物体の三次元形状データを生成する三次元モデリング方法は、
    前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算ステップと、
    前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算ステップと、
    前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成ステップと、
    からなり、
    前記概略形状計算ステップで計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また 前記詳細形状計算ステップで計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする三次元モデリング方法。
  11. 請求項10に係る三次元モデリング方法において、
    前記三次元物体に対し、照射手段によってパタン光を照射する照射ステップと、
    前記三次元物体の画像を取得する画像入力ステップと、
    を備え、
    前記画像入力ステップは、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする三次元モデリング方法。
  12. 請求項10又は11に記載の三次元モデリング方法において、
    前記三次元形状データ生成ステップは、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする三次元モデリング方法。
  13. 請求項10〜12のうちいずれかに記載の三次元モデリング方法において、
    前記詳細形状計算ステップは、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする三次元モデリング方法。
  14. 請求項10〜13のうちいずれかに記載の三次元モデリング方法において、
    前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をHSV空間で記した際に色相が少なくとも90度以上異なるか、又は明度が0.3以上異なることを特徴とする三次元モデリング方法。
  15. 請求項10〜14のうちいずれかに記載の三次元モデリング方法において
    前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする三次元モデリング方法。
  16. 請求項15に記載の三次元モデリング方法において、
    前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする三次元モデリング方法。
  17. 請求項15、又は16に記載の三次元モデリング方法において、
    前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする三次元モデリング方法。
  18. 請求項17に記載の三次元モデリング方法において、
    前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする三次元モデリング方法。
JP2000052422A 1999-12-24 2000-02-28 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体 Expired - Fee Related JP3819662B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000052422A JP3819662B2 (ja) 1999-12-24 2000-02-28 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体
TW90108760A TWI226022B (en) 1999-12-24 2001-04-12 Three-dimensional modeling apparatus, method, and medium readable by computer and three-dimensional shape data recording apparatus, method, and medium readable by computer

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-366706 1999-12-24
JP36670699 1999-12-24
JP2000052422A JP3819662B2 (ja) 1999-12-24 2000-02-28 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体

Publications (2)

Publication Number Publication Date
JP2001243468A JP2001243468A (ja) 2001-09-07
JP3819662B2 true JP3819662B2 (ja) 2006-09-13

Family

ID=26581828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000052422A Expired - Fee Related JP3819662B2 (ja) 1999-12-24 2000-02-28 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体

Country Status (2)

Country Link
JP (1) JP3819662B2 (ja)
TW (1) TWI226022B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791542B2 (en) * 2002-06-17 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Modeling 3D objects with opacity hulls
JP2005169141A (ja) * 2005-01-24 2005-06-30 National Institute Of Information & Communication Technology 生体活動計測装置
JP2007051893A (ja) * 2005-08-16 2007-03-01 Ricoh Co Ltd 三次元形状計測方法及び三次元形状計測装置
JP5002144B2 (ja) * 2005-09-30 2012-08-15 株式会社トプコン 三次元計測用投影装置及びシステム
JP4931728B2 (ja) * 2007-08-08 2012-05-16 シーケーディ株式会社 三次元計測装置及び基板検査機
JP5210203B2 (ja) * 2009-02-25 2013-06-12 ローランドディー.ジー.株式会社 画像の差分による高精度ステレオカメラキャリブレーション
DE112009005423T5 (de) * 2009-12-07 2012-12-06 Peking University Modellierung konkaver Oberflächen in bildbasierten visuellen Hüllen
TWI472801B (zh) * 2010-07-29 2015-02-11 Pixart Imaging Inc 一種用於互動介面之三維資訊產生裝置與三維資訊產生方法
JP5840114B2 (ja) * 2011-11-30 2016-01-06 三菱電機株式会社 仮想画像を生成する方法
US9785729B2 (en) 2012-12-14 2017-10-10 Nvidia Corporation Technique for simulating the dynamics of hair
TWI480507B (zh) * 2013-07-12 2015-04-11 Univ Nat Taiwan Science Tech 三維模型重建方法及其系統
CN104424662B (zh) * 2013-08-23 2017-07-28 三纬国际立体列印科技股份有限公司 立体扫描装置
JP6098731B2 (ja) * 2013-11-15 2017-03-22 株式会社島津製作所 表面形状測定装置
KR101931773B1 (ko) * 2017-07-18 2018-12-21 한양대학교 산학협력단 형상 모델링 방법, 이를 이용하는 장치 및 시스템
US11107268B2 (en) * 2018-09-07 2021-08-31 Cognex Corporation Methods and apparatus for efficient data processing of initial correspondence assignments for three-dimensional reconstruction of an object
WO2020075768A1 (ja) 2018-10-10 2020-04-16 株式会社Preferred Networks 三次元走査装置、三次元モデルの生成方法、訓練用データ、及び機械学習モデル
JP7310829B2 (ja) 2018-10-31 2023-07-19 株式会社ニコン 加工システム、及び、加工方法
CN110288687A (zh) * 2019-06-19 2019-09-27 深圳市福瑞达显示技术有限公司 一种应用于风扇屏的3d建模方法及其系统
US10565737B1 (en) 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system
CN111275770A (zh) * 2020-01-20 2020-06-12 南昌航空大学 基于一维靶标旋转运动的四目立体视觉系统全局标定方法
CN114014136B (zh) * 2021-11-12 2023-05-30 猫岐智能科技(上海)有限公司 光幕成像方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634342A (ja) * 1992-07-17 1994-02-08 Oki Electric Ind Co Ltd 3次元画像入力装置
JP3514822B2 (ja) * 1994-06-29 2004-03-31 株式会社東芝 画像処理装置
JP3625622B2 (ja) * 1996-08-30 2005-03-02 三洋電機株式会社 立体モデル作成装置、立体モデル作成方法および立体モデル作成プログラムを記録した媒体
JPH1163954A (ja) * 1997-08-25 1999-03-05 Suzuki Motor Corp 三次元形状の計測装置
JPH11326057A (ja) * 1998-05-20 1999-11-26 Kao Corp 三次元物体の計測方法及び装置

Also Published As

Publication number Publication date
TWI226022B (en) 2005-01-01
JP2001243468A (ja) 2001-09-07

Similar Documents

Publication Publication Date Title
JP3819662B2 (ja) 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体
US6965690B2 (en) Three-dimensional modeling apparatus, method, and medium, and three-dimensional shape data recording apparatus, method, and medium
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
US7079679B2 (en) Image processing apparatus
US20120176478A1 (en) Forming range maps using periodic illumination patterns
JP5453000B2 (ja) 対象物を3dデジタル化するための方法及び装置
KR100682889B1 (ko) 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
US6278460B1 (en) Creating a three-dimensional model from two-dimensional images
US20100328308A1 (en) Three Dimensional Mesh Modeling
KR20160082931A (ko) 깊이 카메라를 교정하는 방법
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
CN112232319A (zh) 一种基于单目视觉定位的扫描拼接方法
JP6942566B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR20200049337A (ko) 영상 정합 장치 및 방법
JP2004280776A (ja) 画像内のオブジェクトの形状を決定する方法
JP2000185060A (ja) 歯牙のマ―ジンライン抽出法
JP2003067726A (ja) 立体モデル生成装置及び方法
KR20210050365A (ko) 영상 정합 장치 및 방법
JPH09204532A (ja) 画像認識方法および画像表示方法
JP3823559B2 (ja) 三次元距離データを変換する方法
TW201502466A (zh) 三維模型重建方法及其系統
JPH07146937A (ja) パターンマッチング方法
JP6061631B2 (ja) 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20030818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051011

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees