Nothing Special   »   [go: up one dir, main page]

JP4742190B2 - 3次元オブジェクト計測装置 - Google Patents

3次元オブジェクト計測装置 Download PDF

Info

Publication number
JP4742190B2
JP4742190B2 JP2006552886A JP2006552886A JP4742190B2 JP 4742190 B2 JP4742190 B2 JP 4742190B2 JP 2006552886 A JP2006552886 A JP 2006552886A JP 2006552886 A JP2006552886 A JP 2006552886A JP 4742190 B2 JP4742190 B2 JP 4742190B2
Authority
JP
Japan
Prior art keywords
image
pedestal
camera
reflected
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006552886A
Other languages
English (en)
Other versions
JPWO2006075528A1 (ja
Inventor
佳嗣 眞鍋
國宏 千原
友樹 浦西
Original Assignee
国立大学法人 奈良先端科学技術大学院大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 奈良先端科学技術大学院大学 filed Critical 国立大学法人 奈良先端科学技術大学院大学
Priority to JP2006552886A priority Critical patent/JP4742190B2/ja
Publication of JPWO2006075528A1 publication Critical patent/JPWO2006075528A1/ja
Application granted granted Critical
Publication of JP4742190B2 publication Critical patent/JP4742190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【技術分野】
【0001】
本発明は、3次元オブジェクトを複数の角度から撮影し、一つの画像における特徴点と当該特徴点と対応する他の画像における特徴点(対応特徴点)との対応関係を基に複数の画像を利用した3次元オブジェクトのステレオ計測処理を行ない、3次元オブジェクトの3次元画像データを生成する3次元オブジェクト計測装置に関する。
【背景技術】
【0002】
近年、小・中・高校教育において学校教育の情報化推進計画が進められており、全ての小中高等学校の各学級の授業においてコンピュータを活用できるように施策が推進されている。また、家庭においてもブロードバンドネットワークが普及してきており、気軽にインターネット上の様々なデータを検索・閲覧できるようになってきた。
このように、教育分野においてハードウェア資源やネットワーク環境が整備されつつある中、手軽に利用できる魅力のある教育用コンテンツの充実の重要性が指摘されている。代表的な教育用コンテンツの一つとして昆虫や動物の電子図鑑が挙げられる。現在でも昆虫や動物の情報をデジタル化した電子図鑑が存在し、インターネットを介して閲覧可能となっているが、現行の電子図鑑の中には、既存の図鑑本に掲載されている2次元平面写真等をデジタルデータとして取り込んでデータベース化し、検索・閲覧可能としただけの電子図鑑も多いため、特に、今後は、昆虫や動物の立体的な構造や動きを見ることができる3次元電子図鑑など多様な電子図鑑の開発が望まれている。
【0003】
ここで、現在では昆虫や動物の3次元形状を取り込むことは専門家による多大な労力とコストを必要とするが、教育の現場において先生のニーズに沿った多様な電子図鑑の動的な開発・製作のためには、いちいち専門家を介さずに手軽に学校の先生などが電子図鑑を編集できることが望ましい。つまり、学校の先生など一般の人が手軽に3次元オブジェクトの形状とその動きを計測して3次元データとして取り込み、それら3次元データを基に電子図鑑を製作したり内容を追加したりできる装置の開発が必要とされている。
【0004】
3次元オブジェクトの形状を計測して3次元データとして取り込む技術は、主にコンピュータビジョンの分野で研究されており、3次元オブジェクトの形状の計測手法としては、アクティブ計測法とパッシブ計測法の2つが知られている(例えば、特許文献1)。
前者のアクティブ計測法には、レーザや超音波を用いた直接計測法や、プロジェクタなどによりパターンを投影し、そのパターンの歪みにより表面の形状を計測するパターン投影法などがある。後者のパッシブ計測法には2台以上のカメラを使ってステレオ計測するステレオ計測法がある。なお、鏡を利用して1台のカメラによってステレオ計測する手法も提案されている。
【0005】
【特許文献1】
特開2001−241928
【発明の開示】
【発明が解決しようとする課題】
【0006】
まず、従来のアクティブ計測法には、第1の問題として計測範囲が狭いという問題があった。レーザや超音波を用いた直接計測法においても、プロジェクタなどによりパターンを投影するパターン投影法においても、これら照射光などが直接当たっている範囲でなおかつカメラなどの測定器で観測される範囲しか計測できないという問題点があった。
【0007】
また、従来のアクティブ計測法には、第2の問題として模様や色彩の画像データを得ることができないという問題もあった。従来のアクティブ計測法は3次元オブジェクトの外形形状を測定するためのものであり、模様や色彩データを直接得ることができないため、模様や色彩データを他に用意する必要があった。つまり、このアクティブ計測法は主に3次元オブジェクトから3次元ワイヤーフレームや3次元ポリゴンを生成するための手法であり、模様や色彩データはテクスチャ画像として別途、展開画像を用意する必要があり、3次元画像データ生成のためには多数の工程と多大の労力が必要となる。
【0008】
次に、従来のパッシブ計測法には、第1の問題として装置の規模が大きくなってしまうと言う問題があった。本来2次元画像である3次元オブジェクトの撮影画像を基に3次元画像データを得るためには、3次元オブジェクトを複数の視点から撮影した複数の2次元画像が必要となるが、電子図鑑として視聴に耐える3次元画像データとするためには、3次元オブジェクトの周囲にぐるりと多数のカメラを用意し、3次元オブジェクトを上下左右の全周を撮影する必要がある。このように電子図鑑として視聴に耐える3次元画像データを得るためには装置の規模が大きくなってしまうという問題点がある。
【0009】
また、従来のパッシブ計測法には、第2の問題として多数の視点から多数の画像を用意した場合、特徴点同士のマッチングを取ることが難しくなると言う問題があった。ステレオ計測法では、多数の視点から撮影した多数の画像の間でステレオ計測を行なう必要があり、その過程において画像上の特異点やエッジ部分などの特徴点を選び出し、その特徴点を手掛かりとしてマッチングを行なう。しかし、昆虫や動物など複雑な形状を持つ3次元オブジェクトには多数の特徴点が存在し、特徴点の数が増えるにつれてそれらのマッチングを行なうための計算量が急激に増えて行き、マッチングを取ることが難しくなる。
なお、装置規模を小さくするためカメラの台数を減らす工夫として、平面鏡を利用した装置があるが、この装置によればパッシブ計測法の第1の問題点はある程度緩和されるが、3次元オブジェクトの上下左右の全周をカバーする画像を得るためには、なお、複数のカメラが必要である。さらに、この装置ではパッシブ計測法の第2の問題点は緩和できない問題として残る。
【0010】
また、システム構成の単純化を目的として、鏡やプリズムなどによる反射像や屈折像を用いて、1台のカメラで物体の3次元形状を計測する反射屈折ステレオ視系が知られている。反射屈折ステレオ視系とは、物体表面の同じ一点を始点として異なる軌道を進む複数の光を、光学機器を用いることで単一のカメラに入射させ、複数視点からカメラで観測した像と等価な画像を撮影することで、1台のカメラでステレオ視を実現するシステムである。
この反射屈折ステレオ視系は、1台のカメラで視差のある画像が得られるため、カメラパラメータの補正処理が不要となり、かつ、各視点の像が同期して撮影される利点を有する。また、エピポーラ線が走査線上と同一になるようにカメラや鏡を配置することで、複数のカメラを用いたステレオ視系と同様に、対応点の存在する範囲を限定することが可能となる。
しかし、反射屈折ステレオ視系に基づく物体の全周形状計測手法は、鏡による不規則な写り込みの発生や対応点探索範囲の拡大により、正しい全周形状を得ることが困難である問題がある。
【0011】
上記問題点に鑑み、本発明は、装置規模が小さく、1台(または2台)という少ない台数のカメラにより撮影した少ない枚数の撮影画像により3次元オブジェクトの上下左右全周をカバーする画像が得ることができ、かつ、画像間の特徴点同士の対応を簡便に取ることができ、一回の撮影で物体の全方向からの多視点画像を得られ、反射屈折ステレオ視により、一枚の画像から物体の3次元全周形状を計測できる3次元オブジェクト計測装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するため、本発明の3次元オブジェクト計測装置は、撮影対象となる3次元オブジェクトを載せる台座と、前記台座を筒の内壁面で取り囲み、前記筒の内壁面を鏡面とした鏡面円筒体と、前記台座に対向し、レンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズと、前記魚眼レンズを介して得られた画像を記録する撮影記録手段とを備えたカメラを備え、前記カメラの撮影記録手段により、前記台座上の3次元オブジェクトを直接見た直接画像と、前記鏡面円筒体の内壁の鏡面に映り込んでいる前記台座上の3次元オブジェクトの反射画像とを併せて撮影するものである。
上記構成によれば、魚眼レンズによりレンズ光軸を中心として放射状に全視野角の映像が撮影でき、魚眼レンズに対向する台座に載せられた3次元オブジェクトを直接撮影した直接画像と、鏡面円筒体の側面内壁の鏡面に映り込んでいる3次元オブジェクトの反射画像とを併せて一度に撮影することができる。円筒鏡面の性質上、この反射画像は3次元オブジェクトの周囲をぐるりと囲む全方向の視点から見える正面画像が映り込んだものとなっており、当該反射画像の撮影により、全方向の視点からの正面画像を一度に得ることができる。
なお、撮影対象となる3次元オブジェクトを台座に載せる以外に、3次元オブジェクトを固定支持する手段、例えば、針金などで刺して固定支持してもよい。また、卓上を台座として活用してもよい。
[0013]
ここで、鏡面円筒体の側面内壁の鏡面に映り込んでいる3次元オブジェクトの反射画像が複数ある場合がある。つまり、鏡面で一回反射して魚眼レンズに捉えられたいわゆる一回反射画像、鏡面で二回反射して魚眼レンズに捉えられたいわゆる二回反射画像など、鏡面でn(nは自然数)回反射して魚眼レンズに捉えられたいわゆるn回反射画像があり得る。
なお、上記は静止画像の説明であるが、時系列に連続した静止画像を得ればそれらを動画像として扱うことができ、対象物体の動きに関する3次元動両像データも得ることが可能となる。
[0014]
また、上述の目的を達成するため、本発明の3次元オブジェクト計測装置は、撮影対象となる3次元オブジェクトを載せる台座と、前記台座を筒の内壁面で取り囲み、前記筒の内壁面を鏡面とした鏡面円筒体と、前記台座に対向し、レンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズと、前記魚眼レンズを介して得られた画像を記録する撮影記録手段とを備えたカメラを備え、前記カメラの撮影記録手段により、前記台座上の3次元オブジェクトを直接見た直接画像と、前記鏡面円筒体の内壁の鏡面に映り込んでいる前記台座上の3次元オブジェクトの反射画像とを併せて撮影する3次元オブジェクト計測装置であって、前記カメラの撮影記録手段により撮影した撮影画像上の特徴点を抽出して決定する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記直接画像上の特徴点に対応する前記反射画像上の対応特徴点を前記反射画像上において探索して決定する、または、前記特徴点抽出手段によって抽出された前記反射画像上の特徴点に対応する前記直接画像上の対応特徴点を前記直接画像上において探索して決定する手段であって、前記撮影画像において画像の中心と前記特徴点とを結ぶ延長線上を探索することにより前記対応特徴点の探索を行なう対応特徴点探索手段と、前記特徴点と前記対応特徴点との対応関係を基に前記直接画像と前記反射画像とのステレオ計測処理を行ない、前記直接画像と前記反射画像から前記3次元オブジェクトの3次元画像データを生成する3次元画像データ生成手段を備えたことを特徴とするものである。
上記構成により、ステレオ計測処理において直接画像と反射画像の間で特徴点とその特徴点に対応する対応特徴点とを簡便にマッチングすることができる。つまり、本発明の3次元オブジェクト計測装置では、反射画像は台座の中心(円筒中心)から放射線状に展開された画像となっており、特徴点と対応する対応特徴点とが必ず同じ直線上にあるため対応点探索が簡単となる利点がある。
すなわち、撮影対象のオブジェクト上のある点の画像は、正対する鏡面円筒体の内壁鏡面に映り込み、二回反射画像の場合は点対称となるが、中心点を挟んで折り返した位置となるので、結局、直接画像上のある特徴点に対応する反射画像上の特徴点は直接画像上の当該特徴点と画像の中心点を結ぶ直線の延長線上にあることとなるのである。この幾何学的関係を特徴点の探索のマッチングアルゴリズムに取り込むことにより、その計算コストを大幅に低減することが可能となる。
本発明は、鏡面円筒体とレンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズとを組み合わせることにより、複雑な特徴点検出アルゴリズムを用いることがなく、特徴点同士の幾何学的関係を用いて効率よく特徴点と対応する対応特徴点を探索できるのである。
なお、上記した特徴点同士の幾何学的関係は、オブジェクトが台座の中心からずれた位置に載せ置かれていても変わることはない。オブジェクトが台座の中心からずれた位置に載せ置かれた場合でも特徴点同士の幾何学的関係が保たれる。オブジェクトが台座の中心からずれた位置に載せ置かれている場合、鏡面円筒体の内壁鏡面に映り込んだ反射画像は歪んでしまうが、特徴点同士は画像中心を通る直線上に存在する。これは、カメラの光軸と円筒鏡の中心軸が一致しているとき、ある光線がカメラに入射するためには、光線は円筒鏡の中心軸を通らなければならず、円筒の中心軸を挟んで向き合う円筒鏡の2点の接線は常に平行になり、円筒の中心を通る光線は常に、平行な接線をもつ鏡面に対して、真上から観察した場合に垂直に入射することとなるからである。
[0015]
次に、本発明の3次元オブジェクト計測装置において、前記台座を透明素材で形成し、前記台座の下方向からも前記オブジェクトを可視とし、前記カメラとして第1のカメラと第2のカメラの2つのカメラを備え、前記第1のカメラの魚眼レンズと前記第2のカメラの魚眼レンズが前記台座を挟んで対向し合うように配置することが好ましい。
上記構成により、鏡面円筒体のいわゆる上面と下面の2方向から魚眼レンズで撮影することにより、3次元オブジェクトの上部画像と下部画像を同時に撮影することが可能となる。
[0016]
次に、本発明の3次元オブジェクト計測装置において、前記カメラが前記鏡面円筒体に対して前記円筒中心軸に沿った移動が可能となっており、前記台座と前記魚眼レンズの距離を、撮影対象となる3次元オブジェクトの高さをLとして、基底となっている前記台座からL〜10Lの範囲で可変とすることが好ましい。
鏡面円筒体の側面内壁の鏡面において3次元オブジェクトの反射画像が映り込む位置は計測する3次元オブジェクトの大きさ(高さ、厚み)や形状により異なる。直接画像および反射画像を適切に撮影するため魚眼レンズの位置(台座と魚眼レンズとの距離)が調整できることが好ましい。そこで、台座と魚眼レンズとの距離を可変としたものである。
[0017]
次に、本発明の3次元オブジェクト計測装置において、前記台座と前記鏡面円筒体および前記カメラとの相対運動を可能とし、前記台座を固定した状態で、前記台座の中心を回転運動の中心として3次元空間内での前記鏡面円筒体および前記カメラを一体とした自由な回転移動を可能とすることが好ましい。
上記構成により、3次元オブジェクトが切り立った側面形状を持っている場合や、3次元オブジェクトが凹形状を持っている場合であっても、当該部分についてステレオ計測に必要な画像を得ることができる。例えば3次元オブジェクトが切り立った側面形状を持っている場合は、鏡面円筒体と台座を固定したままでは魚眼レンズによっては直接画像をうまく得ることができない。また、3次元オブジェクトが上面に少し深い凹形状を持っている場合は、鏡面円筒体とカメラを固定したままで直接画像を得ることはできるものの、反射画像としては凹形状の部分は周縁の壁面の陰になって得ることはできない。そこで、台座を固定した状態で、台座の中心を回転運動の中心として3次元空間内での鏡面円筒体およびカメラを一体とした自由な回転移動を可能としたものであり、上記前者の側面形状の場合や上記後者の凹形状の場合であっても、それら部分の直接画像および反射画像が撮影できる別アングルの角度となるように鏡面円筒体およびカメラの配置を調整せしめることを可能としたものである。
【発明の効果】
【0018】
本発明の3次元オブジェクト計測装置によれば、魚眼レンズによりレンズ光軸を中心として放射状に全視野角の映像が撮影でき、鏡面円筒体を組み合わせて台座に載せられた3次元オブジェクトの撮影画像を取得することにより、魚眼レンズに対向する台座に載せられた3次元オブジェクトを直接撮影した直接画像と、鏡面円筒体の側面内壁の鏡面に映り込んでいる3次元オブジェクトの反射画像とを併せて一度に撮影することができる。また、本発明の3次元オブジェクト計測装置によれば、ステレオ計測処理において直接画像と反射画像の間で特徴点とその特徴点に対応する対応特徴点とを簡便にマッチングすることができる。
【発明を実施するための最良の形態】
【0019】
以下、図面を参照しつつ、本発明の3次元オブジェクト計測装置の実施例を説明する。ただし、本発明の技術的範囲は以下の実施例に示した具体的な用途や形状・寸法などには限定されない。
また、3次元オブジェクトの計測の際に、3次元オブジェクトを支持する手段は、オブジェクトを支えることができるものであれば良く、例えば、台座、吊るし糸、針金、針などが挙げられる。ここで台座は装置筐体に組み込まれる小さな板状のものに限定されず、机や置き台のような大きなものも含む。机を支持手段とする場合は後述する鏡面円筒体を、支持手段である台座としての机の上に立てて据え置くこととなる。
以下に説明する実施例では3次元オブジェクトの支持手段を小さな円盤状の板である台座として説明する。
【実施例1】
【0020】
実施例1にかかる本発明の3次元オブジェクト計測装置の例を示す。
図1は実施例1に係る3次元オブジェクト計測装置100の基本構成を模式的に示した図である。
【0021】
10は撮影対象となる3次元オブジェクトを載せる台座である。台座10の形状は限定されないが、例えば、円盤状とする。台座10の大きさは撮影対象となる3次元オブジェクトが載せ置ける大きさとする。
【0022】
20は鏡面円筒体である。鏡面円筒体20は横断面が真円である円筒形状を持ち、その内壁面が鏡面となっている。つまり、本発明に言う鏡面円筒体とは、筒体の内壁面が円筒形でかつ鏡面となっているものを言う。筒体の外壁面はかならずしも円筒形でなくとも良くまた鏡面でなくとも良い。例えば、外形形状は四角柱でプラスチック素材であるが、その内側に円柱形のくり抜きがありその内壁面が鏡面であるようなものも含まれる。
鏡面円筒体20の内径はその中に台座10を収める大きさを持っており、この例では台座10は鏡面円筒体20の底面部分に収められている。
鏡面円筒体20の高さは、撮影対象となる3次元オブジェクトの高さをLとすると、基底となっている台座10からL以上あれば良いが、例えば、台座10から2L〜10L程度の高さとすることができる。
【0023】
30はカメラである。カメラ30は魚眼レンズ31と撮影記録手段32を備えている。
魚眼レンズ31は、台座10に対向し、レンズ光軸が鏡面円筒体20の円筒中心軸と一致するように配置されている。この例では魚眼レンズ31は鏡面円筒体20の上面に配置され、台座10に対向するように下向きに据え付けられている。魚眼レンズ31の中心軸(レンズ光軸)は円筒鏡面体20の中心軸(円筒中心軸)に一致するように配置されている。
撮影記録手段32は魚眼レンズ31を介して得られた画像を記録できるものであれば特に限定されず、アナログフィルムに露光記録するいわゆるアナログ画像記録手段でもよく、CCD(Charge Coupled Device)などの受光素子で受光してデジタルデータとして記録するいわゆるデジタル記録手段でも良い。一例としてここでは撮影記録手段32はデジタル画像記録手段とする。
【0024】
画像データ処理装置40は、カメラ30により撮影された2次元画像を受け取り、ステレオ計測処理により3次元画像データを生成するものである。画像データ処理装置40は、特徴点抽出手段41、対応特徴点探索手段42、3次元画像データ生成手段43を備えるが(図1には図示せず)、これらについては後述する。
【0025】
次に、図1に示した3次元オブジェクト計測装置100の構成例において、台座10に載せ置いたオブジェクトを撮影してステレオ計測法により3次元画像データを得る原理と手順を説明する。ここでは、一例として、コーン形状(円錐体形状)を持つ3次元オブジェクト(オブジェクト1)を読み取る例を説明する。
ステレオ計測法に基づいて2次元画像データから3次元画像データを得るためには、手順1として、対象となる3次元オブジェクトを複数の視点(それぞれ異なる角度)から撮影した2次元画像を取得する手順、手順2として、取得した複数の2次元画像間の特徴点間でマッチング処理を行なって3次元オブジェクトの要素ごとに対応付けを行なう手順、手順3として、ステレオ計測処理に基づく差分計算や推論計算により3次元画像データとしておこす手順を踏む必要がある。
【0026】
まず、手順1として、本発明の3次元オブジェクト計測装置100では、一度の撮影により直接画像と反射画像の少なくとも2つの画像を得る。ここで、直接画像とは、台座10上の3次元オブジェクトから魚眼レンズ31に直接入射する光線を受光して得た画像、つまり、魚眼レンズ31の視点から直接見える3次元オブジェクトの画像のことを言う。反射画像とは、台座10上の3次元オブジェクトから鏡面円筒体20の内壁鏡面において反射して魚眼レンズ31に入射する光線を受光して得た画像、つまり、魚眼レンズ31の視点から鏡面円筒体20の内壁鏡面に映り込んでいる3次元オブジェクトの反射画像のことを言う。反射画像には、鏡面円筒体20の内壁鏡面において一度反射して魚眼レンズ31に入射する一回反射画像R1、鏡面円筒体20の内壁鏡面において二度反射して魚眼レンズ31に入射する二回反射画像R2など多数回反射して得られる画像を含む。つまり、鏡面円筒体20の内壁鏡面においてn(nは自然数)回反射して魚眼レンズ31に入射するものはn回反射画像Rnとなる。
【0027】
図2は直接画像と反射画像のカメラ30における受光の様子を3次元オブジェクト計測装置100の縦断面において模式的に表した図である。図2では、3次元オブジェクト1のある点Aにのみ着目している。台座10に載せ置かれた3次元オブジェクト1のある点Aから出射し、直接魚眼レンズ31に入射する光が直接画像を形成する光路A0である。点Aから出射し、鏡面円筒体20の内壁鏡面において一度反射して魚眼レンズ31に入射する光が一回反射画像を形成する光路A1である。点Aから出射し、鏡面円筒体20の内壁鏡面において二度反射して魚眼レンズ31に入射する光が二回反射画像を形成する光路A2である。
なお、三回以上反射する光路もあるが、図2では二回反射の光路A2までを示し、それ以上のものは図示を省略している。また、図2は点Aのみに着目した光路を示したが、オブジェクト1の表面のすべての点から出射した光が図2と同様の原理により魚眼レンズ31に入射する。
【0028】
図3は、台座10の上に載せ置かれたコーン形状であるオブジェクト1をカメラ30により撮影して得た画像を模式的に示す図である。なお、オブジェクト1のある点Aを参考までに白丸の小点として示している。図3において中央に見える画像が、オブジェクト1の直接画像D0であり、コーン形状を真上から見たものとなっている。図3において直接画像D0を囲む円は台座10と鏡面円筒体20のエッジEである。次に、エッジEを囲む外側の輪状のものは鏡面円筒体20の内壁鏡面に映り込んだオブジェクト1の一回反射画像R1である。コーン形状の側面が面円筒体20の内壁鏡面をぐるりと周回する形で映り込んでいる。次に、一回反射画像R1を囲む外側の輪状のものは鏡面円筒体20の内壁鏡面に映り込んだオブジェクト1の二回反射画像R2である。一回反射画像R1と同様、コーン形状の側面が面円筒体20の内壁鏡面をぐるりと周回する形で映り込んでいるが、二回反射画像R2では像が点対称の像となっている。つまり、オブジェクト1上のある点Aの画像は、直接画像D0では右側にあり(画像点G0)、一回反射画像R1でも右側にあるが(画像点G1)、二回反射画像R2では左側に映り込んでいる(画像点G2)。
なお、図3では三回反射以上の反射画像(反射画像R3など)は図示を省略した。
本発明の3次元オブジェクト計測装置100では、このように一度の撮影により直接画像と反射画像の複数の画像を得る。
【0029】
ここで、本発明の3次元オブジェクト計測装置100により得た直接画像と反射画像が、異なる角度の複数の視点から撮影した画像として3次元ステレオ計測に用いることができる理由を説明する。
【0030】
図4は、図2で説明したオブジェクト1の点Aに対する直接画像を形成する光路A0、一回反射画像を構成する光路A1、二回反射画像を形成する光路A2の撮影視点を等価的に展開した様子を模式的に示した図である。実際の魚眼レンズ31は撮影視点F0であるが、一回反射画像R1に対応する光路A1は撮影視点F1に入射する光路A1’と等価である。同様に、二回反射画像R2に対応する光路A2は撮影視点F2に入射する光路A2’と等価である。つまり、一回反射画像R1における点Aはオブジェクト1を撮影視点F1においた仮想カメラ30’において撮影すれば得られるであろう画像中の点Aと等価であり、二回反射画像R2における点Aはオブジェクト1を撮影視点F2においた仮想カメラ30’’において撮影すれば得られるであろう画像中の点Aと等価であると言える。なお、鏡面円筒体20の内径をrとすると、撮影視点F1は魚眼レンズ31から2r離れた位置、撮影視点F2は魚眼レンズ31から4r離れた位置となる。
【0031】
図4を用いた上記の説明はオブジェクト1の右側にある点Aのみについて着目して説明したが、実際にはコーン形状の表面のすべての点について、対面する鏡面円筒体の内壁鏡面との間で成立するので、図3に示した、鏡面円筒体20の内壁鏡面に映り込んだ一回反射画像R1は、円筒中心軸を回転の中心として半径2rの円周上を360度ぐるりと仮想カメラ30’を移動させながらオブジェクト1を撮影し、各撮影画像の中央画像(コーン形状のうち撮影視点に対して真正面に正対している正面画像)のみを集めた画像と等価な画像となっている。同様に、二回反射画像R2は、円筒中心軸を回転の中心として半径4rの円周上を360度ぐるりと仮想カメラ30’’を移動させながらオブジェクト1を撮影し、各撮影画像の中央画像のみを集めた画像と等価な画像となっている。つまり、本発明の3次元オブジェクト計測装置100により得た直接画像D0と反射画像R1と反射画像R2は、魚眼レンズ31が配置されている実際の視点F0からの直接画像に加え、円筒中心軸から半径2r離れた円周上および半径4r離れた円周上を取り囲むように配置された無数(解像度の数)の撮影視点から撮影された画像を含むものとなっている。しかし、撮影視点が無数とは言え、反射画像は各撮影視点の正対画像、つまり、各撮影視点から撮影した画像のうちの真正面に正対する中央画像のみを集めたものと等価であるので、オブジェクト1上の一つの点に注目すれば(例えば点A)ステレオ計測に用いることのできる画像データの数が無数にあるわけではなく、直接画像D0に写されている当該点の画像(例えば画像点G0)と、半径2rの視点から写した一回反射画像R1に写されている当該点の画像(例えば画像点G1)と、半径4rの視点から写した二回反射画像R2に写されている当該点の画像(例えば画像点G2)の3つの画像データしかない。つまり、この例では、ステレオ計測処理に用いる画像データとしては、3つの視点からの2次元画像が一度に得られたものと同様の効果が得られたこととなる。
【0032】
ここで、本発明の3次元オブジェクト計測装置のステレオ視計測における、点から魚眼レンズを通してカメラに入射する光線角のパラメータ決定方法について述べる。
魚眼レンズは、魚眼レンズに入射する光線が光軸と成す角φと、光線が射影された
画像平面における画像中心からの距離dの関係を下記数式1で表せる。
【0033】
【数1】
【0034】
図9に、角φと画像中心からの距離dの関係図を示す。ここで、fは焦点距離である。また関数g(φ)は、魚眼レンズの射影特性であり、レンズ毎に特性が異なるものである。
魚眼レンズの射影特性をデータベースとして持っておくことで、撮影画像における注目点の画像中心からの距離によって、カメラに入射する光線の角度を決定できるのである。
【0035】
次に、本発明の3次元オブジェクト計測装置100におけるステレオ計測の手順2を説明する。
手順2では、取得した複数の2次元画像間でステレオ計測処理を行ない3次元オブジェクトの要素ごとに対応付けを行なうが、ステレオ計測処理をすべての画素について行なうことは計算コストが膨大となるので、通常は、画像データをDCT変換やフーリエ変換などにより周波数領域に変換し、画像中の特異点やエッジを抽出し、それらの代表的なものを特徴点として選定し、画像中の特徴点同士を探索してマッチングして行く。ここではある画像中の特徴点に対応する他の画像中の特徴点を対応特徴点と呼ぶ。
【0036】
従来技術における単純なマッチングアルゴリズムの場合は、画像間で特徴点同士をすべて試行錯誤法により探索してマッチングして行くが、オブジェクトの形状が複雑になると、画像中に多数の特異点やエッジが存在し、多数の特徴点が選定されることとなりマッチング処理の計算コストが膨大になってしまう。
しかし、本発明の3次元オブジェクト計測装置100を用いる場合は、直接画像と反射画像間の幾何学的関係を用いて特徴点同士のマッチング処理を実行することができるので、計算コストを大幅に低減することができる。その原理は以下のように説明できる。上記の図3および図4を用いて説明したように、カメラ30により撮影された画像には直接画像D0と反射画像(ここでは一回反射画像R1と二回反射画像R2の2つとする)が写されているが、この直接画像D0と反射画像(一回反射画像R1と二回反射画像R2)の間には、重要な幾何学的関係が存在する。ここで言う幾何学的関係とは、対応し合う特徴点同士は、画像の中心を通るように引いた同じ直線上に存在するという関係である。
【0037】
オブジェクト上のある点の画像は、正対する鏡面円筒体の内壁鏡面に映り込む。二回反射画像の場合は点対称となるが、中心点を挟んで折り返した位置となるので、結局、直接画像上のある特徴点に対応する反射画像上の特徴点は直接画像上の当該特徴点と画像の中心点を結ぶ直線の延長線上にあることとなる。図3で説明すれば、直接画像D0上のある特徴点である画像点G0について対応する特徴点を探索する場合、画像中心Cと画像点G0を結んだ直線の延長線上を探索すれば、一回反射画像R1中の対応する特徴点である画像点G1と二回反射画像R2中の対応する特徴点である画像点G2が見つかる。この幾何学的関係を特徴点の探索のマッチングアルゴリズムに取り込めば、その計算コストを大幅に低減することが可能となる。
以上の手順により、特徴点同士の幾何学的関係を用いて効率よく特徴点と対応する対応特徴点を探索する。
【0038】
参考として、試作した本発明の3次元オブジェクト計測装置100において、ピラミッド形状のオブジェクトを撮影した画像の例を示しておく。
図5は、台座の中心にピラミッド形状のオブジェクトを据え置き、その直接画像および鏡面円筒体の内壁鏡面に映り込んだ反射画像を併せて撮影した画像を示している。なお、画像中に引いてある放射線は直接画像と反射画像との対応を目視しやすいように、後処理により画像中に追加した線であり、このような放射線が当初から写り込んでいるわけではない。
【0039】
なお、上記した特徴点同士の幾何学的関係は、オブジェクトが台座の中心からずれた位置に載せ置かれていても変わることはない。図6はオブジェクトが台座の中心からずれた位置に載せ置かれた場合でも特徴点同士の幾何学的関係が保たれていることを示す図であり、図5に比べ、オブジェクトが台座の中心から右上に偏った位置に載せ置かれており、鏡面円筒体の内壁鏡面に映り込んだ反射画像は図5に比べて大きく歪んでいるが、特徴点同士は画像中心を通る直線上に存在することが分かる。図6中では、分かりやすいように、直接画像中の2つの特徴点について注目し、それら特徴点と画像の中心を結ぶ2本の直線を後処理で追加して引いている。その直線上に、一回反射画像と二回反射画像における対応特徴点が存在することが分かる。
【0040】
この理由について図7を用いて説明する。図7は、オブジェクトの一点から鏡に2回反射してカメラに入射する光線の軌跡の一例を示している。図7の(a)は側面から観察したもので、(b)は真上から観察したものである。カメラの光軸と円筒鏡の中心軸が一致しているとき、ある光線がカメラに入射するためには、光線は円筒鏡の中心軸を通らなければならない。図7(b)のように本発明の3次元オブジェクト計測装置を上から見たとき、円筒の中心軸を挟んで向き合う円筒鏡の2点の接線は、図7(b) に示すように常に平行になる。従って、円筒の中心を通る光線は常に、平行な接線をもつ鏡面に対して、真上から観察した場合に垂直に入射することとなる。同一の点を始点とする光線は、必ず同一の直線上に存在するため、仮想カメラのエピポーラ線は円筒の中心を通る直線となるのである。
【0041】
図8に、仮想オブジェクトを撮影したシミュレーション画像を示す。
撮影画像の中心にカメラから直接見える像、その周囲に円筒鏡に反射した像が存在する画像が得られる。また反射像は、画像中心から反射回数の少ない順に、同心円状に並ぶことになる。
ここで、図8(a)のオブジェクトが円錐の形状を有する場合、オブジェクト表面上のA点からカメラに入射する光線は、画像中心と点Aを結ぶ破線上だけを移動することになる。このため、撮影画像中に存在する対応点の組の探索範囲を、画像中心を通る直線上に限定できることとなり、計算量の削減や、対応点の誤検出の削減ができるのである。
また、同様に、図8(b)のオブジェクトが四角錐の形状を有する場合、オブジェクト表面上のB点からカメラに入射する光線は、画像中心と点Bを結ぶ破線上だけを移動することになる。
また、図8(c)のオブジェクトが円錐の形状を有し、かつ、位置が中心からずれて置かれて撮影された場合でも、オブジェクト表面上のC点からカメラに入射する光線は、画像中心と点Cを結ぶ破線上だけを移動することになる。
【0042】
次に、本発明の3次元オブジェクト計測装置100におけるステレオ計測処理に基づく3次元画像データ生成の手順3を説明する。
手順3では、手順2により得られた特徴点と対応特徴点との対応関係を基に直接画像と反射画像とのステレオ計測処理を行ない、直接画像と反射画像から3次元オブジェクトの3次元画像データを生成する。例えば、直接画像データと反射画像データ間の差分計算や推論計算により3次元画像データとしておこして行く。本発明の3次元オブジェクト計測装置100では、この手順3は特に限定されず、ステレオ計測処理を行なうアルゴリズムであれば広く適用することができる。
【0043】
図12は、本発明の3次元オブジェクト計測装置100における3次元画像データ処理装置40の構成要素を示すブロック図である。なお、ハードウェアとしては汎用のパーソナルコンピュータ資源とソフトウェアモジュールと組み合わせた情報処理組織を用いてステレオ計測法に基づく3次元画像データ生成処理を具体的に実現するものでも良く、上記アルゴリズムを半導体回路によりコーディングした専用のハードウェアを用いて実現するものでも良い。
【0044】
41は、カメラ30の撮影記録手段32により撮影した撮影画像上の特徴点を抽出して決定する特徴点抽出手段である。有効な特徴点の抽出アルゴリズムであれば特に限定されず広く適用することができるが、例えば、DCT変換により画像データを周波数領域に変換し、画像中の特異点やエッジを抽出して特徴点を選定するアルゴリズムを利用する。
【0045】
42は対応特徴点探索手段であり、特徴点抽出手段41によって抽出された直接画像上の特徴点に対応する反射画像上の対応特徴点を反射画像上において探索して決定する手段、または、特徴点抽出手段41によって抽出された反射画像上の特徴点に対応する直接画像上の対応特徴点を直接画像上において探索して決定する手段である。この対応特徴点探索手段42において、上記した幾何学的関係を用いた探索、つまり、画像の中心と特徴点とを結ぶ延長線上を探索することにより対応特徴点の探索を実行するアルゴリズムを取り込んでおく。
【0046】
43は、3次元画像データ生成手段であり、対応特徴点探索手段42により得られた特徴点と対応特徴点との対応関係を基に直接画像と反射画像との間でステレオ計測処理を行ない、2次元画像である直接画像と反射画像からオブジェクトの3次元画像データを生成する部分である。
【0047】
ここで、対応点探索手段42のアルゴリズムの一例として、SSD(Sum of Squared Difference:差の二乗和)による手法の詳細を説明する。なお、上述したように対応点探索手段42は、既存のステレオ計測処理のアルゴリズムの適用が可能であり、SSD以外にも非線形のマッチング手法であるDPマッチングなど幅広いアルゴリズムの適用が可能である。
先ず、対応特徴点探索手段42のアルゴリズムでは、処理の簡単化のために撮影画像を極座標展開し、次に極座標展開された撮影画像から、ある一点を中心とする小領域を探索元領域として切り出して、探索元領域に最も類似していると考えられる領域を探索する処理を行う。
本実施例では、2つの領域の間でSSD(Sum of Squared Difference:差の二乗和)を計算し、SSDの値が小さいほど互いの領域が類似しているものと判断している。但し、円筒鏡面で反射してカメラに入射した像は、半径方向に歪みを含んでいるため、領域間の類似性を求める際には、反射像の歪みを補正すべきである。しかし、反射像の歪みの大きさは、未知のパラメータである物体面の法線方向に依存するため、歪みを解析的に補正することが不可能である。そこで本実施例では、探索領域の移動に加えて、類似性を調べる反射像を半径方向について動的に拡大縮小させながら、SSDの値を計算することにより、最も類似している領域の中心点の組を対応点の組とすることとした。
以下では、対応特徴点探索手段42のアルゴリズムについて、(1)撮影画像の極座標展開処理、(2)探索対象領域のサイズの正規化処理、(3)探索対象領域の限定処理、(4)SSD値の算出処理に分けて説明する。
【0048】
(1)撮影画像の極座標展開処理
SSDの計算を単純化するための前処理として、撮影画像の極座標展開処理を行う。図10(a)には、極座標展開した結果の画像例を示す。上述したように、本発明の3次元オブジェクト計測装置で撮影された画像において、対応点の組は画像中心を通る同一直線上に必ず存在する。よって、撮影された画像を、縦軸を画像中心からの距離、横軸を角度とする極座標画像に展開することで、画像中のある一点に対応する点を探索する際の範囲は、図10(b)に示す破線の領域内に限定されることになる。
極座標展開前の画像における座標値を(u,v)、極座標展開後の座標値を(t、w)とすると、変換における画素値の対応関係は下記数式2,3で表される。ここで、t及びwは整数値である。また、Uは極座標展開前の画像におけるuおよびv軸方向の画素数、T,Wはそれぞれ極座標展開後の画像におけるt,w軸方向の画素数を表している。この極座標展開前の画像は、画像の中心に円筒の中心軸が存在するように撮影されている。
なお、極座標展開前の画像において、下記数式4の条件を満たさない座標値(u,v)については変換の対象としていない。
【0049】
【数2】
【0050】
【数3】
【0051】
【数4】
【0052】
(2)探索対象領域のサイズの正規化処理
次に、探索対象領域のサイズの正規化処理について説明する。上述したように、撮影画像における反射像のw軸方向の大きさは、光線の入射角と物体面の法線方向に依存して変化する。例えば図10(a)や(b)では、物体像が鏡に2回反射してカメラに入射した像のw軸方向の大きさは、1回反射してカメラに入射した像よりも小さくなる。しかし、計測段階において物体面の法線方向は未知であるため、w軸方向への像の大きさの変化を解析的に補正することは不可能である。そこで本発明の3次元オブジェクト計測装置では、類似性を調べたい局所領域をw軸方向について動的に拡大縮小させながら、SSDの値を計算することとしている。ここで、SSD値を計算するには、探索の際に基準となる領域(Source)と評価対象の領域(Target)の大きさが同一でなければならない。
一般に、光線の入射角度や物体面の法線方向による像の大きさの変化は非線形であるが、局所領域内の微小な像の歪みは、線形な拡大縮小で近似しても誤差は小さいと考えられるため、本3次元オブジェクト計測装置では処理の簡単化のため、線形補間によって局所領域を拡大または縮小することにしている。
また、各画素の色はRGB表色系で表現されることとしている。正規化後の領域内の点(t,w)におけるR,GおよびBそれぞれの輝度値l(t,w) (i = r,g,b) は、正規化前の点の輝度値o (i = r,g,b) と、Source を1.0としたときのTargetのスケールsを用いて、下記数式5から算出できる。ここで、trunc(x)はxの小数点以下を切り捨てる関数である。
【0053】
【数5】
【0054】
(3)探索対象領域の限定処理
次に、探索対象領域の限定処理について説明する。本発明の3次元オブジェクト計測装置で撮影した画像のn次反射像において、点(t,w)を中心とする領域 Sourceに対応する領域 Targetは、オクルージョンが発生しない場合、像の空間的な連続性は鏡に反射しても保たれることから、下記数式6を用いて求められる点(t,w )の近傍に存在すると仮定する。ここで、w minとw maxはそれぞれ、n回目の反射像が存在する上端値と下端値を示しており、また、w minとw maxは、Sourceが存在する上端値と下端値を示している。
【0055】
【数6】
【0056】
ここで、上記数式6で求めた点w は、Sourceに対応するTargetの位置を線形比をもとに推定しているものである。上述のとおり、反射像のw軸方向への歪みは一般に非線形であるが、非線形の歪みを線形比で近似した際の誤差は局所的にみると小さいからである。
そこで、点(t,w)を中心とする領域Sourceに対応する領域を探索する際、探索対象となるw軸方向の範囲を、w を中心とする一定の範囲内に限定することで、探索領域の削減を図っているのである。
中心を点(t,w)とする領域Sourceに対応するTargetをn次の反射像から探索するとき、探索の中心点とするwの範囲の上端w gminおよび下端w gmaxを下記数式7で表す。また、鏡に反射した像をSource領域とする際は、上端w gminおよび下端w gmaxを下記数式8で表す。ここで、aは探索範囲の広さを表す定数であり、値が大きいほど探索範囲は広くなる。
【0057】
【数7】
【0058】
【数8】
【0059】
(4)SSD値の算出処理
次に、SSD値の算出処理について説明する。Sourceと線形補間によって正規化されたTargetの類似度を評価するため、本3次元オブジェクト計測装置では評価量として、SourceとTarget領域間のSSD値を用いている。このSource領域SとTarget領域Tの間のSSD値dST は、下記数式9により求められる。下記数式において、l およびl (t,w)(i=r,g,b)はそれぞれSourceとTargetにおける各画素の輝度である。また、l およびl (t,w)(i=r,g,b)がとりうる値の範囲は、双方とも0以上255以下である。
【0060】
【数9】
【0061】
ここで、あるSourceに対応するTargetを探索する流れについて、図11を用いて説明する。図11は、カメラから直接観測された像をSourceの全体集合Sallとした例を表している。Sallから任意の窓サイズで切り出されたSource 領域Sa(SaはSallの集合に属する)に対応する探索候補領域は、図11中の破線で示された領域に限定できる。また、Sourceに対応するTargetは、上述した局所領域内に存在すると考えられ、探索候補領域内で窓サイズを変化させながら領域を切り出して、Sa とのSSD値を計算する。そして、最小のSSD値をもつ領域Ta をSaに対応する領域として選択し、それぞれの中心点をステレオ視の際に用いる対応点の組とする。同様に、Sallに含まれるすべての画素について対応点を探索するのである。
【0062】
以上、実施例1に示した本発明の3次元オブジェクト計測装置100によれば、魚眼レンズに対向する台座に載せられた3次元オブジェクトを直接撮影した直接画像と、鏡面円筒体の側面内壁の鏡面に映り込んでいる3次元オブジェクトの反射画像とを併せて一度に撮影することができ、直接画像と反射画像の間で特徴点とその特徴点に対応する対応特徴点とを簡便にマッチングし、ステレオ計測処理に基づいて2次元画像データから3次元画像データを生成することができる。
【実施例2】
【0063】
実施例2にかかる本発明の3次元オブジェクト計測装置100aの例を示す。
実施例2の3次元オブジェクト計測装置100aは、実施例1の3次元オブジェクト計測装置100に対して、台座10を透明素材で形成し、図13のように、カメラ30として第1のカメラ30aと第2のカメラ30bの2つのカメラを備え、第1のカメラ30aの魚眼レンズ31aと第2のカメラ30bの魚眼レンズ31bが台座10を挟んで対向し合うように配置したものである。
これは、オブジェクト1の上部画像のみならず下部画像についても同時に異なった視点からの複数の画像を一度に撮影することを狙ったものである。
【0064】
実施例1に示した鏡面円筒体20の上部に一つのカメラ30を備えた構成では、撮影画像として得られるものは、オブジェクト1の上面の直接画像D0とオブジェクト1の上面の反射画像Rnであり、オブジェクト1の下面の直接画像D0とオブジェクト1の下面の反射画像Rnは併せて撮影することはできない。
【0065】
そこで、本実施例2の3次元オブジェクト計測装置100aは、鏡面円筒体20の上部のカメラ30aのみならず、鏡面円筒体20の下部にもカメラ30bを備えた構成とし、オブジェクト1の上部画像のみならず下部画像についても同時に直接画像D0と反射画像Rnを一度に撮影するものである。なお、台座10は下方からもオブジェクト1が撮影できるようにガラス板などの透明素材とし、また、台座10の下方にも鏡面円筒体20が延伸されている必要がある。
下方のカメラ30bを用いたオブジェクト1の下面の直接画像D0と反射画像Rnの撮影原理およびステレオ計測処理の原理は実施例1と同様であるので、ここでの説明は省略する。
【実施例3】
【0066】
実施例3にかかる本発明の3次元オブジェクト計測装置100bの例を示す。
実施例3の3次元オブジェクト計測装置100bは、実施例1の3次元オブジェクト計測装置100に対して、鏡面円筒体20に対してカメラ30を可動としたものであり、図14に示すように、カメラ30が鏡面円筒体20の中心軸に沿って上下に移動することができ、台座10と魚眼レンズ31の距離を可変としたものである。
なお、カメラ30の移動は、利用者が手でカメラ30の筐体を移動させても良いが、カメラ筐体とステッピングモーター機構と組み合わせ、利用者の操作入力に応じてカメラ筐体の移動が制御できる構成とすれば、魚眼レンズ31と台座10上のオブジェクトとの距離を正確に調整することができる。
【0067】
台座10と魚眼レンズ31との距離について考察すると、下記のことが言える。
台座10と魚眼レンズ31との距離が小さい場合(オブジェクト1とカメラ30の距離が近い場合)にもメリットとデメリットがあり、逆に、台座10と魚眼レンズ31との距離が大きい場合(オブジェクト1とカメラ30の距離が遠い場合)にもメリットとデメリットがあり、両者を兼ね合わせて台座10と魚眼レンズ31との距離を調節する必要がある。
【0068】
図15は、台座10と魚眼レンズ31との距離が小さい場合のメリットとデメリットを模式的に説明した図である。
台座10と魚眼レンズ31との距離が小さくなると、カメラ30によりオブジェクトを大きく写すことができることとなり、オブジェクト表面の詳細な直接画像D0を得ることができる。つまり直接画像の解像度が上がる。これはメリットと言える。
【0069】
その一方、鏡面円筒体20の内壁鏡面に映り込むオブジェクトの一回反射画像R1を形成する光路A1の魚眼レンズ31への入射角は大きくなる。つまり、撮影視点F1の高さが低くなり、一回反射画像R1はオブジェクトを斜め方向の低い位置の視点から撮影した画像に相当する。鏡面円筒体20の内壁鏡面に映り込むオブジェクトの二回反射画像R2を形成する光路A2の魚眼レンズ31への入射角はさらに大きくなり、二回反射画像R2はオブジェクトを斜め方向のより低い位置の視点から撮影した画像に相当するが、もともと一回反射画像R1が斜め方向の低い位置から撮影した画像に相当するものなので、二回反射画像R2と一回反射画像R1の差分は小さく、ステレオ計測に用いる二次元画像としては情報量が小さくなる。これはデメリットと言える。
【0070】
次に、図16は台座10と魚眼レンズ31との距離が大きい場合のメリットとデメリットを模式的に説明した図である。
台座10と魚眼レンズ31との距離が大きくなると、図15の場合に比べ、カメラ30によりオブジェクトを接写することができず、オブジェクト表面の直接画像D0の解像度が低くなる。これはデメリットと言える。
【0071】
その一方、鏡面円筒体20の内壁鏡面に映り込むオブジェクトの一回反射画像R1を形成する光路A1の魚眼レンズ31への入射角は図15の場合に比べて小さくなる。つまり、撮影視点F1の高さが高くなり、一回反射画像R1はオブジェクトを斜め方向の高い位置の視点から撮影した画像に相当する。鏡面円筒体20の内壁鏡面に映り込むオブジェクトの二回反射画像R2を形成する光路A2の魚眼レンズ31への入射角は大きくなり、二回反射画像R2はオブジェクトを斜め方向の低い位置の視点から撮影した画像に相当するが、一回反射画像R1の入射角と二回反射画像の入射角の変化は図15の場合と比べて大きくなっている。つまり、二回反射画像R2と一回反射画像R1の差分は図15の場合に比べて大きいものであり、ステレオ計測に用いる二次元画像としては図15の場合よりも情報量が大きくなる。これはメリットと言える。
【0072】
このように、台座10と魚眼レンズ31との距離が大きい場合に生じるメリットおよびデメリットと、台座10と魚眼レンズ31との距離が小さい場合に生じるメリットおよびデメリットはトレードオフの関係にある。さらに、可変量として、実際には、3次元計測するオブジェクトの大きさ(高さ)が影響を与えるので、台座10と魚眼レンズ31との距離でなく、魚眼レンズ31とオブジェクト1との距離を考慮する必要がある。
そこで、本実施例3の3次元オブジェクト計測装置100bは、鏡面円筒体20に対してカメラ30を上下に可動としたものであり、カメラ30が鏡面円筒体20の中心軸に沿って上下に移動することができ、台座10と魚眼レンズ31の距離を可変としたものである。
【0073】
なお、カメラ30を可動とする代わりに、カメラ30の位置を固定してカメラ30にズーム機構を備える構成を考察すると、直接画像D0の大きさ、特に、光学的ズーム機構を搭載すれば直接画像D0の解像度を操作することはできるが、反射画像R1の撮影視点F1や反射画像R2の撮影視点F2の高さを操作することはできない。また、ズーム機構を用いた場合、中心画像が大きく見える代わりに周辺画像が捉えられなくなり、高次反射画像Rn、場合によっては二回反射画像R2や一回反射画像R1が撮影画像中に捉えられなくなるおそれもある。そこで、本実施例3の3次元オブジェクト計測装置100bは、オブジェクト1の高さを考慮しつつ反射画像R1の撮影視点F1や反射画像R2の撮影視点F2の高さを操作することを重視し、カメラ30が鏡面円筒体20の中心軸に沿って上下に移動することができ、台座10と魚眼レンズ31の距離を可変としたものである。
しかし、上記説明は、カメラ30として光学的ズーム機構を搭載したものを排除する意図ではなく、本発明の3次元オブジェクト計測装置100のカメラ30として、光学的ズーム機構やデジタルズーム機構を備えたものを採用し、周辺画像である反射画像を撮影が像中に捉えることのできる範囲でズーム撮影を行なわしめることは当然可能である。
【実施例4】
【0074】
実施例4にかかる本発明の3次元オブジェクト計測装置100cの例を示す。
実施例4の3次元オブジェクト計測装置100cは、実施例1の3次元オブジェクト計測装置100に対して、鏡面円筒体20およびカメラ30の台座10に対する相対運動を可能としたものであり、図17に示すように、台座10を固定した状態で、台座10の中心を回転運動の中心として、3次元空間内で鏡面円筒体20およびカメラ30を一体として自由な回転移動を可能としたものである。
鏡面円筒体20の回転移動は、利用者が手で鏡面円筒体20を回転移動させても良いが、鏡面円筒体20とステッピングモーター機構と組み合わせ、利用者の操作入力に応じて鏡面円筒体20の移動が制御できる構成とすれば、基本姿勢において撮影できなかった部位の撮影を可能とするアングルとなるようにカメラ30の撮影視点の方向を正確に調整することができる。
【0075】
実施例4の3次元オブジェクト計測装置100cは、基本姿勢において3次元計測するオブジェクト1の形状や方向によって死角となり直接画像D0または反射画像Rnが得られない部位が生じた場合でも、鏡面円筒体20とカメラ30を一体として台座10に対して角度を変えて別アングルとし、死角となって撮影画像が得られなかった部位についても直接画像D0または反射画像Rnを得る工夫を施したものである。
【0076】
オブジェクト1の形状や方向によって死角となり直接画像D0または反射画像Rnが得られない部位が生じる場合は概ね次の3つの場合が想定される。
【0077】
第1はオブジェクト1が少し深い凹形状を持つ場合である。例えば、凹形状が上面にある場合、当該部位について直接画像D0は得ることができるが、斜めの撮影視点F1や撮影視点F2から得た反射画像R1や反射画像R2には、凹形状の底面部分は周縁部分の死角になって写らない場合がある。また、例えば、凹形状が側面にある場合、当該部位について正対する斜めの撮影視点F1や撮影視点F2から得た反射画像R1や反射画像R2は得ることができるが、直接画像D0では凹形状の底面部分は周縁部分の死角になって写らない場合がある。
【0078】
第2はオブジェクト1の側面が垂直に近い場合である。この場合、当該部位について正対する斜めの撮影視点F1や撮影視点F2から得た反射画像R1や反射画像R2は得ることができるが、直接画像D0では角度が大きすぎて有効な画像が得られない場合がある。複数の反射画像Rnを得ることができたとしても、直接画像D0は3次元ステレオ計測では重要な情報であるので、直接画像D0を得るべく撮影方向を工夫することは推奨されるものと言える。
【0079】
第3はオブジェクト1の形状が複雑で、その一部が他の部分の陰になる場合である。典型的には昆虫における足関節の付け根のような部位である。例えば、当該部位について直接画像D0は得ることができるものの、斜めの撮影視点F1や撮影視点F2から得た反射画像R1や反射画像R2では、他の部位の陰になって写らない場合がある。
これらオブジェクト1の形状や方向によって死角となり直接画像D0または反射画像Rnが得られない部位が生じる場合でも、本実施例4の3次元オブジェクト計測装置100cは、鏡面円筒体20とカメラ30を一体として台座10に対して角度を変えて、当該部位ついて必要な直接画像D0または反射画像Rnを得るための別アングルの画像の撮影を行なうものである。
【0080】
ここでは、一例として、オブジェクト1の側面が垂直に近い場合について説明する。
図18は、図2と同様、直接画像と反射画像のカメラ30における受光を3次元オブジェクト計測装置100cの縦断面において模式的に表した図である。図18に示すように、オブジェクト1の側面部分の点Bについて、直接画像D0に相当する光路B0は、魚眼レンズ31に直接入射することはできない。つまり、直接画像D0において側面部分の点Bの画像は含まれていない、または、たとえ含まれていても撮影角度が極めて浅いため有効な情報が得られないものとなっている。一方、反射画像R1に相当する一回反射の光路B1は、魚眼レンズ31に入射しており、一回反射画像R1において側面部分の点Bの画像は含まれていることとなる。同様に、反射画像R2に相当する二回反射の光路B2は、魚眼レンズ31に入射しており、二回反射画像R2においても側面部分の点Bの画像は含まれていることとなる。このように、複数の反射画像R1とR2には点Bに関する画像情報が含まれているが、直接画像D0において点Bに関する情報が得られていない。
【0081】
次に、図19は、図18の基本姿勢から、台座10を固定した状態で台座10の中心を回転運動の中心として鏡面円筒体20およびカメラ30を一体として垂直面内で時計回りに回転移動した状態を示している。図19に示すように、オブジェクト1の側面部分の点Bはカメラ30の撮影視点から良く見える位置となり、直接画像D0に相当する光路B0は、魚眼レンズ31に直接入射する。つまり、直接画像D0において側面部分の点Bの画像は有効に含まれていることとなる。反射画像R1に相当する一回反射の光路B1も魚眼レンズ31に直接入射しており、一回反射画像R1において側面部分の点Bの画像は含まれている。同様に、二回反射画像R2においても側面部分の点Bの画像は含まれている。
このように、図19の基本姿勢では直接画像D0において十分な画像情報が得られない側面部分の点Bについて、図19の姿勢では直接画像D0において十分な画像情報が得られることとなる。
【0082】
なお、図19の姿勢はオブジェクト1の切り立った右側面の点Aの直接画像D0を得るための回転の例であるが、オブジェクト1の左側面、正面(手前側の側面)、裏面(奥側の側面)など他の側面の直接画像D0を得る場合、別途、そのターゲットとなる側面が魚眼レンズ31に正対するように鏡面円筒体20とカメラ30を一体に回転させれば良い。 ここで、回転制御手段は限定されないが、例えば、ステッピングモーター等を用いたものとすれば良い。
本発明の3次元オブジェクト計測装置は、少ない撮影回数で3次元ステレオ計測に用いる複数の画像を得ることが目的であるところ、実施例4に係る3次元オブジェクト計測装置100cは基本姿勢の撮影画像に加え、アングルを変えてもう一回撮影を行なうものであるが、オブジェクトの形状や姿勢に影響され、もともと撮影が難しい部位について複数の画像を二回の撮影で得るものであり、少ない撮影回数で3次元ステレオ計測に用いる複数の画像を得る本発明の目的に沿ったものと言える。
以上、本発明の好ましい実施形態を図示して説明してきたが、本発明の技術的範囲を逸脱することなく種々の変更が可能であることは理解されるであろう。
【実施例5】
【0083】
本実施例5では、本発明の3次元オブジェクト計測装置のプロトタイプを製作し、実物体の形状を計測している。以下に、実測画像を用いた形状計測データ結果を示す。
本実施例5のオブジェクト計測環境を説明する。計測に用いたカメラは、Opteon社製DepictD1Eを用い、1392×1040(pixels)で撮影された画像から、1024×1024(pixels)の画像を切り出して使用した。また光源としてリングライトを用い、カメラの周囲から物体へ光を投射した。円筒鏡の内径は90(mm),高さは100(mm)である。但し、本実施例で用いたカメラはグレースケール画像のみ得られることから、前述の数式9におけるl (t,w)およびl (t,w)(i=r,g,b)については、下記数式10とする。ここで、l gray(t,w)およびl gray(t,w)はそれぞれ、SourceおよびTargetにおいて、カメラから得られた撮影画像の明度値である。また取り得る値の範囲は双方とも0以上255以下である。
【0084】
【数10】
【0085】
本実施例では計測対象として、図20に示す円錐形状のオブジェクトを用いている。この円錐形状のオブジェクトの底面の直径は56(mm),高さは34(mm)であり、円錐表面はグレースケールの情景画像をテクスチャとして持つものである。
図20に示される円錐形状のオブジェクトを本発明の3次元オブジェクト計測装置で撮影すると、図21に示す撮影画像が得られた。本実施例では、この画像から円錐のオブジェクトの形状計測を行った。
ここで、本実施例におけるSSDの窓サイズは5×5(pixels)とした。また、前述の数式5におけるスケールsを0.5から2.0まで0.1ずつ変化させて、カメラで直接観測された像と円筒鏡に1回反射した像を用いて、ステレオ視により形状を計測した。本発明の3次元オブジェクト計測装置による円錐の形状計測結果を図22に示す。
また、本発明の3次元オブジェクト計測装置により計測された円錐の形状について、横軸を画像中心からの距離,縦軸を高さとする散布図にしたものを図23に示す。
【0086】
上述のように、実際の物体の形状計測を試みた結果、本発明の3次元オブジェクト計測装置を用いて、実物体の全周形状を一枚の画像によって計測できることが示された。本実施例5により、本3次元オブジェクト計測装置は、カメラと円筒鏡のみからなる単純な装置構成と、画像を一枚のみ撮影する簡易な撮影プロセスで、物体の全周形状を計測でき、物体の全周形状計測に有用であることが示されたことになる。
【産業上の利用可能性】
【0087】
本発明の3次元オブジェクト計測装置は、円筒鏡に物体を入れ、カメラで上から物体を撮影することで、一回の撮影で物体の全方向からの多視点画像を得られ、反射屈折ステレオ視により、一枚の画像から物体の三次元全周形状を計測できることから、例えば、昆虫や小動物の電子図鑑など、教育分野におけるコンテンツ作成用途において利用することができ、またそれらのコンテンツを用いることにより、動画の記述の充実を図ることができる。教育分野のみならず、医療分野、学術研究分野など多目的に本3次元オブジェクト計測装置を用いることができるのである。
本発明の3次元オブジェクト計測装置は、装置構成や撮影プロセスの簡単さから、ユーザが個人的な所有物の形状を手軽に計測したり、多くの物体の全周形状を効率良く計測したりする用途に有用である。また、一枚の画像から物体の全周形状を計測できるため、連続的に画像を撮影すれば、動物の動きとともに全周形状を記録することも可能であり、静止画のみならず動画の記述の充実を図ることができる。
【図面の簡単な説明】
【0088】
【図1】実施例1に係る3次元オブジェクト計測装置の基本構成を模式的に示した図
【図2】直接画像と反射画像のカメラにおける受光を3次元オブジェクト計測装置の縦断面において模式的に表した図
【図3】台座の上に載せ置かれたコーン形状であるオブジェクトをカメラにより撮影して得た画像を模式的に示す図
【図4】オブジェクトの点Aに対する直接画像D0、一回反射画像R1、二回反射画像R2の撮影視点を等価的に展開した様子を模式的に示した図
【図5】台座の中心に置かれたピラミッド形状のオブジェクトの直接画像および鏡面円筒体の内壁鏡面に映り込んだ反射画像を併せて撮影した画像を示した図
【図6】オブジェクトが台座の中心からずれた位置に載せ置かれた場合でも特徴点同士の幾何学的関係が保たれていることを示す図
【図7】オブジェクトの一点から鏡に2回反射してカメラに入射する光線の軌跡の一例を示す図
【図8】仮想オブジェクトを撮影したシミュレーション画像を示す図
【図9】角φと画像中心からの距離dの関係図
【図10】極座標展開した結果の撮影画像
【図11】探索対象領域を示す図
【図12】本発明の3次元オブジェクト計測装置におけるステレオ計測処理を実行する構成要素を示すブロック図
【図13】実施例2に係る3次元オブジェクト計測装置の基本構成を模式的に示した図
【図14】実施例3に係る3次元オブジェクト計測装置の基本構成を模式的に示した図
【図15】台座と魚眼レンズとの距離が小さい場合のメリットとデメリットを模式的に説明した図
【図16】台座と魚眼レンズとの距離が大きい場合のメリットとデメリットを模式的に説明した図
【図17】実施例4に係る3次元オブジェクト計測装置の基本構成を模式的に示した図
【図18】基本姿勢における直接画像と反射画像の光路を3次元オブジェクト計測装置の縦断面において模式的に表した図
【図19】台座の中心を回転運動の中心として鏡面円筒体およびカメラを一体として垂直面内で時計回りに45度回転移動した状態を示す図
【図20】計測対象として用いた円錐形状を有する実物体を示す図
【図21】計測対象として用いた円錐形状を有する実物体の撮影画像
【図22】実測画像を用いた円錐の形状計測結果を示す図
【図23】円錐の中心からの距離と高さの関係を示す図
【符号の説明】
【0089】
1 オブジェクト
10 台座
20 鏡面円筒体
30,30a,30b カメラ
31 魚眼レンズ
32 撮影記録手段
40 画像データ処理装置
41 特徴点抽出手段
42 対応特徴点探索手段
43 3次元画像データ生成手段
100,100a,100b,100c 3次元オブジェクト計測装置

Claims (4)

  1. 撮影対象となる3次元オブジェクトを載せる台座と、前記台座を筒の内壁面で取り囲み、前記筒の内壁面を鏡面とした鏡面円筒体と、前記台座に対向し、レンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズと、前記魚眼レンズを介して得られた画像を記録する撮影記録手段とを備えたカメラを備え、前記カメラの撮影記録手段により、前記台座上の3次元オブジェクトを直接見た直接画像と、前記鏡面円筒体の内壁の鏡面に映り込んでいる前記台座上の3次元オブジェクトの反射画像と、を併せて撮影する3次元オブジェクト計測装置であって、
    前記カメラの撮影記録手段により撮影した撮影画像上の特徴点を抽出して決定する特徴点抽出手段と、
    前記特徴点抽出手段によって抽出された前記直接画像上の特徴点に対応する前記反射画像上の対応特徴点を前記反射画像上において探索して決定する、または、前記特徴点抽出手段によって抽出された前記反射画像上の特徴点に対応する前記直接画像上の対応特徴点を前記直接画像上において探索して決定する手段であって、前記撮影画像において画像の中心と前記特徴点とを結ぶ延長線上を探索することにより前記対応特徴点の探索を行なう対応特徴点探索手段と、前記特徴点と前記対応特徴点との対応関係を基に前記直接画像と前記反射画像とのステレオ計測処理を行ない、前記直接画像と前記反射画像から前記3次元オブジェクトの3次元画像データを生成する3次元画像データ生成手段を備えたことを特徴とする3次元オブジェクト計測装置。
  2. 前記台座を透明素材で形成し、前記台座の下方向からも前記オブジェクトを可視とし、前記カメラとして第1のカメラと第2のカメラの2つのカメラを備え、前記第1のカメラの魚眼レンズと前記第2のカメラの魚眼レンズが前記台座を挟んで対向し合うように配置されている請求項1に記載の3次元オブジェクト計測装置。
  3. 前記カメラが前記鏡面円筒体に対して前記円筒中心軸に沿った移動が可能となっており、前記台座と前記魚眼レンズの距離を、撮影対象となる3次元オブジェクトの高さをLとして、基底となっている前記台座からL〜10Lの範囲で可変とした請求項1又は2に記載の3次元オブジェクト計測装置。
  4. 前記台座と前記鏡面円筒体および前記カメラとの相対運動を可能とし、前記台座を固定した状態で、前記台座の中心を回転運動の中心として3次元空間内での前記鏡面円筒体および前記カメラを一体とした自由な回転移動を可能とした請求項1乃至3のいずれかに記載の3次元オブジェクト計測装置。
JP2006552886A 2005-01-13 2005-12-28 3次元オブジェクト計測装置 Active JP4742190B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006552886A JP4742190B2 (ja) 2005-01-13 2005-12-28 3次元オブジェクト計測装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005006538 2005-01-13
JP2005006538 2005-01-13
PCT/JP2005/024098 WO2006075528A1 (ja) 2005-01-13 2005-12-28 3次元オブジェクト計測装置
JP2006552886A JP4742190B2 (ja) 2005-01-13 2005-12-28 3次元オブジェクト計測装置

Publications (2)

Publication Number Publication Date
JPWO2006075528A1 JPWO2006075528A1 (ja) 2008-08-07
JP4742190B2 true JP4742190B2 (ja) 2011-08-10

Family

ID=36677556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006552886A Active JP4742190B2 (ja) 2005-01-13 2005-12-28 3次元オブジェクト計測装置

Country Status (2)

Country Link
JP (1) JP4742190B2 (ja)
WO (1) WO2006075528A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034999A1 (ko) * 2020-08-13 2022-02-17 연세대학교 산학협력단 원통형 컨볼루션 네트워크 연산 장치와 이를 이용한 객체 인식 및 시점 추정장치 및 방법
US12112500B2 (en) 2020-08-13 2024-10-08 Industry-Academic Cooperation Foundation, Yonsei University Apparatus for performing cylindrical convolutional neural network operation and apparatus and method for object recognition and viewpoint estimation using the same

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN113688846B (zh) * 2021-08-24 2023-11-03 成都睿琪科技有限责任公司 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
CN114279361B (zh) * 2021-12-27 2023-08-22 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量系统及其测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001330915A (ja) * 2000-05-23 2001-11-30 Olympus Optical Co Ltd 立体画像撮影方法及び撮影補助具
JP2002095016A (ja) * 2000-09-20 2002-03-29 Fuji Photo Film Co Ltd 画像撮像装置及び画像撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001330915A (ja) * 2000-05-23 2001-11-30 Olympus Optical Co Ltd 立体画像撮影方法及び撮影補助具
JP2002095016A (ja) * 2000-09-20 2002-03-29 Fuji Photo Film Co Ltd 画像撮像装置及び画像撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034999A1 (ko) * 2020-08-13 2022-02-17 연세대학교 산학협력단 원통형 컨볼루션 네트워크 연산 장치와 이를 이용한 객체 인식 및 시점 추정장치 및 방법
US12112500B2 (en) 2020-08-13 2024-10-08 Industry-Academic Cooperation Foundation, Yonsei University Apparatus for performing cylindrical convolutional neural network operation and apparatus and method for object recognition and viewpoint estimation using the same

Also Published As

Publication number Publication date
JPWO2006075528A1 (ja) 2008-08-07
WO2006075528A1 (ja) 2006-07-20

Similar Documents

Publication Publication Date Title
JP4742190B2 (ja) 3次元オブジェクト計測装置
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN111292364B (zh) 一种三维模型构建过程中图像快速匹配的方法
US20130335535A1 (en) Digital 3d camera using periodic illumination
Grossberg et al. The raxel imaging model and ray-based calibration
US7176960B1 (en) System and methods for generating spherical mosaic images
EP2328125A1 (en) Image splicing method and device
JP2013038775A (ja) 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
JP6862569B2 (ja) 仮想光線追跡方法および光照射野の動的リフォーカス表示システム
CN111292239A (zh) 一种三维模型拼接设备及方法
Lin et al. A low-cost portable polycamera for stereoscopic 360 imaging
KR20170141202A (ko) 화상 처리 장치 및 화상 처리 방법
CN111340959B (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
WO2016175043A1 (ja) 画像処理装置及び画像処理方法
JP7295641B2 (ja) 水平視差ステレオパノラマ取込方法
JP7131268B2 (ja) 撮像装置および撮像処理方法
CN106934110B (zh) 一种由聚焦堆栈重建光场的反投影方法和装置
WO2016175045A1 (ja) 画像処理装置及び画像処理方法
JPH09138850A (ja) 表面形状再構成装置
CN113538552B (zh) 一种基于图像排序的3d信息合成图像匹配的方法
JP6684454B2 (ja) 画像処理装置及び画像処理方法
Bazeille et al. Light-field image acquisition from a conventional camera: design of a four minilens ring device
Zhao et al. Removal of parasitic image due to metal specularity based on digital micromirror device camera
Orghidan Catadioptric stereo based on structured light projection
Pena-Pena et al. Per-pixel calibration using CALTag and dense 3D point cloud reconstruction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081229

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081229

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081229

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150