JP4742190B2

JP4742190B2 - ３次元オブジェクト計測装置

Info

Publication number: JP4742190B2
Application number: JP2006552886A
Authority: JP
Inventors: 佳嗣眞鍋; 國宏千原; 友樹浦西
Original assignee: 国立大学法人奈良先端科学技術大学院大学
Priority date: 2005-01-13
Filing date: 2005-12-28
Publication date: 2011-08-10
Anticipated expiration: 2025-12-28
Also published as: JPWO2006075528A1; WO2006075528A1

Description

【技術分野】
【０００１】
本発明は、３次元オブジェクトを複数の角度から撮影し、一つの画像における特徴点と当該特徴点と対応する他の画像における特徴点（対応特徴点）との対応関係を基に複数の画像を利用した３次元オブジェクトのステレオ計測処理を行ない、３次元オブジェクトの３次元画像データを生成する３次元オブジェクト計測装置に関する。
【背景技術】
【０００２】
近年、小・中・高校教育において学校教育の情報化推進計画が進められており、全ての小中高等学校の各学級の授業においてコンピュータを活用できるように施策が推進されている。また、家庭においてもブロードバンドネットワークが普及してきており、気軽にインターネット上の様々なデータを検索・閲覧できるようになってきた。
このように、教育分野においてハードウェア資源やネットワーク環境が整備されつつある中、手軽に利用できる魅力のある教育用コンテンツの充実の重要性が指摘されている。代表的な教育用コンテンツの一つとして昆虫や動物の電子図鑑が挙げられる。現在でも昆虫や動物の情報をデジタル化した電子図鑑が存在し、インターネットを介して閲覧可能となっているが、現行の電子図鑑の中には、既存の図鑑本に掲載されている２次元平面写真等をデジタルデータとして取り込んでデータベース化し、検索・閲覧可能としただけの電子図鑑も多いため、特に、今後は、昆虫や動物の立体的な構造や動きを見ることができる３次元電子図鑑など多様な電子図鑑の開発が望まれている。
【０００３】
ここで、現在では昆虫や動物の３次元形状を取り込むことは専門家による多大な労力とコストを必要とするが、教育の現場において先生のニーズに沿った多様な電子図鑑の動的な開発・製作のためには、いちいち専門家を介さずに手軽に学校の先生などが電子図鑑を編集できることが望ましい。つまり、学校の先生など一般の人が手軽に３次元オブジェクトの形状とその動きを計測して３次元データとして取り込み、それら３次元データを基に電子図鑑を製作したり内容を追加したりできる装置の開発が必要とされている。
【０００４】
３次元オブジェクトの形状を計測して３次元データとして取り込む技術は、主にコンピュータビジョンの分野で研究されており、３次元オブジェクトの形状の計測手法としては、アクティブ計測法とパッシブ計測法の２つが知られている（例えば、特許文献１）。
前者のアクティブ計測法には、レーザや超音波を用いた直接計測法や、プロジェクタなどによりパターンを投影し、そのパターンの歪みにより表面の形状を計測するパターン投影法などがある。後者のパッシブ計測法には２台以上のカメラを使ってステレオ計測するステレオ計測法がある。なお、鏡を利用して１台のカメラによってステレオ計測する手法も提案されている。
【０００５】
【特許文献１】
特開２００１−２４１９２８
【発明の開示】
【発明が解決しようとする課題】
【０００６】
まず、従来のアクティブ計測法には、第１の問題として計測範囲が狭いという問題があった。レーザや超音波を用いた直接計測法においても、プロジェクタなどによりパターンを投影するパターン投影法においても、これら照射光などが直接当たっている範囲でなおかつカメラなどの測定器で観測される範囲しか計測できないという問題点があった。
【０００７】
また、従来のアクティブ計測法には、第２の問題として模様や色彩の画像データを得ることができないという問題もあった。従来のアクティブ計測法は３次元オブジェクトの外形形状を測定するためのものであり、模様や色彩データを直接得ることができないため、模様や色彩データを他に用意する必要があった。つまり、このアクティブ計測法は主に３次元オブジェクトから３次元ワイヤーフレームや３次元ポリゴンを生成するための手法であり、模様や色彩データはテクスチャ画像として別途、展開画像を用意する必要があり、３次元画像データ生成のためには多数の工程と多大の労力が必要となる。
【０００８】
次に、従来のパッシブ計測法には、第１の問題として装置の規模が大きくなってしまうと言う問題があった。本来２次元画像である３次元オブジェクトの撮影画像を基に３次元画像データを得るためには、３次元オブジェクトを複数の視点から撮影した複数の２次元画像が必要となるが、電子図鑑として視聴に耐える３次元画像データとするためには、３次元オブジェクトの周囲にぐるりと多数のカメラを用意し、３次元オブジェクトを上下左右の全周を撮影する必要がある。このように電子図鑑として視聴に耐える３次元画像データを得るためには装置の規模が大きくなってしまうという問題点がある。
【０００９】
また、従来のパッシブ計測法には、第２の問題として多数の視点から多数の画像を用意した場合、特徴点同士のマッチングを取ることが難しくなると言う問題があった。ステレオ計測法では、多数の視点から撮影した多数の画像の間でステレオ計測を行なう必要があり、その過程において画像上の特異点やエッジ部分などの特徴点を選び出し、その特徴点を手掛かりとしてマッチングを行なう。しかし、昆虫や動物など複雑な形状を持つ３次元オブジェクトには多数の特徴点が存在し、特徴点の数が増えるにつれてそれらのマッチングを行なうための計算量が急激に増えて行き、マッチングを取ることが難しくなる。
なお、装置規模を小さくするためカメラの台数を減らす工夫として、平面鏡を利用した装置があるが、この装置によればパッシブ計測法の第１の問題点はある程度緩和されるが、３次元オブジェクトの上下左右の全周をカバーする画像を得るためには、なお、複数のカメラが必要である。さらに、この装置ではパッシブ計測法の第２の問題点は緩和できない問題として残る。
【００１０】
また、システム構成の単純化を目的として、鏡やプリズムなどによる反射像や屈折像を用いて、１台のカメラで物体の３次元形状を計測する反射屈折ステレオ視系が知られている。反射屈折ステレオ視系とは、物体表面の同じ一点を始点として異なる軌道を進む複数の光を、光学機器を用いることで単一のカメラに入射させ、複数視点からカメラで観測した像と等価な画像を撮影することで、１台のカメラでステレオ視を実現するシステムである。
この反射屈折ステレオ視系は、１台のカメラで視差のある画像が得られるため、カメラパラメータの補正処理が不要となり、かつ、各視点の像が同期して撮影される利点を有する。また、エピポーラ線が走査線上と同一になるようにカメラや鏡を配置することで、複数のカメラを用いたステレオ視系と同様に、対応点の存在する範囲を限定することが可能となる。
しかし、反射屈折ステレオ視系に基づく物体の全周形状計測手法は、鏡による不規則な写り込みの発生や対応点探索範囲の拡大により、正しい全周形状を得ることが困難である問題がある。
【００１１】
上記問題点に鑑み、本発明は、装置規模が小さく、１台（または２台）という少ない台数のカメラにより撮影した少ない枚数の撮影画像により３次元オブジェクトの上下左右全周をカバーする画像が得ることができ、かつ、画像間の特徴点同士の対応を簡便に取ることができ、一回の撮影で物体の全方向からの多視点画像を得られ、反射屈折ステレオ視により、一枚の画像から物体の３次元全周形状を計測できる３次元オブジェクト計測装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の３次元オブジェクト計測装置は、撮影対象となる３次元オブジェクトを載せる台座と、前記台座を筒の内壁面で取り囲み、前記筒の内壁面を鏡面とした鏡面円筒体と、前記台座に対向し、レンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズと、前記魚眼レンズを介して得られた画像を記録する撮影記録手段とを備えたカメラを備え、前記カメラの撮影記録手段により、前記台座上の３次元オブジェクトを直接見た直接画像と、前記鏡面円筒体の内壁の鏡面に映り込んでいる前記台座上の３次元オブジェクトの反射画像とを併せて撮影するものである。
上記構成によれば、魚眼レンズによりレンズ光軸を中心として放射状に全視野角の映像が撮影でき、魚眼レンズに対向する台座に載せられた３次元オブジェクトを直接撮影した直接画像と、鏡面円筒体の側面内壁の鏡面に映り込んでいる３次元オブジェクトの反射画像とを併せて一度に撮影することができる。円筒鏡面の性質上、この反射画像は３次元オブジェクトの周囲をぐるりと囲む全方向の視点から見える正面画像が映り込んだものとなっており、当該反射画像の撮影により、全方向の視点からの正面画像を一度に得ることができる。
なお、撮影対象となる３次元オブジェクトを台座に載せる以外に、３次元オブジェクトを固定支持する手段、例えば、針金などで刺して固定支持してもよい。また、卓上を台座として活用してもよい。
［００１３］
ここで、鏡面円筒体の側面内壁の鏡面に映り込んでいる３次元オブジェクトの反射画像が複数ある場合がある。つまり、鏡面で一回反射して魚眼レンズに捉えられたいわゆる一回反射画像、鏡面で二回反射して魚眼レンズに捉えられたいわゆる二回反射画像など、鏡面でｎ（ｎは自然数）回反射して魚眼レンズに捉えられたいわゆるｎ回反射画像があり得る。
なお、上記は静止画像の説明であるが、時系列に連続した静止画像を得ればそれらを動画像として扱うことができ、対象物体の動きに関する３次元動両像データも得ることが可能となる。
［００１４］
また、上述の目的を達成するため、本発明の３次元オブジェクト計測装置は、撮影対象となる３次元オブジェクトを載せる台座と、前記台座を筒の内壁面で取り囲み、前記筒の内壁面を鏡面とした鏡面円筒体と、前記台座に対向し、レンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズと、前記魚眼レンズを介して得られた画像を記録する撮影記録手段とを備えたカメラを備え、前記カメラの撮影記録手段により、前記台座上の３次元オブジェクトを直接見た直接画像と、前記鏡面円筒体の内壁の鏡面に映り込んでいる前記台座上の３次元オブジェクトの反射画像とを併せて撮影する３次元オブジェクト計測装置であって、前記カメラの撮影記録手段により撮影した撮影画像上の特徴点を抽出して決定する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記直接画像上の特徴点に対応する前記反射画像上の対応特徴点を前記反射画像上において探索して決定する、または、前記特徴点抽出手段によって抽出された前記反射画像上の特徴点に対応する前記直接画像上の対応特徴点を前記直接画像上において探索して決定する手段であって、前記撮影画像において画像の中心と前記特徴点とを結ぶ延長線上を探索することにより前記対応特徴点の探索を行なう対応特徴点探索手段と、前記特徴点と前記対応特徴点との対応関係を基に前記直接画像と前記反射画像とのステレオ計測処理を行ない、前記直接画像と前記反射画像から前記３次元オブジェクトの３次元画像データを生成する３次元画像データ生成手段を備えたことを特徴とするものである。
上記構成により、ステレオ計測処理において直接画像と反射画像の間で特徴点とその特徴点に対応する対応特徴点とを簡便にマッチングすることができる。つまり、本発明の３次元オブジェクト計測装置では、反射画像は台座の中心（円筒中心）から放射線状に展開された画像となっており、特徴点と対応する対応特徴点とが必ず同じ直線上にあるため対応点探索が簡単となる利点がある。
すなわち、撮影対象のオブジェクト上のある点の画像は、正対する鏡面円筒体の内壁鏡面に映り込み、二回反射画像の場合は点対称となるが、中心点を挟んで折り返した位置となるので、結局、直接画像上のある特徴点に対応する反射画像上の特徴点は直接画像上の当該特徴点と画像の中心点を結ぶ直線の延長線上にあることとなるのである。この幾何学的関係を特徴点の探索のマッチングアルゴリズムに取り込むことにより、その計算コストを大幅に低減することが可能となる。
本発明は、鏡面円筒体とレンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズとを組み合わせることにより、複雑な特徴点検出アルゴリズムを用いることがなく、特徴点同士の幾何学的関係を用いて効率よく特徴点と対応する対応特徴点を探索できるのである。
なお、上記した特徴点同士の幾何学的関係は、オブジェクトが台座の中心からずれた位置に載せ置かれていても変わることはない。オブジェクトが台座の中心からずれた位置に載せ置かれた場合でも特徴点同士の幾何学的関係が保たれる。オブジェクトが台座の中心からずれた位置に載せ置かれている場合、鏡面円筒体の内壁鏡面に映り込んだ反射画像は歪んでしまうが、特徴点同士は画像中心を通る直線上に存在する。これは、カメラの光軸と円筒鏡の中心軸が一致しているとき、ある光線がカメラに入射するためには、光線は円筒鏡の中心軸を通らなければならず、円筒の中心軸を挟んで向き合う円筒鏡の２点の接線は常に平行になり、円筒の中心を通る光線は常に、平行な接線をもつ鏡面に対して、真上から観察した場合に垂直に入射することとなるからである。
［００１５］
次に、本発明の３次元オブジェクト計測装置において、前記台座を透明素材で形成し、前記台座の下方向からも前記オブジェクトを可視とし、前記カメラとして第１のカメラと第２のカメラの２つのカメラを備え、前記第１のカメラの魚眼レンズと前記第２のカメラの魚眼レンズが前記台座を挟んで対向し合うように配置することが好ましい。
上記構成により、鏡面円筒体のいわゆる上面と下面の２方向から魚眼レンズで撮影することにより、３次元オブジェクトの上部画像と下部画像を同時に撮影することが可能となる。
［００１６］
次に、本発明の３次元オブジェクト計測装置において、前記カメラが前記鏡面円筒体に対して前記円筒中心軸に沿った移動が可能となっており、前記台座と前記魚眼レンズの距離を、撮影対象となる３次元オブジェクトの高さをＬとして、基底となっている前記台座からＬ〜１０Ｌの範囲で可変とすることが好ましい。
鏡面円筒体の側面内壁の鏡面において３次元オブジェクトの反射画像が映り込む位置は計測する３次元オブジェクトの大きさ（高さ、厚み）や形状により異なる。直接画像および反射画像を適切に撮影するため魚眼レンズの位置（台座と魚眼レンズとの距離）が調整できることが好ましい。そこで、台座と魚眼レンズとの距離を可変としたものである。
［００１７］
次に、本発明の３次元オブジェクト計測装置において、前記台座と前記鏡面円筒体および前記カメラとの相対運動を可能とし、前記台座を固定した状態で、前記台座の中心を回転運動の中心として３次元空間内での前記鏡面円筒体および前記カメラを一体とした自由な回転移動を可能とすることが好ましい。
上記構成により、３次元オブジェクトが切り立った側面形状を持っている場合や、３次元オブジェクトが凹形状を持っている場合であっても、当該部分についてステレオ計測に必要な画像を得ることができる。例えば３次元オブジェクトが切り立った側面形状を持っている場合は、鏡面円筒体と台座を固定したままでは魚眼レンズによっては直接画像をうまく得ることができない。また、３次元オブジェクトが上面に少し深い凹形状を持っている場合は、鏡面円筒体とカメラを固定したままで直接画像を得ることはできるものの、反射画像としては凹形状の部分は周縁の壁面の陰になって得ることはできない。そこで、台座を固定した状態で、台座の中心を回転運動の中心として３次元空間内での鏡面円筒体およびカメラを一体とした自由な回転移動を可能としたものであり、上記前者の側面形状の場合や上記後者の凹形状の場合であっても、それら部分の直接画像および反射画像が撮影できる別アングルの角度となるように鏡面円筒体およびカメラの配置を調整せしめることを可能としたものである。
【発明の効果】
【００１８】
本発明の３次元オブジェクト計測装置によれば、魚眼レンズによりレンズ光軸を中心として放射状に全視野角の映像が撮影でき、鏡面円筒体を組み合わせて台座に載せられた３次元オブジェクトの撮影画像を取得することにより、魚眼レンズに対向する台座に載せられた３次元オブジェクトを直接撮影した直接画像と、鏡面円筒体の側面内壁の鏡面に映り込んでいる３次元オブジェクトの反射画像とを併せて一度に撮影することができる。また、本発明の３次元オブジェクト計測装置によれば、ステレオ計測処理において直接画像と反射画像の間で特徴点とその特徴点に対応する対応特徴点とを簡便にマッチングすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しつつ、本発明の３次元オブジェクト計測装置の実施例を説明する。ただし、本発明の技術的範囲は以下の実施例に示した具体的な用途や形状・寸法などには限定されない。
また、３次元オブジェクトの計測の際に、３次元オブジェクトを支持する手段は、オブジェクトを支えることができるものであれば良く、例えば、台座、吊るし糸、針金、針などが挙げられる。ここで台座は装置筐体に組み込まれる小さな板状のものに限定されず、机や置き台のような大きなものも含む。机を支持手段とする場合は後述する鏡面円筒体を、支持手段である台座としての机の上に立てて据え置くこととなる。
以下に説明する実施例では３次元オブジェクトの支持手段を小さな円盤状の板である台座として説明する。
【実施例１】
【００２０】
実施例１にかかる本発明の３次元オブジェクト計測装置の例を示す。
図１は実施例１に係る３次元オブジェクト計測装置１００の基本構成を模式的に示した図である。
【００２１】
１０は撮影対象となる３次元オブジェクトを載せる台座である。台座１０の形状は限定されないが、例えば、円盤状とする。台座１０の大きさは撮影対象となる３次元オブジェクトが載せ置ける大きさとする。
【００２２】
２０は鏡面円筒体である。鏡面円筒体２０は横断面が真円である円筒形状を持ち、その内壁面が鏡面となっている。つまり、本発明に言う鏡面円筒体とは、筒体の内壁面が円筒形でかつ鏡面となっているものを言う。筒体の外壁面はかならずしも円筒形でなくとも良くまた鏡面でなくとも良い。例えば、外形形状は四角柱でプラスチック素材であるが、その内側に円柱形のくり抜きがありその内壁面が鏡面であるようなものも含まれる。
鏡面円筒体２０の内径はその中に台座１０を収める大きさを持っており、この例では台座１０は鏡面円筒体２０の底面部分に収められている。
鏡面円筒体２０の高さは、撮影対象となる３次元オブジェクトの高さをＬとすると、基底となっている台座１０からＬ以上あれば良いが、例えば、台座１０から２Ｌ〜１０Ｌ程度の高さとすることができる。
【００２３】
３０はカメラである。カメラ３０は魚眼レンズ３１と撮影記録手段３２を備えている。
魚眼レンズ３１は、台座１０に対向し、レンズ光軸が鏡面円筒体２０の円筒中心軸と一致するように配置されている。この例では魚眼レンズ３１は鏡面円筒体２０の上面に配置され、台座１０に対向するように下向きに据え付けられている。魚眼レンズ３１の中心軸（レンズ光軸）は円筒鏡面体２０の中心軸（円筒中心軸）に一致するように配置されている。
撮影記録手段３２は魚眼レンズ３１を介して得られた画像を記録できるものであれば特に限定されず、アナログフィルムに露光記録するいわゆるアナログ画像記録手段でもよく、ＣＣＤ（Charge Coupled Device）などの受光素子で受光してデジタルデータとして記録するいわゆるデジタル記録手段でも良い。一例としてここでは撮影記録手段３２はデジタル画像記録手段とする。
【００２４】
画像データ処理装置４０は、カメラ３０により撮影された２次元画像を受け取り、ステレオ計測処理により３次元画像データを生成するものである。画像データ処理装置４０は、特徴点抽出手段４１、対応特徴点探索手段４２、３次元画像データ生成手段４３を備えるが（図１には図示せず）、これらについては後述する。
【００２５】
次に、図１に示した３次元オブジェクト計測装置１００の構成例において、台座１０に載せ置いたオブジェクトを撮影してステレオ計測法により３次元画像データを得る原理と手順を説明する。ここでは、一例として、コーン形状（円錐体形状）を持つ３次元オブジェクト（オブジェクト１）を読み取る例を説明する。
ステレオ計測法に基づいて２次元画像データから３次元画像データを得るためには、手順１として、対象となる３次元オブジェクトを複数の視点（それぞれ異なる角度）から撮影した２次元画像を取得する手順、手順２として、取得した複数の２次元画像間の特徴点間でマッチング処理を行なって３次元オブジェクトの要素ごとに対応付けを行なう手順、手順３として、ステレオ計測処理に基づく差分計算や推論計算により３次元画像データとしておこす手順を踏む必要がある。
【００２６】
まず、手順１として、本発明の３次元オブジェクト計測装置１００では、一度の撮影により直接画像と反射画像の少なくとも２つの画像を得る。ここで、直接画像とは、台座１０上の３次元オブジェクトから魚眼レンズ３１に直接入射する光線を受光して得た画像、つまり、魚眼レンズ３１の視点から直接見える３次元オブジェクトの画像のことを言う。反射画像とは、台座１０上の３次元オブジェクトから鏡面円筒体２０の内壁鏡面において反射して魚眼レンズ３１に入射する光線を受光して得た画像、つまり、魚眼レンズ３１の視点から鏡面円筒体２０の内壁鏡面に映り込んでいる３次元オブジェクトの反射画像のことを言う。反射画像には、鏡面円筒体２０の内壁鏡面において一度反射して魚眼レンズ３１に入射する一回反射画像Ｒ１、鏡面円筒体２０の内壁鏡面において二度反射して魚眼レンズ３１に入射する二回反射画像Ｒ２など多数回反射して得られる画像を含む。つまり、鏡面円筒体２０の内壁鏡面においてｎ（ｎは自然数）回反射して魚眼レンズ３１に入射するものはｎ回反射画像Ｒｎとなる。
【００２７】
図２は直接画像と反射画像のカメラ３０における受光の様子を３次元オブジェクト計測装置１００の縦断面において模式的に表した図である。図２では、３次元オブジェクト１のある点Ａにのみ着目している。台座１０に載せ置かれた３次元オブジェクト１のある点Ａから出射し、直接魚眼レンズ３１に入射する光が直接画像を形成する光路Ａ０である。点Ａから出射し、鏡面円筒体２０の内壁鏡面において一度反射して魚眼レンズ３１に入射する光が一回反射画像を形成する光路Ａ１である。点Ａから出射し、鏡面円筒体２０の内壁鏡面において二度反射して魚眼レンズ３１に入射する光が二回反射画像を形成する光路Ａ２である。
なお、三回以上反射する光路もあるが、図２では二回反射の光路Ａ２までを示し、それ以上のものは図示を省略している。また、図２は点Ａのみに着目した光路を示したが、オブジェクト１の表面のすべての点から出射した光が図２と同様の原理により魚眼レンズ３１に入射する。
【００２８】
図３は、台座１０の上に載せ置かれたコーン形状であるオブジェクト１をカメラ３０により撮影して得た画像を模式的に示す図である。なお、オブジェクト１のある点Ａを参考までに白丸の小点として示している。図３において中央に見える画像が、オブジェクト１の直接画像Ｄ０であり、コーン形状を真上から見たものとなっている。図３において直接画像Ｄ０を囲む円は台座１０と鏡面円筒体２０のエッジＥである。次に、エッジＥを囲む外側の輪状のものは鏡面円筒体２０の内壁鏡面に映り込んだオブジェクト１の一回反射画像Ｒ１である。コーン形状の側面が面円筒体２０の内壁鏡面をぐるりと周回する形で映り込んでいる。次に、一回反射画像Ｒ１を囲む外側の輪状のものは鏡面円筒体２０の内壁鏡面に映り込んだオブジェクト１の二回反射画像Ｒ２である。一回反射画像Ｒ１と同様、コーン形状の側面が面円筒体２０の内壁鏡面をぐるりと周回する形で映り込んでいるが、二回反射画像Ｒ２では像が点対称の像となっている。つまり、オブジェクト１上のある点Ａの画像は、直接画像Ｄ０では右側にあり（画像点Ｇ０）、一回反射画像Ｒ１でも右側にあるが（画像点Ｇ１）、二回反射画像Ｒ２では左側に映り込んでいる（画像点Ｇ２）。
なお、図３では三回反射以上の反射画像（反射画像Ｒ３など）は図示を省略した。
本発明の３次元オブジェクト計測装置１００では、このように一度の撮影により直接画像と反射画像の複数の画像を得る。
【００２９】
ここで、本発明の３次元オブジェクト計測装置１００により得た直接画像と反射画像が、異なる角度の複数の視点から撮影した画像として３次元ステレオ計測に用いることができる理由を説明する。
【００３０】
図４は、図２で説明したオブジェクト１の点Ａに対する直接画像を形成する光路Ａ０、一回反射画像を構成する光路Ａ１、二回反射画像を形成する光路Ａ２の撮影視点を等価的に展開した様子を模式的に示した図である。実際の魚眼レンズ３１は撮影視点Ｆ０であるが、一回反射画像Ｒ１に対応する光路Ａ１は撮影視点Ｆ１に入射する光路Ａ１’と等価である。同様に、二回反射画像Ｒ２に対応する光路Ａ２は撮影視点Ｆ２に入射する光路Ａ２’と等価である。つまり、一回反射画像Ｒ１における点Ａはオブジェクト１を撮影視点Ｆ１においた仮想カメラ３０’において撮影すれば得られるであろう画像中の点Ａと等価であり、二回反射画像Ｒ２における点Ａはオブジェクト１を撮影視点Ｆ２においた仮想カメラ３０’’において撮影すれば得られるであろう画像中の点Ａと等価であると言える。なお、鏡面円筒体２０の内径をｒとすると、撮影視点Ｆ１は魚眼レンズ３１から２ｒ離れた位置、撮影視点Ｆ２は魚眼レンズ３１から４ｒ離れた位置となる。
【００３１】
図４を用いた上記の説明はオブジェクト１の右側にある点Ａのみについて着目して説明したが、実際にはコーン形状の表面のすべての点について、対面する鏡面円筒体の内壁鏡面との間で成立するので、図３に示した、鏡面円筒体２０の内壁鏡面に映り込んだ一回反射画像Ｒ１は、円筒中心軸を回転の中心として半径２ｒの円周上を３６０度ぐるりと仮想カメラ３０’を移動させながらオブジェクト１を撮影し、各撮影画像の中央画像（コーン形状のうち撮影視点に対して真正面に正対している正面画像）のみを集めた画像と等価な画像となっている。同様に、二回反射画像Ｒ２は、円筒中心軸を回転の中心として半径４ｒの円周上を３６０度ぐるりと仮想カメラ３０’’を移動させながらオブジェクト１を撮影し、各撮影画像の中央画像のみを集めた画像と等価な画像となっている。つまり、本発明の３次元オブジェクト計測装置１００により得た直接画像Ｄ０と反射画像Ｒ１と反射画像Ｒ２は、魚眼レンズ３１が配置されている実際の視点Ｆ０からの直接画像に加え、円筒中心軸から半径２ｒ離れた円周上および半径４ｒ離れた円周上を取り囲むように配置された無数（解像度の数）の撮影視点から撮影された画像を含むものとなっている。しかし、撮影視点が無数とは言え、反射画像は各撮影視点の正対画像、つまり、各撮影視点から撮影した画像のうちの真正面に正対する中央画像のみを集めたものと等価であるので、オブジェクト１上の一つの点に注目すれば（例えば点Ａ）ステレオ計測に用いることのできる画像データの数が無数にあるわけではなく、直接画像Ｄ０に写されている当該点の画像（例えば画像点Ｇ０）と、半径２ｒの視点から写した一回反射画像Ｒ１に写されている当該点の画像（例えば画像点Ｇ１）と、半径４ｒの視点から写した二回反射画像Ｒ２に写されている当該点の画像（例えば画像点Ｇ２）の３つの画像データしかない。つまり、この例では、ステレオ計測処理に用いる画像データとしては、３つの視点からの２次元画像が一度に得られたものと同様の効果が得られたこととなる。
【００３２】
ここで、本発明の３次元オブジェクト計測装置のステレオ視計測における、点から魚眼レンズを通してカメラに入射する光線角のパラメータ決定方法について述べる。
魚眼レンズは、魚眼レンズに入射する光線が光軸と成す角φと、光線が射影された
画像平面における画像中心からの距離ｄの関係を下記数式１で表せる。
【００３３】
【数１】
【００３４】
図９に、角φと画像中心からの距離ｄの関係図を示す。ここで、ｆは焦点距離である。また関数ｇ（φ）は、魚眼レンズの射影特性であり、レンズ毎に特性が異なるものである。
魚眼レンズの射影特性をデータベースとして持っておくことで、撮影画像における注目点の画像中心からの距離によって、カメラに入射する光線の角度を決定できるのである。
【００３５】
次に、本発明の３次元オブジェクト計測装置１００におけるステレオ計測の手順２を説明する。
手順２では、取得した複数の２次元画像間でステレオ計測処理を行ない３次元オブジェクトの要素ごとに対応付けを行なうが、ステレオ計測処理をすべての画素について行なうことは計算コストが膨大となるので、通常は、画像データをＤＣＴ変換やフーリエ変換などにより周波数領域に変換し、画像中の特異点やエッジを抽出し、それらの代表的なものを特徴点として選定し、画像中の特徴点同士を探索してマッチングして行く。ここではある画像中の特徴点に対応する他の画像中の特徴点を対応特徴点と呼ぶ。
【００３６】
従来技術における単純なマッチングアルゴリズムの場合は、画像間で特徴点同士をすべて試行錯誤法により探索してマッチングして行くが、オブジェクトの形状が複雑になると、画像中に多数の特異点やエッジが存在し、多数の特徴点が選定されることとなりマッチング処理の計算コストが膨大になってしまう。
しかし、本発明の３次元オブジェクト計測装置１００を用いる場合は、直接画像と反射画像間の幾何学的関係を用いて特徴点同士のマッチング処理を実行することができるので、計算コストを大幅に低減することができる。その原理は以下のように説明できる。上記の図３および図４を用いて説明したように、カメラ３０により撮影された画像には直接画像Ｄ０と反射画像（ここでは一回反射画像Ｒ１と二回反射画像Ｒ２の２つとする）が写されているが、この直接画像Ｄ０と反射画像（一回反射画像Ｒ１と二回反射画像Ｒ２）の間には、重要な幾何学的関係が存在する。ここで言う幾何学的関係とは、対応し合う特徴点同士は、画像の中心を通るように引いた同じ直線上に存在するという関係である。
【００３７】
オブジェクト上のある点の画像は、正対する鏡面円筒体の内壁鏡面に映り込む。二回反射画像の場合は点対称となるが、中心点を挟んで折り返した位置となるので、結局、直接画像上のある特徴点に対応する反射画像上の特徴点は直接画像上の当該特徴点と画像の中心点を結ぶ直線の延長線上にあることとなる。図３で説明すれば、直接画像Ｄ０上のある特徴点である画像点Ｇ０について対応する特徴点を探索する場合、画像中心Ｃと画像点Ｇ０を結んだ直線の延長線上を探索すれば、一回反射画像Ｒ１中の対応する特徴点である画像点Ｇ１と二回反射画像Ｒ２中の対応する特徴点である画像点Ｇ２が見つかる。この幾何学的関係を特徴点の探索のマッチングアルゴリズムに取り込めば、その計算コストを大幅に低減することが可能となる。
以上の手順により、特徴点同士の幾何学的関係を用いて効率よく特徴点と対応する対応特徴点を探索する。
【００３８】
参考として、試作した本発明の３次元オブジェクト計測装置１００において、ピラミッド形状のオブジェクトを撮影した画像の例を示しておく。
図５は、台座の中心にピラミッド形状のオブジェクトを据え置き、その直接画像および鏡面円筒体の内壁鏡面に映り込んだ反射画像を併せて撮影した画像を示している。なお、画像中に引いてある放射線は直接画像と反射画像との対応を目視しやすいように、後処理により画像中に追加した線であり、このような放射線が当初から写り込んでいるわけではない。
【００３９】
なお、上記した特徴点同士の幾何学的関係は、オブジェクトが台座の中心からずれた位置に載せ置かれていても変わることはない。図６はオブジェクトが台座の中心からずれた位置に載せ置かれた場合でも特徴点同士の幾何学的関係が保たれていることを示す図であり、図５に比べ、オブジェクトが台座の中心から右上に偏った位置に載せ置かれており、鏡面円筒体の内壁鏡面に映り込んだ反射画像は図５に比べて大きく歪んでいるが、特徴点同士は画像中心を通る直線上に存在することが分かる。図６中では、分かりやすいように、直接画像中の２つの特徴点について注目し、それら特徴点と画像の中心を結ぶ２本の直線を後処理で追加して引いている。その直線上に、一回反射画像と二回反射画像における対応特徴点が存在することが分かる。
【００４０】
この理由について図７を用いて説明する。図７は、オブジェクトの一点から鏡に２回反射してカメラに入射する光線の軌跡の一例を示している。図７の（ａ）は側面から観察したもので、（ｂ）は真上から観察したものである。カメラの光軸と円筒鏡の中心軸が一致しているとき、ある光線がカメラに入射するためには、光線は円筒鏡の中心軸を通らなければならない。図７（ｂ）のように本発明の３次元オブジェクト計測装置を上から見たとき、円筒の中心軸を挟んで向き合う円筒鏡の２点の接線は、図７（ｂ）に示すように常に平行になる。従って、円筒の中心を通る光線は常に、平行な接線をもつ鏡面に対して、真上から観察した場合に垂直に入射することとなる。同一の点を始点とする光線は、必ず同一の直線上に存在するため、仮想カメラのエピポーラ線は円筒の中心を通る直線となるのである。
【００４１】
図８に、仮想オブジェクトを撮影したシミュレーション画像を示す。
撮影画像の中心にカメラから直接見える像、その周囲に円筒鏡に反射した像が存在する画像が得られる。また反射像は、画像中心から反射回数の少ない順に、同心円状に並ぶことになる。
ここで、図８（ａ）のオブジェクトが円錐の形状を有する場合、オブジェクト表面上のＡ点からカメラに入射する光線は、画像中心と点Ａを結ぶ破線上だけを移動することになる。このため、撮影画像中に存在する対応点の組の探索範囲を、画像中心を通る直線上に限定できることとなり、計算量の削減や、対応点の誤検出の削減ができるのである。
また、同様に、図８（ｂ）のオブジェクトが四角錐の形状を有する場合、オブジェクト表面上のＢ点からカメラに入射する光線は、画像中心と点Ｂを結ぶ破線上だけを移動することになる。
また、図８（ｃ）のオブジェクトが円錐の形状を有し、かつ、位置が中心からずれて置かれて撮影された場合でも、オブジェクト表面上のＣ点からカメラに入射する光線は、画像中心と点Ｃを結ぶ破線上だけを移動することになる。
【００４２】
次に、本発明の３次元オブジェクト計測装置１００におけるステレオ計測処理に基づく３次元画像データ生成の手順３を説明する。
手順３では、手順２により得られた特徴点と対応特徴点との対応関係を基に直接画像と反射画像とのステレオ計測処理を行ない、直接画像と反射画像から３次元オブジェクトの３次元画像データを生成する。例えば、直接画像データと反射画像データ間の差分計算や推論計算により３次元画像データとしておこして行く。本発明の３次元オブジェクト計測装置１００では、この手順３は特に限定されず、ステレオ計測処理を行なうアルゴリズムであれば広く適用することができる。
【００４３】
図１２は、本発明の３次元オブジェクト計測装置１００における３次元画像データ処理装置４０の構成要素を示すブロック図である。なお、ハードウェアとしては汎用のパーソナルコンピュータ資源とソフトウェアモジュールと組み合わせた情報処理組織を用いてステレオ計測法に基づく３次元画像データ生成処理を具体的に実現するものでも良く、上記アルゴリズムを半導体回路によりコーディングした専用のハードウェアを用いて実現するものでも良い。
【００４４】
４１は、カメラ３０の撮影記録手段３２により撮影した撮影画像上の特徴点を抽出して決定する特徴点抽出手段である。有効な特徴点の抽出アルゴリズムであれば特に限定されず広く適用することができるが、例えば、ＤＣＴ変換により画像データを周波数領域に変換し、画像中の特異点やエッジを抽出して特徴点を選定するアルゴリズムを利用する。
【００４５】
４２は対応特徴点探索手段であり、特徴点抽出手段４１によって抽出された直接画像上の特徴点に対応する反射画像上の対応特徴点を反射画像上において探索して決定する手段、または、特徴点抽出手段４１によって抽出された反射画像上の特徴点に対応する直接画像上の対応特徴点を直接画像上において探索して決定する手段である。この対応特徴点探索手段４２において、上記した幾何学的関係を用いた探索、つまり、画像の中心と特徴点とを結ぶ延長線上を探索することにより対応特徴点の探索を実行するアルゴリズムを取り込んでおく。
【００４６】
４３は、３次元画像データ生成手段であり、対応特徴点探索手段４２により得られた特徴点と対応特徴点との対応関係を基に直接画像と反射画像との間でステレオ計測処理を行ない、２次元画像である直接画像と反射画像からオブジェクトの３次元画像データを生成する部分である。
【００４７】
ここで、対応点探索手段４２のアルゴリズムの一例として、ＳＳＤ（Sum of Squared Difference：差の二乗和）による手法の詳細を説明する。なお、上述したように対応点探索手段４２は、既存のステレオ計測処理のアルゴリズムの適用が可能であり、SSD以外にも非線形のマッチング手法であるDPマッチングなど幅広いアルゴリズムの適用が可能である。
先ず、対応特徴点探索手段４２のアルゴリズムでは、処理の簡単化のために撮影画像を極座標展開し、次に極座標展開された撮影画像から、ある一点を中心とする小領域を探索元領域として切り出して、探索元領域に最も類似していると考えられる領域を探索する処理を行う。
本実施例では、２つの領域の間でＳＳＤ（Sum of Squared Difference：差の二乗和）を計算し、ＳＳＤの値が小さいほど互いの領域が類似しているものと判断している。但し、円筒鏡面で反射してカメラに入射した像は、半径方向に歪みを含んでいるため、領域間の類似性を求める際には、反射像の歪みを補正すべきである。しかし、反射像の歪みの大きさは、未知のパラメータである物体面の法線方向に依存するため、歪みを解析的に補正することが不可能である。そこで本実施例では、探索領域の移動に加えて、類似性を調べる反射像を半径方向について動的に拡大縮小させながら、ＳＳＤの値を計算することにより、最も類似している領域の中心点の組を対応点の組とすることとした。
以下では、対応特徴点探索手段４２のアルゴリズムについて、（１）撮影画像の極座標展開処理、（２）探索対象領域のサイズの正規化処理、（３）探索対象領域の限定処理、（４）ＳＳＤ値の算出処理に分けて説明する。
【００４８】
（１）撮影画像の極座標展開処理
ＳＳＤの計算を単純化するための前処理として、撮影画像の極座標展開処理を行う。図１０（ａ）には、極座標展開した結果の画像例を示す。上述したように、本発明の３次元オブジェクト計測装置で撮影された画像において、対応点の組は画像中心を通る同一直線上に必ず存在する。よって、撮影された画像を、縦軸を画像中心からの距離、横軸を角度とする極座標画像に展開することで、画像中のある一点に対応する点を探索する際の範囲は、図１０（ｂ）に示す破線の領域内に限定されることになる。
極座標展開前の画像における座標値を（ｕ，ｖ）、極座標展開後の座標値を（ｔ、ｗ）とすると、変換における画素値の対応関係は下記数式２，３で表される。ここで、ｔ及びｗは整数値である。また、Ｕは極座標展開前の画像におけるｕおよびｖ軸方向の画素数、Ｔ，Ｗはそれぞれ極座標展開後の画像におけるｔ，ｗ軸方向の画素数を表している。この極座標展開前の画像は、画像の中心に円筒の中心軸が存在するように撮影されている。
なお、極座標展開前の画像において、下記数式４の条件を満たさない座標値（ｕ，ｖ）については変換の対象としていない。
【００４９】
【数２】
【００５０】
【数３】
【００５１】
【数４】
【００５２】
（２）探索対象領域のサイズの正規化処理
次に、探索対象領域のサイズの正規化処理について説明する。上述したように、撮影画像における反射像のｗ軸方向の大きさは、光線の入射角と物体面の法線方向に依存して変化する。例えば図１０（ａ）や（ｂ）では、物体像が鏡に２回反射してカメラに入射した像のｗ軸方向の大きさは、１回反射してカメラに入射した像よりも小さくなる。しかし、計測段階において物体面の法線方向は未知であるため、ｗ軸方向への像の大きさの変化を解析的に補正することは不可能である。そこで本発明の３次元オブジェクト計測装置では、類似性を調べたい局所領域をｗ軸方向について動的に拡大縮小させながら、ＳＳＤの値を計算することとしている。ここで、ＳＳＤ値を計算するには、探索の際に基準となる領域（Source）と評価対象の領域（Target）の大きさが同一でなければならない。
一般に、光線の入射角度や物体面の法線方向による像の大きさの変化は非線形であるが、局所領域内の微小な像の歪みは、線形な拡大縮小で近似しても誤差は小さいと考えられるため、本３次元オブジェクト計測装置では処理の簡単化のため、線形補間によって局所領域を拡大または縮小することにしている。
また、各画素の色はＲＧＢ表色系で表現されることとしている。正規化後の領域内の点（ｔ，ｗ）におけるＲ，ＧおよびＢそれぞれの輝度値ｌ_ｉ(t，w) (i ＝ r，g，b) は、正規化前の点の輝度値o_ｉ (i ＝ r，g，b) と、Source を1.0としたときのTargetのスケールｓを用いて、下記数式５から算出できる。ここで、trunc（ｘ）はｘの小数点以下を切り捨てる関数である。
【００５３】
【数５】
【００５４】
（３）探索対象領域の限定処理
次に、探索対象領域の限定処理について説明する。本発明の３次元オブジェクト計測装置で撮影した画像のｎ次反射像において、点（t_Ｓ，w_Ｓ）を中心とする領域 Sourceに対応する領域 Targetは、オクルージョンが発生しない場合、像の空間的な連続性は鏡に反射しても保たれることから、下記数式６を用いて求められる点（ｔ，ｗ^ｎ _ｇ）の近傍に存在すると仮定する。ここで、ｗ^ｎ _ｍｉｎとｗ^ｎ _ｍａｘはそれぞれ、ｎ回目の反射像が存在する上端値と下端値を示しており、また、ｗ^Ｓ _ｍｉｎとｗ^Ｓ _ｍａｘは、Sourceが存在する上端値と下端値を示している。
【００５５】
【数６】
【００５６】
ここで、上記数式６で求めた点ｗ^ｎ _ｇは、Sourceに対応するTargetの位置を線形比をもとに推定しているものである。上述のとおり、反射像のｗ軸方向への歪みは一般に非線形であるが、非線形の歪みを線形比で近似した際の誤差は局所的にみると小さいからである。
そこで、点（t_Ｓ，w_Ｓ）を中心とする領域Sourceに対応する領域を探索する際、探索対象となるｗ軸方向の範囲を、ｗ^ｎ _ｇを中心とする一定の範囲内に限定することで、探索領域の削減を図っているのである。
中心を点（t_Ｓ，w_Ｓ）とする領域Sourceに対応するTargetをｎ次の反射像から探索するとき、探索の中心点とするｗの範囲の上端ｗ^ｎ _ｇｍｉｎおよび下端ｗ^ｎ _ｇｍａｘを下記数式７で表す。また、鏡に反射した像をSource領域とする際は、上端ｗ^ｎ _ｇｍｉｎおよび下端ｗ^ｎ _ｇｍａｘを下記数式８で表す。ここで、ａは探索範囲の広さを表す定数であり、値が大きいほど探索範囲は広くなる。
【００５７】
【数７】
【００５８】
【数８】
【００５９】
（４）ＳＳＤ値の算出処理
次に、ＳＳＤ値の算出処理について説明する。Sourceと線形補間によって正規化されたTargetの類似度を評価するため、本３次元オブジェクト計測装置では評価量として、SourceとTarget領域間のＳＳＤ値を用いている。このSource領域ＳとTarget領域Ｔの間のＳＳＤ値ｄ_ＳＴは、下記数式９により求められる。下記数式において、ｌ^Ｓ _ｉおよびｌ^Ｔ _ｉ（ｔ，ｗ）（ｉ＝ｒ，ｇ，ｂ）はそれぞれSourceとTargetにおける各画素の輝度である。また、ｌ^Ｓ _ｉおよびｌ^Ｔ _ｉ（ｔ，ｗ）（ｉ＝ｒ，ｇ，ｂ）がとりうる値の範囲は、双方とも０以上２５５以下である。
【００６０】
【数９】
【００６１】
ここで、あるSourceに対応するTargetを探索する流れについて、図１１を用いて説明する。図１１は、カメラから直接観測された像をSourceの全体集合Ｓ_ａｌｌとした例を表している。Ｓ_ａｌｌから任意の窓サイズで切り出されたSource 領域Sa(SaはＳ_ａｌｌの集合に属する)に対応する探索候補領域は、図１１中の破線で示された領域に限定できる。また、Sourceに対応するTargetは、上述した局所領域内に存在すると考えられ、探索候補領域内で窓サイズを変化させながら領域を切り出して、Sa とのＳＳＤ値を計算する。そして、最小のＳＳＤ値をもつ領域Ta をSaに対応する領域として選択し、それぞれの中心点をステレオ視の際に用いる対応点の組とする。同様に、Ｓ_ａｌｌに含まれるすべての画素について対応点を探索するのである。
【００６２】
以上、実施例１に示した本発明の３次元オブジェクト計測装置１００によれば、魚眼レンズに対向する台座に載せられた３次元オブジェクトを直接撮影した直接画像と、鏡面円筒体の側面内壁の鏡面に映り込んでいる３次元オブジェクトの反射画像とを併せて一度に撮影することができ、直接画像と反射画像の間で特徴点とその特徴点に対応する対応特徴点とを簡便にマッチングし、ステレオ計測処理に基づいて２次元画像データから３次元画像データを生成することができる。
【実施例２】
【００６３】
実施例２にかかる本発明の３次元オブジェクト計測装置１００ａの例を示す。
実施例２の３次元オブジェクト計測装置１００ａは、実施例１の３次元オブジェクト計測装置１００に対して、台座１０を透明素材で形成し、図１３のように、カメラ３０として第１のカメラ３０ａと第２のカメラ３０ｂの２つのカメラを備え、第１のカメラ３０ａの魚眼レンズ３１ａと第２のカメラ３０ｂの魚眼レンズ３１ｂが台座１０を挟んで対向し合うように配置したものである。
これは、オブジェクト１の上部画像のみならず下部画像についても同時に異なった視点からの複数の画像を一度に撮影することを狙ったものである。
【００６４】
実施例１に示した鏡面円筒体２０の上部に一つのカメラ３０を備えた構成では、撮影画像として得られるものは、オブジェクト１の上面の直接画像Ｄ０とオブジェクト１の上面の反射画像Ｒｎであり、オブジェクト１の下面の直接画像Ｄ０とオブジェクト１の下面の反射画像Ｒｎは併せて撮影することはできない。
【００６５】
そこで、本実施例２の３次元オブジェクト計測装置１００ａは、鏡面円筒体２０の上部のカメラ３０ａのみならず、鏡面円筒体２０の下部にもカメラ３０ｂを備えた構成とし、オブジェクト１の上部画像のみならず下部画像についても同時に直接画像Ｄ０と反射画像Ｒｎを一度に撮影するものである。なお、台座１０は下方からもオブジェクト１が撮影できるようにガラス板などの透明素材とし、また、台座１０の下方にも鏡面円筒体２０が延伸されている必要がある。
下方のカメラ３０ｂを用いたオブジェクト１の下面の直接画像Ｄ０と反射画像Ｒｎの撮影原理およびステレオ計測処理の原理は実施例１と同様であるので、ここでの説明は省略する。
【実施例３】
【００６６】
実施例３にかかる本発明の３次元オブジェクト計測装置１００ｂの例を示す。
実施例３の３次元オブジェクト計測装置１００ｂは、実施例１の３次元オブジェクト計測装置１００に対して、鏡面円筒体２０に対してカメラ３０を可動としたものであり、図１４に示すように、カメラ３０が鏡面円筒体２０の中心軸に沿って上下に移動することができ、台座１０と魚眼レンズ３１の距離を可変としたものである。
なお、カメラ３０の移動は、利用者が手でカメラ３０の筐体を移動させても良いが、カメラ筐体とステッピングモーター機構と組み合わせ、利用者の操作入力に応じてカメラ筐体の移動が制御できる構成とすれば、魚眼レンズ３１と台座１０上のオブジェクトとの距離を正確に調整することができる。
【００６７】
台座１０と魚眼レンズ３１との距離について考察すると、下記のことが言える。
台座１０と魚眼レンズ３１との距離が小さい場合（オブジェクト１とカメラ３０の距離が近い場合）にもメリットとデメリットがあり、逆に、台座１０と魚眼レンズ３１との距離が大きい場合（オブジェクト１とカメラ３０の距離が遠い場合）にもメリットとデメリットがあり、両者を兼ね合わせて台座１０と魚眼レンズ３１との距離を調節する必要がある。
【００６８】
図１５は、台座１０と魚眼レンズ３１との距離が小さい場合のメリットとデメリットを模式的に説明した図である。
台座１０と魚眼レンズ３１との距離が小さくなると、カメラ３０によりオブジェクトを大きく写すことができることとなり、オブジェクト表面の詳細な直接画像Ｄ０を得ることができる。つまり直接画像の解像度が上がる。これはメリットと言える。
【００６９】
その一方、鏡面円筒体２０の内壁鏡面に映り込むオブジェクトの一回反射画像Ｒ１を形成する光路Ａ１の魚眼レンズ３１への入射角は大きくなる。つまり、撮影視点Ｆ１の高さが低くなり、一回反射画像Ｒ１はオブジェクトを斜め方向の低い位置の視点から撮影した画像に相当する。鏡面円筒体２０の内壁鏡面に映り込むオブジェクトの二回反射画像Ｒ２を形成する光路Ａ２の魚眼レンズ３１への入射角はさらに大きくなり、二回反射画像Ｒ２はオブジェクトを斜め方向のより低い位置の視点から撮影した画像に相当するが、もともと一回反射画像Ｒ１が斜め方向の低い位置から撮影した画像に相当するものなので、二回反射画像Ｒ２と一回反射画像Ｒ１の差分は小さく、ステレオ計測に用いる二次元画像としては情報量が小さくなる。これはデメリットと言える。
【００７０】
次に、図１６は台座１０と魚眼レンズ３１との距離が大きい場合のメリットとデメリットを模式的に説明した図である。
台座１０と魚眼レンズ３１との距離が大きくなると、図１５の場合に比べ、カメラ３０によりオブジェクトを接写することができず、オブジェクト表面の直接画像Ｄ０の解像度が低くなる。これはデメリットと言える。
【００７１】
その一方、鏡面円筒体２０の内壁鏡面に映り込むオブジェクトの一回反射画像Ｒ１を形成する光路Ａ１の魚眼レンズ３１への入射角は図１５の場合に比べて小さくなる。つまり、撮影視点Ｆ１の高さが高くなり、一回反射画像Ｒ１はオブジェクトを斜め方向の高い位置の視点から撮影した画像に相当する。鏡面円筒体２０の内壁鏡面に映り込むオブジェクトの二回反射画像Ｒ２を形成する光路Ａ２の魚眼レンズ３１への入射角は大きくなり、二回反射画像Ｒ２はオブジェクトを斜め方向の低い位置の視点から撮影した画像に相当するが、一回反射画像Ｒ１の入射角と二回反射画像の入射角の変化は図１５の場合と比べて大きくなっている。つまり、二回反射画像Ｒ２と一回反射画像Ｒ１の差分は図１５の場合に比べて大きいものであり、ステレオ計測に用いる二次元画像としては図１５の場合よりも情報量が大きくなる。これはメリットと言える。
【００７２】
このように、台座１０と魚眼レンズ３１との距離が大きい場合に生じるメリットおよびデメリットと、台座１０と魚眼レンズ３１との距離が小さい場合に生じるメリットおよびデメリットはトレードオフの関係にある。さらに、可変量として、実際には、３次元計測するオブジェクトの大きさ（高さ）が影響を与えるので、台座１０と魚眼レンズ３１との距離でなく、魚眼レンズ３１とオブジェクト１との距離を考慮する必要がある。
そこで、本実施例３の３次元オブジェクト計測装置１００ｂは、鏡面円筒体２０に対してカメラ３０を上下に可動としたものであり、カメラ３０が鏡面円筒体２０の中心軸に沿って上下に移動することができ、台座１０と魚眼レンズ３１の距離を可変としたものである。
【００７３】
なお、カメラ３０を可動とする代わりに、カメラ３０の位置を固定してカメラ３０にズーム機構を備える構成を考察すると、直接画像Ｄ０の大きさ、特に、光学的ズーム機構を搭載すれば直接画像Ｄ０の解像度を操作することはできるが、反射画像Ｒ１の撮影視点Ｆ１や反射画像Ｒ２の撮影視点Ｆ２の高さを操作することはできない。また、ズーム機構を用いた場合、中心画像が大きく見える代わりに周辺画像が捉えられなくなり、高次反射画像Ｒｎ、場合によっては二回反射画像Ｒ２や一回反射画像Ｒ１が撮影画像中に捉えられなくなるおそれもある。そこで、本実施例３の３次元オブジェクト計測装置１００ｂは、オブジェクト１の高さを考慮しつつ反射画像Ｒ１の撮影視点Ｆ１や反射画像Ｒ２の撮影視点Ｆ２の高さを操作することを重視し、カメラ３０が鏡面円筒体２０の中心軸に沿って上下に移動することができ、台座１０と魚眼レンズ３１の距離を可変としたものである。
しかし、上記説明は、カメラ３０として光学的ズーム機構を搭載したものを排除する意図ではなく、本発明の３次元オブジェクト計測装置１００のカメラ３０として、光学的ズーム機構やデジタルズーム機構を備えたものを採用し、周辺画像である反射画像を撮影が像中に捉えることのできる範囲でズーム撮影を行なわしめることは当然可能である。
【実施例４】
【００７４】
実施例４にかかる本発明の３次元オブジェクト計測装置１００ｃの例を示す。
実施例４の３次元オブジェクト計測装置１００ｃは、実施例１の３次元オブジェクト計測装置１００に対して、鏡面円筒体２０およびカメラ３０の台座１０に対する相対運動を可能としたものであり、図１７に示すように、台座１０を固定した状態で、台座１０の中心を回転運動の中心として、３次元空間内で鏡面円筒体２０およびカメラ３０を一体として自由な回転移動を可能としたものである。
鏡面円筒体２０の回転移動は、利用者が手で鏡面円筒体２０を回転移動させても良いが、鏡面円筒体２０とステッピングモーター機構と組み合わせ、利用者の操作入力に応じて鏡面円筒体２０の移動が制御できる構成とすれば、基本姿勢において撮影できなかった部位の撮影を可能とするアングルとなるようにカメラ３０の撮影視点の方向を正確に調整することができる。
【００７５】
実施例４の３次元オブジェクト計測装置１００ｃは、基本姿勢において３次元計測するオブジェクト１の形状や方向によって死角となり直接画像Ｄ０または反射画像Ｒｎが得られない部位が生じた場合でも、鏡面円筒体２０とカメラ３０を一体として台座１０に対して角度を変えて別アングルとし、死角となって撮影画像が得られなかった部位についても直接画像Ｄ０または反射画像Ｒｎを得る工夫を施したものである。
【００７６】
オブジェクト１の形状や方向によって死角となり直接画像Ｄ０または反射画像Ｒｎが得られない部位が生じる場合は概ね次の３つの場合が想定される。
【００７７】
第１はオブジェクト１が少し深い凹形状を持つ場合である。例えば、凹形状が上面にある場合、当該部位について直接画像Ｄ０は得ることができるが、斜めの撮影視点Ｆ１や撮影視点Ｆ２から得た反射画像Ｒ１や反射画像Ｒ２には、凹形状の底面部分は周縁部分の死角になって写らない場合がある。また、例えば、凹形状が側面にある場合、当該部位について正対する斜めの撮影視点Ｆ１や撮影視点Ｆ２から得た反射画像Ｒ１や反射画像Ｒ２は得ることができるが、直接画像Ｄ０では凹形状の底面部分は周縁部分の死角になって写らない場合がある。
【００７８】
第２はオブジェクト１の側面が垂直に近い場合である。この場合、当該部位について正対する斜めの撮影視点Ｆ１や撮影視点Ｆ２から得た反射画像Ｒ１や反射画像Ｒ２は得ることができるが、直接画像Ｄ０では角度が大きすぎて有効な画像が得られない場合がある。複数の反射画像Ｒｎを得ることができたとしても、直接画像Ｄ０は３次元ステレオ計測では重要な情報であるので、直接画像Ｄ０を得るべく撮影方向を工夫することは推奨されるものと言える。
【００７９】
第３はオブジェクト１の形状が複雑で、その一部が他の部分の陰になる場合である。典型的には昆虫における足関節の付け根のような部位である。例えば、当該部位について直接画像Ｄ０は得ることができるものの、斜めの撮影視点Ｆ１や撮影視点Ｆ２から得た反射画像Ｒ１や反射画像Ｒ２では、他の部位の陰になって写らない場合がある。
これらオブジェクト１の形状や方向によって死角となり直接画像Ｄ０または反射画像Ｒｎが得られない部位が生じる場合でも、本実施例４の３次元オブジェクト計測装置１００ｃは、鏡面円筒体２０とカメラ３０を一体として台座１０に対して角度を変えて、当該部位ついて必要な直接画像Ｄ０または反射画像Ｒｎを得るための別アングルの画像の撮影を行なうものである。
【００８０】
ここでは、一例として、オブジェクト１の側面が垂直に近い場合について説明する。
図１８は、図２と同様、直接画像と反射画像のカメラ３０における受光を３次元オブジェクト計測装置１００ｃの縦断面において模式的に表した図である。図１８に示すように、オブジェクト１の側面部分の点Ｂについて、直接画像Ｄ０に相当する光路Ｂ０は、魚眼レンズ３１に直接入射することはできない。つまり、直接画像Ｄ０において側面部分の点Ｂの画像は含まれていない、または、たとえ含まれていても撮影角度が極めて浅いため有効な情報が得られないものとなっている。一方、反射画像Ｒ１に相当する一回反射の光路Ｂ１は、魚眼レンズ３１に入射しており、一回反射画像Ｒ１において側面部分の点Ｂの画像は含まれていることとなる。同様に、反射画像Ｒ２に相当する二回反射の光路Ｂ２は、魚眼レンズ３１に入射しており、二回反射画像Ｒ２においても側面部分の点Ｂの画像は含まれていることとなる。このように、複数の反射画像Ｒ１とＲ２には点Ｂに関する画像情報が含まれているが、直接画像Ｄ０において点Ｂに関する情報が得られていない。
【００８１】
次に、図１９は、図１８の基本姿勢から、台座１０を固定した状態で台座１０の中心を回転運動の中心として鏡面円筒体２０およびカメラ３０を一体として垂直面内で時計回りに回転移動した状態を示している。図１９に示すように、オブジェクト１の側面部分の点Ｂはカメラ３０の撮影視点から良く見える位置となり、直接画像Ｄ０に相当する光路Ｂ０は、魚眼レンズ３１に直接入射する。つまり、直接画像Ｄ０において側面部分の点Ｂの画像は有効に含まれていることとなる。反射画像Ｒ１に相当する一回反射の光路Ｂ１も魚眼レンズ３１に直接入射しており、一回反射画像Ｒ１において側面部分の点Ｂの画像は含まれている。同様に、二回反射画像Ｒ２においても側面部分の点Ｂの画像は含まれている。
このように、図１９の基本姿勢では直接画像Ｄ０において十分な画像情報が得られない側面部分の点Ｂについて、図１９の姿勢では直接画像Ｄ０において十分な画像情報が得られることとなる。
【００８２】
なお、図１９の姿勢はオブジェクト１の切り立った右側面の点Ａの直接画像Ｄ０を得るための回転の例であるが、オブジェクト１の左側面、正面（手前側の側面）、裏面（奥側の側面）など他の側面の直接画像Ｄ０を得る場合、別途、そのターゲットとなる側面が魚眼レンズ３１に正対するように鏡面円筒体２０とカメラ３０を一体に回転させれば良い。ここで、回転制御手段は限定されないが、例えば、ステッピングモーター等を用いたものとすれば良い。
本発明の３次元オブジェクト計測装置は、少ない撮影回数で３次元ステレオ計測に用いる複数の画像を得ることが目的であるところ、実施例４に係る３次元オブジェクト計測装置１００ｃは基本姿勢の撮影画像に加え、アングルを変えてもう一回撮影を行なうものであるが、オブジェクトの形状や姿勢に影響され、もともと撮影が難しい部位について複数の画像を二回の撮影で得るものであり、少ない撮影回数で３次元ステレオ計測に用いる複数の画像を得る本発明の目的に沿ったものと言える。
以上、本発明の好ましい実施形態を図示して説明してきたが、本発明の技術的範囲を逸脱することなく種々の変更が可能であることは理解されるであろう。
【実施例５】
【００８３】
本実施例５では、本発明の3次元オブジェクト計測装置のプロトタイプを製作し、実物体の形状を計測している。以下に、実測画像を用いた形状計測データ結果を示す。
本実施例５のオブジェクト計測環境を説明する。計測に用いたカメラは、Opteon社製DepictD1Eを用い、1392×1040（pixels）で撮影された画像から、1024×1024（pixels）の画像を切り出して使用した。また光源としてリングライトを用い、カメラの周囲から物体へ光を投射した。円筒鏡の内径は90（mm），高さは100（mm）である。但し、本実施例で用いたカメラはグレースケール画像のみ得られることから、前述の数式９におけるｌ^Ｓ _ｉ（ｔ，ｗ）およびｌ^Ｔ _ｉ（ｔ，ｗ）（ｉ＝ｒ，ｇ，ｂ）については、下記数式１０とする。ここで、ｌ^Ｓ _ｇｒａｙ（ｔ，ｗ）およびｌ^Ｔ _ｇｒａｙ（ｔ，ｗ）はそれぞれ、SourceおよびTargetにおいて、カメラから得られた撮影画像の明度値である。また取り得る値の範囲は双方とも０以上２５５以下である。
【００８４】
【数１０】
【００８５】
本実施例では計測対象として、図２０に示す円錐形状のオブジェクトを用いている。この円錐形状のオブジェクトの底面の直径は56（mm），高さは34（mm）であり、円錐表面はグレースケールの情景画像をテクスチャとして持つものである。
図２０に示される円錐形状のオブジェクトを本発明の３次元オブジェクト計測装置で撮影すると、図２１に示す撮影画像が得られた。本実施例では、この画像から円錐のオブジェクトの形状計測を行った。
ここで、本実施例におけるＳＳＤの窓サイズは５×５（pixels）とした。また、前述の数式５におけるスケールsを0.5から2.0まで0.1ずつ変化させて、カメラで直接観測された像と円筒鏡に１回反射した像を用いて、ステレオ視により形状を計測した。本発明の３次元オブジェクト計測装置による円錐の形状計測結果を図２２に示す。
また、本発明の３次元オブジェクト計測装置により計測された円錐の形状について、横軸を画像中心からの距離，縦軸を高さとする散布図にしたものを図２３に示す。
【００８６】
上述のように、実際の物体の形状計測を試みた結果、本発明の３次元オブジェクト計測装置を用いて、実物体の全周形状を一枚の画像によって計測できることが示された。本実施例５により、本３次元オブジェクト計測装置は、カメラと円筒鏡のみからなる単純な装置構成と、画像を一枚のみ撮影する簡易な撮影プロセスで、物体の全周形状を計測でき、物体の全周形状計測に有用であることが示されたことになる。
【産業上の利用可能性】
【００８７】
本発明の３次元オブジェクト計測装置は、円筒鏡に物体を入れ、カメラで上から物体を撮影することで、一回の撮影で物体の全方向からの多視点画像を得られ、反射屈折ステレオ視により、一枚の画像から物体の三次元全周形状を計測できることから、例えば、昆虫や小動物の電子図鑑など、教育分野におけるコンテンツ作成用途において利用することができ、またそれらのコンテンツを用いることにより、動画の記述の充実を図ることができる。教育分野のみならず、医療分野、学術研究分野など多目的に本３次元オブジェクト計測装置を用いることができるのである。
本発明の３次元オブジェクト計測装置は、装置構成や撮影プロセスの簡単さから、ユーザが個人的な所有物の形状を手軽に計測したり、多くの物体の全周形状を効率良く計測したりする用途に有用である。また、一枚の画像から物体の全周形状を計測できるため、連続的に画像を撮影すれば、動物の動きとともに全周形状を記録することも可能であり、静止画のみならず動画の記述の充実を図ることができる。
【図面の簡単な説明】
【００８８】
【図１】実施例１に係る３次元オブジェクト計測装置の基本構成を模式的に示した図
【図２】直接画像と反射画像のカメラにおける受光を３次元オブジェクト計測装置の縦断面において模式的に表した図
【図３】台座の上に載せ置かれたコーン形状であるオブジェクトをカメラにより撮影して得た画像を模式的に示す図
【図４】オブジェクトの点Ａに対する直接画像Ｄ０、一回反射画像Ｒ１、二回反射画像Ｒ２の撮影視点を等価的に展開した様子を模式的に示した図
【図５】台座の中心に置かれたピラミッド形状のオブジェクトの直接画像および鏡面円筒体の内壁鏡面に映り込んだ反射画像を併せて撮影した画像を示した図
【図６】オブジェクトが台座の中心からずれた位置に載せ置かれた場合でも特徴点同士の幾何学的関係が保たれていることを示す図
【図７】オブジェクトの一点から鏡に２回反射してカメラに入射する光線の軌跡の一例を示す図
【図８】仮想オブジェクトを撮影したシミュレーション画像を示す図
【図９】角φと画像中心からの距離ｄの関係図
【図１０】極座標展開した結果の撮影画像
【図１１】探索対象領域を示す図
【図１２】本発明の３次元オブジェクト計測装置におけるステレオ計測処理を実行する構成要素を示すブロック図
【図１３】実施例２に係る３次元オブジェクト計測装置の基本構成を模式的に示した図
【図１４】実施例３に係る３次元オブジェクト計測装置の基本構成を模式的に示した図
【図１５】台座と魚眼レンズとの距離が小さい場合のメリットとデメリットを模式的に説明した図
【図１６】台座と魚眼レンズとの距離が大きい場合のメリットとデメリットを模式的に説明した図
【図１７】実施例４に係る３次元オブジェクト計測装置の基本構成を模式的に示した図
【図１８】基本姿勢における直接画像と反射画像の光路を３次元オブジェクト計測装置の縦断面において模式的に表した図
【図１９】台座の中心を回転運動の中心として鏡面円筒体およびカメラを一体として垂直面内で時計回りに４５度回転移動した状態を示す図
【図２０】計測対象として用いた円錐形状を有する実物体を示す図
【図２１】計測対象として用いた円錐形状を有する実物体の撮影画像
【図２２】実測画像を用いた円錐の形状計測結果を示す図
【図２３】円錐の中心からの距離と高さの関係を示す図
【符号の説明】
【００８９】
１オブジェクト
１０台座
２０鏡面円筒体
３０，３０ａ，３０ｂカメラ
３１魚眼レンズ
３２撮影記録手段
４０画像データ処理装置
４１特徴点抽出手段
４２対応特徴点探索手段
４３３次元画像データ生成手段
１００，１００ａ，１００ｂ，１００ｃ３次元オブジェクト計測装置

Claims

撮影対象となる３次元オブジェクトを載せる台座と、前記台座を筒の内壁面で取り囲み、前記筒の内壁面を鏡面とした鏡面円筒体と、前記台座に対向し、レンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズと、前記魚眼レンズを介して得られた画像を記録する撮影記録手段とを備えたカメラを備え、前記カメラの撮影記録手段により、前記台座上の３次元オブジェクトを直接見た直接画像と、前記鏡面円筒体の内壁の鏡面に映り込んでいる前記台座上の３次元オブジェクトの反射画像と、を併せて撮影する３次元オブジェクト計測装置であって、
前記カメラの撮影記録手段により撮影した撮影画像上の特徴点を抽出して決定する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された前記直接画像上の特徴点に対応する前記反射画像上の対応特徴点を前記反射画像上において探索して決定する、または、前記特徴点抽出手段によって抽出された前記反射画像上の特徴点に対応する前記直接画像上の対応特徴点を前記直接画像上において探索して決定する手段であって、前記撮影画像において画像の中心と前記特徴点とを結ぶ延長線上を探索することにより前記対応特徴点の探索を行なう対応特徴点探索手段と、前記特徴点と前記対応特徴点との対応関係を基に前記直接画像と前記反射画像とのステレオ計測処理を行ない、前記直接画像と前記反射画像から前記３次元オブジェクトの３次元画像データを生成する３次元画像データ生成手段を備えたことを特徴とする３次元オブジェクト計測装置。
前記台座を透明素材で形成し、前記台座の下方向からも前記オブジェクトを可視とし、前記カメラとして第１のカメラと第２のカメラの２つのカメラを備え、前記第１のカメラの魚眼レンズと前記第２のカメラの魚眼レンズが前記台座を挟んで対向し合うように配置されている請求項１に記載の３次元オブジェクト計測装置。
前記カメラが前記鏡面円筒体に対して前記円筒中心軸に沿った移動が可能となっており、前記台座と前記魚眼レンズの距離を、撮影対象となる３次元オブジェクトの高さをＬとして、基底となっている前記台座からＬ〜１０Ｌの範囲で可変とした請求項１又は２に記載の３次元オブジェクト計測装置。
前記台座と前記鏡面円筒体および前記カメラとの相対運動を可能とし、前記台座を固定した状態で、前記台座の中心を回転運動の中心として３次元空間内での前記鏡面円筒体および前記カメラを一体とした自由な回転移動を可能とした請求項１乃至３のいずれかに記載の３次元オブジェクト計測装置。