JP5392415B2 - ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム - Google Patents

Description

本発明は、例えば、同じ物体を異なる方向から撮影した２枚の画像に基づいてステレオ画像を生成するステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラムに関する。

従来より、３次元的な像を再生するための研究がなされている。３次元的な像を再生するための一つの方法として、同一の物体に対して異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。

ステレオ画像を作成するために、例えば、１台のカメラを用いて第１の地点において対象物体を撮影することにより第１の画像が作成され、その後、そのカメラを第２の地点に移動させて対象物体を撮影することにより第２の画像が作成される。あるいは、第１の地点及び第２の地点に配置された２台のカメラにより対象物体を撮影することにより、第１の画像及び第２の画像が作成される。そしてこの第１の画像と第２の画像が、一組のステレオ画像となる。

ステレオ画像に含まれる２枚の画像は、観察者の左右それぞれの眼で観察されるものであるため、質のよい３次元像を再生するために、その２枚の画像に写された像は、観察者が一般的に物を見る条件と同じ条件で撮影されていることが好ましい。人間の左右の眼は、水平方向に並んでいるため、第１の地点と第２の地点も水平に並んでいることが好ましい。また左右の眼のそれぞれの視線は略平行であるため、第１の地点におけるカメラの光軸と第２の地点におけるカメラの光軸は互いに平行であることが好ましい。

第１の地点及び第２の地点において、カメラをこのように正確に配置するためには、撮影者は、厳密なアライメント調整を行わねばならない。そこで、第１の地点及び第２の地点におけるカメラの位置及び姿勢が測定され、その測定結果に応じてカメラの配置が調節される。このような厳密なアライメント調整を行うためには、例えば、作業者は、測量用の計測器を用いて測量したり、その結果に応じてカメラの位置調整のための様々な手作業を行うことになる。そのため、ステレオ画像を作成するために、多大なコスト及び作業時間が必要となる。したがって、実際には、このような厳密なアライメント調整を行うことは困難なことが多い。その結果として、第１の地点におけるカメラの高さが第２の地点におけるカメラの高さと異なったり、第１の地点におけるカメラの光軸方向が第２の地点におけるカメラの光軸方向と異なったり、あるいは一方の画像が他方の画像に対して光軸回りに回転してしまう。

そこで、画像上の像の位置を変換することにより、ステレオ画像に適した画像を作成する技術が提案されている（例えば、特許文献１及び非特許文献１を参照）。このような技術では、撮影時における二つの地点でのカメラの高さ、光軸方向の差及び光軸回りの回転のずれを補正するように、カメラの焦点距離及び歪曲収差といったカメラの特性を考慮して画像上の像の位置が変換される。
そのような公知技術の一例による画像処理装置は、２枚の画像のそれぞれから抽出された、対応する特徴点同士が一致するように平面射影変換の回転式または回転並進式を決定する。そしてその画像処理装置は、回転式または回転並進式を用いて画像上の各点を位置変換することで、ステレオ画像を生成する。

また、他の公知技術による画像処理装置は、エピポーラ幾何を考慮して画像を変換することでステレオ画像を生成する。エピポーラ幾何は、撮影対象物体上の一つの注目点を互いに異なる二つの撮影位置から撮影した場合の、画像上での注目点と各撮影位置との幾何学的な対応関係を表すものである。具体的には、第１の位置に配置されたカメラと注目点とを結ぶ線は、第２の位置に配置されたカメラにより撮影された画像上に投影された直線となる。同様に、第２の位置に配置されたカメラと注目点とを結ぶ線は、第１の位置に配置されたカメラにより撮影された画像上に投影された直線となる。なお、この画像上に投影された直線はエピ極線と呼ばれる。エピポーラ幾何を利用する装置は、このような対応関係を考慮して、エピ極線を平行化する平面射影変換係数を求めて少なくとも一方の画像を変換することにより、カメラの光軸が平行な状態で撮影された２枚の画像の組を擬似的に作成できる。

特開２００８−１８６１４５号公報

Richard I. Hartley.、"Theory and practice of projective rectification"、International Journal of Computer Vision、1999年11月、第３５巻、第２号、p.115-127

エピポーラ幾何を利用する技術では、注目点に対応する各画像上での特徴点が正確に求められていないと、その特徴点の抽出誤差による影響のため、正確な平面射影変換係数が算出されないおそれがあった。またこの技術では、カメラが有する撮像光学系の歪曲収差などによる画像の歪みによっても、平面射影変換係数が正確に算出されないおそれがあった。

また、２枚の画像間の対応する特徴点が一致するように回転式または回転並進式の係数を求める技術では、複数の対応する特徴点の組全体に対して位置の誤差が最小化される。そのため、この技術は、複数の特徴点の組の一部に、特徴点の対応付けを誤った特徴点の組が含まれている場合でも、比較的正確な係数を求めることができる。
しかしながら、撮影対象物が奥行きを持っている場合、視差により、撮影対象物の手前側に位置する点に対応する２枚の画像から抽出された特徴点間の距離は、撮影対象物の奥側に位置する点に対応する２枚の画像から抽出された特徴点間の距離より大きくなる。そのため、２枚の画像の対応する特徴点の組が一致するように、画像上の像の位置を正確に変換するためには、本来、画像上の各点を、その点における撮影対象物体までの距離に応じて移動量を調整する非線形な位置変換が必要となる。
一方、回転式または回転並進式により行われる位置変換は、直線を他の直線に変換するような線形変換である。そのため、撮影対象物が奥行きを持つ場合、その撮影対象物上の特徴点に基づいて決定された平面射影変換係数を用いて変換された画像では、撮影対象物の像がその変換によって歪んでしまうことがあった。

そこで、本明細書は、平面射影変換によって生じる画像に写っている像の歪みを抑制できるステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラムを提供することを目的とする。

一つの実施形態によれば、ステレオ画像生成装置が提供される。このステレオ画像生成装置は、第１の地点で撮影対象物を撮影した第１の画像から複数の特徴点を抽出する特徴点抽出部と、第１の地点と異なる第２の地点で撮影対象物を撮影した第２の画像から、第１の画像から抽出された複数の特徴点と撮影対象物上の同一の点として対応する点の座標を算出するトラッキング部と、第１の画像の特徴点を回転移動成分を表す係数と平行移動成分を表す係数とを含む平面射影変換係数を用いて平面射影変換することにより得られた変換特徴点と第１の画像の特徴点に対応する第２の画像の点との間の距離の差と、回転移動成分に応じた値を持つ重み項とを含む評価値を最小化するように、平面射影変換係数を決定するパラメータ決定部と、平面射影変換パラメータを用いて第１の画像を平面射影変換し、その平面射影変換された画像と第２の画像との組をステレオ画像として生成する変換部とを有する。

また、他の実施形態によれば、ステレオ画像生成方法が提供される。このステレオ画像生成方法は、第１の地点で撮影対象物を撮影した第１の画像から複数の特徴点を抽出し、第１の地点と異なる第２の地点で撮影対象物を撮影した第２の画像から、第１の画像から抽出された複数の特徴点と撮影対象物上の同一の点として対応する点の座標を算出し、第１の画像の特徴点を回転移動成分と平行移動成分とからなる平面射影変換係数を用いて平面射影変換することにより得られた変換特徴点と第１の画像の特徴点に対応する第２の画像の点との間の距離の差と、回転移動成分に応じた値を持つ重み項とを含む評価値を最小化するように平面射影変換係数を決定し、平面射影変換パラメータを用いて第１の画像を平面射影変換し、平面射影変換された画像と第２の画像との組をステレオ画像として生成することを含む。

さらに他の実施形態によれば、ステレオ画像をコンピュータに生成させるコンピュータプログラムが提供される。このコンピュータプログラムは、第１の地点で撮影対象物を撮影した第１の画像から複数の特徴点を抽出し、第１の地点と異なる第２の地点で撮影対象物を撮影した第２の画像から、第１の画像から抽出された複数の特徴点と撮影対象物上の同一の点として対応する点の座標を算出し、第１の画像の特徴点を回転移動成分と平行移動成分とからなる平面射影変換係数を用いて平面射影変換することにより得られた変換特徴点と第１の画像の特徴点に対応する第２の画像の点との間の距離の差と、回転移動成分に応じた値を持つ重み項とを含む評価値を最小化するように平面射影変換係数を決定し、平面射影変換パラメータを用いて第１の画像を平面射影変換し、平面射影変換された画像と第２の画像との組をステレオ画像として生成することをコンピュータに実行させる命令を有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

ここに開示されるステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラムは、平面射影変換によって生じる画像に写っている像の歪みを抑制できる。

図１（Ａ）は、異なる地点において撮影された二つの画像の例を示す図であり、図１（Ｂ）は、図１（Ａ）に示された二つの画像の一方を従来技術により算出された平面射影変換係数を用いて変換した変換後の画像の例を示す図である。 図２は、一つの実施形態によるステレオ画像生成装置の概略構成図である。 図３は、２枚の画像に対して設定される視差と２枚の画像上の像の奥行き方向の再生位置との関係を示す図である。 図４は、ステレオ画像生成処理の動作フローチャートである。 図５は、他の実施形態によるステレオ画像生成装置の概略構成図である。

最初に、従来技術により決定された平面射影変換係数を用いて生成されたステレオ画像の問題点について、例を挙げて説明する。
図１（Ａ）は、互いに異なる二つの地点において、光軸が平行となるように配置された２台のカメラを用いて撮影された２枚の画像に写った像の例を示す図である。第１の画像１００及び第２の画像１１０の何れにも、同一の物体１０１が写っている。そしてこの物体１０１は奥行きを有する。第１の画像１００及び第２の画像１１０のそれぞれにおいて、平面射影変換係数を求めるために、物体１０１の４個のコーナー１０２ａ〜１０５ａ、１０２ｂ〜１０５ｂが、それぞれ特徴点として抽出されている。そして特徴点の組（１０２ａ、１０２ｂ）、（１０３ａ、１０３ｂ）、（１０４ａ、１０４ｂ）及び（１０５ａ、１０５ｂ）が、それぞれ、物体１０１の同一の点に対応する。このうち、特徴点の組（１０２ａ、１０２ｂ）、（１０３ａ、１０３ｂ）に対応する物体１０１のコーナーは、手前側に位置し、一方、特徴点の組（１０４ａ、１０４ｂ）、（１０５ａ、１０５ｂ）に対応する物体１０１のコーナーは、奥側に位置する。そのため、第１の画像１００の上の各特徴点を基準として、第２の画像１１０において、手前側のコーナーに対応する特徴点１０２ｂ及び１０３ｂは、奥側のコーナーに対応する特徴点１０４ｂ及び１０５ｂよりも相対的に大きく左方向に移動している。そして画像上では、特徴点の組（１０２ａ、１０２ｂ）、（１０３ａ、１０３ｂ）よりも、特徴点の組（１０４ａ、１０４ｂ）、（１０５ａ、１０５ｂ）の方が上側に位置している。その結果、二つの画像１００、１１０間の特徴点間の位置ずれを最小化する平面射影変換には、画像を時計回りに回転させる回転移動成分が含まれる。

図１（Ｂ）は、従来技術により決定された平面射影変換係数を用いて、図１（Ａ）に示された第１の画像１００を平面射影変換することにより得られた変換画像１２０を表す図である。この変換画像１２０では、二つの地点間でカメラの光軸が平行であるにもかかわらず、平面射影変換係数が回転移動成分を含んでいるため、回転中心から離れた画像上の点ほど、本来とは異なる回転が加えられることになる。その結果、例えば、変換画像１２０では、物体１０１の左前方の下側のコーナー１０６が、本来の位置よりも左側に移動してしまい、本来、画像上で垂直となるべき物体１０１の左前方のエッジ１０７が斜めを向いてしまう。このように、一方の撮影地点におけるカメラの向きに対する他方の撮影地点におけるカメラの向きの回転量よりも大きい回転移動成分が平面射影変換に含まれると、その平面射影変換係数を用いて変換された画像の歪みが顕著になってしまうおそれがある。

そこで、一つの実施形態による、ステレオ画像生成装置は、ステレオ画像を生成するために、異なる地点で撮影対象物を撮影して得られた２枚の画像の少なくとも一方を平面射影変換する平面射影変換係数を求める。そしてこのステレオ画像生成装置は、平面射影変換係数が回転移動成分と平行移動成分を表す係数のみを含み、その回転移動成分が、一方の撮影地点でのカメラの光軸と他方の撮影地点でのカメラの光軸との間の回転量以下となるように平面射影変換係数を決定する。これにより、このステレオ画像生成装置は、平面射影変換による画像の歪みを抑制する。

図２は、一つの実施形態によるステレオ画像生成装置の概略構成図である。ステレオ画像生成装置１は、画像取得部１１と、記憶部１２と、特徴点抽出部１３と、トラッキング部１４と、パラメータ決定部１５と、立体感調節部１６と、変換部１７と、出力部１８とを有する。

ステレオ画像生成装置１の各部は、それぞれ別個の回路として形成される。あるいはステレオ画像生成装置１の各部は、その各部に対応する回路が集積された一つの集積回路としてステレオ画像生成装置１に実装されてもよい。さらに、ステレオ画像生成装置１は、１個以上のプロセッサとメモリ回路とを有してもよい。この場合、特徴点抽出部１３、トラッキング部１４、パラメータ決定部１５、立体感調節部１６及び変換部１７は、ステレオ画像生成装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

画像取得部１１は、第１の地点に置かれたカメラ１０−１と第１の地点と異なる第２の地点に置かれたカメラ１０−２から、それぞれ、同一の撮影対象物を撮影して得られた画像を取得する。そのために、画像取得部１１は、例えば、カメラ１０−１及び１０−２とステレオ画像生成装置１とを接続するためのユニバーサル・シリアル・バス(Universal Serial Bus、USB)などのシリアルバス規格に従ったインターフェース回路を有する。あるいは、画像取得部１１は、カメラ１０−１及び１０−２により生成された２枚の画像を記憶しているサーバなどの他の装置とステレオ画像生成装置１とを通信ネットワークを介して接続するためのインターフェース回路を有していてもよい。
画像取得部１１は、取得した２枚の画像を記憶部１２に保存する。また画像取得部１１は、取得した２枚の画像のうち、カメラ１０−１から取得した画像を特徴点抽出部１３へ出力する。さらに画像取得部１１は、カメラ１０−２から取得した画像をトラッキング部１４へ出力する。なお、以下では、便宜上、カメラ１０−１により作成された画像を第１の画像と呼び、カメラ１０−２により作成された画像を第２の画像と呼ぶ。

記憶部１２は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路、あるいは、磁気記録媒体または光記録媒体を有する。そして記憶部１２は、画像取得部１１から受け取った第１及び第２の画像を記憶する。またステレオ画像生成装置１が有する各部の少なくとも何れかが、ステレオ画像生成装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。

特徴点抽出部１３は、第１の画像から、各画像に写っている像の特徴的な点を特徴点として抽出する。
例えば、特徴点抽出部１３は、第１の画像に対して、HarrisオペレータまたはFoerstnerオペレータといったコーナー検出フィルタを用いたフィルタリング処理を行って、コーナー状の特徴を有する点を特徴点として抽出する。なお、第１の画像がカラー画像である場合、特徴点抽出部１３は、第１の画像の画素の値を例えばHSV表色系の値に変換し、明度を表す画素値に対して、フィルタリング処理を行ってもよい。
あるいは、特徴点抽出部１３は、特徴点として、その他の特徴的な点、例えば、周囲の画素の値よりも高いまたは低い画素値を持つ画素を、第１の画像とそのような特徴点に相当するテンプレートとの間でテンプレートマッチングを行って抽出してもよい。
特徴点抽出部１３は、画像ごとに、複数の特徴点を表す情報を生成する。複数の特徴点を表す情報は、例えば、各特徴点の位置を含む。あるいは複数の特徴点を表す情報は、各特徴点の特性、例えば、特徴点の画素値、コーナーの向きなどを含んでいてもよい。そして特徴点抽出部１３は、その情報をトラッキング部１４へ出力する。

トラッキング部１４は、第１の画像から抽出された複数の特徴点と、第１の地点とは異なる第２の地点で撮影対象物を撮影した第２の画像から、第２の画像における特徴点として、第１の画像から抽出された複数の特徴点と撮影対象物上の同一の点として対応する点の座標を算出する。トラッキング部１４は、そのような対応特徴点の組を少なくとも一つ求める。
本実施形態では、トラッキング部１４は、例えば、Kanade Lucas Tomasi Tracker(KLT)法といったトラッキング技術を用いて、第１の画像上の注目する特徴点に対応する第２の画像上の点を特定することにより、対応特徴点の組を求める。あるいは、トラッキング部１４は、勾配法またはブロックマッチング法といった、公知の様々なトラッキング法の何れかを用いて対応特徴点の組を求めてもよい。その際、トラッキング部１４は、特徴点の特性が類似しているもの同士に限り、対応特徴点の組としてもよい。
トラッキング部１４は、対応特徴点の組ごとに、識別子と、その対応特徴点の組に含まれる二つの特徴点の位置などの情報を含む対応特徴点情報を生成する。そしてトラッキング部１４は、対応特徴点情報をパラメータ決定部１５へ出力する。

パラメータ決定部１５は、各画像に写っている同一の撮影対象物の像が一致するように、２枚の画像のうちの一方を平面射影変換するための平面射影変換係数を算出する。そのために、パラメータ決定部１５は、評価値算出部１５１と、判定部１５２と、変換パラメータ修正部１５３とを有する。
本実施形態では、ステレオ画像生成装置１は、第１の画像に写っている撮影対象物の像が、第２の画像に写っているその撮影対象物の像と一致するように、第１の画像を平面射影変換する。

平面射影変換には、一般に、回転移動成分、平行移動成分及びせん断成分が含まれる。しかし、同一の撮影対象物を異なる二つの地点から撮影する場合、その二つの地点間でのカメラの動きは、回転移動成分と平行移動成分のみを含む。従って、パラメータ決定部１５は、同一の撮影対象物についての第１の画像上の像と第２の画像上の像を近似的に一致させるために、平面射影変換の回転移動成分と平行移動成分のみを考慮すればよい。そこで、本実施形態では、第１の画像は、次式に従って平面射影変換される。

ここでp₁は、第１の画像上の各画素の座標を表すベクトルであり、水平座標をx、垂直座標をyとすると、p₁=(x,y,1)^tである。またp'₁は、平面射影変換後の第１の画像上の各画素の座標を表すベクトルであり、水平座標をx'、垂直座標をy'とすると、p'₁=(x',y',1)^tである。またR_x(θ_x)、R_y(θ_y)及びR_z(θ_z)は、それぞれ、カメラ１０−１の光軸をz方向とし、x軸、y軸をそれぞれ光軸zに対して直交する平面の水平軸及び垂直軸とした場合のx軸、y軸及びz軸を中心とする回転移動成分を表す行列であり、次式で表される。

なお、θ_x、θ_y及びθ_zは、それぞれ、x軸、y軸及びz軸を中心とする回転移動成分を表す平面射影変換係数である。
また、T(t_x,t_y,t_z)は、平行移動成分を表す並進行列であり、次式で表される。

なお、t_x、t_y及びt_zは、それぞれ、x軸、y軸及びz軸に沿った平行移動成分を表す平面射影変換係数である。
さらに、Nは、カメラ１０−１の特性を表す内部パラメータ行列であり、またN^-1は、内部パラメータ行列Nの逆行列である。内部パラメータ行列Nは、例えば、次式で表される。

ここでfは、カメラ１０−１の焦点距離であり、c_x、c_yは、光軸上の点に対応する第１の画像上の水平座標及び垂直座標である。なお、カメラ１０−１の焦点距離が既知でない場合、焦点距離fとして、例えば、一般的によく使用される画角を持つカメラの焦点距離を用いてもよい。また、カメラ１０−１が有するイメージセンサの画素の高さと幅のアスペクト比が１：１でない場合、内部パラメータ行列Nは、例えば、次式に従って表されてもよい。

ここで、f_x及びf_yは、それぞれ、例えば、カメラ１０−１が有する撮像光学系の焦点距離をfとし、画素の幅をW、画素の高さをHとして、f_x=f/W、f_y=f/Hとすることができる。

理想的な平面射影変換係数が求められている場合、第１の画像から抽出された各特徴点が（１）式に従って平面射影変換されると、その変換後の各特徴点の位置は、対応する第２の画像上における第１の画像の特徴点に対応する点の位置となる。
そこで、パラメータ決定部１５は、評価値算出部１５１により、第１の画像から抽出された各特徴点を（１）式に従って平面射影変換した場合に、その変換後の特徴点の位置と対応する第２の画像から抽出された点との間の距離の差を含む評価値を算出する。
さらに、本実施形態では、評価値は、回転移動成分を抑制するために、回転移動成分が増加するにつれて値が大きくなり、かつ、回転移動成分による特徴点の移動量よりも小さい重み項を含む。パラメータ決定部１５は、このような評価値を最小化する平面射影変換係数を求める。

本実施形態では、評価値Cは次式で表される。

ここで、v_i(i=1,2,...,N)は、第１の画像から抽出された特徴点を表し、v'_i(i=1,2,...,N)は、特徴点v_iに対応する第２の画像の点を表す。またNは、1以上の整数であり、対応特徴点の組の数を表す。またノルム||α-β||は、画像上の２点α=(α_x, α_y, 1)とβ=(β_x, β_y, 1)間の距離を表し、例えば、||α-β||=｛(α_x-β_x)²+(α_y-β_y)²｝^1/2である。そしてw(v_i, v'_i, θ_x, θ_y, θ_z)は、回転移動成分に応じて大きくなる重み項である。なお、（６）式の右辺の第１項は、点v'_iと点h(θ_x, θ_y, θ_z, t_x, t_y, t_z)v_i間の差の絶対値の総和であってよい。

ここで重み項w(v_i, v'_i, θ_x, θ_y, θ_z)の設定方法について説明する。カメラ１０−２の光軸が、カメラ１０−１の光軸（すなわち、z軸）に対して回転角度-Θで回転している場合、第１の画像上の特徴点v_iは、（１）式に基づき、第２の画像上では次式で表される位置に回転移動すると推定される。

このような回転移動において、回転中心から特徴点v_iまでの円の半径がr_i、回転角度がΘである場合、弦に沿った特徴点の移動量は2r_i・sin(Θ/2)となる。また光軸上の点は、一般に画像中心に位置するので、回転移動の円の半径r_iは、画像中心から特徴点v_iまでの距離となる。
そのため、第１の画像上の特徴点v_iと第２の画像上の対応する点v'_i間の距離の２乗と、特徴点v_iをz軸を中心に角度Θだけ回転移動させた点と点v'_i間の距離の２乗との差は次式で表される。

ここでε_iは、抽出された特徴点のずれ、または歪曲収差などにより生じる誤差である。
カメラ１０−２の光軸が、カメラ１０−１の光軸に対して回転角度-Θで回転している場合、（８）式は、全ての対応特徴点の組について成立する。したがって、次式が成立する。

ここで誤差の項Σε_iが十分に小さければ、（９）式から次の条件が仮定される。

ただし、係数αは0<α<1を満たす値を持つ。

ここで、（１０）’式の左辺は、回転移動量及び平行移動量が0である（すなわち、h(0,0,0,0,0,0)）場合における、評価値Cを算出する（６）式の右辺の第１項に相当する。したがって、（１０）’式は、各特徴点v_iをz軸の周りに角度Θ回転させたときの対応特徴点間の距離の２乗和と各特徴点v_iの回転移動量に係数αを乗じた値の総和との合計が小さくなることを示している。すなわち、カメラ１０−１の光軸に対してカメラ１０−２の光軸がz軸を中心として回転している場合には、適切なΘの値を求めることにより、（１０）’式の右辺は、回転移動成分及び平行移動成分がないとしたときの評価値Cよりも小さくなる。一方、カメラ１０−１の光軸に対する、カメラ１０−２の光軸の移動に、z軸を中心とする回転移動成分が含まれない場合、（１０）’式の関係は成立しない。したがって、Θの値だけを調整しても、（１０）’式の右辺の値は、回転移動成分及び平行移動成分がないとしたときの評価値Cより小さくならない可能性が高い。

ここで（１０）’式の右辺と（６）式の右辺を比較すると、（１０）’式の右辺の第１項は（６）式の右辺の第１項と対応することが分かる。そのため、（６）式の右辺の第２項、すなわち、重み項は、（１０）’式の右辺の第２項に対応させることができる。
したがって、重み項は、例えば、全ての回転移動成分が含まれることを考慮して、次式で表される。

なお、r_iは、第１の画像の中心から特徴点v_iまでの距離である。係数α_x、α_y、α_zは、それぞれ、1未満の正の実数（すなわち、0 < α_x、α_y、α_z < 1）である。また、係数α_x、α_y、α_zは、互いに異なる値に設定されてもよい。そしてこれらの係数の値が大きいほど、その係数に対応する平面射影変換の回転移動成分による重み項が大きくなるので、結果として評価値Cも大きくなる。そのため、係数α_x、α_y、α_zの値が大きいほど、その係数に対応する平面射影変換係数θ_x、θ_y、θ_zは抑制される。例えば、カメラ１０−１及びカメラ１０−２が設置される際、それらのカメラの光軸は、垂直方向に回転量し易い。そこで、平面射影変換係数における垂直方向の回転成分が大きくなるように、係数α_yは、他の係数α_x及びα_zよりも小さな値に設定されてもよい。

また、半径rの円周上の２点間の中心角度θが十分に小さい場合、その２点を結ぶ弦の長さは、rθで近似できる。そのため、カメラ１０−１の光軸に対する、カメラ１０−２の光軸の回転量が小さい場合、重み項は次式で表されてもよい。

また、カメラ１０−１及び１０−２がジャイロセンサを搭載している場合のように、各カメラの光軸の方向に関する情報を、ステレオ画像生成装置１が例えば画像取得部１１を介して各カメラから取得できることがある。このような場合、パラメータ決定部１５は、各カメラの光軸の方向間の差を、カメラ１０−１の光軸に対する、カメラ１０−２の光軸の回転量の推定値として算出できる。そこで、このような場合、重み項は、その回転量の推定値を用いて、次式のように定義されてもよい。

ここでθ_x0、θ_y0、θ_z0は、それぞれ、x軸、y軸、z軸を中心とするカメラ１０−１の光軸に対する、カメラ１０−２の光軸の回転量の推定値である。

評価値算出部１５１は、後述する判定部１５２により評価値が収束すると判定されるまで、変換パラメータ修正部１５３により修正された平面射影変換係数を用いて（６）式に従って評価値Cを算出する。
あるいは、評価値算出部１５１は、評価値Cそのものの代わりに、評価値Cの微分値C'を算出してもよい。この場合、評価値算出部１５１は、（６）式の右辺を各平面射影変換係数について偏微分した１次偏微分値を算出する。そして評価値算出部１５１は、各平面射影変換係数についての１次偏微分値のうち、絶対値が最大となる値を微分値C'とする。
評価値算出部１５１は、算出した評価値Cまたは評価値Cの微分値C'と、評価値Cなどの算出に用いた平面射影変換係数とを判定部１５２へ渡す。

判定部１５２は、評価値算出部１５１により算出された評価値Cまたはその微分値C'が収束条件を満たしたか否か判定する。
例えば、判定部１５２は、評価値Cが所定の閾値Thc未満となった場合、評価値Cが収束条件を満たし、評価値Cは最小化されたと判定する。なお、所定の閾値Thcは、例えば、0.1に設定される。
あるいは、判定部１５２は、評価値Cの微分値C'の絶対値が所定の閾値Thd未満である場合、微分値C'が収束条件を満たし、評価値Cが最小化されたと判定する。この場合、所定の閾値Thdは、例えば、0.000001に設定される。

評価値Cまたはその微分値C'が収束条件を満たした場合、その評価値Cなどを算出するために用いられた平面射影変換係数に基づいて平面射影変換された第１の画像の特徴点は、対応する第２の画像の点と良好に一致する。従って、その平面射影変換係数は、第１の画像を平面射影変換するのに適している。そこで判定部１５２は、その平面射影変換係数を立体感調節部１６へ出力する。
一方、評価値C及びその微分値C'が収束条件を満たさない場合、その評価値Cなどを算出するために用いられた平面射影変換係数に基づいて平面射影変換された第１の画像の特徴点は、対応する第２の画像の点と十分に一致しない。そこで判定部１５２は、第１の画像を平面射影変換するのに適した平面射影変換係数を探索するために、評価値Cなどを算出するために用いられた平面射影変換係数を変換パラメータ修正部１５３へ渡す。

変換パラメータ修正部１５３は、評価値C及びその微分値C'が収束条件を満たしていない場合、少なくとも一つの平面射影変換係数の値を修正する。例えば、変換パラメータ修正部１５３は、評価値Cが減少するように、次式に従って全ての平面射影変換係数を修正する。

ここで偏微分∂C/∂q_jは、（６）式の右辺を平面射影変換係数q_jについて偏微分することにより算出される。また係数γは、例えば、0.2に設定される。なお、偏微分∂C/∂q_jの値は、数値演算的に算出されてもよい。
なお、変換パラメータ修正部１５３は、１回の修正において、一つの係数のみを修正してもよい。この場合、変換パラメータ修正部１５３は、例えば、（１４）式において評価値Cの偏微分値の項の絶対値がもっとも大きくなる平面射影変換係数のみを修正してもよい。あるいは、変換パラメータ修正部１５３は、所定の順番に従って、各平面射影変換係数を一つずつ修正してもよい。
変換パラメータ修正部１５３は、修正された平面射影変換係数を評価値算出部１５１へ渡す。

このように、パラメータ決定部１５は、評価値Cまたはその微分値C'が収束条件を満たすまで、平面射影変換係数を修正する。そのため、パラメータ決定部１５は、最小化された評価値Cに対応する平面射影変換係数を求めることができる。
また、（６）式及び（１１）式〜（１３）式で表されるように、評価値Cの算出式には、回転移動成分が大きくなるにつれて重くなる重み項が含まれている。そのため、２台のカメラの光軸間の回転量よりも大きい回転移動成分を表す係数を含む平面射影変換係数に対する評価値Cは最小化されない。一方、重み項の値は、回転移動成分による特徴点の移動量より小さい。そのため、平面射影変換による回転移動成分が２台のカメラの光軸間の回転量に近づくことによる、（６）式の右辺第１項の値の減少量は、重み項の増加量よりも大きい。そのため、評価値Cを最小化することにより、平面射影変換による回転移動成分が、２台のカメラの光軸間の回転量とほぼ等しくなる。従って、パラメータ決定部１５は、評価値Cを最小化することにより、適切な平面射影変換係数を求めることができる。
なお、パラメータ決定部１５は、シミュレーティッドアニーリングあるいは遺伝的アルゴリズムといった、広域的な最適化手法を用いて、評価値を最小化する平面射影変換係数を求めてもよい。この場合も、評価値は、（１１）式〜（１３）式に表される重み項を持つように設定される。

立体感調節部１６は、画像取得部１１を介して取得した２枚の画像に基づいて作成されるステレオ画像上の像を再生する奥行き方向の所望の位置に応じた視差を２枚の画像に与えるように、平面射影変換係数を補正する。例えば、両眼視差を利用した３次元ディスプレイでは、右目用の画像に写っている像と左目用の画像に写っている像は、その像が観察者から所定の距離に位置するときの視差だけ見える方向が異なるように作成される。そして人の左右の眼は水平方向に離れているので、視差は水平方向の成分のみを持てばよい。
そこで、立体感調節部１６は、パラメータ決定部１５から受け取った平面射影変換係数のうち、水平方向の平行移動量を表す係数t_xを、視差に応じて修正する。なお、視差は、例えば、予め設定され、記憶部１２に記憶される。あるいは、図示しないキーボードなどのユーザインターフェースを介して、ステレオ画像生成装置１は、視差を取得してもよい。

図３は、２枚の画像に対して設定される視差と２枚の画像上の像の奥行き方向の再生位置との関係を示す図である。画像３００は左目用の画像であり、例えば、カメラ１０−１により作成された第１の画像を平面射影変換することにより作成される。一方、画像３１０は右目用の画像であり、例えば、カメラ１０−２により作成された第２の画像そのものである。また、画像３００上の点３０１と画像３１０上の点３１１は、同一の物体の像上の同じ点を表す。この場合、点３０１と点３１１による３次元像は、点３０１と観察者の左目とを結ぶ視線３０２と、点３１１と観察者の右目とを結ぶ視線３１２が交差する位置に再生される。
したがって、点３１１に対して点３０１が右側へ移動するほど、点３０１と点３１１による３次元像は観察者の近くに再生される。逆に、点３１１と点３０１間の距離が近いほど、点３０１と点３１１による３次元像は、画像３００及び３１０が表示されるディスプレイの近くに再生される。そして、視線３０２と視線３１２が画像３００及び３１０が表示されるディスプレイよりも遠い位置で交差する場合、点３０１と点３１１による３次元像は、そのディスプレイよりも奥側に再生される。

そのため、立体感調節部１６は、一般的な人の左右の眼の間隔に対する観察者から３次元像が再生される位置までの距離の比を、２枚の画像上の同一物体に対応する点間の距離に対するディスプレイから３次元像が再生される位置までの距離の比と等しくする。立体感調節部１６は、この条件を満たすように、視差に相当する水平方向の移動量s_xを設定する。そして立体感調節部１６は、（１）式より、パラメータ決定部１５により求めたパラメータと回転行列Rおよび並進行列Tから3x3の行列Hを算出し、行列Hのi行 j列の要素をh_ijとしたときに、1行の各列の要素に対して、h_1j = h₁₁ + sx ・ h_3jとした変形を施す。
立体感調節部１６は、視差に応じて修正された平面射影変換係数を変換部１７へ出力する。
なお、視差がある場合、例えば、図３における領域３２０のように、何れか一方の目用の画像にしか存在しない領域がある。そこで立体感調節部１６は、視差に応じてそのような領域の範囲を特定してもよい。そして立体感調節部１６は、その領域の範囲を表す情報を変換部１７へ出力する。

変換部１７は、得られた平面射影変換係数を用いて一方の画像を平面射影変換することにより、ステレオ画像を作成する。本実施形態では、カメラ１０−１にて作成された第１の画像に対する平面射影変換係数が求められている。そのため、変換部１７は、記憶部１２から第１の画像を読み込み、その第１の画像の各画素を、平面射影変換係数を用いて平面射影変換する。なお、変換部１７は、平面射影変換された画素の座標値が整数でない場合、例えば、変換後の画像の各画素について、その画素の周囲に位置する変換された画素の値を用いて線形補間することにより変換後の各画素の値を求める。
また変換部１７は、立体感調節部１６から、片方の目にしか像が投影されない領域の範囲の情報を受け取っている場合、その範囲内の各画素の値を'0'としてもよい。
変換部１７は、平面射影変換された第１の画像と、記憶部１２から読み込んだ第２の画像との組をステレオ画像として出力部１８へ出力する。

出力部１８は、例えば、ステレオ画像生成装置１を他の装置と接続するためのインターフェース回路を有する。なお、出力部１８は、ステレオ画像に所定の形式のヘッダ情報を付加してもよい。ヘッダ情報には、例えば、視差、第１及び第２の画像のサイズなどの情報が含まれる。
そして出力部１８は、作成されたステレオ画像を他の装置へ出力する。

図４は、ステレオ画像生成処理の動作フローチャートである。
先ず、ステレオ画像生成装置１は、画像取得部１１を介して、第１の地点に置かれたカメラ１０−１から第１の画像を取得し、第１の地点と異なる第２の地点に置かれたカメラ１０−２から第２の画像を取得する（ステップＳ１０１）。そして第１及び第２の画像は記憶部１２に記憶される。また第１の画像は特徴点抽出部１３へ渡される。また第２の画像はトラッキング部１４へ渡される。
特徴点抽出部１３は、第１の画像から特徴点を抽出する（ステップＳ１０２）。そして特徴点抽出部１３は画像の特徴点を表す情報をトラッキング部１４へ出力する。
トラッキング部１４は、トラッキング処理を用いて第１の画像と第２の画像との間で対応する特徴点の組を決定する（ステップＳ１０３）。そしてトラッキング部１４は、対応特徴点の組を表す情報をパラメータ決定部１５へ出力する。

パラメータ決定部１５は、平面射影変換係数を初期化する（ステップＳ１０４）。例えば、この初期化により、各係数θ_x、θ_y、θ_z、t_x、t_y、t_zは、それぞれ、0に設定される。そしてパラメータ決定部１５は、初期化された平面射影変換係数をパラメータ決定部１５の評価値算出部１５１へ渡す。
評価値算出部１５１は、平面射影変換係数を用いて第１画像の各特徴点を平面射影変換した位置と、第２の画像上の対応する点の位置との間の距離の総和と回転移動量に応じた重み項の和である評価値Cを算出する（ステップＳ１０５）。そして評価値算出部１５１は、評価値Cとその評価値Cの算出に用いた平面射影変換係数をパラメータ決定部１５の判定部１５２へ渡す。
判定部１５２は、評価値Cが所定の閾値Thc未満となったか否か判定する（ステップＳ１０６）。
評価値Cが所定の閾値Thc以上である場合（ステップＳ１０６−Ｎｏ）、判定部１５２は、評価値Cの算出に用いた平面射影変換係数をパラメータ決定部１５の変換パラメータ修正部１５３へ渡す。変換パラメータ修正部１５３は、平面射影変換係数を修正する（ステップＳ１０７）。そして変換パラメータ修正部１５３は、修正された平面射影変換係数を評価値算出部１５１へ渡す。そしてパラメータ決定部１５は、ステップＳ１０５以降の処理を繰り返す。

一方、評価値Cが所定の閾値Thc未満である場合、すなわち、評価値Cが収束条件を満たした場合（ステップＳ１０６−Ｙｅｓ）、評価値Cは最小化されたと判定する。そこで判定部１５２は、評価値Cの算出に用いた平面射影変換係数を立体感調節部１６へ出力する。そして立体感調節部１６は、目標とする像の再生位置に応じた視差を与えるように平面射影変換係数を修正する（ステップＳ１０８）。立体感調節部１６は、修正された平面射影変換係数を変換部１７へ出力する。
変換部１７は、記憶部１２から第１及び第２の画像を読み込む。そして変換部１７は、立体感調節部１６から受け取った平面射影変換係数を用いて第１の画像を平面射影変換することによりステレオ画像を作成する（ステップＳ１０９）。そして変換部１７は、ステレオ画像を出力部１８を介して他の装置へ出力する。その後、ステレオ画像生成装置１は、ステレオ画像生成処理を終了する。
なお、ステップＳ１０５において、評価値算出部１５１は、上記のように、評価値Cの微分値C'を算出してもよい。この場合、ステップＳ１０６において、判定部１５２は、その微分値C'の絶対値が評価値の微分値に対する閾値Thd未満であれば、その微分値C'が収束条件を満たし、評価値Cは最小化されたと判定する。

以上に説明してきたように、このステレオ画像生成装置は、平面射影変換係数を、実際のカメラの動きとして想定される回転移動成分を表す係数と平行移動成分を表す係数に限定する。さらにこのステレオ画像生成装置は、一方の画像から抽出され、平面射影変換された特徴点と、他方の画像から抽出された対応する点間の位置ずれ量と、回転移動成分に応じて大きくなる重み項を持つ評価値を最小化するように各平面射影変換係数を求める。これにより、平面射影変換係数に二つのカメラの光軸間の実際の回転量よりも大きい回転移動成分に相当する係数が含まれると、評価値が相対的に大きくなり、最小化されない。そのため、ステレオ画像生成装置は、光軸間の実際の回転量よりも大きい回転移動成分を持つ平面射影変換係数が求められることを抑制できる。したがって、このステレオ画像生成装置は、像の歪みが少ないステレオ画像を作成できる。

なお、本発明は、上記の実施形態に限定されるものではない。例えば、他の実施形態によれば、ステレオ画像生成装置は、第２の画像に写っている撮影対象物の像が、第１の画像に写っているその撮影対象物の像と一致するように、第２の画像を平面射影変換してもよい。この場合、ステレオ画像生成装置は、平面射影変換係数を第２の画像について求める。
また、特徴点抽出部は、第２の画像から特徴点を抽出してもよい。この場合、トラッキング部は、第２の画像から抽出された特徴点に対応する第１の画像上の点を検出する。

また、ステレオ画像生成装置は、各カメラからそれぞれ動画像を受け取って、フレームごとにステレオ画像を作成してもよい。この場合、両方のカメラが動いていないにもかかわらず、平面射影変換係数が変わると、時間軸方向に３次元像の再生位置が変動することになり、再生像が揺れるように見えるので好ましくない。そこでステレオ画像生成装置は、各カメラから最初のフレームを受け取ったとき、及び、少なくとも一方のカメラが移動したときに、平面射影変換係数を作成する。

図５は、この変形例によるステレオ画像生成装置の概略構成図である。この変形例によるステレオ画像生成装置２は、画像取得部１１と、記憶部１２と、特徴点抽出部１３と、トラッキング部１４と、パラメータ決定部１５と、立体感調節部１６と、変換部１７と、出力部１８と、フレーム間差分部１９とを有する。
図５において、ステレオ画像生成装置２が有する各部には、図２に示されたステレオ画像生成装置１が有する対応する構成要素の参照番号と同一の参照番号を付した。
ステレオ画像生成装置２は、図２に示された、上記の実施形態によるステレオ画像生成装置１と比較して、フレーム間差分部１９を有する点で異なる。そこで以下では、フレーム間差分部１９に関する点について説明する。その他の構成要素については、上記の実施形態についての関連する説明を参照されたい。

ステレオ画像生成装置２は、各カメラから最初のフレームを受け取ると、平面射影変換係数を算出する。そしてステレオ画像生成装置２は、その平面射影変換係数を記憶部１２に記憶する。
またステレオ画像生成装置２は、各カメラからフレームを受け取る度に、一旦記憶部１２に記憶する。記憶部１２は、各カメラの動画像ごとに、最新の数フレームを記憶する。

フレーム間差分部１９は、各カメラの動画像ごとに、最新のフレームと一つ前のフレーム間の画素値の変化を調べることにより、カメラが移動したか否か判定する。そのために、フレーム間差分部１９は、最新のフレームと一つ前のフレームとの間でフレーム間差分を実行して、画素ごとに、時間方向における画素値の変動を表す差分値を求める。フレーム間差分部１９は、その差分値の絶対値が所定の閾値以上となる画素の数が、画像全体の画素数に対して所定割合以上となるとカメラが移動したと判定する。なお、差分値の絶対値に対する閾値は、例えば、輝度値が取り得る値の範囲の1/4〜1/2程度の値に設定される。また所定割合は、例えば、40%〜70%程度の値に設定される。

フレーム間差分部１９が、何れか一方のカメラが移動したと判定した場合、ステレオ画像生成装置２は、平面射影変換係数を新たに算出し、記憶部１２に記憶されている平面射影変換係数をその新たに算出された平面射影変換係数に更新する。そして変換部１７は、新たに算出された平面射影係数を用いて一方のカメラのフレームを平面射影変換することで、ステレオ画像を生成する。
一方、フレーム間差分部１９が何れのカメラも移動していないと判定した場合、変換部１７は、記憶部１２に記憶されている、過去に作成された平面射影変換係数を用いて一方のカメラのフレームを平面射影変換することで、ステレオ画像を生成する。この場合、特徴点抽出部１３、トラッキング部１４、パラメータ決定部１５及び立体感調節部１６の処理は省略される。

また、他の変形例によれば、ステレオ画像生成装置は、１台のカメラから受け取った２枚の画像に基づいてステレオ画像を生成してもよい。この場合、１台のカメラが第１の地点において撮影対象物を撮影することにより第１の画像が作成されると、ステレオ画像生成装置は、画像取得部を介してその第１の画像を受け取る。そしてステレオ画像生成装置は、第１の画像を記憶部に記憶する。その後、カメラが第２の地点に移動して、カメラが第２の地点において撮影対象物を撮影することにより第２の画像が作成されると、ステレオ画像生成装置は、画像取得部を介してその第２の画像を受け取る。
ステレオ画像生成装置は、第１及び第２の画像の両方を受け取ると、上記の実施形態に従って平面射影変換係数を求める。そしてステレオ画像生成装置は、その平面射影変換係数を用いて第１及び第２の画像の何れか一方を平面射影変換することにより、ステレオ画像を作成する。

なお、第１の地点と第２の地点間の距離が大きい場合のように、第１の画像上での撮影対象物の特定の点の位置が第２の画像上でのその特定の点の位置と大きく離れることがある。このような場合、トラッキング部が、対応特徴点の組を正確に求められなくなるおそれがある。そこで、ステレオ画像生成装置は、第１の地点と第２の地点の中間の少なくとも一つの地点においてカメラが撮影した第３の画像を受け取ってもよい。そしてステレオ画像生成装置の特徴点抽出部は、第１の画像から特徴点を抽出する。またトラッキング部は、第１の画像と第３の画像との間で対応する特徴点の組を求め、かつ第３の画像と第２の画像との間で対応特徴点の組を求めることにより、第１の画像から抽出された特徴点に対応する第２の画像から抽出された特徴点を特定してもよい。

また、ステレオ画像生成装置が有する特徴点抽出部、トラッキング部、パラメータ決定部、立体感調節部及び変換部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ ステレオ画像生成装置
１０−１、１０−２ カメラ
１１ 画像取得部
１２ 記憶部
１３ 特徴点抽出部
１４ トラッキング部
１５ パラメータ決定部
１５１ 評価値算出部
１５２ 判定部
１５３ 変換パラメータ修正部
１６ 立体感調節部
１７ 変換部
１８ 出力部
１９ フレーム間差分部

Claims (4)

1. 第１の地点で撮影対象物を撮影した第１の画像から複数の特徴点を抽出する特徴点抽出部と、
   前記第１の地点と異なる第２の地点で前記撮影対象物を撮影した第２の画像から、前記第１の画像から抽出された複数の特徴点と前記撮影対象物上の同一の点として対応する点の座標を算出するトラッキング部と、
   前記第１の画像の特徴点を回転移動成分を表す係数と平行移動成分を表す係数とを含む平面射影変換係数を用いて平面射影変換することにより得られた変換特徴点と前記第１の画像の特徴点に対応する前記第２の画像の点との間の距離の差と、前記回転移動成分に応じた値を持つ重み項とを含む評価値を最小化するように、前記平面射影変換係数を決定するパラメータ決定部と、
   前記平面射影変換パラメータを用いて前記第１の画像を平面射影変換し、該平面射影変換された画像と前記第２の画像との組をステレオ画像として生成する変換部と、
   を有するステレオ画像生成装置。
2. 前記重み項は、前記回転移動成分が増加するにつれて大きくなり、かつ当該回転移動成分による前記第１の特徴点の移動量よりも小さい値を持つ、
   請求項１に記載のステレオ画像生成装置。
3. 第１の地点で撮影対象物を撮影した第１の画像から複数の特徴点を抽出し、
   前記第１の地点と異なる第２の地点で前記撮影対象物を撮影した第２の画像から、前記第１の画像から抽出された複数の特徴点と前記撮影対象物上の同一の点として対応する点の座標を算出し、
   前記第１の画像の特徴点を回転移動成分と平行移動成分とからなる平面射影変換係数を用いて平面射影変換することにより得られた変換特徴点と前記第１の画像の特徴点に対応する前記第２の画像の点との間の距離の差と、前記回転移動成分に応じた値を持つ重み項とを含む評価値を最小化するように、前記平面射影変換係数を決定し、
   前記平面射影変換パラメータを用いて前記第１の画像を平面射影変換し、該平面射影変換された画像と前記第２の画像との組をステレオ画像として生成する、
   ことを含むステレオ画像生成方法。
4. 第１の地点で撮影対象物を撮影した第１の画像から複数の特徴点を抽出し、
   前記第１の地点と異なる第２の地点で前記撮影対象物を撮影した第２の画像から、前記第１の画像から抽出された複数の特徴点と前記撮影対象物上の同一の点として対応する点の座標を算出し、
   前記第１の画像の特徴点を回転移動成分と平行移動成分とからなる平面射影変換係数を用いて平面射影変換することにより得られた変換特徴点と前記第１の画像の特徴点に対応する前記第２の画像の点との間の距離の差と、前記回転移動成分に応じた値を持つ重み項とを含む評価値を最小化するように、前記平面射影変換係数を決定し、
   前記平面射影変換パラメータを用いて前記第１の画像を平面射影変換し、該平面射影変換された画像と前記第２の画像との組をステレオ画像として生成する、
   ことをコンピュータに実行させるステレオ画像生成用コンピュータプログラム。

Images