JP4214529B2 - 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム - Google Patents

Description

本発明は、奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラムに係り、特に通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な奥行き信号を生成する奥行き信号生成装置、奥行き信号生成プログラム、さらに擬似立体画像を生成する擬似立体画像生成装置、及び擬似立体画像生成プログラムに関する。

立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。

また、立体視に限らず前記非立体画像のシーンから立体構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチは数多く研究・検討がなされている（例えば、非特許文献１参照）。この非特許文献１記載のツァー・インツー・ザ・ピクチャ（Tour Into the Picture）法では、撮影済みの画像から近影物を除去し、遠近法における消失点を決定した上で、それを基にシーンの概略的な構成を推定して視点移動を行うことを可能にしている。

また、前記非特許文献１では奥行き構造が長方形を断面とするチューブ状になっているのに対して、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる非立体画像から立体画像への変換方法も従来から知られている（例えば、特許文献１参照）。この特許文献１記載の発明は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、前記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。

また、古典的な非立体画像から立体画像への変換手法として、シェープ・フロム・モーション（"shape from motion"）法が知られている（例えば、非特許文献２参照）。これは、動画像の動き情報から画像の奥行き量を推定し、この奥行き量を用いて立体画像を構成するというものである。
さらに、非立体画像をブロック状に分割し、それぞれについて輝度積算、高周波成分積算、輝度コントラスト算出、彩度積算の計算を行うことにより画像の奥行き量を推定する手法も開示されている（例えば、特許文献２参照）。
Y.Horry, K.Anjyo, K.Arai："Tour Into the Picture：Using a Spidery Mesh Interface to Make Animation from a Single Image",SIGGRAPH'97 Proceedings,pp.225-232(1997) C.Tomasi and T.Kanade: "Shape and Motion from Image Streams under Orthography: A Factorization Method", Int. Journal of Computer Vision.Vol.9,No.2, pp.137-154(1992) 特開平９−１８５７１２号公報 特許３００５４７４号

しかしながら、前記非特許文献１のツァー・インツー・ザ・ピクチャ法や特許文献１の手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、効果は限定的である。また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない。

また、前記特許文献２のような、動画像の動き情報を基本とするシェープ・フロム・モーション法では、連続する動画像間の画像相関性を利用するために、静止画もしくは相対的に動きが停止している動画像の立体化は原理的に困難である。更に、動画像の動き情報から画像の奥行き量を推定する処理は、処理内容が複雑であり、動画像のリアルタイム性を損なわずに立体画像を表示し続けるには高速な処理装置、及び処理プログラムの実現手段が必要となる。

更に特許文献２の手法では、画像の奥行き量をブロック単位で得る構成のため、各ブロックの境界付近で不自然な立体画像となりやすい。そして、この不自然な立体画像は、補正や内挿を施す処理を行ったとしても、ブロック境界を意識しない画素単位での自然な立体映像を得ることは困難である。

本発明は以上の課題を鑑みてなされたものである。
本発明は、高速処理を必要とする動画像を用いずに、静止画像のみを用いて、かつ簡便な処理によって、自然な擬似立体画像を生成することを可能とするための、奥行き信号生成装置、及び奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラムを提供することを目的とする。

そこで上記課題を解決するために本発明は、以下の装置及びプログラムを提供するものである。
（１）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き信号を生成する奥行き信号生成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段（５、６、７）と、
入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定手段（２、３、４）と、
前記記憶手段から読み出した前記複数の基本奥行きモデルを、前記算定手段にて算定
した合成比率で合成して、現在の奥行き信号生成の対象となっている非立体画像に対して時系列的に１枚以上前の非立体画像における合成基本奥行きモデルを生成する合成手段（８）と、
前記合成手段により生成した前記合成基本奥行きモデルと、前記現在の奥行き信号生成の対象となっている非立体画像とから前記奥行き信号を生成する生成手段（１０）と
を有することを特徴とする奥行き信号生成装置。
（２）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成する擬似立体画像生成装置であって、
上記（１）記載の奥行き信号生成装置の生成手段から供給する奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成手段（１１、１２、１３）を有し、
前記別視点画像生成手段により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置。
（３）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き信号を生成する機能をコンピュータに実現させる奥行き信号生成プログラムであって、
入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、合成するための合成比率を算定する算定機能（Ｓ２、Ｓ３、Ｓ４）と、
前記複数の基本奥行きモデルを、前記算定機能にて算定した合成比率で合成して、現在の奥行き信号生成の対象となっている非立体画像に対して時系列的に１枚以上前の非立体画像における合成基本奥行きモデルを生成する合成機能（Ｓ５）と、
前記合成機能により生成した前記合成基本奥行きモデルと、前記現在の奥行き信号生成の対象となっている非立体画像とから前記奥行き信号を生成する生成機能（Ｓ６）と
をコンピュータに実現させることを特徴とする奥行き信号生成プログラム。
（４）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
上記（３）記載の奥行き信号生成プログラムの生成機能から供給する奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成機能（Ｓ７、Ｓ８、Ｓ９）を有し、
前記別視点画像生成機能により生成した別視点画像と前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力する機能をコンピュータに実現させる擬似立体画像生成プログラム。

本発明の奥行き信号生成装置、及び奥行き信号生成プログラムによれば、ツァー・インツー・ザ・ピクチャ法などで用いている遠近法的な推定を行なうことなしに奥行き信号を生成するので、遠近法を適合できないシーンにおいても、違和感の無い擬似立体映像を得るための奥行き信号を生成することができる。

また、高速処理が必要となる動画像間の画像相関性の評価を用いずに、奥行き信号生成の対象となる一枚分の非立体画像（静止画像・動画の場合１フレームまたは1フィールド）を基に奥行き信号を生成するので、処理が単純になり、動画像のリアルタイム処理を実現することが可能になる。

また、基本奥行きモデルを参照して奥行き信号を生成するので、生成処理が簡便となる。
更に、画像を明確なブロックとして分けずに奥行き信号を生成するので、各ブロックの境界付近で不自然な立体画像となること無しに自然な擬似立体映像を得るための奥行き信号を生成することができる。

更に加えて、本発明の奥行き信号生成装置、及び奥行き信号生成プログラムでは、現在の擬似立体画像生成の対象となる非立体画像に対して時系列的に少なくとも１枚前の非立体画像から生成した、奥行き信号を生成する基となる合成奥行き基本モデルを、現在の非立体画像に対する奥行き信号生成に使用する。従って、従来より行なわれている、現在の非立体画像から合成奥行き基本モデルを生成し、更にその生成した合成奥行き基本モデルを用いて奥行き信号を生成する処理に比較して、合成基本奥行きモデルの生成に要する時間を待つ必要がなくなり、リアルタイム性に優れた奥行き生成信号生成処理を実現できる。

また、本発明の擬似立体画像生成装置、擬似立体画像生成プログラムによれば、前記奥行き信号生成装置、及び奥行き信号生成プログラムによって生成した奥行き信号を用いて、どのような非立体画像からも違和感の少ない擬似立体画像を生成することができる。
また、前述の奥行き信号生成装置、及び奥行き信号生成プログラムにて生成した前記奥行き信号を基に、別視点の画像を擬似的に作成し、原画像とともにステレオペアを構成する場合に、別視点画像の生成に必要な時間だけ、原画像を遅延させて同時化する必要がある。この場合に、前述のように擬似立体画像生成の対象となる非立体画像に対して時系列的に少なくとも１枚前の非立体画像から生成した、奥行き信号を生成する基となる合成奥行き基本モデルを、現在の非立体画像に対する奥行き信号生成に使用することにより、従来はこの遅延の為に少なくとも１画面分のメモリ容量が必要であったのに対して、本発明では画面内の数本の水平走査線分のメモリ容量で済むようになり、メモリ容量の削減が可能となる。

＜装置の構成＞
次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明の、奥行き信号生成装置、及び前記奥行き信号生成装置を内部に備える擬似立体画像生成装置の一実施の形態のブロック図である。また、図２は本発明の、奥行き信号生成装置を含んだ擬似立体画像生成装置の一実施の形態の処理の流れを示すフローチャートである。

図１において、本実施の形態の奥行き信号生成装置(15)は、擬似立体化を行う非立体画像が入力される画像入力部(1)と、画像入力部(1)からの非立体画像の上部約２０％の高域成分評価値を計算により求める上部の高域成分評価部(2)と、画像入力部(1)からの非立体画像の下部約２０％の高域成分評価値を計算により求める下部の高域成分評価部(3)と、前記上部の高域成分評価値と前記下部の高域成分評価値とを基に、擬似立体画像を生成する際の基本モデルである３種類の基本奥行きモデルの合成比率を決定する合成比率決定部(4)と、前記３種類の基本奥行きモデルを記憶する３つのフレームメモリ(5)、(6)及び(7)と、合成比率決定部(4)で決定した合成比率により、フレームメモリ(5)、(6)及び(7)から読み出す前記３種類の基本奥行きモデル画像を合成する奥行きモデル合成部(8)と、奥行きモデル合成部(8)により得られた合成基本奥行きモデル画像に、画像入力部１の基になる画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）(9)を重畳し奥行き信号を得る加算器(10)と、より構成している。

また、本実施の形態の擬似立体画像成装置は、前記奥行き信号生成装置(15)と、前記奥行き信号生成装置(15)で生成した奥行き信号に応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部(11)と、オクルージョンを補償するオクルージョン補償部(12)と、ポスト処理を行うポスト処理部(13)と、より構成している。
＜基本奥行きモデル＞
ここで、基本奥行きモデルについて説明する。

基本奥行きモデルとは、非立体画像から擬似立体画像を生成するための画像の奥行き情報を生成する為に参照する、予め経験知から得られている基本的な奥行き情報を持った複数の画像モデルである。擬似立体画像を生成する対象の非立体画像のシーンを分析して、そのシーンの立体的特徴が、前記複数の基本奥行きモデルにどの程度合致するかの比率を求めて、その比率に従って各基本奥行きモデルの画素毎の奥行き量を合成した合成奥行きモデルを、奥行き信号生成に用いる。ここで言うところのシーンの立体的特徴とは具体的には、前記上部の高域成分評価値と前記下部の高域成分評価値とのことである。

図３は、前記基本奥行きモデルを表すための座標系を示した図である。基本奥行きモデル画像の中心を座標の原点とするｘｙ平面に画素を配置し、ｚ軸方向を各画素毎の奥行き量とする。

本実施例では３種類の基本奥行きモデルを使用している。以下各基本奥行きモデルについて詳細に説明する。
[タイプＡ]
基本奥行きモデルタイプＡは、図３の座標系によれば各画素毎の奥行き量ｚは数式１で表される。ｒは球の半径、ｗは基本奥行きモデルＡの画像の水平サイズ、ｈは基本奥行きモデルＡの画像の垂直サイズであるとする。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。

前記数式１で算出した奥行き情報を輝度値としてグレイスケールで表した例を図４に示す。ここでは、前記数式１で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図５は奥行き量を加味した立体構造を示した図である。
この基本奥行きモデルタイプＡでこのような凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより違和感の少ない立体感及び適度な奥行き感が得られるからである。基本奥行きモデルタイプＡが使用されるシーン構成の一例として、図６のようなシーンがあげられる。
[タイプＢ]
基本奥行きモデルタイプＢは、図３の座標系によれば各画素毎の奥行き量ｚは数式２で表される。ｒは円筒、及び球の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。

前記数式２で算出した奥行き情報を輝度値としてグレイスケールで表した例を図７に示す。ここでは、前記数式２で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図８は奥行き量を加味した立体構造を示した図である。

この基本奥行きモデルタイプＢは、前記上部の高域成分評価値が小さい場合に、画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深く設定するものである。基本奥行きモデルタイプＢが使用されるシーン構成の一例として、図９のようなシーンがあげられる。
[タイプＣ]
基本奥行きモデルタイプＣは、図３の座標系によれば各画素毎の奥行き量ｚは数式３で表される。ｒは円筒の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００としている。

前記数式３で算出した奥行き情報を輝度値としてグレイスケールで表した例を図１０に示す。ここでは、前記数式３で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図１１は奥行き量を加味した立体構造を示した図である。

この基本奥行きモデルタイプＣは前記下部の高域成分評価値が小さい場合に、画面下部に平坦な地面もしくは水面に広がるシーンと認識し、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きＺが小さくなるように設定したものである。基本奥行きモデルタイプＣが使用されるシーン構成の一例として、図１２のようなシーンがあげられる。
＜処理の詳細説明＞
＜奥行き信号生成装置＞
次に、図１の実施の形態の動作について図２のフローチャートと共に詳細に説明する。まず、画像入力部(1)に擬似立体化を行う対象の非立体画像を入力する（ステップＳ１）。この非立体画像は、通常の静止画もしくは動画、即ち画像の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像で、例えば、８ビットで量子化されている画像データである。

前記画像入力部(1)に入力した非立体画像の画像データを、上部の高域成分評価部(2)に供給する。画像データの画面の上部約２０％につき、領域内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて下記数式４による計算を行う。この計算結果を上部の高域成分評価値（ｔｏｐ＿ａｃｔ）とする（ステップＳ２）。

また、前記上部の高域成分評価算出と並行して、前記画像入力部(1)に入力した非立体画像の画像データを、下部の高域成分評価部(3)にも供給する。画像データの画面の下部約２０％につき、領域内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて前記と同様に数式１による計算を行う。この計算結果を下部の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）とする（ステップＳ３）。

そして前記上部の高域成分評価部２で計算した上部の高域成分評価値と前記下部の高域成分評価部３で計算した下部の高域成分評価値を合成比率決定部(4)に供給する。合成比率決定部(4)では、奥行きモデル合成部(8)で合成する前記３種類の基本奥行きモデルの合成比率k1, k2, k3 (k1+k2+k3=1)を決定する（ステップＳ４）。

図１３は合成比率決定部(4)、ステップＳ４で決定する合成比率の決定条件の一例を示す。図１３は上部の高域成分評価値（ｔｏｐ＿ａｃｔ）を横軸、下部の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）を縦軸とし、予め指定された値ｔｐｓ，ｔｐｌ，ｂｍｓ，ｂｍｌとの兼ね合いにより基本奥行きモデルタイプを選択もしくは合成することを示す。図１３において、複数の基本奥行きモデルタイプを記載している部分については、高域成分評価値に応じて線形に合成する。

例えば、ＴｙｐｅＡ／Ｂでは
（ｔｏｐ＿ａｃｔ−ｔｐｓ）：（ｔｐｌ−ｔｏｐ＿ａｃｔ）
の比率で基本奥行きモデルタイプＡ（ＴｙｐｅＡ）と基本奥行きモデルタイプＢ（ＴｙｐｅＢ）の合成比率を決定する。すなわち、ＴｙｐｅＡ／Ｂの合成比率は、基本奥行きモデルタイプＣ（ＴｙｐｅＣ）は使用せず、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
(ｔｏｐ＿ａｃｔ−ｔｐｓ)：(ｔｐｌ−ｔｏｐ＿ａｃｔ)：０
で合成比率を決定する。

また、ＴｙｐｅＢ／Ｃ、ＴｙｐｅＡ／Ｃについては
（ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ）：（ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ）
の比率で基本奥行きモデルタイプＢと基本奥行きモデルタイプＣの合成比率を決定し、基本奥行きモデルタイプＡと基本奥行きモデルタイプＣの合成比率を決定する。すなわち、ＴｙｐｅＢ／Ｃの合成比率は、基本奥行きモデルタイプＡ（ＴｙｐｅＡ）は使用せず、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
０：(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定し、ＴｙｐｅＡ／Ｃの合成比率は、基本奥行きモデルタイプＢ（ＴｙｐｅＢ）は使用せず、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：０：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定する。

更に、ＴｙｐｅＡ／Ｂ／Ｃにおいては、ＴｙｐｅＡ／Ｂ，ＴｙｐｅＡ／Ｃの合成比率の平均を採用しており、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
(ｔｏｐ＿ａｃｔ−ｔｐｓ)＋(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：
(ｔｐｌ−ｔｏｐ＿ａｃｔ)：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定する。
更に、合成比率ｋ１、ｋ２、ｋ３を
ｋ１= ＴｙｐｅＡ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ）
ｋ２= ＴｙｐｅＢ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ）
ｋ３= ＴｙｐｅＣ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ）
で正規化する。

奥行きモデル合成部(8)では、合成比率決定部５で決定した合成比率ｋ１，ｋ２，ｋ３に基づいて、下記数式５により、フレームメモリ(5)、(6)及び(7)に格納されている３種類の基本奥行きモデルタイプＡ、Ｂ、Ｃの各画像ｄａ、ｄｂ、ｄｃをそれぞれ対応する画素毎に合成し、合成基本奥行きモデルｃｄを得る（ステップＳ５）。
なおこの奥行きモデル合成においては、計算済みの基本奥行きモデルタイプをフレームメモリから呼び出すのでなく、その都度数式１〜３を用いた計算によって生成したものを使用しても構わない。また、その都度数式１〜３を用いた計算によって生成したものをフレームメモリに一旦記憶して、呼び出して使用しても構わない。

ここで、ｐは各基本奥行きモデルの各画素位置を示す水平座標、ｑは垂直座標である。

このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定する。そしてその算出結果により、画面上部及び下部の高域成分が多い場合は、基本奥行きモデルタイプＡの比率を大きくする。また、画面上部の高域成分が少ない場合は、上部に空もしくは平坦な壁が存在するシーンと認識して、上部の奥行きを深くした基本奥行きモデルタイプＢの比率を増加する。逆に、画面下部の高域成分が少ない場合は、下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きを浅くした基本奥行きモデルタイプＣの比率を増加する。このような処理を行うことにより、より現実に近いシーン構造の推定を行うことが可能になる。

再び図１及び図２に戻って説明する。
奥行きモデル合成部(8)で生成した合成基本奥行きモデルを加算器(10)に供給する。ここで、画像入力部(1)から入力する画像データの三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）(9)と前記合成奥行きモデルとを、下記数式６の算出式を用いて重畳し、奥行き信号を生成する（ステップＳ６）。ここでは原画のＲ信号の１／１０を重畳している。ここで、従来の処理では、現在の擬似立体画像生成の対象となっている入力画像データから生成した合成基本奥行きモデルと、現在の擬似立体画像生成の対象となっている入力画像データの赤色信号とを重畳するが、本実施例では現在の擬似立体画像生成の対象となっている入力画像データの赤色信号と、時系列的に少なくとも１枚前の非立体画像から生成した合成基本奥行きモデルとを重畳する。

Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。

基本奥行きモデルＡの一例である図６の手前に人物を配したサンプルである図１４に対して、Ｒ信号を重畳したときの奥行き信号の画像の例を図１５に示す。また図１６はその３次元構造を示した図である。

赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。さらに双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。

以上の処理、手順により、奥行き信号生成装置(15)が実現できる。
＜擬似立体画像生成装置＞
次に、テクスチャシフト部(11)では前記奥行き信号生成装置(15)で生成した前記奥行き信号を用いて、画像入力部(1)から入力する非立体画像に対して別視点の画像を生成する（ステップＳ７）。例えば、入力する非立体画像に対して、左に視点移動した視差画像を生成する場合、画面より手前に表示するテクスチャについては、奥行きに応じた量だけ右に移動する。画面より奥に表示するテクスチャについては、奥行きに応じた量だけ左に移動する。このようにして生成した画像を左目画像、原画を右目画像とすることでステレオペアを構成する。ここでは、入力画像に対応する奥行き信号を８ビットの値Ydで表すものとする。このYdについて小さい値すなわち奥に位置するものから順に、その値に対応する部分の入力画像のテクスチャを(Yd-m)/n画素右にシフトする。ここで、mは画面上の奥行きに表示する奥行きデータであり、これより大きなYdに関しては画面より手前に、小さなYdに関しては奥に表示する。また、nは奥行き感を調整するパラメータであり、nを大きくすると、奥行き感が小さくなり、ｎを小さくすると奥行き感が大きくなる。これらのパラメータの具体例として、m=200, n=20などがあげられる。この場合、奥行き信号の値が200を境にして大きい場合、手前に表示され、奥行き信号の値が200より小さい場合奥に表示される。

このとき、シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部(12)で入力画像の対応部分で充填することによりオクルージョンを補償する（ステップＳ８）。

その後、ポスト処理部(13)で平滑化などのポスト処理を行うことにより、それ以前の処理において発生したノイズなどを軽減する（ステップＳ９）。
以上の処理、手順により、別視点画像信号を生成できる。

そして、生成した別視点画像信号を左目用の画像信号とし、別視点画像信号を生成する基となった入力画像信号を右目用の画像信号としてステレオペアを構成することを想定して外部へ出力する。
このとき、ステレオペアをなす左右の画像のタイミングを合わせるため、左目用の別視点画像信号の生成に要した時間だけ、右目用の入力画像信号を遅延させて出力する必要がある。この遅延処理を同時化メモリ(14)にて行う。
別視点画像信号の生成において最も時間を要する処理は、奥行き信号を生成する基となる合成基本奥行きモデルを生成する部分であり、この生成処理で入力画面に対して少なくとも１画面分の表示時間に相当する遅延が発生する。また他の処理部でも、画面内の数本の水平走査線分の遅延が発生する。
従って、従来は少なくとも１画面分の表示時間に相当する容量の同時化メモリ(14)を使用して、ステレオペアをなす左右の画像のタイミングを合わせていた。

これに対して本実施例では、動画像における擬似立体画像生成においては、動画像間の時間軸方向の相関性により、合成基本奥行きモデルの基となる非立体画像と、実際の擬似立体化画像生成の対象となる非立体画像とが完全に同一のものでなく、多少前後にずれた画像であっても、実用上大きな問題は発生しない点に着目し、時系列的に少なくとも１枚前の非立体画像から生成した合成基本奥行きモデルを使用して奥行き信号を生成することにした。このようにして生成した奥行き信号を用いて別視点画像信号を生成することにより、実際の擬似立体化画像生成の対象となる非立体画像の入力時刻から、対応する別視点画像信号の生成時刻までの時間を短縮できる。従って、入力画像からステレオペアを構成し出力するまでの時間を短縮できる。

また、右目用の入力画像信号を遅延させるための同時化メモリ(14)の容量が、従来では１画面分以上の遅延を実現させるだけの容量が必要だったのに対して、画面内の数本の水平走査線分を遅延させるだけのメモリ容量に削減することができる。

以上の処理を行うことにより図１に示す擬似立体画像生成装置が実現できる。
図１７に本実施例の擬似立体画像生成装置から出力するステレオペアの画像の一例を示す。但し、ここでは、左右の違いをわかりやすくするための強調がなされている。

また、本実施例においては、右目用の画像を入力画像、左目用の画像を生成した別視点画像とするステレオペアを構成しているが、テクスチャシフト部(11)で前記の画素の移動を左右反転することで、左目用の画像を入力画像、右目用の画像を生成した別視点画像とするステレオペアを構成することも可能である。また、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。さらに２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成することも可能である。

本実施例の擬似立体画像生成装置と図示していないステレオ表示装置とを組み合わせることにより、擬似立体画像表示システムを構成することができる。
ここにおけるステレオ表示装置とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクションシステムを含む。

また、前記のように２視点以上の表示が可能な表示装置を用いた多視点立体映像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。

このように、本実施の形態によれば、基本奥行きモデルの決定において、３種類の基本奥行きモデルの合成を基本にし、経験知に基づき、現実のシーン構造に比較的近いモデルが主体になるように、いわばフェイルセーフに配慮しながら、立体感を見る者に与えるようにし、得られたステレオペア（擬似立体画像）は、左画像について目立った破綻がなく、また立体視した場合、大きな違和感がないため、１枚の画像からシーン内容に応じた奥行きモデルを構築することが可能になり、これを基に違和感の少ない擬似立体画像を生成することができる。

本実施例においては、画像の単位をフレームで説明しているが、フィールドを単位として実現してもよい。
また、本発明のプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明の奥行き信号生成装置、及び擬似立体画像生成装置の一実施の形態のブロック図である。 本発明の奥行き信号生成プログラム、及び擬似立体画像生成プログラムの一実施の形態のフローチャートである。 本発明の一実施例における基本奥行きモデルの座標系を示す図である。 本発明の一実施例における基本奥行きモデルタイプＡの奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプＡの立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプＡが使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデルタイプＢの奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプＢの立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプＢが使用されるシーン構成の一例である。 基本奥行きモデルタイプＣの奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプＣの立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプＣが使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデル合成比率決定条件を説明する図である。 本発明の一実施例における画像サンプルの一例を示す図である。 本発明の一実施例におけるＲ信号を重畳した奥行き画像の一例を示す図である。 本発明の一実施例におけるＲ信号を重畳した奥行きの立体構造を示す図である。 本発明の一実施例における擬似立体化されたステレオペアの一例を示す図である。

符号の説明

１ 画像入力部
２ スケーリング部
３ 上部の高域成分評価部
４ 下部の高域成分評価部
５ 合成比率決定部
６ フレームメモリ（基本奥行きモデルタイプＡ）
７ フレームメモリ（基本奥行きモデルタイプＢ）
８ フレームメモリ（基本奥行きモデルタイプＣ）
９ 奥行きモデル合成部
１０ 加算部
１１ スケーリング部
１２ テクスチャシフト部
１３ オクルージョン補償部
１４ ポスト処理部
１５ 奥行き信号生成装置

Claims (4)

1. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き信号を生成する奥行き信号生成装置であって、
   基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段と、
   入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定手段と、
   前記記憶手段から読み出した前記複数の基本奥行きモデルを、前記算定手段にて算定
   した合成比率で合成して、現在の奥行き信号生成の対象となっている非立体画像に対して時系列的に１枚以上前の非立体画像における合成基本奥行きモデルを生成する合成手段と、
   前記合成手段により生成した前記合成基本奥行きモデルと、前記現在の奥行き信号生成の対象となっている非立体画像とから前記奥行き信号を生成する生成手段と、
   を有することを特徴とする奥行き信号生成装置。
2. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成する擬似立体画像生成装置であって、
   前記請求項１に記載の奥行き信号生成装置の生成手段から供給する奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成手段を有し、
   前記別視点画像生成手段により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置。
3. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き信号を生成する機能をコンピュータに実現させる奥行き信号生成プログラムであって、
   入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、合成するための合成比率を算定する算定機能と、
   前記複数の基本奥行きモデルを、前記算定機能にて算定した合成比率で合成して、現在の奥行き信号生成の対象となっている非立体画像に対して時系列的に１枚以上前の非立体画像における合成基本奥行きモデルを生成する合成機能と、
   前記合成機能により生成した前記合成基本奥行きモデルと、前記現在の奥行き信号生成の対象となっている非立体画像とから前記奥行き信号を生成する生成機能と、
   をコンピュータに実現させることを特徴とする奥行き信号生成プログラム。
4. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
   前記請求項３に記載の奥行き信号生成プログラムの生成機能から供給する奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成機能を有し、
   前記別視点画像生成機能により生成した別視点画像と前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力する機能をコンピュータに実現させる擬似立体画像生成プログラム。