JP5692051B2 - 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム - Google Patents

Description

本発明は奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに上記奥行き推定データを基にした処理を上記非立体画像に施して疑似立体画像を生成する疑似立体画像の生成装置、生成方法及び生成プログラムに関する。

立体表示システムにおいては、非立体画像の疑似立体視による鑑賞を可能にするために、通常の静止画もしくは動画を構成する時系列的に連続した複数の画像、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、疑似的な立体画像を生成する処理が行われる。

このような技術の一例として、例えば特許文献１に開示された疑似立体画像生成装置がある。特許文献１記載の疑似立体画像生成装置は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルの画像を用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルの画像を合成する。続いて、合成した基本奥行きモデルの画像と入力非立体画像の赤色信号（Ｒ信号）とを重畳することで、最終的な奥行き推定データを生成する。そして、この奥行き推定データを基にした処理を入力非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。

特開２００５−１５１５３４号公報

特許文献１記載の疑似立体画像生成装置は、入力非立体画像の高域成分評価値に応じて決定した合成比率に応じて複数種類の基本奥行きモデルの画像を合成し、その基本奥行きモデルの合成画像に、凹凸感を示す情報であるオブジェクト情報として入力非立体画像のＲ信号を重畳することで、最終的な奥行き推定データを生成している。また、特許文献１には、合成基本奥行きモデルの画像に重畳するオブジェクト情報として、入力非立体画像の青色信号（Ｂ信号）を用いてもよいし、Ｒ信号とＢ信号とを併用した信号を用いてもよいとの記載がある。

しかしながら、特許文献１記載の疑似立体画像生成装置では、基本奥行きモデルの画像は入力非立体画像のシーン構造を解析して選択される。これに対して、オブジェクト情報はＲ信号、Ｂ信号あるいはそれらを併用した信号のいずれを用いる場合でも、入力非立体画像のシーン構造の解析結果を反映していない。そして、特許文献１記載の疑似立体画像生成装置では、上記のオブジェクト情報を、選択された基本奥行きモデルの画像に単純に加算する構成であるため、例えば図１０（Ａ）に示すように、背景１２１とオブジェクト（人物等の物体）１２２との分離感が乏しいという課題がある。

本発明は以上の点に鑑みなされたもので、背景とオブジェクトとの分離感を向上させ立体効果を高め得る奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明の奥行き推定データ生成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、発生手段が発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、非立体画像の映像信号における赤色又は暖色の信号の１フレーム又は１フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出手段と、オブジェクト信号が平均値のときに最小の値を示し、かつ、最小値及び最大値のそれぞれにおいて最大の値を示すように赤色又は暖色の信号を補正する演算手段と、合成手段により合成した基本奥行きモデル合成画像に、演算手段によって補正された赤色又は暖色の信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段とを有することを特徴とする。

また、上記の目的を達成するため、第２の発明の奥行き推定データの生成装置は、演算手段が、検出手段により検出された平均値を赤色又は暖色の信号から減算して差分値を算出し、差分値が負の値のときは検出手段により検出された最小値と平均値との差分により差分値を除算し、かつ、所定値を乗算する正規化処理を行うと共に、差分値が正の値のときは検出手段により検出された最大値と平均値との差分により差分値を除算し、かつ、所定値を乗算する正規化処理を行うことで赤色又は暖色の信号を補正することを特徴とする。

また、上記の目的を達成するため、第３の発明の奥行き推定データの生成装置は、演算手段が、所定値として赤色又は暖色の信号のダイナミックレンジの上限に対応した閾値を設定し、最小の値が閾値と絶対値が同じ負の値に制限され、最大の値が閾値と絶対値が同じ正の値に制限して赤色又は暖色の信号を補正することを特徴とする。

また、上記の目的を達成するため、第４の発明の奥行き推定データの生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像の映像信号における赤色又は暖色の信号の１フレーム又は１フィールド内の画素値の平均値、最小値及び最大値をそれぞれ検出する検出ステップと、平均値のときに最小の値を示し、かつ、最小値及び最大値のそれぞれにおいて最大の値を示すように赤色又は暖色の信号を補正する演算ステップと、合成ステップにより合成した基本奥行きモデル合成画像に演算ステップによって補正された赤色又は暖色の信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。

また、上記の目的を達成するため、第４の発明の奥行き推定データの生成方法は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生ステップと、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、発生ステップが発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像の映像信号における赤色又は暖色の信号の１フレーム又は１フィールド内の画素値の平均値、最小値及び最大値をそれぞれ検出する検出ステップと、平均値のときに最小の値を示し、かつ、最小値及び最大値のそれぞれにおいて最大の値を示すように赤色又は暖色の信号を補正する演算ステップと、合成ステップにより合成した基本奥行きモデル合成画像に演算ステップによって補正された赤色又は暖色の信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。

また、上記の目的を達成するため、第５の発明の奥行き推定データの生成プログラムは、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生機能と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、発生機能が発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、非立体画像の映像信号における赤色又は暖色の信号の１フレーム又は１フィールド内の画素値の平均値、最小値及び最大値をそれぞれ検出する検出機能と、平均値のときに最小の値を示し、かつ、最小値及び最大値のそれぞれにおいて最大の値を示すように赤色又は暖色の信号を補正する演算機能と、合成機能により合成した基本奥行きモデル合成画像に演算機能によって補正された赤色又は暖色の信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能とをコンピュータにより実現させることを特徴とする。

また、上記の目的を達成するため、第６の発明の疑似立体画像の生成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第１〜第３の発明のうちいずれか一の発明の奥行き推定データの生成装置にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって、非立体画像の視点とは別視点の画像を生成する別視点画像生成手段と、非立体画像及び別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段とを有することを特徴とする。

また、上記の目的を達成するため、第７の発明の疑似立体画像の生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第４の発明の奥行き推定データの生成方法にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって、非立体画像の視点とは別視点の画像を生成する別視点画像生成ステップと、非立体画像及び別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップとを含むことを特徴とする。

更に、上記の目的を達成するため、第８の発明の疑似立体画像の生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第６の発明の奥行き推定データの生成プログラムにて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって、非立体画像の視点とは別視点の画像を生成する別視点画像生成機能と、非立体画像及び別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とをコンピュータに実現させることを特徴とする。

本発明によれば、疑似立体画像の背景とオブジェクトとの分離感を向上させ立体効果を高めることができる。

本発明の疑似立体画像生成装置の一実施の形態を示すブロック図である。 本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部のブロック図である。 基本奥行きモデルタイプＡの立体構造の一例を示す図である。 基本奥行きモデルタイプＢの立体構造の一例を示す図である。 基本奥行きモデルタイプＣの立体構造の一例を示す図である。 基本奥行きモデル合成比率決定条件の一例を説明する図である。 図２中のオブジェクト信号補正部の一実施の形態のブロック図である。 図７中の各部の入出力特性の一例を示す図である。 オブジェクト信号と補正オブジェクト信号との関係の他の例を示す図である。 特許文献１記載の疑似立体画像の一例と本発明により生成された奥行き推定データによる疑似立体画像の一例とを対比して示す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明になる疑似立体画像生成装置の一実施の形態のブロック図を示す。本実施の形態の疑似立体画像生成装置１は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する２次元カラー画像（非立体画像）の入力映像信号から疑似的な３次元カラー立体画像を生成する所謂２Ｄ３Ｄ変換を行う装置であり、非立体画像の入力映像信号に基づいて、入力非立体画像の視点と別視点の画像を生成する。

疑似立体画像生成装置１は、図１に示すように、非立体画像の入力映像信号に対して奥行き推定データを生成する奥行き推定データ生成装置１０と、奥行き推定データから入力非立体画像と共に疑似的な立体画像を構成する、入力非立体画像とは別視点の画像を生成して入力非立体画像と共にステレオペアとして出力するステレオペア生成装置２０とから構成されている。ステレオ表示装置３０は、ステレオペア生成装置２０から出力されたステレオペアを入力信号として受け、疑似的な立体画像を表示する。

奥行き推定データ生成装置１０は、本発明になる奥行き推定データ生成装置の一実施の形態である奥行き推定部１１から構成されている。奥行き推定部１１の詳細な構成は後述する。ステレオペア生成装置２０は、奥行き推定部１１で生成された奥行き推定データに応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３とから構成されており、ポスト処理部２３からシフトされた左目画像２４を出力すると共に、入力映像信号である右目画像２５を出力する。すなわち、ステレオペア生成装置２０は、入力非立体画像を右目画像２５としたとき、この右目画像２５と疑似的な立体画像を構成する左目画像２４を生成して右目画像２５と共にステレオペアとして出力する。ステレオペア生成装置２０は、奥行き推定データと非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段を構成している。

次に、本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部１１の構成及び動作について更に詳細に説明する。

図２は、奥行き推定部１１の一実施の形態のブロック図を示す。同図に示すように、奥行き推定部１１は、画像入力部１１１、画面上部の高域成分評価部１１２、画面下部の高域成分評価部１１３、フレームメモリ１１４〜１１６、合成部１１７、オブジェクト信号補正部１１８及び加算部１１９から構成されており、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する。この奥行き推定部１１は、オブジェクト信号補正部１１８の構成に特徴がある。

図２において、画像入力部１１１は、フレームメモリを備えており、非立体画像信号である１フレーム分の入力映像信号を一時記憶した後、その１フレーム分の入力映像信号中の輝度信号を画面上部の高域成分評価部１１２、及び画面下部の高域成分評価部１１３にそれぞれ供給すると共に、入力映像信号中の赤色信号（Ｒ信号）をオブジェクト信号補正部１１８に供給する。

画面上部の高域成分評価部１１２及び画面下部の高域成分評価部１１３は、合成部１１７の一部の機能と共に本発明においてそれぞれ非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、後述する３種類の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段を構成している。

すなわち、画面上部の高域成分評価部１１２は、１フレーム分の入力映像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値(top_act)として算出する。そして、画面上部の高域成分評価部１１２は、画面上部の高域成分評価値(top_act)を合成部１１７に供給する。画面下部の高域成分評価部１１３は、１フレーム分の入力映像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値(bottom_act)として算出する。そして、画面下部の高域成分評価部１１３は、画面下部の高域成分評価値(bottom_act)を合成部１１７に供給する。画面上部の高域成分評価値(top_act)及び画面下部の高域成分評価値(bottom_act)は、それぞれ非立体画像の画面上部、画面下部の各所定領域（各２０％領域）における画素値の統計量を示す。なお、上記の高域成分は非立体画像のエッジを示す周波数信号成分である。また、エッジとは、輝度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。

一方、フレームメモリ１１４は基本奥行きモデルタイプＡ、フレームメモリ１１５は基本奥行きモデルタイプＢ、フレームメモリ１１６は基本奥行きモデルタイプＣの画像を予め格納しており、本発明の奥行き推定データの生成装置における基本奥行きモデルの画像の発生手段を構成している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ疑似立体画像信号を生成するための基本となるシーン構造の奥行き値を示す画像である。

例えば、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図３に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。

また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図４に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。

更に、上記の基本奥行きモデルタイプＣの画像は、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、図５に立体構造を示すような、上部を平面、下部を円筒面（軸は水平方向）としたモデルの画像である。フレームメモリ１１４〜１１６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部１１７へ供給される。

合成部１１７は、まず、画面上部の高域成分評価部１１２から供給された画面上部の高域成分評価値top_actと、画面下部の高域成分評価部１１３から供給された画面下部の高域成分評価値bottom_actとに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。

図６は、合成比率の決定条件の一例を示す。図６は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）top_actと、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）bottom_actの各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。

図６において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図６において、「ＴｙｐｅＡ／Ｂ」の領域では、下記のように上部の高域成分評価値top_actと下部の高域成分評価値bottom_actとの比率で基本奥行きモデルタイプＡの値であるＴｙｐｅＡと基本奥行きモデルタイプＢの値であるＴｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるＴｙｐｅＣは比率の決定には用いられない。

ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）：（tp１−top_act）：０
また、図６において、「ＴｙｐｅＡ／Ｂ／Ｃ」の領域では、ＴｙｐｅＡ／ＢとＴｙｐｅＡ／Ｃとの平均を採用して、下記のようにＴｙｐｅＡ／Ｂ／Ｃの値が決定される。

ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝(top_act−tps)＋(bottom_act−bms)：（tpl−top_act）：（bml−bottom_act）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。

ｋ１＝ＴｙｐｅＡ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （１）
ｋ２＝ＴｙｐｅＢ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （２）
ｋ３＝ＴｙｐｅＣ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （３）
合成部１１７は、上記のように算出した合成比率ｋ１〜ｋ３のうち、合成比率ｋ１と基本奥行きモデルタイプＡの値であるＴｙｐｅＡとの第１の乗算結果と、合成比率ｋ２と基本奥行きモデルタイプＢの値であるＴｙｐｅＢとの第２の乗算結果と、合成比率ｋ３と基本奥行きモデルタイプＣの値であるＴｙｐｅＣとの第３の乗算結果とをそれぞれ算出し、更にそれら３つの第１〜第３の乗算結果を加算して合成奥行きモデルとなる画像信号を生成する。

なお、上記の基本奥行きモデルタイプＡ〜Ｃの画像、及び上記の合成比率の決定条件は、本出願人が特許文献１にて開示した公知の基本奥行きモデルタイプＡ〜Ｃの画像及び決定条件であるが、これに限定されるものではない。また、合成部１１７の構成は本出願人が特開２００６−１８５０３３号公報にて開示した構成であってもよい。

このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルタイプを用意し、上記の合成部１１７において基本奥行きモデルタイプＡの画像を基本にしながらも、上部の高域成分評価値top_actが小さい場合は、画面上部に空もしくは平坦な壁が存在するシーンと認識して画面上部の奥行きを深くした基本奥行きモデルタイプＢの画像の合成比率を増加させ、下部の高域成分評価値bottom_actが小さい場合は、画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きの浅くなる基本奥行きモデルタイプＣの画像の合成比率を増加させる合成処理を行う。これにより、本実施の形態によれば、どのような画像に対しても違和感を感じさせることがなく、またできる限り現実に近いシーン構造の決定を行うことができる。

このようにして、合成部１１７から出力される基本奥行きモデルの合成画像に対して、オブジェクト信号であるＲ信号を単純に加算して奥行き推定データを生成すると、前述したように、その奥行き推定データを用いて生成した疑似立体画像は、背景とオブジェクト（人物等の物体）との分離感が乏しいものとなってしまう。

そこで、本実施の形態では、上記の課題を解決するため、オブジェクト信号補正部１１８によりＲ信号をシーン構造に応じて補正した補正オブジェクト信号Ｒ’を生成する。オブジェクト信号補正部１１８は、画像入力部１１１から供給される入力映像信号中のＲ信号（これは生成する疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号に相当する）を補正し、補正後のオブジェクト信号Ｒ’を加算部１１９に供給する。

Ｒ信号をオブジェクト信号として使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更に、もう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。

図７は、オブジェクト信号補正部１１８の一実施の形態のブロック図を示す。同図に示すように、オブジェクト信号補正部１１８は、画像入力部１１１から１フレーム分のＲ信号が供給される平均値、最小値、最大値データ検出部１１８１及び差分値算出部１１８２と、差分値算出部１１８３から差分値が供給されると共に平均値、最小値、最大値データ検出部１１８１から最小値及び最大値が供給されて所定の演算処理を行って補正後のオブジェクト信号（Ｒ’信号）を生成する演算部１１８３とから構成されている。

平均値、最小値、最大値データ検出部１１８１は、入力された１フレーム分のＲ信号の画素値の平均値ＡＰＬと最小値ＭＩＮと最大値ＭＡＸとを検出し、平均値ＡＰＬは差分値算出部１１８２に供給し、最小値ＭＩＮ及び最大値ＭＡＸは演算部１１８３に供給する。

差分値算出部１１８２は、次式に示すように、入力されたＲ信号から平均値ＡＰＬを減算して差分値Ｒ_sub(j)を算出する。

Ｒ_sub(j)＝ｊ−ＡＰＬ （４）
ただし、（４）式中、ｊはＲ信号の値、ＡＰＬは平均値を示す（以下、同様）。

図８（Ａ）は差分値算出部１１８２の入出力特性を示し、横軸が入力されるＲ信号、縦軸が出力される差分値Ｒ_sub(j)を示す。図８（Ａ）に示すように、差分値Ｒ_sub(j)はＲ信号が最小値ＭＩＮのときは−ＡＰＬ、Ｒ信号が平均値ＡＰＬのときは０、Ｒ信号が最大値ＭＡＸのときはＡＰＬとなる。

演算部１１８３は、平均値ＡＰＬを画面の大面積を占める背景画像のレベルと推定し、平均値ＡＰＬにおいて最小の値（凹）を示し、最大値ＭＡＸ及び最小値ＭＩＮにおいてそれぞれ最大の値（凸）を示す信号を補正後のオブジェクト信号Ｒ’として生成する。

そのために、演算部１１８３は、まず、差分値算出部１１８２から供給される差分値Ｒ_sub(j)が負の値のときは、平均値、最小値、最大値データ検出部１１８１から供給される最小値ＭＩＮを用いて（５）式による正規化処理を行ってＡＰＬより負側の補正量Ｓ^-(j)を算出する。

Ｓ^-(j)＝Ｒ_sub(j)×Lim／（ＭＩＮ−ＡＰＬ） （５）
ただし、（５）式中、Limはリミット閾値、ＭＩＮは最小値、ＡＰＬは平均値である。

この最小値ＭＩＮによる正規化処理は、最小値ＭＩＮを用いて、差分値Ｒ_sub(j)の０より小さな値を予め設定されたオブジェクト信号のダイナミックレンジの上限に対応させて補正し、平均値ＡＰＬより負側の補正量Ｓ^-(j)を算出するものである。例えば、図８（Ｂ）を参照して説明すると、平均値ＡＰＬ、最小値ＭＩＮ、最大値ＭＡＸのＲ信号が入力された場合に、差分値Ｒ_sub(j)の０より−ＡＰＬの範囲のｂ１で示す特性が負側の補正量Ｓ^-(j)を示す。

この負側の補正量Ｓ^-(j)は、差分値Ｒ_sub(j)が０から−ＡＰＬに減少するにつれて０からリミット閾値Limまで直線的に増加するため、リミット閾値Limを予めオブジェクト信号のダイナミックレンジの上限に設定しておくことによって、負側の補正量Ｓ^-(j)をダイナミックレンジの上限まで拡大することができる。

続いて、演算部１１８３は、差分値算出部１１８２から供給される差分値Ｒ_sub(j)が正の値のときは、平均値、最小値、最大値データ検出部１１８１から供給される最大値ＭＡＸを用いて（６）式による正規化処理を行ってＡＰＬより正側の補正量Ｓ⁺(j)を算出する。

Ｓ⁺(j)＝Ｒ_sub(j)×Lim／（ＭＡＸ−ＡＰＬ） （６）
ただし、（６）式中、Limはリミット閾値、ＭＡＸは最大値、ＡＰＬは平均値である。

この最大値ＭＡＸによる正規化処理は、最大値ＭＡＸを用いて、差分値Ｒ_sub(j)の０より大きな値を予め設定された信号のダイナミックレンジの上限に対応させて補正し、平均値ＡＰＬより正側の補正量Ｓ⁺(j)を算出するものである。例えば、図８（Ｂ）を参照して説明すると、平均値ＡＰＬ、最小値ＭＩＮ、最大値ＭＡＸのＲ信号が入力された場合に、差分値Ｒ_sub(j)の０より＋ＡＰＬの範囲のｂ２で示す特性が正側の補正量Ｓ⁺(j)を示す。

この正側の補正量Ｓ⁺(j)は、差分値Ｒ_sub(j)が０から＋ＡＰＬに増加するにつれて０からリミット閾値Limまで直線的に増加するため、リミット閾値Limを予め信号のダイナミックレンジの上限に設定しておくことによって、正側の補正量Ｓ⁺(j)をダイナミックレンジの上限まで拡大することができる。

上記した負側の補正量Ｓ^-(j)と正側の補正量Ｓ⁺(j)とをまとめて一つの補正量Ｓ(j)として表すと、（７−１）〜（７−３）式のようになる。

(i) ｊ＜ＡＰＬの場合
Ｓ(j)＝Ｓ^-(j) (７−１)
(ii) ｊ＞ＡＰＬの場合
Ｓ(j)＝Ｓ⁺(j) (７−２)
(iii) j＝ＡＰＬの場合
Ｓ(j)＝０ （７−３）
続いて、演算部１１８３は、補正量Ｓ(j)に対して次式により平均値ＡＰＬをダイナミックレンジの下限である−Limまで拡張させる演算処理を行い、その処理結果を最終的な補正後のオブジェクト信号（Ｒ’信号）として出力する。

Ｒ’(j)＝２×Ｓ(j)−Lim （８）
図８（Ｃ）は、（８）式に基づく入力Ｒ信号に対する出力補正後Ｒ’信号の特性図を示す。同図（Ｃ）に示すように、補正後のＲ’信号は、入力Ｒ信号が平均値ＡＰＬのときに最小の値である−Limを示し、入力Ｒ信号が最小値ＭＩＮ及び最大値ＭＡＸのそれぞれにおいて最大の値であるリミット閾値Limを示す。また、補正後のＲ’信号は、入力Ｒ信号の最小値ＭＩＮから平均値ＡＰＬまで信号レベルが増加するに従い＋Limから−Limへレベルが直線的に減少し、入力Ｒ信号の平均値ＡＰＬから最大値ＭＡＸまで信号レベルが増加するに従い＋Limから−Limへレベルが直線的に増加する。

加算部１１９は、合成部１１７から供給される基本奥行きモデルの合成画像に、オブジェクト信号補正部１１９から供給される補正後のオブジェクト信号であるＲ’信号を加算して、奥行き推定データを生成し、ステレオペア生成装置２０へ出力する。

このように、本実施の形態では、入力非立体画像の大面積を占める平均値ＡＰＬのＲ信号は背景画像の信号であると推定して、補正後のオブジェクト信号であるＲ’信号の値が小さくされるため、疑似立体画像が奥へ配置される。一方、入力非立体画像の小面積を占める最小値ＭＩＮ付近又は最大値ＭＡＸ付近のＲ信号はオブジェクト（人物等の物体）と推定して、補正後のオブジェクト信号であるＲ’信号の値が大きくされるため、疑似立体画像が手前に配置される。これにより、疑似立体画像におけるオブジェクト（人物等の物体）の飛び出し感を強調することができる。

再び図１に戻って説明する。テクスチャシフト部２１は、上記のようにして奥行き推定部１１内の加算部１１９により生成された奥行き推定データと、非立体画像の入力映像信号とに基づいて、入力映像信号の視点とは別視点の画像信号を生成する。例えば、テクスチャシフト部２１は、入力映像信号が右目用画像信号であるとしたときは、その右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。

その場合、テクスチャシフト部２１は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部２１は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。

ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部２１は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。

なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。

オクルージョン補償部２２は、テクスチャシフト部２１から出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部２３に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャが存在しないことになった部分をいう。オクルージョン補償部２２は、テクスチャシフトされた画像信号に対応する元の入力右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘、”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5.pp.863〜866(2002.5)）に記載の手法でオクルージョンを補償してもよい。

ポスト処理手段であるポスト処理部２３は、オクルージョン補償部２２によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目画像２４を示す左目用画像信号を出力する。

ここで、テクスチャシフト部２１が出力する画像信号のシフト量（Ｄｄ−ｍ）／ｎ画素において、入力映像信号によって変化する奥行き推定データの値Ｄｄ以外の輻輳値ｍと奥行き値ｎとは固定値であり、それぞれは０〜２５５の範囲の値のため、最大画素シフト量を求めることができる。最大画素シフト量が求まれば、画像の画素数及び再生時の標準観視距離から最大の視差角を求めることができる。上記の輻輳値ｍと奥行き値ｎを適切に設定すれば、２Ｄ３Ｄ変換された画像は決められた範囲の視差角に収まる。そこで、疑似立体画像生成装置１は、この２Ｄ３Ｄ変換されてポスト処理部２３から出力される左目用画像信号を左目画像２４として出力し、基線長や輻輳角を調整するときの基準（手本）とする。なお、疑似立体画像生成装置１は、入力映像信号をそのまま右目画像２５として出力する。

このように、ステレオペア生成装置２０は、奥行き推定部１１により生成された奥行き推定データを基に、入力される非立体画像（ここでは右目画像２５）とは別視点の左目画像２４を生成して入力非立体画像（右目画像２５）と共に疑似立体画像を表示させるステレオペアとして出力する。これらの左目画像２４と右目画像２５とは、ステレオ表示装置３０へ出力される。

ステレオ表示装置３０は、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。

奥行き推定データ生成装置１０、ステレオペア生成装置２０、ステレオ表示装置３０を組み合わせることにより、非立体画像を疑似立体画像として立体視することを可能にする疑似立体画像表示システムを構築することができる。

次に、本実施の形態の疑似立体画像生成装置１による疑似立体画像と特許文献１記載の疑似立体画像生成装置による疑似立体画像について説明する。特許文献１記載の疑似立体画像生成装置による疑似立体画像は、前述したように、基本奥行きモデルの合成画像にオブジェクト信号を単純に加算して奥行き推定データを生成しているため、シーン解析を反映していない疑似立体画像が表示され、例えば図１０（Ａ）に示すように、背景１２１とオブジェクト（人物等の物体）１２２との分離感が乏しくなってしまう。

これに対し、本実施の形態の疑似立体画像生成装置１による疑似立体画像は、基本奥行きモデルの合成画像に、シーン構造を反映した補正オブジェクト信号を加算して奥行き推定データを生成しているため、その奥行き推定データに基づく疑似立体画像は例えば図１０（Ｂ）に示すように、背景１２３が画面の奥に配置され、オブジェクト（人物等の物体）１２４が画面の手前への飛び出し感が強調されて配置されたものとなる。従って、本実施の形態によれば、背景１２３とオブジェクト（人物等の物体）１２４との分離感が向上し、十分な立体効果をもった疑似立体画像を得ることができる。

なお、本発明は以上の実施の形態に限定されるものではなく、その他種々の変形例を包含するものである。例えば、上記の実施の形態では、演算部１１８３は、リミッタ閾値+Limで最大の値が制限され、負のリミッタ閾値−Limで最小の値が制限された図８（Ｃ）に示したＲ’信号を生成するように説明したが、リミッタ閾値Limによる制限をしなくても差し支えない。

例えば、８ビットの入力映像信号のＲ信号に対して、図９に示すように、Ｒ信号の１フレーム内の最小値ＭＩＮから平均値ＡＰＬまで信号レベルが増加するに従い最大の値＋１２７から最小の値−１２８まで直線的に信号レベルが減少し、Ｒ信号の１フレーム内の平均値ＡＰＬから最大値ＭＡＸまで信号レベルが増加するに従い最小の値−１２８から最大の値＋１２７まで直線的に信号レベルが増加する特性の信号を補正後のオブジェクト信号として生成するようにしてもよい。

また、オブジェクト信号補正部１１８の補正対象のオブジェクト信号はＲ信号に限定されるものではなく、青色信号（Ｂ信号）でもよい。赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能であるからである。更には、オブジェクト信号としてＲ信号とＢ信号とを併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。

また、ステレオペア生成装置２０においては、入力非立体画像を右目画像２５として左目画像２４を生成しているが、入力非立体画像を左目画像として右目画像を生成するようにしてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。

また、疑似立体表示システムにおいては音声出力を装備する形態のものも考えられる。
この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。また、平均値、最小値及び最大値を検出する画像の単位を１フレームとしたが、１フィールドでもよい。

更に、本発明は、ハードウェアにより図１の構成の疑似立体画像生成装置１や、図２及び図７に示した奥行き推定データ生成装置１０を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより疑似立体画像生成や奥行き推定データ生成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

１ 疑似立体画像生成装置
１０ 奥行き推定データ生成装置
１１ 奥行き推定部
２０ ステレオペア生成装置
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像
２５ 右目画像
３０ ステレオ表示装置
１１１ 画像入力部
１１２ 画面上部の高域成分評価部
１１３ 画面下部の高域成分評価部
１１４〜１１６ フレームメモリ
１１７ 合成部
１１８ オブジェクト信号補正部
１１９ 加算部
１１８１ 平均値、最小値、最大値データ検出部
１１８２ 差分値算出部
１１８３ 演算部

Claims (8)

1. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、
   奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、前記複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、
   前記発生手段が発生した前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、
   前記非立体画像の映像信号における赤色又は暖色の信号の１フレーム又は１フィールド内の画素値の平均値、最小値及び最大値をそれぞれ検出する検出手段と、
   前記平均値のときに最小の値を示し、かつ、前記最小値及び最大値のそれぞれにおいて最大の値を示すように前記赤色又は暖色の信号を補正する演算手段と、
   前記合成手段により合成した前記基本奥行きモデル合成画像に、前記演算手段によって補正された赤色又は暖色の信号を加算して、前記非立体画像と共に疑似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段と
   を有することを特徴とする奥行き推定データの生成装置。
2. 前記演算手段は、
   前記検出手段により検出された前記平均値を前記赤色又は暖色の信号から減算して差分値を算出し、
   前記差分値が負の値のときは前記検出手段により検出された前記最小値と前記平均値との差分により前記差分値を除算し、かつ、所定値を乗算する正規化処理を行うと共に、
   前記差分値が正の値のときは前記検出手段により検出された前記最大値と前記平均値との差分により前記差分値を除算し、かつ、前記所定値を乗算する正規化処理を行うことで前記赤色又は暖色の信号を補正することを特徴とする請求項１記載の奥行き推定データの生成装置。
3. 前記演算手段は、
   前記所定値として前記赤色又は暖色の信号のダイナミックレンジの上限に対応した閾値を設定し、前記最小の値が前記閾値と絶対値が同じ負の値に制限され、前記最大の値が前記閾値と絶対値が同じ正の値に制限して前記赤色又は暖色の信号を補正することを特徴とする請求項１記載の奥行き推定データの生成装置。
4. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、
   前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、
   前記非立体画像の映像信号における赤色又は暖色の信号の１フレーム又は１フィールド内の画素値の平均値、最小値及び最大値をそれぞれ検出する検出ステップと、
   前記平均値のときに最小の値を示し、かつ、前記最小値及び最大値のそれぞれにおいて最大の値を示すように前記赤色又は暖色の信号を補正する演算ステップと、
   前記合成ステップにより合成した前記基本奥行きモデル合成画像に前記演算ステップによって補正された前記赤色又は暖色の信号を加算して、前記非立体画像と共に疑似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップと
   を含むことを特徴とする奥行き推定データの生成方法。
5. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、
   前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、
   前記非立体画像の映像信号における赤色又は暖色の信号の１フレーム又は１フィールド内の画素値の平均値、最小値及び最大値をそれぞれ検出する検出機能と、
   前記平均値のときに最小の値を示し、かつ、前記最小値及び最大値のそれぞれにおいて最大の値を示すように前記赤色又は暖色の信号を補正する演算機能と、
   前記合成機能により合成した前記基本奥行きモデル合成画像に前記演算機能によって補正された前記赤色又は暖色の信号を加算して、前記非立体画像と共に疑似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能と
   をコンピュータにより実現させることを特徴とする奥行き推定データの生成プログラム。
6. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項１〜３のうちいずれか一項記載の奥行き推定データの生成装置にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって、前記非立体画像の視点とは別視点の画像を生成する別視点画像生成手段と、
   前記非立体画像及び前記別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段と
   を有することを特徴とする疑似立体画像の生成装置。
7. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項４記載の奥行き推定データの生成方法にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって、前記非立体画像の視点とは別視点の画像を生成する別視点画像生成ステップと、
   前記非立体画像及び前記別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップと
   を含むことを特徴とする疑似立体画像の生成方法。
8. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項５記載の奥行き推定データの生成プログラムにて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって、前記非立体画像の視点とは別視点の画像を生成する別視点画像生成機能と、
   前記非立体画像及び前記別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能と
   をコンピュータに実現させることを特徴とする疑似立体画像の生成プログラム。