JP5058316B2 - 電子機器、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明の実施形態は、三次元映像コンテンツを再生する電子機器及び同機器に適用される画像処理方法、画像処理プログラムに関する。

従来から、三次元映像を観賞可能にする様々な映像表示装置が提供されている。このような映像表示装置では、例えば、両眼視差に基づく左眼用映像と右眼用映像とを用いて、ユーザに三次元映像（立体映像）を知覚させる。

一般に、ＤＶＤ（Digital Versatile Disc）等の記録媒体により提供される映像コンテンツ、あるいは放送やネットワークを介して受信される映像コンテンツのほとんどは、二次元映像を含む映像コンテンツデータである。そのような映像コンテンツデータを用いて三次元映像を視聴するために、二次元映像を三次元映像に変換する種々の技術が提案されている。

特開２００２−９１６４３号公報

しかしながら、映像コンテンツデータには、三次元映像への変換の対象となる二次元映像だけでなく、三次元映像への変換対象とならない映像データが含まれている。例えば、ＤＶＤ等によって提供される映像コンテンツデータには、本編タイトル用データの他に、メニュー表示用データが含まれている。メニュー表示用の映像コンテンツデータには、例えばメニューの選択項目や背景の映像を表示するための映像データの他に、ユーザ操作によって表示が変更される映像データが含まれている。ユーザ操作によって表示が変更される映像データには、例えばメニューの選択項目の位置に合わせて表示されるデータ（現在の選択項目を示すためのハイライト表示などのデータ）があり、三次元映像への変換対象となる映像データとは別に管理されている。

二次元映像を三次元映像に変換する場合には、例えば二次元映像をもとにして右眼用と左眼用の視差画像を生成する。従って、視差画像と、三次元元映像に変換されていないハイライト表示などを合成して表示すると、ずれが生じてしまう。具体的には、三次元映像として表示されるメニューの選択項目の表示位置と、現在の選択項目を示すためのハイライト表示の表示位置とがずれてしまう。この場合、ハイライト表示の表示位置が何れの選択項目を示しているか分かりにくくなり、ユーザによるメニューから希望する選択項目を指定する操作に支障が生じてしまう。

本発明の目的は、二次元映像を三次元映像に変換することによる映像の位置ずれによる支障を回避することができる電子機器、画像処理方法、及び画像処理プログラムを提供することである。

実施形態によれば、電子機器は、第１の映像データと、前記第１の映像データをもとに表示される二次元映像による画面中での相対的な表示の位置関係が決められており、入力装置に対するユーザ操作に応じて表示位置が変更される第２の映像データとを二次元映像用の映像コンテンツデータから抽出するデータ抽出手段と、前記映像コンテンツデータを二次元映像として表示させる第１表示モードと三次元映像として表示させる第２表示モードの何れかに設定するモード設定手段と、前記第２表示モードが設定され、かつ前記第２の映像データが抽出された場合に、前記第１の映像データに応じた二次元映像用の第１の映像信号を生成し、前記第２表示モードが設定され、かつ前記第２の映像データが抽出されない場合に、前記第１の映像データをもとに三次元映像用の視差画像を表示するための第２の映像信号を生成する第１の映像信号生成手段と、前記入力装置に対するユーザ操作に応じて、前記画面中における前記第２の映像データの表示位置を変更するように、前記第２の映像データに応じた二次元映像用の第３の映像信号を生成する第２の映像信号生成手段と、前記第１の映像信号と前記第３の映像信号とを合成する合成手段と、前記合成手段により合成された映像信号または前記第２の映像信号に応じた画面を表示する表示手段とを具備する。

本実施形態における電子機器の外観を示す斜視図。 本実施形態におけるパーソナルコンピュータのシステム構成を示す図。 本実施形態の映像コンテンツ再生機能の構成を示すブロック図。 本実施形態における映像コンテンツデータに含まれるメニュードメインのビデオデータとメニュー画像データとの関係を示す図。 本実施形態における映像コンテンツデータに応じて表示されるメニュー画面の一例を示す図。 本実施形態における映像コンテンツ再生機能を示すフローチャート。

以下、図面を参照して、実施の形態について説明する。
図１は、本実施形態における電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。図１に示すように、パーソナルコンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。

ディスプレイユニット３には、ＬＣＤ（liquid crystal display）１５が組み込まれている。ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。

コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、パーソナルコンピュータ１を電源オン／電源オフするためのパワーボタン２８、入力操作パネル２９、タッチパッド２７、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル２９上には、各種操作ボタンが設けられている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体２の正面には、パーソナルコンピュータ１のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部３０が設けられている。リモコンユニットインタフェース部３０は、例えば赤外線信号受信部などから構成されている。

コンピュータ本体２の例えば右側面には、ＴＶ放送用のアンテナ端子３２が設けられている。また、コンピュータ本体２の例えば背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

図２は、本実施形態におけるパーソナルコンピュータ１のシステム構成を示す図である。
パーソナルコンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、表示コントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、ＬＣＤ（Liquid Crystal Display）１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、リモコンユニットインタフェース部３０、ＴＶチューナ３１等を備えている。

ＣＰＵ１１は、パーソナルコンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、及び映像コンテンツ再生アプリケーションプログラム１３Ｂ等のようなアプリケーションプログラムを実行する。映像コンテンツ再生アプリケーションプログラム１３Ｂは、映像コンテンツデータを視聴するための機能を有するソフトウェアである。この映像コンテンツ再生アプリケーション１３Ｂは、ＴＶチューナ３１によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ２１に記録する録画処理、ＨＤＤ２１に記録された放送番組データ／ビデオデータを再生する再生処理、ネットワークを介して受信された映像コンテンツデータや光ディスクドライブ（ＯＤＤ）２２によって各種記録媒体（ＤＶＤ、ＣＤ（Compact Disc）から読み出された映像コンテンツデータを再生する再生処理等を実行する。さらに、映像コンテンツ再生アプリケーション１３Ｂは、三次元映像を視聴するための機能も有する。映像コンテンツ再生アプリケーション１３Ｂは、映像コンテンツデータに含まれる二次元映像を三次元映像にリアルタイムで変換してＬＣＤ１５の画面上に表示させることができる。

三次元映像の表示には、例えば、シャッター方式（時分割方式とも云う）を用いてもよい。シャッター方式の三次元映像表示では、左眼用ビデオデータと右眼用ビデオデータとを含むステレオペア映像が用いられる。ＬＣＤ１５は、例えば、通常のリフレッシュレート（例えば６０Ｈｚ）の２倍のリフレッシュレート（例えば１２０Ｈｚ）で駆動される。左眼用ビデオデータ内の左眼用フレームデータと右眼用ビデオデータ内の右眼用フレームデータは例えば１２０Ｈｚのリフレッシュレートで交互にＬＣＤ１５上に表示される。ユーザは、例えば、液晶シャッターメガネのような３Ｄグラス（図示せず）を用いることで、左眼用フレームに対応する画像を左眼で、右眼用フレームに対応する画像を右眼で見ることができる。３Ｄグラスは、左眼用フレームデータ及び右眼用フレームデータそれぞれの表示タイミングを示す同期信号をパーソナルコンピュータ１から赤外線などを用いて受信するように構成してもよい。３Ｄグラス内の左眼用シャッター及び右眼用シャッターは、ＬＣＤ１５への左眼用及び右眼用フレームデータそれぞれの表示タイミングに同期して開閉される。

代わりに、三次元映像の表示には、例えば、Ｘｐｏｌ（登録商標）方式等の偏光方式を用いてもよい。この場合、例えば、左眼用画像と右眼用画像とが例えば走査線単位でインタリーブされたインタリーブフレーム群が生成され、これらインタリーブフレーム群がＬＣＤ１５に表示される。ＬＣＤ１５の画面を覆う偏向フィルタは、ＬＣＤ１５の画面上の例えば奇数番目のライン群に表示される左眼用画像と偶数番目のライン群に表示される右眼用画像とを異なる方向に偏光する。ユーザは、偏向メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。

また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、表示コントローラ１４との通信を実行する機能も有している。

表示コントローラ１４は、パーソナルコンピュータ１のディスプレイとして使用されるＬＣＤ１５を制御するデバイスである。この表示コントローラ１４によって生成される表示信号はＬＣＤ１５に送られる。ＬＣＤ１５は、表示信号に基づいて映像を表示する。

サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。

サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばEthernet（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。

ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じてパーソナルコンピュータ１をパワーオン／パワーオフする機能を有している。さらに、ＥＣ／ＫＢＣ２５は、リモコンユニットインタフェース部３０との通信を実行する機能を有している。

ＴＶチューナ３１はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子３２に接続されている。このＴＶチューナ３１は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ３１は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

次に、図３を参照して、本実施形態の映像コンテンツ再生機能の構成について説明する。
再生対象のソースデータである映像コンテンツデータ５１は、例えばＤＶＤから読み出された二次元映像用のデータである。映像コンテンツデータ５１は、映像（動画像）を表示するためのビデオデータを含む。また、映像コンテンツデータ５１は、メニュー画面を表示させるためのメニュードメインとして、映像（動画像）を表示するためのビデオデータ（第１の映像データ）と、ビデオデータとは別に処理される画像を表示するための追加データ（第２の映像データ）とを含む。追加データは、例えば、メニュー画面において表示されるもので、メニューの選択項目の位置に合わせて表示されるデータ（現在の選択項目を示すためのハイライト表示などのデータ）である。以下、追加データをメニュー画像データとして説明する。

図３に示すように、映像コンテンツ再生アプリケーション１３Ｂは、再生制御部１００（モード設定部１００ａ）、データ抽出部１０１、映像信号生成部１０２（デコーダ１０２ａ、２Ｄto３Ｄ変換部１０２ｂ）、メニュー画像生成部１０３、入力制御部１０５（メニュー制御部１０６）、画像合成部１０９、及び表示部１１０を備える。

再生制御部１００は、映像コンテンツの再生を制御する。再生制御部１００は、入力制御部１０５を通じて入力されるユーザからの要求に応じて、モード設定部１００ａにより再生モードの設定を行う。モード設定部１００ａは、映像コンテンツデータを二次元映像として表示させる２Ｄ（二次元）モード（第１表示モード）と、三次元映像として表示させる２Ｄｔｏ３Ｄモード（第２表示モード）の何れかを設定する。通常は、二次元映像用の映像コンテンツデータに対しては２Ｄモードを設定し、ユーザからの要求に応じて２Ｄｔｏ３Ｄモードを設定する。また、データ抽出部１０１により抽出されたデータからメニュードメインへの遷移を判別して、この判別に応じて映像信号生成部１０２（２Ｄto３Ｄ変換部１０２ｂ）による処理を制御する。

データ抽出部１０１は、入力された映像コンテンツデータ５１に含まれる各種のデータ、例えばビデオデータ、音声データ、メニュー画像データ等を抽出する。以下の説明では、ビデオデータとメニュー画像データを対象として説明する。データ抽出部１０１は、抽出したビデオデータを映像信号生成部１０２に出力する。また、データ抽出部１０１は、抽出したメニュー画像データをメニュー画像生成部１０３に出力する。例えば、ＤＶＤ等から読み出された映像コンテンツデータ（メニュードメイン）には、メニュー画面中に選択項目や背景映像を表示するためのビデオデータの他に、メニュー画像データが含まれている。データ抽出部１０１は、メニュー表示用の映像コンテンツデータからメニュー画像データを抽出する。

メニュー画像生成部１０３は、データ抽出部１０１によって出力されたメニュー画像データに基づいてメニュー画像の映像信号を生成する。メニュー画像は、例えばメニュー画面における現在の選択項目を示すためのハイライト表示である。なお、メニュー画像は、ハイライト表示に限定されるものではなく、ラインや枠、特定の色表示などであっても良い。メニュー画像は、背景に表示される二次元映像（例えば、メニューの選択項目など）と相対的な位置関係が予め決められている。

映像信号生成部１０２は、再生対象のビデオデータを用いて、ＬＣＤ１５に表示する映像の映像信号を生成する。再生対象のビデオデータが通常の映像（二次元映像）を表示するためのデータである場合、映像信号生成部１０２は、一般に符号化（圧縮符号化）されたビデオデータをデコーダ１０２ａによりデコードする処理等を施して、映像信号を生成する。

また、ビデオデータを三次元映像として表示させる場合、映像信号生成部１０２は、２Ｄto３Ｄ変換部１０２ｂによりビデオデータに対して２Ｄｔｏ３Ｄ変換を行う。すなわち、２Ｄto３Ｄ変換部１０２ｂは、ビデオデータから左眼用映像（左眼用画像フレーム）と右眼用映像（右眼用画像フレーム）とを含む映像（視差画像）の映像信号を生成する。具体的には、２Ｄto３Ｄ変換部１０２ｂは、デコーダ１０２ａによりデコードされた映像信号を用いて、映像信号の画像フレームそれぞれを解析することによって、各画像フレームに含まれる画素毎の奥行き位置（depth）を推定する。２Ｄto３Ｄ変換部１０２ｂは、例えば、画像フレーム間の動きや画像フレーム内の画素値の差分等を用いて、画素毎の奥行き位置を推定する。そして、２Ｄto３Ｄ変換部１０２ｂは、推定した画素毎の奥行き位置に基づいて、その画像フレームに対応する左眼用画像フレームと右眼用画像フレームとを生成する。左眼用画像フレームと右眼用画像フレームとを含む映像は、例えば、奇数番目の走査線に左眼用映像の画素が表示され、偶数番目の走査線に右眼用の画素が表示される映像である。つまり、映像には左眼用映像と右眼用映像とが１行毎に交互に描画される。なお、左眼用映像と右眼用映像とを１列毎に交互に描画する方式により、映像を作成してもよい。

入力制御部１０５は、ユーザ操作に応じた入力装置５２からの通知を入力する。入力装置５２には、例えばキーボード２６やリモコンユニット（図示せず）を含む。入力制御部１０５は、キーボード２６に割り当てられた所定のキーや、リモコンユニットのボタンなどに対するユーザ操作に応じた通知を入力する。入力制御部１０５は、映像コンテンツデータ５１の再生モードとして、２Ｄｔｏ３Ｄモードが通知された場合に、再生制御部１００（モード設定部１００ａ）に通知する。また、入力制御部１０５には、メニュー制御部１０６が含まれている。メニュー制御部１０６は、メニュー画面が表示されている場合、入力装置５２に対するユーザ操作に応じて、メニュー画像生成部１０３により生成されるメニュー画像データ（ハイライト表示）の表示位置を変更する。具体的には、ハイライト表示の表示位置をユーザからの指示に応じて変更することで、メニュー画面中の現在の選択項目を変更する。

画像合成部１０９は、映像信号生成部１０２（デコーダ１０２ａ、２Ｄto３Ｄ変換部１０２ｂ）によって出力された映像信号と、メニュー画像生成部１０３により生成されたメニュー画像の映像信号（画像フレーム）を合成して表示部１１０に出力する。

表示部１１０は、画像合成部１０９により合成された映像信号をＬＣＤ１５の画面に表示させる。表示部１１０は、映像信号生成部１０２の２Ｄto３Ｄ変換部１０２ｂによって三次元映像用の映像信号が生成された場合、画像合成部１０９によって出力された左眼用画像フレームと右眼用画像フレームの各々を所定のタイミングで画面（ＬＣＤ）１５に表示する。シャッター方式の三次元映像表示では、表示部１１０は、所定のリフレッシュレート（例えば、１２０Ｈｚ）で、左眼用画像フレームと右眼用画像フレームとをＬＣＤ１５上に交互に表示する。ユーザは、例えば、液晶シャッターメガネを用いることで、左眼用画像フレームを左眼で、右眼用画像フレームを右眼で見ることができる。これによりユーザは、三次元画像（立体画像）を知覚することができる。

また、偏光方式の三次元映像表示では、表示部１１０は、例えば、左眼用画像フレームと右眼用画像フレームとが走査線単位でインタリーブされたインタリーブ画像フレームを生成する。表示部１１０は、生成したインタリーブ画像フレームをＬＣＤ１５上に、所定のリフレッシュレート（例えば、６０Ｈｚ）で表示する。表示されたインタリーブ画像フレームは、ＬＣＤ１５の画面を覆う偏光フィルタによって偏光される。具体的には、偏光フィルタは、例えば、画面上の奇数番目の走査線群に表示される左眼用画像と、偶数番目の走査線群に表示される右眼用画像とを異なる方向に偏光する。ユーザは、偏光メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。これによりユーザは、三次元画像（立体画像）を知覚することができる。

図４は、本実施形態における映像コンテンツデータ５１に含まれるメニュードメインのビデオデータとメニュー画像データとの関係を示す図である。
図４に示すように、メニュードメインには、メニュー画面中のタイトル名などの選択項目や背景の映像（動画像）などを表示するビデオデータと、ユーザ操作に応じて表示位置が変更されるハイライト表示Ｈなどのメニュー画像データが含まれる。

ビデオデータとメニュー画像データは、図４に示すように、異なるプレーンにおいて管理されている。映像コンテンツデータ５１を３次元映像として表示させるために２Ｄｔｏ３Ｄ変換をする場合、ビデオプレーン２００において管理されているビデオデータのみが変換対象となる。一方、メニュープレーン２０１において管理されるメニュー画像データは、２Ｄｔｏ３Ｄ変換の対象とならないため、２Ｄｔｏ３Ｄ変換されたビデオデータと合成されて出力される。

図５（Ａ）（Ｂ）（Ｃ）は、本実施形態における映像コンテンツデータ５１（メニュードメイン）に応じて表示されるメニュー画面の一例を示す図である。
図５（Ａ）は、二次元映像用の映像コンテンツデータ５１によって表示されるメニュー画面を示している。図５（Ａ）に示すように、メニュードメインを標準の２次元映像として表示させた場合、ビデオデータによって表示されるタイトル名などの選択項目の表示位置に合わせて、ハイライト表示Ｈ（メニュー画像データ）の表示位置が決められている。例えば、図５（Ａ）に示すメニュー画面が表示されている時、カーソルキーなどの操作によって選択項目の変更が指示されると、例えば次のタイトル名が表示された位置に合わせてハイライト表示Ｈの表示位置が変更される。

メニュードメインを三次元映像として表示させる場合には、図４に示すようにビデオデータをもとにして２Ｄｔｏ３Ｄ変換が実行されて、左眼用画像フレームと右眼用画像フレームの視差画像が生成される。視差画像は、図５（Ｂ）（Ｃ）に示すように、タイトル名（選択項目）や背景映像などの表示位置が元の画像とずれてしまう。

一方、ハイライト表示Ｈなどのメニュー画像データは２Ｄｔｏ３Ｄ変換の対象となっていないため、表示位置が変更されない。従って、三次元映像では、ハイライト表示の表示位置がタイトル名の表示位置と一致せず、ハイライト表示Ｈの表示位置から何れのタイトル名を選択している状態であるか認識しにくくなってしまう。

本実施形態における映像コンテンツ再生機能では、映像コンテンツデータ５１を三次元映像として表示する設定（２Ｄｔｏ３Ｄモード）がされている場合であっても、メニュードメインへ表示対象が遷移した場合には、映像コンテンツデータ５１から抽出されたビデオデータに対する２Ｄｔｏ３Ｄ変換を無効化（ディセーブル）することで、三次元映像（選択項目）とメニュー画像データ（ハイライト表示）のずれによるメニュー操作の障害を回避する。

次に、本実施形態における映像コンテンツ再生機能について、図６に示すフローチャートを参照しながら説明する。
ここでは、ＯＤＤ２２から読み出されるＤＶＤに記録された映像コンテンツデータ５１を再生する場合を例にする。ＤＶＤに記録された映像コンテンツデータ５１には、二次元映像用のデータであり、本編タイトル用データの他に、メニュー表示用データ（メニュードメイン）が含まれている。また、メニュードメインには、メニュー画面中に選択項目や背景映像を表示するためのビデオデータの他に、現在の選択項目を示すハイライト表示のためのメニュー画像データが含まれている。

再生制御部１００は、映像コンテンツデータ５１の再生開始の要求が入力制御部１０５を介して入力されると、映像コンテンツデータ５１を読み込んで再生処理を開始する。

２Ｄｔｏ３Ｄモードが設定されていない場合には（ステップＡ１、Ｎｏ）、映像コンテンツ再生アプリケーション１３Ｂは、映像コンテンツデータ５１を二次元映像として再生する。データ抽出部１０１は、映像コンテンツデータ５１を入力して（ステップＡ３）、映像コンテンツデータ５１からビデオデータとメニュー画像データを抽出する（ステップＡ４）。ただし、入力した映像コンテンツデータ５１が本編タイトルデータである場合にはメニュー画像データは抽出されない。

映像信号生成部１０２は、データ抽出部１０１により抽出されたビデオデータを、デコーダ１０２ａによってデコードする（ステップＡ５）。２Ｄｔｏ３Ｄモードが設定されていない場合には（ステップＡ６、２Ｄモード）、２Ｄto３Ｄ変換部１０２ｂは無効化されているため、デコーダ１０２ａによるデコードにより生成された映像信号が画像合成部１０９に出力される。

画像合成部１０９は、映像信号生成部１０２（デコーダ１０２ａ）から出力された映像信号とメニュー画像生成部１０３から出力された映像信号とを合成する（ステップＡ９）。なお、映像コンテンツデータ５１がメニュードメインでない場合（本編タイトルデータの場合）には、映像信号生成部１０２から出力された映像信号が再生対象となる。

表示部１１０は、画像合成部１０９により合成された映像信号をＬＣＤ１５の画面に表示させる（ステップＡ１０）。ここでは、２Ｄｔｏ３Ｄモードが設定されていないので、二次元映像を表示させる。以下、前述した処理が、映像コンテンツデータ５１の読出しが終了するまで継続される（ステップＡ１１、Ｎｏ）。

一方、入力装置５２へのユーザ操作によって２Ｄｔｏ３Ｄモードの設定が要求されると、入力制御部１０５は、再生制御部１００に通知する。再生制御部１００のモード設定部１００ａは、映像コンテンツデータ５１の再生モードを２Ｄｔｏ３Ｄモードに設定する。

２Ｄｔｏ３Ｄモードが設定されている場合には（ステップＡ１、Ｙｅｓ）、再生制御部１００は、２Ｄto３Ｄ変換部１０２ｂを有効化（イネーブル）する（ステップＡ２）。すなわち、映像コンテンツ再生アプリケーション１３Ｂは、映像コンテンツデータ５１を、メニュードメイン以外について三次元映像として再生できるようにする。データ抽出部１０１は、映像コンテンツデータ５１を入力して（ステップＡ３）、映像コンテンツデータ５１からビデオデータとメニュー画像データを抽出する（ステップＡ４）。ただし、入力した映像コンテンツデータ５１が本編タイトルデータである場合にはメニュー画像データは抽出されない。

映像信号生成部１０２は、データ抽出部１０１により抽出されたビデオデータを、デコーダ１０２ａによってデコードする（ステップＡ５）。２Ｄｔｏ３Ｄモードが設定されている場合には（ステップＡ６、２Ｄｔｏ３Ｄモード）、再生制御部１００は、データ抽出部１０１により抽出対象となっているデータがメニュードメインでない場合、２Ｄto３Ｄ変換部１０２ｂにより２Ｄｔｏ３Ｄ変換を実行させる。

２Ｄto３Ｄ変換部１０２ｂは、デコーダ１０２ａによるデコードにより生成された映像信号を用いて、左眼用画像フレームと右眼用画像フレームとを生成する（ステップＡ８）。

画像合成部１０９は、映像信号生成部１０２（２Ｄto３Ｄ変換部１０２ｂ）から出力された映像信号とメニュー画像生成部１０３から出力された映像信号とを合成する（ステップＡ９）。なお、映像コンテンツデータ５１がメニュードメインでない場合（本編タイトルデータの場合）には、映像信号生成部１０２から出力された映像信号が再生対象となる。

表示部１１０は、画像合成部１０９により合成された映像信号をＬＣＤ１５の画面に表示させる。ここでは、２Ｄｔｏ３Ｄモードが設定されているので、三次元映像を表示させる。

なお、再生制御部１００は、２Ｄｔｏ３Ｄモードが設定されている場合に、データ抽出部１０１により抽出対象となっているデータがメニュードメインに遷移したことを判別すると（ステップＡ７、Ｙｅｓ）、２Ｄto３Ｄ変換部１０２ｂを無効化（ディセーブル）する。

従って、映像信号生成部１０２は、データ抽出部１０１により抽出されたビデオデータを、デコーダ１０２ａによりデコードして映像信号を出力する。すなわち、映像信号生成部１０２は、ビデオデータに対して２Ｄｔｏ３Ｄ変換をせず、メニュー画面中のタイトル名などの選択項目や背景等の二次元映像を表示するための映像信号を出力する。また、メニュー画像生成部１０３は、データ抽出部１０１により抽出されたメニュー画像データをもとに、例えばメニュー画面中でハイライト表示するための映像信号を生成して画像合成部１０９に出力する。

画像合成部１０９は、映像信号生成部１０２（デコーダ１０２ａ）によって出力された映像信号と、メニュー画像生成部１０３により生成されたメニュー画像の映像信号を合成して表示部１１０に出力する（ステップＡ９）。表示部１１０は、画像合成部１０９により合成された映像信号に応じた映像（メニュー画面）を表示する。

メニュー画面では、タイトル名などの選択項目が二次元映像によって表示されるため、ハイライト表示の表示位置が選択項目の表示位置と一致する。すなわち、２Ｄｔｏ３Ｄモードが設定されている場合であっても、メニュー画面では２Ｄモードにより表示することにより、図５（Ｂ）（Ｃ）を用いて説明したようなメニュー操作の障害が発生しない。

なお、メニュー画面の表示が終了された場合には、再生制御部１００は、２Ｄto３Ｄ変換部１０２ｂを有効化（イネーブル）して、映像コンテンツデータ５１を三次元映像によって表示できるようにする。

このようにして、本実施形態におけるパーソナルコンピュータ１では、映像コンテンツ再生アプリケーション１３Ｂを実行することにより、二次元映像用の映像コンテンツデータ５１を三次元映像として表示させることができる。そして、２Ｄｔｏ３Ｄモードが設定されている場合であっても、三次元映像化することによりメニュー画像データ（ハイライト表示等）との位置ずれが生じるメニュー画面の表示時には、２Ｄｔｏ３Ｄ変換を無効化することによりメニュー操作の障害を回避することができる。

なお、前述した説明では、パーソナルコンピュータ１により実現されるものとして説明しているが、その他の映像を表示する電子機器により実現することが可能である。例えば、テレビ、携帯電話機、光ディスクプレーヤ、カーナビゲーション等において実現可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ 第１の映像データと前記第１の映像データと合成されて表示される第２の映像データとを含む映像コンテンツデータから前記第１の映像データと前記第２の映像データとを抽出するデータ抽出手段と、
前記映像コンテンツデータを二次元映像として表示させる第１表示モードと三次元映像として表示させる第２表示モードの何れかに設定するモード設定手段と、
前記第２表示モードが設定され、かつ前記第２の映像データが抽出された場合に、前記第１の映像データに応じた二次元映像用の第１の映像信号を生成し、前記第２表示モードが設定され、かつ前記第２の映像データが抽出されない場合に、前記第１の映像データに応じた三次元映像用の第２の映像信号を生成する第１の映像信号生成手段と、
前記第２の映像データに応じた第３の映像信号を生成する第２の映像信号生成手段と、
前記第１の映像信号または前記第２の映像信号と、前記第３の映像信号とを合成する合成手段と、
前記合成手段により合成された映像信号に応じた画面を表示する表示手段と
を具備する電子機器。
［２］ 前記第１の映像信号生成手段は、
前記第１の映像データをデコードして前記第１の映像信号を出力するデコーダと、
前記第１の映像信号をもとにして三次元映像用の視差画像を作成して、前記視差画像に応じた前記第２の映像信号を出力する変換手段とを含む［１］記載の電子機器。
［３］ 前記第２の映像データの画面中の表示位置は、前記第１の映像データにより表示される二次元映像と相対的な位置関係が決められている［１］記載の電子機器。
［４］ 第１の映像データと前記第１の映像データと合成されて表示される第２の映像データとを含む映像コンテンツデータから前記第１の映像データと前記第２の映像データとを抽出し、
前記映像コンテンツデータを二次元映像として表示させる第１表示モードと三次元映像として表示させる第２表示モードの何れかに設定し、
前記第２表示モードが設定され、かつ前記第２の映像データが抽出された場合に、前記第１の映像データに応じた二次元映像用の第１の映像信号を生成し、前記第２表示モードが設定され、かつ前記第２の映像データが抽出されない場合に、前記第１の映像データに応じた三次元映像用の第２の映像信号を生成し、
前記第２の映像データに応じた第３の映像信号を生成し、
前記第１の映像信号または前記第２の映像信号と、前記第３の映像信号とを合成し、
前記合成手段により合成された映像信号に応じた画面を表示する画像処理方法。
［５］ コンピュータに、
第１の映像データと前記第１の映像データと合成されて表示される第２の映像データとを含む映像コンテンツデータから前記第１の映像データと前記第２の映像データとを抽出する手順、
前記映像コンテンツデータを二次元映像として表示させる第１表示モードと三次元映像として表示させる第２表示モードの何れかに設定する手順、
前記第２表示モードが設定され、かつ前記第２の映像データが抽出された場合に、前記第１の映像データに応じた二次元映像用の第１の映像信号を生成し、前記第２表示モードが設定され、かつ前記第２の映像データが抽出されない場合に、前記第１の映像データに応じた三次元映像用の第２の映像信号を生成する手順、
前記第２の映像データに応じた第３の映像信号を生成する手順、
前記第１の映像信号または前記第２の映像信号と、前記第３の映像信号とを合成する手順、
前記合成手段により合成された映像信号に応じた画面を表示する手順を実行させるための画像処理プログラム。

１３Ｂ…映像コンテンツ再生アプリケーションプログラム、５１…映像コンテンツデータ、５２…入力装置、１００…再生制御部、１００ａ…モード設定部、１０１…データ抽出部、１０２…映像信号生成部、１０２ａ…デコーダ、１０２ｂ…２Ｄｔｏ３Ｄ変換部、１０３…メニュー画像生成部、１０５…入力制御部、１０６…メニュー制御部、１０９…画像合成部、１１０…表示部。

Claims (6)

1. 第１の映像データと、前記第１の映像データをもとに表示される二次元映像による画面中での相対的な表示の位置関係が決められており、入力装置に対するユーザ操作に応じて表示位置が変更される第２の映像データとを二次元映像用の映像コンテンツデータから抽出するデータ抽出手段と、
   前記映像コンテンツデータを二次元映像として表示させる第１表示モードと三次元映像として表示させる第２表示モードの何れかに設定するモード設定手段と、
   前記第２表示モードが設定され、かつ前記第２の映像データが抽出された場合に、前記第１の映像データに応じた二次元映像用の第１の映像信号を生成し、前記第２表示モードが設定され、かつ前記第２の映像データが抽出されない場合に、前記第１の映像データをもとに三次元映像用の視差画像を表示するための第２の映像信号を生成する第１の映像信号生成手段と、
   前記入力装置に対するユーザ操作に応じて、前記画面中における前記第２の映像データの表示位置を変更するように、前記第２の映像データに応じた二次元映像用の第３の映像信号を生成する第２の映像信号生成手段と、
   前記第１の映像信号と前記第３の映像信号とを合成する合成手段と、
   前記合成手段により合成された映像信号または前記第２の映像信号に応じた画面を表示する表示手段と
   を具備する電子機器。
2. 前記第１の映像信号生成手段は、
   前記第１の映像データをデコードして前記第１の映像信号を出力するデコーダと、
   前記第１の映像信号をもとにして三次元映像用の前記視差画像を作成して、前記視差画像に応じた前記第２の映像信号を出力する変換手段とを含む請求項１記載の電子機器。
3. 第１の映像データと、前記第１の映像データをもとに表示される二次元映像による画面中での相対的な表示の位置関係が決められており、入力装置に対するユーザ操作に応じて表示位置が変更される第２の映像データとを二次元映像用の映像コンテンツデータから抽出し、
   前記映像コンテンツデータを二次元映像として表示させる第１表示モードと三次元映像として表示させる第２表示モードの何れかに設定し、
   前記第２表示モードが設定され、かつ前記第２の映像データが抽出された場合に、前記第１の映像データに応じた二次元映像用の第１の映像信号を生成し、前記第２表示モードが設定され、かつ前記第２の映像データが抽出されない場合に、前記第１の映像データをもとに三次元映像用の視差画像を表示するための第２の映像信号を生成し、
   前記入力装置に対するユーザ操作に応じて、前記画面中における前記第２の映像データの表示位置を変更するように、前記第２の映像データに応じた二次元映像用の第３の映像信号を生成し、
   前記第１の映像信号と前記第３の映像信号とを合成し、
   前記合成手段により合成された映像信号または前記第２の映像信号に応じた画面を表示する画像処理方法。
4. さらに、
   前記第１の映像データをデコードして前記第１の映像信号を出力し、
   前記第１の映像信号をもとにして三次元映像用の前記視差画像を作成し、
   前記視差画像に応じた前記第２の映像信号を出力する請求項３記載の画像処理方法。
5. コンピュータに、
   第１の映像データと、前記第１の映像データをもとに表示される二次元映像による画面中での相対的な表示の位置関係が決められており、入力装置に対するユーザ操作に応じて表示位置が変更される第２の映像データとを二次元映像用の映像コンテンツデータから抽出する手順、
   前記映像コンテンツデータを二次元映像として表示させる第１表示モードと三次元映像として表示させる第２表示モードの何れかに設定する手順、
   前記第２表示モードが設定され、かつ前記第２の映像データが抽出された場合に、前記第１の映像データに応じた二次元映像用の第１の映像信号を生成し、前記第２表示モードが設定され、かつ前記第２の映像データが抽出されない場合に、前記第１の映像データをもとに三次元映像用の視差画像を表示するための第２の映像信号を生成する手順、
   前記入力装置に対するユーザ操作に応じて、前記画面中における前記第２の映像データの表示位置を変更するように、前記第２の映像データに応じた二次元映像用の第３の映像信号を生成する手順、
   前記第１の映像信号と前記第３の映像信号とを合成する手順、
   前記合成手段により合成された映像信号または前記第２の映像信号に応じた画面を表示する手順を実行させるための画像処理プログラム。
6. コンピュータに、さらに、
   前記第１の映像データをデコードして前記第１の映像信号を出力する手順、
   前記第１の映像信号をもとにして三次元映像用の前記視差画像を作成する手順、
   前記視差画像に応じた前記第２の映像信号を出力する手順を実行させるための請求項５記載の画像処理プログラム。

Images