JP5143856B2

JP5143856B2 - ３次元画像表示装置、および３次元画像表示方法

Info

Publication number: JP5143856B2
Application number: JP2010095336A
Authority: JP
Inventors: 敬志畑田; 真治醍醐
Original assignee: Sony Interactive Entertainment Inc; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2010-04-16
Filing date: 2010-04-16
Publication date: 2013-02-13
Anticipated expiration: 2030-04-16
Also published as: CN102223549A; US9204126B2; JP2011228859A; US20110254844A1; KR101275542B1; KR20110115962A; EP2378781A3; EP2378781B1; EP2378781A2

Description

本発明は、３次元画像表示装置および３次元画像表示方法に関する。

近年、民生用テレビの高性能化が進み、奥行きを持った立体映像を提示することが可能な３次元テレビが普及してきている。従来の２次元の映像を表示するテレビとは異なり、３次元テレビが提示する映像は、前後方向に奥行きを持った立体的な映像となる。

ＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）による画質調整のメニューや３次元テレビの制御システムのメニュー等は、再生中の立体的な映像の上に被せて表示する必要がある。立体的な映像を観察するユーザは、その映像の奥行きに応じて目の焦点を調節する必要があるため、これらの制御メニューを提示する位置によってはユーザに無理な視点調整を強いることも起こり得る。特に、立体映像の３次元的な位置関係を無視してこれらの制御メニューを提示すると、制御メニューの視認性が悪化する場合もある。

本発明はこのような状況を鑑みてなされたものであり、その目的は３次元テレビにおいて制御メニューの視認性を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様は３次元画像表示装置である。この装置は、仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力する３次元コンテンツ再生部と、制御メニューを表示すべき旨の割込要求を受け付ける割込要求受付部と、前記割込要求受付部が割込要求を取得することを契機として、前記制御メニューのオブジェクトを前記仮想的な３次元空間における視点側から奥行き方向に移動させながら視差をもたせて描画した前記制御メニューのオブジェクトの画像を、前記制御メニューのオブジェクトと３次元空間のオブジェクトとの位置関係に依存せずに、既に描画された３次元空間のオブジェクトの画像の上に上書きする制御メニュー出力部とを含む。

本発明の別の態様も３次元画像表示装置である。この装置は、仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力する３次元コンテンツ再生部と、制御メニューを表示すべき旨の割込要求を受け付ける割込要求受付部と、前記割込要求受付部が割込要求を取得することを契機として、前記画像バッファに格納されている前記第１の視差画像と前記第２の視差画像とのいずれか一方の画像バッファを他方の画像バッファに複写するバッファ複写部と、前記割込要求受付部が割込要求を取得することを契機として、前記制御メニューのオブジェクトと既に描画されているオブジェクトとの位置関係に依らず、既に描画されているオブジェクトの表示領域の上に前記制御メニューのオブジェクトの画像を上書きする制御メニュー出力部とを含む。

本発明のさらに別の態様も３次元画像表示装置である。この装置は、仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力する３次元コンテンツ再生部と、制御メニューを表示すべき旨の割込要求を受け付ける割込要求受付部と、前記割込要求受付部が割込要求を取得することを契機として、前記３次元コンテンツ再生部が出力した３次元コンテンツのうち、前記仮想的な３次元空間において最も視点側に位置するコンテンツの位置座標を取得する最正面座標取得部と、前記割込要求受付部が割込要求を取得することを契機として、前記最正面座標取得部が取得した位置座標よりもさらに視点側に位置する前記制御メニューのオブジェクトの画像を前記画像バッファに出力する制御メニュー出力部とを含む。

本発明のさらに別の態様は、３次元画像表示方法である。この方法は、仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力するステップと、制御メニューを表示すべき旨の割込要求を受け付けるステップと、割込要求を取得することを契機として、前記制御メニューのオブジェクトを前記仮想的な３次元空間における視点側から奥行き方向に移動させながら視差をもたせて描画した前記制御メニューのオブジェクトの画像を、前記制御メニューのオブジェクトと３次元空間のオブジェクトとの位置関係に依存せずに、既に描画された３次元空間のオブジェクトの画像の上に上書きするステップとをプロセッサに実行させる。

本発明のさらに別の態様も、３次元画像表示方法である。この方法は、仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力するステップと、制御メニューを表示すべき旨の割込要求を受け付けるステップと、割込要求を取得することを契機として、前記画像バッファに格納されている前記第１の視差画像と前記第２の視差画像とのいずれか一方の画像バッファを他方の画像バッファに複写するステップと、割込要求を取得することを契機として、前記制御メニューのオブジェクトと既に描画されているオブジェクトとの位置関係に依らず、既に描画されているオブジェクトの表示領域の上に前記制御メニューのオブジェクトの画像を上書きするステップとをプロセッサに実行させる。

本発明のさらに別の態様も、３次元画像表示方法である。この方法は、仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力するステップと、制御メニューを表示すべき旨の割込要求を受け付けるステップと、割込要求を取得することを契機として、前記画像バッファに出力された３次元コンテンツのうち、前記仮想的な３次元空間において最も視点側に位置するコンテンツの位置座標を取得し、取得した位置座標よりもさらに視点側に位置する前記制御メニューのオブジェクトの画像を前記画像バッファに出力するステップとをプロセッサに実行させる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、３次元テレビにおいて制御メニューの視認性を向上させる技術を提供することができる。

３次元空間における物体とその視差画像との関係を示す図である。視差画像を利用したシャッター式の３次元テレビシステムの概観を示す図である。シャッターメガネのシャッターのタイミングと、３次元テレビにおける視差画像の表示のタイミングとの関係を示す図である。視差の計算に要するパラメータを説明する図である。制御メニューのオブジェクトと他のオブジェクトとの仮想的な３次元空間における位置関係を示す図である。図６（ａ）は、図５に示す制御メニューのオブジェクトを、他のオブジェクトとの位置関係にしたがって表示する場合を示す図である。図６（ｂ）は、実施の形態１に係る３次元画像表示装置における制御メニューの表示例を示す図である。実施の形態１に係る３次元画像表示装置の機能構成を模式的に示す図である。実施の形態１に係る３次元画像表示装置における画像表示の処理手順を示すフローチャートである。実施の形態２に係る３次元画像表示装置の機能構成を模式的に示す図である。図１０（ａ）は、左目用の視差画像の表示例を示す図である。図１０（ｂ）は、右目用の視差画像の表示例を示す図である。図１０（ｃ）は、実施の形態２に係る３次元画像表示装置における制御メニューの左目用の表示例を示す図である。図１０（ｄ）は、実施の形態２に係る３次元画像表示装置における制御メニューの右目用の表示例を示す図である。実施の形態２に係る３次元画像表示における画像表示の処理手順を示すフローチャートである。実施の形態３に係る３次元画像表示装置の機能構成を模式的に示す図である。図１３（ａ）は、実施の形態３に係る３次元画像表示装置における制御メニューのオブジェクトと他のオブジェクトとの、３次元空間における位置関係を示す図である。図１３（ｂ）は、実施の形態３に係る３次元画像表示装置における制御メニューの表示例を示す図である。実施の形態３に係る３次元画像表示における画像表示の処理手順を示すフローチャートである。

本発明の実施の形態を説明するに先立って、前提となる技術について述べる。

（前提技術）
図１は、３次元空間における物体とその視差画像との関係を示す図である。３次元空間において、オブジェクト２００と総称されるオブジェクト２００ａ、オブジェクト２００ｂ、およびオブジェクト２００ｃの３つのオブジェクト２００を、カメラ２０２と総称される、オブジェクト２００に対して左側から撮像する左目用カメラ２０２ａと、オブジェクト２００に対して右側から撮像する右目用カメラ２０２ｂとで撮像する。図１においては、左目用カメラ２０２ａで撮像されたオブジェクト２００の映像および右目用カメラ２０２ｂで撮像されたオブジェクト２００の映像は、それぞれ２次元用のモニタ２０４と総称されるモニタ２０４ａおよびモニタ２０４ｂに表示されている。

左目用カメラ２０２ａと右目用カメラ２０２ｂとは、異なる位置からオブジェクト２００を撮像しているため、モニタ２０４ａに写される映像とモニタ２０４ｂに写される映像とではオブジェクト２００の向きが異なる映像となる。このように、３次元空間におけるオブジェクト２００を異なる視点から見た場合の画像を「視差画像」という。人間の左右の目は１０ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を利用して物体の奥行きを認識しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。

視差画像を利用して、人間に奥行きを持った映像を見せるための３次元テレビには様々な方式があるが、本実施の形態では左目用の視差画像と右目用の視差画像とを交互に時分割で表示するシャッター式の３次元テレビについて説明する。図２は、視差画像を利用したシャッター式の３次元テレビシステム３００の概観を示す図である。３次元テレビシステム３００は、視差画像を投影する３次元テレビ２０６、視差画像を見るために利用するシャッターメガネ２１０、および３次元テレビ２０６とシャッターメガネ２１０との同期を取るメガネ駆動信号発信部２０８を含む。

３次元テレビ２０６は、左目用の視差画像と右目用の視差画像とを交互に時分割で提示する。メガネ駆動信号発信部２０８は、３次元テレビ２０６の視差画像の表示タイミングを赤外線の同期信号として発信する。シャッターメガネ２１０は、メガネ駆動信号発信部２０８部から送信された同期信号を受信するための受信部（図示せず）を備えており、受信した同期信号に応じて左右のレンズにシャッターをかける。シャッターは、例えば既知の液晶シャッターの技術を用いることで実現できる。

具体的には、３次元テレビ２０６が左目用の視差画像を表示する場合、シャッターメガネ２１０はメガネ駆動信号発信部２０８から右目のレンズのシャッターを閉じるべき旨の信号を受信する。シャッターメガネ２１０は、受信した信号をもとに右目のレンズのシャッターを閉じることで、右目に入る映像が遮蔽される。これにより、３次元テレビ２０６が左目用の視差画像を表示する場合、ユーザの左目にのみ左目用の視差画像が投影される。反対に、３次元テレビ２０６が右目用の視差画像を表示する場合、シャッターメガネ２１０が左目のレンズのシャッターを閉じることにより、ユーザの右目にのみ右目用の視差画像が投影される。

図３は、シャッターメガネ２１０のシャッターのタイミングと、３次元テレビ２０６における視差画像の表示のタイミングとの関係を示す図である。左目用視差画像２１２と総称する左目用視差画像２１２ａ、左目用視差画像２１２ｂ、および左目用視差画像２１２ｃと、右目用視差画像２１４と総称する右目用視差画像２１４ａ、右目用視差画像２１４ｂ、右目用視差画像２１４ｃとが、所定の間隔ｔ（例えば１／１２０秒間隔）で交互に表示される。

左目用視差画像２１２ａが表示されているとき、シャッターメガネ２１０の左目のシャッターは開いており、右目用のシャッターは閉じている。図３においては、シャッターメガネ２１０のシャッターが開状態の場合を「○」の記号、閉状態の場合を「×」の記号を用いて表現している。図３に示すように、３次元テレビ２０６の視差画像の表示とシャッターメガネ２１０のシャッターの開閉とを同期してユーザの左目には左目用視差画像２１２を、右目には右目用視差画像２１４を投影することにより、ユーザに奥行き感のある３次元映像を提示することが可能となる。

図４は、視差の計算に要するパラメータを説明する図である。３次元テレビ２０６が表示する仮想的な３次元空間（以下、単に「３次元空間」という。）について、３次元テレビ２０６の表示画面の任意の点（例えば３次元テレビ２０６を設置したときの表示画面の右下の点）を原点とし、表示画面の横方向をｘ軸、縦方向をｙ軸、３次元テレビ２０６の表示画面に対して垂直な方向をｚ軸として座標系を設定する。図４は、３次元テレビ２０６が表示する３次元空間をｙ軸に対して平行な方向から視点から眺めた様子を示している。

３次元空間におけるオブジェクト２００のｚ座標Ｗをもとに、３次元テレビ２０６の表示画面上に反映すべき視差Ｘを計算する。視差の計算に必要なパラメータは以下の３つである。すなわち、３次元空間における左目用カメラ２０２ａおよび右目用カメラ２０２ｂと表示画面との距離Ｄ、人間の両目間隔の平均値ｅ、および３次元テレビ２０６の表示画面のサイズである。ここで、左目用カメラ２０２ａと右目用カメラ２０２ｂとは、３次元空間において人間の両目間隔の平均値ｅだけ離れた位置に設置されるものとする。

上述のパラメータをもとに、まず３次元空間におけるオブジェクト２００のｚ座標Ｗと、３次元空間におけるカメラ２０２の表示画面との距離Ｄとの比率を計算する。その比率と人間の両目間隔の平均値ｅとをもとに、３次元テレビ２０６の表示画面上で視差Ｘを計算する。最後に、３次元テレビ２０６の表示画面のサイズをもとに、視差Ｘを３次元空間における座標系の単位に変換する。なお、オブジェクト２００が３次元テレビ２０６の表示画面に存在する場合には、視差が０となるようにする。この場合、３次元テレビ２０６の表示画面に存在するオブジェクト２００の左目用の視差画像と右目用の視差画像とは同一の画像となる。

以上の技術を前提として、以下実施の形態について説明する。

実施の形態は、３次元テレビ２０６においてゲームや映画等の３次元映像を含むコンテンツを再生中に、コンテンツを再生するシステムの制御メニューを表示するときの表示の仕方に関する。ここで「制御メニュー」とは、コンテンツの再生装置を統括的に制御してコンテンツ等のアプリケーションプログラムを実行するシステムプログラムが、ユーザに提示する情報のことをいう。制御メニューとしては、例えばコンテンツの再生を停止するか否かの選択メニュー、ゲームのコンテンツにおいてユーザがセーブをしようとするときにメモリカードの空き容量が不足している場合にその旨の通知、内蔵電池で動作する携帯型の再生装置の場合には電池の残量が少なくなった旨の通知等、コンテンツの再生内容とは関係せず再生装置の動作に関わる情報があげられる。

（実施の形態１）
実施の形態１の概要を述べる。実施の形態１は、３次元テレビ２０６においてゲームや映画等の３次元映像を含むコンテンツを再生中に制御メニューを表示する場合、３次元空間において制御メニューのオブジェクトを設定し、そのオブジェクトを視点側から奥行き方向に移動させながら描画する。ユーザには、システムメニューが手前から移動しながら３次元空間に入ってきたように見える。

図５は、制御メニューのオブジェクト２１６と他のオブジェクト２００との３次元空間における位置関係を示す図である。図５に示すように、制御メニューのオブジェクト２１６と総称する制御メニューのオブジェクト２１６ａが３次元空間においてオブジェクト２００よりも視点側の位置に登場し、視線方向に移動して制御メニューのオブジェクト２１６ｂの位置まで移動する。３次元空間において視点に置かれたカメラ２０２から見た制御メニューのオブジェクト２１６ｂと他のオブジェクト２００との位置関係は、オブジェクト２００の方が視点側に存在する。

図６（ａ）は、制御メニューのオブジェクト２１６ｂを、他のオブジェクト２００との位置関係にしたがって表示する場合を示す図である。視点を表すカメラ２０２側から見て制御メニューのオブジェクト２１６ｂは他のオブジェクト２００の奥にあるため、制御メニューのオブジェクト２１６ｂはオブジェクト２００に隠れて見えない。

前述したとおり、制御メニューはコンテンツを再生する装置の動作に関わる重要な情報をユーザに提示するために利用される場合が多く、制御メニューのオブジェクト２１６ｂがオブジェクト２００に隠れて見えないとなると不都合が生じうる。そこで、実施の形態１では、制御メニューのオブジェクト２１６と他のオブジェクト２００との位置関係に依存せずに、制御メニューのオブジェクト２１６を他のオブジェクト２００の画像の上に上書きする。

図６（ｂ）は、実施の形態１に係る３次元画像表示装置１００における制御メニューの表示例を示す図である。制御メニューのオブジェクト２１６ａが３次元空間においてオブジェクト２００よりも視点側の位置に登場して、他のオブジェクト２００の奥まで移動したとしても、制御メニューのオブジェクト２１６は他のオブジェクト２００に上書きされる。これにより、ユーザは他のオブジェクト２００との位置関係に依存せずに常に制御メニューのオブジェクト２１６を見ることが可能となる。

３次元空間における制御メニューのオブジェクト２１６と他のオブジェクト２００との位置関係を無視して制御メニューのオブジェクト２１６が描画されると、ユーザは視覚的な違和感を覚える場合もあり得る。図５および図６に示すように、視点を表すカメラ２０２側から見て制御メニューのオブジェクト２１６手前に表示させた後に視線方向に移動させることにより、ユーザは、カメラ２０２を引いて他のオブジェクト２００が撮像されたかのように錯覚する。この錯覚により、制御メニューのオブジェクト２１６と他のオブジェクト２００との位置関係が正確に表示されていなくても、ユーザの視覚的な違和感を低減することが可能となる。

制御メニューのオブジェクト２１６ａの登場位置は、視覚的な違和感が低減するように実験的に定めればよい。また、図５に示すように、３次元テレビ２０６の表示画面と一致する位置まで制御メニューのオブジェクト２１６ｂを移動させることにより、ユーザはシャッターメガネ２１０を外しても制御メニューを明瞭に見ることができる。制御メニューのオブジェクト２１６ｂが３次元テレビ２０６の表示画面に存在すれば、その左目用の視差画像と右目用の視差画像とは同一の画像となるからである。

図７は、実施の形態１に係る３次元画像表示装置１００の機能構成を模式的に示す図である。実施の形態１にかかる３次元画像表示装置１００は、３次元コンテンツ再生部１０、割込要求受付部１２、輝度値制御部１４、制御メニュー出力部１６、および画像バッファ１８を含む。

３次元コンテンツ再生部１０は、３次元空間におけるオブジェクトを異なる視点から見た場合の左目用の視差画像と右目用の視差画像とを含む３次元コンテンツの立体映像（以下、「立体映像」という。）を画像バッファ１８に出力する。このため、画像バッファ１８は、左目用バッファ２６と右目用バッファ２８とを含む。左目用バッファ２６は左目用の視差画像、右目用バッファ２８は右目用の視差画像をそれぞれ格納する。左目用バッファ２６および右目用バッファ２８に格納された視差画像は３次元テレビ２０６の図示しない画像描画部に読み出され、前述のように３次元テレビ２０６の表示画面に交互に表示される。

割込要求受付部１２は、制御メニューを表示すべき旨の割込要求を受け付ける。割込要求は、例えばユーザが３次元画像表示装置１００のコントローラ（図示せず）の所定のボタンを押した場合に発生したり、メモリカードの空き容量が不足している場合等に３次元画像表示装置１００で実行されているオペレーティングシステムが発生させたりする。

制御メニュー出力部１６は、割込要求受付部１２が割込要求を取得することを契機として、制御メニューのオブジェクト２１６を３次元空間における視点側から奥行き方向に移動させながら、３次元空間の他のオブジェクトとの位置関係に依存せずに、既に画像バッファ１８に描画された３次元空間の他のオブジェクトの画像に上書きする。このため、制御メニュー出力部１６は、立体映像生成制御部２０、視差取得部２２、および３次元ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）取得部２４を含む。

立体映像生成制御部２０は、図５および図６に示すように、制御メニューのオブジェクト２１６を３次元空間に設置する。視差取得部２２は、３次元空間に設置された左目用カメラ２０２ａと右目用カメラ２０２ｂとから見た場合の、３次元空間における制御メニューのオブジェクト２１６の視差を計算する。３次元ＣＧ取得部２４は、視差取得部２２が取得した視差をもとに、３次元空間上の制御メニューのオブジェクト２１６を投影して２次元のバッファを生成し、画像バッファ１８に上書きする。

輝度値制御部１４は、割込要求受付部１２が割込要求を取得することを契機として、制御メニューのオブジェクト２１６以外の立体映像の輝度値を下げる。具体的には、３次元コンテンツ再生部１０が出力した視差画像の輝度値を半分にして、画像バッファ１８に格納する。前述したオブジェクト２１６を手前から移動させることによるカメラ２０２を引いて撮像したような錯覚とあいまって、位置関係を無視したことに起因してユーザが受ける視覚的な違和感を低減させうる。他の立体映像に対して制御メニューの視認性を相対的に高めることができる点で効果がある。

３次元コンテンツ再生部１０は、割込要求受付部１２が割込要求を取得することを契機として、再生中のコンテンツを一時停止してもよい。制御メニューのみが動くことから、ユーザが受ける視覚的な違和感をさらに低減させうる点で効果がある。

図７は、実施の形態１に係る３次元画像表示装置１００を実現するための機能構成を示しており、その他の構成は省略している。図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

図８は、実施の形態１に係る３次元画像表示装置１００における画像表示の処理手順を示すフローチャートである。以下フローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば（Ｓ１２のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、例えば（Ｓ１２のＮ）と表示する。本フローチャートにおける処理は、３次元コンテンツ再生部１０が立体映像を再生したときに開始する。

３次元コンテンツ再生部１０は、３次元コンテンツの立体映像を再生する（Ｓ１０）。割込要求受付部１２が割込要求を取得しない場合（Ｓ１２のＮ）、３次元コンテンツ再生部１０は、立体映像の再生を継続する。割込要求受付部１２が割込要求を取得した場合（Ｓ１２のＹ）、輝度値制御部１４は、制御メニューのオブジェクト２１６以外の立体映像の輝度値を抑制する（Ｓ１４）。

立体映像生成制御部２０は、制御メニューのオブジェクト２１６の奥行きを、図５および図６に示す制御メニューのオブジェクト２１６ａの位置に設定することにより初期化する（Ｓ１６）。視差取得部２２は、３次元空間に設置された左目用カメラ２０２ａと右目用カメラ２０２ｂとから見た場合の３次元空間上の制御メニューのオブジェクト２１６の視差を計算して取得する（Ｓ１８）。３次元ＣＧ取得部２４は、視差取得部２２が取得した視差をもとに、３次元空間上の制御メニューのオブジェクト２１６を投影して視差画像を生成する（Ｓ２０）。３次元ＣＧ取得部２４は、生成した制御メニューの視差画像を画像バッファ１８に上書きして出力する（Ｓ２２）。

立体映像生成制御部２０は、３次元空間における制御メニューのオブジェクト２１６の位置を視線方向に所定の距離だけ移動して奥行き情報を更新する（Ｓ２４）。所定の距離は、例えば図５および図６に示す制御メニューのオブジェクト２１６ａと制御メニューのオブジェクト２１６ｂとの間を１０等分した距離である。

制御メニューのオブジェクト２１６の位置が３次元テレビ２０６の表示画面の位置に到達していない間（Ｓ２６のＮ）、制御メニューの視差画像の生成処理（上述のステップＳ１８からステップＳ２４の処理）を繰り返す。立体映像生成制御部２０による制御メニューのオブジェクト２１６の位置の更新の結果、制御メニューのオブジェクト２１６の位置が３次元テレビ２０６の表示画面の位置に到達した場合（Ｓ２６のＹ）、本フローチャートにおける処理は終了する。

以上の構成による動作は以下のとおりである。ユーザは実施の形態１に係る３次元表示装置１００を用いて立体映像を再生する。ユーザがコンテンツ再生の一時停止を要求する場合等、何らかの割込要求を割込要求受付部１２が取得すると、制御メニュー出力部１６によって、制御メニューが３次元空間上を手前から奥行き方向に移動しながら表示される。

以上説明したように、実施の形態１によれば制御メニューを他のオブジェクト２００に上書きして表示することにより、ユーザは制御メニューをいつでも見ることが可能となる。制御メニューを表示する際、制御メニューが３次元空間上を手前から奥行き方向に移動しながら表示することにより、制御メニューのオブジェクト２１６と他のオブジェクト２００との位置関係に依存せずに制御メニューを表示したとしても、錯覚により制御メニューの視認性が向上する。また、３次元空間上における３次元テレビ２０６の表示画面の位置において制御メニューを最終的に表示することにより、ユーザはシャッターメガネ２１０を装着しなくても、制御メニューを明瞭に確認することができる。

（実施の形態２）
実施の形態２の概要を述べる。実施の形態２は、３次元テレビ２０６においてゲームや映画等の立体映像を含むコンテンツを再生中に制御メニューを表示する場合、右目用の視差画像を左目用の視差画像で代替して表示し、その上に制御メニューを上書きして表示する。ユーザには、左右の目に入る映像に視差がなくなるため制御メニューを含む映像全体の視認性が向上する。

図９は、実施の形態２に係る３次元画像表示装置１００の機能構成を模式的に示す図である。実施の形態２に係る３次元画像表示装置１００は、３次元コンテンツ再生部１０、割込要求受付部１２、輝度値制御部１４、バッファ複写部３０、制御メニュー出力部１６、および画像バッファ１８を含む。画像バッファ１８はさらに、左目用バッファ２６と右目用バッファ２８とを含む。以下、実施の形態１と共通する部分については適宜説明を省略する。

バッファ複写部３０は、割込要求受付部１２が割込要求を取得することを契機として、左目用バッファ２６に格納されている左目用の視差画像を右目用バッファ２８に格納されている右目用の視差画像に上書きして複写する。制御メニュー出力部１６は、割込要求受付部１２が割込要求を取得することを契機として、左目用バッファ２６および右目用バッファ２８に格納されている左目用の視差画像の表示領域の上に制御メニューのオブジェクト２１６の画像を上書きする。

図９は、実施の形態２に係る３次元画像表示装置１００を実現するための機能構成を示しており、その他の構成は省略している。図９において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

図１０（ａ）は、左目用バッファ２６に格納されている左目用の視差画像を例示する図である。図１０（ｂ）は、右目用バッファ２８に格納されている右目用の視差画像を例示する図である。図１０（ａ）および図１０（ｂ）に示すように、割込要求受付部１２が割込要求を受け付ける前は、左目用の視差画像と右目用の視差画像とは、異なる角度から見た画像となっている。

割込要求受付部１２が割込要求を受け付けると、バッファ複写部３０は、左目用バッファ２６に格納されている左目用の視差画像を右目用バッファ２８に格納されている右目用の視差画像に上書きし、制御メニュー出力部１６は、左目用バッファ２６および右目用バッファ２８の表示領域の上に制御メニューのオブジェクト２１６の画像を上書きする。

図１０（ｃ）は、実施の形態２に係る３次元画像表示装置１００における制御メニューの左目用の表示例を示す図である。また、図１０（ｄ）は、実施の形態２に係る３次元画像表示装置１００における制御メニューの右目用の表示例を示す図である。図１０（ａ）および図１０（ｂ）に示すように、左目用バッファ２６に格納される左目用の視差画像と右目用バッファ２８に格納される右目用の視差画像は同一の画像となる。

バッファ複写部３０が左目用バッファ２６に格納されている左目用の視差画像を右目用バッファ２８に格納されている右目用の視差画像に上書きすることにより、ユーザの左目および右目には左目用の視差画像が投影される。このため、ユーザの目には奥行き情報が失われた通常の２次元の映像として写る。奥行き情報のない通常の２次元の映像に制御メニューを上書きした場合、奥行きのある立体映像上の所定の位置に制御メニューを上書きする場合と比較して、ユーザは目の焦点調節をしなくてすむため、制御メニューの視認性が向上する点で効果がある。この場合、ユーザはシャッターメガネ２１０を外しても、制御メニューを含む映像全体を明瞭に確認することができる。

なお、上記の説明では、バッファ複写部３０が左目用バッファ２６に格納されている左目用の視差画像を、右目用バッファ２８に格納されている右目用の視差画像に上書きする場合について説明したが、バッファ複写部３０は、右目用バッファ２８に格納されている右目用の視差画像を左目用バッファ２６に格納されている左目用の視差画像に上書きしてもよい。ユーザの両目に投影される映像が同一になればよく、画像バッファ１８のいずれか一方の画像バッファに格納されている画像を他方の画像バッファに複写するようにすればよい。

図１１は、実施の形態２に係る３次元画像表示装置１００における画像表示の処理手順を示すフローチャートである。本フローチャートにおける処理は、３次元コンテンツ再生部１０が立体映像を再生したときに開始する。

バッファ複写部３０は、左目用バッファ２６に格納されている左目用の視差画像を右目用バッファ２８に格納されている右目用の視差画像に上書きして複写する（Ｓ３０）。制御メニュー出力部１６は、左目用バッファ２６および右目用バッファ２８の表示領域の上に制御メニューのオブジェクト２１６の画像を上書きすることにより制御メニューを表示する（Ｓ３２）。制御メニュー出力部１６が制御メニューを出力すると、本フローチャートにおける処理は終了する。

以上の構成による動作は以下の通りである。ユーザは実施の形態２に係る３次元表示装置１００を用いて立体映像を再生する。ユーザがコンテンツ再生の一時停止を要求する場合等、何らかの割込要求を割込要求受付部１２が取得すると、バッファ複写部３０が左目用バッファ２６に格納されている左目用の視差画像を右目用バッファ２８に格納されている右目用の視差画像に上書きして複写することにより、ユーザには視差のない画像が提示される。制御メニュー出力部１６は、その視差のない画像の上に制御メニューをさらに上書きする。

以上説明したように、実施の形態２によれば、ユーザに提示される左目用の画像と右目用の画像との視差がなくなるため、制御メニューの視認性を向上することができる。また、ユーザはシャッターメガネ２１０を装着しなくても、制御メニューを明瞭に確認することができる。

（実施の形態３）
実施の形態３の概要を述べる。実施の形態３は、３次元テレビ２０６においてゲームや映画等の立体映像を含むコンテンツを再生中に制御メニューを表示する場合、再生中のコンテンツの奥行きを取得し、最も視点側に位置するコンテンツよりもさらに視点側に制御メニューを表示する。表示対象である制御メニューのオブジェクト２１６と他のオブジェクト２００との３次元空間における位置関係に矛盾がないため、制御メニューを見るユーザにとって視覚的な違和感がない。

図１２は、実施の形態３に係る３次元画像表示装置１００の機能構成を模式的に示す図である。実施の形態３に係る３次元画像表示装置１００は、３次元コンテンツ再生部１０、割込要求受付部１２、輝度値制御部１４、最正面座標取得部３２、奥行きバッファ３４、制御メニュー出力部１６、および画像バッファ１８を含む。画像バッファ１８はさらに、左目用バッファ２６と右目用バッファ２８とを含む。以下、実施の形態１または実施の形態２と共通する部分については適宜説明を省略する。

奥行きバッファ３４は、３次元コンテンツ再生部１０から、再生中の立体映像の奥行き情報を取得して格納する。ここで「立体映像の奥行き情報」とは、３次元空間に配置されたオブジェクト２００を投影して２次元の画像を生成した場合の、２次元の画像の各画素に対応する３次元空間の奥行き方向の座標である。具体的には、２次元の画像の各画素に対応する図４におけるｚ軸の座標である。このため、奥行きバッファは「ｚバッファ」と呼ばれることもある。

最正面座標取得部３２は、割込要求受付部１２が割込要求を取得することを契機として奥行きバッファ３４を参照し、３次元コンテンツ再生部１０が出力した３次元コンテンツのオブジェクト２００のうち、３次元空間において最も視点側に位置するオブジェクト２００の位置座標（以下、「最近傍点座標」という。）を取得する。

制御メニュー出力部１６は、割込要求受付部１２が割込要求を取得することを契機として、最正面座標取得部３２が取得した最近傍点座標よりもさらに視点側に制御メニューのオブジェクト２１６の画像を画像バッファ１８に出力する。

図１２は、実施の形態３に係る３次元画像表示装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

図１３（ａ）は、実施の形態３に係る３次元画像表示装置１００における制御メニューのオブジェクト２１６と他のオブジェクト２００との、３次元空間における位置関係を示す図である。

最正面座標取得部３２は、割込要求受付部１２が割込要求を取得することを契機として、３次元空間に存在するオブジェクト２００の奥行き情報を格納する奥行きバッファ３４を参照し、最近傍点座標（図１３（ａ）における座標Ｍ）を取得する。制御メニュー出力部１６は、割込要求受付部１２が割込要求を取得することを契機として、最近傍点座標Ｍよりもさらに視点側（図１３（ａ）における座標Ｍ＋α）に、制御メニューのオブジェクト２１６の画像を画像バッファ１８に出力する。

図１３（ｂ）は、実施の形態３に係る３次元画像表示装置１００における制御メニューの表示例を示す図である。図１３（ａ）に示すように、制御メニューのオブジェクト２１６は他のオブジェクト２００よりもさらに視点側に位置するため、制御メニューのオブジェクト２１６の画像は最も視点側に表示される。

図１４は、実施の形態３に係る３次元画像表示における画像表示の処理手順を示すフローチャートである。本フローチャートにおける処理は、３次元コンテンツ再生部１０が立体映像を再生したときに開始する。

最正面座標取得部３２は、奥行きバッファ３４を参照して最近傍点座標を取得する（Ｓ３４）。制御メニュー出力部１６は、最正面座標取得部３２が取得した最近傍点座標よりもさらに視点側に制御メニューのオブジェクト２１６の画像を画像バッファ１８に出力する（Ｓ３６）。

以上の構成による動作は以下のとおりである。ユーザは実施の形態３に係る３次元表示装置１００を用いて立体映像を再生する。ユーザがコンテンツ再生の一時停止を要求する場合等、何らかの割込要求を割込要求受付部１２が取得すると、最正面座標取得部３２が奥行きバッファ３４を参照して最近傍点座標を取得し、制御メニュー出力部１６が最近傍点座標よりもさらに視点側に制御メニューの画像を画像バッファ１８に出力する。

以上説明したように、実施の形態３によれば、ユーザから見て３次元空間上で最も視点側の位置に制御メニューが提示されるため、３次元空間上の位置関係に矛盾がなく、制御メニューの視認性が向上する。

以上、実施の形態１、実施の形態２、および実施の形態３を説明した。これらの実施の形態の任意の組み合わせもまた、本発明の実施の形態として有用である。

例えば、実施の形態１または実施の形態３に実施の形態２を組み合わせ、さらにシャッターメガネ２１０に図示しない着脱の有無を検知するセンサを取り付けることにより、ユーザがシャッターメガネ２１０を外したことを契機として左右の視差画像を同一とするようにした場合、実施の形態１または実施の形態３の効果の和に加え、さらにシャッターメガネ２１０の着脱状態に応じた映像の提供が可能となるという効果がある。すなわち、ユーザがシャッターメガネ２１０を装着しているときは、ユーザの左右の目に適切な視差画像を投影することによって立体映像を再生する。ユーザがシャッターメガネ２１０を装着していないときは、ユーザには視差のない画像を提示する。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の説明ではシャッター方式の３次元テレビを前提として説明したが、３次元テレビの方式はこれに限らず、例えば偏光を用いた方式やヘッドマウントディスプレイを用いた方式など、どのような方式でもよい。

１０３次元コンテンツ再生部、１２割込要求受付部、１４輝度値制御部、１６制御メニュー出力部、１８画像バッファ、２０立体映像生成制御部、２２視差取得部、２４３次元ＣＧ取得部、２６左目用バッファ、２８右目用バッファ、３０バッファ複写部、３２最正面座標取得部、３４奥行きバッファ、１００３次元画像表示装置、２０６３次元テレビ、２０８メガネ駆動信号発信部、２１０シャッターメガネ、３００３次元テレビシステム。

Claims

仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力する３次元コンテンツ再生部と、
制御メニューを表示すべき旨の割込要求を受け付ける割込要求受付部と、
前記割込要求受付部が割込要求を取得することを契機として、前記制御メニューのオブジェクトを前記仮想的な３次元空間における視点側から奥行き方向に移動させながら視差をもたせて描画した前記制御メニューのオブジェクトの画像を、前記制御メニューのオブジェクトと３次元空間のオブジェクトとの位置関係に依存せずに、既に描画された３次元空間のオブジェクトの画像の上に上書きする制御メニュー出力部とを含むことを特徴とする３次元画像表示装置。
前記仮想的な３次元空間は、前記第１の視差画像と前記第２の視差画像との視差がなくなる平面が映像を表示する表示装置の画面となることを仮定するものであり、
前記制御メニュー出力部は、前記第１の視差画像と前記第２の視差画像との視差がなくなる平面よりも視点側から当該平面に至るまで前記制御メニューのオブジェクトを移動させながら視差をもたせて描画した前記制御メニューのオブジェクトの画像を出力することを特徴とする請求項１に記載の３次元画像表示装置。
前記割込要求受付部が割込要求を取得することを契機として、前記３次元コンテンツの立体映像の輝度値を下げる輝度値制御部をさらに含むことを特徴とする請求項１または２に記載の３次元画像表示装置。
仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力するステップと、
制御メニューを表示すべき旨の割込要求を受け付けるステップと、
割込要求を取得することを契機として、前記制御メニューのオブジェクトを前記仮想的な３次元空間における視点側から奥行き方向に移動させながら視差をもたせて描画した前記制御メニューのオブジェクトの画像を、前記制御メニューのオブジェクトと３次元空間のオブジェクトとの位置関係に依存せずに、既に描画された３次元空間のオブジェクトの画像の上に上書きするステップとをプロセッサに実行させることを特徴とする３次元画像表示方法。
仮想的な３次元空間におけるオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元コンテンツの立体映像を画像バッファに出力する機能と、
制御メニューを表示すべき旨の割込要求を受け付ける機能と、
割込要求を取得することを契機として、前記制御メニューのオブジェクトを前記仮想的な３次元空間における視点側から奥行き方向に移動させながら視差をもたせて描画した前記制御メニューのオブジェクトの画像を、前記制御メニューのオブジェクトと３次元空間のオブジェクトとの位置関係に依存せずに、既に描画された３次元空間のオブジェクトの画像の上に上書きする機能とをコンピュータに実現させることを特徴とするプログラム。