JP5349658B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明の実施形態は画像情報を処理する情報処理装置、情報処理方法及びプログラムに関する。

近年、テレビジョン受像機等の映像表示機器において３次元映像を表示可能とする種々の技術が実用化されているが、パーソナルコンピュータ等の情報処理装置においても３次元映像を表示可能な機器が開発されている。このような映像表示装置では、例えば、両眼視差に基づく左眼用映像と右眼用映像とを用いて、ユーザに３次元映像（立体映像）を知覚させている。情報処理装置は種々のアプリケーションを実行するので、アプリケーション、または表示するコンテンツによっては３次元表示が不可能な場合、あるいは２次元表示の方が適切な場合がある。また、小型のポータブルな情報処理装置は、操作時の向きによっては３次元映像を視聴しづらい場合がある。そのため、情報処理装置で常時３次元表示するように設計するのは適当ではない場合がある。

特開２０１０−１０８２０３号公報

従来の情報処理装置は場合によって２次元表示と３次元表示を使い分けたいという課題があった。

本発明の目的は２次元表示と３次元表示を切換えることができる情報処理装置、情報処理方法及びプログラムを提供することである。

実施形態によれば、情報処理装置は表示部と、検出器と、制御部とを具備する。表示部は２次元表示または３次元表示が可能である。検出器は表示部が水平状態であるか垂直状態であるかを検出する。制御部は実行するアプリケーションが所定のアプリケーションであるか否かを判別する機能を含み、表示部が水平状態であることを検出器が検出すると、表示部を２次元表示に設定し、所定のアプリケーションの実行中は、検出器の検出結果に関わらず、表示部を３次元表示に設定する。

一実施形態に係る情報処理装置の外観を示す斜視図。 一実施形態の情報処理ユニットのシステム構成を示すブロック図。 図２の映像再生アプリケーションのソフトウェア構成を示すブロック図。 一実施形態の表示態様の一例を示す図。 一実施形態の表示態様の他の例を示す図。 他の実施形態に係る情報処理装置の外観を示す斜視図。

以下、実施の形態について図面を参照して説明する。

図１は一実施形態に係る情報処理装置の外観を示す斜視図である。情報処理装置は例えばノートブックタイプのパーソナルコンピュータのような外観であるが、通常のパーソナルコンピュータとは異なり、ハードウェアキーボードを備えていない。情報処理装置はそれぞれＬＣＤ（liquid crystal display）パネルからなる第１表示部１４、第２表示部１６を含む第１ユニット１０、第２ユニット１２とを具備する。第１表示部１４、第２表示部１６はタッチパネル機能も有する。第１表示部１４、第２表示部１６にキーボード画像を表示することにより、第１表示部１４、第２表示部１６をソフトウェアキーボードとすることが出来る。

第１表示部１４、第２表示部１６はＬＣＤパネルの前面に３次元表示のためのレンチキュラーレンズを有する。レンチキュラーレンズは２次元表示の際は解像度を低下させ、文字等の輪郭をギザギザとすることがある。これを防止するためには、レンチキュラーレンズに電極を設け、所定の電圧を電極に印加すると、レンズ効果を生じないように制御することが考えられる。しかし、表示部の解像度が高く２次元表示に支障がなければ、通常のレンチキュラーレンズを設けてもよい。

第２ユニット１２は第１ユニット１０の上面が露出される開放位置と第１ユニット１０の上面を覆う閉塞位置との間を回動自在に第１ユニット１０に取り付けられている。例えば、ノートブックタイプのパーソナルコンピュータとして情報処理装置を使用する際は、第１ユニット１０の第１表示部１４をソフトウェアキーボードとして使用し、第２ユニット１２の第２表示部１６のみに文字、画像を表示する。あるいは、電子書籍リーダとして情報処理装置を使用する際は、第１表示部１４、第２表示部１６ともに文字、画像を表示する。第１ユニット１２の筐体には電源ボタン２０が設けられる。第１ユニット１０、第２ユニット１２の筐体には２次元／３次元切替ボタン１８、１９が設けられる。

情報処理装置のメインユニットである情報処理部は第１ユニット１０、第２ユニット１２にそれぞれ設けても良いし、いずれか一方のみに設けても良い。一例として、図２に第１ユニット１０、第２ユニット１２にそれぞれ設けられる情報処理部を示す。

情報処理部は、ＣＰＵ２０、ノースブリッジ２２、主メモリ２４、グラフィックスコントローラ２６、ビデオメモリ（ＶＲＡＭ）２８、ＬＣＤ３０（図１の表示部１４、１６）、電極付レンチキュラーレンズ３２、サウスブリッジ３６、ＢＩＯＳ−ＲＯＭ３８、ソリッドステートドライブ（ＳＳＤ）４０、レンズコントローラ４２、加速度センサ４４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）４６（タッチパネルコントローラ４８を含む）、キーボード（ＫＢ）ボタン５０、ホームボタン５２、電源ボタン２０（第１ユニット１０の情報処理部の場合）、２次元／３次元切替ボタン１８、１９、振動モジュール５６等を備えている。ＬＣＤ３０はタッチパネル３４も含む。

ＳＳＤ４０はハードディスク装置に代わる記憶装置であり、ＣＰＵ２０はＳＳＤ４０から主メモリ２４にロードされるオペレーティングシステム（ＯＳ）２４Ｄ及びアプリケーションプログラムを実行する。アプリケーションプログラムは映像再生アプリケーション２４Ａ、ソフトウェアキーボードアプリケーション２４Ｂ、文字入力アプリケーション２４Ｃ等を含む。映像再生アプリケーション２４Ａとソフトウェアキーボードアプリケーション２４Ｂは２次元画像データを３次元画像データに変換する２Ｄ−３Ｄ変換モジュール２５Ａ、２５Ｂを含む。

映像再生アプリケーション２４Ａは映像コンテンツデータを視聴するための機能を有するソフトウェアである。映像再生アプリケーション２４Ａは図示しないＴＶチューナによって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＳＳＤ４０に記録する録画処理、ＳＳＤ４０に記録された放送番組データ／ビデオデータを再生する再生処理、ネットワークを介して受信された映像コンテンツデータを再生する再生処理等を実行する。

２Ｄ−３Ｄ変換モジュール２５Ａ、２５Ｂは３次元映像を視聴するために、映像コンテンツデータに含まれる２次元映像を３次元映像にリアルタイムで変換する。

ＣＰＵ２０はＢＩＯＳ−ＲＯＭ３８に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ２２はＣＰＵ２０のローカルバスとサウスブリッジ３６との間を接続するブリッジデバイスである。ノースブリッジ２２には、主メモリ２４をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ２２はグラフィックスコントローラ２６との通信を実行する機能も有している。

グラフィックスコントローラ２６は第１、第２表示部（ＬＣＤ３０）を制御するデバイスである。グラフィックスコントローラ２６によって生成される表示信号はＬＣＤ３０に送られ、ＬＣＤ３０は表示信号に基づいて映像を表示する。また、グラフィックスコントローラ２６はレンチキュラーレンズ３２にも接続される。

サウスブリッジ３６はＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。サウスブリッジ３６には、ＳＳＤ４０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ３８をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ３６はレンズコントローラ４２及び加速度センサ４４との通信を実行する機能も有している。レンズコントローラ４２は２次元表示の際はレンチキュラーレンズ３２の電極に所定の電圧を印加してレンズ効果を生じないように制御する。

加速度センサ４４は第１ユニット１０、第２ユニット１２の向き（水平状態か垂直状態か）を検出する。表示パネルが水平状態であると、画像の３次元視聴がしづらいので、第１ユニット１０、第２ユニット１２の向きに応じて第１表示部１４、第２表示部１６の表示を２次元表示と３次元表示との間で切替えてもよい。

エンベデッドコントローラ／キーボードコントローラ４６は、電力管理を行うためのエンベデッドコントローラと、ソフトウェアキーボード上のキーボードボタン５０を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。エンベデッドコントローラ／キーボードコントローラ４６は、タッチパネル３４を制御するためのタッチパネルコントローラ４８も含む。エンベデッドコントローラ／キーボードコントローラ４６には、ホームボタン５２、電源ボタン２０も接続される。

振動モジュール５６はソフトウェアキーボード機能のオプションとして設定可能な触覚フィードバック機能のために設けられている。この機能がオンになっていると、ソフトウェアキーボードのいずれかのキーがタッチされると振動モジュール５６が振動する。これにより、キー操作時に第１ユニット１０、第２ユニット１２が振動し、ソフトウェアキーボードの操作感が向上する。そのため、振動モジュール５６は第１ユニット、第２ユニットのいずれか一方の情報処理部に設ければよい。

図３は映像再生アプリケーション２４Ａのソフトウェア構成を示すブロック図である。ビデオデコーダ６２は入力された２次元映像データに対して復号処理を行う。

２次元表示の場合は、ビデオデコーダ６２から出力された映像データは２Ｄ−３Ｄ変換モジュール２５Ａを介さずに、画質調整部７８を介してレンダラ７２に供給される。３次元表示の場合は、ビデオデコーダ６２から出力された映像データは画質調整部７８を介さずに、２Ｄ−３Ｄ変換モジュール２５Ａを介してレンダラ７２に供給される。

２Ｄ−３Ｄ変換モジュール２５Ａでは、ＩＰ変換部６４は復号後の映像データをＩＰ（インターレース／プログレシッブ）変換し、視差画像生成の元となるズレを補正した映像データを生成する。奥行き推定部６６はＩＰ変換部６４から出力されたＩＰ変換後の補正済みの映像データを用いて、該映像データの画像フレームそれぞれを解析することによって、各画像フレームに含まれる画素毎の奥行き位置を推定する。例えば、奥行き推定部６６は画像フレーム間の動きや画像フレーム内の画素値の差分等を用いて、画素毎の奥行き位置を推定する。視差ベクトルマップ生成部６８は推定した画素毎の奥行き位置に基づいて該奥行き位置に対する両眼視差である視差ベクトルマップを生成する。

視差画像生成部７０はＩＰ変換部６４から出力されたＩＰ変換後の補正済みの映像データと視差ベクトルマップ生成部６８から出力された視差ベクトルマップとを用いて、該奥行き位置に３次元画像を表示するための視差を持つ複数の視差画像を生成する。視差画像生成部７０は眼鏡式の３次元表示であれば左眼用画像と右眼用画像の２枚の視差画像を、裸眼式の３次元表示であれば視差数に応じた枚数の視差画像を生成する。視差画像生成部７０の出力がレンダラ７２に供給される。

画質調整部７８は各種の画質調整処理を実行する。画質調整部７８の出力もレンダラ７２に供給される。

レンダラ７２は視差画像生成部７０の出力または画質調整部７８の出力について描画処理を施す。画素配置変換部７４は描画処理された視差画像を２次元表示あるいは３次元表示のための画素配置に変換する。表示ドライバ７６は画素配置変換部７４の出力に基づき、２次元表示処理あるいは３次元表示処理を行う。

ここで、第１ユニット１０、第２ユニット１２の２次元表示・３次元表示処理の切替えについて説明する。

先ず、第１ユニット１０、第２ユニット１２の筐体にはそれぞれ２次元／３次元切替ボタン１８、１９が設けられているので、第１表示部１４、第２表示部１６それぞれの表示をユーザが任意に２次元表示／３次元表示に切替えることができ、ユーザの嗜好に合った映像視聴が実現する。なお、ユーザによる２次元表示／３次元表示の指定のための操作部材は、専用のボタン１８、１９に限らず、後述するソフトウェアキーボードにそのためのキーを設けても良いし、所定のキー操作の組み合わせにより実現しても良い。

次に、ユーザの設定無しで自動的に２次元表示／３次元表示に切替える例を説明する。

第１ユニット１０、第２ユニット１２の情報処理部が実行するアプリケーションの種類に基づいて２次元表示／３次元表示を切替えることができる。例えば、文字編集に関するアプリケーション（例えば、文字入力アプリケーション２４Ｃ）を実行している場合は２次元表示が選択され、画像に関するアプリケーション（例えば画像再生アプリケーション２４Ａ）を実行している場合は３次元表示が選択されるようにしてもよい。あるいは、第１ユニット１０、第２ユニット１２の情報処理部が表示するコンテンツの種類に基づいて２次元表示／３次元表示を切替えることができる。例えば、静止画を表示する場合は２次元表示が選択され、動画を表示する場合は３次元表示が選択されるようにしてもよい。これにより、ユーザの設定無しでアクティブウィンドウのアプリケーションあるいはコンテンツの種類に応じた最適な映像視聴を自動的に実現できる。

図１に示した２画面の情報処理装置においては、種々の使用形態が想定される。通常のノートブック型のＰＣと同じく図４（ａ）に示すように机上に置いて横長の向きで使用する場合は、下側の表示部１４は水平状態であり、画像の３次元視聴がしづらいし、ユーザは主に上側の表示部１６を視認するため、下型のユニットの加速度センサ４４が水平状態を検出すると、下側の表示部１４を２次元表示に設定してもよい。上側の表示部１６はほぼ垂直状態であり、画像の３次元視聴が容易であるし、ユーザは主に上側の表示部１６を視認するため、上側のユニットの加速度センサ４４が水平状態を検出しないと、上側の表示部を３次元表示に設定してもよい。

一方、図４（ｂ）に示すように、両手で保持して縦長の向きで使用する場合は、両表示部１４、１６ともほぼ垂直状態であり、映像の３次元視聴が容易であるし、ユーザは両画面を視認するため、両方とも３次元表示に設定することができる。

このように加速度センサ４４の検出した水平／垂直状態に応じて２次元表示／３次元表示を切替えることにより、ユーザ設定の手間なしに使用形態に合った最適な表示形式で映像視聴が可能である。

また、２画面の情報処理装置においては、ハードウェアキーボードを備えていないので、キー入力を行うために画面にキーボードを表示させるためのソフトウェアキーボードアプリケーション２４Ｂを有する。ソフトウェアキーボードアプリケーションも３次元表示が可能である。なお、ソフトウェアキーボードについては画像が決まっているので、予め視差画像を生成しておくことが可能であるので、図３に示す２Ｄ−３Ｄ変換モジュール２５Ｂは不要とすることもできる。図５（ａ）にソフトウェアキーボードを３次元表示した例を示す。図４（ａ）では下側の表示部１４は２次元表示したが、立体視できるようなソフトウェアキーボードの視差画像を作ることができるので、ソフトウェアキーボードを表示する表示部は加速度センサ４４の検出状態に係らず３次元表示を設定する。

なお、ソフトウェアキーボードを３次元表示させた場合は、図５（ｂ）に示すように、あるキーがタッチされることをタッチパネルコントローラ４８が検出すると、そのキーの表示を押下状態の画像に切り替えて表示することにより、キー入力を分かりやすく表示することが出来るとともに、よりリアルなソフトウェアキーボードの操作感を得ることが出来る。

ソフトウェアキーボードアプリケーションには、オプションとして触覚フィードバック機能が設定可能である。この機能がオンになっていると、ソフトウェアキーボードのいずれかのキーがタッチされると振動モジュール５６が振動する。これにより、キー操作時に第１ユニット１０、第２ユニット１２が振動し、さらにリアルなソフトウェアキーボードの操作感を得ることが出来る。そこで、触覚フィードバック機能と３次元表示機能とを連動させ、ソフトウェアキーボードアプリケーションの触覚フィードバック機能がオンと設定されている場合は、ソフトウェアキーボードを自動的に３次元表示してもよい。

２次元表示、３次元表示の自動設定のいくつかの基準を説明したが、これらの基準のいずれか単独のみに基づいて設定することに限らず、これらの複数の基準の組み合わせに基づいて２次元表示、３次元表示を自動的に設定してもよい。

上述の説明は、第１、第２表示部がそれぞれ第１、第２ユニットに設けられている別々のＬＣＤパネルからなる２画面の情報処理装置に関するが、図６に示すように、１画面の情報処理装置の一つの表示パネルを領域によって第１、第２表示部に分ける例も可能である。図６は、１枚のＬＣＤパネルからなる表示部付きの情報処理装置９２の外観を示す。表示部は図１の場合と同様にＬＣＤパネルの上に電極付きのレンチキュラーレンズが設けられるとともに、タッチパネル機能を備える。表示部は２つの領域８６、８８からなり、それぞれの領域８６、８８が図１の表示部１４、１６と対応する。領域の分割は等分に限らず、それぞれのサイズをアプリケーションによって自由に設定可能としてもよい。情報処理装置９２の筐体には、電源スイッチ９３、２次元／３次元切替ボタン９１、９２が設けられる。２次元／３次元切替ボタン９１、９２は表示領域８６、８８の表示をユーザが設定するための操作部材である。そして、情報処理装置９２の筐体内には図２に示す情報処理部が領域８６、８８毎に設けられる。ただし、加速度センサ４４、振動モジュール５６は領域８６、８８の情報処理部のいずれか一方のみに設けられる。

図６の情報処理装置９２の動作は図１〜図５で説明した２画面の情報処理装置と同じであるので、説明は省略する。図の実施形態においても、２次元／３次元切替ボタン９１、９２等によるユーザの指定により２次元表示／３次元表示を切替えることができ、ユーザの嗜好に合った映像視聴が実現する。また、ユーザの設定無しに、アクティブウィンドウのアプリケーションあるいはコンテンツの種類に応じて、表示パネルの向きに応じて、あるいはソフトウェアキーボードの触覚フィードバック機能の設定に応じて、２次元表示／３次元表示を自動的に切替えることもできる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。例えば、表示部の数は２つに限らず、３つ以上であってもよい。一つの表示部に一つのアプリケーションや処理部が対応している例を説明したが、同一アプリケーションによる表示を部分的に２次元／３次元表示に切替えても良い。また、表示部毎に図２に示す情報処理部が設けられると説明したが、ＣＰＵ２０、主メモリ２４、ＳＳＤ４０、ＢＩＯＳ−ＲＯＭ３８等は共通でもよい。さらに、図１の実施形態においても、図６と同様に一つの表示パネルを領域によって第１、第２表示部に分ける変形例も可能である。また、３次元表示の具体例は視差画像方式に限らず、どのような立体像表示方式も適用可能である。

なお、本実施形態の映像再生処理の手順は全てソフトウェアによって実行することができる。このため、映像再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

１４、１６…表示部、１８…２Ｄ−３Ｄ切替ボタン、２４…主メモリ、２４Ａ…映像再生アプリケーション、２４Ｂ…ソフトウェアキーボードアプリケーション、２４Ｃ…文字入力アプリケーション、２５Ａ，２５Ｂ…２Ｄ−３Ｄ変換モジュール、４４…加速度センサ、４６…エンベデッドコントローラ／キーボードコントローラ、５６…振動モジュール、６４…ＩＰ変換部、６６…奥行き推定部、６８…視差ベクトルマップ生成部、７０…視差画像生成部、７２…レンダラ。

Claims (8)

1. ２次元表示または３次元表示が可能な表示部と、
   前記表示部が水平状態であるか垂直状態であるかを検出する検出器と、
   実行するアプリケーションが所定のアプリケーションであるか否かを判別する機能を含み、前記表示部が水平状態であることを前記検出器が検出すると、前記表示部を２次元表示に設定し、所定のアプリケーションの実行中は、前記検出器の検出結果に関わらず、前記表示部を３次元表示に設定する制御部と、
   を具備する情報処理装置。
2. 前記所定のアプリケーションは、前記表示部にキーボード画像を３次元表示し、該キーボード画像内のタッチされたキーを押し下げられた状態で表示する請求項１記載の情報処理装置。
3. 前記キーボード画像内のいずれかのキーがタッチされると、振動する振動モジュールをさらに具備する請求項２記載の情報処理装置。
4. 前記表示部は、印加される電圧によりレンズ効果を調整できるレンチキラーレンズを具備し、２次元表示に設定されると、レンズ効果を低減する電圧を該レンチキラーレンズに印加する請求項１記載の情報処理装置。
5. 前記表示部が垂直状態であることを前記検出器が検出すると、前記制御部は、前記表示部を３次元表示に設定する請求項１記載の情報処処理装置。
6. ２次元表示または３次元表示が可能な第２の表示部と、
   前記第２の表示部が水平状態であるか垂直状態であるかを検出する第２の検出器と、
   前記第２の表示部に関して実行するアプリケーションが所定のアプリケーションであるか否かを判別する機能を含み、前記第２の表示部が水平状態であることを前記第２の検出器が検出すると、前記第２の表示部を２次元表示に設定し、前記第２の表示部に関して実行するアプリケーションが前記所定のアプリケーションである場合は、前記第２の検出器の検出結果に関わらず、前記第２の表示部を３次元表示に設定する第２の制御部と、
   をさらに具備する請求項１記載の情報処理装置。
7. ２次元表示または３次元表示が可能な表示部が水平状態であるか垂直状態であるかを検出することと、
   実行するアプリケーションが所定のアプリケーションであるか否かを判別することを含み、前記表示部が水平状態であることを検出すると前記表示部を２次元表示に設定し、所定のアプリケーションの実行中は表示部が水平状態であるか垂直状態であるかに関わらず前記表示部を３次元表示に設定することと、
   を具備する情報処理方法。
8. コンピュータを、
   ２次元表示または３次元表示が可能な表示部が水平状態であるか垂直状態であるかを検出する検出器と、
   実行するアプリケーションが所定のアプリケーションであるか否かを判別する機能を含み、前記表示部が水平状態であることを前記検出器が検出すると、前記表示部を２次元表示に設定し、所定のアプリケーションの実行中は、前記検出器の検出結果に関わらず、前記表示部を３次元表示に設定する制御部と、
   して機能させるためのプログラム。

Images