JP5801604B2 - 表示制御装置及び表示制御方法 - Google Patents

Description

本発明は、表示面に立体画像を表示する場合の表示制御に関する。

画像の立体視を可能にする表示装置において、立体的に見える画像の表示をユーザの操作に応じて制御する技術が知られている。例えば、特許文献１には、被検出体（ユーザの手等）の位置を検出し、被検出体の位置に追随させるように浮遊画像を表示させるための技術が記載されている。

臨場感やエンタテインメント性を追求した場合、立体表現の程度は強くなりがちである。しかしながら、立体視の見え方の程度は、ユーザの両眼の間隔をはじめとする個人差に大きく依存する。したがって、過度な立体表現は、人によっては不快感を催したり、目や脳に必要以上の負担を与えることがある。そのため、関連する各種メーカーや業界団体等においては、快適な立体視を実現するための基準や指針が定められている（例えば、非特許文献１参照）。

特開２００９−０８６３９５号公報

"人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン" 、［online］、３Ｄコンソーシアム（３ＤＣ）、［平成２３年４月２２日検索］、インターネット〈URL：http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf〉

立体表示をユーザの操作に連動して制御する場合には、一般に、立体感と操作の連動性に重きが置かれる。しかし、立体感と操作の連動性を重視すると、ユーザの快適さが犠牲になるおそれがある。
そこで、本発明は、ユーザに過大な負荷を与えないように立体表示を制限できるようにすることを目的とする。

本発明の一態様に係る表示制御装置は、表示面上のあらかじめ決められた検出可能領域において、当該表示面を指し示す指示体の位置を検出してユーザの操作を受け付ける操作手段と、前記検出可能領域内の前記表示面寄りに設定され、前記表示面に垂直な方向の高さが前記検出可能領域よりも小さい制御対象領域に、前記操作手段により検出された位置が含まれるか否かを判断する判断手段と、前記判断手段による判断結果に応じて、ユーザに立体視される立体画像を含む画像を前記表示面に表示させる表示制御手段とを備え、前記表示制御手段は、前記操作手段により検出された位置が前記制御対象領域に含まれると判断された場合には、前記立体画像を当該検出された位置に応じた表示態様で表示させ、前記操作手段により検出された位置が前記制御対象領域に含まれないと判断された場合には、前記立体画像に代わる平面画像を表示させる構成を有する。

好ましい態様において、前記表示制御装置は、前記指示体の位置と前記立体画像の表示態様の関連付けを記憶する記憶手段を備え、前記表示制御手段は、前記記憶手段に記憶された関連付けを用いて、前記操作手段により検出された位置に応じた表示態様で前記立体画像を表示させる。
別の好ましい態様において、前記判断手段は、当該装置のユーザ又は当該装置において実行されているアプリケーションに応じて前記制御対象領域の範囲を異ならせる。
さらに別の好ましい態様において、前記表示制御装置は、前記制御対象領域の範囲を設定する設定手段を備え、前記判断手段は、前記設定手段により設定された制御対象領域を用いて判断を行う。
さらに別の好ましい態様において、前記表示制御装置は、前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、前記表示制御手段は、前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて前記表示面の表示を制御する。
さらに別の好ましい態様において、前記表示制御手段は、前記操作手段により検出された位置に応じて、前記立体画像の表示位置を異ならせる。
さらに別の好ましい態様において、前記操作手段は、前記指示体を前記表示面に接触させる接触操作を検出する第１のセンサと、前記指示体を前記表示面に接触させずに近接させる近接操作を検出する第２のセンサとを備える。
さらに別の好ましい態様において、前記操作手段は、前記指示体を前記表示面に接触させる接触操作と前記指示体を前記表示面に接触させずに近接させる近接操作とを検出する単一のセンサを備える。

本発明の他の態様に係る表示制御方法は、表示面上のあらかじめ決められた検出可能領域において、当該表示面を指し示す指示体の位置を検出してユーザの操作を受け付ける第１のステップと、前記検出可能領域内の前記表示面寄りに設定され、前記表示面に垂直な方向の高さが前記検出可能領域よりも小さい制御対象領域に、前記第１のステップにおいて検出された位置が含まれるか否かを判断する第２のステップと、前記第２のステップにおける判断結果に応じて、ユーザに立体視される立体画像を含む画像を前記表示面に表示させる第３のステップであって、前記第１のステップにおいて検出された位置が前記制御対象領域に含まれると判断された場合には、前記立体画像を当該検出された位置に応じた表示態様で表示させ、前記第１のステップにおいて検出された位置が前記制御対象領域に含まれないと判断された場合には、前記立体画像に代わる平面画像を表示させる第３のステップとを有する。

本発明によれば、ユーザに過大な負荷を与えないように立体表示を制限することが可能である。

表示装置の外観を示した図 表示装置のハードウェア構成を示したブロック図 視差バリア方式を説明するための表示部の模式図 検出可能領域と制御対象領域の関係を示す図 制御部の機能的構成を示した機能ブロック図（第１実施形態） 表示制御テーブルの一例を示した図 制御部が実現する表示制御を示したフローチャート（第１実施形態） 表示制御テーブルの一例を示した図（第２実施形態） 制御部が実現する表示制御を示したフローチャート（第２実施形態） 第２実施形態における画像の表示例を示した図 表示装置の構成を示したブロック図（第３実施形態） 制御部の機能的構成を示した機能ブロック図（第４実施形態） 制御対象領域の設定方法の一例を示したフローチャート 画像中のオブジェクトの深度と視差との関係を説明するための模式図

［発明の要旨］
本発明は、表示面に対するユーザの操作を３次元的に検出し、その操作に応じた立体表示を実現する表示装置において、立体視に係る操作を受け付けることができる領域（以下「制御対象領域」という。）の範囲を、表示装置が操作を受け付けることができる領域（以下「検出可能領域」という。）の範囲よりも表示面寄りに小さく設定できるようにし、立体表示を制限できるようにしたことを特徴とするものである。検出可能領域は、表示装置の固有の性能としてあらかじめハードウェア的に決められているものである。一方、制御対象領域は、ソフトウェア的に設定することができるものである。すなわち、本発明は、ハードウェア的に決められた検出可能領域に対して、制御対象領域によってソフトウェア的に制限を加えることを特徴とするものであるともいえる。

本発明の立体表示は、指示体を用いたユーザの操作に基づいて行われる。ここにおいて、指示体とは、ユーザが表示面を指し示す操作を行うための身体の部位又は器具をいい、例えば、ユーザの指やスタイラス（スタイラスペン）である。例えば、本発明の立体表示は、指示体と表示面との距離に応じて制御され、アイコン等の画像がユーザの指の近くにあるように表示される。この場合、画像の飛び出し量は、指が表示面から遠いと大きくなり、指が表示面に近いと小さくなる。つまり、ここでいう飛び出し量は、その値が大きいほど立体感があり、よりユーザの近くに知覚されることを意味する。

本発明の表示装置は、このような表示制御を、指示体を検出可能領域内で検出した場合に実行する一方、指示体を検出可能領域内で検出しなかった場合には実行しない。このようにすることで、過度な立体表示を抑制し、ユーザに過大な負荷を与えないようにすることが可能となる。

しかし、立体表示が過剰であるか否かは、ユーザの主観にも依存し、個人差を含み得るものである。そこで、本発明の表示装置は、検出可能領域や画像の飛び出し量をユーザ毎に設定できるようにし、各ユーザにとって最適な立体表示が行えるように構成されてもよい。また、検出可能領域や画像の飛び出し量は、表示装置が実行するアプリケーション（立体表示の対象となる画像を表示させるアプリケーション）毎に設定されてもよい。

なお、検出可能領域をユーザ自身が設定できる場合には、必ずしも、制御対象領域は検出可能領域よりも小さくなくてもよい。つまり、制御対象領域は、検出可能領域と同じ大きさで設定可能であってもよい。なぜならば、そのような検出可能領域に基づいて立体表示がされたとしても、立体視することが負担にならないユーザも存在するからである。このようなユーザに対しては、ソフトウェア的な制限によらずに、ハードウェア的に可能な範囲で立体感を与えたとしても、当該ユーザの快適さを損なうことがない。

また、本発明において、立体視を実現する具体的な方法は、特に限定されず、周知のさまざまな方法を用いることができる。立体視を実現する方法には、専用の眼鏡等の補助的な器具を装着するもの（アクティブシャッター方式、偏光方式など）と、かかる器具を要しないもの（視差バリア方式、レンチキュラー方式など）とがあるが、本発明はこれらのいずれの方法を用いても実施可能である。

なお、制御対象領域は、例えば次のようにして決定することが可能である。
図１４は、画像中のオブジェクトの深度と視差との関係を説明するための模式図であり、表示面に平行な方向から見たときの様子を示した図である。同図において、利用者の視点から見たときの表示面の左右方向のサイズをｓ［ｃｍ］、左右の目の間隔をｅ［ｃｍ］、表示面から左右の目を結んだ線分までの距離（視距離）をｄ［ｃｍ］とする。また、立体画像から特定し得る深度情報から、その立体画像に含まれるオブジェクトの表示面からの最大飛び出し量をｐ［ｃｍ］とし、最大奥行き量をｑ［ｃｍ］とする。また、この立体画像によって実現される仮想的な３次元空間において、飛び出し量が最も大きい（深度が浅い）点と、奥行き量が最も大きい（深度が深い）点と、表示面上の点とに対する輻輳角をそれぞれα、β、γとする。

制御対象領域は、例えば、３Ｄコンソーシアムのガイドライン（非特許文献１）で定義される「快適な立体視」が可能となる視差量に基づいて求めることができる。図１４において、輻輳角の差の絶対値｜α−γ｜及び｜γ−β｜を視差角と呼ぶ。上記ガイドラインにおいては、これらを各々１度以内にすることが推奨されている。また、同様に、輻輳角の差｜α−β｜も１度以内であることが推奨されている。ここで、図１４において、輻輳角の差が１度以内という上記ガイドラインに基づくと、α＝γ＋１が限界条件であるから、制御対象領域は、ｐがｐ＝ｄ｛ｔａｎ（γ／２）／ｔａｎ（γ＋１／２）−１｝を満たすような範囲に設定されればよい。

［第１実施形態］
図１は、本発明の一実施形態である表示装置１００の外観を示した図である。表示装置１００は、ユーザが表示面１０１に対して操作を行うことができる情報処理装置であり、例えば、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレットＰＣ（Personal Computer）又はスレートＰＣ、ゲーム機、電子ブックリーダなどである。表示面１０１は、画像を表示する面であるとともに、ユーザの操作を受け付ける面でもある。また、表示装置１００は、ユーザの手の指先の位置を検出できるように構成されている。すなわち、本実施形態の検出対象たる指示体は、ユーザの指である。なお、説明の便宜上、以下においては、図１に図示された面、すなわち表示面１０１を有する面のことを「正面」という。

図２は、表示装置１００のハードウェア構成を示したブロック図である。表示装置１００は、同図に示すように、制御部１１０と、記憶部１２０と、表示部１３０と、操作部１４０と、通信部１５０とを備える。なお、表示部１３０と操作部１４０は、一体的に構成されていてもよいし、分離されていてもよい。また、通信部１５０は、本発明に必須の構成要素ではない。

制御部１１０は、表示装置１００の各部の動作を制御する手段である。制御部１１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置を備え、ＲＯＭ又は記憶部１２０に記憶されたプログラムを実行することによって表示部１３０の表示制御や通信部１５０の通信制御を実現する。また、制御部１１０は、画像を立体表示するための画像処理機能を有する。この画像処理機能は、例えば、元の画像から後述する右目用の画像と左目用の画像とをそれぞれ生成する機能である。

記憶部１２０は、制御部１１０が制御に用いるデータを記憶する手段である。記憶部１２０は、ハードディスクやフラッシュメモリによって構成される。記憶部１２０は、いわゆるリムーバブルメディア、すなわち着脱可能な記憶手段を含んでもよい。また、記憶部１２０は、ＵＩＭ（User Identity Module）カードのようなユーザを識別する情報が記憶された記憶手段を含んでもよい。記憶部１２０には、後述する表示制御テーブルが記憶されている。

表示部１３０は、表示面１０１に画像を表示する手段である。表示部１３０は、液晶素子や有機ＥＬ（electroluminescence）素子により画像を表示する表示パネルと、この表示パネルを駆動する駆動回路等を備える。表示面１０１は、ここでは長方形であるとし、この長方形の短辺と長辺に沿って画素がマトリクス状に配置されているものとする。この表示面１０１に対しては、図１に示すように、適当な位置（ここでは左上端）を原点Ｏとした３次元直交座標系が定義されているものとする。ここでは、表示面１０１の長辺方向にＸ軸、表示面１０１の短辺方向にＹ軸をそれぞれ定義し、Ｘ軸及びＹ軸と直交する表示面１０１に垂直な方向にＺ軸を定義する。なお、Ｚ軸は、表示面１０１の表面を原点とし、ユーザに向かう方向（図１における上方）を正方向とする座標軸とする。

表示部１３０は、平面画像と立体画像とを表示可能である。ここにおいて、平面画像とは、表示面１０１に平面的に表示される画像をいい、立体画像とは、表示面１０１に表示され、表示面１０１上に立体的に知覚される画像をいう。立体画像は、左目用の画像と右目用の画像とにより構成される。なお、表示部１３０は、ここでは視差バリア方式によって立体視を実現するものであるとする。

図３は、視差バリア方式を説明するための表示部１３０の模式図である。表示部１３０は、画像を表示するための第１の液晶層１３１と、視差バリアを形成するための第２の液晶層１３２とを有し、視差バリアの有無、すなわち第２の液晶層の光の透過率を切り替えることによって平面画像と立体画像とを切り替えて表示する。このとき、表示部１３０は、視差バリアの位置や幅を変えることによって、立体画像が見える方向を変え、飛び出し量を制御することが可能になる。ユーザは、このように表示された立体画像を、左目用の画像を左目で視認し、右目用の画像を右目で視認することにより、表示された画像を立体的に認識することが可能である。

なお、第２の液晶層１３２は、第１の液晶層１３１の背面側、すなわちユーザから見て第１の液晶層１３１よりも遠い側にあってもよい。また、表示部１３０は、図３に示した構成のみに限らず、バックライト等の他の構成を含み得る。

操作部１４０は、ユーザの操作を受け付ける手段である。操作部１４０は、表示面１０１に対するユーザの指先の位置を検出し、その位置を表す座標情報を制御部１１０に供給するためのセンサを備える。より詳細には、操作部１４０は、接触センサ１４１と近接センサ１４２とを備える。接触センサ１４１は、ユーザの指先が表示面１０１に接触した状態を検出するためのセンサである。接触センサ１４１は、例えば、周知のタッチスクリーン（タッチパネルともいう。）によって実現可能である。一方、近接センサ１４２は、ユーザの指先が表示面１０１に近接している状態を検出するためのセンサである。近接センサ１４２も、周知技術を用いたものであってよいが、例えば、指先の静電容量を検出したり、指先の位置を光学的に検出したりすることで実現される。

接触センサ１４１は、ユーザの指先が接触した表示面１０１の表面の位置を２次元的に検出する。ゆえに、接触センサ１４１が供給する座標情報は、Ｘ軸方向の座標（Ｘ座標）とＹ軸方向の座標（Ｙ座標）とを表す座標情報である。一方、近接センサ１４２は、表示面１０１に触れることなく近接している状態のユーザの指先の位置を３次元的に検出する。ゆえに、近接センサ１４２が供給する座標情報は、Ｘ軸、Ｙ軸及びＺ軸のそれぞれの方向の座標を表す座標情報である。以下においては、接触センサ１４１が供給する座標情報によって特定される操作のことを「接触操作」といい、近接センサ１４２が供給する座標情報によって特定される操作のことを「近接操作」という。

なお、近接センサ１４２は、ユーザの指先を検出可能な範囲が有限であり、検出可能領域が決まっている。検出可能領域は、近接センサ１４２のハードウェア的な性能によって定まる。本実施形態でいう「近接」とは、指先の位置（特にＺ軸方向の位置）がこの検出可能領域にある状態を指す。

接触センサ１４１及び近接センサ１４２は、指示体の位置を所定のサンプリングレートで検出する。すなわち、接触センサ１４１及び近接センサ１４２は、指示体の位置を繰り返し連続的に検出する。なお、近接センサ１４２は、ユーザの指を継続して所定時間以上検出しなかった場合に、サンプリングレートを一時的に下げ、指を再び検出したらサンプリングレートを元に戻すようにしてもよい。また、接触センサ１４１は、近接センサ１４２が指を検知してから機能するようになっていてもよい。なぜならば、指が表示面１０１に接触するためには、事前に指が表示面１０１に必ず近接するからである。

また、操作部１４０は、物理キー１４３を備える。物理キー１４３は、表示装置１００の表示面１０１以外の位置に設けられ、押下されることによってユーザの操作を受け付ける。物理キー１４３は、表示装置１００の正面にあってもよいが、側面や背面にあってもよい。また、物理キー１４３は、複数あってもよく、いわゆるＱＷＥＲＴＹ配列のキーボードやテンキーであってもよい。
なお、物理キー１４３は、接触センサ１４１又は近接センサ１４２でも代用可能である。すなわち、物理キー１４３は、本発明に必須の構成要件ではない。

通信部１５０は、外部装置と通信するための手段である。通信部１５０は、例えば、アンテナやネットワークアダプタを備える。通信部１５０は、インターネット、移動体通信網等のネットワークを介して外部装置と通信してもよいが、近距離無線通信のように、外部装置とネットワークを介さずに直接通信してもよい。また、通信部１５０による通信は、ここでは無線通信であるとするが、有線通信であってもよい。

表示装置１００のハードウェア構成は、以上のとおりである。この構成のもと、表示装置１００は、外部装置と通信したり、実行中の処理に応じた画像を表示面１０１に表示したりする。このとき、表示装置１００は、近接操作及び接触操作を検出し、ユーザの指先の位置を検出する。表示装置１００は、近接操作を検出したら、近接操作が検出された位置に応じて表示面１０１の表示態様を制御する。

本実施形態において、表示装置１００は、検出可能領域において近接操作を検出可能であるが、立体画像を表示させるのは、近接操作を制御対象領域において検出した場合のみである。このとき、表示装置１００は、表示面１０１に表示されていた画像の一部（例えば、指先の位置の近傍の画像）のみを立体表示させてもよいが、表示面１０１に表示されていた画像の全部を立体表示させてもよい。

図４は、検出可能領域と制御対象領域の関係を示す図である。同図において、縦方向の座標軸は、Ｚ軸を表しているが、横方向の座標軸は、Ｘ軸とＹ軸のいずれであってもよい。なお、図示の便宜上、ここでは制御対象領域がＺ軸方向だけでなくＸ軸方向（又はＹ軸方向）にも検出可能領域より小さい領域として示されているが、制御対象領域のＸ軸方向及びＹ軸方向のサイズ（ユーザが正面から見たときの面積）は、検出可能領域のそれと同一であってもよい。

図４に示すように、制御対象領域は、検出可能領域よりも小さくなるように設定されている。特に、制御対象領域は、表示面１０１に対する高さ、すなわちＺ軸方向の範囲が、検出可能領域よりも小さくなっている。したがって、制御対象領域のユーザ側の境界は、検出可能領域のそれよりも表示面１０１に近い位置にある。なお、検出可能領域の範囲は、近接センサ１４２の性能に依存する。一方、制御対象領域の範囲は、本実施形態においては、あらかじめ設定されているものとする。制御対象領域の範囲の設定は、例えば、表示装置１００の製造時等にメーカーによって行われる。

図５は、制御部１１０の機能的構成のうち、特に画像の表示制御に関する部分を示した機能ブロック図である。制御部１１０は、所定のプログラムを実行することにより、同図に示すデータ取得部１１１、判断部１１２及び表示制御部１１３の各部に相当する機能を実現する。これらの機能は、ＯＳ（Operating System）や、画像の表示を制御する特定のソフトウェアのいずれによって実現されてもよいし、複数のソフトウェアの協働によって実現されてもよい。

データ取得部１１１は、画像の表示に必要なデータを取得する手段である。データ取得部１１１が取得するデータは、具体的には、表示面１０１に表示されるべき画像を示す画像データと、操作部１４０により供給される座標情報である。画像データは、記憶部１２０にあらかじめ記憶されているもの（例えば、特定のアプリケーションの実行時に用いられる画像データ）であってもよいし、通信部１５０が外部装置から受信したもの（例えば、ブラウザによって表示されるウェブページのデータ）であってもよい。

判断部１１２は、近接センサ１４２から供給された座標情報、すなわち近接センサ１４２により検出された近接操作に基づいて、立体表示の可否を判断する手段である。具体的には、判断部１１２は、座標情報により特定される近接操作の位置とあらかじめ設定された制御対象領域の範囲とを比較し、当該位置が制御対象領域に含まれるか否かを判断する。

表示制御部１１３は、判断部１１２による判断結果に応じて、画像を表示面１０１に表示させる手段である。表示制御部１１３は、近接センサ１４２により検出された位置が制御対象領域に含まれていると判断された場合には、立体画像を表示させ、当該位置が制御対象領域に含まれていないと判断された場合には、立体画像を表示させない。表示制御部１１３は、近接センサ１４２により検出された位置が制御対象領域に含まれていないと判断された場合には、立体画像を表示させずに平面画像を表示させる。あるいは、表示制御部１１３は、かかる場合に、表示面１０１に何も表示させないようにしてもよい。

表示制御部１１３は、立体画像を表示する場合に、その表示態様を近接操作の位置に応じて異ならせる。このときの表示態様は、あらかじめ一律に決められていてもよいが、本実施形態においては、記憶部１２０に記憶された表示制御テーブルに基づいて決められる。つまり、表示制御部１１３は、表示制御テーブルを参照することによって立体画像の表示態様を特定することができる。表示制御テーブルは、指示体の位置と立体画像の表示態様の関連付けを記述したデータである。

図６は、表示制御テーブルの一例を示した図である。同図に示す表示制御テーブルは、近接センサ１４２から供給された座標情報のＺ軸方向の座標（Ｚ座標）と立体画像の飛び出し量の関連付けを記述したものである。ここにおいて、Ｚ₁は座標情報のＺ座標であり、Ｚ₂は立体画像の飛び出し量である。また、Ｔｈ１〜Ｔｈ４は、それぞれ適当に定められた閾値であり、Ｔｈ４＞Ｔｈ３＞Ｔｈ２＞Ｔｈ１を満たす。なお、Ｚ₁＝Ｔｈ２を満たす平面（ＸＹ平面）は、制御対象領域と検出可能領域の境界であり、Ｚ₁＝Ｔｈ４を満たす平面（ＸＹ平面）は、検出可能領域とそうでない領域（操作を検出することができない領域）の境界である。

なお、飛び出し量とは、立体画像をどの程度浮き出ているように認識させるかを表す数値であり、その値が大きいほどユーザ側に飛び出させることを示している。例えば、飛び出し量がＺ₂＝Ｚ₁で規定される場合の立体画像は、あたかも指示体の先端のすぐそばに存在するかのように、指示体の動きに追随するように表示される。

テーブル１は、０＜Ｚ₁≦Ｔｈ２の場合には画像を立体表示させ、Ｚ₁＞Ｔｈ２の場合には画像を非表示とする表示態様を示すテーブルである。表示装置１００がテーブル１を用いて画像を立体表示する場合、表示面１０１に表示される画像は、指示体の動きに連動するように飛び出し量が変化する。なお、ｎの値は、０より大きい適当な数であるが、飛び出し量が過剰にならないように、１を大きく超えないことが望ましい。

一方、テーブル２は、テーブル１とは立体画像の表示態様（飛び出しの態様）を異ならせたテーブルである。表示装置１００がテーブル１を用いて画像を立体表示する場合、表示面１０１に表示される画像は、テーブル１の場合のように飛び出し量が連続的には変化しないが、指示体と表示面１０１との距離がＴｈ２以下であるか否かを境にして、飛び出し量が段階的に変化する。

なお、テーブル１、２のいずれにおいても、Ｚ₁＝０、すなわち接触操作が検出された場合には、表示制御部１１３は接触操作に応じた表示制御を実行する。Ｚ₁＝０の場合の表示態様は、必ずしも表示制御テーブルに記述されていなくてもよい。また、表示制御部１１３は、Ｚ₁＝０の場合、画像の立体表示を行ってもよいし、行わなくてもよい。

表示制御部１１３は、記憶部１２０に複数の表示制御テーブルが記憶されている場合には、いずれか１つのテーブルを選択して用いる。表示制御部１１３は、ユーザによる事前の設定、そのとき実行されているアプリケーション、立体表示の対象となる画像などを判断基準として、そのときどきの状況に応じたテーブルを選択することができる。なお、記憶部１２０に記憶される表示制御テーブルは、もちろん３種類以上であってもよい。また、表示制御テーブルは、本実施形態の例では直方体状の制御対象領域を記述したものであるが、他の形状の制御対象領域を記述するものであってもよい。

図７は、制御部１１０が上記の機能的構成によって実現する表示制御を示したフローチャートである。制御部１１０は、画像を立体表示するか否かを判断する必要がある場合に、同図に示す表示制御処理を実行する。すなわち、制御部１１０は、図７に示す表示制御処理を常に実行する必要はなく、例えば、立体表示を必要としない特定のアプリケーションを実行しているような場合には、かかる処理を実行しなくてもよい。

制御部１１０による表示制御は、ユーザの指先が検出可能領域に入り、所定の条件が満たされることによって開始される。そこでまず、制御部１１０は、近接センサ１４２から供給される座標情報によって近接操作の位置（すなわち指先の位置）を特定し、当該位置が検出可能領域に含まれるか否かを判断する（ステップＳ１１）。制御部１１０は、この判断が肯定的（ＹＥＳ）になるまで、同じ処理を繰り返す。

指先の位置が検出可能領域に含まれるようになると、制御部１１０は、当該位置がさらに制御対象領域に含まれるか否かを判断する（ステップＳ１２）。制御部１１０は、指先の位置が制御対象領域に含まれていれば、当該位置に応じた表示態様で表示面１０１に立体画像を表示させる（ステップＳ１３）。一方、ステップＳ１２の判断が否定的（ＮＯ）になる場合、すなわち、指先の位置が検知可能領域には含まれるが、制御対象領域には含まれない場合、制御部１１０は、実行する処理をステップＳ１１の判断に戻す。

ステップＳ１３の処理は、表示面１０１に表示される画像を全体的に立体表示させるものであってもよいが、特定の画像のみを立体表示させるものであってもよい。ここにおいて、特定の画像とは、例えば、ユーザが接触操作により選択することができる画像であり、ボタン、ソフトリンク（ショートカット、エイリアス、シンボリックリンクなどともいう。）、ウェブページのハイパーリンク（文字列やアイコン）が挙げられる。この場合、制御部１１０は、座標情報のＺ座標のみを立体画像の表示制御のために参照し、Ｘ座標とＹ座標を考慮しなくてもよい。

あるいは、制御部１１０は、Ｘ座標とＹ座標、すなわち、指先の位置の表示面１０１に対する正射影の座標をあわせて参照し、Ｘ座標とＹ座標に応じて立体画像の表示態様を変化させてもよい。例えば、制御部１１０は、ユーザの指先が制御対象領域にある場合に、人間や動物を模したキャラクタの画像を指先の近傍に立体表示させ、その画像の位置を指の移動に追随するように移動させるようにしてもよい。

制御部１１０は、立体画像を表示させたら、ユーザの操作として接触操作が検出されたか否かを判断する（ステップＳ１４）。ステップＳ１４の判断は、座標情報の供給元が近接センサ１４２から接触センサ１４１に切り替わったか否かによって行われてもよいが、座標情報のうちのＺ座標が「０」か否かによって行われてもよい。制御部１１０は、接触操作が検出された場合には、接触操作に応じた表示制御を行う（ステップＳ１５）。なお、ステップＳ１５の表示制御には、接触操作が検出される前と異なる画像を表示させるもののほか、接触操作が検出された後にそれまで表示されていた画像を非表示にするものも含まれる。

また、ステップＳ１５の表示制御は、表示面１０１上のユーザが触れた位置や、そのとき実行しているアプリケーションなどによって異なり得る。例えば、制御部１１０は、ブラウザを実行している場合において、ユーザがウェブページのハイパーリンク（文字列やアイコン）を選択したときには、ハイパーリンクに記述されたデータを受信するとともに、これをレンダリングしてページの表示を切り替える、といった処理を実行することが可能である。このとき新たに表示されるページは、ユーザが選択したハイパーリンク次第である。また、制御部１１０は、ユーザが何らかのボタンを選択した場合であれば、当該ボタンに割り当てられた処理を実行する。かかる処理には、選択されたボタンの表示態様（色や凹凸感）を変える処理が含まれ得る。

なお、制御部１１０は、接触操作が検出され、当該接触操作に応じた表示制御を行った場合と、接触操作が検出されなかった場合のいずれにおいても、その後、ステップＳ１１以降の処理を繰り返す。そして、制御部１１０は、画像を立体表示する必要がなくなるまで、ステップＳ１１〜Ｓ１５の処理を繰り返し実行する。

以上のように、本実施形態の表示装置１００によれば、表示制御テーブルに従って立体画像の表示態様を制御することが可能であり、立体表示に係る操作を受け付ける表示面１０１上の領域を一定の範囲に制限することが可能である。また、表示装置１００によれば、参照する表示制御テーブルを切り替えることによって立体画像の表示態様を異ならせることが可能である。

［第２実施形態］
本実施形態は、上述した第１実施形態の構成及び動作の一部に対して変更を加えたものであり、具体的には、表示制御テーブル、すなわち近接操作時の表示態様を変更したものである。
なお、本実施形態以降の実施形態において、既に説明した実施形態と共通する部分の説明は、適宜省略される。また、本実施形態以降の実施形態において、既に説明した実施形態と共通する構成要素やフローチャート中の処理には、既に記載した符号と同一の符号を付すものとする。

図８は、本実施形態における表示制御テーブルを例示した図である。本実施形態の表示制御テーブルは、Ｔｈ２＜Ｚ₁≦Ｔｈ４を満たす範囲において平面画像が表示されるように設定されている点が第１実施形態（図６参照）と異なり、その他の点においては第１実施形態と同様である。

図９は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップＳ１６の処理が追加されている点において、第１実施形態のフローチャート（図７参照）と異なる。ステップＳ１６において、制御部１１０は、指先の位置が制御対象領域に含まれていないとステップＳ１２において判断された場合に、立体画像に代わる平面画像を表示させる。その後、制御部１１０は、指先の位置が制御対象領域に含まれるようになると、ステップＳ１３当該平面画像を立体画像として表示させる。

図１０は、本実施形態における画像の表示例を示した図である。制御部１１０は、検出可能領域においてユーザの指を検出すると、図１０（ａ）に示すように、接触操作により選択可能な平面画像を表示面１０１に表示させる。ここにおいて、画像Ｉｍ１は、選択可能なアイコンを表している。その後、ユーザの指を制御対象領域において検出すると、制御部１１０は、表示面１０１に表示されていた平面画像を立体表示させる。図１０（ｂ）の例は、画像Ｉｍ１を立体表示させた場合の画像Ｉｍ２を示したものである。

この例において、制御部１１０は、近接センサ１４２から供給された座標情報に基づいて画像Ｉｍ１を表示させてもよい。例えば、制御部１１０は、近接センサ１４２から供給された座標情報のＸ座標とＹ座標を特定し、画像Ｉｍ１の中心が当該座標にあるようにこれを表示させる。また、制御部１１０は、画像を平面画像から立体画像に切り替えたときには、Ｘ座標とＹ座標とに基づいて画像Ｉｍ２の表示位置を決定し、Ｚ座標に基づいて画像Ｉｍ２の飛び出し量を決定してもよい。なお、制御部１１０は、例えば、あらかじめ決められた特定の位置に平面画像及び立体画像を表示させる、といったように、平面画像及び立体画像の表示位置を座標情報によらずに決定してもよい。

本実施形態の表示態様によれば、視覚効果を平面画像から立体画像へと段階的に変化させることが可能である。そのため、ユーザは、表示面１０１に指を近づけていったときに突然立体画像を認識するのではなく、最初に平面画像を認識し、その後さらに指を近づけた結果として立体画像を認識することが可能となる。なお、本実施形態の表示態様と第１実施形態の表示態様のいずれを採用するかは、表示する画像の性質やアプリケーションに応じて定めらてもよいし、ユーザが選択可能であってもよい。

［第３実施形態］

図１１は、本実施形態の表示装置１００ａの構成を示したブロック図である。同図に示すように、表示装置１００ａは、フィルタ部１６０を備える点が表示装置１００（図２参照）と異なる。フィルタ部１６０は、座標情報に対してノイズを低減させるためのフィルタ処理を実行する手段である。なお、フィルタ部１６０は、他の構成要素とは独立したハードウェアであってもよいが、制御部１１０や操作部１４０の一機能として実現されてもよい。

フィルタ部１６０により用いられるフィルタは、具体的には、平滑化フィルタ、メディアンフィルタ、ガウシアンフィルタ、移動平均フィルタなどである。つまり、フィルタ部１６０は、座標情報により表される座標が短時間に細かく変動する場合に、その変動を抑制するように座標情報を変換する。したがって、ここでいうノイズとは、繰り返し連続的に検出される座標情報を時系列的に表した場合の高周波成分のことである。

本実施形態の表示装置１００ａによれば、制御部１１０が表示制御に用いる場合の指の軌跡を実際の軌跡よりも滑らか（すなわち、位置変動が緩やか）にすることが可能である。これにより、制御部１１０は、表示面１０１の画像が立体表示される場合の飛び出し量や位置を急激に（又は頻繁に）変えないようにすることが可能となり、画像がぶれたりしてユーザに見づらくなることを抑えることができるようになる。このような表示制御は、特に、図６のテーブル１の場合のように飛び出し量が連続的に変化する場合に有効である。

なお、フィルタ部１６０は、Ｘ座標、Ｙ座標、Ｚ座標のそれぞれに対してフィルタ処理を実行してもよいが、Ｚ座標のみに対してフィルタ処理を実行してもよい。また、フィルタ部１６０は、それぞれの座標に対して実行するフィルタ処理の態様（より具体的には、ノイズを低減させる程度）を座標軸毎に異ならせてもよい。

［第４実施形態］
図１２は、本実施形態の制御部１１０ａの機能的構成を示した機能ブロック図である。同図に示すように、制御部１１０ａは、設定部１１４を備える点において第１実施形態の制御部１１０（図５参照）と異なる。設定部１１４は、制御対象領域の範囲を設定する手段である。設定部１１４は、ユーザの操作を受け付けたり、あるいはあらかじめユーザと対応付けられた設定データを読み出したりすることによって、制御対象領域の範囲を設定することができる。また、本実施形態の判断部１１２は、設定部１１４により設定された制御対象領域を用いて指示体の位置の判断を行う。

図１３は、制御対象領域の設定方法の一例を示したフローチャートである。制御部１１０ａは、ユーザの操作によって制御対象領域の範囲を設定する場合、まず、近接操作を検出する。すなわち、制御部１１０ａは、近接センサ１４２から供給される座標情報により特定される近接操作の位置が検出可能領域に含まれるか否かを判断する（ステップＳ２１）。制御部１１０ａは、指先の位置が検出可能領域に含まれると、その位置に応じた立体画像を表示させる（ステップＳ２２）。このとき、ユーザが指を表示面１０１に近づけたり遠ざけたりすると、制御部１１０ａは、指と表示面１０１との距離に応じて立体画像の飛び出し量を変化させる。

ここで、ユーザは、自身が許容できる限界の飛び出し量で立体画像が表示されたときに指を止め、別の指で所定の物理キー１４３を押下する。制御部１１０ａは、物理キー１４３が押下されたか否かを判断し（ステップＳ２３）、物理キー１４３を押下する操作を検出すると、そのとき検出された座標情報を登録データとして記憶部１２０に一時的に記憶する（ステップＳ２４）。なお、登録データは、制御部１１０ａのＲＡＭに記憶されてもよい。

ユーザは、このような動作を複数回実行することができる。例えば、ユーザは、表示面１０１の中央付近で登録データを１回登録し、その後、表示面１０１の四隅付近でそれぞれ登録データを登録する。この場合、登録データは、表示面１０１上の５点について得られる。制御対象領域の設定に何点の登録データを要するかは、制御部１１０ａによってあらかじめ決められていてもよいが、ユーザが所定の操作を行った時点までとしてもよい。後者の場合には、ユーザは、ステップＳ２３において押下した物理キー１４３とは異なるキーを押下してもよいし、ステップＳ２３において押下した物理キー１４３と同じキーを２回押下（いわゆるダブルクリック）してもよい。

ステップＳ２５において、制御部１１０ａは、必要な数の登録データが登録されたか否かを判断する。上述したように、制御部１１０ａは、登録データが所定の回数登録されたか、あるいはユーザによって所定の操作が行われたかを判断することによってこの処理を行う。制御部１１０ａは、必要な数の登録データが登録されていなければ、ステップＳ２１以降の処理を繰り返す。

必要な数の登録データが登録されていれば、制御部１１０ａは、登録データの座標情報に基づいて適当な補間処理を実行し、制御対象領域を決定する（ステップＳ２６）。制御部１１０ａは、このようにして決定された制御対象領域を設定データとして記憶部１２０に記録する（ステップＳ２７）。制御部１１０ａは、設定データを記録したら、登録データを消去してもよい。

複数の登録データを用いることで、制御対象領域をさまざまな形状とすることが可能である。例えば、上述した設定方法によれば、表示面１０１の中央のＺ座標が大きく、四隅のＺ座標が小さい制御対象領域、すなわち、中央部分がユーザ側に膨らんだような制御対象領域を設定することが可能である。このような制御対象領域によれば、より自然な立体視を実現することが可能である。
なお、登録データは、１回のみ登録されてもよい。この場合、制御対象領域は、表示面１０１の全体についてＺ座標が一定となり、その形状が直方体となる。

本実施形態によれば、ユーザ毎に制御対象領域を設定することが可能であり、例えば、同一の表示装置１００を複数のユーザが使用する場合であっても、それぞれのユーザに応じた制御対象領域を用いて立体表示を行うことが可能である。また、設定データをＵＩＭカードに記録したり、あるいは通信部１５０を介して外部のサーバ装置に記録したりすることによって、同一のユーザが複数の表示装置１００で同様の制御対象領域を使用することも可能である。なお、ユーザの識別は、周知の認証方法によって行えばよい。

なお、制御対象領域の設定方法は、この例に限らず、例えば、ユーザがテンキー等によってＺ座標を直接入力するものであってもよい。また、制御部１１０ａは、上述したテーブル１のｎの値についてもユーザに設定可能にしてもよい。

［変形例］
本発明は、上述した各実施形態の態様に限らず、他の態様でも実施することができる。本発明は、例えば、以下の変形例に示す態様によっても実施可能である。なお、本発明は、これら複数の変形例を組み合わせた態様で実施されてもよいし、上述した各実施形態の特徴を複数組み合わせた態様で実施されてもよい。

（１）本発明の指示体は、上述したように、スタイラス等のユーザが手に持って動かす指示用の器具であってもよい。このような指示体を用いる場合の操作手段は、指示体の位置を赤外線や超音波によって検出するものであってもよい。また、先端に磁性体を備える指示体を用いた場合には、指示体の位置を磁気的に検出することも可能である。

（２）本発明の操作手段は、接触操作を検出するセンサと近接操作を検出するセンサとを別個に備える構成ではなく、接触操作と近接操作を単一のセンサによって検出する構成であってもよい。

（３）本発明の表示制御装置は、上述した実施形態のように表示装置１００の構成の一部であってもよいが、表示装置と、表示装置とは独立に設けられた他の装置との協働によって実現されてもよい。例えば、本発明は、いわゆるデスクトップＰＣのように本体と表示装置とが分かれた構成の場合には、操作手段を表示装置側に備え、他の手段（判別手段、特定手段、表示制御手段など）を本体側に備えるようにしてもよい。

あるいは、本発明の表示制御装置は、操作手段に代えて、操作手段から供給された座標情報を取得する手段（データ取得部１１１）を備えるものであってもよい。すなわち、本発明の表示制御装置は、上述した制御部１１０のみによって構成することも可能である。また、このような表示制御装置は、これをコンピュータに実現させるためのプログラムや、かかるプログラムを記録した記録媒体の形態でも実施され得る。

１００、１００ａ…表示装置、１０１…表示面、１１０、１１０ａ…制御部、１１１…データ取得部、１１２…判断部、１１３…表示制御部、１１４…設定部、１２０…記憶部、１３０…表示部、１４０…操作部、１４１…接触センサ、１４２…近接センサ、１４３…物理キー、１５０…通信部、１６０…フィルタ部

Claims (9)

1. 表示面上のあらかじめ決められた検出可能領域において、当該表示面を指し示す指示体の位置を検出してユーザの操作を受け付ける操作手段と、
   前記検出可能領域内の前記表示面寄りに設定され、前記表示面に垂直な方向の高さが前記検出可能領域よりも小さい制御対象領域に、前記操作手段により検出された位置が含まれるか否かを判断する判断手段と、
   前記判断手段による判断結果に応じて、ユーザに立体視される立体画像を含む画像を前記表示面に表示させる表示制御手段とを備え、
   前記表示制御手段は、
   前記操作手段により検出された位置が前記制御対象領域に含まれると判断された場合には、前記立体画像を当該検出された位置に応じた表示態様で表示させ、前記操作手段により検出された位置が前記制御対象領域に含まれないと判断された場合には、前記立体画像に代わる平面画像を表示させる
   ことを特徴とする表示制御装置。
2. 前記指示体の位置と前記立体画像の表示態様の関連付けを記憶する記憶手段を備え、
   前記表示制御手段は、
   前記記憶手段に記憶された関連付けを用いて、前記操作手段により検出された位置に応じた表示態様で前記立体画像を表示させる
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記判断手段は、
   当該装置のユーザ又は当該装置において実行されているアプリケーションに応じて前記制御対象領域の範囲を異ならせる
   ことを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記制御対象領域の範囲を設定する設定手段を備え、
   前記判断手段は、
   前記設定手段により設定された制御対象領域を用いて判断を行う
   ことを特徴とする請求項１ないし３のいずれかに記載の表示制御装置。
5. 前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、
   前記表示制御手段は、
   前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて前記表示面の表示を制御する
   ことを特徴とする請求項１ないし４のいずれかに記載の表示制御装置。
6. 前記表示制御手段は、
   前記操作手段により検出された位置に応じて、前記立体画像の表示位置を異ならせる
   ことを特徴とする請求項１ないし５のいずれかに記載の表示制御装置。
7. 前記操作手段は、前記指示体を前記表示面に接触させる接触操作を検出する第１のセンサと、前記指示体を前記表示面に接触させずに近接させる近接操作を検出する第２のセンサとを備える
   ことを特徴とする請求項１ないし６のいずれかに記載の表示制御装置。
8. 前記操作手段は、前記指示体を前記表示面に接触させる接触操作と前記指示体を前記表示面に接触させずに近接させる近接操作とを検出する単一のセンサを備える
   ことを特徴とする請求項１ないし６のいずれかに記載の表示制御装置。
9. 表示面上のあらかじめ決められた検出可能領域において、当該表示面を指し示す指示体の位置を検出してユーザの操作を受け付ける第１のステップと、
   前記検出可能領域内の前記表示面寄りに設定され、前記表示面に垂直な方向の高さが前記検出可能領域よりも小さい制御対象領域に、前記第１のステップにおいて検出された位置が含まれるか否かを判断する第２のステップと、
   前記第２のステップにおける判断結果に応じて、ユーザに立体視される立体画像を含む画像を前記表示面に表示させる第３のステップであって、前記第１のステップにおいて検出された位置が前記制御対象領域に含まれると判断された場合には、前記立体画像を当該検出された位置に応じた表示態様で表示させ、前記第１のステップにおいて検出された位置が前記制御対象領域に含まれないと判断された場合には、前記立体画像に代わる平面画像を表示させる第３のステップと
   を有することを特徴とする表示制御方法。

Images