JP6251957B2 - 表示装置、頭部装着型表示装置および表示装置の制御方法 - Google Patents

Description

本発明は、使用者が操作する指示体により操作可能な表示装置、頭部装着型表示装置および表示装置の制御方法に関するものである。

従来、頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ））の操作手段として、人間の手指の所定の動作を検出し、その動作に対応する処理を行うものが知られている。例えば、特許文献１では、使用者の手指に装着したＬＥＤ（発光体）をビデオカメラで撮像することにより手指の動きに対応する入力操作を判別し、その判別した入力操作に基づいて所定の処理を実行することが開示されている。

特開２０００−２９６１９号公報

しかしながら、上述の従来技術の場合、使用者の手指の複雑な動きをビデオカメラで認識する必要があるため制御が複雑になる。また、その複雑な仕組みに反して制御の種類が限られていたり、誤認識しやすいという問題がある。さらに、使用者は、手指の動きがどんな処理を行うための動きなのかを覚えておき、確実にその動きを行わなければならず、必ずしも使い勝手が良いものではないという問題がある。

本発明は、上記の問題に鑑み、簡単、且つ直感的な操作で各種処理が実行可能なユーザーインターフェースを提供することが可能な表示装置、頭部装着型表示装置および表示装置の制御方法を提供することを目的とする。

本発明の表示装置は、使用者が操作する複数の指示体を検出する指示体検出部と、指示体検出部により各指示体を検出して、各指示体のそれぞれと連動して動作するポインターを所定の表示領域に表示するポインター表示部と、複数のポインターの、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍への移動順序に応じて、異なる命令を実行する命令実行部と、を備えたことを特徴とする。
上記の表示装置において、命令実行部は、表示されているコンテンツに応じた所定の命令を実行することを特徴とする。
上記の表示装置において、使用者に画像を虚像として視認させる透過型の表示装置であり、指示体検出部は、使用者が、透過型の表示装置の使用者側の反対側である表示装置の外側前方で操作する複数の指示体を検出することを特徴とする。
上記の表示装置において、使用者に画像を虚像として視認させる透過型の表示装置であり、透過型の表示装置の画像表示部は、表示対象となる画像データを用いて画像を表す画像光を生成して射出させる画像光生成部と、射出された画像光を使用者の眼に導く光学部材と、を含み、外景の光を光学部材を透過して画像光と共に使用者の眼に入射させることを特徴とする。
本発明の頭部装着型表示装置は、上記の表示装置において、画像を虚像として使用者に視認させることを特徴とする。
上記の頭部装着型表示装置において、指示体検出部は、頭部装着型表示装置を装着した状態における使用者の前方を撮像することで、複数の指示体を検出することを特徴とする。
本発明の表示装置の制御方法は、表示装置が、使用者が操作する複数の指示体を検出するステップと、各指示体を検出して、各指示体のそれぞれと連動して動作するポインターを所定の表示領域に表示するステップと、複数のポインターの、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍への移動順序に応じて、異なる命令を実行するステップと、を実行することを特徴とする。
なお、以下の構成としても良い。
本発明の表示装置は、使用者が操作する複数の指示体を検出する指示体検出部と、指示体検出部により各指示体を検出して、各指示体のそれぞれと連動して動作するポインターを所定の表示領域に表示するポインター表示部と、各指示体の操作に伴って、複数のポインターが、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、複数のポインターの動きに応じた所定の命令を実行する命令実行部と、を備えたことを特徴とする。

本発明の頭部装着型表示装置は、画像を虚像として使用者に視認させる透過型の頭部装着型表示装置であって、使用者が操作する複数の指示体を検出する指示体検出部と、指示体検出部により各指示体を検出して、各指示体のそれぞれと連動して動作するポインターを所定の表示領域に表示するポインター表示部と、各指示体の操作に伴って、複数のポインターが、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、複数のポインターの動きに応じた所定の命令を実行する命令実行部と、を備えたことを特徴とする。

本発明の表示装置の制御方法は、表示装置が、使用者が操作する複数の指示体を検出するステップと、各指示体を検出して、各指示体のそれぞれと連動して動作するポインターを所定の表示領域に表示するステップと、各指示体の操作に伴って、複数のポインターが、所定の表示領域と、所定の表示領域以外の領域である表示周辺領域との境界の近傍に移動した場合、複数のポインターの動きに応じた所定の命令を実行するステップと、を実行することを特徴とする。

これらの構成によれば、使用者が複数のポインターを表示領域の境界近傍に移動するように（境界近傍に位置するように）各指示体を操作するだけで、境界近傍に予め割り当てられた所定の命令（処理）を実行できる。すなわち、使用者は煩雑な操作をすることなく、簡単（単純）、且つ直感的な操作で所定の命令を実行できるため、使い勝手が良い。また、簡単な操作で行えるため（煩雑な操作を必要としないため）、誤認識が少なく、安定して動作するユーザーインターフェースを提供できる。

本発明の表示装置において、命令実行部は、複数のポインターの境界の近傍への移動順序に応じて、異なる命令を実行することが好ましい。

この構成によれば、複数のポインター（指示体）を境界の近傍へ移動させる際のポインターの移動順序に応じて様々な命令を割り当てることができるため、使用者の様々なニーズに対応可能なユーザーインターフェースを提供することができる。

本発明の表示装置において、命令実行部は、複数のポインターのうちの、少なくとも１のポインターが境界の近傍に移動した場合、表示領域の内縁に沿って枠画像を表示することが好ましい。

この構成によれば、ポインターが境界の近傍に移動した場合に、表示領域の内縁に沿って枠（枠画像）を表示することで、使用者に対して何らかの状態変更があったこと（例えば、所定の命令を受け付けるモード（命令受付モード）に遷移したこと）を認識させることができる。

本発明の表示装置において、命令実行部は、指示体検出部により、複数の指示体が所定の表示領域から境界を越えて表示周辺領域へ移動する方向に操作されたことを検出した場合、所定の命令を実行することが好ましい。

本発明の表示装置において、命令実行部は、指示体検出部により、複数の指示体が表示周辺領域から境界を越えて所定の表示領域へ移動する方向に操作されたことを検出した場合、所定の命令を実行することが好ましい。

これらの構成によれば、複数の指示体が所定の表示領域から表示周辺領域に向かって移動する操作が行われた場合、あるいは表示周辺領域から所定の表示領域に向かって移動する操作が行われた場合に、所定の命令を実行する。すなわち、複数の指示体が境界を越えて移動する操作が行われた場合に所定の命令を実行する。これにより、拡張性の高い（自由度の高い）ユーザーインターフェースを提供することができる。

本発明の表示装置において、命令実行部は、指示体検出部により、複数のポインターが境界に沿って移動する複数の指示体の操作を検出した場合、所定の命令を実行することが好ましい。

本発明の表示装置において、命令実行部は、複数のポインターが境界に沿って移動する際の複数のポインターの移動方向に応じて、異なる命令を実行することが好ましい。

これらの構成によれば、複数のポインター（指示体）が境界に沿って移動する操作が行われた場合に、所定の命令を実行する。また、複数のポインターが境界に沿って移動する方向に応じて、異なる命令を実行することにより、拡張性の高い（自由度の高い）ユーザーインターフェースを提供することができる。

本発明の表示装置において、命令実行部は、複数のポインターが境界の近傍にある状態で、複数の指示体のうち少なくとも１の指示体が回転動作された場合、所定の表示領域に表示された画像を指示体の回転方向に回転させることが好ましい。

この構成によれば、指示体を回転させることで、表示されている画像を回転することができる。例えば、複数の指示体全てを同一方向に回転させても良いし、あるいは、複数の指示体のうち、１の指示体を他の指示体を支点として回転させても良い。

本発明の表示装置において、命令実行部は、境界の近傍における各指示体の動作に応じて、所定の命令を実行することが好ましい。

この構成によれば、境界の近傍での複数の指示体の動作内容（操作内容）に応じて所定の命令を実行することができる。指示体の動作としては、例えば、境界の近傍で２つの指示体（２つのポインター）が近づく動作や、２つの指示体が表示領域の奥行方向（使用者の視界方向）に移動する動作（スイッチを押すような動作）や、２つの指示体が表示領域の奥行方向に移動した状態を維持する動作（スイッチを押した状態を維持するような動作）等が考えられる。

本発明の表示装置において、命令実行部は、指示体検出部により、複数の指示体が表示周辺領域から境界を跨いで所定の表示領域に表示されたアイコンを挟む動作を検出した場合、アイコンに割り当てられた所定の命令を実行することが好ましい。

この構成によれば、複数の指示体によりアイコンを掴むような操作をした場合にアイコンに割り当てられた命令（例えば、アプリケーションの実行等）を実行することができ、直感的、且つ操作性の良いユーザーインターフェースを提供できる。

本発明の表示装置において、命令実行部は、表示されているコンテンツに応じた所定の命令を実行することが好ましい。

この構成によれば、表示するコンテンツ毎に、当該コンテンツに適した命令を実行することができる。なお、コンテンツとは、画像（静止画像、動画像）や音声等からなる情報内容や、アプリケーション等を意味する。

上記に記載の表示装置であって、表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、指示体検出部は、使用者が、透過型の表示装置の使用者側の反対側である表示装置の外側前方で操作する複数の指示体を検出することを特徴とする。

この構成によれば、透過型の表示装置において、使用者から見て表示装置を越えて外側（前方）で操作される指示体を検出することができる。

上記に記載の表示装置であって、表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、透過型の表示装置の画像表示部は、表示対象となる画像データを用いて画像を表す画像光を生成して射出させる画像光生成部と、射出された画像光を前記使用者の眼に導く光学部材と、を含み、外景の光を光学部材を透過して画像光と共に使用者の眼に入射させることを特徴とする。

この構成によれば、使用者が虚像と外景とを同時に視認可能な透過型の表示装置にも適用することができる。

本発明の頭部装着型表示装置において、指示体検出部は、頭部装着型表示装置を装着した状態における使用者の前方を撮像することで、複数の指示体を検出することが好ましい。

この構成によれば、頭部装着型表示装置を装着した状態における使用者の前方の撮像結果に基づいて、使用者が操作する指示体を検出する。言い換えれば、使用者が頭部装着型表示装置を装着し、眼の前（装置の前）で操作する指示体を撮像して検出できる。

第１実施形態に係る頭部装着型表示装置の外観構成を示す説明図である。 使用者が視認可能な虚像および外景の一例について説明する図である。 第１実施形態に係る頭部装着型表示装置の機能構成について説明するブロック図である。 メニュー画面を表示する操作手順について説明する図である。 メニュー項目を実行する操作手順について説明する図である。 メニュー項目を実行する操作手順について説明する図である。 他のメニュー画面を表示する処理手順について説明する図である。 コピー処理を実行する操作手順について説明する図である。 拡大処理を実行する操作手順について説明する図である。 縮小処理を実行する操作手順について説明する図である。 拡大処理を実行する他の操作手順について説明する図である。 縮小処理を実行する他の操作手順について説明する図である。 回転処理を実行する操作手順について説明する図である。 手のひらを使って拡大処理を実行する操作手順を説明する図である。 第２実施形態に係る頭部装着型表示装置の外観構成を示す説明図である。 第２実施形態に係る頭部装着型表示装置の機能構成について説明するブロック図である。

［第１実施形態］
以下、添付の図面を参照し、本発明の一実施形態に係る表示装置、頭部装着型表示装置および表示装置の制御方法について説明する。図１は、本発明の一実施形態における表示装置としての頭部装着型表示装置ＨＭの外観構成を示す説明図である。頭部装着型表示装置ＨＭは、使用者が頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置ＨＭは、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置ＨＭ（透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ）であり、眼鏡形状を有している。

頭部装着型表示装置ＨＭは、右保持部１１と、右表示駆動部１２と、左保持部１３と、左表示駆動部１４と、右光学像表示部１５と、左光学像表示部１６と、センサー１７とを有している。

右光学像表示部１５および左光学像表示部１６は、頭部装着型表示装置ＨＭの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部１５の一端と、左光学像表示部１６の一端は、それぞれ、頭部装着型表示装置ＨＭの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部１５の他端である端部ＥＲからは、右保持部１１が延伸している。同様に、左光学像表示部１６の他端である端部ＥＬからは、左保持部１３が延伸している。

右保持部１１は、右光学像表示部１５の端部ＥＲから頭部装着型表示装置ＨＭの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部１５とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部１３は、左光学像表示部１６の端部ＥＬから頭部装着型表示装置ＨＭの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部１６とほぼ直角を成すように延伸して設けられた部材である。右保持部１１と、左保持部１３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に頭部装着型表示装置ＨＭを保持する。

右表示駆動部１２は、右保持部１１の内側、換言すれば、頭部装着型表示装置ＨＭの装着時における使用者の頭部に対向する側であって、右光学像表示部１５の端部ＥＲ側に配置されている。また、左表示駆動部１４は、左保持部１３の内側であって、左光学像表示部１６の端部ＥＬ側に配置されている。

センサー１７は、頭部装着型表示装置ＨＭの装着時における使用者の眉間に対応する位置に配置されている撮像装置である。センサー１７は、頭部装着型表示装置ＨＭを装着した状態における使用者の視界方向（使用者の前方）の外景を撮像し、使用者が操作する複数の指示体（本実施形態では２つの指示体とする）を含んだ画像を取得し、取得した画像の画像信号を出力する。すなわち、頭部装着型表示装置ＨＭにおける使用者側とは反対側（頭部装着型表示装置ＨＭの外側前方）で操作される指示体を撮像する。本実施例のセンサー１７による撮像範囲は、頭部装着型表示装置ＨＭを装着したときの使用者の視界２１（図２参照）よりも広い範囲となっている。

なお、指示体としては、例えば、使用者の指先や手、使用者が装着する指輪型入力装置、使用者が持つペンのペン先、リモコンの発光体等を用いることができる。指示体として使用者の指先やペン先等を用いる場合は、例えば、指先やペン先等を特徴点（特定点）として認識し、位置を検出すればよい。また、指示体として使用者の手を用いる場合は、手のひらの曲線を特徴点として認識し、位置を検出すれば良い。また、指輪型入力装置を用いる場合、例えば、指輪型入力装置に赤外線発光体（ＬＥＤ等）を取り付け、その赤外線光により位置を検出しても良いし、あるいは、指輪型入力装置を装着している使用者の指先を特徴点として認識し、位置を検出しても良い。さらには、使用者によって仮想的に保持されている任意の物を指示体とすることも可能である。「仮想的に保持する任意の物」とは、例えば、使用者の手の形がペンを握る形になった場合、その手に沿うように仮想的に想定されるペン等を意味する。このような場合であっても、上記と同様に、仮想的に保持されている物の任意の場所（例えば、仮想的に想定されるペンのペン先）を指示体として認識し、ペン先の軌跡等を特徴点として認識し、位置を検出することができる。

また、本実施例では、１つのセンサー１７を例示しているが、複数のセンサー１７が備えられていても良い。また、本実施例では、センサー１７として撮像装置（撮像センサー）を例示しているが、これに限るものではなく、指示体を検出できるものであればその種類（検出方法）は問わない。例えば、センサー１７として、レーザーセンサー、超音波センサー等を用いることも可能であり、複数種類の検出方法を組み合わせてもよい。

頭部装着型表示装置ＨＭは、さらに、右耳用の右イヤホン１８および左耳用の左イヤホン１９を有している。右イヤホン１８および左イヤホン１９は、使用者が頭部装着型表示装置ＨＭを装着した際に、それぞれ右および左の耳に装着される。

次に、図２を参照して、頭部装着型表示装置ＨＭを装着した使用者が視認可能な虚像および外景の一例について説明する。図２に示すように、頭部装着型表示装置ＨＭを装着した使用者の視界２１には、頭部装着型表示装置ＨＭが生成する虚像２２が表示される。また、使用者の視界２１の内、虚像２２が表示される領域以外の領域には、使用者は右光学像表示部１５および左光学像表示部１６を透過して、外景２３を見ることができる（以下、虚像２２が表示される領域を「虚像表示領域２５」と称し、これ以外の領域を「外景視認領域２６」と称す）。また、本実施例の頭部装着型表示装置ＨＭでは、使用者の視界２１の内の虚像２２が表示される領域（虚像表示領域２５）についても、虚像２２の背後に外景２３が透けて見えるようになっている。なお、詳細は後述するが、虚像表示領域２５と外景視認領域２６との境界２７（虚像表示領域２５の縁部）の近傍には、所定の処理を実行するための各種命令が割り当てられており、使用者による２つの指示体の操作により実行することができる。

次に、図３を参照して、頭部装着型表示装置ＨＭの機能構成について説明する。図３に示すように、頭部装着型表示装置ＨＭは、使用者に虚像を視認させる画像表示部４０と、センサー１７と、右イヤホン１８と、左イヤホン１９と、電源部７１と、インターフェース７２と、これら各部を制御する制御部３０とを有している。

電源部７１は、頭部装着型表示装置ＨＭの各部に電力を供給する。インターフェース７２は、画像（静止画像、動画像）や音声等のコンテンツの供給元となる種々の外部機器ＯＡを接続するためのものである。外部機器ＯＡとしては、例えば、パーソナルコンピュータ（ＰＣ）や携帯端末（携帯電話やスマートフォン等）、ゲーム端末等がある。インターフェース７２としては、例えばＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース、無線ＬＡＮインターフェース等を採用することができる。

制御部３０は、ＣＰＵ（Central Processing Unit）５０と、記憶部６０とを有している。記憶部６０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等により構成されており、種々のコンピュータープログラムが格納されている。ＣＰＵ５０は、記憶部６０からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）５１や、画像処理部５２、表示制御部５３、画像解析部５４、命令実行部５５、音声処理部５６として機能する。

画像処理部５２は、インターフェース７２を介して入力されたコンテンツ等に基づいて画像表示部４０に供給するための信号を生成し、画像表示部４０へ送信する。画像表示部４０に供給するための信号は、アナログ形式とデジタル形式の場合で異なる。

例えば、アナログ形式の場合、画像処理部５２はクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部５２は、コンテンツに含まれる画像信号（例えば、１秒あたり３０枚のフレーム画像から構成されるアナログ信号）を取得し、取得した画像信号から垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃ等の同期信号を分離する。そして、画像処理部５２は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等に応じて図示しないＰＬＬ回路等を利用してクロック信号ＰＣＬＫを生成する。また、画像処理部５２は、同期信号が分離されたアナログ画像信号を、図示しないＡ／Ｄ変換回路等を用いてデジタル画像信号に変換して画像データＤａｔａを生成する。

一方、デジタル形式の場合、画像処理部５２は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがデジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力される。このため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃおよびアナログ画像信号のＡ／Ｄ変換が不要となる。

なお、画像処理部５２は、必要に応じて画像データＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった色調補正処理や、キーストン補正処理等の画像処理を実行しても良い。

表示制御部５３は、右表示駆動部１２および左表示駆動部１４を制御する制御信号を生成し、画像表示部４０に送信することにより、画像表示部４０における画像表示状態を制御する。具体的には、表示制御部５３は、制御信号により、右ＬＣＤ制御部８３による右ＬＣＤ８４の駆動のＯＮ／ＯＦＦや、右バックライト制御部８１による右バックライト８２の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部９３による左ＬＣＤ９４の駆動ＯＮ／ＯＦＦや、左バックライト制御部９１による左バックライト９２の駆動のＯＮ／ＯＦＦ等を個別に制御することにより、右表示駆動部１２および左表示駆動部１４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部５３は、右表示駆動部１２および左表示駆動部１４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

画像解析部５４は、センサー１７によって撮像された画像の画像信号を取得し、取得した画像信号の解析を行う。画像解析部５４は、画像解析により２つの指示体を検出し、各々の位置情報を出力する。画像処理部５２や表示制御部５３は、出力された指示体の位置情報に基づき、画像表示部４０に各指示体に対応するポインターＰ（図４（ａ）参照）を表示させる。なお、請求項における指示体検出部は、センサー１７および画像解析部５４を主要な構成要素とする。また、請求項におけるポインター表示部は、画像処理部５２および表示制御部５３を主要な構成要素とする。

命令実行部５５は、２つの指示体の操作に伴う各ポインターＰの移動位置や移動方向に応じて各種命令を実行する。具体的には、２つのポインターＰが虚像表示領域２５と外景視認領域２６との境界２７の近傍（いずれも図２参照）に移動した場合や、２つの指示体が虚像表示領域２５から境界２７を越えて外景視認領域２６へ移動する方向に操作された場合、２つの指示体が外景視認領域２６から境界２７を超えて虚像表示領域２５へ移動する操作が行われた場合、２つのポインターＰが境界２７に沿って移動された場合、２つの指示体（２つのポインターＰ）により虚像表示領域２５に表示されたアイコンを挟むような操作（アイコンを掴むような操作）が行われた場合、あるいは虚像表示領域２５における境界近傍で指示体が操作された場合等に、予め割り当てられた各種命令（処理）を実行する（詳細は後述する）。すなわち、本実施例では、請求項における「所定の表示領域」は虚像表示領域２５に相当し、「表示周辺領域」は外景視認領域２６に相当する。また、虚像表示領域２５と外景視認領域２６との境界２７とは、ポインターＰを表示することが可能な（ポインターＰを移動することが可能な）限界を示すものである。

音声処理部５６は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン１８および左イヤホン１９に送信する。

画像表示部４０は、右表示駆動部１２と、左表示駆動部１４と、右光学像表示部１５としての右導光板８６と、左光学像表示部１６としての左導光板９６と、を有している。なお、以下の説明では、右光学像表示部１５および右導光板８６と、左光学像表示部１６および左導光板９６と、を総称して「光学部材」とも呼ぶ。

右表示駆動部１２、光源として機能する右バックライト（ＢＬ）制御部８１および右バックライト（ＢＬ）８２と、表示素子として機能する右ＬＣＤ制御部８３および右ＬＣＤ８４と、右投写光学系８５を含んでいる。なお、以下の説明では、右バックライト制御部８１、右バックライト８２、右ＬＣＤ制御部８３および右ＬＣＤ８４を総称して「画像光生成部」とも呼ぶ。

右バックライト制御部８１は、入力された制御信号に基づいて、右バックライト８２を駆動制御する。右バックライト８２は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部８３は、入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右目用の画像データＤａｔａとに基づいて、右ＬＣＤ８４を駆動制御する。右ＬＣＤ８４は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系８５は、右ＬＣＤ８４から射出された画像光を投写するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部１５としての右導光板８６は、光透過性の樹脂素材等によって形成され、右投写光学系８５から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。なお、右投写光学系８５と右導光板８６とを総称して「導光部」とも呼ぶ。導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方法を用いることができ、例えば、回折格子（一例としてホログラム素子）を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部１４は、右表示駆動部１２と同様に、左バックライト（ＢＬ）制御部９１と、左バックライト（ＢＬ）９２と、左ＬＣＤ制御部９３と、左ＬＣＤ９４と、左投写光学系９５とを含んでいる（上記の右表示駆動部１２と同様に、左バックライト制御部９１、左バックライト９２、左ＬＣＤ制御部９３および左ＬＣＤ９４を総称して「画像光生成部」とも呼ぶ）。左表示駆動部１４に含まれる各要素の構成や機能は、右表示駆動部１２に含まれる各要素と同様であるため、ここでは説明を省略する。また、左光学像表示部１６としての左導光板９６は、光透過性の樹脂素材等によって形成され、左投写光学系９５から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。

このようにして、頭部装着型表示装置ＨＭの使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図２に示すように虚像表示領域２５内に虚像２２を視認する。

次に、図４ないし図１４を参照して、使用者による２つの指示体の操作に伴って、頭部装着型表示装置ＨＭにより虚像表示領域２５に表示されるポインターＰの動作により各種命令を実行する手順の一例について説明する。なお、以下の説明では、使用者の２本の指（例えば、両手の人差し指（指先）や、片手の親指と人差し指（指先）等）を指示体として検出する場合について説明する。

図４ないし図６は、使用者の２本の指の操作（２つのポインターの動作）によるメニュー画面の表示処理およびメニュー項目の実行手順（メニュー画面の表示およびメニュー項目を実行するためのユーザーインターフェース）の一例について説明する図である。

図４（ａ）に示すように、使用者の右手人差し指および左手人差し指（２つの指示体）が虚像表示領域２５内で検出されると（正確には、２本の指が、虚像表示領域２５と重複するセンサー１７の撮像領域内で検出されると）、頭部装着型表示装置ＨＭは、２本の指の検出位置に基づいて虚像表示領域２５に円形のポインターＰ（ポインターＰ１およびＰ２）を表示する。また、頭部装着型表示装置ＨＭは、虚像表示領域２５と外景視認領域２６との境界２７の近傍に割り当てられた命令を実行可能にするためのモード（以下、「入力スタンバイモード」と称す）に遷移する処理を実行する。

なお、虚像表示領域２５外で指示体（使用者の指）を検出した場合は、頭部装着型表示装置ＨＭは、例えば、指示体の検出方向を示す矢印形状のポインターを表示したり、あるいはポインターを点線表示する等して、使用者に対して指示体が虚像表示領域２５の外にある旨を報知する。また、この場合、頭部装着型表示装置ＨＭは、「入力スタンバイモード」には遷移しない。

次に、図４（ｂ）に示すように、入力スタンバイモードの状態で、右手人差し指の操作によりポインターＰ１が境界２７の近傍（図４（ｂ）では、一例として、虚像表示領域２５の右側の境界２７ａの近傍とする）に移動すると、頭部装着型表示装置ＨＭは、境界２７の近傍（虚像表示領域２５と外景視認領域２６との境界２７における、虚像表示領域２５の内側の近傍）に割り当てられた命令を受け付けるモード（以下、「命令受付モード」と称す）へ遷移する処理を実行し（命令受付モードへの遷移命令を実行し）、ポインターＰ１の形状を半円状に変形して表示する。またこれと共に、境界２７に沿って（境界２７の虚像表示領域２５の内側）に沿って）枠１０１（枠画像，図中の網掛け部分）を表示する。ポインターＰ１の形状の変形および枠１０１を表示することで、使用者は命令受付モードになったことを認識することができる。なお、半円状のポインターＰ１は、虚像表示領域２５の境界２７の近傍から離れた位置に移動されると（虚像表示領域２５の中央に向かって移動されると）、その形状は元の円形に戻る。

次に、命令受付モードの状態で、左手人差し指の操作によりポインターＰ２が境界２７の近傍（図４（ｂ）では、一例として、虚像表示領域２５の下側の境界２７ｄの近傍とする）に移動すると、頭部装着型表示装置ＨＭは、境界２７ｄの近傍に割り当てられたメニュー画面を表示するための命令（以下、「メニュー画面表示命令」と称す）を実行し、図４（ｃ）に示すような、虚像表示領域２５に種々のアイコンＩＣ（メニュー項目）から成るメニュー画面Ｄ０１を表示する。なお、このメニュー画面表示命令は、ポインターＰ１およびＰ２の両方（２つの指示体）が境界２７の近傍に位置する場合に実行される。

使用者は、表示されたメニュー画面Ｄ０１上の各種アイコンＩＣをタッチすることで、アイコンＩＣに割り当てられた機能を実行する。また、アイコンＩＣにタッチするのみならず、アイコンＩＣを掴むような操作（挟むような動作）を行った場合もアイコンＩＣに割り当てられた機能を実行することができる。

例えば、図５に示すように、虚像表示領域２５の右下隅のアイコンＩＣを、使用者が外景視認領域２６側から境界２７ａおよび境界２７ｄを跨ぐように親指と人差し指を動かして掴むような操作を行った場合（ポインターＰ１およびＰ２でアイコンＩＣを掴むような操作を行った場合）、アイコンＩＣに割り当てられた命令（ここでは、ソフトウェアキーボードＫＢの起動命令）を実行することができる（以下、このような操作を「フィンガーチップアクション」と称す）。すなわち、虚像表示領域２５の右下隅にはフィンガーチップアクションを実行するための命令が割り当てられている。なお、図５では、虚像表示領域２５の右下隅にあるアイコンＩＣに対してフィンガーチップアクションを実行したが、同様の操作で（２本の指（指示体）の動きで）左下隅のアイコンＩＣに対してもフィンガーチップアクションを実行することが可能である。また、虚像表示領域２５の右上隅（あるいは左上隅）にあるアイコンＩＣに対してフィンガーチップアクションを行う場合は、図６に示すように２本の指（指示体）を動かすことで実行することができる。

なお、図４（ｃ）のメニュー画面Ｄ０１におけるアイコンＩＣの配置はあくまでも一例であり、これに限るものではない。すなわち、図４（ｃ）では、アイコンＩＣを虚像表示領域２５の左端側および角部に配置したメニュー画面Ｄ０１を例示しているが、例えば、アイコンＩＣを虚像表示領域２５の右端側に配置したメニュー画面を表示しても良いし、あるいは、アイコンＩＣを左右両端に配置したメニュー画面を表示しても良い。すなわち、できるだけ視界をさえぎらないように、アイコンＩＣを虚像表示領域２５の内側の周辺部（縁部）に配置するようにすれば良い。または、アイコンＩＣを虚像表示領域２５の中心付近（中央付近）に配置したメニュー画面を表示しても良い。また、ポインターＰの境界２７の近傍への移動順により、表示するメニュー画面の内容やアイコンＩＣの配置を変えるようにしても良い。

また、図４（ｃ）では、アイコンＩＣから成るメニュー画面Ｄ０１のみを表示しているが、例えば、メニュー画面Ｄ０１の背後に、他の虚像（例えば、画像や映像等のコンテンツ）が表示されていても良い（他の虚像に重畳するようにメニュー画面Ｄ０１を表示しても良い）。

また、上述では、ポインターＰ（ポインターＰ１）が虚像表示領域２５の右側の境界２７ａの近傍に移動することで「命令受付モード」に遷移する処理を実行しているが、あくまでも一例であり、これに限るものではない。例えば、ポインターＰが左側の境界２７ｂの近傍や、上側の境界２７ｃの近傍や、下側の境界２７ｄの近傍に移動した場合にも「命令受付モード」に遷移する処理を実行することが可能である。また、命令受付モードに遷移する際、どちらのポインターＰが境界２７の近傍に移動したのかにより、枠１０１の太さや色、境界２７の近傍へ移動後のポインターＰの形状や大きさ等を変えるようにしても良い。

また、上述では、虚像表示領域２５の下側の境界２７ｄの近傍に「メニュー画面表示命令」が割り当てられているものとしているが、あくまでも一例であり、例えば、右側の境界２７ａの近傍、左側の境界２７ｂの近傍、上側の境界２７ｃの近傍等に命令を割り当てることも可能である（すなわち、境界２７の近傍であれば、命令を割り当てる位置は問わない）。なお、境界２７の近傍に命令が割り当てられていない場合は、ポインターＰの形状を禁止マークで表示することで、その旨を使用者に報知するようにしても良い。

また、図中では、便宜上、枠１０１を網掛けで表現しているが、実際には、使用者が識別可能な色（例えば、白色や灰色や赤色等）で枠１０１を表示すれば良い。また、枠１０１を、実線ではなく点線で表示するようにしても良いし、枠線なしでも良い。また、「命令受付モード」に遷移した場合や命令受付モード中に境界２７の近傍にポインターＰが移動した場合に、円状のポインターＰ１を半円状に変形表示しているが、これに限るものではない。例えば、ポインターＰのサイズを大きくしても良いし、２重丸形状のポインター等を表示しても良い。これらは、以下の説明においても同様である。

次に、図７および図８を参照して、使用者の２本の指の操作（２つのポインターの動作）によるメニュー画面の表示処理およびメニュー項目の実行の他の形態について説明する。なお、命令受付モードに遷移するまでの手順は上述と同様であるため説明を省略する。以下の説明においても同様である。

図７（ａ）に示すように、命令受付モードに遷移した状態で、左手人差し指の操作によりポインターＰ２が境界２７ｄの近傍に移動すると、頭部装着型表示装置ＨＭは、境界２７ｄの近傍に割り当てられた命令を実行し、図７（ｂ）に示すように、ポインターＰ２の形状を半円状に変形して表示すると共に、境界２７に沿って（枠１０１の虚像表示領域２５側に沿って）、帯状の操作領域１０２を表示する。この操作領域１０２の領域内には、その位置に応じて各種命令が割り当てられている。

次に、図７（ｃ）に示すように、操作領域１０２を表示した状態で、例えば、左手の親指と人差し指の操作により、操作領域１０２の右上隅にポインターＰ１およびＰ２を移動させ、２本の指を近づける操作（ポインターＰ１とポインターＰ２を近づける操作）をすることで、メニュー画面Ｄ０２が表示される。すなわち、操作領域１０２内の右上隅には、２つのポインターＰを近づけることで実行される命令（メニュー画面表示命令）が割り当てられている。

このメニュー画面Ｄ０２では、メニュー項目として、「コピー（Copy）」、「切り取り（Cut）」、「貼り付け（Paste）」、「ホーム（Home）」、「戻る（Back）」等のアイコンＩＣが表示される。「コピー（Copy）」、「切り取り（Cut）」、「貼り付け（Paste）」アイコンは、画像等のコピー、切り取り、貼り付けを行うためのものである。「ホーム（Home）」アイコンは、虚像表示領域２５の表示画像を標準のホームアプリケーション画像（不図示）に切り替えるものである。また、「戻る（Back）」アイコンは、一つ前の操作に戻るためのものである。なお、表示されるメニュー項目（アイコンＩＣ）、およびその表示位置は一例であり、これに限るものではない。

使用者は、表示されたメニュー画面Ｄ０２のアイコンＩＣをタッチすることで、アイコンＩＣに割り当てられた機能を実行する。ここでは、具体例として、画像のコピーを実行する場合の手順を説明する。まず、図８（ａ）に示すように、使用者はコピーしたい画像Ｇ１を虚像表示領域２５内に表示させた後、右手人差し指（ポインターＰ１）により「コピー（Copy）」選択してコピー機能を有効にする。そして、左手人差し指（ポインターＰ２）でコピー元となる画像Ｇ１を指定する。次に、使用者は、図８（ｂ）に示すように、左手人差し指（ポインターＰ２）でコピー先となる位置を指定し、右手人差し指（ポインターＰ１）で「貼り付け（Paste）」を選択して貼り付け機能を有効にする。これにより、図８（ｃ）に示すように、コピー元として指定した画像Ｇ１が、コピー先として指定された位置にコピーされる。なお、上述では、両手を使ってコピー操作を行っているが、片手（例えば、右手人差し指等）のみで同様の操作をすることも可能である。

なお、上述では、操作領域１０２の右上隅にメニュー画面表示命令を割り当てた例を示したが、これ以外にも操作領域１０２の所定位置に様々な命令を割り当てることも可能である。例えば、操作領域１０２の左上隅にマウスと同様のクリック機能やドラッグ機能を割り当てることも可能である。この場合、操作領域１０２の左上隅に２本の指（２つの指示体）を移動させた後、両指を虚像表示領域２５の奥行方向（使用者の視界方向）に向かって移動させることで（スイッチを押すような動作をすることで）クリック機能を実現し、両指を虚像表示領域２５の奥行方向に移動した状態を維持することで（スイッチを押した状態を維持するような動作をすることで）ドラッグ機能を実現することができる。

次に、図９ないし図１２を参照して、画像の拡大縮小処理（拡大縮小命令）を実行する場合の手順（拡大縮小処理を実行するためのユーザーインターフェース）の一例について説明する。

図９（ａ）に示すように、命令受付モードに遷移した状態で、使用者により画像Ｇ２において拡大対象となる範囲１１１が指定された後、右手人差し指を虚像表示領域２５から境界２７ａを越えて外景視認領域２６に斜め右上方向（矢印Ａの方向）に、左手人差し指を虚像表示領域２５から境界２７ｄを越えて外景視認領域２６に斜め左下方向（矢印Ｂの方向）に移動する操作が行われた場合（言い換えれば、ポインターＰ１が境界２７ａに対して斜め右上方向に、ポインターＰ２が境界２７ｄに対して斜め左下方向に、虚像表示領域２５から境界２７ａおよび２７ｄを越えて外景視認領域２６に移動するように操作された場合）、頭部装着型表示装置ＨＭは、図９（ｂ）に示すように、指定された範囲１１１の画像を所定の倍率で拡大する拡大処理（拡大命令）を実行し、その実行結果である拡大画像１１２を表示する。

この時、頭部装着型表示装置ＨＭは、ポインターＰ１およびＰ２の形状を拡大処理が行われたことを示す図形に変更すると共に、虚像表示領域２５の所定の位置に拡大処理が行われたことを示すプラス記号１１３を表示する。また、使用者が拡大操作を繰り返すことにより、拡大処理の限界に到達した場合は（これ以上拡大できない状態になった場合は）、頭部装着型表示装置ＨＭはポインターを禁止マークの形状に変更して表示する。

なお、図９（ｃ）に示すように、右手人差し指を境界２７ａに沿って上方向（矢印Ｃの方向）に、左手人差し指を境界２７ｄに沿って左方向（矢印Ｄの方向）に移動する操作が行われた場合も（言い換えれば、ポインターＰ１が境界２７ａに沿って上方向に、ポインターＰ２が境界２７ｄに沿って左方向に移動するように操作された場合も）、上述と同様に拡大処理（拡大命令）を実行することが可能である。

一方、図１０（ａ）に示すように、命令受付モードに遷移した状態で、使用者により画像Ｇ１において縮小対象となる範囲１１１が指定された後、右手人差し指を外景視認領域２６から境界２７ａを越えて虚像表示領域２５に斜め左下方向（矢印Ｅの方向）に、左手人差し指を外景視認領域２６から境界２７ｄを越えて虚像表示領域２５に斜め右上方向（矢印Ｆの方向）に移動する操作が行われた場合（言い換えれば、ポインターＰ１およびポインターＰ２が境界２７側から虚像表示領域２５の内側に移動するように操作された場合）、頭部装着型表示装置ＨＭは、図１０（ｂ）に示すように、指定された範囲１１１の画像を所定の倍率で縮小する縮小処理（縮小命令）を実行し、その実行結果である縮小画像１１４を表示する。

この時、頭部装着型表示装置ＨＭは、ポインターＰ１およびＰ２の形状を縮小処理が行われたことを示す図形に変更すると共に、虚像表示領域２５の所定の位置に、縮小処理を示すマイナス記号１１５を表示する。また、使用者が縮小操作を繰り返すことにより、縮小処理の限界に到達した場合は（これ以上縮小できない状態になった場合は）、頭部装着型表示装置ＨＭは、ポインターを禁止マークの形状に変更して表示する。

なお、図１０（ｃ）に示すように、右手人差し指を境界２７ａに沿って下方向（矢印Ｇの方向）に、左手人差し指を境界２７ｄに沿って右方向（矢印Ｈの方向）に移動する操作が行われた場合も（言い換えれば、ポインターＰ１が境界２７ａに沿って下方向に、ポインターＰ２が境界２７ｄに沿って右方向に移動するように操作された場合も）、上述と同様に縮小処理（縮小命令）を実行することが可能である。

なお、上述では、使用者が指定した範囲１１１に対して拡大処理や縮小処理を実行しているが、例えば、範囲を指定せずに画像Ｇ２全体を拡大または縮小することも可能である。また、上述では、使用者に拡大処理や縮小処理を行ったことを報知するために、ポインターＰ１およびＰ２の形状を、実行した処理内容に応じた形状に変更して表示しているが、あくまでも一例である。ポインターＰ１およびＰ２を上記とは異なる形状（図形）に変更しても良い。また、ポインターＰ１およびＰ２のいずれか一方のみを形状変更しても良い。あるいは、両ポインターＰの形状を変更しなくても良い。

また、上述では、画像Ｇ２の拡大処理や縮小処理は、１回の操作で所定の倍率ずつ拡大または縮小するようにしているが、これに限るものではなく、例えば、２本の指を移動させる方向（境界２７に対する角度）や移動させる距離、移動させる速さ、移動させるタイミング等に応じて拡大率や縮小率を可変するようにしても良い。

また、上述では、使用者に拡大処理や縮小処理を行ったことを報知するために、拡大処理を示すプラス記号１１３および縮小処理を示すマイナス記号１１５を表示しているが、これに限るものではない。例えば、拡大処理や縮小処理が認識できるようなインジケーター等を表示するようにしても良い。すなわち、使用者に処理内容を認識させることが可能であれば、その形状や手段は問わない。これらは、以下の説明においても同様である。

また、上述では画像Ｇ２の拡大縮小について説明したが、例えば、ワードプロセッサ等を用いてテキスト入力を行う場合に、上記と同様の操作で、テキスト入力画面を拡大したり、あるいは縮小したりすることも可能である。

また、上述では、両手を使用して拡大処理や縮小処理を実行する手順について説明したが、片手（例えば、右手の親指と人差し指）で拡大処理や縮小処理を行うことも可能である。例えば、図１１に示すように、片手で拡大処理を行う場合は、虚像表示領域２５内で右手の親指と人差し指を近づけた状態から（ポインターＰ１とポインターＰ２を近づけた状態から）、親指と人差し指を境界２７ｄおよび境界２７ａに向かって矢印Ｉおよび矢印Ｊの方向に広げる操作が行われた場合に拡大処理を実行することができる。

一方、片手で縮小処理を行う場合は、図１２に示すように、親指と人差し指を外景視認領域２６から境界２７ｄおよび境界２７ａを跨いで虚像表示領域２５側に矢印Ｋおよび矢印Ｌの方向に動かす操作（言い換えれば、境界２７ａと境界２７ｄで形成される角部分を外景視認領域２６側から掴む（挟む）ような操作）が行われた場合に縮小処理を実行することができる。

なお、上述では、拡大処理および縮小処理を、２つの指示体（２つのポインターＰ１、Ｐ２）を境界２７ａおよび境界２７ｄを跨ぐように（あるいは沿って移動するように）操作することで実行しているが、あくまでも一例であり、これに限るものではない。他の境界２７（例えば、境界２７ｂと境界２７ｃ等）に対して同様の操作を行った場合でも拡大処理および縮小処理を実行できる。

次に、図１３を参照して、画像の回転処理（回転命令）を実行する場合の手順（回転処理を実行するためのユーザーインターフェース）の一例について説明する。

図１３（ａ）に示すように、虚像表示領域２５に画像Ｇ３を表示し、命令受付モードに遷移した状態で、右手の親指と人差し指を境界２７ｂおよび境界２７ｃを跨ぐように反時計回りに回転する操作が行われた場合（言い換えれば、右手全体を回転させて、ポインターＰ１およびポインターＰ２を反時計周りに回転させるような操作が行われた場合）、頭部装着型表示装置ＨＭは、図１３（ｂ）に示すように、表示されている画像Ｇ３を反時計周りに９０度回転する処理（回転命令）を実行する。この時、頭部装着型表示装置ＨＭは、ポインターＰ１およびＰ２の形状を回転処理が行われたことを示す矢印形状の図形（回転方向を示す矢印形状の図形）に変更して表示する。

なお、図１３（ｃ）に示すように、右手の親指を支点とし（固定し）、人差し指のみを反時計回りに回転させる操作が行われた場合も（言い換えれば、ポインターＰ２のみを反時計周りに回転させるような操作が行われた場合も）、上述と同様に回転処理（回転命令）を実行することが可能である。また、上述では、画像Ｇ３を反時計回りに回転する手順を説明したが、指示体（親指や人差し指）を時計回りに回転操作することで、画像Ｇ３を時計回りに９０度回転させることができる。また、両手（例えば、両手の人差し指）を使って、同様の回転操作を行うことも可能である。

また、上述では、１回の回転操作で画像Ｇ３を時計周りに９０度回転するものとしているが、あくまでも一例であり、回転角度は任意である。例えば、１回の回転操作で４５度ずつ回転させるようにしても良い。また、回転角度を、指の回転度合や回転スピード等に基づいて決めても良い。あるいは、同じ位置での指の回転回数に基づいて回転角度を決めても良い。

また、上述では、使用者に回転処理を行ったことを報知するために、ポインターＰ１およびＰ２の形状を、回転方向を示す矢印形状の図形に変更して表示しているが、あくまでも一例である。ポインターＰ１およびＰ２を上記とは異なる形状（図形）に変更しても良い。また、ポインターＰ１およびＰ２のいずれか一方のみを形状変更しても良い。あるいは、両ポインターＰの形状を変更しなくても良い。

また、上述では、回転処理を、２つの指示体（２つのポインターＰ１、Ｐ２）を境界２７ｂおよび境界２７ｃの近傍で回転操作することで実行しているが、あくまでも一例であり、これに限るものではない。他の境界２７（例えば、境界２７ａと境界２７ｄ等）に対して同様の操作を行った場合でも回転処理を実行できる。

以上説明したように、第１実施形態によれば、使用者が２つのポインターＰを虚像表示領域２５の境界２７の近傍に移動するように（境界２７の近傍に位置するように）各指示体を操作するだけで、境界２７の近傍に予め割り当てられた所定の命令（処理）を実行できる。すなわち、使用者は煩雑な操作をすることなく、簡単（単純）、且つ直感的な操作で所定の命令を実行できるため、使い勝手が良い。また、簡単な操作で行えるため（煩雑な操作を必要としないため）、誤認識が少なく、安定して動作するユーザーインターフェースを提供できる。

なお、本実施例で述べた各種命令を実行するための指示体の操作方法（各種命令を実行するためのポインターＰの動き）は一例であり、これに限るものではない。

また、本実施例における各種命令の割り当て位置は一例であり、これに限るものではない。例えば、２つの指示体が虚像表示領域２５から左右の境界２７ｂ、２７ａ（または上下の境界２７ｃ、２７ｄ）を越えて外景視認領域２６に移動するように操作された場合に拡大処理をし、外景視認領域２６から左右の境界２７ｂ、２７ａ（または上下の境界２７ｃ、２７ｄ）を越えて虚像表示領域２５に移動するように操作された場合に縮小処理を実行するよう命令を割り当てても良い。

また、本実施例で説明した拡大縮小処理や回転処理等を行うための命令を組み合わせて割り当てることで、例えば、拡大処理と回転処理とを連続的に実行することも可能である。

また、本実施例で説明した命令以外の命令を割り当てることも可能である。例えば、虚像表示領域２５に映画を表示している場合には、上述の拡大縮小処理の操作と同様の操作をすることで音量を調節するような命令を割り当てる等、コンテンツに応じた命令を割り当てることが可能である。つまり、コンテンツに応じて、各境界２７の近傍に異なる命令を割り当ても良い。

また、本実施例では、２つの指示体として２本の指（指先）を例示しているが、両手の手のひら（手のひらの曲線）を指示体として検出しても良い。例えば、両手の手のひらを使って画像の拡大処理を行う場合、図１４に示すように、両手の手のひらを指示体として検出してポインターＰ１およびＰ２を表示し、両手の手のひら（ポインターＰ１およびＰ２）を虚像表示領域２５から外景視認領域２６に向かう方向に（矢印Ｍおよび矢印Ｎの方向に）広げる動作をし、境界２７ａおよび境界２７ｂの近傍に移動させることで画像Ｇ４を拡大することができる。すなわち、画像Ｇ４を中心に、両手を外側に広げる動作をすることで拡大処理を行うことができる。なお、縮小処理の場合は、拡大処理と反対の操作、すなわち、外景視認領域２６側から虚像表示領域２５に向かう方向に（虚像表示領域２５内の画像Ｇ４に向かって）両手の手のひらを近づける動作をすることで実行することができる。

また、本実施例では、２つの指示体を用いて各種処理を実行しているが、これに限るものではなく、３つ以上の指示体を用いる場合にも適用可能である。

また、本実施例では、虚像表示領域２５の大きさが、外景視認領域２６の大きさよりも小さい場合を例示しているが、これに限るものではない。虚像表示領域２５と外景視認領域２６の大きさが同じである場合（言い換えれば、虚像表示領域２５が視界２１と同等の大きさの場合）、あるいは虚像表示領域２５が外景視認領域２６よりも大きい場合（言い換えれば、虚像表示領域２５が視界２１よりも大きい場合）においても、本発明は適用可能である。後者の場合、請求項における「所定の表示領域」は外景視認領域２６の縁部（視界２１の縁部）となり、「表示周辺領域」は外景視認領域２６の外側の領域、すなわち視界２１の外側の領域となる。

［第２実施形態］
次に、図１５および図１６を参照し、本発明の第２実施形態について説明する。上記の第１実施形態では、使用者に虚像を視認させる画像表示部４０や画像表示部４０を制御する制御部３０等を１つの筐体内（装置内）に実装して頭部装着型表示装置ＨＭを実現しているが、本実施形態では、これらを別々の装置として実現して接続することで頭部装着型表示装置ＨＭを構成する。以下、第１実施形態と異なる点を説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図１５は、第２実施形態に係る頭部装着型表示装置ＨＭの外観構成を示す説明図である。頭部装着型表示装置ＨＭは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示装置３００と、画像表示装置３００を制御するコントローラー２００（制御装置）と、を備えている。請求項における表示装置は、コントローラー２００および画像表示装置３００を主要な構成要素とする。

画像表示装置３００は、右保持部１１、右表示駆動部１２、左保持部１３、左表示駆動部１４、右光学像表示部１５、左光学像表示部１６、およびセンサー１７に加え、画像表示装置３００をコントローラー２００に接続するための接続部３１０を有している。

接続部３１０は、コントローラー２００に接続される本体コード３１１と、本体コード３１１が２本に分岐した右コード３１２と、左コード３１３と、分岐点に設けられた連結部材３１４と、を含んでいる。右コード３１２は、右保持部１１の延伸方向の先端部ＡＰから右保持部１１の筐体内に挿入され、右表示駆動部１２に接続されている。同様に、左コード３１３は、左保持部１３の延伸方向の先端部ＡＰから左保持部１３の筐体内に挿入され、左表示駆動部１４に接続されている。

画像表示装置３００とコントローラー２００とは、接続部３１０を介して各種信号の伝送を行う。本体コード３１１における連結部材３１４とは反対側の端部と、コントローラー２００とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード３１１のコネクターとコントローラー２００のコネクターとの嵌合／嵌合解除により、コントローラー２００と画像表示装置３００とが接続されたり切り離されたりする。本体コード３１１と、右コード３１２と、左コード３１３には、例えば、金属ケーブルや、光ファイバーを採用することができる。

コントローラー２００は、画像表示装置３００と接続部３１０を介して接続し、画像表示装置３００による画像表示を制御する装置である。コントローラー２００は、点灯部２０１と、タッチパッド２０２と、操作キー群２０３と、電源スイッチ２０４とを有している。

点灯部２０１は、頭部装着型表示装置ＨＭの動作状態を、その発光状態によって通知する。頭部装着型表示装置ＨＭの動作状態とは、例えば、電源のＯＮ／ＯＦＦ状態等である。点灯部２０１としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。

タッチパッド２０２は、操作面上で使用者の指の操作を検出して、検出内容に応じた信号を出力する。例えば、使用者によるポインティング（位置指定）操作や、クリック操作、ドラッグ操作、フリック操作等を受け付けることができる。

本実施例のタッチパッド２０２は、第１実施形態の指示体としても機能する。すなわち、２本の指でタッチパッド２０２の操作することにより各指に対応した２つのポインターを虚像表示領域２５に表示し、操作面上での操作に基づき２つのポインターを移動させることにより、上述したメニュー画面の表示や、画像等の拡大縮小処理、回転処理等の各種命令を実行することができる。

操作キー群２０３は、方向キー、決定キー、バックキー等の各種操作キーを備える。各操作キーは、使用者に押下されることにより、押下された操作キーに予め対応づけられた処理を示す信号を出力する。電源スイッチ２０４は、スイッチのスライド操作を検出することで、頭部装着型表示装置ＨＭの電源ＯＮ／ＯＦＦを切り替える。

図１６は、第２実施形態に係る頭部装着型表示装置ＨＭの構成を機能的に示すブロック図である。図１６に示すように、コントローラー２００は、制御部３０、電源部７１およびインターフェース７２に加え、操作部２１１を有している。操作部２１１は、タッチパッド２０２、操作キー群２０３（方向キー、決定キー、バックキー）や電源スイッチ２０４である。

また、制御部３０のＣＰＵ５０は、記憶部６０からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）５１や、画像処理部５２、表示制御部５３、画像解析部５４、命令実行部５５および音声処理部５６に加え、操作制御部２１２としても機能する。

操作制御部２１２は、操作部２１１における使用者の操作に応じて操作部２１１から出力される信号を受信し、画像処理部５２や表示制御部５３等に信号に応じた動作を行わせる。例えば、操作部２１１から使用者がタッチパッド２０２に触れたこと示す信号を受信し（検出し）、画像処理部５２や表示制御部５３等にポインターＰの表示等を行わせる。すなわち、本実施例の操作制御部２１２は、請求項における指示体検出部に相当する。

画像表示装置３００は、右表示駆動部１２、左表示駆動部１４、右光学像表示部１５としての右導光板８６、および左光学像表示部１６としての左導光板９６から成る画像表示部４０と、センサー１７と、右イヤホン１８と、左イヤホン１９と、を有している。これら各部の構成は第１実施形態と同様であるため、説明を省略する。

このように、頭部装着型表示装置ＨＭを、使用者に虚像を視認させる画像表示装置３００と、画像表示装置３００を制御するコントローラー２００とにより構成する場合においても、本発明は適用可能である。

なお、本実施例では、コントローラー２００と画像表示装置３００とが接続部３１０により有線接続される構成を例示しているが、コントローラー２００と画像表示装置３００とが無線ＬＡＮや赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により接続する構成としても良い。

また、タッチパッド２０２の操作面の外周（周辺）に、外景視認領域２６に対応する操作領域（以下、「周辺操作領域」と称す）を設けても良い。これにより、例えば、タッチパッド２０２の操作面から周辺操作領域に指を移動（フリック）させることで、虚像表示領域２５から境界２７を超えて外景視認領域２６にポインターＰを移動させるような操作が可能となり、周辺操作領域から操作面に指を移動させることで、外景視認領域２６から境界２７を超えて虚像表示領域２５にポインターＰを移動させるような操作が可能となる。すなわち、操作面と周辺操作領域の境目を境界２７とみなすことができるため、タッチパッド２０２を使用する場合においても直感的な操作が可能となる。

また、本実施例のコントローラー２００の機能をパーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＡＤ、携帯電話、時計型携帯端末）等により実現しても良い。

また、上記実施例（第１実施形態および第２実施形態）では、表示装置として両眼タイプの頭部装着型表示装置ＨＭ（光学透過型頭部装着型表示装置）を例示しているが、本発明は、例えばビデオ透過型や非透過型、単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施例では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置ＨＭを例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ（眼の前方の一部を覆うタイプ）の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイや、パーソナルコンピュータ、プロジェクター、テレビ、携帯情報端末といった他の情報処理装置にも適用可能である。

また、上記実施例では、画像光生成部は、バックライト制御部（右バックライト制御部８１および左バックライト制御部９１）と、バックライト（右バックライト８２および左バックライト９２）と、ＬＣＤ制御部（右ＬＣＤ制御部８３および左ＬＣＤ制御部９３）と、ＬＣＤ（右ＬＣＤ８４および左ＬＣＤ９４）とを用いて構成されるものとしたが、この様態はあくまでも一例である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス，Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon，ＬＣｏＳは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。すなわち、この画像領域は、本実施形態における虚像表示領域２５に相当する。また、頭部装着型表示装置の光学系は、外光を光学部材を透過させて画像光と共に使用者の眼に入射させるもので有り使用者の眼の一部を覆うものであっても良く、光学部材はレーザー等の走査方式の画像光であっても良く、光学部材は画像光を部材内部を導光させる物に限らず、使用者の眼の方向に屈折または反射させる機能のみを有しても良い。

また、本実施例では、光学系として画像光生成部で射出された画像光を投写する投写光学系（右投写光学系８５および左投写光学系９５）を適用しているが、この様態はあくまでも一例である。例えば、光学系としてＭＥＭＳミラーで構成された走査光学系を採用し、走査光学系に信号光を射出する信号光変調部（信号光形成部）を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系（ＭＥＭＳミラー）に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成され、この虚像を使用者が眼で捉えることで画像を認識することができる。この場合、使用者の眼が画像を認識する領域が、本実施形態における虚像表示領域２５に相当する。すなわち、走査光学系を用いた場合においても、上述の方法によりポインター等の画像を使用者に認識させ、当該ポインターの移動により虚像表示領域２５の境界２７の近傍に割り当てられた命令の実行を制御することができる。

また、上記の実施形態に示した頭部装着型表示装置ＨＭの各機能（各処理）をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターを、頭部装着型表示装置ＨＭの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。

また、上述した実施例によらず、頭部装着型表示装置ＨＭの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。

１５…右光学像表示部 １６…左光学像表示部 １７…センサー ２５…虚像表示領域 ２６…外景視認領域 ２７、２７ａ〜２７ｄ…境界 ３０…制御部 ４０…画像表示部 ５２…画像処理部 ５３…表示制御部 ５４…画像解析部 ５５…命令実行部 ８１…右バックライト制御部 ８２…右バックライト ８３…右ＬＣＤ制御部 ８４…右ＬＣＤ ８６…右導光板 ９１…左バックライト制御部 ９２…左バックライト ９３…左ＬＣＤ制御部 ９４…左ＬＣＤ ９６…左導光板 ２００…コントローラー ３００…画像表示装置 Ｐ、Ｐ１、Ｐ２…ポインター ＩＣ…アイコン ＨＭ…頭部装着型表示装置

Claims (7)

1. 使用者が操作する複数の指示体を検出する指示体検出部と、
   前記指示体検出部により前記各指示体を検出して、前記各指示体のそれぞれと連動して動作するポインターを所定の表示領域に表示するポインター表示部と、
   複数の前記ポインターの、前記所定の表示領域と、前記所定の表示領域以外の領域である表示周辺領域との境界の近傍への移動順序に応じて、異なる命令を実行する命令実行部と、を備えたことを特徴とする表示装置。
2. 前記命令実行部は、
   表示されているコンテンツに応じた所定の命令を実行することを特徴とする請求項１に記載の表示装置。
3. 請求項１または２に記載の表示装置であって、
   前記表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、
   前記指示体検出部は、
   使用者が、前記透過型の表示装置の使用者側の反対側である前記表示装置の外側前方で操作する前記複数の指示体を検出することを特徴とする表示装置。
4. 請求項１または２に記載の表示装置であって、
   前記表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であり、
   前記透過型の表示装置の画像表示部は、
   表示対象となる画像データを用いて画像を表す画像光を生成して射出させる画像光生成部と、
   射出された前記画像光を前記使用者の眼に導く光学部材と、を含み、
   外景の光を前記光学部材を透過して前記画像光と共に前記使用者の眼に入射させることを特徴とする表示装置。
5. 請求項１または２に記載の表示装置であって、
   画像を虚像として使用者に視認させることを特徴とする透過型の頭部装着型表示装置。
6. 前記指示体検出部は、
   前記頭部装着型表示装置を装着した状態における前記使用者の前方を撮像することで、前記複数の指示体を検出することを特徴とする請求項５に記載の頭部装着型表示装置。
7. 表示装置が、
   使用者が操作する複数の指示体を検出するステップと、
   前記各指示体を検出して、前記各指示体のそれぞれと連動して動作するポインターを所定の表示領域に表示するステップと、
   複数の前記ポインターの、前記所定の表示領域と、前記所定の表示領域以外の領域である表示周辺領域との境界の近傍への移動順序に応じて、異なる命令を実行するステップと、を実行することを特徴とする表示装置の制御方法。

Images