JP2017157120A - 表示装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】操作面に対する操作を行うことが可能な表示装置において、操作面の大きさに起因する操作性の制約を緩和し、操作の終了位置を操作者が容易に制御できるようにする。【解決手段】ＨＭＤ１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０を備える。ＨＭＤ１００は、トラックパッド１４に対する操作を検出する操作検出部と、画像表示部２０に操作対象の表示オブジェクトを表示する制御部と、を備える。制御部は、トラックパッド１４に対する操作に対応して表示オブジェクトの表示位置を制御し、トラックパッド１４における操作位置の変化に対応して表示オブジェクトの移動方向を求め、表示オブジェクトの表示位置を移動させ、トラックパッド１４に対する操作が予め設定された終了条件に該当する場合に、表示オブジェクトの移動を停止させる。【選択図】図１

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、コンピューター等を操作する入力デバイスとして、接触操作を検出する操作面を備えたものが知られている（例えば、特許文献１参照）。特許文献１は、マウスを用いて操作することを前提としたコンピューターをタッチパネル端末によって操作する構成を開示する。操作面に対する操作を検出する入力デバイスでは、操作面の大きさにより操作性が制約を受ける。この制約を解消するため、特許文献１記載の構成では、タッチパネルが接触を検出する部位が移動した速度から移動距離を算出し、この移動距離にしたがってコンピューター上でマウスポインターを移動させる。

特開２０１３−１４３０７６号公報

しかしながら、特許文献１記載のように、操作に関する速度からマウスポインター等の操作の指標を移動させる場合、この指標が停止する位置、すなわち操作の終了位置を操作者（ユーザー）が制御することが困難であった。
本発明は上記事情に鑑みてなされたものであり、操作面に対する操作を行うことが可能な表示装置において、操作面の大きさに起因する操作性の制約を緩和し、操作の終了位置を操作者が容易に制御できるようにすることを目的とする。

上記目的を達成するため、本発明は、表示部と、操作面に対する操作を検出する操作検出部と、前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御する制御部と、を備え、前記制御部は、前記操作検出部が検出する前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、を特徴とする。
本発明によれば、操作面に対する操作に応じて表示オブジェクトの表示位置を移動させる場合に、表示位置の移動量を高い自由度で制御できる。例えば、操作面における操作位置が止まっても終了条件に該当しないよう設定すれば、操作位置の移動量よりも大きく表示オブジェクトを移動させることができる。この場合、操作面の大きさに起因する操作性の制約を緩和できる。さらに、表示オブジェクトの表示位置の移動を停止する位置或いはタイミングを容易に制御できる。

また、本発明は、上記表示装置において、前記制御部は、前記表示オブジェクトの表示位置の移動方向を、前記操作面における操作位置の移動方向に対応する方向に設定すること、を特徴とする。
本発明によれば、操作者が、操作対象の表示オブジェクトを意図する方向に移動させることができ、操作性の向上を図ることができる。

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作を検出した後、前記表示オブジェクトの表示位置の移動方向を求める処理を行い、その後に前記表示オブジェクトの表示位置を移動させること、を特徴とする。
本発明によれば、操作対象の表示オブジェクトを適切な方向に移動させることができる。

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作を検出した後、前記表示オブジェクトの表示位置の移動方向を求める処理を行う間、前記操作面の操作位置に対応する表示位置に前記表示オブジェクトを表示させること、を特徴とする。
本発明によれば、表示オブジェクトの移動方向を求める処理を行う間においても表示オブジェクトの表示位置を適切に制御できる。このため、操作者が違和感なく操作を行える。また、短時間または操作位置の移動量が小さい操作に対応して表示オブジェクトを移動させることができる。

また、本発明は、上記表示装置において、前記制御部は、前記表示オブジェクトの表示位置の移動速度を、前記操作面における操作位置の移動量または移動速度に対応する速度に設定すること、を特徴とする。
本発明によれば、操作者が表示オブジェクトの移動速度を容易に制御できるので、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示装置において、前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記操作検出部が検出する前記操作面における操作位置が変化した場合、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、を特徴とする。
本発明によれば、表示オブジェクトの表示位置の移動が開始した後に、操作に応じて、表示位置の移動方向及び移動速度の少なくともいずれかを変化させる。このため、操作者の操作により、表示オブジェクトの表示位置の移動が開始した後であっても、操作者が表示オブジェクトの移動方向や移動速度を調整できる。

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出した場合に、前記終了条件に該当すると判定すること、を特徴とする。
本発明によれば、操作者は、表示オブジェクトの表示位置の移動を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間が経過した場合に、前記終了条件に該当すると判定すること、を特徴とする。
本発明によれば、操作面から操作体が離れた後であっても表示オブジェクトの表示位置の移動を継続できる。このため、操作面において操作位置が移動する量よりも大きく、表示オブジェクトの表示位置を移動させることができ、操作面の大きさの制約を回避できる。

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間以内に、前記操作検出部が前記操作面に対する接触を検出した場合に、前記操作検出部が検出した新たな接触の操作位置に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、を特徴とする。
本発明によれば、操作面から操作体が離れた後であっても、表示オブジェクトの表示位置の移動について、移動方向または移動速度を制御できる。このため、表示オブジェクトの表示位置の移動の態様を、高い自由度で制御できる。

また、本発明は、上記表示装置において、前記操作面を有する操作デバイスを備え、前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、を特徴とする。
本発明によれば、表示オブジェクトの表示位置が移動する間に、操作デバイスの姿勢を変化させることにより、表示オブジェクトの表示位置の移動方向や移動速度を制御できる。このため、簡単な操作によって、表示オブジェクトの表示位置の移動の態様を、高い自由度で制御できる。

また、本発明は、上記表示装置において、前記操作面において前記操作検出部が操作を検出する面積またはサイズは、前記表示部が画像を表示する表示領域の面積またはサイズよりも小さいこと、を特徴とする。
本発明によれば、表示領域よりも小さい操作面を利用して、表示オブジェクトを任意に移動させることができ、操作性の向上を図ることができる。また、装置構成の自由度が高まるという利点がある。

また、本発明は、上記表示装置において、前記操作面の形状は、前記表示部が画像を表示する表示領域とは異なる形状であること、を特徴とする。
本発明によれば、表示領域と異なる形状の操作面を利用して、表示オブジェクトを任意に移動させることができ、操作性の向上を図ることができる。また、装置構成の自由度が高まるという利点がある。

また、上記目的を達成するため、本発明の表示装置は、表示部と、操作面に対する操作を検出する操作検出部と、前記操作検出部により検出される操作に応じて、仮想入力平面に対する入力データを生成する制御部と、を備え、前記制御部は、前記操作検出部が前記操作面において操作位置が移動する操作を検出した場合に、前記操作に対応して前記仮想入力平面における入力データの生成を開始し、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記入力データの生成を停止すること、を特徴とする。
本発明によれば、仮想入力平面に対する入力データを、操作面の大きさの制約を超えて生成させることができる。例えば、入力データに基づき表示オブジェクトの表示位置を移動させる構成とすれば、表示オブジェクトの表示位置の移動量を高い自由度で制御できる。従って、操作面の大きさに起因する操作性の制約を緩和できる。

また、本発明は、上記表示装置において、前記制御部が生成する入力データは、前記仮想入力平面における入力位置、前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを含むこと、を特徴とする。
本発明によれば、操作面に対する操作により、仮想入力平面における入力位置、入力位置の移動方向、或いは入力位置の移動速度を入力できる。

また、本発明は、上記表示装置において、前記制御部は、前記入力データに含まれる前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを、前記操作検出部が検出する前記操作位置の移動量または移動速度に応じて設定すること、を特徴とする。
本発明によれば、仮想入力平面における入力位置、入力位置の移動方向、或いは入力位置の移動速度を、操作面に対する操作により制御できる。

また、本発明は、上記表示装置において、前記操作検出部は、前記操作面に操作体が接触する操作に応じて接触位置を操作位置として検出し、前記制御部は、前記操作検出部が、前記操作面に対する接触が解除されたことを検出した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、を特徴とする。
本発明によれば、操作者は、入力データの生成を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する接触の解除を検出してから所定時間が経過した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、を特徴とする。
本発明によれば、操作面から操作体が離れた後であっても入力データの生成を継続することができる。例えば、入力データに対応して表示オブジェクトの表示位置を移動させる場合、操作面への接触が解除された後も、表示位置の移動を継続できる。このため、操作面において操作位置が移動する量に制限されず、入力データを入力でき、操作面の大きさの制約を回避できる。

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部により検出される操作に応じて、前記仮想入力平面及び前記仮想入力平面に対して垂直な方向を含む三次元の入力データを生成可能であり、前記操作検出部が前記操作面における複数の操作位置の操作を検出した場合に、前記仮想入力平面に垂直な方向の成分を含む前記入力データを生成すること、を特徴とする。
本発明によれば、操作面に対する操作によって三次元的な入力を行うことができる。

また、本発明は、上記表示装置において、前記操作面を有する操作デバイスを備え、前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、前記制御部は、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記操作面と前記仮想入力平面との対応を変更すること、を特徴とする。
本発明によれば、操作面を有する操作デバイスを傾ける操作によって、入力データの方向を変化させることができる。

また、本発明は、上記表示装置において、前記仮想入力平面と前記表示部における表示領域とが対応付けられ、前記制御部は、前記表示部に操作対象の表示オブジェクトを表示させ、前記入力データに対応して前記表示オブジェクトの表示位置を制御すること、を特徴とする。
本発明によれば、操作面に対する操作に応じて表示オブジェクトの表示位置を移動させることができ、表示位置の移動量を高い自由度で制御できる。

また、上記目的を達成するため、本発明の表示装置の制御方法は、表示部を有する表示装置を制御して、操作面に対する操作を検出し、前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御し、前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作面に対する予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、を特徴とする。
本発明によれば、操作面に対する操作に応じて表示オブジェクトの表示位置を移動させる場合に、表示位置の移動量を高い自由度で制御できる。例えば、操作面における操作位置が止まっても終了条件に該当しないよう設定すれば、操作位置の移動量よりも大きく表示オブジェクトを移動させることができる。この場合、操作面の大きさに起因する操作性の制約を緩和できる。さらに、表示オブジェクトの表示位置の移動を停止する位置或いはタイミングを容易に制御できる。

また、上記目的を達成するため、本発明は、表示部を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、操作面に対する操作を検出する操作検出部と、前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御し、前記操作面における操作位置の変化に対応して前記表示オブジェクトの移動方向を求め、前記操作検出部が検出する前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させる制御部として機能させる、プログラムとして構成することができる。
このプログラムをコンピューターが実行することにより、コンピューターが表示する操作対象位置の表示オブジェクトを、操作面に対する操作に応じて移動させる場合に、表示位置の移動量を高い自由度で制御できる。例えば、操作面における操作位置が止まっても終了条件に該当しないよう設定すれば、操作位置の移動量よりも大きく表示オブジェクトを移動させることができる。この場合、操作面の大きさに起因する操作性の制約を緩和できる。さらに、表示オブジェクトの表示位置の移動を停止する位置或いはタイミングを容易に制御できる。

また、本発明は、上述したプログラムを記憶した記憶媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現することもできる。記憶媒体としては、磁気的、光学的記憶媒体あるいは半導体メモリーデバイスを用いるもののいずれであってもよく、その他の種類の記憶媒体を使用してもよい。この記憶媒体は、メモリーカード等の可搬型記憶媒体、上記装置に固定的に設けられる記憶媒体、上記装置と通信回線を介して接続された装置が備える記憶媒体のいずれであってもよく、その他の具体的な実装形態も任意である。
上記プログラムは、オペレーティングシステムを実装して動作する装置において、オペレーティングシステム上で動作する単体のアプリケーションプログラムとして実装することができる。また、単体のアプリケーションプログラムに限らず、オペレーティングシステム、デバイスドライバー、及びアプリケーションプログラムのうち複数の機能として実装されてもよい。例えば、操作面を備える操作デバイスを制御するデバイスドライバープログラム、及び／または、オペレーティングシステムにおいて操作デバイスの操作を受け付けるプログラムモジュールが協働して上記プログラムを実現する構成であってもよい。また、複数のアプリケーションプログラムにより、本発明の上記プログラムを実現する構成であってもよく、具体的なプログラムの形態は任意である。

第１の実施形態のＨＭＤの外観構成を示す説明図。 第１の実施形態のＨＭＤを構成する各部の機能ブロック図。 トラックパッドの操作に対応するＨＭＤの動作を示す説明図であり、トラックパッドの操作例を示す。 トラックパッドの操作に対応するポインターの移動の例を示す説明図。 トラックパッドの操作に対するポインターの移動の別の例を示す説明図。 トラックパッド、仮想入力平面及び表示可能領域の対応を示す模式図。 第１の実施形態のＨＭＤの動作を示すフローチャート。 トラックパッドの操作に対しリング型ＵＩの表示を遷移させる例を示す説明図。 第２の実施形態のＨＭＤの動作を示すフローチャート。 第３の実施形態における操作の例を示す説明図。 第３の実施形態のＨＭＤの動作を示すフローチャート。 第４の実施形態のＨＭＤの動作を示すフローチャート。 第５の実施形態のＨＭＤの動作を示すフローチャート。 第５の実施形態のＨＭＤの動作を示すフローチャート。 第５の実施形態における操作の例を示す説明図。 第６の実施形態におけるトラックパッドにおける操作領域の設定状態を示す図。 第６の実施形態のＨＭＤの動作を示すフローチャート。 第７の実施形態のＨＭＤの動作を示すフローチャート。 第８の実施形態のＨＭＤの動作を示すフローチャート。 トラックパッド及び仮想入力平面の対応を示す模式図。 第９の実施形態のＨＭＤの動作を示すフローチャート。 本発明の実施形態の変形例を示す図。 本発明の実施形態の変形例を示す図。 本発明の実施形態の変形例を示す図。 本発明の実施形態の変形例を示す図。

［第１の実施形態］
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した第１の実施形態に係るＨＭＤ１００の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display：頭部装着型表示装置）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者がＨＭＤ１００を操作するためのコントローラーとしても機能する。また、制御装置１０は、操作デバイスとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続される。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）を備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する右光学像表示部２６及び左光学像表示部２８を用いる場合について説明する。

カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ６１の撮影方向すなわち画角は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、右光学像表示部２６及び左光学像表示部２８を通した使用者の視界の全体を撮影できるようにカメラ６１の撮像範囲が設定されているとより好ましい。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６とを備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１９０に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

また、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０とのそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指等の操作体によりタッチ操作するトラックパッド１４（操作面）を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電容量検出式や圧力検出式、光学式といった種々のトラックパッドを採用できる。トラックパッド１４が圧力検出式や光学式の場合、トラックパッド１４を操作する操作体は、使用者の指、ペン、ペン型の専用の指示器など多種のものを使用できる。トラックパッド１４が静電容量検出式の場合、操作体としては、指等の人体の一部、及び、静電容量式スタイラスペン等を使用できる。また、操作体として、使用者が、手以外の身体により操作するものを用いることも可能である。例えば、トラックパッド１４が、使用者が足、肘、肩、腰などを接触させる操作が可能なものとしてもよい。この場合、使用者の足、肘、肩、腰などがトラックパッド１４に接触した位置が操作位置として検出され、接触位置が移動すれば、操作位置の移動が検出される。この構成は、トラックパッド１４を、使用者が足、肘、肩、腰などを接触させやすい位置に配置することで実現することができる。また、トラックパッド１４のサイズを、使用者が足、肘、肩、腰などを接触させるのに適したサイズとしてもよい。また、トラックパッド１４を有するシート状または板状のデバイスを、制御装置１０とは別に設けて、このデバイスと制御装置１０とが接続される構成としてもよい。

輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、ＨＭＤ１００の電源投入状態を切り替えるスイッチであり、例えばスライド操作が可能な構成となっている。

図２は、ＨＭＤ１００を構成する各部の機能ブロック図である。
図２に示すように、ＨＭＤ１００は、インターフェイス１２５を介して外部機器ＯＡに接続される。インターフェイス１２５は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１２５としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等が用いられる。

ＨＭＤ１００の制御装置１０は、制御部１４０と、操作部１１１と、入力情報取得部１１０（操作検出部）と、記憶部１２０と、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２とを有している。

操作部１１１は、使用者による操作を検出する。操作部１１１は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７及び電源スイッチ１８の各操作子を含む。

入力情報取得部１１０は、操作部１１１の各操作子の操作を検出し、操作内容を示す操作データを制御部１４０に出力する。この操作データは、具体的には、操作された操作子を特定するデータと、操作子の操作の種別を示すデータとを含む。例えば、決定キー１１、表示切替キー１３、輝度切替キー１５、メニューキー１７、または電源スイッチ１８が操作された場合を想定する。この場合、入力情報取得部１１０は、操作されたキーやスイッチを示すデータと操作「有」を示すデータとを含む操作データを制御部１４０に出力する。また、例えば方向キー１６は４方向に操作可能であるため、入力情報取得部１１０は、方向キー１６の操作を検出すると、方向キー１６を示すデータと操作方向を示すデータとを制御部１４０に出力する。

トラックパッド１４に対する操作を検出した場合、入力情報取得部１１０は、トラックパッド１４において接触操作された位置（操作位置）を検出する。入力情報取得部１１０は、操作位置を示すデータと、操作された操作子がトラックパッド１４であることを示すデータとを含む操作データを制御部１４０に出力する。この操作データは、例えば、操作位置を、トラックパッド１４の操作エリアにおける相対位置として示すデータを含む。操作データの具体的態様は任意である。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納している。また、記憶部１２０には、ＨＭＤ１００の画像表示部２０に表示する画像データが格納されていても良い。例えば、記憶部１２０は、ＨＭＤ１００の動作に係る設定値等を含む設定データ１２１、及び、制御部１４０が画像表示部２０に表示させる文字や画像のデータを含むコンテンツデータ１２３を記憶する。

また、制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。３軸センサー１１３（姿勢検出部）は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））や、Ｍｉｒａｃａｓｔ（登録商標）等の無線通信の規格に準じた無線データ通信を実行する。また、通信部１１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、ＲＦＩＤ、Ｆｅｌｉｃａ（登録商標）等の近距離無線通信の規格に準じた無線データ通信を実行することも可能である。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７及びインターフェイス１２５を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡからコンテンツデータを取得する。データ取得部ＤＡは、ＨＭＤ１００が表示する画像のデータを、外部機器ＯＡから取得する。

音声認識部１１４は、マイク６３により集音され、後述する音声処理部１９０によりディジタルデータに変換されたディジタル音声データから特徴を抽出してモデル化する。音声認識部１１４は、音声の特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識や、音声をテキストに変換するテキスト変換を行う。また、音声認識部１１４は、音声認識の処理において、音声データの言語の種類を識別できる構成であってもよい。

制御部１４０は、ハードウェアとして、ＣＰＵ、ＲＯＭ、ＲＡＭ（図示略）等を備える。制御部１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）１５０を含む各部の機能を実行する。具体的には、制御部１４０は、画像処理部１６０、表示制御部１７０、操作検出部１８３、ＧＵＩ制御部１８５、及び音声処理部１９０として機能する。

画像処理部１６０は、コンテンツを表示するための垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、クロック信号ＰＣＬＫ等、表示する画像の画像データ（図中、Ｄａｔａ）を出力する。
画像処理部１６０の処理によって表示されるコンテンツの画像データは、インターフェイス１２５や通信部１１７を介して受信する他、制御部１４０の処理によって生成される画像データであってもよい。例えば、ゲームのアプリケーションプログラムの実行中に、操作部１１１の操作に対応して画像データを生成して表示することができる。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１７０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを個別に制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に制御する。
これにより、表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたりする。また、表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４の両方共に画像光を生成させないようにすることもできる。
また、表示制御部１７０は、右ＬＣＤ制御部２１１に対する制御信号と、左ＬＣＤ制御部２１２に対する制御信号とのそれぞれを、送信部５１と送信部５２とを介して送信する。また、表示制御部１７０は、右バックライト制御部２０１に対する制御信号を右バックライト制御部２０１に送信し、左バックライト制御部２０２に対する制御信号を左バックライト制御部２０２により送信する。

表示制御部１７０は、画像表示部２０によりＡＲコンテンツを表示する。ＡＲコンテンツは、使用者が画像表示部２０越しに対象物を見ている状態で、対象物が視認される位置に対応して表示される文字や画像を含む。例えば、画像表示部２０を透過して見える外景中の対象物、すなわち実空間に存在する対象物に重なって、或いは対象物を避けるように、ＡＲコンテンツが表示される。表示制御部１７０は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変える。
ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物の壁面など移動不可能なものであってもよいし、自然物であってもよい。

ＡＲコンテンツは、記憶部１２０に記憶されるコンテンツデータ１２３、または、制御部１４０の処理により生成されるデータに基づき表示される。これらのデータは画像データやテキストデータを含むことができる。

表示制御部１７０は、使用者が対象物を視認する位置を検出し、検出した位置に対応するようにＡＲコンテンツの表示位置を決定する。使用者が対象物を視認する位置を検出する方法は任意であるが、本実施形態では、表示制御部１７０がカメラ６１の撮像画像データから、使用者の視界に位置する対象物を検出する。撮像画像データを解析して対象物の画像を抽出あるいは検出する処理では、対象物の画像の形状、色、大きさ等に関する特徴量のデータが使用される。これらのデータは、コンテンツデータ１２３に含めることができる。表示制御部１７０は、カメラ６１の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ６１の撮像範囲における対象物の位置を特定する。そして、表示制御部１７０は、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。

音声処理部１９０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示略）及び左イヤホン３４内のスピーカー（図示略）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２及び左イヤホン３４のそれぞれから、例えば周波数等が変えられた異なる音が出力される。

画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６とを備えている。

振動センサー６５は、加速度センサーを利用して構成され、画像表示部２０の内部に配置される。振動センサー６５は、例えば、右保持部２１において右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているとき、制御部１４０は、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、制御部１４０は、使用者の視線方向を推定できる。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、振動センサー６５及び９軸センサー６６のインターフェイスである。振動センサー６５による振動の検出結果や、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御装置１０の制御部１４０に送られる。

右表示駆動部２２は、受信部５３と、光源として機能する右バックライト（ＢＬ）制御部２０１及び右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１及び右ＬＣＤ２４１と、右投写光学系２５１とを備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４と、光源として機能する左バックライト（ＢＬ）制御部２０２及び左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２及び左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。

制御部１４０は、画像表示部２０により、ＡＲコンテンツの他、ＧＵＩ（Graphical User Interface）を表示できる。ＧＵＩ制御部１８５は、画像表示部２０によるＧＵＩの表示を制御し、ＧＵＩ操作用の指標（ＧＵＩ操作の操作位置の指標）であるマーカー、ポインター（いわゆるマウスポインターを含む）、アイコン等の画像や文字を含むＧＵＩオブジェクトを表示する。ＧＵＩオブジェクトは本発明の表示オブジェクトに相当する。
ＧＵＩ制御部１８５は、操作部１１１の操作に対応して、ＧＵＩオブジェクトの表示状態を更新する。本実施形態において、ＧＵＩ制御部１８５は、トラックパッド１４で操作された操作位置に対応してポインターを表示する。画像表示部２０の表示領域におけるポインターの表示位置と、トラックパッド１４における操作位置とは、予め対応付けられている。ＧＵＩ制御部１８５は、操作検出部１８３からトラックパッド１４の操作位置の座標が入力されると、入力された操作位置に対応する表示位置に、ポインターを表示し、或いは、表示中のポインターの表示位置を変更する。

操作検出部１８３は、入力情報取得部１１０から入力される操作データに基づいて、操作部１１１の各操作子に対して行われる操作を検出し、操作に対応して制御部１４０が実行する処理を決定する。
操作検出部１８３は、操作データを解析して、操作された操作子が決定キー１１、表示切替キー１３、輝度切替キー１５、メニューキー１７、または電源スイッチ１８である場合、これらの操作に対応する処理を選択する。決定キー１１の操作に対しては、ＧＵＩ制御部１８５の制御により表示されるメニュー画面等に対する決定処理が選択される。表示切替キー１３が操作された場合には、表示する画面を切り替える処理が選択される。例えば、操作検出部１８３は、ＧＵＩ制御部１８５の制御により画面を表示する状態と、コンテンツデータ１２３を表示する状態とを含む複数の表示状態を順次切り替える処理を選択する。輝度切替キー１５が操作された場合には、画像表示部２０における表示輝度を調整する処理が選択される。具体的には、表示制御部１７０が画像処理部１６０を制御して、右表示駆動部２２及び左表示駆動部２４に出力される画像データの輝度を変化させる処理が選択される。或いは、表示制御部１７０が右バックライト制御部２０１、左バックライト制御部２０２の輝度を変更する処理が選択される。

方向キー１６が操作された場合、操作検出部１８３は、方向キー１６の操作方向に対応して、ＧＵＩ制御部１８５の制御により表示されるメニュー画面等に対する処理等を選択する。電源スイッチ１８が操作された場合、操作検出部１８３は、ＨＭＤ１００の電源をオフにするシャットダウン処理、或いは、ＨＭＤ１００の電源をオンにする起動シーケンスを選択する。

トラックパッド１４が操作された場合、操作検出部１８３は、トラックパッド１４の操作位置の座標に対応して、ＧＵＩ制御部１８５が表示処理を行う座標を求める。
本実施形態では、ＧＵＩ制御部１８５が、トラックパッド１４の操作位置に対応して表示オブジェクトを表示する。また、ＧＵＩ制御部１８５は、トラックパッド１４の操作に対応して、表示オブジェクトの表示位置を変更する。従って、制御装置１０を操作する使用者（ユーザー、操作者）が、トラックパッド１４に接触する操作（タッチ操作）を行うと、画像表示部２０に表示される表示オブジェクトの表示位置が移動する。

図３は、トラックパッド１４の操作に対応するＨＭＤ１００の動作を示す説明図であり、トラックパッド１４の操作例を示す。

トラックパッド１４に対する操作には、例えば図３に示すように、トラックパッド１４に指等を接触させたまま移動させる操作がある。図３に例示する操作は、使用者の手Ｈが操作位置Ａ１でトラックパッド１４に接触し、接触状態を維持したまま、手Ｈが操作位置Ａ１から操作位置Ａ２に移動する操作である。この例では手Ｈが操作体として使用される。図３に符号Ｘ、Ｙで示すように、本実施形態では、トラックパッド１４の左上隅を基準位置（例えば、原点）とするＸ−Ｙ直交座標が設定される。入力情報取得部１１０は、トラックパッド１４に対する手Ｈの接触を検出すると、手Ｈが接触した位置である操作位置を示す操作データを生成して出力する。操作検出部１８３は、操作部１１１から入力される操作データに基づき、操作位置のＸ座標、Ｙ座標を取得、或いは特定する。
ここで、入力情報取得部１１０が生成して出力する操作データが、操作位置のＸ座標、Ｙ座標を含んでもよい。また、入力情報取得部１１０が、トラックパッド１４における操作位置を特定するためのアナログ検出値、或いはディジタルデータを生成して出力する構成であってもよい。この場合、操作検出部１８３は、入力情報取得部１１０が出力するアナログ検出値、或いはディジタルデータに基づき、操作位置のＸ座標及びＹ座標を求める処理を行う。

操作検出部１８３は、操作位置の座標に基づいて、入力データを生成する。入力データは、トラックパッド１４の操作で入力された位置を、オペレーティングシステム１５０が有する入力平面における位置に変換したデータである。
本実施形態において、オペレーティングシステム１５０は、二次元の位置入力操作を受け付けるため、仮想の入力平面を設定する。操作検出部１８３は、入力情報取得部１１０が出力する操作データに基づき、オペレーティングシステム１５０の入力平面における位置（以下、入力位置という）を示す入力データを生成する。この仮想の入力平面を、以下の説明では仮想入力平面ＩＰとする。操作検出部１８３は、仮想入力平面ＩＰにおける入力位置を示す入力データをＧＵＩ制御部１８５に出力する。なお、仮想入力平面ＩＰは、オペレーティングシステム１５０に規定されるものに限定されない。例えば、オペレーティングシステム１５０上で動作するアプリケーションプログラムに対し、或いは、アプリケーションプログラムを記述するプログラミング言語に対応して、座標系が定義される構成が考えられる。この場合、定義される座標系に対応する仮想入力平面ＩＰを設定でき、これらに対応する入力データを、制御部１４０が生成して出力する構成に、本発明を適用することもできる。
また、仮想入力平面ＩＰは、二次元の位置入力を受け付ける場合に限らず使用できる。例えば、オペレーティングシステム１５０を含む制御装置１０が、三次元の位置入力を受け付ける構成が考えられる。この構成において、制御装置１０は、仮想入力平面ＩＰ内における二次元の位置入力、及び、仮想入力平面ＩＰを基準として、例えば仮想入力平面ＩＰに垂直な方向を座標軸とする位置入力を検出可能な構成であってもよい。この場合、制御装置１０は、仮想入力平面ＩＰを基準として、三次元の位置入力を受け付けて処理を実行できる。

トラックパッド１４を操作する場合の操作体（例えば、手Ｈ）の動きを、ジェスチャーと呼ぶ。ジェスチャーには、トラックパッド１４に接触する動き、図３のように操作体が接触したまま移動する動き、トラックパッド１４を叩く（タップする）動き等がある。本実施形態では、操作体が図３のようにトラックパッド１４に接触したまま移動する動きを、スライドジェスチャーと呼ぶ。
トラックパッド１４が、複数の位置に対する同時操作を検出可能な、マルチタッチ対応型の場合、複数の操作体がトラックパッド１４に接触し、これら複数の操作体の接触位置が移動するジェスチャーを行うことができる。

図４は、トラックパッド１４の操作に対応するポインターＰの移動の例を示す説明図である。また、図５は、トラックパッド１４の操作に対応するポインターＰの移動の例を示す説明図である。
ＧＵＩ制御部１８５は、操作検出部１８３が生成する入力データで特定される位置に対応して、図４に示すようにポインターＰを表示する。図４には、画像表示部２０を装着する使用者の視野ＶＲを示し、右表示駆動部２２、左表示駆動部２４が画像を表示可能な表示可能領域を符号Ｄで示す。なお、本実施形態では画像表示部２０の右表示駆動部２２、及び左表示駆動部２４のいずれにも同じ表示を行うため、図４では右表示駆動部２２と左表示駆動部２４とを区別しない。図５、図６、及び図８も同様である。

ＧＵＩ制御部１８５が表示制御部１７０及び画像処理部１６０を制御することにより、表示可能領域Ｄに、ポインターＰが表示される。ポインターＰは、ＧＵＩの操作用に表示され、表示領域における操作対象位置を示す指標である。ポインターＰは、表示オブジェクトの一例である。ポインターＰの形状は円形でなくてもよく、四角形や三角形等の幾何学図形、記号、矢印等、ポインターＰの形状とサイズは制限されない。

図３の例では、手Ｈの位置が操作位置Ａ１から操作位置Ａ２に移動する間に、入力情報取得部１１０が、予め設定されたサンプリング周期でトラックパッド１４における操作位置を検出する。従って、入力情報取得部１１０は、サンプリング周期に従って、トラックパッド１４における操作位置を示す操作データを出力する。操作検出部１８３は、例えば、入力情報取得部１１０が操作データを出力する毎に、操作データに対応する入力データを生成し、ＧＵＩ制御部１８５に出力する。ＧＵＩ制御部１８５は、入力データが示す入力位置に対応するポインターＰの表示位置を求め、求めた表示位置にポインターＰを表示させる。この結果、図３の操作位置Ａ１から操作位置Ａ２まで手Ｈが移動する操作に対応して、ＧＵＩ制御部１８５は、図４に示すように、操作位置Ａ１に対応する表示位置Ｂ１から、操作位置Ａ２に対応する表示位置Ｂ２にまでポインターＰを移動させる。図４の例では、ＧＵＩ制御部１８５は表示位置Ｂ１と表示位置Ｂ２との間の複数の位置にポインターＰを表示する処理を、繰り返し実行する。

入力操作に対する通常処理において、トラックパッド１４における操作位置の座標と、仮想入力平面ＩＰにおける入力位置の座標と、表示可能領域Ｄにおける表示位置の座標とは予め対応付けられる。ＧＵＩ制御部１８５は、表示可能領域Ｄ上の座標に対応する右ＬＣＤ２４１及び左ＬＣＤ２４２における表示位置を求め、この表示位置にポインターＰの画像を表示させる。これにより、操作に対応してポインターＰの表示位置が移動する。

図１を参照して説明したように、制御装置１０は使用者が携帯する装置であり、トラックパッド１４を大型化することは容易でないため、使用者が視野ＶＲにおいて視認する表示可能領域Ｄの大きさに比べ、トラックパッド１４は小さい。
そこで、本実施形態では、操作検出部１８３の処理により、トラックパッド１４における操作位置と、表示可能領域Ｄの表示位置との対応を変化させる。

入力操作に対する通常処理において、操作検出部１８３は、トラックパッド１４において実際に検出された操作位置に対応する入力位置を示す入力データを生成し、ＧＵＩ制御部１８５に渡す。このため、図３に示す操作位置Ａ１から操作位置Ａ２までの操作に対応して、ＧＵＩ制御部１８５は、図４の表示位置Ｂ１から表示位置Ｂ２までポインターＰを表示する。

操作検出部１８３は、スライドジェスチャーに対応して、通常処理とは異なる入力処理を行うことができる。この入力処理で、操作検出部１８３は、操作データに含まれる座標に対応する入力位置を示す入力データを生成するほか、操作データに含まれる座標に対応しない入力位置を示す入力データを生成する。具体的には、操作検出部１８３は、トラックパッド１４における操作位置が移動しない状態で、仮想入力平面ＩＰ上で入力位置が移動するように入力データを生成し、ＧＵＩ制御部１８５に出力する。この場合、操作検出部１８３は、入力データを連続して複数回生成し、それぞれの入力データにおける入力位置を異なる位置にする。この場合、ＧＵＩ制御部１８５がポインターＰを表示する位置は、仮想入力平面ＩＰにおける入力位置に合わせて移動する。ＧＵＩ制御部１８５の動作は、通常処理であっても、通常処理とは異なる入力処理であっても同様である。

この場合、図３に示す操作位置Ａ１から操作位置Ａ２まで手Ｈが移動する操作に対応して、ＧＵＩ制御部１８５が、図５に示すように、ポインターＰの表示位置を、表示位置Ｂ１から表示位置Ｂ３に移動させる。表示位置Ｂ１〜Ｂ３間の距離は、図４に示す表示位置Ｂ１〜Ｂ２間の距離よりも長い。つまり、通常処理では、ポインターＰの表示位置の移動量は、トラックパッド１４で手Ｈが動いた量に対応するが、ＨＭＤ１００は、トラックパッド１４で手Ｈが動いた量に比べて大きくポインターＰを移動させることができる。

図６は、トラックパッド１４、仮想入力平面ＩＰ及び表示可能領域Ｄの対応を示す模式図である。
本実施形態では、オペレーティングシステム１５０が仮想的に設定する仮想入力平面ＩＰは、トラックパッド１４に並行な面として定義される。このため、トラックパッド１４におけるＸ軸及びＹ軸で構成される直交座標と、仮想入力平面ＩＰにおけるＸ軸及びＹ軸で構成される直交座標系とは、重ね合わせることができる。また、表示可能領域Ｄは、仮想入力平面ＩＰに並行な面として定義される。このため、仮想入力平面ＩＰにおけるＸ軸及びＹ軸で構成される直交座標系と、表示可能領域ＤにおけるＸ軸及びＹ軸で構成される直交座標とは、重ね合わせることができる。

トラックパッド１４、仮想入力平面ＩＰ及び表示可能領域Ｄのサイズは異なっていてもよい。また、トラックパッド１４における操作位置Ａの座標の解像度と、仮想入力平面ＩＰにおける入力座標ＩＡの座標の解像度と、表示可能領域Ｄにおける表示位置Ｂの解像度とは異なっていてもよい。

この構成では、操作検出部１８３は、演算式、関数、行列等によって、トラックパッド１４における操作位置の座標を、仮想入力平面ＩＰにおける入力位置の座標に変換できる。同様に、ＧＵＩ制御部１８５は、仮想入力平面ＩＰにおける入力位置の座標を表示可能領域Ｄにおける表示位置の座標に変換することができる。この変換に要する演算式、関数、行列、パラメーター等は、例えば、設定データ１２１に含む形式で予め記憶部１２０に記憶される。

上述のように、手Ｈがトラックパッド１４の操作位置Ａ１から操作位置Ａ２まで移動する場合、操作検出部１８３は、操作位置Ａ１に対応する入力位置ＩＡ１から、操作位置Ａ２に対応する入力位置ＩＡ２まで、入力位置が移動する入力データを生成する。この場合、ＧＵＩ制御部１８５は、入力位置ＩＡ１に対応する表示位置Ｂ１にポインターＰを表示し、ポインターＰの表示位置を、入力位置ＩＡ２に対応する表示位置Ｂ２まで移動させる。ここで、操作検出部１８３は、手Ｈが操作位置Ａ２に止まる間に、入力位置ＩＡ２から入力位置ＩＡ３に移動する入力データを生成できる。実際には、操作検出部１８３は、操作位置Ａ１に対応する入力位置ＩＡ１を初期位置とし、この初期位置からの入力位置の移動方向と移動量とを決定し、決定した移動方向と移動量とに対応するように、入力データを連続して生成する。ここで、操作検出部１８３は、入力位置の移動方向と移動量とを決定した後で、入力位置の移動の終了位置である入力位置ＩＡ３の座標を先に算出してもよい。この場合、ＧＵＩ制御部１８５は、表示位置Ｂ１から、入力位置ＩＡ３に対応する表示位置Ｂ３まで、ポインターＰの表示位置を移動させる。

操作検出部１８３は、入力情報取得部１１０から入力される操作データを解析して、トラックパッド１４の操作位置の移動方向に基づき、入力位置の移動方向を決定する。また、操作検出部１８３は、トラックパッド１４の操作位置の移動量、移動速度、及びトラックパッド１４の操作時間の少なくともいずれかに基づき、入力位置の移動量を決定する。
例えば、操作検出部１８３は、トラックパッド１４における操作位置が停止することにより、操作位置の移動量が確定してから、入力位置の移動量を求めてもよい。この場合、操作検出部１８３は、トラックパッド１４における操作位置が停止するまでの間、入力位置を初期位置に維持して入力データを生成してもよい。或いは、入力情報取得部１１０のサンプリング周期に従って、トラックパッド１４の操作位置に対応する入力位置を求めて入力データを生成してもよい。

また、例えば、操作検出部１８３は、手Ｈがトラックパッド１４に対する接触したことを検出してから、接触が解除されたことを検出するまでの時間に基づき、入力位置の移動量を求めてもよい。この場合、操作検出部１８３は、トラックパッド１４の接触が解除されるまでの間、入力位置を初期位置に維持して入力データを生成してもよい。或いは、入力情報取得部１１０のサンプリング周期に従って、トラックパッド１４の操作位置に対応する入力位置を求めて入力データを生成してもよい。

また、例えば、操作検出部１８３は、入力情報取得部１１０がトラックパッド１４の操作を検出してから、所定時間以内における操作位置の移動速度を求め、求めた移動速度に対応する入力位置の移動量を求めてもよい。この所定時間は予め設定され、例えば設定データ１２１に含めて記憶部１２０に記憶される。この場合、操作検出部１８３は、上記所定時間内に、トラックパッド１４の操作位置の初期位置に対応する入力位置を維持して入力データを生成してもよい。或いは、入力情報取得部１１０のサンプリング周期に従って、トラックパッド１４の操作位置に対応する入力位置を求めて入力データを生成してもよい。

また、例えば、操作検出部１８３は、入力情報取得部１１０がトラックパッド１４の操作を検出してから、所定時間以内における操作位置の移動方向を求め、求めた移動方向に対応する入力位置の移動方向を設定してもよい。この所定時間は予め設定され、例えば設定データ１２１に含めて記憶部１２０に記憶される。
この場合、操作検出部１８３は、入力位置の移動量を制限せず、予め設定された移動速度、或いは、操作位置の移動速度に対応する入力位置の移動速度で、入力位置を移動させるように入力データを生成してもよい。この場合、操作検出部１８３は、トラックパッド１４における接触が解除されるまでの間、設定した移動方向および移動速度で、入力位置が移動する入力データの生成及び出力を継続する。入力データを生成し、出力する周期は、予め設定された周期であってもよいし、入力情報取得部１１０のサンプリング周期に従ってあってもよい。そして、操作検出部１８３は、入力情報取得部１１０がトラックパッド１４における接触の解除を検出したタイミングで、入力データの生成及び出力を停止する。

これらのいずれの場合も、操作検出部１８３は、操作体である手Ｈがトラックパッド１４から離れるまでの間、入力データを生成する処理を継続して行うので、ＧＵＩ制御部１８５は、表示可能領域Ｄにおいて、ポインターＰの表示位置を移動し続ける。
使用者が、スライドジェスチャーを意図して行うことにより、実際の操作体の移動量よりも大きくポインターＰを移動させることができる。また、操作体をトラックパッド１４から離すことでポインターＰを停止させることができ、ポインターＰの停止位置を高精度で制御できる。

図７はＨＭＤ１００の動作を示すフローチャートであり、トラックパッド１４の操作に対しポインターＰの表示位置を制御する動作を示す。
制御部１４０は、入力情報取得部１１０から入力される操作データに基づいてトラックパッド１４へのタッチ操作を検出すると（ステップＳ１１）、操作位置の座標を取得する（ステップＳ１２）。制御部１４０は、操作位置が移動しているか否か、すなわち、スライドジェスチャーに該当するか否かの判定を行う（ステップＳ１３）。例えば、予め設定された時間内に操作位置の座標が閾値以上の変化をした場合に、スライドジェスチャーと判定することができ、スライドジェスチャーの判定の条件は設定データ１２１に含めて記憶することができる。

スライドジェスチャーでないと判定した場合（ステップＳ１３；Ｎｏ）、制御部１４０は、トラックパッド１４上の操作位置に対応してポインターＰを表示させる（ステップＳ１４）。ステップＳ１４で、制御部１４０は、操作位置に対応する入力データを生成し、この入力データが示す位置にポインターＰを表示させ、或いはポインターＰの表示位置を移動させる。ステップＳ１４の処理後、制御部１４０は本処理を終了する。処理の終了後、制御部１４０はトラックパッド１４への接触操作を待機する。

トラックパッド１４への操作がスライドジェスチャーであると判定した場合（ステップＳ１３；Ｙｅｓ）、制御部１４０は、操作位置が停止するまで待機する（ステップＳ１５）。この待機中、制御部１４０は、入力情報取得部１１０から入力される操作データに基づき操作位置の検出を継続して行う。

操作位置が停止した場合（ステップＳ１５；Ｙｅｓ）、制御部１４０は、スライドジェスチャーに対応する入力データを生成するため、入力データの移動パラメーターを算出する（ステップＳ１６）。入力データの移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータを含む。
ステップＳ１５の「操作位置が停止した場合」とは、トラックパッド１４における操作位置が静止する場合に限らず、操作位置が予め設定された閾値の範囲内で移動する場合を含む。制御部１４０は、入力情報取得部１１０がサンプリング周期で検出するトラックパッド１４の操作位置の座標が変化しない場合、及び、座標の変化量が予め設定された閾値の範囲内である場合のいずれも、停止したと判定する。 また、入力情報取得部１１０は、サンプリング周期でトラックパッド１４の操作位置の座標を検出するので、連続する所定回数の検出動作で検出された操作位置の座標が、閾値の範囲内である場合に、操作位置が停止したと判定してもよい。

例えば、制御部１４０は、入力位置の移動方向を、ステップＳ１１〜Ｓ１５で検出したスライドジェスチャーの移動方向と同じ方向に設定する。トラックパッド１４に対するスライドジェスチャーの方向は、図３に示すＸ方向に限定されず、Ｙ方向や斜め方向であってもよく、トラックパッド１４の面内の移動であれば制限されない。入力位置の移動方向は、スライドジェスチャーの方向に対応していればよく、仮想入力平面ＩＰ内における方向であればよい。従って、操作検出部１８３が、トラックパッド１４の操作位置の移動方向に対応して決定する入力位置の移動方向は、操作位置の移動方向と一致しない方向であってもよい。

また、例えば、制御部１４０は、入力位置の移動速度を、ステップＳ１１〜Ｓ１５で検出したスライドジェスチャーの移動量（操作量）に対応する速度に設定する。例えば、制御部１４０は、スライドジェスチャーの移動量が大きいほど、入力位置の移動速度が高速になるよう移動速度を設定する。また、入力位置の移動速度を一定としてもよい。この場合、制御部１４０は、予め設定されたデフォルトの移動速度を、入力位置の移動速度に設定する。デフォルトの移動速度は、予め設定され、例えば設定データ１２１に含まれる。

制御部１４０は、ステップＳ１６で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部２２及び左表示駆動部２４にポインターＰを表示させる処理を開始する（ステップＳ１７）。ステップＳ１７の後、制御部１４０が生成する入力データでは入力位置が移動し、画像表示部２０が表示するポインターＰの表示位置が移動する。この後、制御部１４０は、入力データを所定周期（例えば、入力情報取得部１１０のサンプリング周期）で生成する処理を継続する。また、制御部１４０は、生成した入力データに基づきポインターＰの表示位置を移動する処理を継続する。
ポインターＰの表示位置が移動する間、制御部１４０は、トラックパッド１４への接触の解除を監視する（ステップＳ１８）。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ１８；Ｎｏ）、入力データの生成とポインターＰの表示位置の移動を継続する。
制御部１４０は、トラックパッド１４への接触が解除されたことを検出すると（ステップＳ１８；Ｙｅｓ）、入力データの生成を停止し、これによりポインターＰの移動を停止させて（ステップＳ１９）、本処理を終了する。

この図７に示した動作は、ポインターＰの移動だけでなく、例えば、リング状のＵＩに適用できる。
図８は、トラックパッド１４の操作に対しリング型ＵＩ（User Interface）の表示を遷移させる例を示す説明図である。
リング型のＵＩは、複数の画面、或いは画像や文字等の表示オブジェクトを、リング状に配置し、リングの特定位置にある画面または表示オブジェクトが、大きく表示されるインターフェイスである。表示可能領域Ｄには、リング状に配置された複数の表示オブジェクト全体を俯瞰する状態を模した画像が表示される。この表示により、使用者は、表示可能領域Ｄにより、リング型ＵＩを構成するそれぞれの表示オブジェクトの配置と、特定位置にある表示オブジェクトの内容とを見ることができる。

図８の例では、画面Ｍ１〜Ｍ６の６つの画面が表示用の画面として用意され、左右方向への操作に対応して、画面Ｍ１〜Ｍ６が順に、画像表示部２０により拡大表示される。また、画面Ｍ１〜Ｍ６は、図中右方向にも、左方向にも、順に切り替えて表示できる。

ＧＵＩ制御部１８５は、トラックパッド１４のスライドジェスチャーに対応して、画面Ｍ１〜Ｍ６を順に切り替えて表示できる。すなわち、ＧＵＩ制御部１８５は、操作検出部１８３が生成する入力データを取得し、入力データに含まれる入力位置の変化に対応する方向に、リング型のＵＩを回転させて、画面Ｍ１〜Ｍ６を順に表示する。操作検出部１８３が生成する入力データは、図６に例示したように、入力位置をＸ−Ｙ座標系の座標で示す二次元のデータである。この場合、ＧＵＩ制御部１８５は、入力位置のＸ座標の変化とＹ座標の変化の両方を演算して、リング型ＵＩにおいて移動する画面の数や移動方向を求めてもよい。また、ＧＵＩ制御部１８５は、入力位置のＸ座標とＹ座標のいずれか一方に基づき、リング型ＵＩにおいて移動する画面の数や移動方向を求めてもよい。

図８のリング型のＵＩでは、画面Ｍ１〜Ｍ６のそれぞれは本発明の表示オブジェクトに相当し、ＧＵＩ制御部１８５は、トラックパッド１４の操作に対応して、それぞれの画面Ｍ１〜Ｍ６の表示位置を移動させる。また、図７の動作を適用すれば、トラックパッド１４のスライドジェスチャーが検出された場合に、画面Ｍ１、Ｍ２、Ｍ３…が順次切り替えられ、トラックパッド１４の接触が解除されるまで画面の切り替えが継続する。そして、使用者が操作体をトラックパッド１４から離すと、画面の切り替えが停止する。このように、ポインターＰの表示位置の移動に限らず、本発明を適用してトラックパッド１４の操作性の向上を図ることができる。また、図８のリング型のＵＩを採用する場合、ＧＵＩ制御部１８５は、画面Ｍ１〜Ｍ６のうち、特定の位置に表示される画面を操作対象としてもよい。特定の位置とは、例えば表示画面の中央であり、他の画面より大きく、使用者の正面に表示される画面が操作対象となる。この場合、トラックパッド１４に対する操作の方向に対応して、操作対象の画面の表示位置が移動し、他の画面の表示位置は操作対象の画面の表示位置の変化に応じて適宜移動される。

本実施形態の制御部１４０は、トラックパッド１４に対する操作がスライドジェスチャーでないと判定した場合（ステップＳ１３；Ｎｏ）、トラックパッド１４上の操作位置に対応する入力位置を示す入力データを生成する。これにより、トラックパッド１４上の操作位置に対応する表示可能領域Ｄの表示位置に、ポインターＰが表示される（ステップＳ１４）。このように、本実施形態では一例として、入力情報取得部１１０が検出するトラックパッド１４における操作位置の座標が、仮想入力平面ＩＰにおける入力位置に変換される。つまり、トラックパッド１４は、絶対座標を入力するデバイスとして機能する。ＨＭＤ１００の構成はこれに限定されない。例えば、入力情報取得部１１０が、トラックパッド１４における操作位置の変化を検出値として制御部１４０に出力してもよい。この場合、制御部１４０は、トラックパッド１４のが操作位置の変化量に対応する入力位置の変化を示す入力データを生成してもよい。つまり、トラックパッド１４が、マウス等と同様に、相対位置を入力する入力デバイスとして機能する構成であってもよい。

以上説明したように、本発明を適用した第１の実施形態のＨＭＤ１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０を備える。ＨＭＤ１００は、トラックパッド１４に対する操作を検出する入力情報取得部１１０と、画像表示部２０にポインターＰ等の操作対象の表示オブジェクトを表示する制御部１４０と、を備える。制御部１４０は、入力情報取得部１１０が検出するトラックパッド１４に対する操作位置の変化に対応して、ポインターＰの表示位置を移動させる。制御部１４０は、入力情報取得部１１０が予め設定された終了条件に該当する操作を検出した場合に、ポインターＰの表示位置の移動を停止させる。別の表現をすれば、制御部１４０は、操作面であるトラックパッド１４に対する操作が終了するまで、表示オブジェクトであるポインターＰが慣性を保つように、ポインターＰの表示位置を移動させる。このため、ポインターＰを、トラックパッド１４における操作位置の移動量よりも大きく移動させることができ、トラックパッド１４の大きさに起因する操作性の制約を緩和できる。さらに、ポインターＰの移動を停止する位置を容易に制御でき、操作性の向上を図ることができる。

本実施形態で、制御部１４０は、入力情報取得部１１０がトラックパッド１４に対する接触を検出した場合に操作位置を検出する。そして、制御部１４０は、入力情報取得部１１０が、トラックパッド１４から操作体が離れて接触が解除されたことを検出した場合に、終了条件に該当すると判定し、入力データの生成を停止する。これにより、使用者は、ポインターＰの表示位置の移動を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。

また、制御部１４０は、ポインターＰの表示位置の移動方向を、トラックパッド１４における操作位置の移動方向に対応する方向に設定する。このため、使用者が、ポインターＰを意図する方向に移動させることができ、操作性の向上を図ることができる。
また、制御部１４０は、トラックパッド１４に対するスライドジェスチャーの操作を検出した後、ポインターＰの移動方向を求める処理を行ってから、ポインターＰを移動させるので、ポインターＰを適切な方向に移動させることができる。

本実施形態で、制御部１４０は、入力情報取得部１１０がステップＳ１１でトラックパッド１４に対する操作を検出した後、ステップＳ１６でポインターＰの表示位置の移動方向を求める処理を行う間、ポインターＰを移動させてもよい。ここで、制御部１４０は、トラックパッド１４の操作位置に対応する表示位置にポインターＰを移動させる。この場合、ポインターＰの移動方向を求める処理を行う間においてもポインターＰを適切に移動させることで、使用者が違和感なく操作を行える。また、短時間または操作位置の移動量が小さい操作に対応してポインターＰを移動させることができる。この場合のポインターＰの移動は、トラックパッド１４の操作位置に対応する表示可能領域Ｄの表示位置にポインターＰを移動させる制御により実現すればよい。また、制御部１４０は、入力情報取得部１１０がトラックパッド１４に対する操作を検出した後、ポインターＰの表示位置の移動方向を求める処理を行い、その後にポインターＰの表示位置を移動させてもよい。この場合、ポインターＰを適切な方向に移動させることができる。

また、制御部１４０は、トラックパッド１４における操作に応じてポインターＰの移動速度を求め、求めた移動速度で移動方向にポインターＰを移動させてもよい。例えば、制御部１４０は、ポインターＰの表示位置の移動速度を、トラックパッド１４における操作位置の移動量または移動速度に対応する速度に設定してもよい。この場合、使用者がポインターＰの移動速度を制御できるので、より一層の操作性の向上を図ることができる。

また、制御部１４０は、トラックパッド１４における操作位置の移動を検出した後、操作が終了するまでポインターＰを移動させるので、トラックパッド１４は、例えば画像表示部２０が画像を表示する領域に比べて小さくてもよい。トラックパッド１４は、制御部１４０が操作位置の移動の方向を検出可能なサイズがあればよく、言い換えれば、トラックパッド１４のサイズよりも大きくポインターＰを移動させることができる。従って、ＨＭＤ１００の構成においてトラックパッド１４が小さくても、ポインターＰを任意に移動させることができ、操作性の向上を図ることができる。また、ＨＭＤ１００の構成の自由度が高まるという利点がある。

ＨＭＤ１００において、制御部１４０は、入力情報取得部１１０により検出される操作に応じて、仮想入力平面ＩＰに対する入力データを生成する。制御部１４０は、入力情報取得部１１０がトラックパッド１４において操作位置が移動する操作を検出した場合に、操作に対応して仮想入力平面ＩＰにおける入力データの生成を開始する。制御部１４０は、入力情報取得部１１０が予め設定された終了条件に該当する操作を検出した場合に、入力データの生成を停止する。これにより、オペレーティングシステム１５０の仮想入力平面ＩＰに対する入力データを、トラックパッド１４の大きさの制約を超えて生成させることができる。本実施形態では、入力データに基づきポインターＰの表示位置を移動させるので、ポインターＰの表示位置の移動量を高い自由度で制御できる。従って、トラックパッド１４の大きさに起因する操作性の制約を緩和できる。

制御部１４０が生成する入力データは、仮想入力平面ＩＰにおける入力位置、仮想入力平面ＩＰ内における入力位置の移動方向、及び、仮想入力平面ＩＰ内における入力位置の移動速度の少なくともいずれかを含む構成とすることができる。これにより、トラックパッド１４に対する操作によって、仮想入力平面ＩＰにおける入力位置、入力位置の移動方向、或いは入力位置の移動速度を入力できる。

また、制御部１４０は、入力データに含まれる入力位置の移動方向、及び、入力位置の移動速度の少なくともいずれかを、入力情報取得部１１０が検出する操作位置の移動量または移動速度に応じて設定してもよい。この場合、入力位置、入力位置の移動方向、或いは入力位置の移動速度を、トラックパッド１４に対する操作により制御できる。

また、制御部１４０は、入力情報取得部１１０が、トラックパッド１４に対する接触が解除されたことを検出した場合に、終了条件に該当すると判定して入力データの生成を停止してもよい。この構成によれば、使用者は、入力データの生成を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。

また、図６に示したように、ＨＭＤ１００では、仮想入力平面ＩＰと表示部２０における表示可能領域Ｄ（表示領域）とが対応付けられる。制御部１４０は、画像表示部２０に表示する操作対象の表示オブジェクトであるポインターＰの表示位置を、入力データに対応して制御することができる。これにより、トラックパッド１４に対する操作に応じてポインターＰの表示位置を移動させることができ、表示位置の移動量を高い自由度で制御できる。

［第２の実施形態］
図９は、本発明を適用した第２の実施形態に係るＨＭＤ１００の動作を示すフローチャートである。
本第２の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。

図９に示す動作のステップＳ１１〜Ｓ１９は、上記第１の実施形態と同様である。
第２の実施形態において、制御部１４０は、ステップＳ１７で入力データの生成及びポインターＰの表示位置の移動を開始した後に、トラックパッド１４における操作位置が変化した場合、ポインターＰの表示位置の移動パラメーターを変更する。

第１の実施形態と同様に、制御部１４０は、入力データの生成を開始した後にトラックパッド１４への接触の解除を監視する（ステップＳ１８）。ここで、トラックパッド１４への接触が解除されない間（ステップＳ１８；Ｎｏ）、制御部１４０は入力データの生成を継続し、これによりポインターＰの表示位置が移動し続ける。この間、トラックパッド１４における操作位置は、ステップＳ１５で停止したと判定されてから、停止とみなすことができる状態である。

トラックパッド１４への接触が解除されない場合（ステップＳ１８；Ｎｏ）、制御部１４０は、トラックパッド１４の操作位置が、逆方向に移動したか否かを判定する（ステップＳ２１）。「逆方向」とは、ステップＳ１３で検出したトラックパッド１４の操作位置の移動方向、或いは、ステップＳ１６で設定した入力位置の移動パラメーターに対して逆の方向を指す。また、「逆方向」とは、Ｘ軸方向及びＹ軸方向の成分が完全に逆の方向である場合に限定されない。例えば、Ｘ軸方向及びＹ軸方向の成分が、完全に逆の方向に対して所定範囲内にある方向を、「逆方向」に含めることができる。つまり、ステップＳ２１では、トラックパッド１４における操作位置が、逆方向と見なすことができる範囲で移動した場合に、逆方向に移動したと判定してもよい。また、ステップＳ１３で検出したトラックパッド１４の操作位置の移動方向、或いは、ステップＳ１６で設定した入力位置の移動パラメーターが示す移動方向に対し、所定角度以上の方向の違いを有する操作を、逆方向の移動と判定してもよい。また、ステップＳ２１では、トラックパッド１４の操作位置の移動量に基づく判定を行ってもよい。例えば、操作位置の移動量が予め設定された閾値より小さい場合に、逆方向の移動と判定しない構成としてもよい。

制御部１４０は、トラックパッド１４の操作位置が逆方向に移動したと判定した場合（ステップＳ２１；Ｙｅｓ）、入力位置の移動速度に関する移動パラメーターを更新（変更）する（ステップＳ２２）。このステップＳ２２の後、制御部１４０は、更新後の移動パラメーターに基づき入力データの生成を実行し、ポインターＰの表示位置が移動する。ステップＳ２２の後、制御部１４０はステップＳ１８に戻る。また、トラックパッド１４の操作位置が逆方向に移動していない場合（ステップＳ２１；Ｎｏ）、制御部１４０はステップＳ１８に戻る。

ステップＳ２２では、例えば、入力位置の移動速度を段階的に変更可能であり、移動速度を１段階低下させることができる。この場合、操作位置を逆方向に移動させる操作を、制御部１４０が１回検出する毎に、入力位置の移動速度が１段階低下する。入力データにおける入力位置の移動速度の変化に対応して、ポインターＰの移動速度が段階的に変化する。これにより、ポインターＰの移動速度を使用者が容易に制御できる。

このように、制御部１４０が、ポインターＰの移動中におけるトラックパッド１４の操作位置の変化に応じて、ポインターＰの移動速度を変化させることで、使用者は、ポインターＰの移動速度を、より細かく制御できる。

第２の実施形態では、制御部１４０が、操作体による操作位置が逆方向に移動したと判定した場合に、入力データにおける入力位置の移動速度を低速にして、表示オブジェクトであるポインターＰの移動速度を低速に変化させる例を説明した。この場合、入力位置の移動速度を変化させた後で、トラックパッド１４の操作位置が正方向に移動した場合に、入力位置の移動速度を復帰させてもよい。また、回数の限定なく、操作位置の正方向の移動を検出する毎に入力位置の移動速度を増速し、操作位置の逆方向の移動を検出する毎に入力位置に移動速度を減速してもよい。また、トラックパッド１４において操作体が接触する領域の面積を、入力情報取得部１１０及び制御部１４０が検出可能な構成において、接触する面積の変化により入力位置の移動速度を変化させてもよい。例えば、接触面積が小さく変化した場合は入力位置の移動速度を減速させてもよい。また、接触面積が大きくなった場合は入力位置の移動速度を増速させてもよい。これらの場合において、入力位置の移動速度を変更するように移動パラメーターが更新されると、ポインターＰの移動速度が変化するので、使用者の操作によって容易にポインターＰの移動速度を制御できる。このほか、入力位置を移動させる速度を、トラックパッド１４に対する操作態様に応じて変化させる具体的な態様は任意に変更可能である。

さらに、本第２の実施形態の変形例として、入力データにおける入力位置の移動速度を、制御装置１０を動かす操作に対応して変化させてもよい。
図２に示したように、制御装置１０は３軸の加速度センサーである３軸センサー１１３を備える。
操作検出部１８３は、ステップＳ１６で入力データの生成を開始した後、３軸センサー１１３の検出値を、例えば予め設定されたサンプリング周期で取得して、制御装置１０の姿勢の変化を検出する。ＨＭＤ１００では、制御装置１０を第１の方向に動かした場合に、ポインターＰの移動速度を増大させ、第２の方向に動かした場合に、ポインターＰの移動速度を低下させるよう設定される。詳細には、第１の方向の動きに対応する３軸センサー１１３の検出値または検出値の範囲が、予め設定される。第２の方向についても同様である。第１の方向、及び第２の方向は、操作検出部１８３が３軸センサー１１３の検出値に基づき区別可能な２つの方向であればよく、逆方向であってもよい。また、第１及び第２の方向は、制御装置１０を直線的に移動させる方向であってもよいし、制御装置１０を回転させる方向であってもよい。制御装置１０の回転方向は任意に設定可能であり、３軸センサー１１３の検出軸を中心とする回転であってもよいし、検出軸と平行でない軸を中心とする回転であってもよい。

ここで、操作検出部１８３が、３軸センサー１１３の検出値に応じて移動パラメーターを更新する処理を、操作位置が停止している間に限って実行可能としてもよい。つまり、操作検出部１８３は、上記処理を、操作位置が停止したと判定してから（ステップＳ１５；Ｙｅｓ）、トラックパッド１４の接触が解除されたと判定する（ステップＳ１８；Ｙｅｓ）までの間に限って実行してもよい。また、操作検出部１８３は、入力データを生成する間に、上記処理を実行する構成であってもよい。

操作検出部１８３は、３軸センサー１１３の検出値に基づき第１の方向の操作あるいは第２の方向の操作が行われたと判定した場合、ステップＳ２２と同様の処理を行い、入力位置の移動速度に関する移動パラメーターを更新する。
この構成では、使用者がトラックパッド１４に操作体を接触させる操作を行い、ポインターＰを移動させる間に、制御装置１０を動かすことによって、ポインターＰの移動速度を加速あるいは減速できる。

第２の実施形態のさらに別の変形例として、入力データにおける入力位置の移動速度を、トラックパッド１４における接触面積に対応して変化させてもよい。入力情報取得部１１０は、トラックパッド１４に操作体が接触した場合に、接触位置を検出可能であり、接触面積を検出することもできる。

この場合、入力情報取得部１１０は、トラックパッド１４における接触位置を複数検出可能な構成とすることができる。操作検出部１８３は、入力情報取得部１１０が検出した複数の接触位置に１つの操作体が接触したと仮定して、操作体が接触した面積を算出する。つまり、操作検出部１８３は、入力情報取得部１１０が出力する操作データに基づいて接触面積を算出する。また、入力情報取得部１１０が、トラックパッド１４における接触面積を検出可能な構成であってもよい。この場合、入力情報取得部１１０は、トラックパッド１４における接触面積を示すデータを操作データに含めて出力する。

操作検出部１８３は、ステップＳ１６で入力データの生成を開始した後、入力情報取得部１１０が出力する操作データに基づき、トラックパッド１４における接触面積を取得する。ここで、操作検出部１８３は、取得した接触面積に基づいて、入力データにおける入力位置の移動速度を変更する。例えば、操作検出部１８３が取得する接触面積の大きさに対応づけて、入力位置の移動速度が設定されていてもよい。この場合、操作検出部１８３は、入力位置の移動速度に関する入力データの移動パラメーターを、取得した接触面積に対応する値に更新する。また、例えば、操作検出部１８３は、取得した接触面積の変化に対応して移動パラメーターを更新してもよい。具体的には、操作検出部１８３は、トラックパッド１４における接触面積の変化を算出し、接触面積が予め設定された閾値を超えて増大した場合に、予め設定された速度だけ入力位置の移動速度を増すように、移動パラメーターを更新する。また、操作検出部１８３は、トラックパッド１４における接触面積が予め設定された閾値を超えて縮小した場合に、予め設定された速度だけ入力位置の移動速度を低下させるように、移動パラメーターを更新する。

ここで、操作検出部１８３が、トラックパッド１４における接触面積に応じて移動パラメーターを更新する処理を、操作位置が停止している間に限って実行可能としてもよい。つまり、操作検出部１８３は、上記処理を、操作位置が停止したと判定してから（ステップＳ１５；Ｙｅｓ）、トラックパッド１４の接触が解除されたと判定する（ステップＳ１８；Ｙｅｓ）までの間に限って実行してもよい。また、操作検出部１８３は、入力データを生成する間に、上記処理を実行する構成であってもよい。

この構成では、使用者がトラックパッド１４に操作体を接触させる操作を行い、ポインターＰを移動させる間に、操作体がトラックパッド１４に接触する面積を調整することによって、ポインターＰの移動速度を加速あるいは減速できる。例えば、使用者の指や手など、弾性を有する操作体を使用する場合、操作検出部１８３は、操作体をトラックパッド１４に押しつける力を加減して接触面積を調整することにより、ポインターＰの移動速度を加速あるいは減速できる。

［第３の実施形態］
図１０は、第３の実施形態に係るＨＭＤ１００の操作の例を示す説明図である。図１１は、本発明を適用した第３の実施形態に係るＨＭＤ１００の動作を示すフローチャートである。第３の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。
第３の実施形態では、ポインターＰの移動を開始した後にトラックパッド１４の操作位置が移動した場合に、制御部１４０が、ポインターＰの移動速度及び移動方向を変更する例を説明する。第２の実施形態では、トラックパッド１４の操作位置が逆方向に操作された場合の動作を説明したが、第３の実施形態では、逆方向に限らず、他の方向へ操作位置が移動した場合に対応できる。

図１０はトラックパッド１４における操作位置の移動の様子を示す。符号Ａ１１〜Ａ１５は、使用者の手Ｈ（図３）等の操作体がトラックパッド１４に接触する接触位置、すなわち操作位置を示す。符号ＡＴ１〜ＡＴ４は、操作位置の移動の軌跡、すなわち移動操作を示す。以下、図１０、及び、図１１のフローチャートを参照してＨＭＤ１００の動作を説明する。

ステップＳ１１〜Ｓ１６の動作は、第１及び第２の実施形態と同じ動作である。例えば、制御部１４０は、図１０の操作位置Ａ１１から操作位置Ａ１２に至る操作ＡＴ１を入力情報取得部１１０が検出した場合に、ステップＳ１６で、操作ＡＴ１に対応する移動パラメーターを算出する。制御部１４０は、ステップＳ１６で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部２２及び左表示駆動部２４にポインターＰを表示させる処理を開始する（ステップＳ３１）。

ステップＳ３１の後、制御部１４０が生成する入力データでは入力位置が移動し、画像表示部２０が表示するポインターＰの表示位置が移動する。ポインターＰの表示位置が移動する間、制御部１４０は、トラックパッド１４への接触の解除を監視する（ステップＳ３２）。制御部１４０は、トラックパッド１４への接触が解除されたことを検出すると（ステップＳ３２；Ｙｅｓ）、入力データの生成を停止し、これによりポインターＰの移動を停止させて（ステップＳ１９）、本処理を終了する。

一方、ポインターＰの移動中、トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ３２；Ｎｏ）、制御部１４０は、トラックパッド１４における操作位置が移動したか否かを判定する（ステップＳ３３）。ステップＳ３３では、入力情報取得部１１０が検出する操作位置が、ステップＳ１５で停止判定した位置から所定距離以上、動いたか否かを判定する。操作位置が移動していないと判定した場合（ステップＳ３３；Ｎｏ）、制御部１４０はステップＳ３２に戻る。

操作位置が移動したと判定した場合（ステップＳ３３；Ｙｅｓ）、制御部１４０は、制御部１４０は、操作位置が停止するまで待機する（ステップＳ３４）。この待機中、制御部１４０は、入力情報取得部１１０から入力される操作データに基づき操作位置の検出を継続して行う。操作位置が停止した場合（ステップＳ３４；Ｙｅｓ）、制御部１４０は、ステップＳ３３で検出した操作位置の移動に対応する入力データの移動パラメーターを算出して、移動パラメーターを更新する（ステップＳ３５）。
制御部１４０は、ステップＳ３１に戻り、更新した移動パラメーターを用いて入力データの生成を開始する。

例えば、図１０に示す操作ＡＴ１が行われ、操作体が操作位置Ａ１２で停止した後に、操作体が操作位置Ａ１３に移動する操作ＡＴ２が行われた場合、制御部１４０は、ステップＳ３５で、操作ＡＴ２に対応する移動パラメーターを生成する。この場合、制御部１４０は、操作位置Ａ１２から操作位置Ａ１３への移動方向、移動速度、移動量の少なくともいずれかに基づいて、入力位置の移動方向及び／または移動速度を設定する。入力位置の移動量は、操作ＡＴ２が停止するまでの時間により決まる。ここで、制御部１４０は、入力位置の移動量を、操作ＡＴ２の移動速度或いは移動量に基づき算出してもよい。
このように、操作検出部１８３は、操作位置が第１の停止位置で停止し、その後に第２の停止位置に移動して停止した場合、第１の停止位置から第２の停止位置までの移動方向、移動速度、及び移動量の少なくともいずれかに基づき入力データを生成できる。第１の停止位置は、例えば、操作位置Ａ１１に相当し、第２の停止位置は操作位置Ａ１２、Ａ１３或いはＡ１４に相当する。また、操作位置Ａ１２、Ａ１３、Ａ１４で停止した後に、操作位置がさらに別の位置に移動した場合、操作位置Ａ１２、Ａ１３、Ａ１４を第１の停止位置として動作してもよい。

第３の実施形態によれば、操作体が操作位置Ａ１２で停止した後に、操作位置Ａ１４に移動する操作ＡＴ３、或いは操作位置Ａ１５に移動する操作ＡＴ４等が行われた場合に、操作ＡＴ３、ＡＴ４に対応するように入力位置が移動する入力データが生成される。この入力データに基づきポインターＰなどの表示オブジェクトを表示することにより、ＨＭＤ１００は、操作ＡＴ２、ＡＴ３、ＡＴ４を反映した方向、速度で、ポインターＰの表示位置を移動できる。
さらには、ステップＳ３３〜Ｓ３５の処理を繰り返し実行することが可能であるため、例えば、操作ＡＴ２の後に、操作体が操作位置Ａ１３から他の位置に移動した場合に、この移動を反映してポインターＰの表示位置を変化させることができる。この場合、操作位置が停止し、その後に移動する動作の回数を制限しない構成とすることも可能である。

このように、ＨＭＤ１００は、使用者がトラックパッド１４から操作体を接触させたままで、操作体が移動する方向を変化させる操作を行った場合に、操作体の移動の方向の変化に追従するように、ポインターＰを移動させることができる。
また、ステップＳ１５、Ｓ３４において、入力情報取得部１１０が検出する操作位置が停止したと判定するための時間を短く設定すれば、使用者が意図的に操作体を静止させる時間が短くてもよい。ステップＳ１５、Ｓ３４で判定する時間は、少なくとも入力情報取得部１１０が操作位置の検出を複数回行えばよく、例えば、サンプリング周期の２回分に相当する時間まで短くしてもよい。

［第４の実施形態］
図１２は、本発明を適用した第４の実施形態に係るＨＭＤ１００の動作を示すフローチャートである。第４の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。

第４実施形態で、ＨＭＤ１００は、トラックパッド１４に対する接触操作が短時間で解除された場合に、ポインターＰの表示位置の移動量を規定量に設定し、これにより短時間の操作でポインターＰの表示位置を移動できるようにする。

図１２においてステップＳ１２〜Ｓ１４の動作は、上述した第１〜第３実施形態と同様である。
制御部１４０は、トラックパッド１４への操作がスライドジェスチャーであると判定した場合（ステップＳ１３；Ｙｅｓ）、タイマーのカウントを開始する（ステップＳ４１）。タイマーは、プログラムにより実現される制御部１４０の１つの機能として実現できる。制御部１４０は、操作位置が停止するまで待機する（ステップＳ１５）。制御部１４０は、この待機中、制御部１４０は、入力情報取得部１１０から入力される操作データに基づき操作位置の検出を継続して行う。

操作位置が停止しない状態、すなわちスライドジェスチャーが継続する間（ステップＳ１５；Ｎｏ）、制御部１４０は、トラックパッド１４への接触の解除を監視する（ステップＳ４２）。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ４２；Ｎｏ）、制御部１４０はステップＳ１５に戻り操作位置の監視を行う。
ここで、制御部１４０は、トラックパッド１４の接触操作が解除されたことを検出すると（ステップＳ４２；Ｙｅｓ）、ステップＳ４１で開始したカウントのカウント値が、予め設定された設定値以上であるか否かを判定する（ステップＳ４３）。つまり、スライドジェスチャーが開始されてからトラックパッド１４の接触が解除されるまでの時間のカウント値が、設定値以上であるか、設定値より小さいかを判定する。設定値は、例えば設定データ１２１に含めて記憶部１２０に記憶される。

カウント値（タイマーカウンターの値）が設定値以上である場合（ステップＳ４３；Ｙｅｓ）、制御部１４０は、スライドジェスチャーに対応する入力データの移動パラメーターを算出する（ステップＳ４４）。ステップＳ４４で算出される移動パラメーターは、例えば、後述するステップＳ１６で算出される移動パラメーターと同様に、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。ステップＳ４４で算出し生成される移動パラメーターは、移動量を示すデータを含むことが望ましい。移動量を示すデータは、予め設定された移動量のデフォルト値であってもよいし、ステップＳ４３で判定したカウント値に基づき算出される値であってもよいし、スライドジェスチャーの操作位置の移動量や移動速度に対応する移動量であってもよい。移動パラメーターを算出した後、制御部１４０は後述するステップＳ４８に移行する。制御部１４０は、ステップＳ４４の処理の前または後に、ステップＳ４１で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。

また、カウント値が設定値より小さい場合（ステップＳ４３；Ｎｏ）、制御部１４０は、予め記憶部１２０に記憶する基準値（図示略）に基づき、入力データの移動パラメーターを算出する（ステップＳ４５）。ステップＳ４５で生成される移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよく、移動量を示すデータを含む。入力位置の移動の開始位置及び入力位置の移動方向の少なくともいずれかは、入力情報取得部１１０が検出したスライドジェスチャーの操作位置や操作位置の移動方向に基づき算出してもよい。入力位置の移動速度や移動量は、予め記憶部１２０に記憶される基準値に基づき設定すればよい。移動パラメーターを設定した後、制御部１４０は後述するステップＳ４８に移行する。制御部１４０は、ステップＳ４５の処理の前または後に、ステップＳ４１で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。

また、操作位置が停止した場合（ステップＳ１５；Ｙｅｓ）、制御部１４０は、スライドジェスチャーに対応する入力データを生成するため、入力データの移動パラメーターを算出する（ステップＳ１６）。ステップＳ１６で生成する入力データの移動パラメーターは、上述のように、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含む。入力位置の移動方向は、例えば、ステップＳ１１〜Ｓ１５で検出したスライドジェスチャーの移動方向と同じ方向に設定される。入力位置の移動速度は、例えば、スライドジェスチャーの移動量（操作量）に対応する速度、或いは、デフォルト値に設定される。

制御部１４０は、ステップＳ１６で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部２２及び左表示駆動部２４にポインターＰを表示させる処理を開始する（ステップＳ１７）。ステップＳ１７の後、制御部１４０が生成する入力データでは入力位置が移動し、画像表示部２０が表示するポインターＰの表示位置が移動する。この後、制御部１４０は、入力データを所定周期（例えば、入力情報取得部１１０のサンプリング周期）で生成する処理を継続する。また、制御部１４０は、生成した入力データに基づきポインターＰの表示位置を移動する処理を継続する。

ポインターＰの表示位置が移動する間、制御部１４０は、トラックパッド１４への接触の解除を監視する（ステップＳ１８）。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ１８；Ｎｏ）、入力データの生成とポインターＰの表示位置の移動を継続する。
制御部１４０は、トラックパッド１４への接触が解除されたことを検出すると（ステップＳ１８；Ｙｅｓ）、ステップＳ４１で開始したカウントのカウント値が、予め設定された設定値以上であるか否かを判定する（ステップＳ４６）。この設定値は、例えば、設定データ１２１に含めて記憶部１２０に記憶すればよく、ステップＳ４３の設定値と共通の値であってもよい。

カウント値（タイマーカウンターの値）が設定値以上である場合（ステップＳ４６；Ｙｅｓ）、制御部１４０は、入力データの生成を停止し、これによりポインターＰの移動を停止させて（ステップＳ１９）、本処理を終了する。制御部１４０は、ステップＳ１９の処理の前または後に、ステップＳ４１で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。

また、カウント値が設定値より小さい場合（ステップＳ４６；Ｎｏ）、制御部１４０は、予め記憶部１２０に記憶する基準値（図示略）に基づき、入力データの移動パラメーターを算出する（ステップＳ４７）。ステップＳ４７で、制御部１４０は、ステップＳ４５と同様に、予め記憶部１２０に記憶される基準値に基づき移動パラメーターを設定し、ステップＳ１６で算出した移動パラメーターを更新する。制御部１４０は、ステップＳ４７の処理の前または後に、ステップＳ４１で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。

制御部１４０は、移動パラメーターに従って入力データを生成する処理を実行し、これによりポインターＰの表示位置が移動する（ステップＳ４８）。制御部１４０は、入力データを生成する処理を、移動パラメーターに含まれる移動量に相当する分だけ実行してから、入力データの生成を停止して本処理を終了する。

第４の実施形態によれば、操作体がトラックパッド１４に接触する時間が短い場合に、予め設定された移動量でポインターＰを移動させることが可能となる。このため、使用者が、トラックパッド１４に対して操作体を短時間、接触させる操作を行うことで、ポインターＰを移動させることができる。従って、トラックパッド１４に操作体を接触させる状態を維持する操作に加え、トラックパッド１４に短時間接触する操作により、画像表示部２０の表示を制御でき、操作性の向上を図ることができる。

［第５の実施形態］
図１３は、本発明を適用した第５の実施形態に係るＨＭＤ１００の動作を示すフローチャートである。図１４は、本発明を適用した第５の実施形態に係るＨＭＤ１００の動作を示すフローチャートである。第５の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。

第５の実施形態で、ＨＭＤ１００は、トラックパッド１４に対する接触操作に応じてポインターＰの表示位置を移動させる処理において、接触操作が解除された後、所定時間内に再び接触操作がされた場合に、これらの接触操作を連続する操作として処理する。

図１３に示すステップＳ１１〜Ｓ１８の動作は、上述した第１〜第３実施形態と同様である。第５の実施形態において、制御部１４０は、トラックパッド１４の操作位置が停止しない状態、すなわちスライドジェスチャーが継続する間（ステップＳ１５；Ｎｏ）、トラックパッド１４への接触の解除を監視する（ステップＳ６１）。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ６１；Ｎｏ）、制御部１４０はステップＳ１５に戻り、操作位置の監視を行う。

制御部１４０は、トラックパッド１４の接触操作が解除されたことを検出すると（ステップＳ６１；Ｙｅｓ）、スライドジェスチャーに対応する入力データの移動パラメーターを算出する（ステップＳ６２）。ステップＳ６２で算出される移動パラメーターは、例えば、後述するステップＳ１６で算出される移動パラメーターと同様に、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。ステップＳ６２で算出し生成される移動パラメーターは、移動量を示すデータを含むことが望ましい。移動量を示すデータは、予め設定された移動量のデフォルト値であってもよいし、スライドジェスチャーの操作位置の移動量や移動速度に対応する移動量であってもよい。

移動パラメーターを算出した後、制御部１４０は、移動パラメーターに従って入力データを生成する処理を実行し、これによりポインターＰの表示位置が移動する（ステップＳ６３）。制御部１４０は、入力データを生成する処理を、移動パラメーターに含まれる移動量に相当する分だけ実行する。

入力データの生成を開始した後、制御部１４０は、タイマーのカウントを開始する（ステップＳ６４）。タイマーは、プログラムにより実現される制御部１４０の１つの機能として実現できる。制御部１４０は、トラックパッド１４に対する新たな接触を監視し（ステップＳ６５）、トラックパッド１４の接触が検出されない間（ステップＳ６５；Ｎｏ）、タイマーのカウント値が設定値以上であるか否かを判定する（ステップＳ６６）。ここで、カウント値が、予め設定された設定値以上である場合（ステップＳ６６；Ｙｅｓ）、制御部１４０は、移動パラメーターの移動量に対応する分の入力データの生成を行った後、本処理を終了する。

タイマーのカウント値が設定値に達しない場合（ステップＳ６６；Ｎｏ）、制御部１４０はステップＳ６５に戻ってトラックパッド１４への接触を監視する。
トラックパッド１４に対する接触が検出された場合（ステップＳ６５；Ｙｅｓ）、制御部１４０は、後述するステップＳ７１（図１３）に移行する。

また、制御部１４０は、ステップＳ１８においてトラックパッド１４への接触が解除されたことを検出すると（ステップＳ１８；Ｙｅｓ）、タイマーのカウントを開始する（ステップＳ５１）。制御部１４０は、トラックパッド１４に対する新たな接触を監視し（ステップＳ５２）、トラックパッド１４の接触が検出されない間（ステップＳ５２；Ｎｏ）、タイマーのカウント値が設定値以上であるか否かを判定する（ステップＳ５３）。ここで、カウント値が、予め設定された設定値以上である場合（ステップＳ５３；Ｙｅｓ）、制御部１４０は、移動パラメーターの生成を停止し、これによりポインターＰの移動を停止させて（ステップＳ１９）、本処理を終了する。

また、タイマーのカウント値が設定値に達しない場合（ステップＳ５３；Ｎｏ）、制御部１４０はステップＳ５２に戻ってトラックパッド１４への接触を監視する。トラックパッド１４に対する接触が検出された場合（ステップＳ５２；Ｙｅｓ）、制御部１４０は、ステップＳ７１（図１３）に移行する。

ステップＳ７１以後は、使用者がトラックパッド１４に操作体を接触させる操作を行い、接触を解除した後の所定時間内に、再び操作体をトラックパッド１４に接触させた場合に対応する動作である。
制御部１４０は、ステップＳ５２またはＳ６５で検出したトラックパッド１４の接触位置すなわち操作位置が停止したか否かを監視する（ステップＳ７１）。操作位置が停止しない間（ステップＳ７１；Ｎｏ）、制御部１４０は、トラックパッド１４への接触の解除を監視する（ステップＳ７２）。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ７２；Ｎｏ）、制御部１４０はステップＳ７１に戻り操作位置の監視を行う。

操作位置が停止したことを検出した場合（ステップＳ７１；Ｙｅｓ）、制御部１４０は、操作に対応する入力データの移動パラメーターを算出し、移動パラメーターを更新する（ステップＳ７２）。ステップＳ７２で算出される移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。ステップＳ７２で移動パラメーターを更新した後、制御部１４０は、更新後の移動パラメーターに基づき入力データを生成する処理を開始する。

制御部１４０は、入力データを生成する処理の実行中、トラックパッド１４への接触の解除を監視する（ステップＳ７５）。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ７５；Ｎｏ）、入力データの生成を継続し、ステップＳ７５の監視を継続する。制御部１４０は、トラックパッド１４への接触が解除されたことを検出すると（ステップＳ７５；Ｙｅｓ）、タイマーのカウントを開始する（ステップＳ７４）。

制御部１４０は、トラックパッド１４に対する新たな接触を監視し（ステップＳ７５）、トラックパッド１４の接触が検出されない間（ステップＳ７５；Ｎｏ）、タイマーのカウント値が設定値以上であるか否かを判定する（ステップＳ７６）。ここで、カウント値が、予め設定された設定値以上である場合（ステップＳ７６；Ｙｅｓ）、制御部１４０は、ステップＳ５４に移行して移動パラメーターの生成を停止し、これによりポインターＰの移動を停止させて（ステップＳ５４）、本処理を終了する。制御部１４０は、ステップＳ７６の処理の後に、ステップＳ７４で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。
タイマーのカウント値が設定値に達しない場合（ステップＳ７６；Ｎｏ）、制御部１４０はステップＳ７５に戻ってトラックパッド１４への接触を監視する。

また、ステップＳ７１において、操作位置が停止していない場合、すなわち操作位置が移動を続けている間（ステップＳ７１；Ｎｏ）、制御部１４０は、トラックパッド１４への接触の解除を監視する（ステップＳ７７）。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ７７；Ｎｏ）、入力データの生成を継続し、ステップＳ７７の監視を継続する。

制御部１４０は、トラックパッド１４への接触が解除されたことを検出すると（ステップＳ７７；Ｙｅｓ）、制御部１４０は、スライドジェスチャーに対応する入力データの移動パラメーターを算出する（ステップＳ７８）。ステップＳ７８で算出される移動パラメーターは、例えば、ステップＳ６２で算出される移動パラメーターと同様である。すなわち、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよく、移動量を示すデータを含むことが望ましい。移動量を示すデータは、予め設定された移動量のデフォルト値であってもよいし、スライドジェスチャーの操作位置の移動量や移動速度に対応する移動量であってもよい。制御部１４０は、ステップＳ７８で、算出した移動パラメーターにより、移動パラメーターを更新する。

制御部１４０は、更新後の移動パラメーターに基づき入力データを生成する処理を開始し、これによりポインターＰの表示位置が移動する（ステップＳ７９）。制御部１４０は、入力データの生成を開始した後、タイマーのカウントを開始する（ステップＳ８０）。ステップＳ８０で、制御部１４０は、ステップＳ７７で接触の解除を検出してからの経過時間をカウントする。従って、ステップＳ８０の処理は、ステップＳ７８またはＳ７９の前に実行してもよい。

制御部１４０は、トラックパッド１４に対する新たな接触を監視し（ステップＳ８１）、トラックパッド１４の接触が検出されない間（ステップＳ８１；Ｎｏ）、タイマーのカウント値が設定値以上であるか否かを判定する（ステップＳ８２）。ここで、カウント値が、予め設定された設定値以上である場合（ステップＳ８２；Ｙｅｓ）、制御部１４０は、移動パラメーターの移動量に対応する分の入力データの生成を行った後、本処理を終了する。タイマーのカウント値が設定値に達しない場合（ステップＳ８２；Ｎｏ）、制御部１４０はステップＳ８１に戻ってトラックパッド１４への接触を監視する。
トラックパッド１４に対する接触が検出された場合（ステップＳ８１；Ｙｅｓ）、制御部１４０は、ステップＳ７１（図１３）に戻る。トラックパッド１４に対する接触が検出された場合（ステップＳ８１；Ｙｅｓ）、制御部１４０は、ステップＳ８０で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。

第５の実施形態では、制御部１４０は、トラックパッド１４から操作体が離れて接触が解除されたことを検出してから所定時間が経過した場合に、操作が終了したとみなす終了条件に該当すると判定して、操作が解除された場合の動作を実行する。例えば、制御部１４０は、入力データの生成を停止する。
従って、トラックパッド１４から操作体が離れた後であってもポインターＰの表示位置の移動を継続できる。このため、トラックパッド１４において操作位置が移動する量よりも大きく、ポインターＰの表示位置を移動させることができ、トラックパッド１４の大きさの制約を回避できる。

また、制御部１４０は、操作検出部がトラックパッド１４から操作体が離れて接触が解除されたことを検出してから所定時間以内に、トラックパッド１４に対する接触を検出した場合に、新たな接触の操作位置に対応して、移動パラメーターを更新する。この移動パラメーターの更新により、ポインターＰの表示位置の移動方向及び移動速度の少なくともいずれかが変化する。従って、トラックパッド１４から操作体が離れた後であっても、使用者は、再び操作体をトラックパッド１４に接触させる操作を行えば、ポインターＰの表示位置の移動を制御できる。このため、ポインターＰの表示位置の移動の態様を、高い自由度で制御できる。例えば、制御部１４０は、所定時間内に再び操作体がトラックパッド１４に接触する操作が行われた場合に、操作体がトラックパッド１４から離れる状態を挟んで行われる複数の操作を、一連の操作として検出できる。

さらには、制御部１４０が、トラックパッド１４への接触が解除された後、タイマーのカウント値が設定値に達するまでの間に接触を監視する動作は、繰り返し実行することが可能である。

図１５は、第５の実施形態におけるトラックパッド１４に対する操作の例を示す説明図である。図１５の例は、トラックパッド１４において２回の操作ＡＴ１１、ＡＴ１２が行われた例を示す。詳細には、操作体を操作位置Ａ２１から操作位置Ａ２２に動かす操作ＡＴ１１が実行された後、操作体がトラックパッド１４から離れ、その後、操作体が操作位置Ａ２３でトラックパッド１４に接触して、操作位置Ａ２４まで移動された例である。
ここで、操作体が操作位置Ａ２２でトラックパッド１４から離れ、その後に操作位置Ａ２３でトラックパッド１４に接触するまでの時間が、所定時間より短いと仮定する。所定時間は、制御部１４０がカウントするタイマーのカウント値について設定される設定値（ステップＳ５３、Ｓ６６、Ｓ７６、Ｓ８８）に相当する。

この場合、制御部１４０は、操作ＡＴ１１に基づく移動パラメーターを生成して、入力データを生成する処理を実行する。このため、ポインターＰの表示位置は、図示はしないが、操作ＡＴ１１を反映した移動方向、或いは移動速度で移動する。
制御部１４０は、操作ＡＴ１２を検出した場合、操作ＡＴ１２に対応して移動パラメーターを生成し、更新する。ここで、制御部１４０は、操作ＡＴ１２の開始位置である操作位置Ａ２２の位置、終了位置である操作位置Ａ２３の位置、操作ＡＴ１２の操作位置の移動方向、操作位置の移動速度、接触時間等に対応して移動パラメーターを更新できる。

また、制御部１４０は、操作ＡＴ１１と操作ＡＴ１２を合成した結果に基づき、移動パラメーターを生成して更新してもよい。具体的には、制御部１４０は、操作ＡＴ１１について、操作位置の移動方向と移動量とを示すベクトルを生成する。制御部１４０は、操作ＡＴ１２を検出した場合に、操作ＡＴ１２について操作位置の移動方向と移動量とを示すベクトルを生成する。制御部１４０は、操作ＡＴ１１のベクトルと、操作ＡＴ１２のベクトルとを合成して合成ベクトルを生成する。制御部１４０は、合成ベクトルに対応する移動パラメーターを生成してもよい。この場合、操作ＡＴ１１と操作ＡＴ１２とを、１つの操作として、この操作に対応して入力データを生成できる。この場合、入力データに基づきポインターＰの表示位置を移動させる処理で、使用者の操作に応じて、ポインターＰの移動方向、移動速度等を、ゆるやかに変化させることができる。

さらにまた、制御部１４０は、操作ＡＴ１１に対応して入力データを生成した後で、操作ＡＴ１２に対応して入力データを生成してもよい。すなわち、操作ＡＴ１１に対応する移動パラメーターを生成し、この移動パラメーターに従って入力データを生成する処理を行い、その後に、操作ＡＴ１２に対応して移動パラメーターを更新してもよい。つまり、制御部１４０は、複数の操作が、所定時間内の非操作期間を挟んで行われた場合に、これら複数の操作を累積して反映するように、入力データを生成できる。この場合、操作ＡＴ１１、ＡＴ１２を順に反映して、ポインターＰの表示位置を移動させることができる。

また、操作位置Ａ２２で操作体がトラックパッド１４から離れた後も、制御部１４０は入力データの生成を継続するので、ポインターＰの表示位置は移動を続ける。このため、使用者が操作体をトラックパッド１４から離してしまった後もポインターＰを移動させることができる。さらに、所定時間内にトラックパッド１４に接触する操作を行えば、ポインターＰを停止させずに表示位置を移動させることができる。

また、上記の各種動作を実行する場合において、トラックパッド１４に操作体が接触していない状態であって入力データが生成されている状態で、操作により入力データの生成を停止させてもよい。制御部１４０が、トラックパッド１４の接触が解除されたことを検出してから所定時間内は、入力データが生成されポインターＰが移動する。このポインターＰの移動中に、例えばトラックパッド１４をタップする（叩く）操作が行われた場合に、制御部１４０は、経過時間にかかわらず入力データの生成を停止あるいは中断してもよい。また、例えば、制御部１４０は、ポインターＰの移動中に、制御装置１０を動かす操作を３軸センサー１１３により検出した場合に、経過時間にかかわらず入力データの生成を停止あるいは中断してもよい。また、例えば、制御部１４０は、９軸センサー６６によって、画像表示部２０を叩く操作や画像表示部２０を所定方向に動かす動作を検出した場合に、経過時間にかかわらず入力データの生成を停止あるいは中断してもよい。

第５の実施形態において、操作体がトラックパッド１４から離れた後、所定時間内に検出された操作が、それ以前の操作に対し所定の条件を満たす場合に、制御部１４０は、予め設定された処理を実行する構成としてもよい。所定の条件とは、例えば、操作体がトラックパッド１４から離れてから所定時間内に検出された操作における操作位置の移動方向が、それ以前の操作に対し逆方向である場合である。制御部１４０が実行する処理は、例えば、移動パラメーターにおいて入力位置の移動速度を減速する処理である。また、所定の条件は、３軸センサー１１３により制御装置１０を動かす操作を検出することであってもよい。また、この場合に検出する制御装置１０の動きについて特定の方向を設定してもよい。この場合、制御部１４０は、制御装置１０の動き、或いは動きの方向に応じて、例えば、移動パラメーターにおいて入力位置の移動速度を加速、或いは減速する処理を実行してもよい。また、例えば、移動パラメーターにおいて入力位置の移動方向を、制御装置１０の動きの方向に対応して変更する処理を実行してもよい。

［第６の実施形態］
図１６は、本発明を適用した第６の実施形態におけるトラックパッド１４における操作領域の設定状態を示す図であり、図１７は、ＨＭＤ１００の動作を示すフローチャートである。本第６の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。

図１６に示すように、第６の実施形態では、トラックパッド１４に複数の操作領域Ｃが設定される。操作領域Ｃは、トラックパッド１４における座標により指定され、それぞれの操作領域Ｃと他の領域との境界の座標が、例えば設定データ１２１に設置される。

操作領域Ｃ１は、第１及び第２実施形態で説明したように、トラックパッド１４の操作位置が移動しない間もポインターＰを移動させる制御の対象となる領域である。これに対し、操作領域Ｃ１以外の領域、すなわち操作領域Ｃ２は、表示可能領域ＤにおけるポインターＰの表示位置が、トラックパッド１４の操作位置に対応するように制御する領域である。

制御部１４０は、操作領域Ｃ１においてスライドジェスチャーが行われた場合に、第１の実施形態で説明した処理を実行する。また、操作領域Ｃ２では、スライドジェスチャーが行われても、トラックパッド１４の操作位置に対応する位置にポインターＰを移動させる、通常処理を実行する。この動作を図１７に示す。

図１７に示す動作のステップＳ１１〜Ｓ１９は、上記第１の実施形態と同様である。
本第６の実施形態において、ＨＭＤ１００の制御部１４０は、トラックパッド１４への操作がスライドジェスチャーであると判定した場合（ステップＳ１３；Ｙｅｓ）、操作位置の座標を判定する（ステップＳ９１）。ステップＳ３１では、例えば、トラックパッド１４の操作位置の座標と設定データ１２１に設定された座標とを比較して、操作位置が操作領域Ｃ１に含まれるか否かを判定する。

制御部１４０は、ステップＳ３１の判定結果に基づき、通常処理を行うか否かを判定する（ステップＳ３２）。通常処理を行う場合（ステップＳ９２；Ｎｏ）、ステップＳ１４に移行して、トラックパッド１４上の操作位置に対応する表示可能領域Ｄの表示位置に、ポインターＰを移動させ（ステップＳ１４）、本処理を終了する。
また、通常処理を行わない場合（ステップＳ９２；Ｎｏ）、制御部１４０はステップＳ１５に移行する。

第６の実施形態の動作によれば、トラックパッド１４の実際の操作位置の移動量より大きくポインターＰを移動させる処理を、トラックパッド１４における特定の領域に限定して行うことができる。トラックパッド１４において、上記処理の対象とする領域は、図１６に例示した操作領域Ｃ１のような形状、サイズに限定されない。例えば、トラックパッド１４を上下または左右に複数に分割して、いずれかの領域を、操作領域Ｃ１と同様の領域としてもよい。トラックパッド１４の形状が、Ｘ方向やＹ方向に長い形状である場合や、比較的広い面積のトラックパッド１４を実装可能な場合に、ポインターＰの不要な移動を回避できる点で有用である。

［第７の実施形態］
図１８は、本発明を適用した第７の実施形態におけるＨＭＤ１００の動作を示すフローチャートである。本第７の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。

図１８に示す動作のステップＳ１１〜Ｓ１９は、上記第１の実施形態と同様である。
本第７の実施形態において、ＨＭＤ１００の制御部１４０は、トラックパッド１４におけるスライドジェスチャーのうち、特定の方向に操作位置が移動する操作に対して、第１の実施形態で説明した処理を実行する。また、スライドジェスチャーが行われても、操作位置の移動方向が、設定された方向でない場合は、トラックパッド１４の操作位置に対応する位置にポインターＰを移動させる、通常処理を実行する。

すなわち、ＨＭＤ１００の制御部１４０は、トラックパッド１４への操作がスライドジェスチャーであると判定した場合（ステップＳ１３；Ｙｅｓ）、操作位置の移動方向を判定する（ステップＳ１０１）。

制御部１４０は、ステップＳ１０１で判定した移動方向に基づき、通常処理を行うか否かを判定する（ステップＳ１０２）。通常処理を行う場合（ステップＳ１０２；Ｎｏ）、ステップＳ１４に移行して、トラックパッド１４上の操作位置に対応する表示可能領域Ｄの表示位置に、ポインターＰを移動させ（ステップＳ１４）、本処理を終了する。
また、通常処理を行わない場合（ステップＳ１０２；Ｎｏ）、制御部１４０はステップＳ１５に移行する。

第７の実施形態の動作によれば、トラックパッド１４の実際の操作位置の移動量より大きくポインターＰを移動させる処理を、トラックパッド１４における特定の方向に対する操作に限定して行うことができる。例えば、Ｙ方向のスライドジェスチャーを上記処理の対象としてもよく、Ｘ方向のスライドジェスチャーに対しては通常処理を行ってもよい。この場合、トラックパッド１４がＸ方向に長い、横長の形状である場合に有用である。つまり、トラックパッド１４の形状が、Ｘ方向やＹ方向に長い形状である場合等、操作位置の移動量の確保が難しい方向についてのみ、上記処理を行う構成とすることができる。

ステップＳ４２では、ステップＳ４１で判定した方向が、設定された方向に該当するか否かを判定するが、この判定において、正確に特定の方向に移動した場合に限らず、特定の方向と見なすことができる範囲を設定してもよい。すなわち、上記処理を行う方向の範囲が予め設定され、操作位置の移動方向が、上記範囲に含まれる場合に、ステップＳ４２で否定判定する構成であってもよい。

［第８の実施形態］
図１９は、第８の実施形態におけるＨＭＤ１００の動作を示すフローチャートである。図２０は、第８の実施形態におけるトラックパッド１４及び仮想入力平面ＩＰの対応を示す模式図である。第８の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。

第８の実施形態で、ＨＭＤ１００は、トラックパッド１４に対して複数の位置で接触する操作が行われた場合、これら複数の位置における接触操作に応じた処理を実行する。

図１９に示すステップＳ１１〜Ｓ１９の動作は、上述した第１〜第３実施形態と同様である。
第８の実施形態において、制御部１４０は、入力情報取得部１１０により検出されたトラックパッド１４の操作位置を取得し（ステップＳ１２）、取得した操作位置が複数であるか否かを判定する（ステップＳ１１１）。操作位置が１箇所である場合（ステップＳ１１１；Ｎｏ）、制御部１４０はステップＳ１３に移行する。

操作位置が複数である場合（ステップＳ１１１；Ｙｅｓ）、制御部１４０は、操作位置が移動しているか否かの判定を行う（ステップＳ１１２）。制御部１４０は、操作位置が移動しない間は（ステップＳ１１２；Ｎｏ）、移動するまで待機する。この待機中、制御部１４０は、入力情報取得部１１０から入力される操作データに基づき操作位置の検出を継続して行う。また、ステップＳ１１２で、制御部１４０は、複数の操作位置のうち少なくともいずれかが移動した場合に、操作位置が移動したと判定する。

操作位置が移動したと判定した場合（ステップＳ１１２；Ｙｅｓ）、制御部１４０は、操作位置が停止したか否かを判定する（ステップＳ１１３）。操作位置が停止しない間（ステップＳ１１３；Ｎｏ）、停止するまで待機する。この待機中、制御部１４０は、入力情報取得部１１０から入力される操作データに基づき操作位置の検出を継続して行う。

操作位置が停止した場合（ステップＳ１１３；Ｙｅｓ）、制御部１４０は、操作位置の数、及び、操作位置の移動に応じて、入力データの移動パラメーターを算出する（ステップＳ１１４）。入力データの移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータを含む。

制御部１４０は、ステップＳ１６で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部２２及び左表示駆動部２４にポインターＰを表示させる処理を開始する（ステップＳ１１５）。制御部１４０が生成する入力データの入力位置が移動することにより、画像表示部２０が表示するポインターＰの表示位置が移動する。この後、制御部１４０は、入力データを所定周期（例えば、入力情報取得部１１０のサンプリング周期）で生成する処理を継続する。また、制御部１４０は、生成した入力データに基づきポインターＰの表示位置を移動する処理を継続する。

ポインターＰの表示位置が移動する間、制御部１４０は、トラックパッド１４への接触の解除を監視する（ステップＳ１１６）。ステップＳ１１６で、制御部１４０は、トラックパッド１４に対する全ての接触が解除されたか否かを判定する。トラックパッド１４への接触が解除されていないと判定した場合（ステップＳ１１６；Ｎｏ）、制御部１４０は、ステップＳ１１６で接触位置の監視を継続し、入力データの生成とポインターＰの表示位置の移動を継続する。

制御部１４０は、トラックパッド１４への全ての接触が解除されたことを検出すると（ステップＳ１１６；Ｙｅｓ）、入力データの生成を停止し、これによりポインターＰの移動を停止させて（ステップＳ１９）、本処理を終了する。

ステップＳ１１４で、制御部１４０は、複数の操作位置のそれぞれが移動した方向、速度、移動量に基づき移動パラメーターを生成してもよい。また、制御部１４０は、複数の操作位置の相互の相対位置の変化を求め、相対位置の変化の方向、変化の速度、変化量に基づき移動パラメーターを生成してもよい。

ステップＳ１１４における制御部１４０の具体的な動作例を以下に挙げる。
（１）制御部１４０は、複数の操作位置のうち一部の操作位置が移動した場合に、移動していない側を検出対象として設定する。この場合、制御部１４０は、検出対象として設定した操作位置が移動した場合に、検出対象の操作位置の移動方向、移動速度、移動量等に対応する移動パラメーターを、例えば、ステップＳ１６の処理と同様に生成する。（１）の動作を実行する場合、制御部１４０は、１つの操作位置を検出対象の操作位置として設定する。従って、３以上の操作位置を入力情報取得部１１０が検出した場合には、ステップＳ１１２で、いずれか１つの操作位置を除く他の操作位置が移動するまで待機する。さらに、制御部１４０は、検出対象の操作位置を設定した後、この検出対象の操作位置が移動するまで、ステップＳ１１２で待機する。
なお、これとは逆に、制御部１４０は、複数の操作位置のうち一部の操作位置が移動した場合に、移動した側を検出対象として設定してもよい。この例では、制御部１４０は、３以上の操作位置を入力情報取得部１１０が検出した場合に、ステップＳ１１２で、いずれか１つの操作位置が移動するまで待機する。さらに、制御部１４０は、検出対象の操作位置を設定した後、この検出対象の操作位置が移動するまで、ステップＳ１１２で待機する。

（２）制御部１４０は、複数の操作位置が移動した場合であって、複数の操作位置の移動方向が互いに平行である場合に、画像表示部２０により表示する画像を拡大／縮小する入力データを生成するように、移動パラメーターを生成する。例えば、使用者が、複数の指を揃えてトラックパッド１４上で移動させた場合に相当する。この場合、制御部１４０は、移動パラメーターの属性として、表示画像を拡大、或いは縮小を指示する入力データであることを示すデータを付加してもよい。また、制御部１４０が生成する入力データは、表示画像の拡大、縮小を指示するデータであってもよいし、表示倍率を指定し、或いは、表示倍率の増大／低下を指示するデータであってもよい。表示制御部１７０は、生成される入力データに従って、右表示駆動部２２及び左表示駆動部２４により表示する表示画像（例えば、ポインターＰ）の表示倍率を更新する。

（３）制御部１４０は、複数の操作位置が移動した場合であって、複数の操作位置の移動方向が平行でない場合に、Ｘ−Ｙ座標が設定された仮想入力平面ＩＰのＺ軸方向（仮想入力平面ＩＰに垂直な方向）に対する入力データを生成する処理を行ってもよい。
この場合、オペレーティングシステム１５０を含む制御装置１０が、三次元の位置入力を受け付ける構成である。制御装置１０は、仮想入力平面ＩＰ内における二次元の位置入力、及び、仮想入力平面ＩＰを基準として、例えば仮想入力平面ＩＰに垂直な方向を座標軸とする位置入力を検出可能である。すなわち、仮想入力平面ＩＰの面内のＸ−Ｙ座標と、仮想入力平面ＩＰに垂直なＺ軸方向の位置入力とを受け付けて処理を実行できる。つまり、制御装置１０は、仮想入力平面ＩＰを含む仮想入力空間を有し、この仮想入力空間における位置や方向を定める入力データを、仮想入力平面ＩＰを基準として処理できる。

図２０には、トラックパッド１４において操作位置Ａ３１と操作位置Ａ３３に操作体が接触し、操作位置Ａ３１から操作位置Ａ３２に移動する操作ＡＴ３１と、操作位置Ａ３３から操作位置Ａ３４に移動する操作ＡＴ３２とが実行される例を示す。操作ＡＴ３１、ＡＴ３２により、トラックパッド１４における２つの操作位置は互いに接近するように移動する。
制御部１４０は、操作ＡＴ３１、ＡＴ３２により２つの操作位置が近づくことに対応して、仮想入力平面ＩＰにおいてＺ軸方向に入力位置が移動する入力データを生成するための移動パラメーターを生成する。図２０の例では、仮想入力平面ＩＰに対して入力位置がＺ軸の正方向に移動する入力データが生成される。また、制御部１４０は、トラックパッド１４において２つの操作位置の間の距離が拡大する操作を検出した場合、仮想入力平面ＩＰに対して入力位置がＺ軸の負方向に移動する入力データを生成してもよい。この場合、Ｚ軸方向に移動する入力位置の基点を、複数の操作位置の中心、或いは重心に相当する入力位置ＩＡ１１としてもよい。

（３）の例は、（２）で説明したように複数の操作位置が移動する場合と組み合わせることができる。この場合、操作位置が平行移動した場合は表示画像を拡大／縮小する入力データを生成し、複数の操作位置の距離が変化する場合は仮想入力平面ＩＰにおいてＺ軸方向に入力位置が移動する入力データを生成するよう、移動パラメーターを設定してもよい。また、複数の操作位置が平行に移動する場合に、複数の操作位置の移動方向及び移動量に対応して、仮想入力平面ＩＰにおいてＺ軸方向に入力位置が移動する入力データを生成、移動パラメーターを設定してもよい。また、複数の操作位置が水平に移動する場合は表示画像を拡大／縮小する入力データを生成し、複数の操作位置が水平でない移動、すなわち相互の距離が変化するように移動する場合はＺ軸方向に入力位置が移動する入力データを生成するよう、移動パラメーターを設定してもよい。

（４）制御部１４０は、３以上の操作位置が同時に移動した場合に、これら３以上の操作位置の移動に対応して、Ｘ−Ｙ座標が設定された仮想入力平面ＩＰのＺ軸方向（仮想入力平面ＩＰに垂直な方向）に対する入力データを生成する処理を行ってもよい。この場合、制御部１４０は、複数の操作位置の移動方向、移動速度、及び移動量の少なくともいずれかについて、平均を求める等の演算処理を実行し、操作位置の移動方向、移動速度あるいは移動量の代表値を求める。制御部１４０は、代表値に基づいて、移動パラメーターを生成してもよい。この場合、制御部１４０は、仮想入力平面ＩＰに対して入力位置がＺ軸の正方向あるいは負方向に移動する入力データを生成できる。

制御部１４０は、上述した（１）、（２）、（３）、（４）の少なくともいずれかの動作、或いは２以上を組み合わせた動作を、ステップＳ１１４で実行することができる。これにより、トラックパッド１４に対する多彩な操作に対応して、トラックパッド１４に対する接触操作により、複雑な入力操作を行うことができる。

［第９の実施形態］
図２１は、第９の実施形態におけるＨＭＤ１００の動作を示すフローチャートである。第９の実施形態において、ＨＭＤ１００の構成は第１の実施形態と同様である。このため、ＨＭＤ１００の構成に関して図示及び説明を省略する。

第９の実施形態で、ＨＭＤ１００は、トラックパッド１４に対する接触操作と、制御装置１０を動かす、或いは制御装置１０の姿勢を変化させる操作に応じて、入力データを生成する。

図２１に示すステップＳ１１〜Ｓ１９の動作は、上述した第１〜第３実施形態と同様である。
制御部１４０は、操作位置が停止したことを検出した場合（ステップＳ１５）、３軸センサー１１３の検出値に基づいて、制御装置１０の傾き、及び／または、制御装置１０の動きを検出する（ステップＳ１２１）。制御部１４０は、ステップＳ１１で入力情報取得部１１０がタッチ操作を検出した後、３軸センサー１１３の検出値を、例えば設定されたサンプリング周期で取得し、その累積値に基づいて、制御装置１０の姿勢を特定してもよい。また、制御部１４０は、ステップＳ１３で操作位置が移動したことを検出した後に、３軸センサー１１３の検出値を、例えば設定されたサンプリング周期で取得し、その累積値に基づいて、制御装置１０の姿勢を特定してもよい。また、制御装置１０が地磁気センサー（図示略）を有する場合において、地磁気センサーの検出値に基づいて制御装置１０の姿勢を検出してもよい。また、制御部１４０は、３軸センサー１１３の検出値をステップＳ１２１で取得して、取得した検出値に基づき制御装置１０の姿勢を検出してもよい。

制御部１４０は、ステップＳ１２１で検出した制御装置１０の傾き、及び／または、制御装置１０の動きと、ステップＳ１２〜Ｓ１５で検出した操作位置に対応して、移動パラメーターを算出する（ステップＳ１２２）。ステップＳ１２２で、制御部１４０は、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。また、移動パラメーターは、移動量を示すデータを含んでもよい。また、移動パラメーターは、仮想入力平面ＩＰに対して垂直な方向の入力位置の移動を含む入力データを生成するデータであってもよい。

ステップＳ１２２で、制御部１４０は、例えば、トラックパッド１４における操作位置の軌跡、移動速度、移動方向、移動量等に基づいて移動パラメーターを生成してもよい。さらに、制御部１４０は、生成した移動パラメーターを、ステップＳ１２１で検出した制御装置１０の傾き（姿勢）及び／または制御装置１０の動きに基づいて、補正あるいは修正してもよい。具体的な例を挙げると、制御装置１０が予め設定された方向に傾いたことをステップＳ１２１で検出した場合、制御部１４０は、移動パラメーターのうち入力位置の移動速度を示すデータを更新してもよい。この場合、制御部１４０は、制御装置１０が所定方向に傾いた場合に、入力位置の移動速度を増加させるように移動パラメーターを更新してもよい。また、上記所定方向とは逆の方向に制御装置１０が傾いた場合に、入力位置の移動速度を低下させるように移動パラメーターを更新してもよい。或いは、制御部１４０は、制御装置１０が所定方向に動いた場合に、入力位置の移動速度を増加させるように移動パラメーターを更新してもよい。また、上記所定方向とは逆の方向に制御装置１０が動いた場合に、入力位置の移動速度を低下させるように移動パラメーターを更新してもよい。

また、制御部１４０は、制御装置１０の傾きに対応して、トラックパッド１４と仮想入力平面ＩＰとの相対位置を変化させてもよい。例えば、初期状態において、図６に示したようにトラックパッド１４と仮想入力平面ＩＰとが平行であり、トラックパッド１４におけるＸ−Ｙ軸と仮想入力平面ＩＰのＸ−Ｙ軸とが平行な状態として設定される。制御部１４０は、ステップＳ１２１で検出した制御装置１０の傾きに応じて、トラックパッド１４に対する仮想入力平面ＩＰの傾きを変化させてもよい。

このように、ＨＭＤ１００は、トラックパッド１４を有する制御装置１０の姿勢または姿勢の変化を検出する３軸センサー１１３を備える。制御部１４０は、ポインターＰの表示位置が移動する間に、３軸センサー１１３が検出する制御装置１０の姿勢または姿勢の変化に対応して、入力データを生成する。これにより、制御部１４０は、ポインターＰの表示位置の移動方向及び移動速度の少なくともいずれかを変化させる。このため、簡単な操作によって、表示オブジェクトであるポインターＰの表示位置の移動の態様を、高い自由度で制御できる。

［その他の変形例］
以下、図２２〜図２５を参照して、上記各実施形態の変形例を説明する。
図２２はトラックパッド１４の変形例として、円形のトラックパッド１４ａを示す図である。トラックパッド１４ａは、トラックパッド１４と同様に、接触操作を検出する操作面として機能する。ＨＭＤ１００がトラックパッド１４ａを備える場合、入力情報取得部１１０は、トラックパッド１４ａにおける操作を、例えば図２２に符号Ｘ、Ｙで示す直交座標系における座標として検出する。トラックパッド１４ａは、Ｘ軸方向、及びＹ軸方向において、操作位置を大きく移動させることができないが、上記第１〜第９実施形態を適用することで、トラックパッド１４における操作位置の移動量よりも大きく、ポインターＰを動かすことができる。トラックパッド１４ａは、トラックパッド１４と同様に、制御部１４０が操作位置の移動の方向を検出可能なサイズがあればよいので、図２２に示すように、画像表示部２０の表示領域とは異なる形状であってもよい。
従って、図２２に示す円形のトラックパッド１４ａや、細長い形状など、様々な形状のトラックパッドを用いて、ポインターＰを大きく動かすことができ、高い操作性を実現できる。

図２３は、制御装置１０の本体に設けたトラックパッド１４（図１）に代えて、画像表示部２０の側面にトラックパッド１４ｂを配置する変形例を示す。トラックパッド１４ｂは、トラックパッド１４と同様に、接触操作を検出する操作面として機能する。
図２３の例では、画像表示部２０の側面を、使用者が指で擦るような動作で、スライドジェスチャーを実行できる。この場合も、トラックパッド１４ｂの面積を大きくすることは容易でないが、上記第１〜第９実施形態を適用することで、高い操作性を実現できる。

図２４は、指輪型のデバイス７１の表面に、トラックパッド１４と同様に接触操作を検出可能なトラックパッド１４ｃを配置する例を示す。トラックパッド１４ｃは、トラックパッド１４と同様に、接触操作を検出する操作面として機能する。
トラックパッド１４ｃはデバイス７１の表面の一部または全部に形成され、トラックパッド１４ｃの外観がデバイス７１の表面と一体化した構成とすることができる。トラックパッド１４ｃは、デバイス７１の表面に対する接触を検出できればよく、接触を検出するための回路等がデバイス７１の内部に埋設または収容された構成であってもよい。つまり、デバイス７１の表面が、操作を検出するための回路等と一体に構成されていなくてもよく、当該回路の一部を構成していなくてもよい。
デバイス７１は、例えば制御装置１０の通信部１１７との間で無線通信を実行し、制御部１４０が、トラックパッド１４ｃにおける操作位置を検出可能な構成とすることができる。
この場合、上記第１〜第９実施形態を適用することで、小さな指輪型のデバイス７１に対する接触操作により、ポインターＰを自在に動かすことができる。

図２５は、ペン型のデバイス７２の側面に、トラックパッド１４と同様に接触操作を検出可能なトラックパッド１４ｄを配置する例を示す。トラックパッド１４ｄは、トラックパッド１４と同様に、接触操作を検出する操作面として機能する。トラックパッド１４ｄはデバイス７２の表面の一部または全部に形成され、トラックパッド１４ｃの外観がデバイス７２の表面と一体化した構成とすることができる。トラックパッド１４ｄは、デバイス７２の表面に対する接触を検出できればよく、接触を検出するための回路等がデバイス７２の内部に埋設または収容された構成であってもよい。つまり、デバイス７２の表面が、操作を検出するための回路等と一体に構成されていなくてもよく、当該回路の一部を構成していなくてもよい。
デバイス７２は、例えば制御装置１０の通信部１１７との間で無線通信を実行し、制御部１４０が、トラックパッド１４ｄにおける操作位置を検出可能な構成とすることができる。また、デバイス７２は実際に筆記具として使用可能な構成を具備してもよい。このデバイス７２を用いた構成に、上記第１〜第９実施形態を適用することで、小さなペン型のデバイス７１に対する接触操作により、ポインターＰを自在に動かすことができる。

トラックパッド１４ｃ、１４ｄに対する操作は、手指等によるタッチ（接触）操作、及び、接触した手指の接触を維持したまま動かす操作等である。制御部１４０は、トラックパッド１４ｃ、１４ｄに対する接触を検出した場合、この接触が維持される間、すなわち接触が解除されるまで、操作が終了していないと判定する。言い換えれば、トラックパッド１４ｃ、１４ｄに対する手指の接触が解除されると、操作が終了したと判定する。従って、使用者がトラックパッド１４ｃ、１４ｄに手指を接触させて動かす操作を行った場合、この手指を使用者がトラックパッド１４ｃ、１４ｄから離すまでの間、表示オブジェクトであるポインターＰや画面Ｍ１〜Ｍ６の表示位置が移動する。

立体物の表面を操作面とする構成の別の例として、例えば、自動車のハンドルの表面を操作面とし、ハンドルの表面に対する接触操作を検出する構成とすることができる。
また、上記各実施形態で説明したトラックパッド１４、１４ａ、１４ｂ、１４ｃ、１４ｄ等の操作面を複数の領域に分割し、それぞれの領域を操作面として使用する構成とすることもできる。この場合、制御部１４０は、それぞれの領域における１または複数の操作位置の移動に対応して、移動パラメーターを設定し、入力データを生成してもよい。また、制御部１４０は、複数の操作面において検出された操作位置の移動に対応して、移動パラメーターを設定し、入力データを生成してもよい。

なお、この発明は上記各実施形態及び変形例の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよい。使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。

上記各実施形態及び変形例では、表示オブジェクトとして、ポインターＰ、或いは、図８に示したリング型のＵＩにおける画面Ｍ１〜Ｍ６を例示した。本発明はこれに限定されず、操作面に対する操作に応じて表示位置を移動できるものであれば、表示オブジェクトとして本発明を適用できる。例えば、制御装置１０が実行するアプリケーションプログラムやゲーム等のコンテンツ内に表示される表示物を、表示オブジェクトとして、本発明を適用してもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的に、又は可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
また、本発明は、外光とともに画像を視認させる表示装置に限らず、各種の表示装置に適用可能であり、例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、ＡＲ表示、ＭＲ表示、或いはＶＲ表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０又は制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。
また、本発明は、制御装置１０が実行するプログラムを記憶した記憶媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現することもできる。記憶媒体としての記憶部１２０は、磁気的、光学的記憶媒体あるいは半導体メモリーデバイスを用いるもののいずれであってもよく、その他の種類の記憶媒体を使用してもよい。この記憶媒体は、メモリーカード等の可搬型記憶媒体であってもよく、その他の具体的な実装形態も任意である。

上記プログラムは、制御装置１０のオペレーティングシステム１５０上で動作する単体のアプリケーションプログラムとして実装することができる。また、上記プログラムは、オペレーティングシステム１５０、オペレーティングシステム１５０の一部として、あるいはオペレーティングシステム１５０と協働して動作するデバイスドライバーの機能として実装してもよい。或いは、これらとともに実行されるアプリケーションプログラムの機能として実装されてもよい。例えば、トラックパッド１４、１４ａ、１４ｂ、１４ｃ、１４ｄを制御するデバイスドライバープログラムの機能として実装してもよい。また、オペレーティングシステム１５０においてトラックパッド１４、１４ａ、１４ｂ、１４ｃ、１４ｄの操作を受け付けるプログラムモジュールの機能として実装してもよい。また、複数のアプリケーションプログラムにより、上記プログラムを実現する構成であってもよく、具体的なプログラムの形態は任意である。

また、制御部１４０が実行するプログラムの機能、すなわち制御部１４０が備える各処理部（例えば、画像処理部１６０、表示制御部１７０、操作検出部１８３、ＧＵＩ制御部１８５、音声処理部１９０、或いはその他の生成部、判定部、特定部等）を、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）やＳｏＣ（System on a Chip）を用いて構成してもよい。また、ＦＰＧＡ（Field-Programmable Gate Array））等のプログラマブルデバイスにより実現してもよい。
また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１０…制御装置（操作デバイス）、１４、１４ａ、１４ｂ、１４ｃ、１４ｄ…トラックパッド（操作面）、２０…画像表示部（表示部）、２２…右表示駆動部、２４…左表示駆動部、６１…カメラ、１００…ＨＭＤ（表示装置）、１１０…入力情報取得部（操作検出部）、１１１…操作部、１１３…３軸センサー（姿勢検出部）、１２０…記憶部、１２１…設定データ、１２３…コンテンツデータ、１４０…制御部、１６０…画像処理部、１７０…表示制御部、１８２…操作検出部、１８５…ＧＵＩ制御部、１９０…音声処理部、２６１…右導光板、２６２…左導光板、Ｐ…ポインター（表示オブジェクト）。

Claims (20)

1. 表示部と、
   操作面に対する操作を検出する操作検出部と、
   前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御する制御部と、を備え、
   前記制御部は、前記操作検出部が検出する前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、
   を特徴とする表示装置。
2. 前記制御部は、前記表示オブジェクトの表示位置の移動方向を、前記操作面における操作位置の移動方向に対応する方向に設定すること、
   を特徴とする請求項１記載の表示装置。
3. 前記制御部は、前記操作検出部が前記操作面に対する操作を検出した後、前記表示オブジェクトの表示位置の移動方向を求める処理を行う間、前記操作面の操作位置に対応する表示位置に前記表示オブジェクトを表示させること、
   を特徴とする請求項２記載の表示装置。
4. 前記制御部は、前記表示オブジェクトの表示位置の移動速度を、前記操作面における操作位置の移動量または移動速度に対応する速度に設定すること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記操作検出部が検出する前記操作面における操作位置が変化した場合、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出した場合に、前記終了条件に該当すると判定すること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間が経過した場合に、前記終了条件に該当すると判定すること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
8. 前記制御部は、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間以内に、前記操作検出部が前記操作面に対する接触を検出した場合に、前記操作検出部が検出した新たな接触の操作位置に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
9. 前記操作面を有する操作デバイスを備え、
   前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、
   前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、
   を特徴とする請求項１から８のいずれかに記載の表示装置。
10. 前記操作面において前記操作検出部が操作を検出する面積またはサイズは、前記表示部が画像を表示する表示領域の面積またはサイズよりも小さいこと、
    を特徴とする請求項１から９のいずれかに記載の表示装置。
11. 前記操作面の形状は、前記表示部が画像を表示する表示領域とは異なる形状であること、
    を特徴とする請求項１から１０のいずれかに記載の表示装置。
12. 表示部と、
    操作面に対する操作を検出する操作検出部と、
    前記操作検出部により検出される操作に応じて、仮想入力平面に対する入力データを生成する制御部と、を備え、
    前記制御部は、前記操作検出部が前記操作面において操作位置が移動する操作を検出した場合に、前記操作に対応して前記仮想入力平面における入力データの生成を開始し、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記入力データの生成を停止すること、
    を特徴とする表示装置。
13. 前記制御部が生成する入力データは、前記仮想入力平面における入力位置、前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを含むこと、
    を特徴とする請求項１２記載の表示装置。
14. 前記制御部は、前記入力データに含まれる前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを、前記操作検出部が検出する前記操作位置の移動量または移動速度に応じて設定すること、
    を特徴とする請求項１３記載の表示装置。
15. 前記操作検出部は、前記操作面に操作体が接触する操作に応じて接触位置を操作位置として検出し、
    前記制御部は、前記操作検出部が、前記操作面に対する接触が解除されたことを検出した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、
    を特徴とする請求項１２から１４のいずれかに記載の表示装置。
16. 前記制御部は、前記操作検出部が前記操作面に対する接触の解除を検出してから所定時間が経過した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、
    を特徴とする請求項１２から１４のいずれかに記載の表示装置。
17. 前記制御部は、前記操作検出部により検出される操作に応じて、前記仮想入力平面及び前記仮想入力平面に対して垂直な方向を含む三次元の入力データを生成可能であり、前記操作検出部が前記操作面における複数の操作位置の操作を検出した場合に、前記仮想入力平面に垂直な方向の成分を含む前記入力データを生成すること、
    を特徴とする請求項１２から１６のいずれかに記載の表示装置。
18. 前記操作面を有する操作デバイスを備え、
    前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、
    前記制御部は、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記操作面と前記仮想入力平面との対応を変更すること、
    を特徴とする請求項１２から１７のいずれかに記載の表示装置。
19. 前記仮想入力平面と前記表示部における表示領域とが対応付けられ、
    前記制御部は、前記表示部に操作対象の表示オブジェクトを表示させ、前記入力データに対応して前記表示オブジェクトの表示位置を制御すること、
    を特徴とする請求項１２から１８のいずれかに記載の表示装置。
20. 表示部を有する表示装置を制御して、
    操作面に対する操作を検出し、
    前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御し、
    前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作面に対する予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、
    を特徴とする表示装置の制御方法。

Images