WO2014128787A1

WO2014128787A1 - 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法

Info

Publication number: WO2014128787A1
Application number: PCT/JP2013/003946
Authority: WO
Inventors: ヨハネスルンベリ; 祐介梶井
Original assignee: 株式会社ブリリアントサービス
Priority date: 2013-02-19
Filing date: 2013-06-24
Publication date: 2014-08-28
Also published as: US9857589B2; US20160004320A1; JPWO2014128787A1; JP6195894B2; JPWO2014128788A1; JP6393367B2; US9651782B2; WO2014128789A1; JP6074494B2; US20150378158A1; US20150370321A1; US10295826B2; US10095030B2; JP6095763B2; JPWO2014128789A1; US20160004908A1; US9778464B2; WO2014128773A1; JPWO2014128749A1; JPWO2014128773A1

Abstract

　立体空間におけるプログラムの操作性を高める、追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法を提供する。本発明の追従表示システムは、仮想空間内に表示オブジェクトを表示する表示部と、表示オブジェクトを選択するための、実空間内の対象のイメージを検知する検知部と、少なくとも表示オブジェクトの位置を制御する制御部と、を含む。さらに、制御部は、表示オブジェクトと、対象のイメージとが、表示部において重なると判定した場合に、表示オブジェクトを対象の動作に追従させるよう表示する。　

Description

追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法

　本発明は、追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法に関する。

　一般に、ＰＣ等の入力操作の方法として、マウスを用いた操作手法が知られている。例えば、特許文献１（特開２０１２－６９１４８号公報）には、使い易いコンピュータマウス周辺機器について開示されている。

　特許文献１（特開２０１２－６９１４８号）記載のコンピュータマウス周辺機器は、作業表面にわたる摺動のために適切な下面を有する基部と、尾根状部と、尾根状部は基部から略上方に突出し、かつ、尾根状部の第１側面上に親指係合表面を有することと、尾根状部の第１側面に対向する第２側面上に、少なくとも１つの人差し指先端係合表面、及び中指先端係合表面の少なくとも一方とを備えるものである。

　また、特許文献２（特開２０１２－４８６５９号公報）には、複合現実空間を観察する観察者が装着する表示装置や、別個に設けられた表示装置に対して提供する画像を、観察者の操作を介することなく適宜切り替える為の技術を提供する画像処理装置、画像処理方法について開示されている。

　特許文献２（特開２０１２－４８６５９号公報）記載の画像処理装置、画像処理方法においては、仮想空間の画像を生成し、該画像を観察する観察者が装着する表示装置に対して出力する生成手段と、表示装置が使用状態にあるか否かを判断する判断手段と、表示装置が使用状態にあると判断手段が判断した場合に生成手段を動作させる制御手段とを備えるものである。

　また特許文献３（特開２０１１－２２９８４号公報）には、立体映像インタラクティブシステムについて開示されている。

　特許文献３（特開２０１１－２２９８４号公報）記載の立体映像インタラクティブシステムにおいては、立体映像を表示でき操作体で該立体映像を制御できる立体映像インタラクティブシステムにおいて、立体映像キャプチャモジュールであって、一つの物品の複数の物品映像を取得するのに用いられ、及び、操作体の動作映像を取得するのに用いられる一つ或いは複数の立体映像キャプチャユニットを有する、上記立体映像キャプチャモジュールと、立体映像処理ユニットであって、これら立体映像キャプチャユニットに電気的に接続され、これら物品映像を整合して第１立体映像となし、該動作映像中より動作特徴を取得する、上記立体映像処理ユニットと、ホストマシンであって、該立体映像処理ユニットに電気的に接続された中央処理装置、及び該中央処理装置に電気的に接続された保存ユニットを包含し、該保存ユニットは該第１立体映像を保存するのに用いられ、該中央処理装置は該立体映像処理ユニットに電気的に接続され、これらの立体映像が該動作特徴においてのリアルタイム動作を計算する、上記ホストマシン、立体映像表示モジュールであって、該中央処理装置に電気的に接続され、該立体映像のリアルタイム動作を表示する、上記立体映像表示モジュール、以上を包含したものである。

　特許文献４（特開２００８－１８１５４１号公報）には、革新的フレームワーク・アーキテクチャを使用して、最新のオブジェクト指向オペレーティング・システムについて開示されている。

　特許文献４（特開２００８－１８１５４１号公報）記載の最新のオブジェクト指向オペレーティング・システムにおいては、プロセッサと表示装置とを含むコンピュータシステムにおいて、ポインタ画像を制御するユーザ操作ボタンを有するカーソル位置決定デバイスと、特定の機能を実行する論理とデータを有する複数のオブジェクトを含むオブジェクト指向アプリケーション・プログラムとの間のオブジェクト指向アプリケーション・インターフェイスを提供する装置であって、（ａ）オブジェクト指向アプリケーション・プログラムにおける論理とデータを有する複数のオブジェクトの１つであって、表示装置にアイコンおよびサムネイルの両方を表示する論理と、表示装置上でアイコンを操作する論理とを含む対話可能オブジェクトと、（ｂ）カーソル位置決定デバイスのユーザ操作ボタンの押下に応答して、デバイス・イベント信号を生成する手段と、（ｃ）表示装置上のポインタ画像の物理的な位置に応答して、デバイス位置信号を生成する手段と、（ｄ）デバイス・イベント信号に応答して、ユーザ操作ボタンが所定の時間間隔でいつ押下されたかを検出するタイミング手段と、ピークしきい値を格納する記憶手段と、所定の時間間隔およびピークしきい値に応答して、ユーザ操作ボタンがピークしきい値よりも長く押下されたときピークメッセージを生成する手段と、ピークメッセージに応答して、対話オブジェクトの論理を用いてアイコンの表示からサムネイル表示に表示装置を変更する手段とを含む対話オブジェクトとを備えたものである。

　特許文献５（特開平１０－３３３８１７公報）には、従来は、位置検出装置からの電子ペンの高さによって、ポインタを動かすかどうかの判定を行っていたが、判定する高さは高くなる傾向にあり、電子ペンを高く持ち上げることが必要となるので使いにくくならない電子ペンを用いたコンピュータシステムについて開示されている。

　特許文献５（特開平１０－３３３８１７公報）記載の電子ペンを用いたコンピュータシステムは、筆記具形状を有し操作者がコンピュータに操作情報を入力するための位置指示器である電子ペンと該電子ペンの指示し得る範囲であるタブレット面とを有し該タブレット面上の電子ペンの位置情報及び該タブレット面と電子ペンとの間の押圧力である筆圧情報を検出し得る位置検出装置と、該位置検出装置の検出した電子ペンの位置情報及び筆圧情報をコンピュータ制御のための操作情報として取得する操作制御部を有するコンピュータと、該コンピュータの処理内容に基づく情報を示す表示画面を有し、該表示画面上にポインタを表示する表示装置とを有し、該表示装置に表示されるポインタの表示位置と位置検出装置からの情報とを操作制御部が対応関係をもたせることによって、操作者とコンピュータとの間でインタラクティブな操作を実現したコンピュータシステムであって、操作制御部が、電子ペンの先端にわずかな筆圧がかかった時の電子ペンの移動方向及び移動量をポインタの移動に反映させ、さらに筆圧が加わった時にポインタの指示位置に関連する処理を開始させるようにしたものである。

　特許文献６（特開平１０－２０７６８１号公報）には、画面上で空間的広がりを持った対象を指示するカーソル表示装置について開示されている。

　特許文献６（特開平１０－２０７６８１号公報）記載のカーソル表示装置では、ポインティングデバイスに備えたダイアルの操作によりカーソルの指示領域を拡大または縮小するものである。

　特許文献７（特表２００８－５４６１０１号公報）には、仮想フリップチャート方法および装置について開示されている。

　特許文献７（特表２００８－５４６１０１号公報）記載の仮想フリップチャート方法および装置においては、１組のセッション画像を提示するプレゼンテーションシステムにおいて、制御インターフェースと；マスタースペースを含むマスタープレゼンテーションユニットと；スレーブプレゼンテーションスペースを含むスレーブプレゼンテーションユニットと；プロセッサと；プロセッサ、インターフェース、マスターユニットおよびスレーブユニットを接続するネットワークと；を備え、プロセッサは、マスタースペースに複数のセッション画像のためのセッション画像表現を同時に提示するように；スレーブプレゼンテーションユニットに少なくとも１つのセッション画像を提示するように；かつスレーブプレゼンテーションユニットに提示された画像に関連付けられたセッション画像表現とマスタースペースのその他のセッション画像表現とを視覚的に区別するようにプログラムされたものである。

特開２０１２－６９１４８号公報特開２０１２－４８６５９号公報特開２０１１－２２９８４号公報特開２００８－１８１５４１号公報特開平１０－３３３８１７号公報特開平１０－２０７６８１号公報特表２００８－５４６１０１号公報

　しかしながら、発明者は、特許文献１乃至特許文献７記載の発明においては、ポインタ等を用いて操作を行う場合について開示されているものの、仮想空間を含む三次元においては、二次元的なマウスまたはポインタ等の操作時に、位置把握が困難となるため、種々の操作性が低下するという問題点を見いだした。

　そこで、本発明の目的は、立体空間におけるプログラムの操作性を高める、追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法を提供する。

（１）
　一局面に従う追従表示システムは、仮想空間内に表示オブジェクトを表示する表示部と、表示オブジェクトを選択するための、実空間内の対象のイメージを検知する検知部と、少なくとも表示オブジェクトの位置を制御する制御部と、を含む。さらに、制御部は、表示オブジェクトと、対象のイメージとが、表示部において重なると判定した場合に、表示オブジェクトを対象の動作に追従させるよう表示する。

　実空間内に仮想空間が重ね合わされていることにより、実空間内に存在する対象を用いて、仮想空間に表示されている表示オブジェクトを操作することができる。なお、対象のイメージは、操作者から視認できるように表示部に実際に表示されてもよいし、視認されないように非表示であってもよい。
　操作者の目線で、表示オブジェクトに対象が重なったと視認した場合、その後に対象の視認位置が変化しても、対象が空中で表示オブジェクトを捕捉しているかのように、表示オブジェクトを対象の動きに追随させて表示することができる。したがって、操作者は、容易に表示オブジェクトを操作することができる。

（２）
　対象は、操作者の人体の指、掌、手、および腕の少なくともいずれかであり、検知部は、深度センサおよびイメージセンサの少なくともいずれかであってもよい。

　この場合、深度センサおよびイメージセンサの少なくともいずれかによる検知部によって、操作者の人体の指、掌、手、および腕の少なくともいずれかを正確に検知することができる。また、操作中に、操作者の人体の指、掌、手、または腕がぶれた場合であっても、表示オブジェクトがそのぶれの動きに追従するので、表示オブジェクトを容易に且つ正確に操作することができる。

（３）
　制御部は、対象が所定の時間継続して表示オブジェクトと重なっているか否かを判定してもよい。

　この場合、対象は、所定の時間継続して表示オブジェクトと重なっていることを条件に、表示オブジェクトを選択することができるので、対象の不用意な動作によって表示オブジェクトを誤操作させることを防ぐことができる。

（４）
　制御部は、所定の時間の経過を表示オブジェクトに表示させてもよい。

　この場合、制御部は、表示オブジェクトにタイマー表示を行うため、操作者は、表示オブジェクトが選択された否かを容易に識別することができる。タイマー表示は、表示オブジェクトの近傍、例えば周囲に表してもよいし、表示オブジェクトの色および／または形自体を変化させることによって表してもよい。

（５）
　制御部は、対象が、表示オブジェクトの追従開始位置から所定の距離を超えて移動した場合に、追従表示を終了し、かつ追従開始位置に表示オブジェクトを戻すように表示してもよい。

　この場合、対象が追従開始位置から所定の距離を超えて移動したこを条件に、表示オブジェクトが元の位置すなわち追従開始位置に戻される。その結果、表示オブジェクトは追従開始位置から所定の距離までは対象に追従して移動するが、当該所定の距離を越えると、表示オブジェクトは対象から解放されて追従開始位置に引き戻される。したがって、表示オブジェクトがあたかも、当該所定の距離に相当する長さの最大たわみを有する弾性体（バネ等）によって追従開始位置で固定されているような挙動を示す。その結果、操作者は、表示オブジェクトが選択されていることを容易に認識することができる。

（６）
　表示オブジェクトは、アイコン、メニュー項目、テキストリンク、および決定ボタンの少なくともいずれかであってもよい。

　この場合、アプリケーション起動、メニュー選択の操作、リンク先へのアクセス、およびボタンによる決定操作を容易に行なうことができる。

（７）
　他の局面に従う追従表示システムは、仮想空間内に表示される表示オブジェクトと、操作者が表示オブジェクトを選択するための、実空間内の対象と、対象の実空間内における位置を検知する検知部と、少なくとも表示オブジェクトの仮想空間内における位置を制御する制御部と、を含む。さらに、制御部は、操作者の視点から表示オブジェクトへの中心投影による所定の空間内に対象が存在すると判定した場合に、表示オブジェクトを対象の動作に追従させるよう表示する。

　この場合、対象が仮想空間における表示オブジェクトに接触していない場合であっても、操作者の視点から、対象と表示オブジェクトとが重複しているように視認した場合に、表示オブジェクトを操作できる。対象オブジェクトの操作の間に、対象の実空間内位置が変わった場合であっても、対象のぶれに表示オブジェクトが追従するため、容易に表示オブジェクトを操作することができる。

（８）
　他の局面に従うウェアラブル機器は、（１）から（７）のいずれかに記載の追従表示システムを含んでもよい。

　ウェアラブル機器の代表例であるヘッドマウントディスプレイデバイスの場合、操作中に、ヘッドマウントディスプレイを装着した操作者の頭が動くことによって、表示オブジェクトと対象との相対的位置関係が変動しても、表示オブジェクトが追従される。このため、頭の動きにより操作性が低下することを防止できる。

（９）
　他の局面に従う追従表示プログラムは、仮想空間内に表示オブジェクトを表示する表示処理と、表示オブジェクトを選択するための、実空間内の対象のイメージを検知する検知処理と、少なくとも前記表示オブジェクトの位置を制御する制御処理と、を含む。さらに、制御処理は、表示オブジェクトと、対象のイメージとが重なると判定した場合に、表示オブジェクトを対象の動作に追従させるよう表示する。

（１０）
　他の局面に従う追従表示プログラムは、仮想空間内に表示オブジェクトを表示する表示処理と、操作者が実空間内の対象によって表示オブジェクトを選択するための選択処理と、選択処理により選択される実空間内の位置を検知する検知処理と、少なくとも表示オブジェクトの仮想空間内における位置を制御する制御処理と、を含む。さらに、制御処理は、操作者の視点から表示オブジェクトへの中心投影による所定の空間内に対象が存在すると判定した場合に、表示オブジェクトを対象の動作に追従させるよう表示する。

（１１）
　他の局面に従うウェアラブル機器用の追従表示プログラムは、（９）または（１０）記載の追従表示プログラムを含んでもよい。

　ウェアラブル機器の代表例であるヘッドマウントディスプレイデバイスの場合、操作中に、ヘッドマウントディスプレイデバイスを装着した操作者の頭が動くことによって、表示オブジェクトと対象との相対的位置関係が変動しても、表示オブジェクトが追従される。このため、頭の動きにより操作性が低下することを防止できる。

（１２）
　さらに他の局面に従う追従表示方法は、仮想空間内に表示オブジェクトを表示する表示工程と、表示オブジェクトを選択するための、実空間内の対象のイメージを検知する検知工程と、少なくとも表示オブジェクトの位置を制御する制御工程と、を含む。さらに、制御工程において、表示オブジェクトと、対象のイメージとが重なると判定した場合に、表示オブジェクトを対象の動作に追従させるよう表示する。

（１３）
　さらに他の局面に従う追従表示方法は、仮想空間内に表示オブジェクトを表示する表示工程と、操作者が実空間内の対象よって表示オブジェクトを選択するための選択工程と、選択工程により選択される実空間内の位置を検知する検知工程と、少なくとも表示オブジェクトの仮想空間内における位置を制御する制御工程と、を含む。制御工程は、操作者の視点から表示オブジェクトへの中心投影による所定の空間内に対象が存在すると判定した場合に、表示オブジェクトを対象の動作に追従させるよう表示する。

（１４）
　他の局面に従うウェアラブル機器操作方法は、（１２）または（１３）記載の追従表示方法を含んでもよい。

　本発明によると、立体空間におけるプログラムの操作性を高める、追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法を提供することができる。

眼鏡表示装置１００の基本構成の一例を示す模式的外観正面図である。眼鏡表示装置１００の一例を示す模式的外観斜視図である操作システム４００の制御ユニット４５０の構成の一例を示す模式図である。操作システム４００における処理の流れを示すフローチャートである。図４のフローチャートに応じた概念を示す模式図である。赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域とを説明するための模式的斜視図である。図６の上面図である。図６の側面図である。検知領域と仮想表示領域との他の例を示す模式図である。検知領域と仮想表示領域との他の例を示す模式図である。検知領域と仮想表示領域との他の例を示す模式図である。検知領域における操作領域とジェスチャ領域との一例を示す模式図である。検知領域における操作領域とジェスチャ領域との一例を示す模式図である。キャリブレーション処理の説明を行なうためのフローチャートである。指認識の一例を示す模式図である。指認識の処理の一例を示すフローチャートである。掌認識の一例を示す模式図である。親指認識の一例を示す模式図である。ジェスチャデータの登録処理の一例を示すフローチャートである。ジェスチャコマンドの設定処理の一例を示すフローチャートである。ジェスチャコマンドの書換え処理の一例を示すフローチャートである。眼鏡表示装置１００の半透過ディスプレイ２２０の表示の一例を示す模式図である。半透過ディスプレイ２２０の視野の一例（ａ）、および半透明ディスプレイ２２０の表示の一例（ｂ）を示す模式図である。イベント発生の一例を示す模式図である。イベント発生の他の例を示す模式図である。イベント発生の他の例を示す模式図である。眼鏡表示装置の操作の一例を示す模式図である。眼鏡表示装置の操作の他の一例を示す模式図である。ジェスチャ認識の一例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。追従システムの一例におけるアイコンのツリー表示を示す模式図である。アイコン表示およびアイコンを操作可能な手の存在領域の位置関係を説明する仮想空間の一例を示す模式図である。アイコン表示およびアイコンを操作可能な手の存在領域の位置関係を説明する仮想空間の一例を示す模式図である。アイコン表示およびアイコンを操作可能な手の存在領域の位置関係を説明する仮想空間の他の例を示す模式図である。アイコン表示およびアイコンを操作可能な手の存在領域の位置関係を説明する仮想空間の他の例を示す模式図である。アイコン表示の操作の態様を示す模式図である。アイコン表示の追従の態様を示す模式図である。アイコン表示の追従の態様を示す模式図である。追従システムの他の一例におけるアイコン表示の操作の態様を示す模式図である。追従システムの他の一例におけるアイコン表示の操作の態様を示す模式図である。追従システムの他の一例におけるアイコン表示の追従の態様を示す模式図である。追従システムの他の一例におけるアイコン表示の追従の態様を示す模式図である。

　１００　眼鏡表示装置
　２２０３Ｄ　仮想イメージ表示領域（共有領域）
　３００　通信システム
　４１０　赤外線検知ユニット
　４１０３Ｄ　三次元空間検知領域
　４５０　制御ユニット
　４５６　ジェスチャ識別ユニット
　４６３　グラフィック演算ユニット
　４６４　ディスプレイ演算ユニット
　４５８　合成演算ユニット
　８１０　メニュー
　８１１，８１２，８１３，８２１，８２２，８２３，８２４，８３１，８３２，８３３，８３４，８３５，８４１，８４２，８４３，８４４　選択要素
　８２５　保存選択要素
　８２６　終了選択要素
　Ｈ５　指
　ＩＣＨＹ　アイコン
　ＩＣＡＲ　アイコン操作領域

　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　また、本発明は、
以下に説明する眼鏡表示装置に限定されるものではなく、他のウェアラブル機器、その他入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。

（眼鏡表示装置の構成概略）
　図１は、一実施の形態にかかる眼鏡表示装置１００の基本構成の一例を示す模式的外観正面図であり、図２は、眼鏡表示装置１００の一例を示す模式的外観斜視図である。

　図１または図２に示すように、眼鏡表示装置１００は、眼鏡型の表示装置である。当該眼鏡表示装置１００は、後述するように、ユーザの顔に装着して使用される。

　図１および図２に示すように、眼鏡表示装置１００は、主に、眼鏡ユニット２００、通信システム３００および操作システム４００からなる。

（眼鏡ユニット２００）
　図１および図２に示すように、眼鏡ユニット２００は、眼鏡フレーム２１０および一対の半透過ディスプレイ２２０からなる。眼鏡フレーム２１０は、主にリムユニット２１１、テンプルユニット２１２を含む。
　眼鏡フレーム２１０のリムユニット２１１により一対の半透過ディスプレイ２２０が支持される。

　本実施の形態においては、眼鏡表示装置１００には、リムユニット２１１に一対の半透過ディスプレイ２２０を設けることとしているが、これに限定されず、眼鏡表示装置１００のリムユニット２１１に通常のサングラスレンズ、紫外線カットレンズ、または眼鏡レンズなどのレンズ類を設け、別に１個の半透過ディスプレイ２２０または一対の半透過ディスプレイ２２０を設けてもよい。
　また、当該レンズ類の一部に、半透過ディスプレイ２２０を埋め込んで設けてもよい。

　さらに、本実施の形態は、眼鏡タイプに限定するものではなく、人体に装着し、装着者の視野に配設できるタイプであれば、帽子タイプその他任意のヘッドマウントディスプレイ装置に使用することができる。

（通信システム３００）
　次に、通信システム３００について説明を行なう。
　通信システム３００は、バッテリーユニット３０１、アンテナモジュール３０２、カメラユニット３０３、スピーカユニット３０４、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）ユニット３０７、マイクユニット３０８、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）ユニット３０９およびメインユニット３１０を含む。
　なお、カメラユニットにはＣＣＤセンサが備えられてよい。スピーカユニット３０４は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。ＳＩＭユニット３０９には、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ：近距離無線通信）ユニットおよび他の接触式ＩＣカードユニット、ならびに非接触式ＩＣカードユニットを含む。

　以上のように、本実施の形態にかかる通信システム３００は、少なくとも携帯電話、スマートフォンおよびタブレット端末のいずれかの機能を含むものである。具体的には、電話機能、インターネット機能、ブラウザ機能、メール機能、および撮像機能等を含むものである。
　したがって、ユーザは、眼鏡表示装置１００を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。

（操作システム４００）
　続いて、操作システム４００は、赤外線検知ユニット４１０、ジャイロセンサユニット４２０、加速度検知ユニット４３０および制御ユニット４５０からなる。赤外線検知ユニット４１０は、主に赤外線照射素子４１１および赤外線検知カメラ４１２からなる。

　続いて、操作システム４００の構成、処理の流れおよび概念について説明を行なう。図３は、操作システム４００の制御ユニット４５０の構成の一例を示す模式図である。

　図３に示すように、制御ユニット４５０は、イメージセンサ演算ユニット４５１、デプスマップ演算ユニット４５２、イメージ処理ユニット４５３、解剖学的認識ユニット４５４、ジェスチャデータ記録ユニット４５５、ジェスチャ識別ユニット４５６、キャリブレーションデータ記録ユニット４５７、合成演算ユニット４５８、アプリケーションソフトユニット４５９、イベントサービスユニット４６０、キャリブレーションサービスユニット４６１、表示サービスユニット４６２、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４、および６軸駆動ドライバユニット４６５を含む。

　なお、制御ユニット４５０は、上記の全てを含む必要はなく、適宜必要な１または複数のユニットを含んでもよい。たとえば、ジェスチャデータ記録ユニット４５５およびキャリブレーションデータ記録ユニット４５７は、クラウド上に配置してもよく、合成演算ユニット４５８を特に設けなくてもよい。

　次に、図４は、操作システム４００における処理の流れを示すフローチャートであり、図５は図４のフローチャートに応じた概念を示す模式図である。

　まず、図４に示すように、赤外線検知ユニット４１０から対象のデータを取得し、デプスマップ演算ユニット４５２により深さ演算を行なう（ステップＳ１。次に、イメージ処理ユニット４５３により外形イメージデータを処理する（ステップＳ２）。

　次いで、解剖学的認識ユニット４５４により、標準的な人体の構造に基づき、ステップＳ２において処理された外形イメージデータから、解剖学的特徴を識別する。これにより、外形が認識される（ステップＳ３）。

　さらに、ジェスチャ識別ユニット４５６により、ステップＳ３で得た解剖学的特徴に基づいてジェスチャを識別する（ステップＳ４）。
　ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
　以上により、図５（ａ）に示すように、手のジェスチャを認識する。

　続いて、アプリケーションソフトユニット４５９およびイベントサービスユニット４６０は、ジェスチャ識別ユニット４５６により判定されたジェスチャに応じて所定のイベントを実施する（ステップＳ５）。
　これによって、図５（ｂ）に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット３０３からの撮像データが表示されてよい。

　最後に、表示サービスユニット４６２、キャリブレーションサービスユニット４６１、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４および合成演算ユニット４５８により、半透過ディスプレイ２２０に、イメージの表示、またはイメージの仮想表示が行なわれる（ステップＳ６）これによって、図５（ｃ）に示すようにジェスチャを示す手のスケルトンの表示が行われ、図５（ｄ）に示すように、当該スケルトンの形状および大きさに写真の形状および大きさが合致するように合成されたイメージが表示される。

　なお、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を検知し、ディスプレイ演算ユニット４６４に姿勢状況を伝達する。

　眼鏡表示装置１００を装着したユーザが眼鏡表示装置１００を傾斜させた場合には、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を受信し、イメージの表示の制御を行なう。当該制御においては、イメージの表示を水平に維持させてもよいし、イメージの表示を傾斜にあわせて調整してもよい。

（検知領域と仮想表示領域との一例）
　次に、操作システム４００の赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域との関係について説明を行なう。
　図６は、赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域とを説明するための模式的斜視図であり、図７は図６の上面図であり、図８は、図６の側面図である。

　以下において、説明の便宜上、図６に示すように、ｘ軸、ｙ軸およびｚ軸からなる三次元直交座標系が定義される。以下の図におけるｘ軸の矢印は、水平方向を指す。ｙ軸の矢印は、鉛直方向またはユーザの体の長軸方向を指す。ｚ軸の矢印は、深度方向を指す。ｚ軸正方向は、より大きい深度の方向を指す。それぞれの矢印の向きは、他の図においても同じである。

　図６から図８に示すように、操作システム４００の赤外線検知ユニット４１０により検知可能な三次元空間検知領域（３Ｄスペース）４１０３Ｄを有する。
　三次元空間検知領域４１０３Ｄは、赤外線検知ユニット４１０からの円錐状または角錐状の三次元空間からなる。

　すなわち、赤外線検知ユニット４１０は、赤外線照射素子４１１から、照射された赤外線を、赤外線検知カメラ４１２により検知できるので、三次元空間検知領域４１０３Ｄ内のジェスチャを認識することができる。
　また、本実施の形態においては、赤外線検知ユニット４１０を１個設けることとしているが、これに限定されず、赤外線検知ユニット４１０を複数個設けてもよいし、赤外線照射素子４１１を１個、赤外線検知カメラ４１２を複数個設けてもよい。

　続いて、図６から図８に示すように一対の半透過ディスプレイ２２０は、ユーザに、実際に設けられた眼鏡表示装置１００の部分ではなく、眼鏡表示装置１００から離れた場所となる仮想イメージ表示領域２２０３Ｄに、奥行きを持って仮想表示されたものとして視認させる。当該奥行きは、仮想イメージ表示領域２２０３Ｄが有する仮想立体形状の深度方向（ｚ軸方向）の厚みに対応する。したがって、当該仮想立体形状の深度方向（ｚ軸方向）の厚みに応じて奥行きが設けられる。
　すなわち、実際には眼鏡表示装置１００の半透過ディスプレイ２２０に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ２２０を透過し三次元空間領域２２０３ＤＲで認識し、左目のイメージは左目側の半透過ディスプレイ２２０を透過し三次元空間領域２２０３ＤＬで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域２２０３Ｄで仮想イメージとして認識することができる。

　また、仮想イメージ表示領域２２０３Ｄは、フレーム・シーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップ・アンド・ボトム方式、サイド・バイ・サイド方式、アナグリフ方式、レンチキュラ方式、パララックス・バリア方式、液晶パララックス・バリア方式、２視差方式および３視差以上を利用する多視差方式のいずれかを利用して表示されたものである。

　また、本実施の形態においては、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。特に、図６および図７に示すように、三次元空間検知領域４１０３Ｄの内部に、仮想イメージ表示領域２２０３Ｄが存在するため、仮想イメージ表示領域２２０３Ｄが共有領域となる。

　なお、仮想イメージ表示領域２２０３Ｄの形状およびサイズについては、一対の半透過ディスプレイ２２０への表示方法により任意に調整することができる。
　また、図８に示すように、一対の半透過ディスプレイ２２０よりも赤外線検知ユニット４１０が上方（ｙ軸正方向）に配設されている場合について説明しているが、鉛直方向（ｙ軸方向）に対して、赤外線検知ユニット４１０の配設位置が半透過ディスプレイ２２０よりも下方（ｙ軸負方向）または半透過ディスプレイ２２０と同位置であっても、同様に、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。

（検知領域と仮想表示領域との他の例）
　続いて、図９から図１１は、図６から図８において示した検知領域と仮想表示領域との他の例を示す模式図である。

　例えば、図９から図１１に示すように、眼鏡表示装置１００の半透過ディスプレイ２２０の代わりに、他の入出力装置、表示装置、テレビジョン、モニタ等を用いてもよい。以下、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタを総称して入出力装置９００と略記する。

　図９に示すように、入出力装置９００からｚ軸負方向に仮想イメージ表示領域２２０３Ｄが出力され、入出力装置９００にｚ軸方向で対向する位置に配設された赤外線検知ユニット４１０からｚ軸正方向に三次元空間検知領域４１０３Ｄが形成されてもよい。
　この場合、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。

　また、図１０に示すように、入出力装置９００から仮想イメージ表示領域２２０３Ｄが出力され、入出力装置９００と同方向（ｘｙ平面を基準としていずれもｚ軸正側の方向）に赤外線検知ユニット４１０の三次元空間検知領域４１０３Ｄが形成されてもよい。
　この場合でも、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。

　次に、図１１に示すように、入出力装置９００から鉛直上方向（ｙ軸正方向）に仮想イメージ表示領域２２０３Ｄが出力されてもよい。図１１においても、図９、図１０と同様に、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。

　また、図示していないが、入出力装置９００を三次元空間検知領域４１０３Ｄより上方側（ｙ軸正方向の側）に配置し、鉛直下方向（ｙ軸負方向）に仮想イメージ表示領域２２０３Ｄが出力されてもよく、水平方向（ｘ軸方向）から出力されてもよく、プロジェクタまたは映画館のように、後上方（ｚ軸正方向かつｙ軸正方向）から出力されてもよい。

（操作領域とジェスチャ領域）
　続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図１２および図１３は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。

　まず、図１２に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を水平移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。

　また、図１３に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を鉛直移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。

　すなわち、図１２および図１３に示すように、ユーザは、両手を右肩関節ＲＰおよび左肩関節ＬＰをそれぞれ回転中心とした欠球状（深度方向に凸のアーチ状曲面を有する）の立体空間内で移動させることができる。

　次に、赤外線検知ユニット４１０による三次元空間検知領域４１０３Ｄと、仮想イメージ表示領域が存在しうる領域（図１２では仮想イメージ表示領域２２０３Ｄを例示）と、腕の移動領域Ｌおよび移動領域Ｒを合わせた領域との全てが重なる空間領域を、操作領域４１０ｃとして設定する。
　また、三次元空間検知領域４１０３Ｄ内における操作領域４１０ｃ以外の部分で、かつ腕の移動領域Ｌおよび移動領域Ｒを合わせた領域と重なる部分をジェスチャ領域４１０ｇとして設定する。

　ここで、操作領域４１０ｃが、深度方向に最も遠い面が深度方向（ｚ軸正方向）に凸のアーチ状に湾曲した曲面である立体形状を有することに対し、仮想イメージ表示領域２２０３Ｄは、深度方向に最も遠い面が平面である立体形状を有する。このように両領域の間で当該面の形状が異なることに起因し、ユーザは、当該操作において体感的に違和感を覚える。当該違和感を取り除くためにキャリブレーション処理で調整を行なう。また、キャリブレーション処理の詳細については、後述する。

（キャリブレーションの説明）
　次いで、キャリブレーション処理について説明を行なう。図１４は、キャリブレーション処理の説明を行なうためのフローチャートである。

　図１２および図１３に示したように、ユーザが仮想イメージ表示領域２２０３Ｄに沿って手を動かそうとすると、補助のない平面に沿って動作させる必要がある。したがって、後述する認識処理により仮想イメージ表示領域２２０３Ｄにおいて、操作をし易くするためにキャリブレーション処理を行なう。
　また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。

　以下、図１４を用いて説明を行なう。まず、ユーザが、眼鏡表示装置１００を装着し、両腕を最大限に伸張する。その結果、赤外線検知ユニット４１０が、操作領域４１０ｃの最大領域を認識する（ステップＳ１１）。
　すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域４１０ｃの調整を行なうものである。

　次に、眼鏡表示装置１００においては、仮想イメージ表示領域２２０３Ｄの表示位置を決定する（ステップＳ１２）。すなわち、仮想イメージ表示領域２２０３Ｄを操作領域４１０ｃの外側に配置するとユーザによる操作が不可能となるため、操作領域４１０ｃの内部に配置する。

　続いて、眼鏡表示装置１００の赤外線検知ユニット４１０の三次元空間検知領域４１０３Ｄ内で、かつ仮想イメージ表示領域２２０３Ｄの表示位置と重ならない位置に、ジェスチャ領域４１０ｇの最大領域を設定する（ステップＳ１３）。
　なお、ジェスチャ領域４１０ｇは、仮想イメージ表示領域２２０３Ｄと重ならないように配置しかつ深さ方向（ｚ軸正方向）に厚みを持たせることが好ましい。

　本実施の形態においては、以上の手法により、操作領域４１０ｃ、仮想イメージ表示領域２２０３Ｄ、ジェスチャ領域４１０ｇが設定される。

　続いて、操作領域４１０ｃ内における仮想イメージ表示領域２２０３Ｄのキャリブレーションについて説明する。

　操作領域４１０ｃ内の仮想イメージ表示領域２２０３Ｄの外部周囲にユーザの指、手、または腕が存在すると判定された場合に、あたかも仮想イメージ表示領域２２０３Ｄの内部に存在するように、丸め込みを行なう（ステップＳ１４）。

　図１２および図１３に示すように、半透過ディスプレイ２２０により仮想表示されたイメージの中央部近辺では、両腕を最大限に伸ばした状態にすると、両手先が仮想イメージ表示領域２２０３Ｄ内に留まることなく深さ方向（ｚ軸正方向）の外部へ外れてしまう。また、仮想表示されたイメージの端部においては、両腕を最大限に伸ばさない限り、両手先が仮想イメージ表示領域２２０３Ｄ内に存在すると判定されない。
　そのため、赤外線検知ユニット４１０からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域２２０３Ｄから外れたとしても、そのような状態であることを体感しにくい。

　したがって、本実施の形態におけるステップＳ１４の処理においては、仮想イメージ表示領域２２０３Ｄから外部へ突き出た手先が、仮想イメージ表示領域２２０３Ｄ内にあるものとして補正すべく、赤外線検知ユニット４１０からの信号を処理する。
　その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。

　なお、本実施の形態においては、仮想イメージ表示領域２２０３Ｄを、深度方向に最も遠い面が平面である三次元空間領域からなることとしているが、これに限定されず、深度方向に最も遠い面領域Ｌ，Ｒの深度方向に最も遠い面に沿った形状の曲面である三次元空間領域からなることとしてもよい。その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。

　さらに、半透過ディスプレイ２２０は、仮想イメージ表示領域２２０３Ｄに矩形状の像を表示させる。例えば、図５（ｂ）に示したように、矩形状の像を表示させる（ステップＳ１５）。
　続いて、半透過ディスプレイ２２０に、像の周囲を指で囲んでくださいと、表示を行なう（ステップＳ１６）。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ２２０に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。

　ユーザは、指示に従い図５（ｄ）に示すように、指を像の見える部分にあわせる。そして、仮想イメージ表示領域２２０３Ｄの表示領域と、赤外線検知ユニット４１０との相関関係が自動調整される（ステップＳ１７）。
　なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。

　なお、上記のキャリブレーション処理の説明においては、眼鏡表示装置１００の場合についてのみ説明を行ったが、入出力装置９００の場合には、ステップＳ１１の処理において、像を表示させ、ステップＳ１７の処理の当該像と赤外線検知ユニット４１０との相関関係を調整してもよい。

（指、掌、腕認識）
　次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図１５は、指認識の一例を示す模式図である。図１５において、（Ａ）は指の先端付近の拡大図であり、（Ｂ）は指の根元付近の拡大図である。図１６は、指認識の処理の一例を示すフローチャートである。

　図１６に示すように、本実施の形態においては、デバイスの初期化を行なう（ステップＳ２１）。次に、赤外線照射素子４１１から照射され、手に反射した赤外線が、赤外線検知カメラ４１２により検出される（ステップＳ２２）。
　次に、赤外線検知ユニット４１０により画像データをピクセル単位で距離に置き換える（ステップＳ２３）。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する（ステップＳ２４）。

　次いで、作成したデプスマップに適切な閾値を設ける。そして、画像データを二値化する（ステップＳ２５）すなわち、デプスマップのノイズを除去する。
　続いて、二値化した画像データから約１００個の頂点を持つポリゴンを作成する（ステップＳ２６）。そして、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）により、より多くの頂点ｐ_ｎを有する新たな多角形を作成することによって、図１５に示す手の外形ＯＦを抽出する（ステップＳ２７）。
　なお、本実施の形態においては、ステップＳ２６において二値化したデータからポリゴンを作成するために抽出する頂点の数を約１００個としているが、これに限定されず、１０００個、その他の任意の個数であってもよい。

（指認識）
　ステップＳ２７で作成した新たな多角形の頂点ｐ_ｎの集合から、Ｃｏｎｖｅｘ　Ｈｕｌｌを用いて、凸包を抽出する（ステップＳ２８）。
　その後、ステップＳ２７で作成された新たな多角形と、ステップＳ２８で作成された凸包との共有の頂点ｐ_０を抽出する（ステップＳ２９）。このように抽出された共有の頂点ｐ_０自体を指の先端点として用いることができる。
　さらに、頂点ｐ_０の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図１５（Ａ）に示すように頂点ｐ_０における外形ＯＦの内接円の中心を先端点Ｐ０として算出することもできる。

　そして、図１５に示すように、頂点ｐ_０に隣接する左右一対の頂点ｐ_１を通る基準線分ＰＰ_１のベクトルを算出する。その後、頂点ｐ_１と、隣接する頂点ｐ_２とを結ぶ辺ｐｐ_２を選択し、そのベクトルを算出する。同様に、外形ＯＦを構成する頂点ｐ_ｎを用い、辺のベクトルを求める処理を外形ＯＦの外周に沿って繰り返す。各辺の向きとステップＳ３０の処理による基準線分ＰＰ_１の向きとを調べ、基準線分ＰＰ_１と平行に近くなる辺ｐｐ_ｋが指の股の位置に存在すると判定する。そして、辺ｐｐ_ｋの位置に基づき、指の根元点Ｐ１を算出する（ステップＳ３０）。指の先端点Ｐ０と指の根元点Ｐ１とを直線で結ぶことで、指のスケルトンが得られる（ステップＳ３１）。指のスケルトンを得ることで、指の延在方向を認識することができる。
　全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。

　続いて、直前に実施した数フレームの画像データと比較して、手のポーズの違いを検知する（ステップＳ３２）。すなわち、直前の数フレームの画像データと比較することにより、手の動きを認識することができる。

　次いで、認識した手の形状を、ジェスチャデータとしてイベントサービスユニット４６０へイベント配送する（ステップＳ３３）。

　次いで、アプリケーションソフトユニット４５９によりイベントに応じた振る舞いを実施する（ステップＳ３４）。

　続いて、表示サービスユニット４６２により、三次元空間に描画を要求する（ステップＳ３５）。
　グラフィック演算ユニット４６３は、キャリブレーションサービスユニット４６１を用いてキャリブレーションデータ記録ユニット４５７を参照し、表示の補正を行なう（ステップＳ３６）。
　最後に、ディスプレイ演算ユニット４６４により半透過ディスプレイ２２０に表示を行なう（ステップＳ３７）。

　なお、本実施の形態においては、ステップＳ３０の処理およびステップＳ３１の処理により指の根元点を検出したが、根元点の検出方法はこれに限定されない。例えば、まず、頂点ｐ_０の一方の側と他方の側において隣接する一対の頂点ｐ_１を結ぶ基準線分ＰＰ_１の長さを算出する。次に、当該一方の側と他方の側における一対の頂点ｐ_２間を結ぶ線分の長さを算出する。同様に、当該一方の側と他方の側における一対の頂点間を結ぶ線分の長さを、頂点ｐ_０により近い位置にある頂点からより遠い位置にある頂点への順で算出していく。このような線分は、外形ＯＦ内で交わることなく、互いにおおよそ平行となる。当該線分の両端の頂点が指の部分にある場合は、線分の長さは指の幅に相当するため、その変化量は小さい。一方、線分の両端の頂点の少なくともいずれかが指の股の部分に達した場合は、当該長さの変化量が大きくなる。したがって、当該長さの変化量が所定量を超えずかつ頂点ｐ_０から最も遠い線分を検知し、検知された線分上の１点を抽出することによって、根元点を決定することができる。

（掌認識）
　次いで、図１７は、掌認識の一例を示す模式図である。

　図１７に示すように、指認識を実施した後、画像データの外形ＯＦに内接する最大内接円Ｃを抽出する。当該最大内接円Ｃの位置が、掌の位置として認識できる。

　次いで、図１８は、親指認識の一例を示す模式図である。

　図１８に示すように、親指は、人差し指、中指、薬指、および小指の他の４指とは異なる特徴を有する。例えば、掌の位置を示す最大内接円Ｃの中心と各指の根元点Ｐ１とを結ぶ直線が相互になす角度θ１，θ２，θ３，θ４のうち、親指が関与するθ１が最も大きい傾向にある。また、各指の先端点Ｐ０と各指の根元点Ｐ１とを結んだ直線が相互になす角度θ１１，θ１２，θ１３，θ１４のうち、親指が関与するθ１１が最も大きい傾向にある。このような傾向に基づき親指の判定を行なう。その結果、右手か左手か、または掌の表か裏かを判定することができる。

（腕認識）
　次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。

　本実施の形態においては、画像データの手の形のポリゴンよりも大きな領域でポリゴンを抽出する。例えば、長さ５ｃｍ以上１００ｃｍ以下の範囲、より好ましくは、１０ｃｍ以上４０ｃｍ以下の範囲で、ステップＳ２１からＳ２７の処理を実施し、外形を抽出する。
　その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
　この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップＳ３２の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。

　なお、上記の説明においては、二次元像から指、掌、親指、腕を検出することとしているが、上記に限定されず、赤外線検知ユニット４１０をさらに増設してもよく、赤外線検知カメラ４１２のみをさらに増設し、二次元像から、三次元像を認識させてもよい。その結果、さらに認識確度を高めることができる。

（ジェスチャの登録）
　ジェスチャデータ記録ユニット４５５（図３参照）にストックされるジェスチャデータは、ユーザによって登録されてよい。また、ジェスチャデータは、ユーザによってジェスチャコマンドとして設定され、さらに必要に応じて書換えもされる。

（ジェスチャデータ登録）
　図１９は、ジェスチャデータ記録ユニット４５５へジェスチャデータを登録する処理の一例を示すフローチャートである。

　本実施の形態においては、ユーザの操作に従い、アプリケーションソフトユニット４５９がジェスチャ設定アプリを起動する。図１９に示すように、アプリ画面に表示された機能から、ジェスチャデータ登録機能を選択する（ステップＳ４１）。これによって、撮像準備を開始する。撮像準備においては、ユーザが、ジェスチャとして登録を所望する形態を手および腕を使って表す。ジェスチャを表す手の形態がユーザによって決定されるまでの間、撮像は待機される（ステップＳ４２）。撮像待機の時間は、たとえば５秒に設定されることができる。

　その後、ジェスチャを表した手と腕の少なくとも一部とを含む部分を撮影する（ステップＳ４３）。撮影により、検知された一連の外形として外形データを取得する。外形データの取得には、ジェスチャを示している手および腕を一定時間撮影することにより動画を取得する。撮影時間は、たとえば１０秒に設定されることができる。

　撮影時間の間、動作を伴うジェスチャの場合は、当該ジェスチャの動作を反復した様子を撮影することができる。
　動作の遷移が意図されないジェスチャの場合は、当該ジェスチャのサインを示したまま、ユーザ自身が当該ジェスチャとして意識する態様を逸脱しない程度に手および腕を様々に動かした様子を撮影することができる。

　なお、上述の動画撮影の他、静止画を複数回撮影することによって、検知された複数の外形として外形データを取得してもよい。この場合、動作を伴うジェスチャの場合は、ジェスチャを示している間連写を行なうことによって複数フレームを取得できる。動作を伴わないジェスチャの場合は、時および場所を変えて同じジェスチャを撮影することによって複数フレームを取得できる。

　撮影は、例えば赤外線検知ユニット４１０によって行なわれる。撮影において、赤外線検知ユニット４１０は、ジェスチャを示す手および腕の外形を検知する。外形検知は、図１６のステップＳ２２からステップＳ２５と同じ処理によって行なわれる。この外形検知の処理は、複数フレームそれぞれについて行われる。

　撮影結果に基づいて、ジェスチャを示す手および腕の特徴部を分析する（ステップＳ４４）。特徴部の分析は、検知した複数の外形それぞれについて行われる。分析されるべき特徴部としては、所定の形態の指の数および位置等の解剖学的特徴を示す対象の部分が挙げられる。
　さらに、特徴部の位置および／または角度の値を分析する（ステップＳ４５）。特徴部の位置としては、指先および指の根元を表す点など、対象における解剖学的特徴点を座標情報の付加により表すことができる。また、特徴部の角度としては、指の延在方向および腕の延在方向などに基づいた角度情報の付加により表すことができる。

　ステップＳ４４およびステップＳ４５においては、上述の指認識、掌認識、および腕認識と同じ処理が行われる。
　より具体的には、図１６のステップＳ２６からＳ３１と同じ処理が行われる。これによって、全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、指の延在方向、具体的には指の関節を中心とした指の角度を認識することができる。また、指先および指の根元等を示す特徴点の位置を、座標情報を付加することにより認識することができる。さらに、手の形態を認識することができる。たとえば、それぞれの指の形態（具体的には、親指、人差し指、中指、薬指、小指のいずれの指が曲げられ、いずれの指が伸びているか等）を認識することができる。

　また、図１７と同様に掌認識で掌の位置を認識し、図１８と同様に親指認識で、右手か左手か、または掌の表か裏かを判定することができる。これにより、所定の指の位置を認識することができる。
　さらに、腕認識によって、腕の延在方向、具体的には肘の関節を中心とした腕の角度を判定することができる。

　ステップＳ４５では、さらに、複数の外形について抽出された上述の特徴部の情報を総合することによって、ステップＳ４３での撮影対象となったジェスチャを示していた手および腕の可動範囲も導出する。

　具体的には、上述の特徴部の抽出で得られた角度の最大値及び最小値を含む範囲を求めることによって、可動範囲を導出することができる。
　上述のほか、指先等を示す特徴点の座標の軌跡を含む範囲を求めることによって、可動範囲を導出することができる。

　ジェスチャが動作を伴うものである場合、複数の外形について抽出されたそれぞれの特徴部の差異に基づいて、複数の外形を経時的に比較する。これによって、ジェスチャ動作に伴う外形の遷移の認識もできる。

　ユーザは、上記の分析結果を、ジェスチャデータとして記録するかどうかを決定する（ステップＳ４６）。この場合、撮影した動画の再生および分析結果の表示によって撮影した手および腕の形態を確認できるようにしてよい。ジェスチャデータとして記録する場合（ステップＳ４６のＹｅｓ）、ジェスチャデータ記録ユニット４５５に記録する（ステップＳ４７）。ジェスチャデータとして記録しない場合（ステップＳ４６のＮｏ）、ジェスチャデータ記録ユニット４５５に記録することなく、別の動画を撮影するために再び撮影待機（ステップＳ４２）を行なうことができる。

　なお、上述の実施形態においては、一連の外形または複数の外形を取得する態様を挙げたが、この態様に限定されない。たとえば、１つの外形を取得し、当該取得した外形について、特徴点と、その位置およびまたは方向の値の分析を行い、ジェスチャデータ記録ユニット４５５に記録してよい。この場合、得られた当該値に、所定の幅を持たせて所定の範囲とし、当該所定の範囲を、ジェスチャとして許容する範囲としてジェスチャデータ記録ユニット４５５に記録することができる。

（ジェスチャコマンド設定）
　図２０は、ジェスチャデータ記録ユニット４５５において、ジェスチャデータが、当該ジェスチャデータをコマンドとすべきアプリケーションの操作と関連付けられて記録される関連付け処理の一例を示すフローチャートである。

　本実施の形態においては、ユーザの操作に従い、ジェスチャ設定アプリの画面に表示された機能から、ジェスチャコマンド設定機能を選択する（ステップＳ５１）。次に、アプリケーションソフトユニット４５９において、アプリケーション操作コマンドを呼び出し、参照する（ステップＳ５２）。アプリケーション操作には、アプリケーションの起動および終了、アプリケーション内の各機能の選択および決定、ならびに画面の移動など、アプリケーションの利用に際し用いられるいかなる操作も含まれる。

　参照したコマンドデータから、ジェスチャによって発生させたいコマンドを選択する（ステップＳ５３）。さらに、ジェスチャデータ記録ユニット４５５から、ジェスチャデータを呼び出し、参照する（ステップＳ５４）。ステップＳ５３で選択したコマンドに関連付けたいジェスチャを選択する（ステップＳ５５）。ユーザは、選択されたジェスチャで設定するか否かを決定する（ステップＳ５６）。選択されたジェスチャで設定する場合（ステップＳ５６のＹｅｓ）、ジェスチャデータと、当該ジェスチャデータをコマンドとして発生させるべきイベントとが関連付けられた状態でジェスチャデータ記録ユニット４５５に記録される（ステップＳ５７）。選択されたジェスチャをキャンセルする場合（ステップＳ５６のＮｏ）、再びジェスチャデータを選択し（ステップＳ５４）、別のジェスチャを選択することができる（ステップＳ５５）。

　なお、上述の実施形態では、先にアプリケーション操作コマンドを呼び出し選択した後に、選択したアプリケーションコマンドに対してジェスチャデータを関連付けるものとしたが、この態様に限定されない。たとえば、先にジェスチャデータを呼び出し選択した後に、選択したジェスチャデータに対してアプリケーション操作コマンドを関連付けてもよい。
　また、たとえば、アプリケーション操作コマンドを呼び出した後に、ジェスチャデータを直接記録させ、関連付ける態様としてもよい。

（ジェスチャコマンド書換え）
　図２１は、ジェスチャデータ記録ユニット４５５において、ジェスチャコマンドが書換えられる処理の一例を示すフローチャートである。

　本実施の形態においては、ユーザの操作に従い、ジェスチャ設定アプリの画面に表示された機能から、ジェスチャコマンド書換え機能を選択する（ステップＳ６１）。次に、ジェスチャデータ記録ユニット４５５から、ジェスチャデータを呼び出し、参照する（ステップＳ６２）。書き換えたいジェスチャコマンドを選択し（ステップＳ６３）、当該ジェスチャコマンドが関連付けられているアプリケーション操作との関連付けを解除するか否かを決定する（ステップＳ６４）。関連付けを解除する場合（ステップＳ６４のＹｅｓ）、解除が実行され、当該ジェスチャコマンドを構成していたジェスチャデータとアプリケーション操作との間の関連性が無くなる（ステップＳ６５）。関連付けを解除しない場合（ステップＳ６４のＮｏ）、この処理を終了する。

　ステップＳ６５によってジェスチャデータとアプリケーション操作との間の関連性が解除された後、さらに、関連性が解除されたジェスチャデータ自体を削除するか否かを決定する（ステップＳ６６）。ジェスチャデータ自体も削除する場合（ステップＳ６６のＹｅｓ）、当該ジェスチャデータはジェスチャデータ記録ユニット４５５から削除される（ステップＳ６７）。

　ステップＳ６７でジェスチャデータが削除された場合、図１９で説明したジェスチャデータ登録処理がなされる（ステップＳ６８）。その後、図２０で説明したジェスチャコマンド設定処理がなされることにより、新たなジェスチャコマンドが設定される（ステップＳ６９）。

　一方、ジェスチャデータを削除しない場合（ステップＳ６６のＮｏ）、図２０で説明したジェスチャコマンド設定処理が行われ、当該ジェスチャデータを他のアプリケーション操作と関連付けられることにより、新たなジェスチャコマンドが設定される（ステップＳ６９）。

（設定されたジェスチャコマンドの識別によるアプリケーションの操作）
　上述のように記録されたジェスチャデータ記録ユニット４５５内のジェスチャデータを利用してジェスチャの識別を行なう方法は、図４のステップＳ１からステップＳ４で説明した通りである。より具体的には、上述のジェスチャデータ登録時と同様に、ステップＳ２において、対象の外形イメージデータを複数フレーム取得し、それぞれ、ステップＳ３において、外形の特徴部およびその可動範囲の情報を取得する。さらに、ステップＳ４において、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータの外形の特徴部およびその可動範囲と、識別すべきジェスチャの外形の特徴部およびその可動範囲とを比較する。双方のデータの一致性を判断することによって、識別すべきジェスチャが、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータのうちどれに該当するかを判断する。

　引き続いて、ステップＳ５で説明したとおり、アプリケーションソフトユニット４５９が、ジェスチャ識別ユニット４５６により判定されたジェスチャをコマンドとして所定のアプリケーション操作を行なう。

（半透過ディスプレイの表示例）
　次に、図２２は、眼鏡表示装置１００の半透過ディスプレイ２２０の表示の一例を示す模式図である。

　図２２に示すように、眼鏡表示装置１００の半透過ディスプレイ２２０には、一部には広告２２１が表示され、さらに一部には地図２２２が表示され、その他には、眼鏡表示装置１００の半透過ディスプレイ２２０を透過して風景２２３が視認され、その他に天気予報２２４および時刻２２５が表示される。

（視野の説明）
　次に、眼鏡表示装置１００の半透過ディスプレイ２２０に表示される表示の一例について説明を行なう。図２３（ａ）は、半透過ディスプレイ２２０の視野の一例、図２３（ｂ）は、半透明ディスプレイ２２０の表示の一例を説明する図である。

　図２３に示すように、本実施の形態においては、眼鏡表示装置１００が視認させることができる表示は、複数の表示７０１，～，７０７から構成される。複数の表示は、それら全てが一体化した連続像の一部をなすセグメントである。連続像のうち視認部分を遷移させることにより、複数の表示を途切れさせることなくスムーズに遷移させる切換え表示を行なう。
　図２３に示すように、縦方向に表示７０３、７０２、７０１、７０４、７０５の表示が設けられており、表示７０１を中央として、左右に表示７０６，７０７が設けられる。なお、当然のことながら、当該表示７０１，～，７０７は、ユーザによって自由に削除または変更することができ、さらに他の表示を追加することもできる。
　なお、本実施の形態においては、表示７０１，～，７０７はシームレスに連続した画像であるが、切換えされるべき表示は、それぞれが独立した非連続の像であってもよい。

　具体的には、眼鏡表示装置１００の姿勢が水平方向である場合、すなわち、ユーザが眼鏡表示装置１００を装着し、水平前方を向いた場合、表示７０１が表示される。

　続いて、ユーザが眼鏡表示装置１００を装着し、水平面（すなわち水平方向に平行の面）を基準として３０度程度斜め上方を向いた場合、表示７０２が表示される。すなわち、眼鏡表示装置１００におけるジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号に基づいて、ユーザの向く方向を認識する。なお、表示７０２は、例えば顔認識アプリの画面が表示されてよい。

　さらに、水平面を基準として４５度程度斜め上方を向いた場合、表示７０３が表示される。表示７０３には天気予報が示されてよい。また、表示７０３にはその他の天空情報が表示されてもよく、時間帯によっては、例えば星座の像を表示させてもよい。

　同様に、ユーザが眼鏡表示装置１００を装着し、水平面を基準として３０度程度斜め下方を向いた場合、表示７０４（例えば、メール画面）が表示され、水平面を基準として４５度程度斜め下方を向いた場合、表示７０５（例えば、地図）が表示され、鉛直面を基準として３０度程度右方を向いた場合、表示７０６（例えば、インターネットブラウザ）が表示され、鉛直面を基準として３０度程度左方を向いた場合、表示７０７（例えば、通話画面）が表示される。

　また、表示７０１乃至表示７０７の切換えは、上記の説明においては、ジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号に基づいて行なうこととしているが、これに限定されず、上述した指、掌、腕認識により切換えを行なってもよい。

　さらに、ユーザが歩行する場合、表示７０１から表示７０２へ、表示７０１から表示７０４へ、表示７０１から表示７０７へ、および表示７０１から表示７０６への少なくともいずれかの切換えを行なう条件として、ジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号のレベルを高めに設定してもよい。それにより、歩行時に短時間で表示７０１から他の表示に切り替わることを防止できる。また、緊急に振り向く場合には、特に切換えない設定を設けてもよい。
　一方、天空情報の表示７０３および地図情報の表示７０５はパノラマ表示であってよく、この場合、左右方向の動きに伴ってそれら表示７０３，７０５をスクロールさせてよい。

（イベント発生の具体例）
　続いて、指、掌、手、腕が操作領域４１０ｃに存在する場合と、ジェスチャ領域４１０ｇに存在する場合との違いをユーザが認識し易いように、所定のイベントを発生させる。以下、所定のイベントについて説明を行なう。図２４は、所定のイベント発生の一例を示す模式図であり、図２５は、図２４のイベント発生の他の例を示す模式図であり、図２６は、他のイベント発生の一例を示す模式図である。

　まず、図２４に示すように、仮想イメージには、赤外線検知ユニット４１０により検知された手Ｈ１の形状が表示される。さらに、ユーザの手が操作領域４１０ｃから離れている場合には、イベントの一例として、手Ｈ１の形状の陰影Ｈ２を表示する。
　これにより、ユーザは、ジェスチャ領域４１０ｇに手が存在することを容易に認識できる。

　続いて、図２５に示すように、仮想イメージには、赤外線検知ユニット４１０により検知された手Ｈ１の形状が表示され、陰影Ｈ２よりも濃い陰影Ｈ３が、手Ｈ１の形状の周囲に小さな面積で表示される。したがって、ユーザは、図２４の場合よりも手が操作領域４１０ｃに近づいたことを容易に認識することができる。さらに、手が操作領域４１０ｃ内にある場合には、陰影Ｈ２、Ｈ３は、表示されない。

　その結果、ユーザは、試行錯誤または手探りで操作領域４１０ｃを探す必要がなくなる。すなわち、操作領域４１０ｃまでの距離を陰影の濃度、手の形状と陰影とのずれ方により容易に認識することができる。

　また、図２６に示すように、手が操作領域４１０ｃ内にある場合に、指先に円表示Ｈ４を行なってもよい。

　なお、上記の実施の形態においては、陰影Ｈ２、Ｈ３、円表示Ｈ４が表示されるイベント発生態様について説明したが、これに限定されず、操作領域４１０ｃ内にある場合に、表示に波紋を発生させてもよく、眼鏡表示装置１００に振動発生装置を設けて振動を発生させてもよく、音を発生させてもよく、表示の点滅態様および点灯照度の少なくともいずれかによって表示を変化させてもよい。例えば、操作領域４１０ｃまでの距離を点滅間隔により表してもよく、操作領域４１０ｃまでの距離を点灯照度により表してもよい。例えば、操作領域４１０ｃから離れるほど点滅間隔を長く、近づくほど点滅間隔を短くする、または、操作領域４１０ｃから離れるほど点灯照度を低く、近づくほど点灯照度を高くする、または、操作領域４１０ｃから離れるほどより濃い色による点灯（赤、黒、紫など）を行い、近づくほどより淡い色による点灯（青、黄、ピンクなど）を行なうなど、その他、人間の感覚（視覚、聴覚および触覚に代表される）に訴える任意のイベントを発生させてもよい。

（眼鏡表示装置の操作）
　以上の指、掌、腕認識およびイベント発生を伴う眼鏡表示装置１００の使用態様について説明する。

　まず、ユーザが操作領域４１０ｃ内に手を入れることにより、手の認識が行なわれ、仮想イメージ表示を操作することができる。例えば、仮想イメージ表示を拡大させたり、縮小させたり、表示をスクロールさせたり、ポイントを選択したりすることができる。

　例えば、図２７に示すように、広告２２１の表示をタッチすることで、追加表示を行なってもよい。
　例えば、広告２２１には、店舗の、商品、サービス等の情報が表示されている。ユーザがその広告２２１をタッチした場合、当該店舗に関するさらに詳しい情報を追加表示させてもよい。たとえば、飲食店の場合には、当該飲食店の代表メニュ、ユーザからの評価、価格帯等を表示させてもよい。
　なお、広告２２１は、店舗をカメラユニット３０３で撮影された像そのものであってもよいし、カメラユニット３０３による当該店舗の撮像データに基づいて店舗認識を自動で開始し、その結果、店舗認識アプリ画面に表示された認識結果情報であってもよい。

（パロディモードによる表示）
　また、図２８に示すように、半透過ディスプレイ２２０に一の企業（○○社）のロゴマークが表示されている際に、画面中のロゴマークにタッチ等行なうことで、競合又は非競合の他の企業（△△社）に関連する情報を表示させることができる。この場合、例えばパロディモードとして、当該他の企業のロゴを表示させてもよい。

（ジェスチャコマンドによる表示）
　また、ユーザがジェスチャ領域４１０ｇ内で所定の手のポーズを作ることにより、予め設定された動作が実施される。図２９から図３６は、ジェスチャ認識の例を示す模式図である。

　例えば、図２９に示すように、ユーザが握った手Ｈ１の親指と人差し指を９０度に開いて伸ばしたＬ字サインを作った場合、親指と人差し指との間に、メニュ画面Ｖ１が表示されてもよい。

　また、図３０に示すように、握った手Ｈ１の人差し指と中指とを延ばし広げた、いわゆるピースサインの場合には、人差し指と中指との間に、所定の画像Ｖ２を表示させてもよい。

　また、図３１に示すように、挨拶行為により、手Ｈ１を軽く開いて矢印方向に移動させた場合には、顔認識のアプリを自動的に起動させる。カメラユニット３０３で取得した相手の人物の顔データに基づいて顔認識を自動で開始し、顔認識アプリ画面Ｖ３に、氏名、企業名、役職、最後に会った日時および場所等の情報を表示させる。さらに顔認識アプリの認識による同一人物に会うたびにフラグを立て、フラグの数を顔認識アプリ画面Ｖ３に表示させてもよい。この場合、フラグの数によって、顔認識アプリ画面Ｖ３の背景および色等を異ならせてもよい。

　さらに、図３２に示すように、握った手Ｈ１の親指と小指を広げた、いわゆるアロハサインを作り、矢印方向にゆすった場合には、電話のアプリが自動的に起動し、連絡帳のデータＶ４が表示される。ユーザは、電話のアプリを操作して、所定の相手に電話をかけることができる。

　また、図３３に示すように、手Ｈ１の指でアルファベットのＳの文字を描くことにより、ＳＮＳ（ＳＯＣＩＡＬ　ＮＥＴＷＯＲＫＩＮＧ　ＳＥＲＶＩＣＥ）アプリを自動的に起動させ、ＳＮＳアプリ画面Ｖ５を表示させることができる。

　さらに、図３４に示すように、漢字アプリを起動させ、手Ｈ１の人差し指を認識させることにより人差し指の位置に筆の画像をさらに追加表示させ、漢字の練習アプリ画面Ｖ６に漢字を書いて練習できる。

　また、図３５に示すように、手Ｈ１を手刀の形状にした場合、刀アプリを起動させ、手刀上の手の位置に刀の画像をさらに追加表示させ、仮想イメージ表示画面Ｖ７を切ることができる。

　また、図３６に示すように、両方の手Ｈ１の指で、四角を形成した場合、カメラアプリが自動起動され、カメラアプリ画面Ｖ８中で、形成した四角から抽出される撮像用フレーム内の風景等を撮像してもよい。

（追従表示システム）
　続いて、追従表示システム８００について説明を行う。図３７は、追従表示システム８００の一例におけるアイコンのツリー表示を示す模式図である。

　図３８および図３９は、アイコンを操作する場合の、実空間における選択操作可能な手の存在領域と仮想空間におけるアイコンの位置との関係の一例を説明する模式図であり、図４０および図４１は当該関係の他の一例を説明する模式図である。

（ツリー式メニュー表示）
　図３７に示すようにメニュー８１０と、複数の選択要素８１１，８１２，８１３，８２１，８２２，８２３，８２４，８３１，８３２，８３３，８３４，８３５，８４１，８４２，８４３，８４４と、メニュー８１０および選択要素８１１，８１２，８１３，８２１，８２２，８２３，８２４，８３１，８３２，８３３，８３４，８３５，８４１，８４２，８４３，８４４を結ぶ紐付けと、保存選択要素８２５と、終了選択要素８２６とを有する。なお、当該図３７は、選択要素８１２，８１３，８２１，８２３，８３３，８３４，の全てを選択した場合に表示される状態を模式的に示す図である。図示されるように、メニュー８１０および選択要素８１１，８１２，８１３，８２１，８２２，８２３，８２４，８３１，８３２，８３３，８３４，８３５，８４１，８４２，８４３，８４４は、円形状アイコンであり、保存選択要素８２５および終了選択要素８２６は、矩形状アイコンである。

　メニュー８１０は、手Ｈ１のジェスチャが検知されたことを契機として表示される。
　複数の選択要素８１１，８１２，８１３，８２１，８２２，８２３，８２４，８３１，８３２，８３３，８３４，８３５，８４１，８４２，８４３，８４４と、メニュー８１０および選択要素８１１，８１２，８１３，８２１，８２２，８２３，８２４，８３１，８３２，８３３，８３４，８３５，８４１，８４２，８４３，８４４を結ぶ紐付けと、保存選択要素８２５と、終了選択要素８２６とは、メニュー８１０を操作することにより、直接的にまたは間接的に表示される。

　具体的には、メニュー８１０を選択した場合、メニュー８１０から選択要素８１１，８１２，８１３がそれぞれ紐付けられて表示される。次いで、選択要素８１２を選択した場合、選択要素８１１，８１３の表示が消去され、新たに選択要素８２１，８２２，８２３，８２４が選択要素８１２に紐付けられて表示される。

　これらのアイコンは、例えば、図３８および図３９に示すように、仮想イメージ表示領域２２０３Ｄに定義された奥行きのない仮想スクリーン上に、奥行きのないイメージとして仮想表示される。図３８および図３９では、操作ターゲットとなる１個のアイコンＩＣＨＹのみを模式的に示す。

（アイコンの操作－指およびアイコン双方のイメージの重なりで判断する場合）
　アイコンの操作においては、後述の図４２に示すように、操作のための指Ｈ５を、選択要素８２３で示されるアイコンに重なるよう視認される位置へ動かす。

　この場合、実空間に存在する指Ｈ５のイメージ（たとえば指Ｈ５の外形およびその内部）が、赤外線検知カメラ４１２およびイメージ処理ユニット４５３（図３参照）によって取得される。取得された指Ｈ５のイメージは、グラフィック演算ユニット４６３（図３参照）によって、２次元的に、つまりｘ－ｙ平面で、選択要素８２３のアイコンに重なるかどうかを判断される。図４２に示すように、指Ｈ５がアイコンに重なると判断されれば、指Ｈ５によるアイコン選択が可能となる。
　なお、指Ｈ５のイメージは、半透過ディスプレイ２２０に、操作者に視認可能であるように表示されてもよいし、操作者に視認されないように非表示にされてもよい。

　指Ｈ５のイメージが選択要素８２３のアイコンに重なると判断された場合、結果として、指Ｈ５は、図３８および図３９中、アイコン操作領域ＩＣＡＲとして示される領域に存在していることになる。アイコン操作領域ＩＣＡＲは、赤外線検知ユニット４１０からアイコンＩＣＨＹへの中心投影による立体領域と、当該立体領域を構成する面の延長面、左手の移動領域Ｌおよび右手の移動領域Ｒそれぞれを構成する面の最も遠い面、ならびに仮想イメージ表示領域２２０３Ｄの面に囲まれる領域とから構成される。

　本実施形態はヘッドマウントディスプレイに用いられるシステムであるため、赤外線検知ユニット４１０から仮想イメージ表示領域２２０３Ｄに表示されたアイコンＩＣＨＹへの投影線は、操作者からの視線とほぼ同一視できる。仮に、アイコンＩＣＨＹの選択に、厚みのない仮想イメージ表示領域２２０３Ｄ表面でのハンドリングを必須とすると、指Ｈ５の位置を正確に仮想イメージ表示領域２２０３Ｄ表面へ合わせる必要があり、操作が非常に困難である。そこで、指Ｈ５のイメージとアイコンＩＣＨＹとが操作者の視点から重なって視認できる任意の位置にあれば、アイコンＩＣＨＹを選択したと判定可能にすることで、操作の容易性が得られる。したがって、指Ｈ５の位置が仮想イメージ表示領域２２０３Ｄ表面の位置になくても、アイコン操作領域ＩＣＡＲ内に存在していれば、アイコンＩＣＨＹを選択できることになる。

　なお、上述の例では、指Ｈ５のイメージデータを、赤外線検知カメラ４１２を用いて取得することとしたが、この態様に限定されるものではない。つまり、取得される指Ｈ５のイメージデータは、赤外線検知カメラ４１２によるイメージデータのように深度情報を伴うものに限られず、深度情報を伴わないものであってもよい。たとえば、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサなどから選択されるイメージセンサを含むカメラを用いて指Ｈ５のイメージデータを取得してもよい。

　また、上記の例では、円形または矩形のアイコンを操作対象のオブジェクトとして挙げたが、この態様に限定されるものではない。アイコンの形状としては他の任意の形状が許容される。またたとえば、操作対象のオブジェクトは、操作者との間でインタラクティブな操作が可能な任意のオブジェクト、たとえば、メニュー項目、テキストリンクおよび決定ボタンなど様々なオブジェクトが挙げられる。

　さらに、上述の例では、アイコンが、奥行きのない仮想スクリーン上に、奥行きのないイメージとして仮想表示される例を挙げたが、この態様に限定されるものではない。たとえば、後述するように、アイコンは、奥行きのある仮想領域内に、奥行きのある立体として表示されてもよい。

　さらに、上述の例では、指Ｈ５のイメージとアイコンの表示との両方が２次元的に重なっていることを、アイコン選択の判断基準としているが、この態様に限定されるものではない。たとえば、後述するように、指Ｈ５の実空間内の位置とアイコンの仮想空間内の位置とが所定の関係を満たしていることを、アイコン選択の判断基準としてもよい。

（アイコンの操作－指およびアイコンの空間内位置関係で判断する場合）
　図４０及び図４１に示すように、アイコンは、奥行きのある仮想領域内に、奥行きのある立体として仮想表示されてもよい。つまり、図１２および図１３で説明したような三次元空間検知領域４１０３Ｄに、奥行きを有する仮想イメージ表示領域２２０３Ｄが定義され、その中にＺ方向を軸心とする円柱状、または直方体状のアイコンが表示されてもよい。さらに、指Ｈ５の実空間内の位置とアイコンの仮想空間内の位置とが所定の関係を満たしていることを、アイコン選択の判断基準としてもよい。

　この態様においては、アイコン選択操作以外の操作を行うためには、図１２および図１３において説明したとおり、操作領域４１０ｃに対象（本実施形態の場合は指Ｈ５）が存在することを条件にすることができる。
　一方、アイコン選択操作を行う場合は、図４０および図４１に示すように、赤外線検知ユニット４１０から、仮想イメージ表示領域２２０３Ｄに表示されたメニューまたは選択要素のアイコンＩＣＨＹへの中心投影による立体領域（すなわちアイコン操作領域ＩＣＡＲ）内に指Ｈ５が存在することを条件として、メニューまたは選択要素のアイコンＩＣＨＹを選択できるものとしてよい。

　本実施形態はヘッドマウントディスプレイに用いられるシステムであるため、赤外線検知ユニット４１０から仮想イメージ表示領域２２０３Ｄに表示されたアイコンＩＣＨＹへの投影線は、操作者からの視線とほぼ同一視できる。仮に、アイコンＩＣＨＹの選択に、仮想イメージ表示領域２２０３Ｄ内でのハンドリングを必須とすると、指Ｈ５の位置を正確に仮想イメージ表示領域２２０３Ｄ内へ合わせる必要があり、これには慣れが必要である。そこで、指Ｈ５の位置が仮想イメージ表示領域２２０３Ｄから外れていても、アイコン操作領域ＩＣＡＲ内に存在していれば、アイコンＩＣＨＹを選択した、と判定可能にすることで、操作の容易性が得られる。これにより、操作者の視点から見て、アイコンＩＣＨＹと指Ｈ５とが重なって視認できる任意の位置へ指Ｈ５を移動させれば、アイコンを選択することが可能になる。

　上記の例では、円柱状または直方体状のアイコンを操作対象のオブジェクトとして挙げたが、この態様に限定されず、アイコンの立体形状は、球、円錐、角錐、その他任意の立体形状のものが許容される。

（タイマー表示および追従表示）
　以下、追従表示システム８００の表示の一例について図４２から図４４を用い、アイコンの操作のより具体的な態様について説明を行なう。

　例えば、図４２に示すように、選択要素８２３を選択した場合、その円形状アイコンの周囲に、タイマー表示８２３ａの帯が、時間経過とともに、その帯面積が漸次増加するよう、時計回り（すなわち矢印Ｒ）の方向に円弧を描く。
　タイマー表示８２３ａが選択要素８２３のアイコンの周囲を一周する時間は、当業者が適宜設定することができる。当該時間は、例えば、０．１ｓｅｃ以上５．０ｓｅｃ以下であることが好ましく、０．２ｓｅｃ以上１．０ｓｅｃ以下であることがより好ましく、０．５ｓｅｃであることがさらに好ましい。

　さらに、所定の時間、選択要素８２３が選択され続けた場合（上述の例では、指Ｈ５のイメージがアイコンに重なり続けたと判断された場合、または、指Ｈ５がアイコン操作領域ＩＣＡＲ内存在し続けたと判断された場合）に、選択操作が決定される。その結果、円弧状のタイマー表示８２３ａは、図４３に示すように、選択要素８２３のアイコンの周囲を完全に囲んだ円状の選択決定表示８２３ｂとなる。選択要素８２３の選択決定により、選択要素８２１，８２２，８２４の表示が消去され、新たに展開された選択要素８３３，８３４，８３５が選択要素８２３に紐付けられて表示される。

　このように、タイマー表示８２３ａが選択要素８２３の周囲を完全に囲んで選択決定表示８２３ｂとなった場合、指Ｈ５による選択要素８２３の選択が決定される。

　指Ｈ５による選択要素８２３の選択が決定された状態から、図４３に示すように、指Ｈ５が矢印ＹＨの方向に移動した場合、選択要素８２３のアイコンも、指Ｈ５と所定の位置関係を保ちながら矢印ＹＨの方向に移動する。これによって、選択要素８２３のアイコンが指Ｈ５の動きに追従しているように表示される。

　さらにその後、指Ｈ５が所定距離を超えて移動した場合、図４４に示すように、選択要素８２３のアイコンが、指Ｈ５を離れて矢印－ＹＨの方向へ移動し、元の位置（すなわち、選択要素８２３のアイコンが選択決定表示８２３ｂで完全に囲まれた瞬間の位置）へ戻される。

　この場合、選択要素８２３のアイコンは、当該所定の距離に相当する長さの最大たわみを有するバネによって、当該元の位置で固定されているかのような挙動を示す。このような挙動は、バネ定数を含めた物理的ファクタを用いて仮想バネを定義することによって発生させることができる。なお、仮想バネの最大たわみの量は、指Ｈ５について想定されるぶれの量に応じて定義することができ、例えば、歩行など操作者が移動する場合（すなわち移動モード）では、操作者が移動していない場合（すなわち通常モード）より大きくなると想定して定義することができる。

　なお、上記例においては、選択要素８２３のアイコンの選択が決定されたこと、つまり選択要素８２３のアイコンが選択決定表示８２３ｂによって完全に囲まれたことを契機として、追従が開始する態様を説明した。この態様は、アイコンの誤操作防止の観点から好ましい。しかしながら、追従表示の開始のタイミングはこの態様に限定されるものではない。例えば、選択要素８２３のアイコンの選択がなされた瞬間から、つまり選択要素８２３のアイコンにタイマー表示８２３ａが表示された瞬間から追従が開始することとしてもよい。この態様は、操作容易性の観点で好ましい。

　さらに、上記例においては、タイマー機能をアイコンの周囲を囲む円弧状のタイマー表示８２３ａに担わせる態様を挙げたが、この態様に限定されず、例えば、アイコンの色を変化させる色変化表示に担わせてもよい。この態様においては、選択が決定されるまでの所定時間、アイコンの一部から徐々に全体へ色が変化する。アイコンの全てが異なる色に変化した場合に、選択が決定される。その他、タイマー機能を、アイコンの形を変化させることに担わせてもよい。

（他の例）
　図４５から図４８は、メニュ画面Ｖ１の一例を示す図である。例えば、図４５に示すように、手Ｈ１によるジェスチャが検知され、それを契機としてメニュ画面Ｖ１が表示され、指Ｈ５により、メニュ画面Ｖ１の選択要素の１つであるカメラアプリ起動項目Ｖ９が選択される。

　次に、所定の時間継続して、カメラアプリ起動項目Ｖ９が選択された場合、カメラアプリ起動項目Ｖ９の周囲に、選択決定表示Ｖ９ｂが表示される。選択決定表示Ｖ９ｂが表示されると、カメラアプリ画面Ｖ８（図３６参照）が起動する。

　一方、選択決定表示Ｖ９ｂが表示されるまでに、指Ｈ５が矢印ＹＨの方向に移動した場合、カメラアプリ起動項目Ｖ９の矩形表示は矢印ＹＨの方向に拡大される。

　さらに、指Ｈ５が所定の距離を超えて移動した場合、カメラアプリ起動項目Ｖ９は指Ｈ５を離れ、あたかも延ばされたゴムが縮み戻されるように矢印－ＹＨの方向に縮小し、元の位置および大きさに戻される。

　以上のように、本実施形態の追従表示システム８００によると、指Ｈ５のイメージとアイコンの表示とが重なっていると判定した場合、または、指Ｈ５を操作する操作者の視点からアイコンの表示への中心投影による所定の三次元空間（アイコン操作領域ＩＣＡＲ）内に指Ｈ５が存在すると判定した場合に、アイコンを指Ｈ５の動作に追従するよう表示する。このため、指Ｈ５が仮想イメージ表示領域２２０３ＤにおけるアイコンＩＣＨＹの仮想表示に接触していない場合であっても、操作者の視点から、指Ｈ５とアイコンとが重複しているように視認した場合に、アイコンを操作できる。アイコンの操作の間に指Ｈ５の空間内位置が変わった場合であっても、指Ｈ５のぶれにアイコンが追従するため、容易にアイコンを操作することができる。

　また、追従表示システム８００は、赤外線検知ユニット４１０により操作者の指Ｈ５を正確に検知することができる。また、操作の間に指Ｈ５がぶれてその空間内位置が変わる場合であっても、容易に且つ正確にアイコンを操作することができる。

　さらに、追従表示システム８００は、指Ｈ５が所定の時間、アイコン操作領域ＩＣＡＲ内に継続して存在するか否かを判定する。このため、指Ｈ５の不用意な動作によってアイコンを誤操作させることがない。

　さらに、追従表示システム８００は、所定の時間の経過をタイマー表示８２３ａによってアイコンの周囲に表示させるため、操作者は、アイコンが選択されたか否かを容易に認識することができる。

　さらに、追従表示システム８００は、アイコン操作領域ＩＣＡＲ内の所定の位置で、選択決定表示８２３ｂの表示により、またはタイマー表示８２３ａの表示開始によりアイコンの追従表示を開始した後、所定の位置から所定の距離を超えて指Ｈ５が移動した場合に、追従表示開始位置へアイコンを戻すように表示するため、操作者は、アイコンが選択されていることを容易に認識することができる。

　さらに、追従表示システム８００は、アイコンがアプリケーションプログラムアイコンまたはメニュー項目であるため、アプリケーション起動およびメニュー選択の操作を容易に行なうことができる。

　さらに、追従表示システム８００は、ヘッドマウントディスプレイデバイスであるため、ヘッドマウントディスプレイデバイスを装着した操作者の頭が動くことによって、アイコン表示と指Ｈ５との相対的位置関係が変動しても、アイコンが追従表示される。このため、頭の動きによって操作性が低下することを防止できる。

　本発明においては、メニュー８１０、選択要素８１１，８１２，８１３，８２１，８２２，８２３，８２４，８３１，８３２，８３３，８３４，８３５，８４１，８４２，８４３，８４４、保存選択要素８２５および終了選択要素８２６が「アイコン」に相当し、指Ｈ５が「対象」に相当し、赤外線検知ユニット４１０が「検知部」に相当し、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４および合成演算ユニット４５８の少なくともいずれかが「制御部」に相当し、アイコンＩＣＨＹが「表示オブジェクト」に相当し、アイコン操作領域ＩＣＡＲが「視点から表示オブジェクトへの中心投影による所定の三次元空間」に相当し、眼鏡表示装置１００が「ウェアラブル機器」に相当する。

　本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。

Claims

　仮想空間内に表示オブジェクトを表示する表示部と、
　前記表示オブジェクトを選択するための、実空間内の対象のイメージを検知する検知部と、
　少なくとも前記表示オブジェクトの位置を制御する制御部と、を含み、
　前記制御部は、前記表示オブジェクトと、前記対象のイメージとが、前記表示部において重なると判定した場合に、前記表示オブジェクトを前記対象の動作に追従させるよう表示する、追従表示システム。
　前記対象は、操作者の人体の指、掌、手、および腕の少なくともいずれかであり、
　前記検知部は、深度センサおよびイメージセンサの少なくともいずれかである、請求項１記載の追従表示システム。
　前記制御部は、前記対象が所定の時間継続して前記表示オブジェクトと重なっているか否かを判定する、請求項１または２に記載の追従表示システム。
　前記制御部は、前記所定の時間の経過を前記表示オブジェクトに表示させる、請求項３記載の追従表示システム。
　前記制御部は、前記対象が、前記表示オブジェクトの追従開始位置から所定の距離を超えて移動した場合に、前記追従表示を終了し、かつ前記追従開始位置に前記表示オブジェクトを戻すように表示する、請求項１から４のいずれか１項に記載の追従表示システム。
　前記表示オブジェクトは、アイコン、メニュー項目、テキストリンク、および決定ボタンの少なくともいずれかである、請求項１から５のいずれか１項に記載の追従表示システム。
　仮想空間内に表示される表示オブジェクトと、
　操作者が前記表示オブジェクトを選択するための、実空間内の対象と、
　前記対象の前記実空間内における位置を検知する検知部と、
　少なくとも前記表示オブジェクトの前記仮想空間内における位置を制御する制御部と、を含み、
　前記制御部は、
　前記操作者の視点から前記表示オブジェクトへの中心投影による所定の空間内に前記対象が存在すると判定した場合に、前記表示オブジェクトを前記対象の動作に追従させるよう表示する、追従表示システム。
　請求項１から請求項７のいずれか１項に記載の追従表示システムを含むウェアラブル機器。
　仮想空間内に表示オブジェクトを表示する表示処理と、
　前記表示オブジェクトを選択するための、実空間内の対象のイメージを検知する検知処理と、
　少なくとも前記表示オブジェクトの位置を制御する制御処理と、を含み、
　前記制御処理は、前記表示オブジェクトと、前記対象のイメージとが重なると判定した場合に、前記表示オブジェクトを前記対象の動作に追従させるよう表示する、追従表示プログラム。
　仮想空間内に表示オブジェクトを表示する表示処理と、
　操作者が実空間内の対象によって前記表示オブジェクトを選択するための選択処理と、
　前記選択処理により選択される前記実空間内の位置を検知する検知処理と、
　少なくとも前記表示オブジェクトの前記仮想空間内における位置を制御する制御処理と、を含み、
　前記制御処理は、前記操作者の視点から前記表示オブジェクトへの中心投影による所定の空間内に前記対象が存在すると判定した場合に、前記表示オブジェクトを前記対象の動作に追従させるよう表示する、追従表示プログラム。
　請求項９または１０に記載の追従表示プログラムを含むウェアラブル機器用の追従表示プログラム。
　仮想空間内に表示オブジェクトを表示する表示工程と、
　前記表示オブジェクトを選択するための、実空間内の対象のイメージを検知する検知工程と、
　少なくとも前記表示オブジェクトの位置を制御する制御工程と、を含み、
　前記制御工程において、前記表示オブジェクトと、前記対象のイメージとが重なると判定した場合に、前記表示オブジェクトを前記対象の動作に追従させるよう表示する、追従表示方法。
　仮想空間内に表示オブジェクトを表示する表示工程と、
　操作者が実空間内の対象によって前記表示オブジェクトを選択するための選択工程と、
　前記選択工程により選択される前記実空間内の位置を検知する検知工程と、
　少なくとも前記表示オブジェクトの前記仮想空間内における位置を制御する制御工程と、を含み、
　前記制御工程は、前記操作者の視点から前記表示オブジェクトへの中心投影による所定の空間内に前記対象が存在すると判定した場合に、前記表示オブジェクトを前記対象の動作に追従させるよう表示する、追従表示方法。
　請求項１２または１３に記載の追従表示方法を含むウェアラブル機器の操作方法。