JP5272827B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、ヘッドマウントディスプレイに関する。

従来、画像表示装置の一つとして、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像をユーザに視認させるようにした表示手段を備えるヘッドマウントディスプレイが知られている。

かかるヘッドマウントディスプレイは、文字通り頭部に装着するものであり、ハンズフリーで画像を視認できる特性があり、持ち運びに適している。

そこで、かかる特性をより活かすために、操作キーなどの操作を不要とすることによってユーザの操作負担をなくした表示装置が提案されている。

例えば、ユーザの目の前方に位置するように配置されて画像の表示を行う表示手段と、外界情報を取得する撮像手段などの外界情報取得手段と、この外界情報取得手段で取得された情報に基づいて、上記表示手段の動作を制御する制御手段とを備えるものがある（例えば特許文献１を参照）。

かかる構成により、撮像手段（外界情報取得手段）により取得した画像情報などから、外界情報として撮像した対象物が何であるかを識別し、識別したものと所定の情報とを関連付けることで、操作キーなどを操作することなく、ヘッドマウントディスプレイに所定の動作を行わせることが可能となる。

特開２００８-８３２９０号公報

しかしながら、撮像した画像情報から、この撮像された対象物が何であるかを確実に識別することは難しく、誤動作を引き起こすおそれが多々あった。

そこで、ハンズフリーでより確実に所望する操作を行うことのできるヘッドマウントディスプレイが望まれている。

上記目的を達成するために、請求項１に記載の発明は、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野方向の所定範囲を撮像する撮像手段と、前記ユーザの頭部の角度を検出する頭部状態検出手段と、前記撮像手段により撮像した画像と前記検出した前記ユーザの頭部の角度とにより前記ユーザの視野方向にある当該ユーザの身体の部位を特定する部位特定手段と、前記部位特定手段により特定したユーザの身体の部位の情報に応じた操作を実行する制御処理手段と、を備える構成とした。

また、請求項２に記載の発明は、請求項１に記載のヘッドマウントディスプレイにおいて、前記部位特定手段により特定した前記ユーザの身体の部位の状態を判定する部位状態判定手段を備え、前記制御処理手段は、前記部位特定手段で特定した部位に対応する操作のうち前記部位状態判定手段により判定した前記部位の状態に応じた操作を実行することを特徴とする。

また、請求項３に記載の発明は、請求項２に記載のヘッドマウントディスプレイにおいて、前記部位状態判定手段は、前記部位特定手段により特定した前記ユーザの身体の部位の状態として、前記ユーザの身体の部位にユーザの手が接触又は近接した状態か否かを判定することを特徴とする。

また、請求項４に記載の発明は、請求項３に記載のヘッドマウントディスプレイにおいて、前記部位状態判定手段は、前記ユーザの手に装着された装着具を検出することによって、前記ユーザの手の位置を検出することを特徴とする。

また、請求項５に記載の発明は、請求項２〜４のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記ユーザの身体の部位に操作の情報を関連付けたテーブルを記憶した記憶手段を備え、前記制御処理手段は、前記部位状態判定手段により判定した前記部位に応じた操作の情報を前記テーブルが記憶された記憶手段から読み出して、当該操作を実行することを特徴とする。

また、請求項６に記載の発明は、請求項５に記載のヘッドマウントディスプレイにおいて、前記テーブルに情報を記憶した操作は、前記表示手段への画像の表示処理に対する操作であることを特徴とする。

また、請求項７に記載の発明は、請求項６に記載のヘッドマウントディスプレイにおいて、前記ユーザの身体の部位の状態に操作の情報を関連付けた第２のテーブルを記憶した第２記憶手段を備え、前記制御処理手段は、前記第2のテーブルに基づき、前記ユーザの身体の部位の状態に応じて、さらに前記表示手段への画像の表示処理に対する操作を実行することを特徴とする。

また、請求項８に記載の発明は、請求項５〜７のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記部位特定手段により特定したユーザの身体の部位に応じて、操作情報を前記テーブルに設定することを特徴とする。

また、請求項９に記載の発明は、請求項５〜８のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記撮像手段による撮像画像から前記ユーザの身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段を備えたことを特徴とする

また、請求項１０に記載の発明は、請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記表示手段は、前記画像光を外光と共にユーザの眼に入射させ、外景と重ねて画像を表示可能としたことを特徴とする。

本発明によれば、ユーザの頭部の角度を検出する頭部状態検出手段を備え、撮像手段により撮像した画像と、検出したユーザの頭部の角度とによりユーザの身体の部位を特定し、特定したユーザの身体の部位の情報に応じた操作を実行するため、ハンズフリーによる動作をより確実に実行させることが可能となる。また、身体の部位と記憶したい情報を関連させて記憶することは非常に有効な記憶術であり、身体の部位と操作させたい情報とを関連付けて記憶することは容易であるため、希望する操作を行うために身体の部位を特定する際に、ユーザは迷ったり、間違えたりすることなくスムーズにその特定を行うことができる。したがって、ユーザは、メニューやガイダンスに頼ることなくハンズフリーによる操作を確実にすばやく実行させることができる。

実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の光の進路を示す説明図である。 同ＨＭＤの装着状態を示す説明図である。 同ＨＭＤの概要構成図である。 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。 ユーザの身体の部位に操作の情報を関連付けたキャリブレーション済みのテーブルの一例を示す説明図である。 ユーザの身体の部位の状態に操作の情報を関連付け第２のテーブルの一例を示す説明図である。 ユーザの身体の部位を特定する方法の変形例を示す説明図である。 実施形態に係るＨＭＤの外観構成を示す説明図である。 同ＨＭＤの電気的構成及び光学的構成を示したブロック図である。 制御部の構成を示すブロック図である。 キャリブレーションの処理の流れを示す説明図である。 カメラモードの処理の一例の流れを示した説明図である。 撮像処理の流れを示す説明図である。 実施形態に係るＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。 同ＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。 同ＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。 閲覧モードに用いられるキャリブレーション用のデータテーブルの一例を示す説明図である。 身体の一部とコマンドとの割り付けを示す割付テーブルの一例を示す説明図である。

以下、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ：Head Mount Display」という。）の一例について、図面を参照して説明する。

［１．ＨＭＤの概要］
図１に示すように、本実施形態に係るＨＭＤは、外光４００の一部が少なくともユーザ１００のいずれかの眼１０１に到達する状態で、画像情報に応じた画像光５００をハーフミラー１０で反射させてユーザ１００の眼１０１に投射し、当該ユーザ１００に表示画像２００を外景と重ねて視認させるシースルー型の表示部１を表示手段として備えている。

図２に示すように、ＨＭＤは、ユーザ１００の頭部１０２に装着される略眼鏡形状とした装着部１１に取り付けられた筐体１３と接続ケーブル５２を介して当該筐体１３と接続されたコントロールユニット３とを備えている。そして、本実施形態に係るＨＭＤの表示部１は、後に詳述するように筐体１３に収納された投影ユニット１ａとコントロールユニット３に収納配設された光源ユニット１ｂとから構成される。

したがって、図２に示すように、コントロールユニット３をポケットなどに収納してＨＭＤを頭部１０２に装着すれば、ユーザ１００は、ハンズフリーの状態で持ち運び可能であり、室内、屋外を問わず、外景を見ながら様々な表示画像２００を視認することができる。

このように、本実施形態に係るＨＭＤは、画像信号に基づいて生成した画像光を２次元的に走査し、その走査された画像光をユーザの眼に投射して網膜上に結像させる網膜走査型であって、なおかつ、画像光を外光と共にユーザの眼に入射させ、画像を外景と重ねて表示するシースルー型としている。しかし、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段を備えたヘッドマウントディスプレイであれば、その構成は何ら限定されるものではない。

また、本実施形態に係るＨＭＤは、ユーザ１００の視野方向の所定範囲を撮像する撮像手段としてのＣＣＤカメラ２を備えている。

ＣＣＤカメラ２は、図１及び図２に示すように、表示部１の筐体１３に取り付けられる小型のものであり、ユーザ１００の視野範囲を撮像することができ、この撮像データを解析することにより、ユーザ１００がどの方向に顔を向けているかを判定することが可能になっている。また、ＣＣＤカメラ２のシャッタを切ることで、ユーザ１００は、撮像した画像を表示画像２００として表示部１により表示させて視認することもできる。

なお、表示画像２００の画像情報は、ＣＣＤカメラ２で撮像した撮像画像のファイルの他、主にパーソナルコンピュータ（以下「ＰＣ」と呼ぶ）などにより作成されたコンテンツデータ、あるいはＰＣを介してインターネットサイトやＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体から取得されたコンテンツデータであり、静止画のみならず、例えば映画などのような動画の表示も可能である。そのために、本実施形態に係るＨＭＤはイヤホン９を用いて音声データを再生することもできる。

また、本実施形態に係るＨＭＤは、ユーザ１００の頭部１０２の角度を検出する頭部状態検出手段としての角度センサ４を備えている。角度センサは地磁気を利用した磁気センサ、重力方向を検知する傾斜センサ、ジャイロセンサなどが単独あるいは組み合わせて用いられる。

この角度センサ４は、図１に示すように、筐体１３の内部に設けられており、ユーザ１００の頭部１０２の傾きを三次元的に検出することができる。すなわち、頭部１０２がどの方向にどの程度傾いているかを、上下方向角度θ、水平方向角度φで決定することができる。

このように、本実施形態におけるＨＭＤは、ＣＣＤカメラ２で撮像した撮像画像のファイルやＰＣを介して取得したコンテンツデータなどの画像情報に応じた画像を表示することが可能であり、電源投入すると、図２に示すように、表示画像２００として、先ずメニュー画面が表示され、カメラモードと閲覧モードとのいずれかを選択できるようになっている。カメラモードでは撮像画像の表示や保存を行え、閲覧モードではコンテンツデータの再生、停止などが行える。

そして、いずれのモードを選択するかを、角度センサ４を用いて、ユーザ１００の頭部１０２の傾きなどの検出によるハンズフリーで行えるようにしている。本実施形態では、表示部１により表示された選択枝からの選択する場合や、同じく表示された設問に「Ｙｅｓ」と答える意思表示に対応する場合について、例えば、Ｙｅｓの意思表示は、「ユーザは自分の腹部に手を当ててその手を見る」、Ｎｏの意志表示は、「ユーザは手を頭の前方に挙げた状態で手を見る」などが予め設定されている。

さらに、本実施形態に係るＨＭＤは、上述したＣＣＤカメラ２及び角度センサ４に加え、ＣＣＤカメラ２により撮像した画像と、角度センサ４により検出したユーザ１００の頭部１０２の角度とによりユーザ１００の視野方向にある当該ユーザ１００の身体の部位（以下、単に「身体部位」という場合もある）を特定する部位特定手段と、この部位特定手段により特定したユーザ１００の身体の部位の情報に応じた操作を実行する制御処理手段とを備えている。

すなわち、ユーザ１００は、操作キーなどを操作することなく、自分の身体の部位を見つめるだけで、ＨＭＤに所定の動作を正確に行わせることが可能となっている。

部位特定手段及び制御処理手段としての機能は、図３に示すように、実質的にはＨＭＤ全体を制御する制御部３０が担っている。なお、この制御部３０は、後に詳述するが、図示するように記憶手段を備えており、この記憶手段には、ユーザ１００の身体の部位に操作の情報を関連付けたテーブルが記憶されている。ここで、操作とは、表示部１への画像の表示処理に対する操作であり、表示、保存、消去、さらに動画などであれば再生、停止などのコマンドを含む概念である。

また、ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルが記憶された第２記憶手段を備えており、制御部３０は、この第２のテーブルに基づき、ユーザ１００の身体の部位の状態に応じて、さらに表示部１への画像の表示処理に対する操作を実行するようにしている。なお、記憶手段及び第２記憶手段は、いずれも後に詳述するフラッシュＲＯＭ４２などがその機能を担う。

かかる構成により、本実施形態に係るＨＭＤでは、ユーザ１００が自分の身体の一部、例えば、手や腕や肘、あるいは膝などを見ると、その見た身体の部位を腕なら腕、肘なら肘と特定し、特定した部位に応じた操作、例えばカメラモードであれば、ＣＣＤカメラ２で撮像した画像を表示画像２００として表示したり、あるいは身体に関連付けて保存したりすることができる。また、閲覧モードであれば、動画の再生あるいは停止などを行うことができる。

例えばカメラモードの場合であれば、ファイルを保存する記憶手段上の仮想フォルダと身体の部位とを、予め関連付けさせてテーブル化して記憶しておけば、図２に示すような風景をＣＣＤカメラ２で撮像すると、制御部３０（制御処理手段）は、「この画像を保存しますか？」のメッセージとともに撮像画像を表示画像２００として表示部１により表示させる。

この撮像画像を、肘に関連付けさせて保存したい場合、ユーザ１００は頭部１０２を動かして自分の肘を正視する。

そうすると、ユーザ１００が撮像した風景の画像（現在の表示画像２００）が、記憶手段の所定領域、すなわち、この場合は仮想的に規定された肘フォルダに記憶されるのである。

何らかのものを身体の一部と関連付けて記憶するのは記憶術としてもポピュラーであるため、例えばこの場合の風景の画像などの保存先は肘フォルダである、といったことをユーザ１００は記憶しやすい。したがって、この画像を呼び出す場合もユーザ１００は容易に肘フォルダから探し出すことができる。当然ながら、肘フォルダの他に、腕フォルダ、手フォルダなどのように、ファイル保存先を、ユーザ１００の身体の複数の部位と関連付けておくことができる。

撮像画像をハンズフリーにより保存操作する場合についてより詳しく説明する。例えば、図２に示した風景をＣＣＤカメラ２で撮像したとすると、図４（ａ）に示すように、制御部３０（制御処理手段）は、「この画像０９００１．ＪＰＧを保存しますか？」のメッセージとともに撮像画像を表示画像２００として表示部１により表示させる。

本実施形態におけるＣＣＤカメラ２は、ユーザ１００の視野方向のうち、正視方向を中心とした範囲を撮像可能に取付けられているため、ユーザ１００が肘フォルダを選択しようとして肘を正視した場合、図４（ａ）に示すように、ユーザ１００の肘が画像中心となるような撮像画像を得られる。

また、制御部３０（制御処理手段）は、先ず、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかを判定し、これによって、ユーザ１００の身体の部位のうちいずれの部位近傍に顔面が向いているかを判定するようにしている。これにより、CCDカメラ２で撮像された肘の画像が自分の肘か他人の肘かを頭部の方向で区別でき、誤動作を防止することができる。

つまり、この場合のユーザ１００が見つめている身体部位は「左腕の中央部分」であると絞られることになる。そして、制御部３０は、撮像画像のデータに含まれる各画素のＲＧＢ値から色温度を算出し、画像の中央に設定された規定領域２５０内において、同規定領域２５０の中央に位置する画素の色温度をサンプルし、サンプルした色温度に対して所定の許容差範囲内の色温度の画素が集合した領域の輪郭から部位形状を認識し、予め各身体の部位を示す形状として記憶しておいた複数のモデル形状のいずれに相当するかを判定し、「肘」を示すモデル形状に相当すると判定された場合、制御部３０は、ユーザ１００は「肘」を見ていると判定するのである。

なお、例えば、腕などが露出している場合であれば、肌色を示す色温度の画素が集合した領域の面積（以下、「肌色面積」とも呼ぶ）が、予め各身体の部位を示す面積値として記憶しておいた複数のモデル面積のいずれに相当するかを判定し、「肘」を示すモデル面積に相当すると判定された場合、制御部３０は、ユーザ１００は「肘」を見ていると判定することもできる。

そして、その判定状態が所定時間（例えば２秒）連続した場合、制御部３０は、フラッシュＲＯＭなどの記憶手段に規定された領域（肘フォルダに相当）に画像ファイルを記憶する（保存する）。

そして、制御部３０は、図４（ｂ）に示すように、表示部１により、「肘フォルダに画像０９００１．ＪＰＧを保存しました」のメッセージが含まれる表示画像２００を表示させ、ユーザ１００に撮像した画像が保存されたことを報知する。

また、制御部３０は、前記部位特定手段により特定したユーザ１００の身体の部位の状態を判定する部位状態判定手段としても機能する（図３）。つまり、制御部３０が制御処理手段として機能する場合、部位特定手段で特定した部位に対応する操作のうち、当該部位状態判定手段により判定した部位の状態に応じた操作を実行するのである。したがって、ＨＭＤのハンズフリーによる操作をより確実に行わせることが可能になるとともに、操作の種類を多岐にわたらせることができる。

ここで、部位の状態とは、例えば、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態が含まれている。

身体の部位にユーザ１００の手が接触又は近接した状態を判定するには、例えば、身体の部位として認識するために検出していた部位形状に、さらに接触又は近接した手の形状が加わることによって形状が変化したことを検出して判定することができる。また、肌色面積で部位を検出していた場合、肌色面積に、さらに接触又は近接した手によって肌色面積が増加したことを検出して判定することもできる。

例えば、これまでにユーザ１００がＣＣＤカメラ２で撮像した複数の画像ファイルが、前述したように、複数のフォルダ（肘フォルダ、腕フォルダ、手フォルダなど）毎にカテゴリー別に保存されているとする。

ユーザ１００が、所望する画像ファイルを表示させたい場合、例えば、それが人物画像であって、それが手フォルダに保存されているとする。その場合、図５（ａ）に示すように、ユーザ１００が自分自身の手（ここでは左手）を見ると、制御部３０は、手に関連付けられて記憶されている複数の画像ファイルをサムネイル化して表示部１により表示するとともに、図示するように、例えば画像の枠を太くしたりするなどして、順次、強調表示していく。

表示したい画像ファイルが強調表示された際に、ユーザ１００は、図５（ｂ）に示すように、見つめていた左手に右手を添える。すなわち、左手に右手が重なる状態となって身体の部位の状態が変化する。

制御部３０では、一つの手を示す輪郭形状に他の手の輪郭が加わり、全体の形状が変化したことにより、現在表示中が画像ファイルが選択されたと判定し、その判定結果に応じて、図示するように、当該画像ファイルを表示画像２００の全領域に表示するのである。

また、ユーザ１００の身体の部位、あるいはその部位の状態に応じた操作を実行するために、制御部３０は、ＣＣＤカメラ２による撮像画像からユーザ１００の身体の部位を特定する情報を抽出して、テーブルに記憶するキャリブレーション手段を備えている（図３）。

すなわち、身体の部位とこの部位に応じた操作の情報とがデフォルトで設定されていたとしても、実際にＨＭＤを用いるユーザ１００の骨格や体質、さらには姿勢などによっては、身体の部位を見る際の頭部１０２の角度はそれぞれ異なると考えられる。そこで、ＨＭＤを使用するに先立って、キャリブレーションを行うようにしている。このようにキャリブレーションを行うようにしたため、ユーザ１００の個体差などにも対応でき、ハンズフリーによる操作の精度を高めることができる。

図６にキャリブレーション済みのデータテーブルの一例を示している。これは、撮像画像のファイルを保存する仮想フォルダと身体の部位とを、キャリブレーションを行うことによって予め関連付けさせたテーブルであり、後述するフラッシュＲＯＭ４２に記憶されている。ここでは、身体の部位の一例として、「左腕」、「左肘」、「左手」を用いるようにした場合としており、図４に示すように、左腕を前方に突き出し、肘を中心に略直角に曲げた状態のときの「腕」、「肘」、「手」を特定できるようにしている。

図６で示すテーブルには、ユーザ１００が実際に前述した姿勢のときの「腕」、「肘」、「手」を見るために頭部１０２を動かしたときの角度センサ４の検出値と、その頭部角度においてＣＣＤカメラ２が撮像した撮像画像とが、頭部角度、パターン画像として身体の部位（「腕」、「肘」、「手」）に関連付けられる。なお、本実施形態では、角度センサ４からの検出値は、θ（上下方向角度）、φ（水平方向角度）として得ることができる。

ところで、このテーブルでは、「肘」が肘フォルダに対応し、画像カテゴリーとして風景画像が割り付けられている（図４参照）。同じように、「手」は手フォルダに対応して画像カテゴリーとしては人物画像が割り付けられ（図５参照）、「腕」は腕フォルダに対応して画像カテゴリーとしてはその他画像が割り付けられている。

また、図７に示すテーブルは、ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルに相当するものであり、これも後述するフラッシュＲＯＭ４２に記憶されている。この第２のテーブルには、図示するように、ユーザ１００の一方（ここでは左方）の「腕」、「手」、「肘」にユーザ１００の他方の手が接触又は近接した状態がパターン画像として関連付けられている。そして、それぞれの対応コマンドとしては、撮像画像の全体表示が対応付けられている。

こうして、前述したように、カメラモードにおいて、例えばＣＣＤカメラ２で撮像して保存しておいた所定の人物画像を表示させたい場合、ユーザ１００は「手」を見ることで手フォルダ内の複数の人物画像がサムネイルで表示され、所望する人物画像が強調表示されたときに、その手にユーザ１００の他の手を添えた状態にすると、図７に示すテーブルを参照した制御部３０は、該当する人物画像を、表示画像２００として表示領域全体に表示するのである。

ところで、図７からも分かるように、本実施形態では、ユーザ１００の身体の部位の状態を判定する場合、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態か否かを判定するものとして説明した。

このように、ユーザ１００の身体の部位の状態を判定することで、ユーザ１００が見ている身体部位の特定だけで行える操作の数よりも多くの操作を正確に行うことも可能となる効果がある。

また、ユーザ１００の身体の部位の状態を判定してユーザ１００が見ている身体部位を正確に特定するとした場合、ユーザ１００の手に装着された装着具１１０を検出することによってユーザ１００の手の位置を検出することにより、当該身体部位を正確に特定することもできる。

例えば、図８に示すように、ユーザ１００は右手の指に、認識しやすい特定の色の装着具１１０を嵌めておく。そして、ユーザ１００が肘を見つめ、かつ肘に手を置いた場合、ＣＣＤカメラ２が撮像した画像の中央に設定された規定領域２５０内には装着具１１０が位置しているため、ＣＰＵ４０は、装着具１１０による特定の色の画素領域を認識することができる。

したがって、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかが判定され、ユーザ１００が見つめている身体部位が「左腕の中央部分」であると絞られ、さらに、特定の色の画素が所定面積だけ集合した領域が画面の座標中央に位置することが検出されると、制御部３０は、腕の中央部分のその中央、すなわち、肘をユーザ１００は見ていると判定することができる。

このように、ユーザ１００の手に装着された装着具１１０を検出することによってユーザ１００の手の位置を検出すれば、ユーザ１００が見ている身体部位を正確に特定することができる。なお、装着具１１としては、図示するような指輪タイプのみならず、手に装着できるものであれば何でもよく、手袋なども含まれる。

こうして、本実施形態によれば、ユーザ１００は本実施形態に係るＨＭＤを装着し、カメラモードを選択した場合は、ＣＣＤカメラ２で撮像した画像の表示や保存の操作を、ハンズフリーで正確に行うことが可能となる。

［２．ＨＭＤの電気的構成及び光学的構成を含む具体的構成］

ここで、ＨＭＤの外観構成、電気的構成及び光学的構成を含むより具体的構成について詳細に説明する。

（ＨＭＤの外観）
図９にＨＭＤの外観構成を示す。図示するように、ＨＭＤは、ユーザ１００の頭部１０２に装着される装着部１１に取り付けられた筐体１３と、光ファイバケーブル５０や電送ケーブル５１や音声ケーブル９９などからなる接続ケーブル５２を介して当該筐体１３と接続されたコントロールユニット３とを備えている。そして、筐体１３に収納された投影ユニット１ａと、コントロールユニット３に収納配設された光源ユニット１ｂとから表示部１を構成している。なお、装着部１１は略眼鏡形状とした支持部材からなり、あたかも眼鏡のようにして簡単に装着することができ、装着したときに、投影ユニット１ａを収納した筐体１３がユーザ１００の顔面左前方に位置するようにしている。

本実施形態における筐体１３は、装着部１１をユーザ１００の頭部１０２へ装着したとき、ユーザ１００の左眼部分と左側こめかみ部分とを被覆するような平面視略Ｌ字形状に形成されている。そして、この筐体１３の上面１３ａ側にＣＣＤカメラ２を配設し、電送ケーブル５１を介してコントロールユニット３の制御部３０に接続している。ＣＣＤカメラ２は、ユーザ１００が当該ユーザ１００の手や腕や脚などの身体を正視したときに、その視線が捉えた身体の部位に焦点が合わせられるように光軸が合わせられている。さらに、このＣＣＤカメラ２は、図示しないシャッタボタンを備えており、このシャッタボタンの操作により撮像することができる。なお、コントロールユニット３に撮像用の操作ボタンを設け、その撮像ボタンを押すことで手動撮像させても良い。

また、図示するように、筐体１３の先端側には、左の眼１０１の前方に位置するようにハーフミラー１０が取り付けられており、外光４００をハーフミラー１０から透過させてユーザ１００の左の眼１０１に入射させ、画像光５００はハーフミラー１０で反射させてユーザ１００の眼１０１に入射させるようにしている（図１参照）。また、当然ながら、外光４００は右の眼１０１にも入射している。したがって、ユーザ１００は、両眼１０１，１０１を開けている場合は当然のこと、右の眼１０１を閉じた状態であっても、表示画像２００を見ながら外界を見ることができる。

コントロールユニット３は、ユーザ１００が衣服のポケットなどに収納して携行可能であり（図２参照）、ケース表面には電源スイッチ７と電源ランプ８とが設けられている。また、このコントロールユニット３内に光源ユニット１ｂとともに収納配設された制御部３０は、通信Ｉ／Ｆ３９を介して画像情報などを外部のＰＣなどから取得可能となっている。そして、取得した画像情報などを、光源ユニット１ｂの画像信号供給回路６に送信している。なお、ＰＣなどの外部機器との接続は無線、有線いずれでも可能である。

光源ユニット１ｂの画像信号供給回路６では、取得した画像情報を画素単位で強度変調して画像光５００を形成し、この画像光５００を、光ファイバケーブル５０を介して投影ユニット１ａへ伝送し、投影ユニット１ａでは、伝送された画像光５００を走査してユーザ１００にコンテンツ画像２００を視認させることができる。

また、制御部３０に設けた音声回路４５では、ＰＣなどから取得したコンテンツデータに含まれる音声データを音声信号に変換して、音声ケーブル９９を介してイヤホン９に伝送可能としている。

図１０はＨＭＤの電気的構成及び光学的構成を示したブロック図、図１１は制御部の構成を示したブロック図である。図１０及び図１１に示すように、ＨＭＤは表示部１、ＣＣＤカメラ２、角度センサ４及びイヤホン９を備えており、表示部１は、前述したように装着部１１に設けられた投影ユニット１ａと、コントロールユニット３に配設された光源ユニット１ｂとから構成されている。

このコントロールユニット３には、ＨＭＤ全体の動作を統括制御する制御部３０も配設されており、光源ユニット１ｂは、この制御部３０から供給される画像信号Ｓから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてＲ（赤色），Ｇ（緑色），Ｂ（青色）の各色毎に強度変調されたレーザ光を生成して出射するようになっている。

なお、光源ユニット１ｂをコントロールユニット３内に設けるのではなく、投影ユニット１ａ内に設けるようにしてもよい。また、本実施形態では表示部１として２次元的に走査したレーザ光をユーザ１００の眼１０１に入射し網膜１０１ｂ上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光としてユーザの眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光としてユーザの眼に入射する反射型のものがある。

（光源ユニット１ｂ）
光源ユニット１ｂには、画像を合成するための要素となる信号等を発生する画像信号供給回路６が設けられている。ＰＣから供給される画像データが制御部３０に入力されると、制御部３０はその画像データに基づいて画像信号Ｓを生成して画像信号供給回路６に送る。画像信号供給回路６は、画像信号Ｓに基づいて、表示画像２００を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路６からは、Ｒ（赤色）画像信号６０ｒ，Ｇ（緑色）画像信号６０ｇ，Ｂ（青色）画像信号６０ｂが生成されて出力される。また、画像信号供給回路６は、水平走査部８０で使用される水平駆動信号６１と、垂直走査部９０で使用される垂直駆動信号６２とをそれぞれ出力する。

また、光源ユニット１ｂには、画像信号供給回路６から画素単位で出力されるＲ画像信号６０ｒ、Ｇ画像信号６０ｇ、Ｂ画像信号６０ｂの各画像信号６０ｒ，６０ｇ，６０ｂをもとに、それぞれ強度変調されたレーザ光（「光束」とも呼ぶ。）である画像光５００を出射するように、Ｒレーザ６３，Ｇレーザ６４，Ｂレーザ６５をそれぞれ駆動するためのＲレーザドライバ６６，Ｇレーザドライバ６７，Ｂレーザドライバ６８が設けられている。各レーザ６３，６４，６５は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。

さらに、光源ユニット１ｂは、各レーザ６３，６４，６５より出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系７１，７２，７３と、このコリメートされたレーザ光を合波するためのダイクロイックミラー７４，７５，７６と、合波されたレーザ光を光ファイバケーブル５０に導く結合光学系７７とが設けられている。

従って、各レーザ６３，６４，６５から出射したレーザ光は、コリメート光学系７１，７２，７３によってそれぞれ平行化された後に、ダイクロイックミラー７４，７５，７６に入射される。その後、これらのダイクロイックミラー７４，７５，７６により、各レーザ光が波長に関して選択的に反射・透過される。そして、これら３つのダイクロイックミラー７４，７５，７６にそれぞれ入射した３原色のレーザ光は、波長選択的に反射または透過して結合光学系７７に達し、集光されて光ファイバケーブル５０へ出力される。

（投影ユニット１ａ）
光源ユニット１ｂとユーザ１００の眼１０１との間に位置する投影ユニット１ａには、光源ユニット１ｂで生成され、光ファイバケーブル５０を介して出射されるレーザ光を平行光化するコリメート光学系７９と、このコリメート光学系７９で平行光化されたレーザ光を画像表示のために水平方向に往復走査する水平走査部８０と、水平走査部８０で水平方向に走査されたレーザ光を垂直方向に走査する垂直走査部９０と、水平走査部８０と垂直走査部９０との間に設けられた第１リレー光学系８５と、このように水平方向と垂直方向に走査されたレーザ光を瞳孔１０１ａへ出射するための第２リレー光学系９５とが設けられている。

水平走査部８０及び垂直走査部９０は、光ファイバケーブル５０から入射されたレーザ光を画像としてユーザ１００の網膜１０１ｂに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系であり、水平走査部８０は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子８１と、この偏向素子８１を共振させて偏向素子８１の偏向面を揺動させる駆動信号を水平駆動信号６１に基づいて発生する水平走査駆動回路８２を備えている。

一方、垂直走査部９０は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子９１と、この偏向素子９１の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号６２に基づいて発生する垂直走査制御回路９２とを備え、表示すべき画像の１フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部８０による水平方向への１走査を意味する。

なお、偏向素子８１，９１は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面（反射面）を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部８０に共振タイプの偏向素子を用い、垂直走査部９０を非共振タイプの偏向素子を用いることとしているが、これに限らず、例えば、垂直走査系に共振タイプの偏向素子を用いてもよく、どちらも非共振タイプの偏向素子としてもよい。

また、水平走査部８０と垂直走査部９０との間でレーザ光を中継する第１リレー光学系８５は、偏向素子８１の偏向面によって水平方向に走査されたレーザ光を偏向素子９１の偏向面に収束させる。そして、このレーザ光が偏向素子９１の偏向面によって垂直方向に走査され、正の屈折力を持つ２つのレンズ９５ａ，９５ｂが直列配置された第２リレー光学系９５を介して、眼１０１の前方に位置させたハーフミラー１０で反射されてユーザ１００の瞳孔１０１ａに入射し、網膜１０１ｂ上に画像信号Ｓに応じた表示画像２００が投影される。これにより、ユーザ１００はこのように瞳孔１０１ａに入射する画像光５００であるレーザ光を、表示画像２００として認識する（図１及び図２参照）。

なお、第２リレー光学系９５においては、レンズ９５ａによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ９５ｂによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ１００の瞳孔１０１ａに収束するように変換される。

（制御部３０）
制御部３０は、その内部に記憶されている制御プログラムにしたがって後述する所定の処理を実行することによって、前述した頭部状態検出手段、部位特定手段、制御処理手段、部位状態判別手段、及びキャリブレーション手段等として機能する。

図１１に示すように、制御部３０は、各コントローラ３１，３２，３６と、各ＶＲＡＭ（Video Random Access Memory）３３，３７と、周辺機器インターフェース（図中「Ｉ／Ｆ」と示し、以下「Ｉ／Ｆ」とも呼ぶ）３８と、通信Ｉ／Ｆ３９とを備えている。

主コントローラ３１は、ＣＰＵ（Central Processing Unit）４０と、プログラムＲＯＭ（Read Only Memory）４１と、不揮発性メモリであるフラッシュＲＯＭ（フラッシュメモリ）４２と、ＲＡＭ（Random Access Memory）４３とを備えており、これらはデータ通信用のバスにそれぞれ接続され、このデータ通信用のバスを介して、角度センサ４からの頭部角度などをはじめとする各種情報の送受信を行う。

ＣＰＵ４０は、プログラムＲＯＭ４１に記憶されている制御プログラムを実行することにより、主コントローラ３１として、ＨＭＤを構成する各部を動作させて、当該ＨＭＤが備える各種機能を実行させる演算処理装置である。

また、フラッシュＲＯＭ４２は、ＣＣＤカメラ２などから出力される画像データや、ＨＭＤの動作制御に必要な各種テーブルや表示画像２００の輝度の設定値などを記憶する。フラッシュＲＯＭ４２に記憶されたテーブルとしては、図６、図７、さらに後述する図１８及び図１９に示すように、ユーザの身体の部位や当該部位の状態に操作の情報を関連付けたテーブルなどが含まれる。

そして、ＣＰＵ４０は、ＣＣＤカメラ２により撮像した画像と角度センサ４により検出したユーザ１００の頭部１０２の角度とにより、当該ユーザ１００の視野方向にある当該ユーザ１００の身体の部位を特定することが可能となっている。

ＨＭＤ用コントローラ３２は、主コントローラ３１からの要求に応じて表示手段である表示部１を制御し、主コントローラ３１によりＨＭＤ用ＶＲＡＭ３３に記憶された画像データに基づいた画像信号Ｓを表示部１に供給する。表示部１は、ＨＭＤ用コントローラ３２から画像信号Ｓが入力されると、この画像信号Ｓに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ１００の眼１０１に出射し、ユーザ１００の網膜１０１ｂに画像信号Ｓに応じた画像を投影する。こうして、主コントローラ３１は、画像を表示させる制御を行う。

カメラ用コントローラ３６は、撮像手段であるＣＣＤカメラ２を制御し、カメラ用ＶＲＡＭ３７は、ＣＣＤカメラ２から出力される画像データを一時的に記憶する。主コントローラ３１は、ＣＣＤカメラ２から出力される画像データをカメラ用ＶＲＡＭ３７を介してＨＭＤ用ＶＲＡＭ３３に出力することにより、ＣＣＤカメラ２から出力される画像データを主コントローラ３１で取得することができる。

主コントローラ３１は、ユーザ１００の視野方向にある当該ユーザ１００自身の身体の部位を特定するために、カメラ用コントローラ３６を介してＣＣＤカメラ２を制御し、ユーザ１００の視野範囲のうち、ユーザ１００の顔に正対する方向にある対象物が、表示部１による画像の表示領域の略中心位置となるようにＣＣＤカメラ２により撮像させ、ＣＣＤカメラ２から出力される画像データをカメラ用ＶＲＡＭ３７を介して取得する。これによって、主コントローラ３１は、ＣＣＤカメラ２によって撮像された画像を取得することができる。

そして、主コントローラ３１は、先ず、前述したように、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかを判定し、これによって、ユーザ１００の身体の部位のうちいずれの部位近傍に顔面が向いているかを判定する。すなわち、頭部１０２の傾きによって、ユーザ１００が見つめている身体部位を、例えば「左腕の中央部分」あるいは「左腕の先端部分」であるというように絞るのである。

そして、ＣＣＤカメラ２によって撮像された画像を解析して部位形状を検出するとともに、予め記憶しておいたモデル形状と比較することによって、ユーザ１００の身体部位を検出できるようにしている。また、部位形状を検出することにより、ユーザ１００の身体の部位に接触又は近接する手についても認識することができる。なお、ＣＣＤカメラ２によって撮像された画像の処理をするために主コントローラ３１内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うこともできる。

周辺機器Ｉ／Ｆ３８は、電源スイッチ７やコンテンツ表示スイッチやランプ類等（図示せず）の周辺機器５を主コントローラ３１に接続するためのインターフェースである。例えば、電源スイッチ７やコンテンツ表示スイッチやランプ類が周辺機器Ｉ／Ｆ３８に接続されたとき、主コントローラ３１は、電源スイッチ７やコンテンツ表示スイッチ等のスイッチ類からの操作情報を周辺機器Ｉ／Ｆ３８から受け取り、周辺機器Ｉ／Ｆ３８を介してランプ類の点灯情報をランプ類に供給する。

通信Ｉ／Ｆ３９は、主コントローラ３１とＰＣとを通信可能に制御する。主コントローラ３１は、例えば、通信Ｉ／Ｆ３９を介して画像データの供給をＰＣに要求し、ＰＣから通信Ｉ／Ｆ３９を介して供給された画像データに基づいた画像信号ＳをＨＭＤ用コントローラ３２により表示部１に供給する。

なお、上述においては、撮像手段としてＣＣＤカメラ２を用いることとしたが、これに限られず、ＣＭＯＳカメラなどを用いてもよい。

［３．ＨＭＤにおける制御処理］
ここで、カメラモードを選択した場合の動作を実現させるための制御部３０による処理の一例について、図１２〜図１４を参照して説明する。図１２はキャリブレーションの処理の流れを示す説明図、図１３はカメラモードの処理の一例である撮像処理の流れを示す説明図、図１４は同じくカメラモードの処理の一例である画像データの表示処理の流れを示した説明図である。なお、各処理においては、ＨＭＤの電源スイッチ７は既にオン操作されており、電源スイッチ７がオン操作された後の初期設定処理などは全て完了していることとしている。また、図１３及び図１４の処理では、既にカメラモードが選択された場合としている（図２参照）。

（キャリブレーション）
キャリブレーションが開始されると、図１２に示すように、主コントローラ３１のＣＰＵ４０は、表示部１により、身体の特定の部位（ここでは左肘、左手、左腕のいずれか）を見て所定の決定トリガーを入力するようにユーザ１００に対して指示コメントを表示する（ステップＳ１０１）。ユーザ１００は、指示された身体の部位を見るとともに、例えばコントロールユニット３に設けた決定トリガーとしての操作ボタン（図示せず）を押すなどして決定トリガーを入力することになる。なお、ボタン操作に代えて角度センサ４を利用し、この角度センサ４が検出したユーザ１００の頭部１０２の傾きが所定の傾きとなったことを決定トリガーとすることもできる。

次いで、ＣＰＵ４０は、ユーザ１００が入力した決定トリガーを取得する（ステップＳ１０２）。

次いで、ＣＰＵ４０は、決定トリガーが入力されたときの頭の傾きのデータ、すなわち角度センサ４が検出したデータ値と、決定トリガーが入力されたときのＣＣＤカメラ２による撮像データとを、ステップＳ１０1で見るように指示した身体の部位の名称と関連付けてテーブルに記憶する（ステップＳ１０３）。

そして、ステップＳ１０４において、ＣＰＵ４０は設定すべき必要な身体の部位に対して全て関連付けを行ったか否かを判定し、全て終えるまで、必要な身体の部位に対する関連付け処理を繰り返し、全ての関連付けを終えるとキャリブレーションの処理を終了する。こうして、図６に示すテーブルが生成されることになる。

（撮像処理）
次に、カメラモードの処理の一例として、ＣＣＤカメラ２による撮像処理について、図１３を参照しながら説明する。図１３に示すように、ＣＰＵ４０は、ＣＣＤカメラ２のシャッタ操作がなされたか否かを判定する（ステップＳ２０１）。

シャッタ操作がなされた場合（ステップＳ２０１：Ｙｅｓ）、ＣＰＵ４０は、図４（ａ）に示すように、撮った画像を表示部１により表示させる（ステップＳ２０２）。このとき、画像の保存をするか否かを尋ねるメッセージも表示させる。

ユーザ１００は、この画像を保存すると決めた場合、画像を記憶（保存）させたい身体の部位を見る。本実施形態では、前述したように、風景は肘（肘フォルダ）に、人物は手（手フォルダ）に、その他であれば腕（腕フォルダ）に記憶するようにしている。このように、その被写体のカテゴリー別に画像を保存すると、後に画像を検索しやすい。

ステップＳ２０３において、ＣＰＵ４０は、ユーザ１００が見ている身体部位を特定する。すなわち、角度センサ４の検出値からユーザ１００の頭部１０２の傾きを検出し、検出した頭の傾きから、ユーザ１００が見ていると推定される身体部位を絞り込むとともに、頭部１０２に装着されたＣＣＤカメラ２による撮像データを取得して、絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報をフラッシュＲＯＭ４２のテーブルから取得する。

次に、ＣＰＵ４０は、ＣＣＤカメラ２による撮像画像の状態から、特定した部位が所定時間（例えば２秒）見続けられているか否かを判定する（ステップＳ２０４）。例えば、撮像データに所定時間変化がない場合、ＣＰＵ４０はユーザ１００の視線が固定されていると判定するのである。

ＣＰＵ４０は、特定された部位が所定時間（例えば２秒）見続けられていると判定した場合（ステップＳ２０４：Ｙｅｓ）はステップＳ２０５へ、見続けられていないと判定した場合（ステップＳ２０４：Ｎｏ）はステップＳ２０６へ処理を移す。

ステップＳ２０５では、特定された部位に関連付けられたフォルダに撮像画像のファイルを保存する。すなわち、フラッシュＲＯＭ４２の所定領域に記憶する。

一方、例えば撮像した画像をユーザ１００が気に入らない場合などは、特定部位から視線を外せばよい。その場合、ステップＳ２０４においては、ＣＰＵ４０は、特定部位は見続けられていないと判定し、撮像画像のファイルを削除するか否かのコメントを表示部１により表示させる（ステップＳ２０６）。

そして、ＣＰＵ４０は、角度センサ４の検出値から、ユーザ１００の頭部１０２が上下に振れたと判定した場合（ステップＳ２０６：Ｙｅｓ）、撮像画像のファイルを削除する（ステップＳ２０７）。他方、ユーザ１００の頭部１０２が左右に振れたと判定した場合（ステップＳ２０６：Ｎｏ）、ＣＰＵ４０は処理をステップＳ２０３に移す。このとき、ＣＰＵ４０は、「保存する場所を２秒以上見続けてください」などのコメントを表示部１に表示させるとよい。

こうして、ユーザ１００はＣＣＤカメラ２で撮像した画像をボタン操作あるいはスイッチ操作などをすることなく、ハンズフリーで保存させることが可能となる。特に、保存先を身体の一部と関連付けているので、保存先のフォルダを記憶しやすい。

（画像データの表示処理）
次に、同じくカメラモードの処理の一例として、ＣＣＤカメラ２で既に撮像して、身体に関連付けたフォルダに保存されている画像データを表示する処理について、図１４を参照しながら説明する。

ユーザ１００により選択されたカメラモードが開始されると、図１４に示すように、ＣＰＵ４０は、角度センサ４の検出値からユーザ１００の頭部１０２の傾きを検出する（ステップＳ３０１）。そして、ＣＰＵ４０は、検出した頭の傾きから、ユーザ１００が見ていると推定される身体部位を絞り込む（ステップＳ３０２）。さらに、ＣＰＵ４０は、頭部１０２に装着されたＣＣＤカメラ２から撮像データを取得する（ステップＳ３０３）。このステップＳ３０1〜Ｓ３０３の流れについては、そのステップの順番は必ずしも限定されるものではない。

次に、ＣＰＵ４０は、絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報がフラッシュＲＯＭ４２のテーブルにあるか否かを判定する（ステップＳ３０４）。テーブルにないと判定された場合（ステップＳ３０４：Ｎｏ）、ＣＰＵ４０は処理をステップＳ３０１に移す。すなわち、テーブルに身体部位があると判定されるまでユーザ１００は頭部１０２の傾きを微調整したりすることにより、ステップＳ３０1〜Ｓ３０４の処理が繰り返される。

絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報がフラッシュＲＯＭ４２のテーブルにあると判定されると（ステップＳ３０４：Ｙｅｓ）、検出された身体部位に対応する画像（情報）を表示する（ステップＳ３０５）。

具体的には、図５（ａ）に示したように、例えば身体部位が手（例えば左手）の場合であれば、仮想フォルダである手フォルダに記憶されている人物画像の一覧をサムネイル表示する。このとき身体部位が肘の場合であれば風景画像が、身体部位が腕の場合であればその他のカテゴリーの画像がサムネイル表示される。しかも、ＣＰＵ４０は、サムネイル表示中、一つずつ順次強調表示する。

サムネイルの中から、表示したい画像を選択するにあたって、ユーザ１００は、表示した画像が強調表示されたタイミングで画像のカテゴリーに関連付けられている身体部位に手（例えば右手）を差し出して接触又は近接させる。

ステップＳ３０６において、ＣＰＵ４０は、このときの右手が身体部位に接触、あるいは近接したか否か、すなわち、左手の輪郭形状に右手の輪郭形状が重なったことで身体部位の状態が変化したか否かを判定する。また、手の場合であれば、右手の肌色領域がＣＣＤカメラ２により撮像されて、肌色面積が増加したか否かを判定して、身体部位の状態が変化したか否かを判定することもできる。

このステップＳ３０６の処理において、右手が身体部位に接触、あるいは近接したと判定されない場合（ステップＳ３０６：Ｎｏ）、ＣＰＵ４０は処理をステップＳ３０５に戻す。このとき、表示部１により、ユーザ１００に対して「右手の位置を前後左右に少しずらしてみてください。」などのメッセージを表示できるようにしておくことが好ましい。

他方、右手が身体部位に接触、あるいは近接したと判定された場合（ステップＳ３０６：Ｙｅｓ）、ＣＰＵ４０は、このタイミングで強調表示していたサムネイルに相当する画像、すなわちユーザ１００が選択した画像全体を表示部１により表示させ（ステップＳ３０７）、この画像表示処理を終了する。

こうして、ユーザ１００は所望する画像を、特別にボタン操作あるいはスイッチ操作などをすることなく、ハンズフリーで表示させることが可能となる。また、ステップＳ３０１〜Ｓ３０７の処理を繰り返すことで、画像表示を連続して行える。

このように、本実施形態に係るＨＭＤでは、カメラモードを選択した後は、撮像した画像の保存操作、また保存した画像を呼び出して表示部１により表示させる操作を、ボタンやスイッチ操作などを行うことなく、ハンズフリーにて行うことが可能となる。

（ＨＭＤの使用形態の一例）
次に、ユーザ１００が閲覧モードを選択した場合について簡単に説明する。ここでは、映画などのような動画コンテンツを鑑賞する場合としている。

図１５〜図１７は、ＨＭＤの閲覧モードにおける使用形態の一例を示す説明図である。図１５に示すように、例えば電車などの中で映画を鑑賞しようとした場合、ユーザ１００は、図１６（ａ）に示すように、表示部１により表示されている表示画像２００内のメニューから閲覧モードを選択する。このときの選択も、前述したように、頭部１０２の傾きを角度センサ４で検出することによってハンズフリーで行うことができる。

また、閲覧モードにあっては、身体の部位と関連付けたフラッシュＲＯＭ４２上の仮想フォルダに１つのタイトルが保存されていることとしている。したがって、例えば、肘フォルダに保存されている映画を見る場合は、ユーザ１００は図１６（ｂ）に示すように、自分の左手の肘を所定時間（例えば２秒）正視する。

すると、先のカメラモードの処理において説明したように、制御部３０は、ユーザ１００の頭部１０２の傾きと、画像の中央に設定された規定領域２５０内における肌色面積とからユーザ１００が「肘」を見ていると判定し、肘フォルダに保存されている映画タイトル（例えば「七人の用心棒」）を表示部１により表示する。

その映画タイトルが所望する映画であれば、図１７に示すように、ユーザ１００は、再生コマンドが割り付けられている腕を所定時間（例えば２秒）見つめる。すると、映画「七人の用心棒」が表示部１により再生される。

このように、本実施形態に係るＨＭＤを用いれば、電車の中であっても、横の客などから覗かれたりすることなく、所望の映画などのコンテンツなどを楽しむことができる。しかも、ハンズフリーで再生や停止ができるため、吊革などに掴まって立っている場合でも表示部１の操作に支障を来すことがない。

ところで、この閲覧モードにおいても、カメラモード同様にキャリブレーションを行っている。すなわち、身体の部位と、この部位に応じた操作の情報とを、ＨＭＤを実際に使用するユーザ１００の体格などの特徴に合わせるようにしている。

図１８は、キャリブレーション済みのデータテーブルの一例、図１９に示すものはユーザ１００の身体の部位の状態に操作コマンドを関連付けた第２のテーブルの一例であり、いずれもフラッシュＲＯＭ４２に記憶されている。

図１８に示すように、映画タイトルで示される動画ファイルを保存する仮想フォルダと身体の部位とが、キャリブレーションを行うことによって予め関連付けられている。身体の部位の一例としては、ここでも「腕」、「肘」、「手」を用いており、図１６（ｂ）に示すように、左腕を前方に突き出し、肘を中心に略直角に曲げた状態のときの「腕」、「肘」、「手」が特定できるようにしている。

また、この図１８で示したテーブルには、ユーザ１００が実際に前述した姿勢のときの「腕」、「肘」、「手」を見るために頭部１０２を動かしたときの角度センサ４の検出値と、その頭部角度においてＣＣＤカメラ２が撮像した撮像画像とが、頭部角度、パターン画像として身体の部位（「腕」、「肘」、「手」）に関連付けられている。

ところで、このテーブルでは、「肘」が肘フォルダに対応し、動画ファイルとしては映画「七人の用心棒」が割り付けられている。また、「手」は手フォルダに対応しており、動画ファイルとしては映画「荒野のおくりびと」が割り付けられ、「腕」は腕フォルダに対応して動画ファイルとしては映画「鰆四十浪」が割り付けられている。

また、図１９に示すテーブルでは、ユーザ１００の身体の部位の状態に操作コマンドが関連付けられており、図示するように、「腕」は再生コマンド、「肘」は停止コマンド、「手」に関しては一時停止コマンドが関連付けられている。

したがって、映画を再生中、ユーザ１００は、手を見つめたり、肘や腕を見つめたりすることによって映画の再生に関する操作をハンズフリーで行うことができる。

このように、本実施形態によれば、ユーザ１００は本実施形態に係るＨＭＤを装着し、閲覧モードを選択した場合は、映画の鑑賞など関する操作をハンズフリーで正確に行うことが可能となる。

なお、本実施形態における閲覧モードでは、映画などの動画ファイルを鑑賞（閲覧）することとしたが、勿論静止画像の閲覧であってもよい。

上述してきた本実施形態によれば、以下の効果が期待できる。

（１）画像情報に応じた画像光５００をユーザ１００の眼に入射させ、前記画像情報に応じた表示画像２００を表示する表示部１（表示手段）を備えたＨＭＤにおいて、ユーザ１００の視野方向の所定範囲を撮像するＣＣＤカメラ２（撮像手段）と、ユーザ１００の頭部１０２の角度を検出する角度センサ４（頭部状態検出手段）と、ＣＣＤカメラ２により撮像した画像と前記検出したユーザ１００の頭部１０２の角度とによりユーザ１００の視野方向にある当該ユーザ１００の身体の部位（例えば、腕、肘、手など）を特定し、特定したユーザ１００の身体の部位の情報に応じた操作を実行する制御部３０（部位特定手段、制御処理手段として機能する）を備えているため、表示された表示画像２００をハンズフリーで楽しめるＨＭＤの操作を、視認するときと同じように、様々な操作についてもハンズフリーで確実に実行させることができる。

（２）前記制御部３０は、特定したユーザ１００の身体の部位の状態を判定する部位状態判定手段としても機能し、特定した部位に対応する操作のうち、判定した部位の状態に応じた操作を実行するようにしたため、ハンズフリー操作をより確実に行わせることが可能になるとともに、操作の種類を多岐にわたらせることも可能となる。

（３）前記制御部３０は、特定したユーザ１００の身体の部位の状態として、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態か否かを判定することとしたので、身体部位を正確に特定することができる。

（４）前記制御部３０は、ユーザ１００の手に装着された装着具１１０を検出することによって、ユーザ１００の手の位置を検出することとしたので、簡単な制御で身体部位を正確に特定することが可能となる。

（５）ユーザ１００の身体の部位に操作の情報を関連付けたテーブルを記憶したフラッシュＲＯＭ４２など（記憶手段）を備え、前記制御部３０は、判定した部位に応じた操作の情報を前記テーブルが記憶されたフラッシュＲＯＭ４２などから読み出して、当該操作を実行するようにしたため、制御部３０は複雑な演算などが不要で処理の高速化が図れるとともに、制御部３０のＣＰＵ４０への負荷の軽減を図ることもできる。

（６）前記テーブルに情報を記憶した操作は、表示部１への表示画像２００の表示処理に対する操作としたため、ＨＭＤとしての使い勝手が良好となる。

（７）ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルをフラッシュＲＯＭ４２（第２記憶手段）に記憶し、制御部３０は、前記第2のテーブルに基づき、ユーザ１００の身体の部位の状態に応じて、さらに表示部１への表示画像２００の表示処理に対する操作を実行することとしたため、ＨＭＤとしての使い勝手を良好としながら、制御部３０は複雑な演算などが不要で処理の高速化が図れるとともに、制御部３０のＣＰＵ４０への負荷の軽減を図ることもできる。

（８）前記制御部３０が部位特定手段として特定したユーザ１００の身体の部位に応じて、操作情報を前記テーブルに設定することとしたため、様々な操作を正確かつ高速に処理することが可能となる。

（９）前記制御部３０は、前記ＣＣＤカメラ２による撮像画像からユーザ１００の身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段として機能するため、ユーザ１００の個体差などに対応でき、ハンズフリーによる操作の精度を高めることができる。

（１０）前記表示部１は、画像光５００を外光４００と共にユーザ１００の眼１０１に入射させ、外景と重ねて表示画像２００を表示可能としたため、当該ＨＭＤを装着したままでも何ら支障なく移動したりすることができ、しかも、移動した先々で表示部１をハンズフリーによって操作することができる。

以上、実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。例えば、ＨＭＤの操作に関連付けられる身体部位としては腕、肘、手を例に挙げて説明したが、これらに代えて、あるいは加えて、膝や足などを用いることもできる。また、上述した各効果は、本実施形態から生じる効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

１ 表示部（表示手段）
１ａ 投影ユニット
１ｂ 光源ユニット
２ ＣＣＤカメラ（撮像手段）
３ コントロールユニット
４ 角度センサ（頭部状態検出手段）
３０ 制御部（部位特定手段、部位状態判定手段、制御処理手段、キャリブレーション手段）
３１ 主コントローラ
４０ ＣＰＵ
４２ フラッシュＲＯＭ（記憶手段、第２記憶手段）
１００ ユーザ
１０２ 頭部

Claims (10)

1. 画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段を備えたヘッドマウントディスプレイにおいて、
   前記ユーザの視野方向の所定範囲を撮像する撮像手段と、
   前記ユーザの頭部の角度を検出する頭部状態検出手段と、
   前記撮像手段により撮像した画像と前記検出した前記ユーザの頭部の角度とにより前記ユーザの視野方向にある当該ユーザの身体の部位を特定する部位特定手段と、
   前記部位特定手段により特定したユーザの身体の部位の情報に応じた操作を実行する制御処理手段と、を備えたヘッドマウントディスプレイ。
2. 前記部位特定手段により特定した前記ユーザの身体の部位の状態を判定する部位状態判定手段を備え、
   前記制御処理手段は、前記部位特定手段で特定した部位に対応する操作のうち前記部位状態判定手段により判定した前記部位の状態に応じた操作を実行することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記部位状態判定手段は、前記部位特定手段により特定した前記ユーザの身体の部位の状態として、前記ユーザの身体の部位にユーザの手が接触又は近接した状態か否かを判定することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記部位状態判定手段は、前記ユーザの手に装着された装着具を検出することによって、前記ユーザの手の位置を検出することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 前記ユーザの身体の部位に操作の情報を関連付けたテーブルを記憶した記憶手段を備え、
   前記制御処理手段は、前記部位状態判定手段により判定した前記部位に応じた操作の情報を前記テーブルが記憶された記憶手段から読み出して、当該操作を実行することを特徴とする請求項２〜４のいずれか１項に記載のヘッドマウントディスプレイ。
6. 前記テーブルに情報を記憶した操作は、前記表示手段への画像の表示処理に対する操作であることを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記ユーザの身体の部位の状態に操作の情報を関連付けた第２のテーブルを記憶した第２記憶手段を備え、
   前記制御処理手段は、前記第2のテーブルに基づき、前記ユーザの身体の部位の状態に応じて、さらに前記表示手段への画像の表示処理に対する操作を実行することを特徴とする請求項６に記載のヘッドマウントディスプレイ。
8. 前記部位特定手段により特定したユーザの身体の部位に応じて、操作情報を前記テーブルに設定することを特徴とする請求項５〜７のいずれか１項に記載のヘッドマウントディスプレイ。
9. 前記撮像手段による撮像画像から前記ユーザの身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段を備えたことを特徴とする請求項５〜８のいずれか１項に記載のヘッドマウントディスプレイ。
10. 前記表示手段は、前記画像光を外光と共にユーザの眼に入射させ、外景と重ねて画像を表示可能としたことを特徴とする請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイ。

Images