JP6492673B2 - 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

利用者の頭部に装着されて使用され、利用者の視野領域に虚像を形成する頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）とも呼ばれる。近年、このようなＨＭＤにおいて、現実世界に実在する実オブジェクトに対して利用者の注目を促すために、拡張現実感（ＡＲ、Augmented Reality）の技術が利用されている。

ＨＭＤにおいてＡＲを実現するために、ＨＭＤは、例えばカメラで外景を撮像し、撮像により得られた画像を画像認識し、仮想オブジェクトを生成または取得する。ＨＭＤを装着した状態において利用者の視界が遮断されない透過型のＨＭＤでは、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、現実世界の実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、ＡＲを体感することができる。特許文献１には、ＨＭＤにおいて、現実世界に実在する実オブジェクトである作業対象物の位置と、利用者の現在の位置とに応じて、利用者が次に移動すべき方位を表す矢印の画像を表示させる技術が記載されている。

特開２０１４−７１７５６号公報 特開２００２−１５９０１９号公報

ＨＭＤの虚像は、利用者の視野領域に形成される。このため、特許文献１に記載された技術では、虚像（画像）として表示される情報の量が増えれば増えるほど、利用者の視野を狭める、換言すれば、現実世界の視認性が低下するという課題があった。このように、現実世界に実在する実オブジェクトに対して利用者の注目を促すためにＡＲを利用する技術には、現実世界の視認性の確保という改善の余地があった。特許文献２に記載された技術では、現実世界に実在する実オブジェクトに対して利用者の注目を促すことについては、何ら考慮されていない。

このため、現実世界の視認性を確保しつつ、現実世界に実在する実オブジェクトに対して利用者の注目を促すことが可能な頭部装着型表示装置が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、利用者が虚像を視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記利用者に前記虚像を視認させる画像表示部と；前記頭部装着型表示装置を装着した状態における前記利用者の視界方向の外景画像を取得する画像取得部と；現実世界に実在すると共に、取得された前記外景画像に含まれる少なくとも１つの実オブジェクトであって、前記利用者に対して注目を促す実オブジェクトである注目オブジェクトに対する案内を、音により行う案内部と、を備える。
この形態の頭部装着型表示装置によれば、案内部は、現実世界に実在すると共に、取得された外景画像に含まれる少なくとも１つの実オブジェクトであって、利用者に対して注目を促す実オブジェクトである注目オブジェクトに対する案内を、音により行うことができる。音を用いた案内は、利用者の視野領域に形成される虚像を用いた案内と比較して、利用者の視野を狭める虞、換言すれば、現実世界の視認性が低下する虞を低くすることができる。この結果、現実世界の視認性を確保しつつ、現実世界に実在する実オブジェクトに対して利用者の注目を促すことが可能な頭部装着型表示装置を提供することができる。

（２）上記形態の頭部装着型表示装置では、さらに；前記頭部装着型表示装置を装着した状態における前記利用者の視線の方向を検出する視線検出部を備え；前記案内部は；前記注目オブジェクトが、検出された前記視線の方向にないと推定される場合は、前記音により前記案内を行い；前記注目オブジェクトが、検出された前記視線の方向にある推定される場合は、前記音に加えてさらに、前記注目オブジェクトに付加的に表示するための仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させることで、前記案内を行ってもよい。
この形態の頭部装着型表示装置によれば、案内部は、注目オブジェクトが利用者の視線の方向にないと推定される場合は、音により案内を行う。このため、案内部は、視線の方向にない注目オブジェクトに対する案内のために、利用者の視野領域に虚像が形成されることを抑制することができ、現実世界の視認性を確保することができる。一方、案内部は、注目オブジェクトが利用者の視線の方向にあると推定される場合は、音に加えてさらに、注目オブジェクトに付加的に表示するための仮想オブジェクトを含んだ虚像を形成させることで案内を行う。このため、案内部は、視線の方向にある注目オブジェクトに対する案内を、音と、虚像と、の両方の手段を用いて手厚く行うことができる。すなわち、利用者は、自身の視線の方向にある注目オブジェクトについては、視覚と聴覚とを介した案内を享受することができる。これらの結果、現実世界の視認性を確保しつつ、現実世界に実在する実オブジェクトに対して利用者の注目を促すことが可能な頭部装着型表示装置において、さらに、利用者の利便性を向上させることができる。

（３）上記形態の頭部装着型表示装置において；前記案内は；前記注目オブジェクトに対する前記利用者の注意喚起のための案内と；前記注目オブジェクトに関する情報の案内と；前記注目オブジェクトの位置に関する案内と；予め用意された手順情報に基づく、前記注目オブジェクトに対する前記利用者の作業内容の案内と；のうちの少なくともいずれか１つを含んでもよい。
この形態の頭部装着型表示装置によれば、案内部による案内を、種々の態様で実現することができる。例えば、注目オブジェクトに対する利用者の注意喚起のための案内を行う場合、案内部は、利用者に対する危険回避のための案内を行うことができる。注目オブジェクトに関する情報の案内を行う場合、案内部は、利用者に対する情報提供のための案内を行うことができる。注目オブジェクトの位置に関する案内を行う場合、案内部は、利用者に対する動作補助のための案内を行うことができる。注目オブジェクトに対する利用者の作業内容の案内を行う場合、案内部は、利用者に対する作業支援のための案内を行うことができる。

（４）上記形態の頭部装着型表示装置において；前記画像取得部は、前記外景画像を繰り返し取得し；前記案内部は、さらに；取得された複数の前記外景画像をそれぞれ画像認識し；前記複数の外景画像に含まれる実オブジェクトであって、経時的な変化が大きい実オブジェクトを、前記注目オブジェクトとしてもよい。
この形態の頭部装着型表示装置によれば、案内部は、取得された外景画像から自動的に注目オブジェクトを特定することができる。また、案内部は、繰り返し取得された複数の外景画像において、経時的な変化が大きい実オブジェクトを注目オブジェクトとするため、例えば、移動量が大きい、移動速度が速い、等の実オブジェクトを注目オブジェクトとすることができる。このようにして特定された注目オブジェクトは、特に、危険回避のための案内に適している。

（５）上記形態の頭部装着型表示装置において；前記案内部は、さらに；取得された前記外景画像を画像認識し；前記外景画像に含まれる実オブジェクトであって、所定の特徴を有する実オブジェクトを、前記注目オブジェクトとしてもよい。
この形態の頭部装着型表示装置によれば、案内部は、取得された外景画像から自動的に注目オブジェクトを特定することができる。また、案内部は、外景画像において、所定の特徴を有する実オブジェクトを注目オブジェクトとするため、例えば、「所定の特徴」を予め用意しておくことによって、様々な実オブジェクトを注目オブジェクトとすることができる。このようにして特定された注目オブジェクトは、危険回避、情報提供、動作補助、作業支援といった、全てのタイプの案内に適している。

（６）上記形態の頭部装着型表示装置では、さらに；前記頭部装着型表示装置を装着した状態における前記利用者の視線の方向を検出する視線検出部を備え；前記画像取得部は、前記外景画像を繰り返し取得し；前記視線検出部は、前記視線の方向を繰り返し検出し；前記案内部は、さらに；取得された複数の前記外景画像と、複数回にわたり検出された前記視線の方向と、を照合し；前記複数の外景画像に含まれる実オブジェクトであって、前記視線の先にある割合が多いと推定される実オブジェクトを、前記注目オブジェクトとしてもよい。
この形態の頭部装着型表示装置によれば、案内部は、取得された外景画像と、検出された視線の方向と、から自動的に注目オブジェクトを特定することができる。また、案内部は、繰り返し取得された複数の外景画像と視線の方向とにおいて、視線の先にある割合が多いと推定される実オブジェクトを注目オブジェクトとするため、例えば、利用者がよく見る実オブジェクトを注目オブジェクトとすることができる。このようにして特定された注目オブジェクトは、特に、情報提供、動作補助、作業支援といったタイプの案内に適している。

（７）上記形態の頭部装着型表示装置では、さらに；前記利用者からの操作入力を取得する入力情報取得部を備え；前記案内部は、さらに；取得された前記外景画像と、取得された前記操作入力と、を照合し；前記外景画像に含まれる実オブジェクトであって、前記利用者により指定された実オブジェクトを、前記注目オブジェクトとしてもよい。
この形態の頭部装着型表示装置によれば、案内部は、取得された外景画像と、取得された操作入力と、から自動的に注目オブジェクトを特定することができる。また、案内部は、利用者により指定された実オブジェクトを注目オブジェクトとするため、利用者による意図を反映して注目オブジェクトを特定することができる。このようにして特定された注目オブジェクトは、危険回避、情報提供、動作補助、作業支援といった、全てのタイプの案内に適している。

（８）上記形態の頭部装着型表示装置において；前記画像取得部は、前記外景画像を繰り返し取得し；前記案内部は；取得された複数の前記外景画像内における前記注目オブジェクトの経時的な変化に伴って、前記案内を繰り返し行ってもよい。
この形態の頭部装着型表示装置によれば、案内部は、繰り返し取得された複数の外景画像における注目オブジェクトの経時的な変化に伴って、案内を繰り返し行う。この結果、案内部は、注目オブジェクトの最新の状態に対応した案内を随時行うことができる、換言すれば、案内部は、注目オブジェクトを追跡しつつ案内を行うことができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、画像取得部と、案内部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、画像取得部を有していてもよく、有していなくてもよい。また、この装置は、案内部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、現実世界の視認性を確保しつつ、現実世界に実在する実オブジェクトに対して利用者の注目を促すことを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化、省資源化、製造の容易化、等が望まれている。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ＨＭＤ１００の構成を機能的に示すブロック図である。 利用者に視認される虚像の一例を示す説明図である。 案内処理の手順を示すフローチャートである。 案内用情報１２２の一例を示す図である。 案内処理の第１の具体例について説明する図である。 案内処理の第１の具体例について説明する図である。 案内処理の第１の具体例について説明する図である。 案内処理の第２の具体例について説明する図である。 案内処理の第２の具体例について説明する図である。 案内処理の第２の具体例について説明する図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。本実施形態の頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。

本実施形態のＨＭＤ１００は、後述の案内処理を行うことで、注目オブジェクトに対する案内を「音声のみ」または「音声と拡張現実感（ＡＲ、Augmented Reality）処理との組み合わせ」により実施する。具体的には、ＨＭＤ１００は、利用者の視線の方向を検出し、注目オブジェクトが視線の方向にないと推定される場合は、音声のみによる案内を行い、注目オブジェクトが視線の方向にあると推定される場合は音声と拡張現実感処理との組み合わせによる案内を行う。案内処理の詳細は後述する。なお、本実施形態において、「音声」は「音」として機能する。

「注目オブジェクト」とは、現実世界に実在するオブジェクトである実オブジェクトの中から特定された少なくとも１つの実オブジェクトであって、利用者に対して注目を促す実オブジェクトを意味する。実オブジェクトとは、任意の人、任意の動植物、任意の物（人工物、自然物等を含む）等を意味する。実オブジェクトは、利用者が関心を寄せている（例えば視線を向けている）オブジェクトである「実関心オブジェクト」と、利用者の関心外の（例えば視界に入っているものの視線を向けていない）オブジェクトである「実背景オブジェクト」との両方を含みうる。すなわち、案内処理は、実関心オブジェクトと、実背景オブジェクトと、の両方を含む実オブジェクトの全体が処理対象となり得る。注目オブジェクトの特定方法は後述する。

「拡張現実感処理」とは、実オブジェクトに対して、ＨＭＤ１００により情報を付加する処理である。拡張現実感処理において、実オブジェクトに対して付加的に表示される情報を「仮想オブジェクト」と呼ぶ。「付加的」とは、以下の全てを含む意味である。実オブジェクトと、実オブジェクトに付加的に表示される仮想オブジェクトとは、関連があってもよいし、なくてもよい。
・仮想オブジェクトを用いて実オブジェクトに情報を付加すること。
・仮想オブジェクトを用いて実オブジェクトを強調すること。
・実オブジェクトが持つ情報（色、形等）を、仮想オブジェクトを用いて削除および減衰させること。
・上述した、付加、強調、削除、減衰の任意の２つ以上の組み合わせ。

ＨＭＤ１００は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。なお、以降の説明において、ＨＭＤ１００によって利用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、ＨＭＤ１００が画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

Ａ−１−１．画像表示部の構成：
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。画像表示部２０は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である（図１）。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、視線検出部６２と、マイク６３と、９軸センサー６６と、を備えている。以降、利用者が画像表示部２０を装着した状態における、画像表示部２０の各部の位置関係と機能について説明する。

図１に示すように、右光学像表示部２６および左光学像表示部２８は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、利用者の眉間に対応する位置で接続されている。図２に示すように、右光学像表示部２６は、右導光板２６１と、調光板（図示省略）と、を備えている。右導光板２６１は、光透過性の樹脂材料等によって形成され、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼ＲＥに導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（利用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１を保護し、損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。調光板は省略可能である。

左光学像表示部２８は、左導光板２６２と、調光板（図示省略）とを備えている。これらの詳細は、右光学像表示部２６と同様である。右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されてもよいし、半透過反射膜を用いて実現されてもよい。

図１に示すように、右保持部２１は、右光学像表示部２６の他端ＥＲから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部２３は、左光学像表示部２８の他端ＥＬから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、利用者の頭部に画像表示部２０を保持する。右保持部２１および左保持部２３を総称して単に「保持部」とも呼ぶ。

図１に示すように、右表示駆動部２２は、右保持部２１の内側（利用者の頭部に対向する側）に配置されている。左表示駆動部２４は、左保持部２３の内側に配置されている。図２に示すように、右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ（液晶ディスプレイ、Liquid Crystal Display）制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを備えている。右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて右バックライト２２１を駆動する。右バックライト２２１は、例えばＬＥＤ（Light Emitting Diode）やエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用の画像データーＤａｔａとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズである。

左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを備えている。これらの詳細は、右表示駆動部２２と同様である。右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼ぶ。

図１に示すように、カメラ６１は、利用者の左右の目尻の上方に対応する位置にそれぞれ配置されているステレオカメラである。左右のカメラ６１は、画像表示部２０の表側方向、換言すれば、ＨＭＤ１００を装着した状態における利用者の視界方向の外景（外部の景色）をそれぞれ撮像し、左右に対応した２枚の外景画像を取得する。カメラ６１はいわゆる可視光カメラであり、カメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ６１はステレオカメラであるが、単眼カメラとしてもよい。カメラ６１は「画像取得部」として機能する。

図１に示すように、視線検出部６２は、利用者の左右の目尻の下方に対応する位置にそれぞれ配置されている。左右の視線検出部６２は、図示しない赤外線発光部と赤外線受光部とをそれぞれ備える。右側の視線検出部６２は、赤外線発光部から射出されて、利用者の右眼に当たり反射した赤外線を受光する。制御部１０のＣＰＵ１４０は、右側の視線検出部６２が受光した赤外線の強さに基づいて、利用者の右眼の視線の動きを取得する。同様に、左側の視線検出部６２は、赤外線発光部から射出されて、利用者の左眼に当たり反射した赤外線を受光する。ＣＰＵ１４０は、左側の視線検出部６２が受光した赤外線の強さに基づいて、利用者の左眼の視線を検出する。赤外線の反射率は、赤外線が虹彩（黒目）に当たった場合と、赤外線がまぶたに当たった場合と、赤外線が白目に当たった場合と、でそれぞれ異なる。このため、ＣＰＵ１４０は、視線検出部６２が受光した赤外線の強さによって、利用者の視線の動きを取得することができる。この場合、視線検出部６２とＣＰＵ１４０とは、利用者の視線の方向を検出する「視線検出部」として機能する。本実施形態における視線検出部６２は左右それぞれに設けられるとしたが、左右いずれか一方でもよい。

図１に示すように、マイク６３は、利用者の鼻の上方に対応する位置に配置されているマイクである。マイク６２は、外部の音声を取得する。「音声」とは、人の声のみでなく、機械音等を含む広義の音を意味する。

図１に示すように、９軸センサー６６は、利用者の右側のこめかみに対応する位置に配置されている。９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が利用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００の利用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

図１に示すように、画像表示部２０は、画像表示部２０と制御部１０とを接続するための接続部４０を備えている。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。接続部４０の各コードには、例えば、金属ケーブルや光ファイバーを採用することができる。

Ａ−１−２．制御部の構成：
制御部１０はＨＭＤ１００を制御するための装置である。図１に示すように、制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を備えている。決定キー１１は、押下操作を検出して、制御部１０において操作された内容を決定するための信号を出力する。点灯部１２は、例えばＬＥＤによって実現され、ＨＭＤ１００の動作状態（例えば電源のＯＮ／ＯＦＦ等）を発光状態によって通知する。表示切替キー１３は、押下操作を検出して、例えばコンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８に対する操作入力に応じた信号を取得する。入力情報取得部１１０は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、カメラ６１を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。例えば、視線検出部６２によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、マイク６３によって取得された音声を音声認識することによる操作入力を取得してもよい。例えば、図示しないフットスイッチ（利用者の足により操作するスイッチ）による操作入力を取得してもよい。これらの方法による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部１１０は、利用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部１２０には、案内用情報１２２と、案内モード１２４と、が記憶されている。案内用情報１２２は、案内処理において用いられる情報である。詳細は後述する。

案内モード１２４は、案内処理における案内の方法を指定するための情報である。案内処理における案内の方法には「追尾ありモード」と、「追尾なしモード」とがある。追尾なしモードでは、案内部１４４は、注目オブジェクトに対する案内を１度だけ実施する。追尾ありモードでは、案内部１４４は、注目オブジェクトの経時的な変化に伴って、注目オブジェクトに対する案内を繰り返し実施する。案内モード１２４には、追尾なしモード、追尾ありモードのいずれか一方を表す情報が記憶されている。利用者は、案内モード１２４の内容を、入力情報取得部１１０による操作入力によって変更することができる。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、所定の無線通信規格に則って、外部装置との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等である。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ＨＭＤ１００の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、拡張現実感処理部１４２、案内部１４４、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。

拡張現実感処理部１４２は、案内処理において「音声と拡張現実感処理との組み合わせ」による案内を行う場合に、拡張現実感処理を実行する。拡張現実感処理において拡張現実感処理部１４２は、注目オブジェクト（実オブジェクト）に対して、仮想オブジェクトを付加して表示させる。詳細は後述する。案内部１４４は、案内処理を実行することで、注目オブジェクトに対する案内を「音声のみ」または「音声と拡張現実感処理との組み合わせ」により実施する。詳細は後述する。

画像処理部１６０は、画像表示のための信号処理を行う。具体的には、画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介してコンテンツ（映像）が入力されている場合、コンテンツに基づく画像データーＤａｔａを生成する。画像処理部１６０は、ＨＭＤ１００の他の機能部から画像データーを受信した場合、受信したデーターを画像データーＤａｔａとする。画像処理部１６０は、画像データーＤａｔａに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。画像処理部１６０は、上述の画像データーＤａｔａと、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、を、送信部５１、５２を介して、画像表示部２０へ送信する。送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、左右のＬＣＤ制御部２１１、２１２による左右のＬＣＤ２４１、２４２の駆動ＯＮ／ＯＦＦや、左右のバックライト制御部２０１、２０２による左右のバックライト２２１、２２２の駆動ＯＮ／ＯＦＦを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、これらの制御信号を、送信部５１、５２を介して画像表示部２０へ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。

インターフェイス１８０は、所定の有線通信規格に則って、外部装置ＯＡとの間で通信を行う。所定の有線通信規格としては、例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等である。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等を利用することができる。

図３は、利用者に視認される虚像の一例を示す説明図である。図３（Ａ）は、拡張現実感処理を実行していない場合の利用者の視野ＶＲを例示している。上述のようにして、ＨＭＤ１００の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像ＶＩを視認する。図３（Ａ）の例では、虚像ＶＩは、ＨＭＤ１００のＯＳ１５０の待ち受け画面である。利用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のＨＭＤ１００の利用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。

図３（Ｂ）は、拡張現実感処理を実行している場合の利用者の視野ＶＲを例示している。拡張現実感処理を実行することによって、利用者は、仮想オブジェクトＶＯを含んだ虚像ＶＩを視認する。仮想オブジェクトＶＯは、外景ＳＣの山の麓に重畳するように配置されたリンゴの画像である。このように、利用者は、虚像ＶＩに含まれる仮想オブジェクトＶＯと、虚像ＶＩの背後に透過して見える外景ＳＣ内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。

Ａ−２．案内処理：
図４は、案内処理の手順を示すフローチャートである。案内処理は、注目オブジェクトに対する案内を「音声のみ」または「音声と拡張現実感処理との組み合わせ」により実施する処理である。案内処理の開始トリガーは任意に定めることができる。例えば、ＨＭＤ１００の電源ＯＮを開始トリガーとしてもよく、ＨＭＤ１００のＯＳ１５０や特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。

ステップＳ１０２において案内部１４４は、カメラ６１に外景画像を取得させる。

ステップＳ１０４において案内部１４４は、ステップＳ１０２で取得された外景画像に含まれる実オブジェクトの中から、少なくとも１つの実オブジェクトを、利用者に対して注目を促すべき注目オブジェクトとして特定する。具体的には、案内部１４４は、次に示すａ１〜ａ４のいずれかの方法を用いて、注目オブジェクトを特定する。方法ａ１〜ａ４は、単独で用いてもよく、組み合わせて用いてもよい。

（ａ１）実オブジェクトの経時的な変化を利用する方法：
・案内部１４４は、ステップＳ１０２において取得された外景画像を画像認識して、予め記憶部１２０等に記憶されている様々なオブジェクト（例えば、グラス、ボトル、人体、車、木等）のモデルと、パターンマッチングや統計的識別法による比較を行うことで、外景画像に含まれる全ての実オブジェクトを認識する（手順ａ１１）。手順ａ１１では、全ての実オブジェクトを認識することに代えて、主要な実オブジェクトのみを認識してもよい。手順ａ１１では、外景画像を複数の領域に分けて画像認識してもよい。複数の領域とは、例えば、外景画像を水平方向および鉛直方向にそれぞれ２等分した４つの領域であってもよいし、外景画像を水平方向および鉛直方向にそれぞれ３等分した９つの領域であってもよい。
・案内部１４４は、外景画像の取得（ステップＳ１０２）と、取得された最新の外景画像に対する実オブジェクトの認識（手順ａ１１）と、を複数回繰り返す（手順ａ１２）。
・案内部１４４は、手順ａ１２の結果から、繰り返し取得された複数の外景画像において、経時的な変化が大きい実オブジェクトを、注目オブジェクトとして特定する（手順ａ１３）。経時的な変化が大きいとは、経時的な移動量が大きい場合と、経時的な移動速度が速い場合と、の両方を含む。ここで特定される注目オブジェクトの数は、１つでもいいし、複数でもいい。

方法ａ１によれば、案内部１４４は、取得された外景画像から自動的に注目オブジェクトを特定することができる。また、案内部１４４は、繰り返し取得された複数の外景画像において、経時的な変化が大きい実オブジェクトを注目オブジェクトとするため、例えば、移動量が大きい、移動速度が速い、等の実オブジェクトを注目オブジェクトとすることができる。このようにして特定された注目オブジェクトは、特に、危険回避のための案内に適している。

（ａ２）実オブジェクトの特徴を利用する方法：
・案内部１４４は、ステップＳ１０２において取得された外景画像を画像認識して、予め記憶部１２０等に記憶されている特徴（例えば、色の特徴、形の特徴、大きさの特徴等。この特徴は「所定の特徴」として機能する。）と、パターンマッチングや統計的識別法による比較を行う（手順ａ２１）。
・案内部１４４は、外景画像において、手順ａ２１の比較の結果が一致した実オブジェクトを、注目オブジェクトとして特定する（手順ａ２２）。ここで特定される注目オブジェクトの数は、１つでもいいし、複数でもいい。

方法ａ２によれば、案内部１４４は、取得された外景画像から自動的に注目オブジェクトを特定することができる。また、案内部１４４は、外景画像において、所定の特徴を有する実オブジェクトを注目オブジェクトとするため、例えば、上述のように「所定の特徴」を予め用意しておくことによって、様々な実オブジェクトを注目オブジェクトとすることができる。このようにして特定された注目オブジェクトは、危険回避、情報提供、動作補助、作業支援といった、全てのタイプの案内に適している。

（ａ３）利用者の視線を利用する方法：
・案内部１４４は、ステップＳ１０２において取得された外景画像を画像認識して、外景画像に含まれる全て（または主要な）実オブジェクトを認識する（手順ａ３１）。詳細は手順ａ１１と同様である。
・案内部１４４は、視線検出部６２に利用者の視線の方向を検出させる。案内部１４４は、手順ａ３１で認識された実オブジェクトと、検出された視線の方向と、を照合し、視線の方向の先にあると推定される実オブジェクトを抽出する（手順ａ３２）。
・案内部１４４は、外景画像の取得（ステップＳ１０２）と、取得された最新の外景画像に対する実オブジェクトの認識（手順ａ３１）と、視線の方向の先にあると推定される実オブジェクトの抽出（手順ａ３２）と、を複数回繰り返す（手順ａ３３）。
・案内部１４４は、手順ａ３３の結果から、繰り返し取得された複数の外景画像と視線の方向とにおいて、視線の方向の先にある割合が多いと推定される実オブジェクトを、注目オブジェクトとして特定する（手順ａ３４）。ここで特定される注目オブジェクトの数は、１つでもいいし、複数でもいい。

方法ａ３によれば、案内部１４４は、取得された外景画像と、検出された視線の方向と、から自動的に注目オブジェクトを特定することができる。また、案内部１４４は、繰り返し取得された複数の外景画像と視線の方向とにおいて、視線の先にある割合が多いと推定される実オブジェクトを注目オブジェクトとするため、例えば、利用者がよく見る実オブジェクトを注目オブジェクトとすることができる。このようにして特定された注目オブジェクトは、特に、情報提供、動作補助、作業支援といったタイプの案内に適している。

（ａ４）利用者の指定を利用する方法：
・案内部１４４は、ステップＳ１０２において取得された外景画像を画像認識して、外景画像に含まれる全て（または主要な）実オブジェクトを認識する（手順ａ４１）。詳細は手順ａ１１と同様である。
・案内部１４４は、入力情報取得部１１０により取得された利用者からの操作入力を取得する。案内部１４４は、手順ａ４１で認識された実オブジェクトと、取得された操作入力と、を照合し、利用者により指定された実オブジェクトを、注目オブジェクトとして特定する（手順ａ４２）。ここで特定される注目オブジェクトの数は、１つでもいいし、複数でもいい。上述の通り、入力情報取得部１１０を介した利用者からの操作入力は、例えば、ジェスチャーを用いた入力であってもよく、目の動きを用いた入力であってもよく、音声を用いた入力であってもよく、フットスイッチを用いた入力であってもよい。

方法ａ４によれば、案内部１４４は、取得された外景画像と、取得された操作入力と、から自動的に注目オブジェクトを特定することができる。また、案内部１４４は、利用者により指定された実オブジェクトを注目オブジェクトとするため、利用者による意図を反映して注目オブジェクトを特定することができる。このようにして特定された注目オブジェクトは、危険回避、情報提供、動作補助、作業支援といった、全てのタイプの案内に適している。

図４のステップＳ１０６において案内部１４４は、ステップＳ１０４で特定された注目オブジェクトに対して、利用者に案内すべき内容（以降「案内内容」とも呼ぶ。）を取得する。具体的には、案内部１４４は、注目オブジェクトの名称、特徴、モデル等を用いて案内用情報１２２を検索することで、案内内容を取得する。

図５は、案内用情報１２２の一例を示す図である。案内用情報１２２は、オブジェクト１と、オブジェクト２と、案内内容と、を含んでいる。

「オブジェクト１」および「オブジェクト２」には、注目オブジェクトの名称、特徴、モデル等を用いた照合のための情報が記憶されている。図５の例では、オブジェクト１およびオブジェクト２には、注目オブジェクトの名称が記憶されている。このため、図５に例示した案内用情報１２２を用いる場合、案内処理のステップＳ１０６（図４）では、注目オブジェクトの名称を用いた検索が実施される。案内処理のステップＳ１０６において注目オブジェクトの特徴を用いた検索が実施される場合、オブジェクト１およびオブジェクト２には、注目オブジェクトの特徴を表す情報が記憶される。案内処理のステップＳ１０６において注目オブジェクトのモデルを用いた検索が実施される場合、オブジェクト１およびオブジェクト２には、注目オブジェクトのモデルを表す情報が記憶される。

「案内内容」には、利用者に案内すべき内容を表す情報が記憶されている。図５の例では、案内内容には、利用者に案内すべき内容を表す文字列が１つまたは２つ記憶されている。図５において、文字列の末尾に「（＊）」表記がないものは、追尾なしモードでの案内と、追尾ありモードでの案内と、の両方で使用される案内情報を表す。文字列の末尾に「（＊）」表記があるものは、追尾ありモードでの案内にのみ使用される案内情報を表す。案内内容は、例示したように文字列で記憶されていてもよく、図形や画像により記憶されていてもよく、案内部１４４において実行されるプログラムデーターにより記憶されていてもよい。

「案内内容」には、次に示すｂ１〜ｂ４の情報を含み得る。
（ｂ１）注目オブジェクトに対する利用者の注意喚起のための案内：情報ｂ１によれば、案内部１４４は、利用者に対する危険回避のための案内を実施できる。
（ｂ２）注目オブジェクトに関する情報の案内：情報ｂ２によれば、案内部１４４は、利用者に対する情報提供のための案内を実施できる。
（ｂ３）注目オブジェクトの位置に関する案内：情報ｂ３によれば、案内部１４４は、利用者に対する動作補助のための案内を実施できる。
（ｂ４）注目オブジェクトに対する利用者の作業内容の案内：情報ｂ４によれば、案内部１４４は、利用者に対する作業支援のための案内を実施できる。

具体的には、図５のエントリーＥ１の例では、オブジェクト１が「ボトル」であり、オブジェクト２が「グラス」である場合に、追尾なしモードと追尾ありモードの両方において「ボトルの口をグラスの中央に案内（情報ｂ３に相当）」することと、追尾ありモードにおいて「グラス内の液体の量を案内（情報ｂ２に相当）」することが記憶されている。また、エントリーＥ５の例では、オブジェクト１が「車」である場合に、追尾なしモードと追尾ありモードの両方において「車に対する注意喚起の案内（情報ｂ１に相当）」をすることと、追尾ありモードにおいて「車との距離を案内（情報ｂ２に相当）」することが記憶されている。このように、オブジェクト２にはデーターが格納されていなくてもよい。

図４のステップＳ１０８において案内部１４４は、視線検出部６２に利用者の視線の方向を検出させる。

ステップＳ１１０において案内部１４４は、ステップＳ１０４で特定された注目オブジェクトの外景画像内における位置と、検出された視線の方向と、を照合し、注目オブジェクトが視線の方向にあるか否かを推定する。

注目オブジェクトが視線の方向にないと推定した場合（ステップＳ１１０：視線の方向になし）、ステップＳ１１２において案内部１４４は、ステップＳ１０６で取得された案内内容に基づく案内を、音声のみによって実施する。具体的には、案内部１４４は、案内のための音声データーを生成または取得し、音声処理部１７０へ送信する。音声処理部１７０は、受信した音声データーに基づく音声を、右イヤホン３２内のスピーカーと左イヤホン３４内のスピーカーとから出力させる。

注目オブジェクトが視線の方向にあると推定した場合（ステップＳ１１０：視線の方向にあり）、ステップＳ１１４において案内部１４４は、ステップＳ１０６で取得された案内内容に基づく案内を、音声と拡張現実感処理との組み合わせによって実施する。音声による案内の具体的な方法は、ステップＳ１１２と同様である。拡張現実感処理による案内の具体的な方法は、次の手順ｃ１〜ｃ５に示す通りである。

（ｃ１）案内部１４４は、ステップＳ１０４で特定された注目オブジェクトを特定するための情報（注目オブジェクトの名称、特徴、モデル等）と、ステップＳ１０６で取得された案内内容と、を拡張現実感処理部１４２へ送信する。

（ｃ２）拡張現実感処理部１４２は、カメラ６１に外景画像を取得させる。拡張現実感処理部１４２は、手順ｃ１で取得した注目オブジェクトを特定するための情報を用いて、取得された外景画像内における注目オブジェクトの位置を取得する。「位置」とは、利用者からの距離、および、利用者の視界内における水平方向および鉛直方向の位置を含む。この際、拡張現実感処理部１４２は、ステレオカメラであるカメラ６１によって取得された２枚以上の外景画像を用いて、注目オブジェクトの位置を算出してもよい。また、拡張現実感処理部１４２は、カメラ６１により取得された１枚以上の外景画像と、図示しない各種のセンサー（例えば、深度センサー、測距センサー等）とを併用して、注目オブジェクトの位置を算出してもよい。

（ｃ３）拡張現実感処理部１４２は、手順ｃ１で取得した案内内容のうち、末尾に「（＊）」表記がないものの内容に応じて、注目オブジェクトに付加的に表示するための仮想オブジェクトを表す画像、文字、図形記号等を取得または生成する。仮想オブジェクトを表す画像、文字、図形記号等の一例は、例えば、矢印、線、スケール、目盛り、ポインター、ショートカット、メニュー、ラジオボタン、選択ボタン、ソフトキーボード等である。拡張現実感処理部１４２は、記憶部１２０に予め記憶された仮想オブジェクトを取得してもよいし、ＨＭＤ１００にネットワーク接続されている他の装置に予め記憶された仮想オブジェクトを取得してもよい。

（ｃ４）拡張現実感処理部１４２は、手順ｃ２で取得した注目オブジェクトの位置に合わせて、手順ｃ３で取得または生成した仮想オブジェクトを配置し、他の部分に黒色を配置した付加画像データーを生成する。位置合わせの際、拡張現実感処理部１４２は、注目オブジェクトの特徴部（エッジ等）を利用してもよいし、注目オブジェクトに付されたマーカー等の目印を利用してもよい。位置合わせの際、拡張現実感処理部１４２は、予め記憶部１２０に記憶されている注目オブジェクトのモデル（または画像）を用いた画像認識を利用してもよい。位置合わせの際、拡張現実感処理部１４２は、利用者による指示に基づいてもよい。また、拡張現実感処理部１４２は、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。

（ｃ５）拡張現実感処理部１４２は、生成した付加画像データーに基づく画像を、画像処理部１６０へ送信し、画像表示部２０の光学像表示部２６、２８に表示させる。

図４のステップＳ１１２またはステップＳ１１４が終了した後、案内部１４４は、案内モード１２４に記憶されている内容を取得する。案内モード１２４の内容が「追尾なしモード」である場合、案内部１４４は、案内処理を終了させる。案内モード１２４の内容が「追尾ありモード」である場合、案内部１４４は、任意の所定時間待機した後、ステップＳ１０２の処理と、ステップＳ１０８〜Ｓ１１４の処理と、を繰り返す。２回目以降のステップＳ１０８〜Ｓ１１４の処理において、案内部１４４は、１回目のステップＳ１０４で特定された注目オブジェクトと、１回目のステップＳ１０６で取得された案内内容のうち、末尾に「（＊）」表記があるものの内容と、を利用する。すなわち、２回目以降、ステップＳ１０４と、ステップＳ１０６とは実行されない。

Ａ−３．案内処理の具体例：
Ａ−３−１．第１の具体例：
図６〜８は、案内処理の第１の具体例について説明する図である。第１の具体例では、利用者がボトルからグラスに対して液体を注ごうとしている場面での案内処理について説明する。第１の具体例は、動作補助および情報提供の一例である。案内処理（図４）のステップＳ１０２において案内部１４４は、外景画像を取得する。図６は、ステップＳ１０２において取得された外景画像の一例である。外景画像ＩＭ１には、実オブジェクトであるＯＢ１１〜ＯＢ１３が含まれている。

案内処理のステップＳ１０４において案内部１４４は、実オブジェクトＯＢ１１〜ＯＢ１３から、上述した方法ａ１〜ａ４のいずれかを用いて、注目オブジェクトを特定する。例えば、グラスＯＢ１２と、ボトルＯＢ１１とが、注目オブジェクトとして特定されたとする。案内処理のステップＳ１０６において案内部１４４は、グラスＯＢ１２とボトルＯＢ１１とを用いて、案内用情報１２２を検索し、エントリーＥ１の案内内容「ボトルの口をグラスの中央に案内」と「グラス内の液体の量を案内（＊）」とを取得する。

案内処理のステップＳ１０８において案内部１４４は、利用者の視線の方向を検出する。グラスＯＢ１２とボトルＯＢ１１との両方が視線の方向にない場合（ステップＳ１１０：視線の方向になし）、ステップＳ１１２において案内部１４４は、ステップＳ１０６で取得された案内内容「ボトルの口をグラスの中央に案内」に基づく案内を、音声のみによって実施する。この結果、左右イヤホン３２、３４内のスピーカーからは「ボトルの口を左に移動させてください」という案内音声ＳＯ１１（図７）のみが再生され、仮想オブジェクトＶＯ１１を含む虚像ＶＩは表示されない。

グラスＯＢ１２とボトルＯＢ１１との少なくともいずれか一方が視線の方向にある場合（ステップＳ１１０：視線の方向にあり）、ステップＳ１１４において案内部１４４は、ステップＳ１０６で取得された案内内容「ボトルの口をグラスの中央に案内」に基づく案内を、音声と拡張現実感処理との組み合わせによって実施する。この結果、図７に示すように、左右イヤホン３２、３４内のスピーカーからは「ボトルの口を左に移動させてください」という案内音声ＳＯ１１が再生されると共に、グラスＯＢ１２の中心線を表した仮想オブジェクトＶＯ１１を含む虚像ＶＩが表示される。

案内モード１２４に記憶されている内容が「追尾なしモード」である場合、案内部１４４は、以上により処理を終了させる。案内モード１２４に記憶されている内容が「追尾ありモード」である場合、案内部１４４は、所定時間待機する。２回目の案内処理のステップＳ１０２において案内部１４４は、外景画像を取得する。

２回目の案内処理のステップＳ１０８において案内部１４４は、利用者の視線の方向を検出する。グラスＯＢ１２とボトルＯＢ１１との両方が視線の方向にない場合（ステップＳ１１０：視線の方向になし）、2回目のステップＳ１１２において案内部１４４は、ステップＳ１０６で取得された案内内容「グラス内の液体の量を案内（＊）」に基づく案内を、音声のみによって実施する。この結果、左右イヤホン３２、３４内のスピーカーからは「もうすぐ満水です」という案内音声ＳＯ１２（図８）のみが再生され、仮想オブジェクトＶＯ１２を含む虚像ＶＩは形成されない。

グラスＯＢ１２とボトルＯＢ１１との少なくともいずれか一方が視線の方向にある場合（ステップＳ１１０：視線の方向にあり）、２回目のステップＳ１１４において案内部１４４は、ステップＳ１０６で取得された案内内容「グラス内の液体の量を案内（＊）」に基づく案内を、音声と拡張現実感処理との組み合わせによって実施する。この結果、図８に示すように、左右イヤホン３２、３４内のスピーカーからは「もうすぐ満水です」という案内音声ＳＯ１２が再生されると共に、グラスＯＢ１２の中心線を表した仮想オブジェクトＶＯ１１と、現在の液体量を矢印で示した仮想オブジェクトＶＯ１２と、を含む虚像ＶＩが表示される。

Ａ−３−２．第２の具体例：
図９〜１１は、案内処理の第２の具体例について説明する図である。第２の具体例では、利用者が車を運転している場面での案内処理について説明する。第２の具体例は、危険回避および情報提供の一例である。案内処理（図４）のステップＳ１０２において案内部１４４は、外景画像を取得する。図９は、ステップＳ１０２において取得された外景画像の一例である。外景画像ＩＭ２には、実オブジェクトであるＯＢ２１〜ＯＢ２６が含まれている。

案内処理のステップＳ１０４において案内部１４４は、実オブジェクトＯＢ２１〜ＯＢ２６から、上述した方法ａ１〜ａ４のいずれかを用いて、注目オブジェクトを特定する。例えば、看板ＯＢ２１と、車ＯＢ２３とが、注目オブジェクトとして特定されたとする。案内処理のステップＳ１０６において案内部１４４は、看板ＯＢ２１と車ＯＢ２３とを用いて、案内用情報１２２を検索し、エントリーＥ８の案内内容「看板に対する注意喚起の案内」および「看板の内容を案内」と、エントリーＥ５の案内内容「車に対する注意喚起の案内」および「車との距離を案内（＊）」と、を取得する。

案内処理のステップＳ１０８において案内部１４４は、利用者の視線の方向を検出する。看板ＯＢ２１が視線の方向にない場合（ステップＳ１１０：視線の方向になし）、ステップＳ１１２において案内部１４４は、ステップＳ１０６で取得された案内内容「看板に対する注意喚起の案内」および「看板の内容を案内」に基づく案内を、音声のみによって実施する。この結果、左右イヤホン３２、３４内のスピーカーからは「追突に注意してください」という案内音声ＳＯ２１（図１０）のみが再生され、仮想オブジェクトＶＯ２１を含む虚像ＶＩは表示されない。車ＯＢ２３が視線の方向にない場合（ステップＳ１１０：視線の方向になし）、ステップＳ１１２において案内部１４４は、ステップＳ１０６で取得された案内内容「車に対する注意喚起の案内」に基づく案内を、音声のみによって実施する。この結果、左右イヤホン３２、３４内のスピーカーからは「前方の車に注意してください」という案内音声ＳＯ２２（図１０）のみが再生され、仮想オブジェクトＶＯ２２を含む虚像ＶＩは表示されない。

看板ＯＢ２１が視線の方向にある場合（ステップＳ１１０：視線の方向にあり）、ステップＳ１１４において案内部１４４は、ステップＳ１０６で取得された案内内容「看板に対する注意喚起の案内」および「看板の内容を案内」に基づく案内を、音声と拡張現実感処理との組み合わせによって実施する。この結果、図１０に示すように、左右イヤホン３２、３４内のスピーカーからは「追突に注意してください」という案内音声ＳＯ２１が再生されると共に、看板ＯＢ２１を強調するための仮想オブジェクトＶＯ２１を含む虚像ＶＩが表示される。車ＯＢ２３が視線の方向にある場合（ステップＳ１１０：視線の方向にあり）、ステップＳ１１４において案内部１４４は、ステップＳ１０６で取得された案内内容「車に対する注意喚起の案内」に基づく案内を、音声と拡張現実感処理との組み合わせによって実施する。この結果、図１０に示すように、左右イヤホン３２、３４内のスピーカーからは「前方の車に注意してください」という案内音声ＳＯ２２が再生されると共に、車ＯＢ２３を強調するための仮想オブジェクトＶＯ２２を含む虚像ＶＩが表示される。

案内モード１２４に記憶されている内容が「追尾なしモード」である場合、案内部１４４は、以上により処理を終了させる。案内モード１２４に記憶されている内容が「追尾ありモード」である場合、案内部１４４は、所定時間待機する。２回目の案内処理のステップＳ１０２において案内部１４４は、外景画像を取得する。取得された外景画像には看板ＯＢが含まれていないため、案内部１４４は、２回目の処理において、注目オブジェクトから看板ＯＢ２１を除外する。

２回目の案内処理のステップＳ１０８において案内部１４４は、利用者の視線の方向を検出する。車ＯＢ２３が視線の方向にない場合（ステップＳ１１０：視線の方向になし）、２回目のステップＳ１１２において案内部１４４は、ステップＳ１０６で取得された案内内容「車との距離を案内（＊）」に基づく案内を、音声のみによって実施する。この結果、左右イヤホン３２、３４内のスピーカーからは「５ｍ前方車両が近接しています」という案内音声ＳＯ２３（図１０）のみが再生され、仮想オブジェクトＶＯ２１を含む虚像ＶＩは表示されない。

車ＯＢ２３が視線の方向にある場合（ステップＳ１１０：視線の方向にあり）、２回目のステップＳ１１４において案内部１４４は、ステップＳ１０６で取得された案内内容「車との距離を案内（＊）」に基づく案内を、音声と拡張現実感処理との組み合わせによって実施する。この結果、図１０に示すように、左右イヤホン３２、３４内のスピーカーからは「５ｍ前方車両が近接しています」という案内音声ＳＯ２３が再生されると共に、車ＯＢ２３を強調するための仮想オブジェクトＶＯ２２と、利用者と車ＯＢ２３との間の距離を示した仮想オブジェクトＶＯ２３と、を含む虚像ＶＩが表示される。

以上のように、上記実施形態の案内処理によれば、案内部１４４は、現実世界に実在すると共に、ステップＳ１０２により取得された外景画像に含まれる少なくとも１つの実オブジェクトであって、利用者に対して注目を促す実オブジェクトである注目オブジェクトに対する案内を、少なくとも音声ＳＯ１１〜ＳＯ２３により実施することができる（ステップＳ１１２、Ｓ１１４）。音声ＳＯ１１〜ＳＯ２３を用いた案内は、利用者の視野領域に形成される虚像ＶＩを用いた案内と比較して、利用者の視野を狭める虞、換言すれば、現実世界の視認性が低下する虞を低くすることができる。この結果、現実世界の視認性を確保しつつ、現実世界に実在する実オブジェクトに対して利用者の注目を促すことが可能な頭部装着型表示装置（ＨＭＤ１００）を提供することができる。

さらに、上記実施形態の案内処理によれば、案内部１４４は、注目オブジェクトが利用者の視線の方向にないと推定される場合（ステップＳ１１０：視線の方向になし）は、音声ＳＯ１１〜ＳＯ２３のみにより案内を実施する（ステップＳ１１２）。このため、案内部１４４は、視線の方向にない注目オブジェクトに対する案内のために、利用者の視野領域に虚像ＶＩが形成されることを抑制することができ、現実世界の視認性を確保することができる。一方、案内部１４４は、注目オブジェクトが利用者の視線の方向にあると推定される場合（ステップＳ１１０：視線の方向にあり）は、音声ＳＯ１１〜ＳＯ２３に加えてさらに、注目オブジェクトに付加的に表示するための仮想オブジェクトＶＯ１１〜ＶＯ２３を含んだ虚像ＶＩを形成させることで案内を実施する（ステップＳ１１４）。このため、案内部１４４は、視線の方向にある注目オブジェクトに対する案内を、音声ＳＯ１１〜ＳＯ２３と、虚像ＶＩと、の両方の手段を用いて手厚く行うことができる。すなわち、利用者は、自身の視線の方向にある注目オブジェクトについては、視覚と聴覚とを介した案内を享受することができる。これらの結果、現実世界の視認性を確保しつつ、現実世界に実在する実オブジェクトに対して利用者の注目を促すことが可能な頭部装着型表示装置（ＨＭＤ１００）において、さらに、利用者の利便性を向上させることができる。

さらに、上記実施形態の案内処理によれば、案内モード１２４が「追尾ありモード」である場合、案内部１４４は、ステップＳ１０２において繰り返し取得された複数の外景画像における注目オブジェクトの経時的な変化に伴って、ステップＳ１１２またはステップＳ１１４の案内を繰り返し実施する。この結果、案内部１４４は、注目オブジェクトの最新の状態に対応した案内を随時行うことができる、換言すれば、案内部１４４は、注目オブジェクトを追跡しつつ案内を行うことができる。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における制御部と画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。
（i）制御部にＣＰＵやメモリー等の処理機能を搭載し、画像表示部には表示機能のみを搭載する態様
（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様
（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）
（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様
（ｖ）制御部と画像表示部とを無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続し、接続部（コード）を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。

例えば、上記実施形態で例示した制御部の構成は任意に変更することができる。具体的には、例えば、制御部の送信部（Ｔｘ）および画像表示部の受信部（Ｒｘ）は、いずれも、双方向通信が可能な機能を備えており送受信部として機能してもよい。例えば、制御部が備えるとした操作用インターフェイス（各種キーやトラックパッド等）の一部を省略してもよい。例えば、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。例えば、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、制御部が備えるとした各処理部（例えば画像処理部、表示制御部、拡張現実感処理部等）は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。例えば、制御部には、電源として二次電池が搭載されることとしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、上記実施形態で例示した画像表示部の構成は任意に変更することができる。具体的には、例えば、画像表示部の画像光生成部は、上述した構成部（バックライト、バックライト制御部、ＬＣＤ、ＬＣＤ制御部）と共に、または、上述した構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備えていてもよい。例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を備えていてもよい。例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。例えば、イヤホンに代えて、または、イヤホンと共に、骨伝導スピーカーを備えていてもよい。骨伝導スピーカーを利用した音の再生によれば、雑音の多い環境（例えば工場内）においても、利用者にはっきりと音を伝えることができる。

図１２は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１０（Ａ）の画像表示部２０ｘは、右光学像表示部２６ｘおよび左光学像表示部２８ｘを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め上にそれぞれ配置されている。図１０（Ｂ）の画像表示部２０ｙは、右光学像表示部２６ｙおよび左光学像表示部２８ｙを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。例えば、利用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。例えば、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。例えば、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）を採用してもよい。この場合も、制御部と画像表示部との間の接続は、有線、無線どちらでもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。例えば、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を採用してもよい。例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。

・変形例２：
上記実施形態では、案内処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

例えば、案内部は、視線方向の検出（ステップＳ１０８）を省略してもよい。この場合、案内部は、利用者の視線の方向にかかわらず、注目オブジェクトに対する案内を音声のみで実施すればよい（ステップＳ１１２）。

例えば、案内部は、案内内容の取得（ステップＳ１０６）に代えて、または、案内内容の取得と共に、ＤＳＳＳ（Driving Safety Support Systems）により提供される情報を取得して、ステップＳ１１２またはステップＳ１１４による案内を実施してもよい。また、案内部は、ＤＳＳＳ以外の他の「車両・歩行者等の支援システム」により提供される情報を取得して、ステップＳ１１２またはステップＳ１１４による案内を実施してもよい。

例えば、案内部は、案内処理（ステップＳ１１２、Ｓ１１４）において、追尾ありモードの案内と、追尾なしモードの案内と、のうちのどちらか一方のみを実施してもよい。この場合、記憶部の案内モードは省略してよい。また、例えば、案内部は、原則として追尾なしモードの案内を実施することとし、所定の条件を満たした場合に限って追尾ありモードの案内を実施してもよい。所定の条件とは、例えば、注目オブジェクトの経時的な変化が所定量以上か否か（詳細な判定方法は上述した方法ａ１と同様）、注目オブジェクトの特徴が所定の特徴と一致するか否か（詳細な判定方法は上述した方法ａ２と同様）、注目オブジェクトに利用者の視線が向いたか否か（詳細な判定方法は上述した方法ａ３と同様）、注目オブジェクトに利用者の指定があったか否か（詳細な判定方法は上述した方法ａ４と同様）を採用することができる。

例えば、案内部は、案内処理（ステップＳ１１２、Ｓ１１４）において、所定の数以上の案内音声を用いた案内を実施する場合に、案内音声の内容を短縮化してもよい。具体的には、図１０の例において案内部は、「追突に注意してください」との案内音声を「追突注意」のように短縮化してもよく、「前方の車に注意してください」との案内音声を「前方注意」のように短縮化してもよい。所定の数は、２以上でもよいし、３以上でもよいし、利用者が設定可能であってもよい。このようにすれば、複数の案内音声を用いた案内に要する時間を短縮することができる。

例えば、案内部は、案内処理（ステップＳ１１２、Ｓ１１４）において、複数の案内音声を用いた案内を実施する場合に、案内音声に対応する注目オブジェクトの重要度に応じて、案内を実施する順序を決定してもよい。注目オブジェクトの重要度の決定に際しては、上述した方法ａ１〜ａ４を利用し、例えば、方法ａ４により特定された注目オブジェクトは優先順位が１番、方法ａ１により特定された注目オブジェクトは優先順位が２番、等とすることができる。また、注目オブジェクトの特定方法と優先順位との対応関係を、利用者が変更可能であってもよい。このようにすれば、優先順位の高い注目オブジェクトについての案内音声を先ず案内することができるため、利便性を向上させることができる。

例えば、案内部は、案内処理（ステップＳ１１２、Ｓ１１４）において、注目オブジェクトと利用者との位置関係に応じて、右イヤホン内のスピーカーと、左イヤホン内のスピーカーと、のうちのいずれか一方から案内音声を出力させてもよい。具体的には、例えば、案内部は、注目オブジェクトが利用者の右側に位置する場合には、右イヤホン内のスピーカーから案内音声を出力させ、注目オブジェクトが利用者の左側に位置する場合には、左イヤホン内のスピーカーから案内音声を出力させてもよい。また、例えば、頭部装着型表示装置に広い周波数応答特性と指向性を持ったスピーカーを備える場合には、Ｄｏｌｂｙ（登録商標）等の音声処理システムを利用することができる。この場合、案内部は、注目オブジェクトが存在する位置から案内音声が再生されるような音声データーを生成し、音声処理システムへ供給し、出力させることができる。このようにすれば、案内音声を聞いた利用者は、自身と注目オブジェクトとの位置関係を直観的に知ることができる。

例えば、案内部は、案内処理（ステップＳ１１２、Ｓ１１４）において、案内音声に代えて、ブザー等の警告音、アラーム等の注意喚起音、メロディー等を再生してもよい。

例えば、案内部は、案内処理（ステップＳ１１２、Ｓ１１４）において、音（音波）に代えて、または、音と共に、振動によって注目オブジェクトに対する案内を行ってもよい。この場合、例えば、頭部装着型表示装置に振動モーター等を内蔵した振動部を備える構成とし、案内部は、案内音声の再生に代えて、または音声の再生と共に、振動モーターの駆動を行えばよい。この場合も、案内部は、注目オブジェクトと利用者との位置関係に応じて、例えば右保持部に内蔵されている振動モーターと、左保持部に内蔵されている振動モーターと、のうちのいずれか一方を駆動させてもよい。

例えば、案内部は、案内処理（ステップＳ１１４）において表示させる仮想オブジェクトに視差を付してもよい。

例えば、上述した案内処理と共に、次のような案内処理を実施してもよい。頭部装着型表示装置は、利用者と注目オブジェクトとの間の距離を取得する距離取得部を備える構成とする。案内部は、利用者と注目オブジェクトとの間の距離が所定の距離（例えば２０ｍ）以内となった場合に、案内音声を再生させる。案内音声は、警告音や注意喚起音やメロディーであってもよい。案内部は、所定の距離を、利用者の移動速度に応じて変化（例えば、時速５０ｋｍ以上の場合は２０ｍ等）させてもよい。なお、距離取得部は、例えば、図２に示したステレオカメラを利用したステレオカメラ方式で距離を取得してもよいし、単眼カメラと単眼カメラの移動距離を利用した単眼カメラ方式で距離を取得してもよい。距離取得部は、赤外線（または超音波）受発光部を利用したパターン照射方式で距離を取得してもよいし、赤外線（または超音波）受発光部を利用したＴｏＦ（Time of Flight）方式で距離を取得してもよい。

例えば、上述した案内処理の前処理として、または、案内処理のステップＳ１１４の前処理として、次のような調整処理を実施してもよい。頭部装着型表示装置は、ＩＭＵ（Inertial Measurement Unit、慣性計測装置）を備える構成とする。ＣＰＵは、ＩＭＵを用いて、利用者の視界方向の領域（例えばカメラの撮像領域）と、画像表示部における虚像の表示領域と、の対応付けを行う。このようにすれば、拡張現実感処理部は、案内処理のステップＳ１１４において表示する仮想オブジェクトと、実オブジェクト（注目オブジェクト）と、の位置合わせの精度を向上させることができる。また、利用者の頭部の細かなぶれに起因する仮想オブジェクトの表示のぶれを抑制できる。また、拡張現実感処理において不要画像のマスク処理を実施する場合、マスク処理の速度を向上させることができる。

例えば、複数の頭部装着型表示装置の利用者が存在する環境下において、案内処理では、各利用者の相対位置関係を利用して処理を実施してもよい。具体的には、例えば、注目オブジェクトの特定（ステップＳ１０４）において、ＨＭＤ１００ｘの案内部は、ＨＭＤ１００ｘの利用者と所定の相対位置関係を有する他のＨＭＤ１００ｙ、１００ｚ等の利用者を、注目オブジェクトとしてもよい。例えば、案内（ステップＳ１１２、Ｓ１１４）において、ＨＭＤ１００ｘの案内部は、ＨＭＤ１００ｘの利用者と他のＨＭＤ１００ｙ、１００ｚ等の利用者との相対位置関係に応じて、右イヤホン内のスピーカーと、左イヤホン内のスピーカーと、のうちのいずれか一方から案内音声を出力させてもよく、仮想オブジェクトを表示させる位置を調整してもよい。このようにすれば、複数の頭部装着型表示装置の利用者が存在する環境下（例えば、工場内、学校内等）において、各利用者の相対位置関係に基づく案内を実現することができる。

・変形例３：
上記実施形態では、案内用情報の一例を示した。しかし、上記実施形態において示した案内用情報の構成および内容はあくまで一例であり、種々の変形が可能である。例えば、一部の構成を省略してもよいし、更なる他の構成を追加してもよい。案内用情報に格納されているデーターを変更してもよい。

例えば、注目オブジェクトの名称等を用いた照合のための情報である「オブジェクト」欄は、１つであってもよいし、３つ以上であってもよい。

例えば、案内内容に代えて、または、案内内容と共に、手順情報が記憶されていてもよい。「手順情報」とは、ＨＭＤの利用者に対して、一連の動作手順を教示するために用いられる情報である。動作手順には、種々のカテゴリーの動作の手順が広く含まれる。例えば、料理や裁縫における製作者の動作の手順、工場作業における作業員の動作の手順、テニス等のスポーツにおける競技者の動作の手順等が含まれる。また、動作手順には、思考プロセスのような思考の手順、学習プロセスにおける思考の手順といった、利用者の体の動きを伴わない思考動作の手順をも含む。これらの動作の手順は、連続的であってもよいし、一定間隔をおいて不連続的であってもよい。

・変形例４：
上記実施形態では、案内処理の具体例を示した。しかし、上記実施形態において示した具体例はあくまで一例であり、種々の変形が可能である。例えば、例示した音声による案内の態様や、拡張現実感処理における仮想オブジェクトの態様は、任意に変更することができる。

例えば、第１、２の具体例では、実オブジェクトは１つの「もの」単位であるとして説明した。しかし、案内部は、１つの「もの」の中に複数の実オブジェクトが存在するとして案内処理を実施してもよい。具体的には、「車」という１つのものの中に、ボディー、バンパー、タイヤ、テールランプといった、複数の実オブジェクトが存在するとして案内処理を実施してもよい。

例えば、第１の具体例において、案内部は、グラスの近傍に、利用者に対して液体量を案内するための目盛りを表す仮想オブジェクトを表示させてもよい。同様に、案内部は、グラスの任意の地点に、液体の注入を停止すべき位置を案内するための目印を表す仮想オブジェクトを表示させてもよい。同様に、案内部は、グラスの近傍（好ましくは下部）に、利用者に対して重量を案内するためのスケールを表示させてもよい。案内部は、画像認識により推定された液体量等に応じてスケールの値を変化させてもよい。

例えば、第２の具体例において、案内部は、前方の車との距離に応じて、当該車を強調するための仮想オブジェクトの態様を変化させてもよい。具体的には、案内部は、前方の車との距離が近ければ近いほど仮想オブジェクトを目立ちやすく（大きく、濃く）することができる。

・変形例５：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５３…受信部
６１…カメラ
６２…視線検出部
６３…マイク
６６…９軸センサー
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１１０…入力情報取得部
１２０…記憶部
１２２…案内用情報
１２４…案内モード
１３０…電源
１３２…無線通信部
１３４…ＧＰＳモジュール
１４０…ＣＰＵ
１４２…拡張現実感処理部
１４４…案内部
１５０…ＯＳ
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
ＯＡ…外部装置
ＰＣ…パーソナルコンピューター
ＶＩ…虚像
ＳＣ…外景
ＶＲ…視野
ＲＥ…右眼
ＬＥ…左眼
ＩＭ１、ＩＭ２…外景画像
ＯＢ１１〜ＯＢ２６…実オブジェクト
ＶＯ１１〜ＶＯ２３…仮想オブジェクト
ＳＯ１１〜ＳＯ２３…音声

Claims (12)

1. 利用者が虚像を視認可能な頭部装着型表示装置であって、
   前記利用者に前記虚像を視認させる画像表示部と、
   前記頭部装着型表示装置を装着した状態における前記利用者の視界方向の外景画像を取得する画像取得部と、
   現実世界に実在すると共に、取得された前記外景画像に含まれる少なくとも１つの実オブジェクトである注目オブジェクトに対する案内を、音により行う案内部と、
   前記頭部装着型表示装置を装着した状態における前記利用者の視線の方向を検出する視線検出部と、
   を備え、
   前記案内部は、
   前記注目オブジェクトが、検出された前記視線の方向にないと推定される場合は、前記音のみによる前記案内を行い、
   前記注目オブジェクトが、検出された前記視線の方向にあると推定される場合は、前記音に加えてさらに、前記注目オブジェクトに付加的に表示するための仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させることで、前記案内を行う、頭部装着型表示装置。
2. 利用者が虚像を視認可能な頭部装着型表示装置であって、
   前記利用者に前記虚像を視認させる画像表示部と、
   前記頭部装着型表示装置を装着した状態における前記利用者の視界方向の外景画像を取得する画像取得部と、
   現実世界に実在すると共に、取得された前記外景画像に含まれる少なくとも１つの実オブジェクトである注目オブジェクトに対する案内を、音により行う案内部と、
   を備え、
   前記画像取得部は、前記外景画像を繰り返し取得し、
   前記案内部は、
   取得された複数の前記外景画像内における前記注目オブジェクトの経時的な変化に伴って、前記注目オブジェクトの最新の状態に対応した前記案内を繰り返し行う、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記案内は、
   前記注目オブジェクトに対する前記利用者の注意喚起のための案内と、
   前記注目オブジェクトに関する情報の案内と、
   前記注目オブジェクトの位置に関する案内と、
   予め用意された手順情報に基づく、前記注目オブジェクトに対する前記利用者の作業内容の案内と、
   のうちの少なくともいずれか１つを含む、頭部装着型表示装置。
4. 請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置であって、
   前記画像取得部は、前記外景画像を繰り返し取得し、
   前記案内部は、さらに、
   取得された複数の前記外景画像をそれぞれ画像認識し、
   前記複数の外景画像に含まれる実オブジェクトであって、経時的な変化が大きい実オブジェクトを、前記注目オブジェクトとする、頭部装着型表示装置。
5. 請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置であって、
   前記案内部は、さらに、
   取得された前記外景画像を画像認識し、
   前記外景画像に含まれる実オブジェクトであって、所定の特徴を有する実オブジェクトを、前記注目オブジェクトとする、頭部装着型表示装置。
6. 請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記頭部装着型表示装置を装着した状態における前記利用者の視線の方向を検出する視線検出部を備え、
   前記画像取得部は、前記外景画像を繰り返し取得し、
   前記視線検出部は、前記視線の方向を繰り返し検出し、
   前記案内部は、さらに、
   取得された複数の前記外景画像と、複数回にわたり検出された前記視線の方向と、を照合し、
   前記複数の外景画像に含まれる実オブジェクトであって、前記視線の先にある割合が多いと推定される実オブジェクトを、前記注目オブジェクトとする、頭部装着型表示装置。
7. 請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記利用者からの操作入力を取得する入力情報取得部を備え、
   前記案内部は、さらに、
   取得された前記外景画像と、取得された前記操作入力と、を照合し、
   前記外景画像に含まれる実オブジェクトであって、前記利用者により指定された実オブジェクトを、前記注目オブジェクトとする、頭部装着型表示装置。
8. 請求項１に記載の頭部装着型表示装置であって、
   前記画像取得部は、前記外景画像を繰り返し取得し、
   前記案内部は、
   取得された複数の前記外景画像内における前記注目オブジェクトの経時的な変化に伴って、前記案内を繰り返し行う、頭部装着型表示装置。
9. 利用者が虚像を視認可能な頭部装着型表示装置を制御する方法であって、
   （ａ）前記頭部装着型表示装置を装着した状態における利用者の視界方向の外景画像を取得する画像取得工程と、
   （ｂ）現実世界に実在すると共に、取得された前記外景画像に含まれる少なくとも１つの実オブジェクトであって、前記利用者に対して注目を促す実オブジェクトである注目オブジェクトに対する案内を、音により行う案内工程と、
   前記頭部装着型表示装置を装着した状態における前記利用者の視線の方向を検出する視線検出工程と、
   を備え、
   前記案内工程では、
   前記注目オブジェクトが、検出された前記視線の方向にないと推定される場合は、前記音のみによる前記案内を行い、
   前記注目オブジェクトが、検出された前記視線の方向にあると推定される場合は、前記音に加えてさらに、前記注目オブジェクトに付加的に表示するための仮想オブジェクトを含んだ前記虚像を前記頭部装着型表示装置に形成させることで、前記案内を行う、方法。
10. コンピュータープログラムであって、
    利用者が虚像を視認可能な頭部装着型表示装置を装着した状態における利用者の視界方向の外景画像を取得する画像取得機能と、
    現実世界に実在すると共に、取得された前記外景画像に含まれる少なくとも１つの実オブジェクトであって、前記利用者に対して注目を促す実オブジェクトである注目オブジェクトに対する案内を、音により行う案内機能と、
    前記頭部装着型表示装置を装着した状態における前記利用者の視線の方向を検出する視線機能と、
    をコンピューターに実現させるための、コンピュータープログラムであって、
    前記案内機能は、
    前記注目オブジェクトが、検出された前記視線の方向にないと推定される場合は、前記音のみによる前記案内を行い、
    前記注目オブジェクトが、検出された前記視線の方向にあると推定される場合は、前記音に加えてさらに、前記注目オブジェクトに付加的に表示するための仮想オブジェクトを含んだ前記虚像を前記頭部装着型表示装置に形成させることで、前記案内を行う機能である、コンピュータープログラム。
11. 頭部装着型表示装置を制御する方法であって、
    （ａ）前記頭部装着型表示装置を装着した状態における利用者の視界方向の外景画像を取得する画像取得工程と、
    （ｂ）現実世界に実在すると共に、取得された前記外景画像に含まれる少なくとも１つの実オブジェクトであって、前記利用者に対して注目を促す実オブジェクトである注目オブジェクトに対する案内を、音により行う案内工程と、
    を備え、
    前記画像取得工程では、前記外景画像を繰り返し取得し、
    前記案内工程では、
    取得された複数の前記外景画像内における前記注目オブジェクトの経時的な変化に伴って、前記注目オブジェクトの最新の状態に対応した前記案内を繰り返し行う、方法。
12. コンピュータープログラムであって、
    頭部装着型表示装置を装着した状態における利用者の視界方向の外景画像を取得する画像取得機能と、
    現実世界に実在すると共に、取得された前記外景画像に含まれる少なくとも１つの実オブジェクトであって、前記利用者に対して注目を促す実オブジェクトである注目オブジェクトに対する案内を、音により行う案内機能と、
    をコンピューターに実現させるための、コンピュータープログラムであって、
    前記画像取得機能は、前記外景画像を繰り返し取得する機能であり、
    前記案内機能は、
    取得された複数の前記外景画像内における前記注目オブジェクトの経時的な変化に伴って、前記注目オブジェクトの最新の状態に対応した前記案内を繰り返し行う機能である、コンピュータープログラム。

Images