JP6582403B2 - 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

利用者に対して一連の動作の手順（以降、単に「動作手順」とも呼ぶ。）を教示する作業支援システムが知られている。例えば、特許文献１には、ビデオ撮影された被写体の動作と、被写体の動作のうち、特に詳細な説明が必要となる部分の模式的な動画像と、を合成して、１つの画面上に表示することで、作業支援を実現する技術が記載されている。

特開２００２−２３００８６号公報 特開平８−７５４１８号公報 特表２００７−５１４２１１号公報

一方、現実世界に実在するオブジェクトである実オブジェクトに対して、コンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。拡張現実感において、実オブジェクトに付加的に表示される情報を「仮想オブジェクト」とも呼ぶ。拡張現実感は、例えば、ヘッドマウントディスプレイ（以降、「ＨＭＤ」または「頭部装着型表示装置」とも呼ぶ。）に搭載される。ＨＭＤは、カメラで外景を撮像し、撮像により得られた画像を画像認識し、仮想オブジェクトを生成または取得する。ＨＭＤを装着した状態において利用者の視界が遮断される非透過型のＨＭＤでは、撮影された画像と仮想オブジェクトとを重畳させて利用者に視認させる。ＨＭＤを装着した状態において利用者の視界が遮断されない透過型のＨＭＤでは、仮想オブジェクトのみを利用者に視認させる。透過型のＨＭＤを装着した利用者は、現実世界の実オブジェクトと仮想オブジェクトとの両方を見ることで、拡張現実感を体感することができる。

このような拡張現実感の技術を利用した作業支援を実現すれば、利用者は、眼前に実在する実オブジェクトに対して、仮想オブジェクトを用いて表された動作手順の教示を受けることができるため、非常に有用である。この点、特許文献１に記載された技術では、ビデオ撮影された被写体およびその動作はマニュアル的なものに過ぎず、現実世界とは何ら関係がないという課題があった。さらに、拡張現実感の技術を利用した作業支援において、１つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現したいという要望があった。

このため、拡張現実感の技術を用いた作業支援を実現することができる頭部装着型表示装置において、１つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現することが求められていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
［形態１］利用者が虚像と外景とを視認可能な頭部装着型表示装置であって、前記利用者に前記虚像を視認させる画像表示部と、現実世界に実在する実オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定部であって、予め用意された複数の前記手順情報の中から、少なくとも１つの前記手順情報を特定する特定部と、特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得し、取得した前記手順情報と前記付随手順情報とのうちの少なくとも一方に含まれている、前記現実世界に付加して表示するための仮想オブジェクトを表す前記虚像を前記画像表示部に形成させる取得部と、を備え、前記予め用意された複数の手順情報には、それぞれ、前記一連の動作手順に関するタグ情報が含まれ、前記特定部は、前記タグ情報を用いて前記手順情報を特定する、頭部装着型表示装置。
この形態の頭部装着型表示装置によれば、取得部は、取得した手順情報と付随手順情報とのうちの少なくとも一方に含まれている仮想オブジェクトを表す虚像を画像表示部に形成させる。このため、頭部装着型表示装置において、拡張現実感の技術を用いた作業支援を実現することができる。さらに、取得部は、特定部によって特定された少なくとも１つの手順情報と、特定された手順情報に付随する付随手順情報と、を取得する。付随手順情報は、特定された手順情報の前後のうちの少なくともいずれか一方に付随する手順情報であり、換言すれば、特定された手順情報に関連する手順情報である。このため、頭部装着型表示装置において、１つの動作手順（特定された手順情報）と、当該動作手順に関連する動作手順（付随手順情報）と、からなる一連の動作手順の教示を実現することができる。

（１）本発明の一形態によれば、利用者が虚像と外景とを視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記利用者に前記虚像を視認させる画像表示部と；現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定部であって、予め用意された複数の前記手順情報の中から、少なくとも１つの前記手順情報を特定する特定部と；特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得し、取得した前記手順情報と前記付随手順情報とのうちの少なくとも一方に含まれている前記仮想オブジェクトを表す前記虚像を前記画像表示部に形成させる取得部と、を備える。
この形態の頭部装着型表示装置によれば、取得部は、取得した手順情報と付随手順情報とのうちの少なくとも一方に含まれている仮想オブジェクトを表す虚像を画像表示部に形成させる。このため、頭部装着型表示装置において、拡張現実感の技術を用いた作業支援を実現することができる。さらに、取得部は、特定部によって特定された少なくとも１つの手順情報と、特定された手順情報に付随する付随手順情報と、を取得する。付随手順情報は、特定された手順情報の前後のうちの少なくともいずれか一方に付随する手順情報であり、換言すれば、特定された手順情報に関連する手順情報である。このため、頭部装着型表示装置において、１つの動作手順（特定された手順情報）と、当該動作手順に関連する動作手順（付随手順情報）と、からなる一連の動作手順の教示を実現することができる。

（２）上記形態の頭部装着型表示装置において；前記予め用意された複数の手順情報には、それぞれ、前記一連の動作手順に関するタグ情報が含まれ；前記特定部は、前記タグ情報を用いて前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、一連の動作手順に関する情報であるタグ情報を用いて、複数の手順情報の中から少なくとも１つの手順情報を特定することができる。

（３）上記形態の頭部装着型表示装置では、さらに；前記頭部装着型表示装置を装着した状態における前記利用者の視界方向の外景画像を取得する画像取得部を備え；前記特定部は；取得された前記外景画像を画像認識することで、現実世界に実在する実オブジェクトを表す情報を取得し；取得した前記実オブジェクトを表す情報と前記タグ情報とを照合することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の視界方向の外景画像から、利用者の視界方向の現実世界に実在する実オブジェクトを表す情報を取得し、取得した実オブジェクトを表す情報とタグ情報とを照合することで、手順情報を特定することができる。すなわち、特定部は、利用者が実際に目にしているであろうと推定される実オブジェクトに基づいて、手順情報を特定することができる。

（４）上記形態の頭部装着型表示装置において；前記特定部は、前記タグ情報の一覧を表す前記虚像を前記画像表示部に形成させ、前記利用者からの前記タグ情報の指定を取得することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の意図に基づいて、手順情報を特定することができる。また、特定部は、画像表示部にタグ情報の一覧を表す虚像を形成させるため、利用者がタグ情報を指定する際の利便性を向上させることができる。

（５）上記形態の頭部装着型表示装置において；前記特定部は；前記利用者からのキーワードの入力を取得し；取得した前記キーワードと前記タグ情報とを照合することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の意図に基づいて、手順情報を特定することができる。また、特定部は、利用者からのキーワードに基づいて手順情報を特定することができるため、利用者における入力の自由度を高めることができる。

（６）上記形態の頭部装着型表示装置では、さらに；前記利用者の発声内容を取得する音取得部を備え；前記特定部は、取得された前記発声内容と前記タグ情報とを照合することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の意図に基づいて、手順情報を特定することができる。また、特定部は、利用者の発声内容に基づいて手順情報を特定することができるため、利用者における利便性を向上させることができる。

（７）上記形態の頭部装着型表示装置において；前記タグ情報には；前記一連の動作手順の出所に関する情報と；前記一連の動作手順の実現条件に関する情報と；前記一連の動作手順の評価に関する情報と；が含まれ；前記特定部は、さらに、前記出所に関する情報と、前記実現条件に関する情報と、前記評価に関する情報と、のうちの少なくともいずれかを考慮して、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、一連の動作手順に関する種々の情報を考慮して、手順情報を特定することができる。出所に関する情報を考慮して手順情報を特定する場合、特定部は、例えば、確かな出所（例えば、有名な人物、有名な企業等）からの手順情報を優先することができる。実現条件に関する情報を考慮して手順情報を特定する場合、特定部は、例えば、利用者が準備可能な実現条件に即した実現条件を有する手順情報を優先することができる。評価に関する情報を考慮して手順情報を特定する場合、特定部は、例えば、評価の高い手順情報を優先することができる。

（８）上記形態の頭部装着型表示装置において；前記付随手順情報は；前記一連の動作手順の出所に関する情報と；前記一連の動作手順の実現条件に関する情報と；前記一連の動作手順の評価に関する情報と；のうちの少なくともいずれかを考慮して決定されていてもよい。
この形態の頭部装着型表示装置によれば、特定された手順情報に付随手順情報が、一連の動作手順に関する種々の情報を考慮して決定されることができる。例えば、出所に関する情報を考慮して付随手順情報が決定される場合、例えば、確かな出所（例えば、有名な人物、有名な企業等）からの手順情報が優先され得る。実現条件に関する情報を考慮して付随手順情報が決定される場合、例えば、利用者が準備可能な実現条件に即した実現条件を有する手順情報が優先され得る。評価に関する情報を考慮して付随手順情報が決定される場合、例えば、評価の高い手順情報が優先され得る。

（９）上記形態の頭部装着型表示装置では、さらに；前記一連の動作手順のモデルであって、前記一連の動作手順を表す前記仮想オブジェクトの元となるモデルを生成するモデル生成部と；生成された前記モデルに前記一連の動作手順に関するタグ情報を付して、前記手順情報を生成する生成部と、を備えていてもよい。
この形態の頭部装着型表示装置によれば、頭部装着型表示装置において、一連の動作手順を表す仮想オブジェクトの元となるモデルと、一連の動作手順に関するタグ情報と、を含んだ手順情報を生成することができる。

（１０）上記形態の頭部装着型表示装置では、さらに；前記利用者の発声内容を取得する音取得部と；前記利用者に関する情報を記憶するユーザー情報記憶部と、を備え；前記生成部は、さらに、前記モデルの生成中において取得された前記発声内容と、前記利用者に関する情報と、のうちの少なくともいずれかを用いて、前記タグ情報を抽出してもよい。
この形態の頭部装着型表示装置によれば、生成部は、モデルの生成中において取得された情報（発声内容）と、予め準備されている情報（利用者に関する情報）と、を用いて、手順情報に含めるタグ情報を自動的に抽出することができる。

（１１）上記形態の頭部装着型表示装置において；前記生成部は；前記一連の動作手順の出所に関する情報と；前記一連の動作手順の実現条件に関する情報と；前記一連の動作手順の評価に関する情報と；前記一連の動作手順を実行するにあたって参考に資する情報と；のうちの少なくともいずれかを前記タグ情報としてもよい。
この形態の頭部装着型表示装置によれば、生成部は、一連の動作手順に関する種々の情報をタグ情報として用いることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、特定部と、取得部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、特定部を有していてもよく、有していなくてもよい。また、この装置は、取得部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、頭部装着型表示装置を用いて、仮想オブジェクトを用いて表された既存の動作手順を利用して、拡張現実感の技術を用いた作業支援を実現することが可能な装置において、１つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現することを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化、省資源化、製造の容易化、等が望まれている。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、情報処理装置および情報処理装置の制御方法、情報処理装置を含むシステム、画像表示装置および画像表示装置の制御方法、画像表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の一実施形態における画像表示システムの概略構成を示す説明図である。 ＨＭＤ１００の構成を機能的に示すブロック図である。 利用者に視認される虚像の一例を示す説明図である。 サーバー３００の構成を機能的に示すブロック図である。 シナリオ登録処理の手順を示すシーケンス図である。 生成された３Ｄモデルの一例を示す図である。 生成された３Ｄモデルの他の例を示す図である。 シナリオの一例を示す図である。 サーバー３００のシナリオ記憶部３２２の一例を示す図である。 シナリオ表示処理の手順を示すシーケンス図である。 選択画面の一例を示す図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．実施形態：
Ａ−１．画像表示システムの構成：
図１は、本発明の一実施形態における画像表示システムの概略構成を示す説明図である。画像表示システム１は、頭部装着型表示装置１００と、サーバー３００と、を備えている。本実施形態の画像表示システム１は、後述のシナリオ登録処理によって、頭部装着型表示装置１００からサーバー３００に対して、シナリオをアップロードし、蓄積しておくことができる。また、本実施形態の画像表示システム１は、後述のシナリオ表示処理によって、サーバー３００から頭部装着型表示装置１００に対して、シナリオをダウンロードし、頭部装着型表示装置１００においてダウンロードされたシナリオを表示させることができる。

本実施形態の「シナリオ」とは、仮想オブジェクトを用いて、頭部装着型表示装置１００の利用者に対して、一連の「動作手順」を教示するために用いられる情報である。「動作手順」には、種々のカテゴリーの動作の手順が広く含まれる。例えば、料理や裁縫における製作者の動作の手順、工場作業における作業員の動作の手順、テニス等のスポーツにおける競技者の動作の手順等が含まれる。また、動作手順には、思考プロセスのような思考の手順、学習プロセスにおける思考の手順といった、利用者の体の動きを伴わない思考動作の手順をも含む。これらの動作の手順は、連続的であってもよいし、一定間隔をおいて不連続的であってもよい。また、動作の手順には、手順を表さない情報（モデル、画像、文字列図形記号等、音声、その他の任意のデーター等）を含んでいてもよい。シナリオは「手順情報」として機能する。

「仮想オブジェクト」とは、拡張現実感（ＡＲ、Augmented Reality）処理において、現実世界に実在するオブジェクトである「実オブジェクト」に対して付加的に表示される情報を意味する。オブジェクトとは、任意の人、任意の動植物、任意の物（人工物、自然物等を含む）等を意味する。本実施形態の実オブジェクトは、利用者が関心を寄せている（例えば視線を向けている）オブジェクトである「実関心オブジェクト」と、利用者の関心外の（例えば視界に入っているものの視線を向けていない）オブジェクトである「実背景オブジェクト」との両方を含みうる。

頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、利用者が、虚像を視認すると同時に外景も直接視認することができる光学透過型のヘッドマウントディスプレイである。

サーバー３００は、後述のシナリオ登録処理において、ＨＭＤ１００から受信したシナリオを蓄積する。サーバー３００は、複数のＨＭＤ１００から受信したシナリオを蓄積することができる。また、サーバー３００は、後述のシナリオ表示処理において、ＨＭＤ１００から指定された条件に従って、蓄積されている複数のシナリオから、少なくとも１つのシナリオを抽出し、抽出したシナリオをＨＭＤ１００へ送信する。

ＨＭＤ１００は、通信キャリアＢＳを介して無線通信でインターネットＩＮＴに接続されている。サーバー３００は、有線通信でインターネットＩＮＴに接続されている。この結果、ＨＭＤ１００とサーバー３００とは、互いにインターネットＩＮＴによって接続される。通信キャリアＢＳは、送受信アンテナや、無線基地局、交換局を含む。

Ａ−２．頭部装着型表示装置（ＨＭＤ）の構成：
Ａ−２−１．画像表示部の構成：
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図１に示すように、画像表示部２０は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６２と、９軸センサー６６と、を備えている。以降、利用者が画像表示部２０を装着した状態における、画像表示部２０の各部の位置関係と機能について説明する。

図１に示すように、右光学像表示部２６および左光学像表示部２８は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、利用者の眉間に対応する位置で接続されている。図２に示すように、右光学像表示部２６は、右導光板２６１と調光板（図示省略）とを備えている。右導光板２６１は、光透過性の樹脂材料等によって形成され、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼ＲＥに導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（利用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１を保護し、導光板２６１の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。調光板は省略してもよい。

左光学像表示部２８は、左導光板２６２と調光板（図示省略）とを備えている。これらの詳細は、右光学像表示部２６と同様である。なお、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されても良いし、半透過反射膜を用いて実現されても良い。

図１に示すように、右保持部２１は、右光学像表示部２６の端部ＥＲから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部２３は、左光学像表示部２８の端部ＥＬから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、利用者の頭部に画像表示部２０を保持する。なお、右保持部２１および左保持部２３を総称して単に「保持部」とも呼ぶ。

図１に示すように、右表示駆動部２２は、右保持部２１の内側（利用者の頭部に対向する側）に配置されている。左表示駆動部２４は、左保持部２３の内側に配置されている。図２に示すように、右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ（液晶ディスプレイ、Liquid Crystal Display）制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを備えている。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて右バックライト２２１を駆動する。右バックライト２２１は、例えばＬＥＤ（Light Emitting Diode）やエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用の画像データーＤａｔａとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズである。

左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを備えている。これらの詳細は、右表示駆動部２２と同様である。なお、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼ぶ。

図１に示すように、カメラ６１は、利用者の右眼の目尻の下方に対応する位置に配置されている単眼カメラである。カメラ６１は、画像表示部２０の表側方向、換言すれば、ＨＭＤ１００を装着した状態における利用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラであり、カメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。なお、本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラとしてもよい。カメラ６１は「画像取得部」として機能する。

図１に示すように、マイク６２は、利用者の鼻の上方に対応する位置に配置されているマイクである。マイク６２は、外部の音声を取得する「音取得部」として機能する。「音声」とは、人の声のみでなく、機械音等を含む広義の「音」を意味する。

図１に示すように、９軸センサー６６は、利用者の右側のこめかみに対応する位置に配置されている。９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が頭部に装着されているときには、利用者の頭部の動きを検出し、取得することができる。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

図１に示すように、画像表示部２０は、画像表示部２０と制御部１０とを接続するための接続部４０を備えている。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。接続部４０の各コードには、例えば、金属ケーブルや光ファイバーを採用することができる。

Ａ−２−２．制御部の構成：
制御部１０はＨＭＤ１００を制御するための装置である。図１に示すように、制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を備えている。決定キー１１は、押下操作を検出して、制御部１０において操作された内容を決定するための信号を出力する。点灯部１２は、例えばＬＥＤによって実現され、ＨＭＤ１００の動作状態（例えば電源のＯＮ／ＯＦＦ等）を発光状態によって通知する。表示切替キー１３は、押下操作を検出して、例えばコンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８に対する操作入力に応じた信号を取得する。入力情報取得部１１０は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ（利用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、視線検出部（図示省略）によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、カメラ６１を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。これらの方法による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部１１０は、利用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部１２０には、シナリオ記憶部１２２と、ユーザー情報記憶部１２４とが記憶されている。

シナリオ記憶部１２２は、後述のシナリオ登録処理によってＨＭＤ１００が生成したシナリオを記憶しておくための領域である。ユーザー情報記憶部１２４には、ＨＭＤ１００の利用者に関する情報が予め記憶されている。利用者に関する情報とは、種々の情報を含むことができる。例えば、利用者を相互に識別するために付された識別子（ユーザーＩＤ）のほか、名前、性別、住所、電話番号等の個人情報を含みうる。ユーザー情報記憶部１２４には、ＨＭＤ１００を利用する複数人の利用者の情報が記憶されていてもよい。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

無線通信部１３２は、所定の無線通信規格に則って、外部機器ＯＡとの間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等である。

ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ＨＭＤ１００の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、モデル生成部１４２、生成部１４４、特定部１４６、取得部１４８、拡張現実感処理部１４９、ＯＳ１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。

モデル生成部１４２は、後述のシナリオ登録処理において、３Ｄモデルを生成する。「３Ｄモデル」とは、シナリオの実演者およびその周囲の実オブジェクト（現実世界に実在するオブジェクト）についての３Ｄモデルのデーターである。３Ｄモデルは、実演者による一連の動作手順のモデル、換言すれば、実演者の動きについての時系列的な情報を含む。本実施形態において「時系列的な情報」とは、モデル、画像、文字列図形記号等、音声、その他のデーター等の種々の情報を、連続的に、または一定間隔をおいて不連続的に表したものである。３Ｄモデルは、シナリオの基幹となる部分であり、一連の動作手順を表す仮想オブジェクトの元となる。生成部１４４は、後述のシナリオ登録処理において、モデル生成部１４２によって生成された３Ｄモデルから、シナリオを生成する。

特定部１４６は、後述のシナリオ表示処理において、サーバー３００に記憶されている複数のシナリオの中から、利用者の意図を反映した少なくとも１つのシナリオを特定する。取得部１４８は、後述のシナリオ表示処理において、特定部１４６によって特定されたシナリオと、特定されたシナリオに付随するシナリオと、をサーバー３００から取得する。取得部１４８は、取得したシナリオを拡張現実感処理部１４９へ送信することで、ＨＭＤ１００に表示させる。拡張現実感処理部１４９は、後述のシナリオ表示処理において、取得部１４８から受信したシナリオに対して拡張現実感処理を実行する。拡張現実感処理は、現実世界に実在する実オブジェクトに対して、仮想オブジェクトを付加して表示するための処理である。これら各部の詳細は後述する。

画像処理部１６０は、画像表示のための信号処理を行う。具体的には、画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介してコンテンツ（映像）が入力されている場合、コンテンツに基づく画像データーＤａｔａを生成する。画像処理部１６０は、ＨＭＤ１００の他の機能部から画像データーを受信した場合、受信したデーターを画像データーＤａｔａとする。なお、画像処理部１６０は、画像データーＤａｔａに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。画像処理部１６０は、上述の画像データーＤａｔａと、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、を、送信部５１、５２を介して、画像表示部２０へ送信する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、左右のＬＣＤ制御部２１１、２１２による左右のＬＣＤ２４１、２４２の駆動ＯＮ／ＯＦＦや、左右のバックライト制御部２０１、２０２による左右のバックライト２２１、２２２の駆動ＯＮ／ＯＦＦを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、これらの制御信号を、送信部５１、５２を介して画像表示部２０へ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。

インターフェイス１８０は、所定の有線通信規格に則って、外部機器ＯＡとの間で通信を行う。所定の有線通信規格としては、例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等である。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等を利用することができる。

図３は、利用者に視認される虚像の一例を示す説明図である。図３（Ａ）は、拡張現実感処理を実行していない場合の利用者の視野ＶＲを例示している。上述のようにして、ＨＭＤ１００の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像ＶＩを視認する。図３（Ａ）の例では、虚像ＶＩは、ＨＭＤ１００のＯＳ１５０の待ち受け画面である。利用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣＮを視認する。このように、本実施形態のＨＭＤ１００の利用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣＮとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣＮを直接見ることができる。

図３（Ｂ）は、拡張現実感処理を実行している場合の利用者の視野ＶＲを例示している。拡張現実感処理部１４９が拡張現実感処理を実行することによって、利用者は、仮想オブジェクトを含んだ虚像ＶＩを視認する。図３（Ｂ）の例では、仮想オブジェクトＶＯ１は、外景ＳＣＮの現実世界の山（実オブジェクト）の近傍に表示された吹き出し形状の情報である。仮想オブジェクトＶＯ２は、外景ＳＣＮ内の現実世界の木（実オブジェクト）に重畳するように表示されたノート形状の情報である。仮想オブジェクトＶＯ３は、外景ＳＣＮの現実世界の道（実オブジェクト）の上に重畳するように配置されたリンゴの画像である。仮想オブジェクトＶＯ４は、リンゴの画像、すなわち、仮想オブジェクトＶＯ３の近傍に表示された吹き出し形状の情報である。このように、利用者は、虚像ＶＩに含まれる仮想オブジェクトＶＯ１〜ＶＯ４と、虚像ＶＩの背後に透過して見える外景ＳＣＮ内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。

Ａ−３．サーバーの構成：
図４は、サーバー３００の構成を機能的に示すブロック図である。図４に示すように、サーバー３００は、ＣＰＵ３１０と、記憶部３２０と、ＲＯＭ３３０と、ＲＡＭ３４０と、通信インターフェイス（Ｉ／Ｆ）３５０と、を備え、各部は図示しないバスにより相互に接続されている。

ＣＰＵ３１０は、記憶部３２０やＲＯＭ３３０に格納されているコンピュータープログラムをＲＡＭ３４０に展開して実行することにより、サーバー３００の各部を制御する。そのほか、ＣＰＵ３１０は、シナリオ登録部３１２、推奨シナリオ生成部３１４としても機能する。

シナリオ登録部３１２は、後述のシナリオ登録処理において、ＨＭＤ１００からシナリオを受信し、記憶部３２０に登録する。

推奨シナリオ生成部３１４は、後述のシナリオ表示処理において、ＨＭＤ１００からの要求に従って、記憶部３２０に記憶されている複数のシナリオから推奨シナリオを生成し、ＨＭＤ１００へ送信する。「推奨シナリオ」とは、ＨＭＤ１００によって指定された代表シナリオと、代表シナリオに付随するシナリオ（以降、「付随シナリオ」とも呼ぶ。）と、を組み合わせて生成された一連のシナリオである。

本実施形態において「代表シナリオ」とは、最終的な成果を得るためのシナリオを意味する。代表シナリオとしては、「タイの刺身」、「テニスのサーブ」等が例示される。代表シナリオは「特定された手順情報」として機能する。「付随シナリオ」とは、代表シナリオの前後に付随して実行すべきシナリオを意味する。付随シナリオのうち、代表シナリオの前に実行されるシナリオを「事前シナリオ」とも呼び、代表シナリオの後に実行されるシナリオを「事後シナリオ」とも呼ぶ。例えば、代表シナリオが「タイの刺身」である場合、事前シナリオとして「タイの３枚おろし」、事後シナリオとして「盛り付け」が例示される。例えば、代表シナリオが「テニスのサーブ」である場合、事前シナリオとして「テニスボールの選定」が例示される。付随シナリオ（事前シナリオ、事後シナリオ）は「付随手順情報」として機能する。

記憶部３２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部３２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部３２０には、シナリオ記憶部３２２が記憶されている。シナリオ記憶部３２２は、後述のシナリオ登録処理によって取得したシナリオを記憶しておくための領域である。詳細は後述する。

Ａ−４．シナリオ登録処理：
図５は、シナリオ登録処理の手順を示すシーケンス図である。シナリオ登録処理は、ＨＭＤ１００と、サーバー３００とが協働することによって実行される。シナリオ登録処理の開始トリガーは任意に定めることができる。例えば、ＨＭＤ１００のＯＳ１５０や特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。

ステップＳ１００においてＨＭＤ１００のモデル生成部１４２は、３Ｄモデルを生成する。具体的には、モデル生成部１４２は、以下の手順ａ１〜ａ５によって３Ｄモデルを生成する。

（ａ１）実演者の周囲に、１つ以上の可視光カメラと、１つ以上の測距センサーとを配置する。可視光カメラの撮像範囲と、測距センサーの検出範囲とは、予めキャリブレーションされている。この状態で、実演者は、３Ｄモデルを生成しようとする一連の動作を実演する。なお、可視光カメラは、被写体（実演者）を含む所定の外景を撮像するカメラである。測距センサーは、例えば、無数の赤外線を照射し、照射した赤外線を赤外線カメラ（または赤外線受光部）によって取得することによって、対象までの距離を測定することのできる深度センサーである。可視光カメラと、測距センサーとの個数は、多ければそれだけ精度が向上するため好ましい。なお、測距センサーに代えて、２つ以上の可視光カメラを用いて、対象までの距離を測定してもよい。また、測距センサーと２つ以上の可視光カメラとを、実演時の環境（外光の状況）に応じて使い分けてもよい。

（ａ２）モデル生成部１４２は、可視光カメラによる撮像データーと、測距センサーによる測定データーとを取得する。

（ａ３）モデル生成部１４２は、取得したデーターに基づいて、少なくとも、実演者およびその周囲の実オブジェクトを表す３Ｄモデルを生成する。具体的には、３Ｄモデル生成部１４２は、測距センサーの測定データーに基づいて、可視光カメラの撮像範囲内のオブジェクトの形状を取得し、オブジェクトの境界線を検出することで、３Ｄモデルの輪郭を生成する。また、３Ｄモデル生成部１４２は、可視光カメラの撮像データー内のＲＧＢ値に基づいて、生成した３Ｄモデルの輪郭内部を着色する。

（ａ４）３Ｄモデル生成部１４２は、手順ａ３で生成した３Ｄモデルと、手順ａ３で検出したオブジェクトの境界線と、を用いて、３Ｄモデル内で、連続した境界を持つオブジェクトを「１つの物体」として関連付ける。また、３Ｄモデル生成部１４２は、予め記憶されている人体のパーツ（例えば、手、足、頭等）のモデルを用いて、パターンマッチングや統計的識別法による比較を行うことで、１つの物体と識別されたオブジェクトの集合を「人体」と認識する。

（ａ５）３Ｄモデル生成部１４２は、手順ａ３で生成した３Ｄモデルのデーターと、手順ａ３で検出したオブジェクトの境界線を表す境界線データーと、手順ａ４による１つの物体であることの関連付けデーターと、手順ａ４による人体であることの関連付けデーターとをセットにして「３Ｄモデルのデーター」とする。

図６は、生成された３Ｄモデルの一例を示す図である。図６の例では、手順ａ１〜ａ５の結果として生成された「テニスのサーブ」についての連続的な一連の動作の３Ｄモデルを図示している。図６の一連の動作とは、時刻ｔ１のボールトス動作、時刻ｔ２〜ｔ４のバックスイング動作、時刻ｔ５のインパクト動作、時刻ｔ６、ｔ７のフォロースルー動作である。３Ｄモデルには、実演者ＵＲのほかに、テニスラケットＯＢ１、テニスボールＯＢ２、コートＯＢ３といった、実演者の周囲の実オブジェクトも３Ｄモデル化され、含まれている。なお、３Ｄモデル生成部１４２によって生成される３Ｄモデルは、３Ｄモデルのデーターと、境界線データーと、物体および人体の関連付けデーターと、のうち、不要な部分（例えば、背景、動きのないオブジェクト等）が削除されていてもよい。また、３Ｄモデルは、例えばパラパラ漫画のような、一定間隔を置いて不連続的に表された一連の動作についての３Ｄモデルであってもよい。３Ｄモデルには、例えば、時系列的に変化するアイコン画像や、ポップアップ画像や、その他のモデル、画像、文字列図形記号等、音声、その他の任意のデーター等が含まれてもよい。

図７は、生成された３Ｄモデルの他の例を示す図である。図７の例では、手順ａ１〜ａ５の結果として生成された「タイの３枚おろし」についての一連の動作の３Ｄモデルのうち、時刻ｔ３の３Ｄモデルのみを図示している。３Ｄモデルには、実演者ＵＲのほかに、流し台ＯＢ１、包丁ＯＢ２、計量カップＯＢ３、タイＯＢ４、うろこ取りＯＢ５、まな板ＯＢ６、ボウルＯＢ７、布巾ＯＢ８、塩ＯＢ９、胡椒ＯＢ１０といった実演者の周囲の実オブジェクトも３Ｄモデル化され、含まれている。

図８は、シナリオの一例を示す図である。図５のステップＳ１０２において生成部１４４は、ステップＳ１００で生成された３Ｄモデルに対してタグ情報を付与する。「タグ情報」とは、３Ｄモデル化された一連の動作手順に関する情報であり、例えば、以下の要素ｅ１〜ｅ６の少なくともいずれか１つを含むことができる（図８）。

（ｅ１）カテゴリーに関する情報
（ｅ２）出所に関する情報
（ｅ３）実現条件に関する情報
（ｅ４）評価に関する情報
（ｅ５）参考に資する情報
（ｅ６）編集に関する情報

要素ｅ１の「カテゴリーに関する情報」は、当該シナリオが、どのようなカテゴリーに属するかを表す情報である。カテゴリーに関する情報は、１つ以上のサブカテゴリーを含んでいてもよい。カテゴリーに関する情報は、例えば、シナリオが「料理」である場合、料理名、調理手順内におけるステップ（準備、下ごしらえ、調理、盛り付け等）等のうちの、少なくとも１つを含むことができる。シナリオが「工場作業」である場合、品番、品名、工程（モデリング、準備、加工、検査等）名等のうちの、少なくとも１つを含むことができる。

図５のステップＳ１０２において生成部１４４は、実演者ＵＲから指定されたカテゴリーを取得し、要素ｅ１の値とすることができる。ステップＳ１０２において生成部１４４は、ステップＳ１００で生成された３Ｄモデルと、記憶部１２０に予め記憶されているカテゴリーと実オブジェクトとの対応付けと、を用いて、パターンマッチングや統計的識別法による比較を行うことで、自動的に要素ｅ１の値を求めてもよい。この際、生成部１４４は、さらに、比較の結果として求められた複数の実オブジェクトから「実オブジェクトの動きの有無」を用いて、カテゴリーとすべき実オブジェクトを抽出してもよい。ステップＳ１０２において生成部１４４は、一連の動作の実演（手順ａ１）と同時に、または実演後において、マイク６２により取得された実演者の発声内容をテキスト変換して、自動的に要素ｅ１の値を求めてもよい。図８の例では、シナリオＳＣは、「料理」カテゴリーの、「タイ」サブカテゴリーの、「３枚におろす」サブカテゴリーに属する。

要素ｅ２の「出所に関する情報」は、当該シナリオの作成者、または、実演者（３Ｄモデルの元となった人物）についての情報である。出所は、個人、企業どちらでもよい。出所に関する情報は、１つ以上の任意の項目を含むことができる。出所に関する情報は、例えば、作成者を識別するための識別子（ユーザーＩＤ）、作成者の名称、熟練度、年齢、性別、身長、体重、所属、経験年数等のうちの、少なくとも１つを含むことができる。

図５のステップＳ１０２において生成部１４４は、記憶部１２０のユーザー情報記憶部１２４に格納されている情報を取得し、要素ｅ２の値とすることができる。図８の例では、シナリオＳＣの出所は、ユーザーＩＤ「ＸＸＸ」の、「あけみ」という「女性」である。本実施形態において「Ｘ」は、任意の文字を指す。以降同様である。

要素ｅ３の「実現条件に関する情報」は、当該シナリオを実現するために必要となる条件についての情報である。実現条件に関する情報は、１つ以上の任意の項目を含むことができる。実現条件に関する情報は、例えば、使用されている道具、器具、工具、設備、天候、気温、湿度、地面の状況等のうちの、少なくとも１つを含むことができる。

図５のステップＳ１０２において生成部１４４は、ステップＳ１００において生成された３Ｄモデルと、記憶部１２０に予め記憶されている実オブジェクトと実オブジェクトの名称との対応付けと、を用いて、パターンマッチングや統計的識別法による比較を行うことで、自動的に要素ｅ３の値を求めてもよい。ステップＳ１０２において生成部１４４は、一連の動作の実演（手順ａ１）と同時に、または実演後において、マイク６２により取得された実演者の発声内容をテキスト変換して、自動的に要素ｅ３の値を求めてもよい。図８の例では、シナリオＳＣの実現条件に関する情報は、「包丁」と「まな板」と「うろこ取り」である。

要素ｅ４の「評価に関する情報」は、当該シナリオの一連の動作の結果を表す情報である。結果に関する情報はどのようなものでもよい。評価に関する情報は、例えば、実演者による自己採点の結果、実演者とは異なる第三者による採点の結果、測定結果（飛距離、寸法、重量等）、試験結果（合格、不合格、歩留まり）等のうちの、少なくとも１つを含むことができる。

図５のステップＳ１０２において生成部１４４は、実演者ＵＲによる入力内容を取得し、要素ｅ４の値とすることができる。ステップＳ１０２において生成部１４４は、一連の動作の実演（手順ａ１）と同時に、または実演後において、マイク６２により取得された実演者の発声内容をテキスト変換して、自動的に要素ｅ４の値を求めてもよい。図８の例では、シナリオＳＣの評価に関する情報は「７０点」である。

要素ｅ５の「参考に資する情報」は、当該シナリオを実施する際において、実施者の参考に資するための情報である。参考に資する情報はどのようなものでもよい。参考に資する情報は、例えば、ＷＥＢ（World Wide Web）ページのＵＲＬ（Uniform Resource Locator）、実現条件に関する情報に含まれる物品を購入することのできる店舗等の場所、実現条件に関する情報に含まれる物品の選定方法、シナリオＳＣを実行するために参考にすべき他のシナリオを特定するための情報等のうちの、少なくとも１つを含むことができる。

図５のステップＳ１０２において生成部１４４は、実演者ＵＲによる入力内容を取得し、要素ｅ５の値とすることができる。ステップＳ１０２において生成部１４４は、一連の動作の実演（手順ａ１）と同時に、または実演後において、マイク６２により取得された実演者の発声内容をテキスト変換して、自動的に要素ｅ５の値を求めてもよい。図８の例では、シナリオＳＣの参考に資する情報は「http://www.XXX.XXX.com」というＷＥＢページである。

要素ｅ６の「編集に関する情報」は、当該シナリオの編集についての情報である。編集についての情報はどのようなものでもよい。編集に関する情報は、例えば、シナリオ作成日時、シナリオ内の３Ｄモデルの分割についての情報等のうちの、少なくとも１つを含むことができる。

図５のステップＳ１０２において生成部１４４は、現在日時を取得し、要素ｅ６の値とすることができる。図８の例では、シナリオＳＣの編集に関する情報は「２０１４／１１／１０ １５：１０」である。

図５のステップＳ１０４において生成部１４４は、ステップＳ１００で生成された３Ｄモデルに対してセンサー検出値（要素ｅ８）と、付加情報（要素ｅ９）とを付与する。センサーの検出値と、付加情報とは、３Ｄモデルに付随する時系列的な情報である。

まず、生成部１４４は、一連の動作の実演（手順ａ１）時における種々のセンサーの検出値を取得する。種々のセンサーとは、例えば、ジャイロセンサー、加速度センサー、地磁気センサー、モーションセンサー（ジャイロ、加速度、地磁気を全て搭載したセンサー）、生体情報取得センサー（筋力を取得するセンサー、脈拍を取得するセンサー、発汗状態を取得するセンサー、血液の流れを取得するセンサー等）、光センサー、赤外線センサー、超音波センサー、ガス検知センサー、イオンセンサー、バイオセンサー、温度センサー、湿度センサー等である。これらのセンサーは、実演者の周囲に予め配置されていてもよい。これらのセンサーは、例えば、実演者が身に着けることが可能な装置（例えば、ＨＭＤ１００、時計、腕輪、指輪等）内に配置されていてもよい。生成部１４４は、取得したセンサーの検出値を、３Ｄモデルに付随する情報として関連付ける。

次に生成部１４４は、付加情報を取得し、取得した付加情報を３Ｄモデルに付随する情報として関連付ける。「付加情報」とは、一連の動作に付加するための情報、換言すれば、一連の動作の解説である。付加情報は、文字データーでもよいし、音声データーでもよいし、画像データーでもよい。生成部１４４は、以下の手順ｂ１またはｂ２のいずれかを用いて、付加情報を取得することができる。

（ｂ１）実演者がリアルタイムに付加情報を入力する場合：実演者は、一連の動作の実演（手順ａ１）と同時に、一連の動作についての解説を口述する。生成部１４４は、実演者がＨＭＤ１００を身に着けている場合はマイク６２によって取得された発声内容を取得し、実演者がＨＭＤ１００とは別のマイクを身に着けている場合は、当該マイクによって取得された発声内容を取得する。生成部１４４は、取得した発声内容を音声データーとして、または音声認識によりテキスト変換した文字データーとして、発声の開始時刻と共に３Ｄモデルに関連付ける。

（ｂ２）実演後に付加情報を入力する場合：実演者は、一連の動作の実演（手順ａ１）後、マイクやキーボード等の入力手段を用いて、一連の動作についての解説を入力する。この際、実演者は、３Ｄモデルのデーターを再生しつつ、どの時点の解説を入力するかを都度指定する。生成部１４４は、入力された音声データー、文字データー、画像データーを、指定された時刻と共に３Ｄモデルに関連付ける。

図８の例では、シナリオＳＣのセンサー検出値として、実演者ＵＲがタイを３枚におろす、という一連の動作の間に、モーションセンサーによって検出された検出データーが記憶される。なお、要素ｅ８には複数のセンサーの検出値が記憶されていてもよい。また、図８の例では、シナリオＳＣの付加情報として、開始直後（時刻０：００）に「タイの頭の部分を利き手とは反対側の手でおさえます」と表示し、開始１０秒後に「利き手にうろこ取りを持ち、尾の部分からうろこを剥ぎます」と表示し、開始１分後に「流水でうろこを洗い流します」と表示する旨が記憶される。なお、シナリオＳＣの付加情報は、図８のように時間に対応付けられていてもよいし、実オブジェクトの状態（タイのうろこのとれ具合）に対応付けられていてもよいし、利用者の動作（手の動きや体の動き）に対応付けられていてもよい。

図５のステップＳ１０６において生成部１４４は、ステップＳ１００で生成された３Dモデルに対して表示制御情報（要素ｅ１０）を付与する。「表示制御情報」には、（ｃ１）当該シナリオが代表シナリオであるか否かを表す情報と、（ｃ２）代表シナリオである場合、事前シナリオを特定するための情報と、（ｃ３）代表シナリオである場合、事後シナリオを特定するための情報と、が含まれている。生成部１４４は、実演者ＵＲから上記ｃ１〜ｃ３を取得し、３Ｄモデルに関連付ける。図８の例では、シナリオＳＣは代表シナリオではないため「非代表シナリオ」と記憶される。

図５のステップＳ１０８において生成部１４４は、ステップＳ１００〜Ｓ１０６を経て生成したシナリオを、記憶部１２０のシナリオ記憶部１２２に記憶させる。ステップＳ１１０において生成部１４４は、ステップＳ１００〜Ｓ１０６を経て生成したシナリオを、サーバー３００へ送信する。

ステップＳ１１２においてサーバー３００のシナリオ登録部３１２は、ＨＭＤ１００から送信されたシナリオを受信する。シナリオ登録部３１２は、受信したシナリオに対して一意な識別子を付し、記憶部３２０のシナリオ記憶部３２２に記憶させる。

図９は、サーバー３００のシナリオ記憶部３２２の一例を示す図である。上述のようにして、サーバー３００のシナリオ記憶部３２２には、様々な利用者から送信された複数のシナリオが予め記憶されている。各シナリオには、相互を識別するために、シナリオ登録処理のステップＳ１１２によって、一意な識別子（ＩＤ）が付与されている。この結果、例えば、シナリオ記憶部３２２には、識別子００３のシナリオと識別子００４のシナリオのように、同一のカテゴリーを持つものの、実現条件や評価等が異なる複数のシナリオが存在する。

以上のように、本実施形態のシナリオ登録処理によれば、頭部装着型表示装置（ＨＭＤ１００）において、一連の動作手順を表す仮想オブジェクトの元となるモデル（３Ｄモデル）と、一連の動作手順に関するタグ情報（要素ｅ１〜ｅ６）と、を含んだ手順情報（シナリオ）を生成することができる。また、ＨＭＤ１００の生成部１４４は、モデルの生成中において取得された情報（発声内容）と、予め準備されている情報（ユーザー情報記憶部１２４の利用者に関する情報）と、を用いて、手順情報に含めるタグ情報を自動的に抽出することができる。

Ａ−５．シナリオ表示処理：
図１０は、シナリオ表示処理の手順を示すシーケンス図である。シナリオ表示処理は、ＨＭＤ１００と、サーバー３００とが協働することによって実行される。シナリオ表示処理の開始トリガーは任意に定めることができる。例えば、ＨＭＤ１００のＯＳ１５０や特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。

ステップＳ２００においてＨＭＤ１００の特定部１４６は、サーバー３００に対してタグ情報の一覧の取得要求を送信する。ステップＳ２０２においてサーバー３００の推奨シナリオ生成部３１４は、シナリオ記憶部３２２に記憶されている代表シナリオのタグ情報の一覧を、シナリオのＩＤと共にＨＭＤ１００へ送信する。ここで、シナリオ記憶部３２２に記憶されている代表シナリオとは、シナリオ記憶部３２２において代表欄が「１」のシナリオを意味する。

以降、特定部１４６は、ステップＳ２１０〜Ｓ２４２の処理によって、ステップＳ２０２で取得した一覧から、１つの代表シナリオを特定する。特定部１４６は、ステップＳ２１０〜Ｓ２１４による特定方法ｄ１と、ステップＳ２２０による特定方法ｄ２と、ステップＳ２３０〜Ｓ２３２による特定方法ｄ３と、ステップＳ２４０〜Ｓ２４２による特定方法ｄ４とを、選択的に実行する。どの特定方法を実行するかは、利用者の指定に依拠してもよく、事前の設定に依拠してもよく、ＨＭＤ１００において起動されているアプリケーションの種類に依拠してもよい。

（ｄ１）ステップＳ２１０において特定部１４６は、カメラ６１によって撮像された外景画像を取得する。ステップＳ２１２において特定部１４６は、取得した外景画像を画像認識し、外景画像に含まれる実オブジェクト（現実世界に実在するオブジェクト）を抽出する。特定部１４６は、記憶部１２０に予め記憶されている実オブジェクトと実オブジェクトの名称との対応付けを用いて、抽出された実オブジェクトの名称を取得する。ステップＳ２１４において特定部１４６は、取得した実オブジェクトの名称と、ステップＳ２０２で取得したタグ情報の実現条件と、を照合する。特定部１４６は、照合の結果、最も一致率の高い代表シナリオを１つ特定する。なお、特定部１４６は、実オブジェクトの名称と他のタグ情報（例えば、出所、実現条件、評価等）を照合してもよい。

このように、ステップＳ２１０〜Ｓ２１４によれば、特定部１４６は、利用者の視界方向の外景画像から、利用者の視界方向の現実世界に実在する実オブジェクトを取得し、取得した実オブジェクトとタグ情報（実現条件）とを照合することで、手順情報（代表シナリオ）を特定することができる。すなわち、特定部１４６は、利用者が実際に目にしているであろうと推定される実オブジェクトに基づいて、手順情報を特定することができる。

（ｄ２）図１１は、選択画面の一例を示す図である。図１０のステップＳ２２０において特定部１４６は、利用者が代表シナリオを選択するための画面（以降、「選択画面」とも呼ぶ。）を生成し、画像表示部２０に表示させる。特定部１４６が生成する選択画面は、ステップＳ２０２で取得されたタグ情報を、大、中、小の各カテゴリー単位で名称を基準としてマージし、図１１に示すようなツリー構造とすることが好ましい。このようにすれば、利用者は、簡単に所望の代表シナリオを指定することができる。特定部１４６は、利用者によって指定された１つの代表シナリオを特定する。

このように、ステップＳ２２０によれば、特定部１４６は、利用者の意図に基づいて、手順情報（代表シナリオ）を特定することができる。また、特定部１４６は、画像表示部２０にタグ情報（大、中、小カテゴリー）の一覧を表す虚像ＶＩを形成させるため、利用者がタグ情報を指定する際の利便性を向上させることができる。

（ｄ３）ステップＳ２３０において特定部１４６は、利用者がキーワードを入力するための画面（以降、「入力画面」とも呼ぶ。）を生成し、画像表示部２０に表示させる。特定部１４６は、入力画面に入力されたキーワードを取得する。ステップＳ２３２において特定部１４６は、取得したキーワードと、ステップＳ２０２で取得したタグ情報のカテゴリー（大、中、小カテゴリー）と、を照合する。特定部１４６は、照合の結果、最も一致率の高い代表シナリオを１つ特定する。なお、特定部１４６は、キーワードと他のタグ情報（例えば、実現条件、評価等）を照合してもよい。

このように、ステップＳ２３０〜Ｓ２３２によれば、特定部１４６は、利用者の意図に基づいて、手順情報（代表シナリオ）を特定することができる。また、特定部１４６は、利用者からのキーワードに基づいて手順情報を特定することができるため、利用者における入力の自由度を高めることができる。

（ｄ４）ステップＳ２４０において特定部１４６は、音声認識機能を起動させ、マイク６２により取得された発声内容を音声認識する。ステップＳ２４２において特定部１４６は、発声内容と、ステップＳ２０２で取得したタグ情報のカテゴリー（大、中、小カテゴリー）と、を照合する。特定部１４６は、照合の結果、最も一致率の高い代表シナリオを１つ特定する。なお、特定部１４６は、発声内容と他のタグ情報（例えば、出所、実現条件、評価等）を照合してもよい。

このように、ステップＳ２４０〜Ｓ２４２によれば、特定部１４６は、利用者の意図に基づいて、手順情報（代表シナリオ）を特定することができる。また、特定部１４６は、利用者の発声内容に基づいて手順情報を特定することができるため、利用者における利便性を向上させることができる。

以上のように、特定方法ｄ１〜ｄ４によれば、特定部１４６は、一連の動作手順に関する種々の情報（カテゴリー、出所、実現条件、評価等）を考慮して、手順情報（代表シナリオ）を特定することができる。出所に関する情報を考慮して手順情報を特定する場合、特定部１４６は、例えば、確かな出所（例えば、有名な人物、有名な企業等）からの手順情報を優先することができる。実現条件に関する情報を考慮して手順情報を特定する場合、特定部１４６は、例えば、利用者が準備可能な実現条件に即した実現条件を有する手順情報を優先することができる。評価に関する情報を考慮して手順情報を特定する場合、特定部１４６は、例えば、評価の高い手順情報を優先することができる。

ステップＳ２５０において取得部１４８は、ステップＳ２１０〜Ｓ２４２によって特定された代表シナリオのＩＤと、付随シナリオの特定条件と、をサーバー３００へ送信する。付随シナリオの特定条件とは、サーバー３００が、事前シナリオと事後シナリオとを選択する際に、基準とすべき条件である。取得部１４８は、例えば、以下のｆ１〜ｆ４に列挙する条件を採用することができる。条件ｆ１〜ｆ４は単独で採用されてもよく、組み合わせて採用されてもよい。また、事前シナリオ用と事後シナリオ用に別々の条件が指定されてもよい。

（ｆ１）出所に関する情報を用いた条件：
本条件を採用する場合、取得部１４８は、出所の照合に用いるための情報（例えば、シナリオ作者の名前等）を、付随シナリオの特定条件としてサーバー３００へ送信する。本条件を採用すれば、サーバー３００での推奨シナリオの生成において、確かな出所（例えば、有名な人物、有名な企業等）からの手順情報（事前シナリオ、事後シナリオ）が優先され得る。

（ｆ２）実現条件に関する情報を用いた条件：
本条件を採用する場合、取得部１４８は、実現条件の照合に用いるための情報（例えば、ステップＳ２１０〜２１２と同様の処理を経て取得された、利用者の視界方向の現実世界に実在する実オブジェクトの名称等）を、付随シナリオの特定条件としてサーバー３００へ送信する。本条件を採用すれば、サーバー３００での推奨シナリオの生成において、利用者が準備可能な実現条件に即した実現条件を有する手順情報（事前シナリオ、事後シナリオ）が優先され得る。

（ｆ３）評価に関する情報を用いた条件：
本条件を採用する場合、取得部１４８は、評価の照合に用いるための情報（例えば、最も評価が高いシナリオを採用する旨等）を、付随シナリオの特定条件としてサーバー３００へ送信する。本条件を採用すれば、サーバー３００での推奨シナリオの生成において、評価の高い手順情報（事前シナリオ、事後シナリオ）が優先され得る。

（ｆ４）利用者の指示に基づく条件：
本条件を採用する場合、取得部１４８は、利用者による指示を取得し、取得した指示内容を付随シナリオの特定条件としてサーバー３００へ送信する。取得部１４８は、利用者による指示を取得するために、カメラ６１を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられた入力内容を取得してもよく、マイクから入力された利用者の発声内容を音声認識してもよい。本条件を採用すれば、サーバー３００での推奨シナリオの生成において、利用者の意図に即した手順情報（事前シナリオ、事後シナリオ）が優先され得る。

ステップＳ２５１においてサーバー３００の推奨シナリオ生成部３１４は、代表シナリオのＩＤと、付随シナリオの特定条件とを取得する。推奨シナリオ生成部３１４は、取得したＩＤを元にシナリオ記憶部３２２を検索し、代表シナリオを取得する。

ステップＳ２５２において推奨シナリオ生成部３１４は、タグ情報を考慮して、シナリオ記憶部３２２から事前シナリオを特定する。具体的には、推奨シナリオ生成部３１４は、以下のｇ１〜ｇ３の手順を実行する。

（ｇ１）推奨シナリオ生成部３１４は、ステップＳ２５１で取得した代表シナリオの「事前シナリオ」を参照する。
（ｇ２）推奨シナリオ生成部３１４は、シナリオ記憶部３２２を検索し、事前シナリオにおいて指定されている小カテゴリーを有し、かつ、ステップＳ２５１で取得した付随シナリオの特定条件を有するシナリオを１つ特定する。
（ｇ３）推奨シナリオ生成部３１４は、手順ｇ１において事前シナリオが複数指定されている場合（例えば、図９のＩＤ：００１）、全ての事前シナリオについて、手順ｇ２を繰り返す。

ステップＳ２５４において推奨シナリオ生成部３１４は、タグ情報を考慮して、シナリオ記憶部３２２から事後シナリオを特定する。具体的には、推奨シナリオ生成部３１４は、上述した手順ｇ１〜ｇ３を実行する。この際「事前シナリオ」との説明は「事後シナリオ」と読み替える。

ステップＳ２５６において推奨シナリオ生成部３１４は、ステップＳ２５２で特定した事前シナリオと、ステップＳ２５１で取得した代表シナリオと、ステップＳ２５４で特定した事後シナリオと、を組み合わせて推奨シナリオを生成する。ステップＳ２５８において推奨シナリオ生成部３１４は、生成した推奨シナリオをＨＭＤ１００へ送信する。

ステップＳ２６０においてＨＭＤ１００の取得部１４８は、推奨シナリオを取得する。取得部１４８は、取得した推奨シナリオを拡張現実感処理部１４９へ送信し、画像表示部２０に表示させる。具体的には、拡張現実感処理部１４９は、以下のｈ１〜ｈ３の手順を実行する。

（ｈ１）拡張現実感処理部１４９は、カメラ６１により撮影された外景画像を取得する。
（ｈ２）拡張現実感処理部１４９は、手順ｈ１で取得した外景画像に含まれる実オブジェクトの中から、推奨シナリオの仮想オブジェクト（図８、要素ｅ７）に対応付けられた実オブジェクト（以降、「対象オブジェクト」とも呼ぶ。）を検出する。この検出のために、拡張現実感処理部１４９は、実オブジェクトを特定するための情報（例えば名称）と仮想オブジェクトを特定するための情報とを対応付けたテーブルを利用してもよい。このテーブルは、予めＨＭＤ１００の記憶部１２０に記憶されている。このテーブルは、カメラ６１により撮影された外景画像を用いた画像認識によって拡張現実感処理部１４９が自動的に生成してもよい。また、ＨＭＤ１００の利用者によって生成または編集されてもよい。拡張現実感処理部１４９は、利用者によるテーブルの生成または編集を可能とするために、カメラ６１を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよく、マイクから入力された利用者の発声内容を音声認識してもよい。また、拡張現実感処理部１４９は、外景画像に含まれる実オブジェクトの中の特定のオブジェクト（例えば、利用者が手に持っている実オブジェクト）に限って、手順ｈ２の検出対象としてもよい。このようにすれば、拡張現実感処理部１４９は、効率よく実オブジェクトの検出をすることができる。

（ｈ３）拡張現実感処理部１４９は、対象オブジェクトの位置を取得する。ここで、「位置」とは、利用者からの距離、および、利用者の視界内における水平方向および鉛直方向の位置を含む。この際、拡張現実感処理部１４９は、カメラ６１により取得された１枚以上の外景画像と、図示しない各種のセンサー（例えば、深度センサー、測距センサー等）とを併用して、対象オブジェクトの位置を算出することができる。

（ｈ４）拡張現実感処理部１４９は、手順ｈ３で取得した対象オブジェクトの位置に合わせて、推奨シナリオの仮想オブジェクト（図８、要素ｅ７）と、付加情報（図８、要素ｅ９）と、を配置した画像データーを生成する。この位置合わせの際、拡張現実感処理部１４９は、対象オブジェクトの特徴部（エッジ等）を利用してもよいし、対象オブジェクトに付されたマーカー等の目印を利用してもよい。また、拡張現実感処理部１４９は、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。また、拡張現実感処理部１４９は、推奨シナリオのうち、代表シナリオと、付随シナリオと、のうちのいずれか一方について、画像データーに対する仮想オブジェクト（または付加情報）の配置を省略してもよい。具体的には、例えば、付随シナリオについては、仮想オブジェクトの配置を省略して付加情報のみを配置してもよい。こうすれば、付随シナリオについての案内を簡略化することができる。

（ｈ５）拡張現実感処理部１４９は、生成した画像データーに基づく画像を、画像処理部１６０へ送信し、画像表示部２０の光学像表示部２６、２８に表示させる。

このようにして、ＨＭＤ１００の利用者は、現実世界に存在する実オブジェクトと、光学像表示部２６、２８に虚像として表示されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。また、本実施形態の仮想オブジェクトは、利用者に対して一連の動作手順を教示するために用いられる情報である。このため、本実施形態のシナリオ表示処理によれば、ＨＭＤ１００の利用者に対して、拡張現実感の技術を利用した作業支援を提供することができる。

以上のように、本実施形態のシナリオ表示処理によれば、ＨＭＤ１００の取得部１４８は、サーバー３００から取得した手順情報（代表シナリオ）と付随手順情報（付随シナリオ：事前シナリオ、事後シナリオ）とのうちの少なくとも一方に含まれている仮想オブジェクトを表す虚像を画像表示部２０に形成させる。このため、頭部装着型表示装置（ＨＭＤ１００）において、拡張現実感の技術を用いた作業支援を実現することができる。

さらに、ＨＭＤ１００の取得部１４８は、特定部１４６によって特定された少なくとも１つの手順情報（代表シナリオ）と、特定された手順情報に付随する付随手順情報（付随シナリオ：事前シナリオ、事後シナリオ）と、を取得する。付随手順情報は、特定された手順情報の前後のうちの少なくともいずれか一方に付随する手順情報であり、換言すれば、特定された手順情報に関連する手順情報である。このため、頭部装着型表示装置（ＨＭＤ１００）において、１つの動作手順（特定された手順情報）と、当該動作手順に関連する動作手順（付随手順情報）と、からなる一連の動作手順の教示を実現することができる。

さらに、本実施形態のシナリオ表示処理によれば、ＨＭＤ１００の特定部１４６は、一連の動作手順（シナリオ）に関する情報であるタグ情報を用いて、複数の手順情報（シナリオ記憶部３２２）の中から少なくとも１つの手順情報（代表シナリオ）を特定することができる。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１:
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

例えば、画像表示システム内における機能部の配置は、任意に変更可能である。例えば、サーバーが備えると説明した機能部（シナリオ登録部、推奨シナリオ生成部、シナリオ記憶部）のうちの少なくとも一部または全部は、ＨＭＤに備えられていてもよい。同様に、ＨＭＤが備えると説明した機能部（モデル生成部、生成部、特定部、取得部、拡張現実感処理部）のうちの少なくとも一部または全部は、サーバーに備えられていてもよい。

例えば、画像表示システムは、ＨＭＤと、サーバーとを備える構成とした。しかし、画像表示システムの構成要素はあくまで例示であり、任意に変更することができる。例えば、サーバーを省略し、全ての機能をＨＭＤに搭載してもよい。例えば、ＨＭＤに代えて、スマートフォン等の携帯端末を表示装置として採用してもよい。例えば、例示しない他の構成要素（例えば、ルーターやアクセスポイント等のネットワーク装置等）を備えていてもよい。例えば、サーバーは、ＨＭＤと同一ＬＡＮ内に配置されていてもよい。

・変形例２：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における制御部と画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。
（i）制御部にＣＰＵやメモリー等の処理機能を搭載し、画像表示部には表示機能のみを搭載する態様
（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様
（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）
（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様
（ｖ）制御部と画像表示部とを無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続し、接続部（コード）を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部の送信部（Ｔｘ）および画像表示部の受信部（Ｒｘ）は、いずれも、双方向通信が可能な機能を備えており送受信部として機能してもよい。例えば、制御部が備えるとした操作用インターフェイス（各種キーやトラックパッド等）の一部を省略してもよい。例えば、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。例えば、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

図１２は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１２（Ａ）の画像表示部２０ｘは、右光学像表示部２６ｘおよび左光学像表示部２８ｘを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め上にそれぞれ配置されている。図１２（Ｂ）の画像表示部２０ｙは、右光学像表示部２６ｙおよび左光学像表示部２８ｙを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。

例えば、制御部が備えるとした各処理部（例えば画像処理部、表示制御部、モデル生成部、生成部、特定部、取得部、拡張現実感処理部等）は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。例えば、利用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。例えば、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。

例えば、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）を採用してもよい。この場合も、制御部と画像表示部との間の接続は、有線、無線どちらでもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。例えば、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を採用してもよい。例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。

例えば、画像光生成部は、上述した構成部（バックライト、バックライト制御部、ＬＣＤ、ＬＣＤ制御部）と共に、または、上述した構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備えていてもよい。例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を備えていてもよい。例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・変形例３：
上記実施形態では、シナリオ登録処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

例えば、ステップＳ１０２で付与するとしたタグ情報の一部に対して、追加・削除・変換等を行ってもよい。例えば、要素ｅ１のカテゴリーに関する情報のサブカテゴリーの数は任意に決めることができ、サブカテゴリー自体を省略してもよい。例えば、要素ｅ２〜ｅ６の各情報は、文字列、画像等のあらゆる形式のデーターによって実現されてもよい。

例えば、ステップＳ１０４、Ｓ１０６は省略してもよい。ステップＳ１０６が省略された場合、サーバーにシナリオが登録された後において、サーバーの管理者が要素ｅ１０（表示制御情報）を登録してもよい。

例えば、ステップＳ１００、Ｓ１０２、Ｓ１０４、Ｓ１０６の実行順序は、入れ替えられてもよい。

・変形例４：
上記実施形態では、シナリオ表示処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

例えば、特定部は、タグ情報を利用せずに、シナリオを特定してもよい。この場合、例えば、ステップＳ２００〜Ｓ２４２に代えて、次のステップを実行する。特定部は、サーバーからシナリオ記憶部に記憶されている全てのシナリオを取得する。特定部は、画像表示部に取得したシナリオを一覧表示させ、利用者から、少なくとも１つのシナリオの選択を取得する。一覧表示の際は、図１１と同様に、ツリー表示させてもよい。

例えば、ステップＳ２１０〜Ｓ２１４と、ステップＳ２２０と、ステップＳ２３０〜Ｓ２３２と、ステップＳ２４０〜Ｓ２４２とは、その一部の機能のみがＨＭＤに搭載されていてもよい。

例えば、ステップＳ２１０〜Ｓ２１４と、ステップＳ２２０と、ステップＳ２３０〜Ｓ２３２と、ステップＳ２４０〜Ｓ２４２とにおいてＨＭＤは、複数の代表シナリオを特定してもよい。この場合、ステップＳ２５０においてＨＭＤは、特定した複数の代表シナリオのＩＤをサーバーへ送信する。サーバーは、受信した複数の代表シナリオについて、それぞれ付随シナリオ（事前シナリオ、事後シナリオ）を特定し、複数の推奨シナリオを生成し、ＨＭＤへ送信すればよい。

例えば、サーバーは、付随シナリオ（事前シナリオ、事後シナリオ）を省略してもよい。この場合、サーバーは、ＨＭＤから指定された代表シナリオをシナリオ記憶部から取得し、そのまま推奨シナリオとしてＨＭＤへ送信すればよい。

例えば、上記実施形態のシナリオ表示処理およびシナリオ登録処理において「実オブジェクトの名称」との記載を用いて説明した部分について、実オブジェクトの名称に代えて実オブジェクトの特徴部を用いて処理を実施してもよい。

・変形例５：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１…画像表示システム
１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（画像取得部）
６２…マイク（音取得部）
６６…９軸センサー
１１０…入力情報取得部
１００…ＨＭＤ（頭部装着型表示装置）
１２０…記憶部
１２２…シナリオ記憶部
１２４…ユーザー情報記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４２…モデル生成部
１４４…生成部
１４６…特定部
１４８…取得部
１４９…拡張現実感処理部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…サーバー
３１０…ＣＰＵ
３１２…シナリオ登録部
３１４…推奨シナリオ生成部
３２０…記憶部
３２２…シナリオ記憶部
３３０…ＲＯＭ
３４０…ＲＡＭ
３５０…通信インターフェイス
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＶＩ…虚像
ＶＲ…視野
ＲＥ…右眼
ＬＥ…左眼
ＥＲ…端部
ＥＬ…端部
ＢＳ…通信キャリア
ＶＯ１〜ＶＯ４…仮想オブジェクト
ＯＢ１〜ＯＢ１０…実オブジェクト
ＳＣ…シナリオ
ＩＮＴ…インターネット

Claims (12)

1. 利用者が虚像と外景とを視認可能な頭部装着型表示装置であって、
   前記利用者に前記虚像を視認させる画像表示部と、
   現実世界に実在する実オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定部であって、予め用意された複数の前記手順情報の中から、少なくとも１つの前記手順情報を特定する特定部と、
   特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得し、取得した前記手順情報と前記付随手順情報とのうちの少なくとも一方に含まれている、前記現実世界に付加して表示するための仮想オブジェクトを表す前記虚像を前記画像表示部に形成させる取得部と、
   を備え、
   前記予め用意された複数の手順情報には、それぞれ、前記一連の動作手順に関するタグ情報が含まれ、
   前記特定部は、前記タグ情報を用いて前記手順情報を特定する、
   頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、さらに、
   前記頭部装着型表示装置を装着した状態における前記利用者の視界方向の外景画像を取得する画像取得部を備え、
   前記特定部は、
   取得された前記外景画像を画像認識することで、前記実オブジェクトを表す情報を取得し、
   取得した前記実オブジェクトを表す情報と前記タグ情報とを照合することで、前記手順情報を特定する、頭部装着型表示装置。
3. 請求項１に記載の頭部装着型表示装置であって、
   前記特定部は、前記タグ情報の一覧を表す前記虚像を前記画像表示部に形成させ、前記利用者からの前記タグ情報の指定を取得することで、前記手順情報を特定する、頭部装着型表示装置。
4. 請求項１に記載の頭部装着型表示装置であって、
   前記特定部は、
   前記利用者からのキーワードの入力を取得し、
   取得したキーワードと前記タグ情報とを照合することで、前記手順情報を特定する、頭部装着型表示装置。
5. 請求項１に記載の頭部装着型表示装置であって、さらに、
   前記利用者の発声内容を取得する音取得部を備え、
   前記特定部は、取得された前記発声内容と前記タグ情報とを照合することで、前記手順情報を特定する、頭部装着型表示装置。
6. 請求項１から請求項５のいずれか一項に記載の頭部装着型表示装置であって、
   前記タグ情報には、
   前記一連の動作手順の出所に関する情報と、
   前記一連の動作手順の実現条件に関する情報と、
   前記一連の動作手順の評価に関する情報と、
   が含まれ、
   前記特定部は、さらに、前記出所に関する情報と、前記実現条件に関する情報と、前記評価に関する情報と、のうちの少なくともいずれかを考慮して、前記手順情報を特定する、頭部装着型表示装置。
7. 請求項１から請求項６のいずれか一項に記載の頭部装着型表示装置であって、
   前記付随手順情報は、
   前記一連の動作手順の出所に関する情報と、
   前記一連の動作手順の実現条件に関する情報と、
   前記一連の動作手順の評価に関する情報と、
   のうちの少なくともいずれかを考慮して決定されている、頭部装着型表示装置。
8. 請求項１から請求項７のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記一連の動作手順のモデルであって、前記一連の動作手順を表す前記実オブジェクトの元となるモデルを生成するモデル生成部と、
   生成された前記モデルに前記一連の動作手順に関するタグ情報を付して、前記手順情報を生成する生成部と、
   を備える、頭部装着型表示装置。
9. 請求項８に記載の頭部装着型表示装置であって、さらに、
   前記利用者の発声内容を取得する音取得部と、
   前記利用者に関する情報を記憶するユーザー情報記憶部と、
   を備え、
   前記生成部は、さらに、前記モデルの生成中において取得された前記発声内容と、前記利用者に関する情報と、のうちの少なくともいずれかを用いて、前記タグ情報を抽出する、頭部装着型表示装置。
10. 請求項８または請求項９のいずれか一項に記載の頭部装着型表示装置であって、
    前記生成部は、
    前記一連の動作手順の出所に関する情報と、
    前記一連の動作手順の実現条件に関する情報と、
    前記一連の動作手順の評価に関する情報と、
    前記一連の動作手順を実行するにあたって参考に資する情報と、
    のうちの少なくともいずれかを前記タグ情報とする、頭部装着型表示装置。
11. 頭部装着型表示装置を制御する方法であって、
    現実世界に実在する実オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する工程であって、予め用意された複数の前記手順情報の中から、少なくとも１つの前記手順情報を特定する工程と、
    特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得する工程と、
    取得した前記手順情報および前記付随手順情報に含まれている、前記現実世界に付加して表示するための仮想オブジェクトを表す虚像を前記頭部装着型表示装置に形成させる工程と、
    を備え、
    前記予め用意された複数の手順情報には、それぞれ、前記一連の動作手順に関するタグ情報が含まれ、
    前記特定する工程において、前記タグ情報を用いて前記手順情報を特定する、
    方法。
12. コンピュータープログラムであって、
    現実世界に実在する実オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定機能であって、予め用意された複数の前記手順情報の中から、少なくとも１つの前記手順情報を特定する特定機能と、
    特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得する取得機能と、
    取得した前記手順情報および前記付随手順情報に含まれている、前記現実世界に付加して表示するための仮想オブジェクトを表す虚像を頭部装着型表示装置に形成させる形成機能と、
    をコンピューターに実現させ、
    前記予め用意された複数の手順情報には、それぞれ、前記一連の動作手順に関するタグ情報が含まれ、
    前記特定機能は、前記タグ情報を用いて前記手順情報を特定する機能を含む、
    コンピュータープログラム。

Images