JP6515512B2 - 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム - Google Patents

Description

本発明は、表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラムに関する。

近年、現実の環境に、付加的な情報を重畳させて表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術を採用したヘッドマウントディスプレイ（Ｓｍａｒｔ Ｇｌａｓｓ等）を用いれば、現実の環境に案内や広告等のＡＲ画像を重畳させて表示できる。

ＡＲ画像が現実の環境内にあたかも存在しているかのようにユーザーに見せるためには、ユーザーの位置および顔の向き（以下、「直視方向」とも称する）に応じて、ＡＲ画像の表示位置、サイズ、形状等を、随時、変更する必要がある。そのためには、ＡＲ画像の生成の際に、ユーザーの位置および顔の向きを正確に特定できなければならない。

このような要求に応えるべく、たとえば、ジャイロセンサーを用いて、ユーザーの位置および顔の向きを特定する技術が開発されている（特許文献１）。しかし、一般的には、ジャイロセンサーの出力のみに基づいてユーザーの位置および顔の向きを特定すると、その特定結果に誤差が蓄積して、現実の環境とＡＲ画像の間に位置ずれが発生する。

そこで、ジャイロセンサーとは別のセンサーをさらに搭載して、ユーザーの位置および顔の向きを補正する技術が開発されている（特許文献２）。

特開２００８−２９９６６９号公報 特開平８−２８９２２６号公報

しかし、ユーザーの位置および顔の向きを正確に特定するために複数のセンサーを搭載すると、ジャイロセンサーのみを搭載する場合と比べて、コスト、重量、消費電力の増加を招く。

本発明は、複数のセンサーを用いることなく、ユーザーの位置および顔の向きを従来よりも正確に特定できる表示装置等を提供することを目的とする。

（１）表示部を有し、ユーザーの頭部に装着して用いられる表示装置であって、
少なくとも前記ユーザーの位置および所定の基準位置に関する実空間情報を取得する情報取得部と、前記ユーザーの頭部の動きに応じた信号を出力するセンサーと、前記センサーが出力する信号により定まる直視方向をキャリブレーションするキャリブレーション部と、前記情報取得部により取得した前記実空間情報と、前記センサーが出力する信号により定まる直視方向とに基づき、ＡＲ画像を前記表示部に表示させる表示制御部と、を備え、キャリブレーションモード実行時において、前記表示制御部は、前記情報取得部により取得した前記実空間情報を用いて、前記所定の基準位置に対応する前記表示部の位置にキャリブレーション用のＡＲ画像を表示させ、
前記キャリブレーション部は、前記所定の基準位置に前記キャリブレーション用のＡＲ画像が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションし、
前記所定の基準位置は、所定のスクリーンの位置であり、前記スクリーンには、所定の形状を有する図形を含む画像が表示される、表示装置。

（２）前記キャリブレーション用のＡＲ画像は、前記スクリーンに表示される図形に対応する形状の図形を含む、上記（１）に記載の表示装置。

（３）前記キャリブレーション部は、前記スクリーンに表示される図形に、前記キャリブレーション用のＡＲ画像に含まれる図形が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションする、上記（２）に記載の表示装置。

（４）前記ユーザーの位置は、当該ユーザーが着席する座席の位置である、上記（１）〜（３）のいずれかに記載の表示装置。

（５）前記情報取得部は、前記表示装置とは独立したサーバーから取得する、上記（１）〜（４）のいずれかに記載の表示装置。

（６）前記実空間情報を記憶する記憶部をさらに備え、前記情報取得部は、前記記憶部から前記実空間情報を取得する、上記（１）〜（５）のいずれかに記載の表示装置。

（７）前記ユーザーの前記ＡＲ画像が重なって見えることを示す入力は、所定ボタンの押下、または、前記ユーザーの頭部を一定時間以上静止させることにより行われる、上記（１）〜（６）のいずれかに記載の表示装置。

（８）表示部を有し、ユーザーの頭部に装着して用いられる表示装置のキャリブレーション方法であって、前記表示装置は、少なくとも前記ユーザーの位置および所定の基準位置に関する実空間情報を取得する情報取得部と、前記ユーザーの頭部の動きに応じた信号を出力するセンサーと、前記センサーが出力する信号により定まる直視方向をキャリブレーションするキャリブレーション部と、前記情報取得部により取得した前記実空間情報と、前記センサーが出力する信号により定まる直視方向とに基づき、ＡＲ画像を前記表示部に表示させる表示制御部と、を備え、キャリブレーションモード実行時において、（ａ）前記表示制御部が、前記情報取得部により取得した前記実空間情報を用いて、前記所定の基準位置に対応する前記表示部の位置にキャリブレーション用のＡＲ画像を表示させるステップと、（ｂ）前記キャリブレーション部が、前記所定の基準位置に前記キャリブレーション用のＡＲ画像が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションするステップと、を有し、前記所定の基準位置は、所定のスクリーンの位置であり、前記スクリーンには、所定の形状を有する図形を含む画像が表示される、表示装置のキャリブレーション方法。

（９）表示部を有し、ユーザーの頭部に装着して用いられる表示装置のコンピューターに実行させるためのキャリブレーションプログラムであって、前記表示装置は、少なくとも前記ユーザーの位置および所定の基準位置に関する実空間情報を取得する情報取得部と、前記ユーザーの頭部の動きに応じた信号を出力するセンサーと、前記センサーが出力する信号により定まる直視方向をキャリブレーションするキャリブレーション部と、前記情報取得部により取得した前記実空間情報と、前記センサーが出力する信号により定まる直視方向とに基づき、ＡＲ画像を前記表示部に表示させる表示制御部と、を備え、キャリブレーションモード実行時において、（ａ）前記表示制御部が、前記情報取得部により取得した前記実空間情報を用いて、前記所定の基準位置に対応する前記表示部の位置にキャリブレーション用のＡＲ画像を表示させるステップと、（ｂ）前記キャリブレーション部が、前記所定の基準位置に前記キャリブレーション用のＡＲ画像が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションするステップと、を含む処理であって、
前記所定の基準位置は、所定のスクリーンの位置であり、前記スクリーンには、所定の形状を有する図形を含む画像が表示される処理を、前記コンピューターに実行させるためのキャリブレーションプログラム。

本発明によれば、少なくともユーザーの位置および所定の基準位置に関する実空間情報を用いて、ユーザーの顔の向き（直視方向）をキャリブレーションする。そのため、複数のセンサーを用いなくても、ユーザーの位置および顔の向きを従来よりも正確に特定でき、低コスト、軽量、低消費電力の表示装置等を提供できる。

本実施形態に係る表示システムの全体構成例を示すブロック図である。 （Ａ）上映システムが配置された映画館内部の上面図である。（Ｂ）上映システムが配置された映画館内部の斜視図である。 情報提供サーバーのハードウェア構成例を示すブロック図である。 表示装置の外観例を示す図である。 表示装置のハードウェア構成例を示すブロック図である。 上映システムおよび表示装置の機能構成例を示すブロック図である。 実空間情報の概略データ構造の例を示す図である。 実空間情報として位置情報が与えられる映画館内部の対象物について説明するための図である。 ＡＲ画像情報の概略データ構造の例を示す図である。 上映装置において実行される投影処理の手順を示すフローチャートである。 スクリーンに投影されたキャリブレーション用の投影コンテンツの例を示す図である。 表示装置において実行されるキャリブレーション処理の手順を示すフローチャートである。 （Ａ）キャリブレーション用のＡＲ画像の生成方法を説明するための図である。（Ｂ）表示装置のディスプレイに表示されるキャリブレーション用のＡＲ画像の例を示す図である。 キャリブレーション用のＡＲ画像が投影コンテンツＣに重なって見えないときの状態を示す図である。 キャリブレーション用のＡＲ画像が投影コンテンツＣに重なって見えるときの状態を示す図である。 情報提供サーバーにおいて実行される情報提供処理の手順を示すフローチャートである。 上映処理時におけるＡＲ画像の生成方法を説明するための図である。 （Ａ）キャリブレーション用のＡＲ画像の変形例を示す図である。（Ｂ）図１８（Ａ）のキャリブレーション用のＡＲ画像を用いてキャリブレーションするときの、ユーザーの視線方向の状態を示す図である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、本実施形態に係る表示システム１の全体構成例を示すブロック図である。図２（Ａ）は、上映システム１００が配置された映画館内部の上面図である。図２（Ｂ）は、上映システム１００が配置された映画館内部の斜視図である。図３は、情報提供サーバー１４０のハードウェア構成例を示すブロック図である。図４は、表示装置２００の外観例を示す図である。図５は、表示装置２００のハードウェア構成例を示すブロック図である。以下、図１〜図５を参照して、表示システム１の概略構成、特にハードウェア構成について説明する。

［表示システム１（ハードウェア構成）］
（１）全体構成
図１に示すとおり、表示システム１は、上映システム１００と、１台以上の表示装置２００とを備える。ただし、表示システム１を構成する機器の種類および台数は、図１に示す例に限定されない。

上映システム１００は、図２（Ａ）、（Ｂ）に示す例のように、映画館に配置される。図２（Ａ）に示す例では、上映システム１００は、座席１１０と、スクリーン１２０と、上映装置１３０と、情報提供サーバー１４０とを備える。

座席１１０は、スクリーン１２０に投影された映画などの映像を視聴するユーザーが座るための椅子である。映画館の例では、複数の座席１１０が並べて配置され、各座席１１０には識別番号が割り当てられている。

スクリーン１２０は、上映装置１３０から投影された映像を映し出す大型の平面である。本実施形態においては、図２（Ａ）に示す例のように、ユーザーが着席している座席１１０の背後からスクリーン１２０に向けて映像を投影するフロントタイプスクリーンが用いられる。ただし、これに限らず、スクリーン１２０の背面に向けて映像を投影するリアタイプスクリーンが用いられてもよい。

上映装置１３０は、スクリーン１２０に映像を投影する装置である。上映装置１３０は、たとえば、上映サーバー（不図示）と、制御装置（不図示）と、プロジェクター（不図示）と、スピーカー（不図示）と、記憶装置（不図示）と、通信装置（不図示）とを備える。ここで、上映サーバーは、デジタルシネマを再生する装置である。制御装置は、上映サーバーを制御する一般的なコンピューターである。プロジェクターは、再生された映像をスクリーン１２０に投影し、スピーカーは、再生された音声を出力する。記憶装置は、デジタルシネマパッケージ（ＤＣＰ）と呼ばれる形式のデータを格納する装置（たとえば、ハードディスク）である。通信装置は、無線ＬＡＮ等によって、表示装置２００と通信するための装置である。このように、本実施形態の上映装置１３０には、デジタルシネマ用のプロジェクターが用いられる。

情報提供サーバー１４０は、表示装置２００からの問い合わせに応じて、映画館内部の実空間情報を提供する情報処理装置（コンピューター）である。なお、情報提供サーバー１４０の詳細な構成、および実空間情報の詳細については後述する。

また、表示装置２００は、ユーザー（たとえば、映画の視聴者）の頭部に装着して使用されるヘッドマウントディスプレイ（ＨＭＤ）装置である。表示装置２００には、現実の環境（ユーザーが見ている方向）にＡＲ画像が重畳されて表示される。たとえば、スクリーン１２０の下方の壁に、字幕のＡＲ画像が重畳されて表示される。また、ユーザーの顔の向き（すなわち、直視方向）を特定する際には、その基準となる方向（以下では「基準方向」と称する）を定めておく必要があるが、当該基準方向をキャリブレーションするために使用されるＡＲ画像が表示されてもよい。なお、以下では、ユーザーの顔の向きをキャリブレーションするために使用されるＡＲ画像を、キャリブレーション用のＡＲ画像と称する。

上映システム１００の情報提供サーバー１４０と表示装置２００は、通信ネットワークを介して相互に通信可能に接続される。ここで、通信ネットワークには、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のコンピューターネットワークが含まれる。

（２）情報提供サーバー１４０（ハードウェア構成）
次に、情報提供サーバー１４０のハードウェア構成について説明する。

図３に示すとおり、情報提供サーバー１４０は、制御装置１４１と、ディスプレイ１４２と、入力装置１４３と、通信装置１４４とを有し、これらは信号をやり取りするための信号線（バス等）１４５を介して相互に接続されている。

制御装置１４１は、情報提供サーバー１４０全体を制御する。たとえば、制御装置１４１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４６と、メモリー１４７と、ストレージ１４８とを有する。

ＣＰＵ１４６は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するマルチコアのプロセッサ等から構成される制御回路であり、情報提供サーバー１４０の各機能は、それに対応するプログラムをＣＰＵ１４６が実行することにより発揮される。

メモリー１４７は、作業領域として一時的にプログラムおよびデータを記憶する高速アクセス可能な主記憶装置である。メモリー１４７には、たとえば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が採用される。

ストレージ１４８は、オペレーティングシステムを含む各種プログラムや各種データを格納する大容量の補助記憶装置である。ストレージ１４８には、たとえば、ハードディスク、ソリッドステートドライブ、フラッシュメモリー、ＲＯＭ等が採用される。

ディスプレイ１４２は、情報提供サーバー１４０を操作するために必要な情報や設定情報など、各種データを表示する。ディスプレイ１４２には、たとえば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等が採用される。

入力装置１４３は、ユーザーの指示に従って各種データを入力する。入力装置１４３には、たとえば、キーボードやマウス等のポインティングデバイスが採用される。

通信装置１４４は、無線ＬＡＮ等によって、表示装置２００と通信するための装置である。

（３）表示装置２００（ハードウェア構成）
次に、表示装置２００のハードウェア構成について説明する。

図４に示すとおり、表示装置２００は、視力矯正用のメガネを模した構造で構成されている。すなわち、表示装置２００は、左右一対のテンプルＬ１、Ｌ２と、ブリッジＢと、左右一対の透明部材Ｇ１、Ｇ２とを備えて構成される。

テンプルＬ１、Ｌ２は、たとえば、弾性素材から構成される長尺棒状の部材である。テンプルＬ１、Ｌ２のそれぞれの一方端部には、ユーザーの耳に掛けられる耳掛け部分が設けられ、他方端部には、透明部材Ｇ１、Ｇ２が固定される。また、ユーザーの片方の耳に掛けられる耳掛け部分付近には、制御ユニット２１０が装着されている。

ブリッジＢは、左右一対の透明部材Ｇ１、Ｇ２を互いに連結するための短尺棒状の部材である。ブリッジＢの両端には、透明部材Ｇ１、Ｇ２が固定される。左右一対の透明部材Ｇ１、Ｇ２は、一定の間隔を空けて保持される。

透明部材Ｇ１、Ｇ２は、表示装置２００を装着したユーザーが外界を観察できるように、外界からの光を透過してユーザーの眼に届けることが可能な透明な材料（ガラス、プラスチック、フィルムなど）により形成される。

本実施形態では、ユーザーの右眼に対応する透明部材Ｇ１の上部には、撮像装置２２０が設けられ、透明部材Ｇ１に重なるようにディスプレイ２３０が設けられている。

撮像装置２２０は、カメラレンズの光軸方向の外界を撮像する。撮像装置２２０は、カメラレンズの光軸がユーザーの視線方向に略一致するように、表示装置２００に対し固定的に保持されている。これによって撮像装置２２０は、ユーザーの前方視野内を撮影することが可能となる。たとえば、撮像装置２２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサーを備えたデジタルカメラあるいはビデオカメラである。

ディスプレイ２３０は、所定の画像（映像）等の各種コンテンツを透明部材Ｇ１、Ｇ２上に表示する。また、ディスプレイ２３０は、外界からの光に付加的に重畳させる画像（ＡＲ画像）を表示してもよい。たとえば、ディスプレイ２３０は、ユーザーの視線方向に存在する特定の対象物（たとえば、スクリーン１２０）の近くに、映画の字幕などの情報を含む画像があたかも存在するかのように表示することもできる。なお、ディスプレイ２３０は、図４に示すような単眼式ではなく、双眼式でもよい。

また、図４には示していないが、撮像装置２２０の近傍には、慣性センサー２４０が設けられる。慣性センサー２４０は、ユーザーの頭部の動きに応じた信号を出力するセンサーである。たとえば、慣性センサー２４０は、加速度センサー、ジャイロセンサー等により構成される。なお、慣性センサー２４０は、ユーザーの頭部の動きに応じた信号を出力可能なものであれば、どのような形態、名称、構造のものであってもよい。

制御ユニット２１０は、撮像装置２２０と、ディスプレイ２３０と、慣性センサー２４０とを制御し、全体としてヘッドマウントディスプレイ装置として機能させるために必要な構成を有する。

（制御ユニット２１０の具体的な構成）
次に、制御ユニット２１０の具体的な構成について説明する。

図５に示すとおり、制御ユニット２１０は、ＣＰＵ２１１と、メモリー２１２と、ストレージ２１３と、入力装置２１４と、表示コントローラー２１５と、通信装置２１６とを備える。

ＣＰＵ２１１は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するプロセッサ等から構成される制御回路であり、表示装置２００の各機能は、それに対応するプログラムをＣＰＵ２１１が実行することにより発揮される。

メモリー２１２は、作業領域として一時的にプログラムおよびデータを記憶する高速アクセス可能な主記憶装置である。メモリー２１２には、たとえば、ＤＲＡＭ、ＳＤＲＡＭ、ＳＲＡＭ等が採用される。

ストレージ２１３は、オペレーティングシステムを含む各種プログラムや各種データを格納する大容量の補助記憶装置である。ストレージ２１３には、たとえば、フラッシュメモリー等が採用される。

入力装置２１４は、表示装置２００の電源投入などの指示を入力するための物理的なキーやボタンにより構成される。また、入力装置２１４として、外部のコントローラー（たとえば、スマートフォン、リモートコントローラーなど）を利用してもよい。

表示コントローラー２１５は、映画の字幕などの情報を含むＡＲ画像や、キャリブレーション用のＡＲ画像をディスプレイ２３０に表示させる。たとえば、表示コントローラー２１５は、所定の周期でメモリー２１２からＡＲ画像を読み出して、ディスプレイ２３０へ入力するための信号に変換するとともに、水平同期信号、垂直同期信号などのパルス信号を生成する。

通信装置２１６は、無線ＬＡＮ等によって、上映装置１３０および情報提供サーバー１４０等と通信するための装置である。

［表示システム１（機能構成）］
以上のようなハードウェア構成を有する表示システム１は、以下の機能構成を有する。

図６は、上映システム１００および表示装置２００の機能構成例を示すブロック図である。

（１）上映システム１００の上映装置１３０（機能構成）
図６に示すとおり、上映装置１３０は、投影制御部３１０と、投影コンテンツ記憶部３２０とを有する。

投影制御部３１０は、スクリーン１２０への映像の投影を制御する。具体的には、投影制御部３１０は、投影コンテンツ記憶部３２０に記憶されている投影コンテンツを、適切なタイミングで読み出して再生することを上映サーバーへ指示する。この指示に基づき、上映サーバーにおいて再生された映像は、プロジェクター（不図示）に出力され、再生された音声は、スピーカー（不図示）に出力される。また、上映サーバーにおいて再生された字幕（データ）は、通信装置を介して、各表示装置２００に送信される。このようにして、映画館内においてデジタルシネマが上映される。

投影コンテンツ記憶部３２０は、スクリーン１２０に投影される投影コンテンツを記憶する。ここで、投影コンテンツには、デジタルシネマパッケージ（ＤＣＰ）と呼ばれる形式のデータや、各表示装置２００のキャリブレーションモード時にスクリーン１２０に投影されるデータ等が含まれる。ここで、キャリブレーションモードとは、表示装置２００においてキャリブレーション処理が実行されている状態を指す。

なお、投影制御部３１０は、上映装置１３０の制御装置（不図示）において、ＣＰＵ（不図示）がストレージ（不図示）にインストールされているプログラムをメモリー（不図示）に読み出して実行することにより実現される。また、投影コンテンツ記憶部３２０は、ハードディスク等の記憶装置（不図示）によって実現される。

（２）上映システム１００の情報提供サーバー１４０（機能構成）
図６に示すとおり、上映システム１００の情報提供サーバー１４０は、情報提供部４１０と、実空間情報記憶部４２０とを有する。

情報提供部４１０は、問い合わせに応じて、映画館内の実空間情報４２１を表示装置２００へ提供する。具体的には、情報提供部４１０は、表示装置２００からの問い合わせを受け付けると、実空間情報記憶部４２０に記憶されている全ての実空間情報４２１の中から、その表示装置２００に必要な実空間情報４２１を読み出し、通信装置１４４を介して送信する。

実空間情報記憶部４２０は、映画館内の実空間情報４２１を記憶する。たとえば、実空間情報４２１には、ユーザーの位置を示す３次元座標と、固定された特定の対象物の位置を示す３次元座標と、投影コンテンツの位置を示す３次元座標が含まれている。

ここで、ユーザーの位置とは、具体的には、ユーザーが着席している座席１１０の位置であって、推定される顔の位置を指す。この座席１１０の位置（識別番号等）は、後述するように表示装置２００に保持されている。

また、特定の対象物の位置とは、具体的には、スクリーン１２０の右上の角および左下の角の位置を指す。スクリーン１２０の右上の角および左下の角の中点、すなわち、スクリーン１２０の中心位置を、以下では「所定の基準位置Ｓ」と称する。なお、以下では、キャリブレーションモード時にスクリーン１２０に投影される投影コンテンツを、キャリブレーション用の投影コンテンツと称する。また、所定の基準位置Ｓは、これに限らず、ユーザーが見ている方向の目標物となり得る物体の位置であれば、どのような位置でもよい。

また、投影コンテンツの位置とは、具体的には、スクリーン１２０に投影されたキャリブレーション用の投影コンテンツの右上の角および左下の角の位置を指す。

（実空間情報４２１の詳細）
なお、図７は、実空間情報４２１の概略データ構造の例を示す図である。また、図８は、実空間情報４２１として位置情報が与えられる映画館内部の対象物について説明するための図である。

実空間情報記憶部４２０には、図７に示すように、映画館内部に配置されている座席１１０の識別番号４２２ごとに、複数の実空間情報４２１が記憶されている。各実空間情報４２１には、位置情報が与えられる映画館内部の対象物の名称４２３と、その位置情報４２４とが対応付けられている。

位置情報が与えられる映画館内部の対象物には、少なくとも、映画を視聴するユーザーと、スクリーン１２０と、投影コンテンツとが含まれる。これらの対象物を識別可能な情報が、名称４２３として登録されている。

位置情報４２４には、ユーザーの位置を示す座標と、スクリーン１２０の位置を示す座標と、投影コンテンツの位置を示す座標とが登録されている。

ここで、図８に示すとおり、ユーザーの位置Ｐに対応する位置情報４２４としては、ユーザーが着席している座席１１０の位置であって、推定される顔の位置を示す３次元座標（Ｐｘ，Ｐｙ，Ｐｚ）が登録されている。なお、映画館内部の空間には、点Ｏ（たとえば、左下奥の隅の点）を原点とするＸＹＺ座標系が設定されている。また、３次元座標（Ｐｘ，Ｐｙ，Ｐｚ）は、対応付けられている識別番号４２２により一意に定まる値である。

スクリーン１２０の位置に対応する位置情報４２４としては、スクリーン１２０の右上の角の位置Ａを示す３次元座標（Ａｘ，Ａｙ，Ａｚ）と、スクリーン１２０の左下の角の位置Ｂを示す３次元座標（Ｂｘ，Ｂｙ，Ｂｚ）とが登録されている。なお、３次元座標（Ａｘ，Ａｙ，Ａｚ）および（Ｂｘ，Ｂｙ，Ｂｚ）は、それぞれ、全ての実空間情報４２１において共通の値である。

投影コンテンツＣの位置に対応する位置情報４２４としては、投影コンテンツＣの右上の角の位置Ｍを示す３次元座標（Ｍｘ，Ｍｙ，Ｍｚ）と、投影コンテンツＣの左下の角の位置Ｎを示す３次元座標（Ｎｘ，Ｎｙ，Ｎｚ）とが登録されている。なお、３次元座標（Ｍｘ，Ｍｙ，Ｍｚ）および（Ｎｘ，Ｎｙ，Ｎｚ）は、それぞれ、全ての実空間情報４２１において共通の値である。

なお、情報提供部４１０は、情報提供サーバー１４０において、ＣＰＵ１４６がストレージ１４８にインストールされているプログラムをメモリー１４７に読み出して実行することにより実現される。また、実空間情報記憶部４２０は、ストレージ１４８またはメモリー１４７によって実現される。

（３）表示装置２００（機能構成）
図６に示すとおり、表示装置２００の制御ユニット２１０は、表示制御部５１０と、入力受付部５２０と、情報取得部５３０と、直視方向特定部５４０と、ＡＲ画像生成部５５０と、ＡＲ画像記憶部５６０と、キャリブレーション部５７０とを有する。

表示制御部５１０は、表示コントローラー２１５に対して、各種画像をディスプレイ２３０に表示させるための指示を出力する。たとえば、表示制御部５１０は、情報提供サーバー１４０から取得した実空間情報４２１と、慣性センサー２４０が出力する信号により定まるユーザーの顔の向き（直視方向）とに基づき、映画の字幕などの情報を含むＡＲ画像をディスプレイ２３０に表示させる。また、キャリブレーションモード時においては、表示制御部５１０は、キャリブレーション用のＡＲ画像をディスプレイ２３０に表示させる。

入力受付部５２０は、ユーザーからの入力を受け付ける。たとえば、入力受付部５２０は、入力装置２１４に対してなされたユーザーの操作に基づき、キャリブレーションを開始する指示などの各種指示を特定する。

情報取得部５３０は、少なくともユーザーの位置Ｐおよび所定の基準位置Ｓに関する実空間情報４２１を取得する。具体的には、情報取得部５３０は、通信装置２１６を介して、情報提供サーバー１４０に対して問い合わせデータを送信し、これに応答して情報提供サーバー１４０から提供された実空間情報４２１を受信する。

直視方向特定部５４０は、慣性センサー２４０が出力する信号に基づいて、ユーザーの顔の向き（すなわち、直視方向）を特定する。具体的には、直視方向特定部５４０は、事前に定めておいた基準方向（後述の基準方向Ｓ）にユーザーが顔を向けているときの慣性センサー２４０のセンサー値（登録値）と、現在の慣性センサー２４０のセンサー値を比較して、その変化量から現在のユーザーの顔の向きを特定する。

ＡＲ画像生成部５５０は、ＡＲ画像が現実の環境内にあたかも存在しているかのように見えるＡＲ画像を生成する。たとえば、映画の字幕などの情報を含むＡＲ画像や、キャリブレーション用のＡＲ画像を生成する。なお、ＡＲ画像が現実の環境内にあたかも存在しているかのようにユーザーに見せるためには、ユーザーの位置Ｐおよび顔の向き（すなわち、直視方向）に応じて、ＡＲ画像の表示位置、サイズ、形状等を、変更すればよい。ＡＲ画像の具体的な生成方法については後述する。

ＡＲ画像記憶部５６０は、ＡＲ画像生成部５５０によって生成されたＡＲ画像を記憶する。また、ＡＲ画像記憶部５６０は、ＡＲ画像生成部５５０によって生成されたＡＲ画像の元データとなる字幕データなども記憶する。これとともに、ＡＲ画像記憶部５６０は、キャリブレーション用のＡＲ画像に関する情報（以下では、「ＡＲ画像情報５６１」と称する）も記憶する。

（ＡＲ画像情報５６１の詳細）
図９は、ＡＲ画像情報５６１の概略データ構造の例を示す図である。図９に示すように、ＡＲ画像情報５６１には、ＡＲ画像のファイル名５６２と、ＡＲ画像の位置情報５６３とが対応付けられている。

ファイル名５６２は、ＡＲ画像記憶部５６０に記憶されているＡＲ画像のファイル名を示すデータである。たとえば、「００１」、「００２」等のデータが登録される。

位置情報５６３は、ＡＲ画像の表示位置を示すデータであり、表示装置２００のディスプレイ２３０内での位置を示す２次元座標が登録される。具体的には、ＡＲ画像の先頭または中心の表示位置を示す２次元座標が登録される。

図６に戻り、キャリブレーション部５７０は、慣性センサー２４０が出力する信号により定まるユーザーの顔の向き（直視方向）をキャリブレーションする。具体的には、キャリブレーション部５７０は、慣性センサー２４０の出力する信号により定まるユーザーの顔の向き（直視方向）に誤差が生じないように、上述した基準方向を修正する。

なお、表示制御部５１０、入力受付部５２０、情報取得部５３０、直視方向特定部５４０、ＡＲ画像生成部５５０、キャリブレーション部５７０は、それぞれ、表示装置２００において、ＣＰＵ２１１がストレージ２１３にインストールされているプログラムをメモリー２１２に読み出して実行することにより実現される。ただし、これに限らず、各機能部５１０〜５５０、５７０は、ＡＳＩＣ等のハードウェアにより実現されてもよい。また、ＡＲ画像記憶部５６０は、ストレージ２１３またはメモリー２１２によって実現される。

［表示システム１の動作］
次に、本実施形態に係る表示システム１の特徴的な動作について説明する。

（１）投影処理
図１０は、上映装置１３０において実行される投影処理の手順を示すフローチャートである。

上映装置１３０は、電源が投入されたタイミングで図１０に示す投影処理を開始する。ただし、投影処理を開始するタイミングは、これに限定されず、入力装置（キーボード、マウス等）に対して、投影処理を開始するための操作や、キャリブレーションモードを開始するための操作がなされたときに、投影処理を開始してもよい。

（ステップＳ１０１）
投影処理を開始すると、上映装置１３０は、投影制御部３１０として機能し、キャリブレーション用の投影コンテンツを投影コンテンツ記憶部３２０から取得する。具体的には、投影制御部３１０が、投影コンテンツ記憶部３２０からキャリブレーション用の投影コンテンツを読み出し、上映サーバー（不図示）へ送信するとともに、再生を指示する。

（ステップＳ１０２）
上映装置１３０は、キャリブレーション用の投影コンテンツを再生して、スクリーン１２０へ投影する。具体的には、投影制御部３１０からの指示に基づいて、上映サーバー（不図示）が、キャリブレーション用の投影コンテンツを再生し、再生した映像をプロジェクターから出力する。

図１１は、スクリーン１２０に投影されたキャリブレーション用の投影コンテンツＣの例を示す図である。所定の形状を有する図形を含む画像（図１１の太線で示す例では、長方形の図形を含む画像）が、キャリブレーション用の投影コンテンツＣとしてスクリーン１２０の中央に投影される。

（ステップＳ１０３）
上映装置１３０は、投影制御部３１０として機能し、キャリブレーション用の投影コンテンツＣの投影を終了するタイミングか否か判別する。たとえば、上映装置１３０は、キャリブレーション用の投影コンテンツＣの投影を開始してから、所定時間が経過した場合には、その投影を終了するタイミングと判断して（ステップＳ１０３：ＹＥＳ）、投影処理を終了する。一方、上映装置１３０は、キャリブレーション用の投影コンテンツＣの投影を開始してから、所定時間が経過していない場合には、その投影を終了するタイミングではないと判断して（ステップＳ１０３：ＮＯ）、処理をステップＳ１０１に戻す。

以上の投影処理が上映装置１３０において実行されることにより、キャリブレーション用の投影コンテンツＣを、所定時間の間（たとえば、映画の上映開始前の３０分間）に、スクリーン１２０に投影できる。キャリブレーション用の投影コンテンツＣがスクリーン１２０に投影されている間、ユーザーは、座席１１０に着席した状態で表示装置２００を使用し、ユーザーの顔の向き（直視方向）の基準方向についてキャリブレーションできる。

（２）キャリブレーション処理
図１２は、表示装置２００において実行されるキャリブレーション処理の手順を示すフローチャートである。

キャリブレーション用の投影コンテンツＣがスクリーン１２０に投影されている間、表示装置２００は、電源が投入されたタイミングで図１２に示すキャリブレーション処理を開始する。ただし、キャリブレーション処理を開始するタイミングは、これに限定されず、入力装置２１４に対して、キャリブレーション処理を開始するための操作がなされたときに、キャリブレーション処理を開始してもよい。また、スクリーン１２０による映画の上映を開始する前に、情報提供サーバー１４０等からの開始信号に基づいて、表示装置２００を装着して座席１１０に着席した複数のユーザーに対して、一斉にキャリブレーション処理を開始させるようにしてもよい。あるいは、一定のサイクルで、定期的にキャリブレーション処理を開始してもよい。なお、キャリブレーション処理は、ユーザーが上映システム１００の座席１１０に着席した状態で行われる。

（ステップＳ２０１）
キャリブレーション処理を開始すると、表示装置２００は、情報取得部５３０として機能し、映画館内部の実空間情報４２１を、情報提供サーバー１４０から取得する。

具体的には、表示装置２００は、通信装置２１６を介して、問い合わせデータを情報提供サーバー１４０へ送信する。ここで、問い合わせデータには、表示装置２００を装着したユーザーが着席している座席１１０に割り当てられている識別番号が含まれている。座席１１０の識別番号は、ユーザーが座席１１０に着席したときに、手入力によって表示装置２００に登録されるデータとしてもよいし、近距離無線通信などの所定の通信によって座席１１０から取得され、表示装置２００に登録されるデータとしてもよい。

表示装置２００は、上記のような問い合わせデータに応じて情報提供サーバー１４０から送信された実空間情報４２１を、通信装置２１６を介して受信することによって、映画館内部の実空間情報４２１を取得できる。なお、情報提供サーバー１４０が、実空間情報４２１を表示装置２００に提供する情報提供処理の詳細については後述する。

（ステップＳ２０２）
実空間情報４２１を取得後、表示装置２００は、直視方向特定部５４０として機能し、当該表示装置２００を頭部に装着しているユーザーの位置Ｐと、所定の基準位置Ｓとの位置関係を特定する。

たとえば、表示装置２００は、スクリーン１２０の中心位置を所定の基準位置Ｓとして、当該表示装置２００を頭部に装着しているユーザーの位置Ｐから見て、所定の基準位置Ｓまでの距離、およびその方向を特定する。具体的には、表示装置２００は、ステップＳ２０１において取得された実空間情報４２１に含まれるスクリーン１２０の右上の角の位置Ａと、左下の角の位置Ｂとの中点を、基準位置Ｓとして算出する。ここで、基準位置Ｓの３次元座標（Ｓｘ，Ｓｙ，Ｓｚ）は、（Ｓｘ，Ｓｙ，Ｓｚ）＝（（Ａｘ＋Ｂｘ）／２，（Ａｙ＋Ｂｙ）／２，（Ａｚ＋Ｂｚ）／２）の計算式により算出される。その後、表示装置２００は、｛（Ｓｘ−Ｐｘ）^２＋（Ｓｙ−Ｐｙ）^２＋（Ｓｚ−Ｐｚ）^２｝^{（１／２）}の計算によって、ユーザーの位置Ｐから基準位置Ｓまでの距離を算出する。また、表示装置２００は、（Ｓｘ−Ｐｘ，Ｓｙ−Ｐｙ，Ｓｚ−Ｐｚ）の計算によって、ユーザーの位置Ｐから基準位置Ｓへ向かう方向ベクトルを算出する。

（ステップＳ２０３）
表示装置２００は、ＡＲ画像生成部５５０として機能し、キャリブレーション用のＡＲ画像を生成する。キャリブレーション用のＡＲ画像は、スクリーン１２０に投影される投影コンテンツＣの図形に対応する形状の図形を含む。

図１３（Ａ）は、キャリブレーション用のＡＲ画像の生成方法を説明するための図である。図１３（Ｂ）は、表示装置２００のディスプレイ２３０に表示されるキャリブレーション用のＡＲ画像の例を示す図である。

図１３（Ａ）に示すとおり、表示装置２００は、基準方向Ｓにユーザーの顔が向けられていると仮定する。ここで、基準方向Ｓとは、ユーザーの位置Ｐからみた所定の基準位置Ｓの方向を指す。表示装置２００は、基準方向Ｓにユーザーの顔が向けられているときに、上述の投影処理によってスクリーン１２０に投影されている投影コンテンツＣの図形（図示する例では長方形）に重なって見える図形からなるキャリブレーション用のＡＲ画像を生成する。そのためには、ユーザーの位置Ｐから基準位置Ｓまでの距離Ｒと、基準方向Ｓのスクリーン１２０の投影面に対する傾きとに応じて、キャリブレーション用のＡＲ画像の表示位置、サイズ、形状等を決定すればよい。ただし、基準方向Ｓのスクリーン１２０の投影面に対する傾きは、ステップＳ２０２において算出した方向ベクトル（Ｓｘ−Ｐｘ，Ｓｙ−Ｐｙ，Ｓｚ−Ｐｚ）と、スクリーン１２０の平面の法線ベクトルとの内積等を利用して求められる。結果として、たとえば、図１３（Ｂ）に示す例のような形状（頂点Ｋ１、Ｋ２、Ｋ３、Ｋ４を持つ四角形）の図形からなるキャリブレーション用のＡＲ画像が生成される。さらに、図１３（Ｂ）に示す例のように、ユーザーに適切な操作方法を促すために、「※スクリーンに投影されている四角形に重ねて下さい」等の文字列を、ディスプレイ２３０に表示してもよい。

その後、表示装置２００は、生成したキャリブレーション用のＡＲ画像とともに、当該キャリブレーション用のＡＲ画像に関する情報（たとえば、図９に示すＡＲ画像情報５６１）をＡＲ画像記憶部５６０に記憶する。

（ステップＳ２０４）
表示装置２００は、表示制御部５１０として機能し、ステップＳ２０３において生成されたキャリブレーション用のＡＲ画像を、ディスプレイ２３０に表示する。

具体的には、表示装置２００は、表示装置２００は、ＡＲ画像記憶部５６０に記憶されているキャリブレーション用のＡＲ画像と、対応付けられているＡＲ画像情報５６１を読み出す。そして、表示装置２００は、読み出したＡＲ画像情報５６１の内容に従って、キャリブレーション用のＡＲ画像をディスプレイ２３０に表示する。たとえば、図９の先頭レコードの例では、ファイル名が「００１」のキャリブレーション用のＡＲ画像が読み出され、ディスプレイ２３０の（Ｇ１ｘ，Ｇ１ｙ）の位置に表示される。

（ステップＳ２０５）
表示装置２００は、入力受付部５２０として機能し、ユーザーから、ディスプレイ２３０に表示されたキャリブレーション用のＡＲ画像に含まれる図形が、スクリーン１２０に投影されている投影コンテンツＣの図形に重なって見えることを示す入力を受け付ける。たとえば、表示装置２００は、入力装置２１４に備わる所定のボタンが押下されたときに、当該入力を受け付けたものとみなす。

図１４は、キャリブレーション用のＡＲ画像が投影コンテンツＣに重なって見えないときの状態を示す図である。図１４に示す例のように、ユーザーの実際の顔の向き（直視方向）Ｔが基準方向Ｓと一致していないときは、キャリブレーション用のＡＲ画像と投影コンテンツＣは重なって見えない。これは、ユーザーが基準方向Ｓに顔を向けていることを想定して、ステップＳ２０３でキャリブレーション用のＡＲ画像を生成しているからである。

この場合には、ユーザーは、入力装置２１４に備わる所定のボタンを押下せず、キャリブレーション用のＡＲ画像と投影コンテンツＣは重なって見えるようになるまで、頭部を動かす動作を継続する。表示装置２００は、所定のボタンが押下されない間は、キャリブレーション用のＡＲ画像と投影コンテンツＣは重なっていないと判定して（ステップＳ２０５：ＮＯ）、待機する。

図１５は、キャリブレーション用のＡＲ画像が投影コンテンツＣに重なって見えるときの状態を示す図である。図１５に示す例のように、ユーザーの実際の顔の向き（直視方向）Ｔが基準方向Ｓと一致すると、キャリブレーション用のＡＲ画像と投影コンテンツＣが重なって見える。

この場合には、ユーザーは、入力装置２１４に備わる所定のボタンを押下する。表示装置２００は、所定のボタンが押下された場合には、キャリブレーション用のＡＲ画像と投影コンテンツＣが重なっていると判定して（ステップＳ２０５：ＹＥＳ）、処理をステップＳ２０６に進める。

（ステップＳ２０６）
表示装置２００は、キャリブレーション部５７０として機能し、ユーザーの顔の向き（直視方向）に関する基準方向を設定（キャリブレーション）する。具体的には、表示装置２００は、ステップＳ２０５においてキャリブレーション用のＡＲ画像が投影コンテンツＣに重なって見えることを示す入力を受け付けたときに、慣性センサー２４０が出力する信号を、基準方向Ｓにユーザーが顔を向けているときのセンサー値としてメモリー２１２に登録する。

その後、表示装置２００は、キャリブレーション処理を終了する。

以上のキャリブレーション処理が表示装置２００において実行されることにより、少なくともユーザーの位置Ｐおよび所定の基準位置Ｓに関する実空間情報４２１を用いて、ユーザーの顔の向き（直視方向）に関する基準方向を定めている。そのため、複数のセンサーを用いなくても、ユーザーの顔の向き（直視方向）に関する基準方向を定めることができる。

また、ユーザーの位置Ｐを、当該ユーザーが着席する座席１１０の位置としているため、ユーザーがどの座席１１０に着席しても正確にユーザーの顔の向き（直視方向）に関する基準方向を定めることができる。

（３）情報提供処理
図１６は、情報提供サーバー１４０において実行される情報提供処理の手順を示すフローチャートである。

情報提供サーバー１４０は、電源が投入されたタイミングで図１６に示す情報提供処理を開始する。ただし、情報提供処理を開始するタイミングは、これに限定されず、入力装置１４３に対して、情報提供処理を開始するための操作がなされたときに、情報提供処理を開始してもよい。

（ステップＳ３０１）
情報提供処理を開始すると、情報提供サーバー１４０は、情報提供部４１０として機能し、表示装置２００からの問い合わせデータを受信したか否か判別する。問い合わせデータは、上述したキャリブレーション処理のステップＳ２０１において、表示装置２００から送信されたデータである。

情報提供サーバー１４０は、表示装置２００からの問い合わせデータを受信していない場合には（ステップＳ３０１：ＮＯ）、待機する。一方、情報提供サーバー１４０は、通信装置１４４を介して、表示装置２００からの問い合わせデータを受信すると（ステップＳ３０１：ＹＥＳ）、処理をステップＳ３０２に進める。

（ステップＳ３０２）
情報提供サーバー１４０は、情報提供部４１０として機能し、問い合わせデータに含まれている識別番号を有する実空間情報４２１を、実空間情報記憶部４２０から抽出する（図７）。そして、情報提供サーバー１４０は、抽出した実空間情報４２１を、通信装置１４４を介して表示装置２００へ送信する。

その後、情報提供サーバー１４０は、情報提供処理を終了する。

以上の情報提供処理が情報提供サーバー１４０において実行されることにより、表示装置２００からの問い合わせに応じて、キャリブレーションに必要な実空間情報４２１を提供できる。

（４）上映処理
上記のキャリブレーション処理により、表示装置２００においてユーザーの顔の向き（直視方向）に関する基準方向が正確に定められた後、上映装置１３０は、スクリーン１２０に映画等の映像を投影する。これとともに、上映装置１３０は、音声をスピーカーから出力し、通信装置を介して字幕（データ）を送信する。

スクリーン１２０に映像が投影されている間、表示装置２００は、上映装置１３０の上映サーバーから送信された字幕（データ）を受信し、スクリーン１２０の下方などにあたかも当該字幕が存在するかのようなＡＲ画像をディスプレイ２３０に表示する。そのためには、以下の（ａ）〜（ｃ）の処理を行えばよい。

（ａ）まず、表示装置２００は、キャリブレーション部５７０として機能し、上記のステップＳ２０６で定められた基準方向を基準として、慣性センサー２４０が出力する信号からユーザーの現在の顔の向き（直視方向）Ｔを特定する。つまり、表示装置２００は、基準方向に顔を向けた状態から、現在の顔の向きＴに頭部を動かすまでの、慣性センサー２４０が出力する信号（センサー値）の変化量に基づいて、ユーザーの現在の顔の向き（直視方向）Ｔを特定する。

（ｂ）表示装置２００は、ＡＲ画像生成部５５０として機能し、特定されたユーザーの現在の顔の向き（直視方向）Ｔに応じて、スクリーン１２０に投影されている映像に重ね合わせる字幕を含むＡＲ画像を生成する。

図１７は、上映処理時におけるＡＲ画像の生成方法を説明するための図である。図１７に示すとおり、表示装置２００は、特定された現在のユーザーの顔の向きＴのときに、スクリーン１２０の下方にあたかも当該字幕が存在するかのようなＡＲ画像を生成する。具体的には、ユーザーの位置Ｐから基準位置Ｓまでの距離Ｒと、ユーザーの現在の顔の向きＴに応じて、字幕の表示位置、サイズ、形状等を決定すればよい。

（ｃ）表示装置２００は、表示制御部５１０として機能し、生成した字幕のＡＲ画像を、決定した表示位置、サイズ、形状によって、ディスプレイ２３０に表示する。

以上の上映処理が表示装置２００において実行されることにより、スクリーン１２０に投影された映画等の映像に、字幕のＡＲ画像を重ね合わせることができる。また、キャリブレーション処理によってキャリブレーションされた基準方向を基準として、ユーザーの現在の顔の向きＴを特定しているため、ＡＲ画像を期待通りの正確な位置に表示できる。そして、複数のセンサーを用いずに、ユーザーの現在の顔の向きＴを特定しているため、低コスト、軽量、低消費電力の表示装置等を提供できる。

上記した各フローチャートの各処理単位は、表示システム１の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。表示システム１で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。

＜変形例＞
なお、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。

たとえば、上記実施形態では、スクリーン１２０には、長方形の図形を含む画像が、キャリブレーション用の投影コンテンツＣとして投影されている。しかし、本発明は、これに限定されず、キャリブレーション用の投影コンテンツＣの画像には、どのような形状の図形が含まれていてもよい。また、キャリブレーション用の投影コンテンツＣには、動画が含まれていてもよい。

また、上記実施形態では、表示装置２００のディスプレイ２３０に表示するキャリブレーション用のＡＲ画像には、キャリブレーション用の投影コンテンツＣに対応させて、四角形の図形が含まれている。しかし、本発明は、これに限定されない。

図１８（Ａ）は、キャリブレーション用のＡＲ画像の変形例を示す図である。図１８（Ａ）に示すように、キャリブレーション用のＡＲ画像には、円形の図形が含まれてもよい。

図１８（Ｂ）は、図１８（Ａ）のキャリブレーション用のＡＲ画像を用いてキャリブレーションするときの、ユーザーの視線方向の状態を示す図である。図１８（Ｂ）に示すように、ディスプレイ２３０に表示されたキャリブレーション用のＡＲ画像に含まれる円形が、スクリーン１２０に投影されている投影コンテンツＣの四角形を囲むように重なって見えるときに、上記ステップＳ２０５の入力を受け付けてもよい。

また、上記実施形態では、スクリーン１２０の位置（具体的には、中心位置）を、ユーザーが見ている方向の目標物となり得る所定の基準位置Ｓとしている。しかし、本発明は、これに限定されず、任意の位置を、基準位置Ｓとしてもよい。たとえば、所定の基準位置Ｓは、所定の形状を有する物体の位置としてもよい。この場合、キャリブレーション用のＡＲ画像には、その物体の形状に対応する形状の図形が含まれていればよい。

また、上記実施形態では、ユーザーの位置Ｐは、ユーザーが着席している座席１１０の位置である。しかし、本発明、これに限定されず、ユーザーの位置Ｐが特定される方法であれば、どのような方法でユーザーの位置Ｐを特定してもよい。

また、上記実施形態では、情報提供サーバー１４０は、表示装置２００や、上映装置１３０から独立したサーバーである。しかし、本発明は、これに限定されず、情報提供サーバー１４０を、上映装置１３０と一体化させてもよい。また、実空間情報４２１を表示装置２００のストレージ２１３等に予め記憶させておいてもよい。この場合、表示装置２００は、ステップＳ２０１において、情報取得部５３０として機能し、ストレージ２１３から実空間情報４２１を取得する。

また、上記実施形態のステップＳ２０５では、入力装置２１４に備わる所定のボタンの押下によって、ユーザーの入力を受け付けている。しかし、本発明は、これに限定されず、ユーザーの頭部を一定時間以上静止させることによって、ユーザーの入力を受け付けてもよい。

また、上記実施形態では、表示システム１が映画館内で使用される例について説明している。しかし、本発明は、映画館内で使用される場合に限定されず、実空間情報４２１が得られる状況であれば、任意のシーンで使用され得る。

また、上記実施形態および変形例では、表示装置２００は、シースルー型のヘッドマウントディスプレイ装置としている。しかし、本発明は、これに限定されず、表示装置２００は、非透過型のヘッドマウントディスプレイ装置であってもよい。

また、上記実施形態では、現実の環境等に付加的に重畳させて表示する画像を「ＡＲ画像」と称しているが、この名称に限定されず、現実の環境等に付加的に重畳させて表示する画像であれば、どのような画像であってもよい。たとえば、ＣＧ画像等の名称が用いられた画像も含む。

以上の表示システム１の構成は、上記の実施形態および変形例の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。また、一般的な表示システム１が備える構成を排除するものではない。

また、上記した表示システム１の各機能構成は、各機能構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。各機能構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、一つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、上記した表示システム１の各機能構成の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

また、表示システム１を動作させるプログラムは、ＵＳＢメモリー、フレキシブルディスク、ＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリーやストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、表示システム１の一機能としてその各装置のソフトウェアに組み込んでもよい。

１ 表示システム、
１００ 上映システム、
１１０ 座席、
１２０ スクリーン、
１３０ 上映装置、
１４０ 情報提供サーバー、
１４１ 制御装置、
１４６ ＣＰＵ、
１４７ メモリー、
１４８ ストレージ、
１４２ ディスプレイ、
１４３ 入力装置、
１４４ 通信装置、
１４５ 信号線、
２００ 表示装置、
２１０ 制御ユニット、
２１１ ＣＰＵ、
２１２ メモリー、
２１３ ストレージ、
２１４ 入力装置、
２１５ 表示コントローラー、
２１６ 通信装置、
２２０ 撮像装置、
２３０ ディスプレイ、
２４０ 慣性センサー、
３１０ 投影制御部、
３２０ 投影コンテンツ記憶部、
４１０ 情報提供部、
４２０ 実空間情報記憶部、
４２１ 実空間情報、
４２２ 識別番号、
４２３ 名称、
４２４ 位置情報、
５１０ 表示制御部、
５２０ 入力受付部、
５３０ 情報取得部、
５４０ 直視方向特定部、
５５０ ＡＲ画像生成部、
５６０ ＡＲ画像記憶部、
５６１ ＡＲ画像情報、
５６２ ファイル名、
５６３ 位置情報、
５７０ キャリブレーション部。

Claims (9)

1. 表示部を有し、ユーザーの頭部に装着して用いられる表示装置であって、
   少なくとも前記ユーザーの位置および所定の基準位置に関する実空間情報を取得する情報取得部と、
   前記ユーザーの頭部の動きに応じた信号を出力するセンサーと、
   前記センサーが出力する信号により定まる直視方向をキャリブレーションするキャリブレーション部と、
   前記情報取得部により取得した前記実空間情報と、前記センサーが出力する信号により定まる直視方向とに基づき、ＡＲ画像を前記表示部に表示させる表示制御部と、を備え、
   キャリブレーションモード実行時において、
   前記表示制御部は、前記情報取得部により取得した前記実空間情報を用いて、前記所定の基準位置に対応する前記表示部の位置にキャリブレーション用のＡＲ画像を表示させ、
   前記キャリブレーション部は、前記所定の基準位置に前記キャリブレーション用のＡＲ画像が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションし、
   前記所定の基準位置は、所定のスクリーンの位置であり、
   前記スクリーンには、所定の形状を有する図形を含む画像が表示される、表示装置。
2. 前記キャリブレーション用のＡＲ画像は、前記スクリーンに表示される図形に対応する形状の図形を含む、請求項１に記載の表示装置。
3. 前記キャリブレーション部は、前記スクリーンに表示される図形に、前記キャリブレーション用のＡＲ画像に含まれる図形が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションする、請求項２に記載の表示装置。
4. 前記ユーザーの位置は、当該ユーザーが着席する座席の位置である、請求項１〜３のいずれか一項に記載の表示装置。
5. 前記情報取得部は、前記表示装置とは独立したサーバーから取得する、請求項１〜４のいずれか一項に記載の表示装置。
6. 前記実空間情報を記憶する記憶部をさらに備え、
   前記情報取得部は、前記記憶部から前記実空間情報を取得する、請求項１〜５のいずれか一項に記載の表示装置。
7. 前記ユーザーの前記ＡＲ画像が重なって見えることを示す入力は、
   所定ボタンの押下、または、前記ユーザーの頭部を一定時間以上静止させることにより行われる、請求項１〜６のいずれか一項に記載の表示装置。
8. 表示部を有し、ユーザーの頭部に装着して用いられる表示装置のキャリブレーション方法であって、
   前記表示装置は、
   少なくとも前記ユーザーの位置および所定の基準位置に関する実空間情報を取得する情報取得部と、
   前記ユーザーの頭部の動きに応じた信号を出力するセンサーと、
   前記センサーが出力する信号により定まる直視方向をキャリブレーションするキャリブレーション部と、
   前記情報取得部により取得した前記実空間情報と、前記センサーが出力する信号により定まる直視方向とに基づき、ＡＲ画像を前記表示部に表示させる表示制御部と、を備え、
   キャリブレーションモード実行時において、
   （ａ）前記表示制御部が、前記情報取得部により取得した前記実空間情報を用いて、前記所定の基準位置に対応する前記表示部の位置にキャリブレーション用のＡＲ画像を表示させるステップと、
   （ｂ）前記キャリブレーション部が、前記所定の基準位置に前記キャリブレーション用のＡＲ画像が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションするステップと、を有し、
   前記所定の基準位置は、所定のスクリーンの位置であり、
   前記スクリーンには、所定の形状を有する図形を含む画像が表示される、
   表示装置のキャリブレーション方法。
9. 表示部を有し、ユーザーの頭部に装着して用いられる表示装置のコンピューターに実行させるためのキャリブレーションプログラムであって、
   前記表示装置は、
   少なくとも前記ユーザーの位置および所定の基準位置に関する実空間情報を取得する情報取得部と、
   前記ユーザーの頭部の動きに応じた信号を出力するセンサーと、
   前記センサーが出力する信号により定まる直視方向をキャリブレーションするキャリブレーション部と、
   前記情報取得部により取得した前記実空間情報と、前記センサーが出力する信号により定まる直視方向とに基づき、ＡＲ画像を前記表示部に表示させる表示制御部と、を備え、
   キャリブレーションモード実行時において、
   （ａ）前記表示制御部が、前記情報取得部により取得した前記実空間情報を用いて、前記所定の基準位置に対応する前記表示部の位置にキャリブレーション用のＡＲ画像を表示させるステップと、
   （ｂ）前記キャリブレーション部が、前記所定の基準位置に前記キャリブレーション用のＡＲ画像が重なって見えることを示す入力を前記ユーザーから受け付けたときに、前記センサーが出力する信号により定まる直視方向を基準方向としてキャリブレーションするステップと、を含む処理であって、
   前記所定の基準位置は、所定のスクリーンの位置であり、
   前記スクリーンには、所定の形状を有する図形を含む画像が表示される処理を、前記コンピューターに実行させるためのキャリブレーションプログラム。