JP6596883B2 - ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム - Google Patents

Description

本明細書で開示する技術は、人が観察する現実空間に表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）物体を処理する情報処理装置及び情報処理方法、並びにコンピューター・プログラムに関する。

現実空間に仮想物体などの視覚的な情報を付加して、人が観察する現実世界を拡張するＡＲ技術が知られている。ＡＲ技術によれば、仮想的な物体（以下、「ＡＲ物体」という）があたかも現実空間に存在するかのようにユーザーに知覚させることができる。ＡＲ物体を現実空間の映像と同時にユーザーに視認させる表示装置として、人が頭部に装着して用いるヘッド・マウント・ディスプレイや、ヘッド・アップ・ディスプレイ、スマートフォンやタブレットなどの小型情報端末、ナビゲーション・システム、ゲーム機などを挙げることができる。これらの表示装置において両眼視差や両眼の輻輳、焦点距離を制御することで、ＡＲ物体を立体視させることができる。また、陰影や視点位置、視線方向の変化に対応してＡＲ物体の描画を変更する制御を行なうことによって、ＡＲ物体の立体感を演出することができる。

ＡＲ物体に対して人が手や指先で操作するといった対話システムも考えられる。しかしながら、ＡＲ物体は、仮想的で現実には存在しない物体なので、人が触ったり押したりする操作を行なっても、感触が得られないので、ユーザーにとって操作が分かり難いという問題がある。

例えば、空間上の操作が検出される空間領域にユーザーの手が入ったことを検出すると、パーティクルを立体表示して操作のフィードバックを行なう情報処理装置について提案がなされている（例えば、特許文献１を参照のこと）。このような情報処理装置によれば、ユーザーは自分の手が操作を検出可能な空間領域に入ったことを視覚的に認識することができる。しかしながら、検出可能な空間領域に入っていないときにはパーティクルの表示などの視覚的フィードバックは与えられないので、自分の手が空間領域の手前にあるのか後方にあるのか、自分の手がその空間領域からどのくらい近いか又は遠いかといった具体的な位置関係や奥行き情報を得ることは難しい。

特開２０１２−２５６１０４号公報

本明細書で開示する技術の目的は、現実空間の映像と同時にユーザーに視認される仮想物体を好適に処理することができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、第１の側面に係る技術は、
現実空間の映像と同時にユーザーに視認される仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得部と、
前記位置関係情報に基づく出力を制御するための制御情報を生成する生成部と、
を具備し、
前記生成部は、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
情報処理装置である。

本明細書で開示する第２の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１及び前記第２の位置関係のいずれとも異なる第３の位置関係であると判断される場合には、前記第１及び第２の出力のいずれとも異なる第３の出力を行なうための第３の制御情報を生成するように構成されている。

本明細書で開示する第３の側面に係る技術によれば、第２の側面に係る情報処理装置の前記生成部は、視覚情報を含む前記第１乃至第３の出力をそれぞれ行なうための前記第１乃至第３の制御情報の各々を生成するように構成されている。

本明細書で開示する第４の側面に係る技術によれば、第３の側面に係る情報処理装置の前記生成部は、前記第１乃至第３の出力のうち少なくとも１つの出力において、前記仮想物体の像に視覚的効果を加える出力を行なうための前記第１乃至第３の制御情報を生成するように構成されている。

本明細書で開示する第５の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記仮想物体と前記現実物体との距離を示す情報を含む出力を行なうための制御情報を生成するように構成されている。

本明細書で開示する第６の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記仮想物体と前記現実物体との、前記ユーザーから見た奥行き方向の距離を示す情報を含む出力を行なうための制御情報を生成するように構成されている。

本明細書で開示する第７の側面に係る技術によれば、第４の側面に係る情報処理装置の前記生成部は、前記現実物体が前記仮想物体の手前にあると判断される場合と、前記仮想物体に接触していると判断される場合と、前記仮想物体の背後にあると判断される場合とで、異なる視覚効果を有する出力を行なうための前記制御情報を生成するように構成されている。

本明細書で開示する第８の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記現実物体が前記仮想物体の前後所定の距離以内に設定された操作の有効範囲に存在するときには、前記仮想物体に接触していることを示す出力を行なうための制御情報を生成するように構成されている。

本明細書で開示する第９の側面に係る技術によれば、第８の側面に係る情報処理装置の前記生成部は、前記操作の有効範囲内での前記仮想物体の継続的な操作を許容しつつ、前記仮想物体に接触していないことを通知して、前記ユーザーに前記現実物体の位置補正を促すための制御情報を生成するように構成されている。

本明細書で開示する第１０の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記現実物体が前記仮想物体に対して設定された視覚的効果の有効範囲内に存在する場合にのみ、前記仮想物体の像に視覚的効果を出力するための制御情報を生成するように構成されている。

本明細書で開示する第１１の側面に係る技術によれば、第１０の側面に係る情報処理装置の前記生成部は、前記仮想物体を含む一定の範囲に前記視覚的効果の有効範囲を設定するように構成されている。

本明細書で開示する第１２の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記現実物体が前記仮想物体の手前にあり又は前記仮想物体と接触している場合に、前記仮想物体上に前記視覚的効果を出力するための制御情報を生成するように構成されている。

本明細書で開示する第１３の側面に係る技術によれば、第１２の側面に係る情報像処理装置の前記生成部は、前記仮想物体から前記現実物体までの距離に応じた大きさと鮮明度を持つ前記現実物体の影を前記視覚的効果として出力するための制御情報を生成するように構成されている。

本明細書で開示する第１４の側面に係る技術によれば、第１２の側面に係る情報処理装置の前記生成部は、前記現実物体が前記仮想物体と交差しているときには、警告を出力するための制御情報を生成するように構成されている。

本明細書で開示する第１５の側面に係る技術によれば、第１４の側面に係る情報処理装置の前記生成部は、前記現実物体が前記仮想物体の背後に存在する他の現実物体と衝突する危険を示す警告音を出力し、又は、前記他の現実物体の色を変えた視覚的効果からなる警告を出力するための制御情報を生成するように構成されている。

本明細書で開示する第１６の側面に係る技術によれば、第１２の側面に係る情報処理装置の前記生成部は、前記現実物体による遮蔽領域を考慮して前記視覚的効果を出力するための制御情報を生成するように構成されている。

本明細書で開示する第１７の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記現実物体が前記仮想物体の背後にある場合には、前記仮想物体から前記現実物体までの距離に応じた視覚的効果を出力するための制御情報を生成するように構成されている。

本明細書で開示する第１８の側面に係る技術によれば、第１の側面に係る情報処理装置の前記生成部は、前記仮想物体のうち視覚的効果を加える部分を元の色の対照色で描画する前記視覚的効果を出力するための制御情報を生成するように構成されている。

また、本明細書で開示する第１９の側面に係る技術は、
現実空間の映像と同時にユーザーに視認される仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得ステップと、
前記位置関係情報に基づく出力を制御するための制御情報を生成する生成ステップと、
を有し、
前記生成ステップでは、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
を有する情報処理方法である。

また、本明細書で開示する第２０の側面に係る技術は、
現実空間の映像と同時にユーザーに視認される仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得部、
前記位置関係情報に基づく出力を制御するための制御情報を生成する生成部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、
前記生成部は、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
コンピューター・プログラムである。

本願の請求項２０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１に係るコンピューター・プログラムを有形的なコンピューター可読記憶媒体に記録してコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る情報処理装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、仮想物体に対する現実の物体による操作を示す視覚的効果を加えることができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、透過型のヘッド・マウント・ディスプレイ１００を装着したユーザーを正面から眺めた様子を示した図である。 図２は、たヘッド・マウント・ディスプレイ１００を装着したユーザーの頭部を上方から眺めた様子を示した図である。 図３は、没入型のヘッド・マウント・ディスプレイ３００を装着したユーザーを正面から眺めた様子を示した図である。 図４は、ヘッド・マウント・ディスプレイ３００を装着したユーザーの頭部を上方から眺めた様子を示した図である。 図５は、図１及び図２に示したヘッド・マウント・ディスプレイ１００の内部構成例を模式的に示した図である。 図６は、ＡＲ物体と現実物体との位置関係を把握する方法の一例を示した図である。 図７は、ＡＲ物体と現実物体との位置関係を把握する方法の他の例を示した図である。 図８は、ユーザーの手の影をＡＲ物体の表面に描画する様子を示した図である。 図９は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１０は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１１は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１２は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１３は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１４は、ＡＲ物体を操作可能な有効範囲を示した図である。 図１５は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１６は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１７は、現実物体とＡＲ物体との距離に応じた視覚的フィードバックを例示した図である。 図１８は、現実物体とＡＲ物体の裏面側との距離に応じた視覚的フィードバックを例示した図である。 図１９は、現実物体とＡＲ物体の裏面側との距離に応じた視覚的フィードバックを例示した図である。 図２０は、現実物体とＡＲ物体の裏面側との距離に応じた視覚的フィードバックを例示した図である。 図２１は、ＡＲ物体を視覚的フィードバックの対照色で描画した例を示した図である。 図２２は、視覚的フィードバックをＡＲ物体の対照色で描画した例を示した図である。 図２３は、視覚的フィードバックの有効範囲を限定する一例を示した図である。 図２４は、ＡＲ物体へのユーザーの操作に対する視覚的フィードバックを行なうための機能的構成を模式的に示した図である。 図２５は、視覚的フィードバック付きのＡＲ画像を描画処理するための処理手順を示したフローチャートである。 図２６は、ＡＲ物体に接近している現実物体の視覚的フィードバックを描画する処理手順を示したフローチャートである。 図２７は、ＡＲ物体の背後にある現実物体の視覚的フィードバックを描画する処理手順を示したフローチャートである。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム構成
図１には、ＡＲ物体を含む視覚情報を提示するデバイスの一例として、透過（シースルー）型のヘッド・マウント・ディスプレイ１００を装着したユーザーを正面から眺めた様子を示している。透過型のヘッド・マウント・ディスプレイ１００を装着したユーザーは、表示画像越しに周囲（現実世界）を観察することができる。したがって、ヘッド・マウント・ディスプレイ１００は、ＡＲ物体などの仮想的な表示画像を現実世界の風景に重ね合わせて見せることができる。

図１に示すヘッド・マウント・ディスプレイ１００は、視力矯正用の眼鏡に類似した構造体からなる。ヘッド・マウント・ディスプレイ１００は、ユーザーの左右の眼に対向する位置に、透明な虚像光学部１０１Ｌ、１０１Ｒがそれぞれ配置され、ユーザーが観察する画像（ＡＲ物体など）の拡大虚像が結像される。各虚像光学部１０１Ｌ、１０１Ｒは、眼鏡フレーム状の支持体１０２によって支持されている。

また、支持体１０２の左右の両端付近には、マイクロフォン１０３Ｌ、１０３Ｒが配設されている。正面に左右ほぼ対称的にマイクロフォン１０３Ｌ、１０３Ｒを装備することで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話し声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

図２には、図１に示したヘッド・マウント・ディスプレイ１００を装着したユーザーの頭部を上方から眺めた様子を示している。

図示のように、ヘッド・マウント・ディスプレイ１００の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネル１０４Ｌ、１０４Ｒが配設されている。各表示パネル１０４Ｌ、１０４Ｒは、液晶ディスプレイ又は有機ＥＬ素子（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などのマイクロ・ディスプレイからなる。表示パネル１０４Ｌ、１０４Ｒは、ユーザーが観察する周囲の風景（現実の世界）に、ＡＲ物体などを重畳して表示することができる。表示パネル１０４Ｌ、１０４Ｒから出力される左右の表示画像は、虚像光学部１０１Ｌ、１０１Ｒによって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。詳細な図示を省略するが、虚像光学部１０１Ｌ、１０１Ｒはそれぞれ、マイクロ・ディスプレイからの照射光を集光する光学系と、光学系の通過光を入射する位置に配設された導光板と、導光板への入射光を反射する偏向フィルターと、導光板内を全反射して伝播された光をユーザーの眼に向かって出射させる偏向フィルターを備えている。

なお、図１及び図２では図示を省略したが、ヘッド・マウント・ディスプレイ１００は、ユーザーの視線方向の風景を撮影する外側カメラをさらに備えていてもよい。外側カメラの撮影画像に対して画像認識などの処理を適用して、表示パネル１０４Ｌ、１０４Ｒに表示したＡＲ物体（又は、その拡大虚像）に対して操作を行なう現実の物体（例えば、ユーザーの手や、ユーザーが操作するポインターなど）を特定し、その位置並びに姿勢を測定することができる。

また、図３には、ＡＲ物体を含む視覚情報を提示するデバイスの一例として、没入型のヘッド・マウント・ディスプレイ３００を装着したユーザーを正面から眺めた様子を示している。

没入型のヘッド・マウント・ディスプレイ３００は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与える。また、透過型のヘッド・マウント・ディスプレイ１００とは相違し、没入型のヘッド・マウント・ディスプレイ３００を装着したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ３０５の撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を観察する）ことができる。勿論、このようなビデオ・シースルー画像に対し、ＡＲ画像などの仮想的な表示画像を重ね合わせて見せることができる。

図３に示すヘッド・マウント・ディスプレイ３００は、帽子形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ３００本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル３０４Ｌ、３０４Ｒがそれぞれ配設されている。表示パネル３０４Ｌ、３０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。表示パネル３０４Ｌ、３０４Ｒには、外側カメラ３０５の撮像画像をビデオ・シースルー画像として表示したり、さらにこのビデオ・シースルー画像にＡＲ物体を重畳したりすることができる。

ヘッド・マウント・ディスプレイ３００本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ３０５が設置されている。外側カメラ３０５は、ユーザーの視線方向の風景を撮影することができる。また、外側カメラ３０５に対して画像認識などの処理を適用して、現実の物体（例えば、ユーザーの手や、ユーザーが操作するポインターなど）を特定し、その位置並びに姿勢を測定することができる。

また、ヘッド・マウント・ディスプレイ３００本体の左右の両端付近にそれぞれマイクロフォン３０３Ｌ、３０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン３０３Ｌ、３０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

図４には、図３に示したヘッド・マウント・ディスプレイ３００を装着したユーザーの頭部を上方から眺めた様子を示している。

図示のヘッド・マウント・ディスプレイ３００は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル３０４Ｌ、３０４Ｒを持つ。表示パネル３０４Ｌ、３０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。表示パネル３０４Ｌ、３０４Ｒの表示画像は、虚像光学部３０１Ｌ、３０１Ｒを通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図４に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構３０６を装備している。

図５には、図１及び図２に示したヘッド・マウント・ディスプレイ１００の内部構成例を模式的に示している。但し、図１及び図２と同じ部品であっても、便宜上、図５中では異なる参照番号を付している。また、図３及び図４に示したヘッド・マウント・ディスプレイ３００の内部構成も図５と同様であると理解されたい。以下、各部について説明する。

制御部５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０１Ｂを備えている。ＲＯＭ５０１Ａ内には、制御部５０１で実行するプログラム・コードや各種データを格納している。制御部５０１は、ＲＡＭ５０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイ１００全体の動作を統括的にコントロールする。ＲＯＭ５０１Ａに格納し、制御部５０１で実行するプログラムとして、ナビゲーションやゲームを始めとして、現実空間の映像と同時にユーザーに視認されるＡＲ画像をレンダリングするさまざまなアプリケーション・プログラムを挙げることができる。また、制御部５０１では、外側カメラ５０４（又は、後述する環境カメラ７０３）の撮影画像を表示処理したり、撮影画像を画像認識して被写体若しくは現実の物体を特定したりする処理も必要に応じて行なう。但し、ＡＲ画像をレンダリングする処理（後述）は、ＡＲ画像を表示するヘッド・マウント・ディスプレイ１００（表示装置本体）内で実行する以外に、ネットワーク上のサーバーなど外部装置で実行し、その演算結果を通信部５０５で受信してヘッド・マウント・ディスプレイ１００では表示出力のみを行なうように構成することもできる。

入力操作部５０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部５０１に出力する。また、入力操作部５０２は、リモコン受信部５０３でリモコン（図示しない）から受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部５０１に出力する。

外側カメラ５０４は、例えばヘッド・マウント・ディスプレイ１００本体前面のほぼ中央に配設され、例えばユーザーの視線方向の風景を撮影する。外側カメラ５０４は、パン、チルト、ロールの各方向の回転移動機能や画角変更（ズーム）機能を備えていてもよい。ユーザーは、入力操作部５０２を通じて、外側カメラ５０４の姿勢を指示するようにしてもよい。

通信部５０５は、外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。通信する外部機器として、視聴コンテンツを供給するコンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）や、スマートフォンやタブレットなどの多機能情報端末、ゲーム機、ストリーミング・サーバーなどを挙げることができる。また、制御部５０１は、外部機器への送信データを通信部５０５から送出する。

通信部５０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部５０５を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信方式として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワークなどを挙げることができる。あるいは、通信部５０５は、例えばＷ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

記憶部５０６は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記憶部５０６は、制御部５０１で実行するアプリケーション・プログラムや各種データを記憶している。また、外側カメラ５０５で撮影された動画又は静止画を記憶部５０６内に記憶するようにしてもよい。

画像処理部５０７は、制御部５０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部５０９の画面に合わせた解像度に変換する。そして、表示駆動部５０８は、表示部５０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示部５０９は、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される表示パネルを有する。虚像光学部５１０は、表示部５０９に表示したＡＲ物体などの画像を拡大投影して、ユーザーには拡大虚像として観察させる。この結果、ユーザーは、現実空間の映像と同時にＡＲ物体を視認することができる。

音声処理部５１１は、制御部５０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部５１２は、音声処理後の音声を外部出力、並びにマイクロフォン（前述）からの音声入力を行なう。

ＡＲ技術は既に広く利用されている。ＡＲ技術によれば、仮想的な物体（以下、「ＡＲ物体」という）があたかも現実空間に存在するかのようにユーザーに知覚させることができる。また、両眼視差や両眼の輻輳、焦点距離を制御することで、ＡＲ物体を立体視させることができる。また、陰影や視点位置、視線方向の変化に対応してＡＲ物体の描画を変更する制御を行なうことによって、ＡＲ物体の立体感を演出することができる。さらに、ＡＲ物体に対して人が手や指先で操作するといった対話システムも考えられる。しかしながら、ＡＲ物体は、仮想的すなわち現実には存在しない物体なので、人が触ったり押したりする操作を行なっても、感触が得られないので、操作が分かり難い。

そこで、本明細書で開示する技術として、現実の物体（例えば、ＡＲ物体を操作しようとするユーザーの手など）との位置関係に基づいてＡＲ物体に視覚的なフィードバックを提示して、触ったり押したりしても感触が得られなくてもＡＲ物体を直感的に操作し易くする画像表示技術について提案する。

ここで、ＡＲ物体と現実物体との位置関係を把握する方法について説明しておく。

図６には、ＡＲ物体と現実物体との位置関係を把握する方法の一例を示している。同図では、ヘッド・マウント・ディスプレイ１００を着用するユーザーが、ヘッド・マウント・ディスプレイ１００が表示するＡＲ物体６０１を、自分の手６０２で操作しようとしている様子を示している。ここでは、ユーザーの手６０２を測定対象とする。

ＡＲ物体６０１は、所定の形状及び大きさを持つ。図６に示す例では、簡素化のため、ＡＲ物体６０１は平面で、ユーザーの顔の正面にほぼ平行に配置されている。また、ＡＲ物体６０１は、現実空間に設置される位置及び姿勢を持つ。ヘッド・マウント・ディスプレイ１００は、その位置及び姿勢に配置されているように、ＡＲ物体６０１をレンダリングして、表示部５０９に表示し、虚像光学部５１０を通じてユーザーに観察されるようにする。

外側カメラ５０４は、ヘッド・マウント・ディスプレイ１００本体前面のほぼ中央に配設され、ユーザーの視線方向の風景を撮影する。ユーザー６０２の手が外側カメラ５０４の撮影範囲６０３に入ってくると、画像認識などの処理を通じて、撮影画像中のユーザー６０２の手の現実空間における位置を測定することができる。

ユーザーの手６０２の奥行き情報を得易くするために、外側カメラ５０４にステレオカメラを適用したり、距離センサーを併用したりするようにしてもよい。また、ユーザーの手６０２など、測定対象となる現実物体には、１又は複数のマーカー（図示しない）を取り付けて、外側カメラ５０４の撮影画像から検出し易くするようにしてもよい。

なお、厳密には、ＡＲ物体を表示する表示部５０９の表示座標系（若しくは、表示画像の拡大虚像を投影する投影座標系）と、測定対象となる現実物体を撮影する外側カメラ５０４の撮影座標系は完全には一致しない。以下では、説明の簡素化のため、表示座標系と撮影座標系は一致し若しくは誤差を無視し得るものとし、又は、絶対座標系に変換して、後続の処理を行なうものとする。

また、図７には、ＡＲ物体と現実物体との位置関係を把握する方法の他の例を示している。同図では、ヘッド・マウント・ディスプレイ１００を着用するユーザーが、ヘッド・マウント・ディスプレイ１００が表示するＡＲ物体７０１を、自分の手７０２で操作しようとしている様子を示している。ここでは、ユーザーの手７０２を測定対象とする（同上）。

ＡＲ物体７０１は、所定の形状及び大きさを持つ。図７に示す例では、簡素化のため、ＡＲ物体７０１は平面で、ユーザーの顔の正面にほぼ平行に配置されている。また、ＡＲ物体７０１は、現実空間に設置される位置及び姿勢を持つ。ヘッド・マウント・ディスプレイ１００は、その位置及び姿勢に配置されているように、ＡＲ物体７０１をレンダリングして、表示部５０９に表示し、虚像光学部５１０を通じてユーザーに観察されるようにする。

環境カメラ７０３は、ユーザーが居る部屋の天井や壁などに設置され、ＡＲ物体７０１が重畳される現実空間（若しくは、ユーザーの作業空間）を俯瞰するように撮影する。ユーザー７０２の手が環境カメラ７０３の撮影範囲７０４に入ってくると、画像認識などの処理を通じて、撮影画像中のユーザー７０２の手の現実空間における位置を測定する。

なお、環境カメラ７０３は、パン、チルト、ロールの各方向に回転移動な雲台（図示しない）で支持されていてもよい。また、図７では、簡素化のため、１台の環境カメラ７０３しか描いていないが、測定対象であるユーザーの手７０２の３次元位置情報を得るため、又は、撮影範囲７０４を広くする（若しくは、死角が生じないようにする）ために、２台以上の環境カメラを利用するようにしてもよい。

但し、本明細書で開示する技術を実現する上で、ユーザーの手などの現実物体の位置情報を得る方法は、図６や図７に示した方法に限定されるものではない。

Ｂ．ＡＲ物体と現実物体の位置関係に応じた視覚的フィードバック例（１）
ヘッド・マウント・ディスプレイ１００が現実空間に重畳して表示するＡＲ物体は、ヘッド・マウント・ディスプレイ１００を着用するユーザーからの奥行き情報を含む位置情報を保持している。そして、図６や図７に示した方法、あるいはそれ以外の方法により、ＡＲ物体に操作を行なおうとする現実物体（ユーザーの手など）の位置情報を測定すると、ＡＲ物体と現実物体との奥行き情報を比較して、現実物体がＡＲ物体より手前にあるのか、ＡＲ物体に触れているのか、ＡＲ物体より奥にあるのかを判定して、その判定結果に基づいて視覚的なフィードバックをユーザーに与える。

現実物体がＡＲ物体より手前にある場合、ＡＲ物体が現実物体に隠れて見えなくなるように陰面処理（ＡＲ物体の一部又は全部を描画しないようにする）を行なうことで、ユーザーにＡＲ物体が自分の手より遠い位置にあるように認識させることができる。

図８には、視覚的なフィードバックの一例として、ユーザーの手の影をＡＲ物体の表面に描画する様子を示している。図示の例では、ユーザー（若しくは、外側カメラ５０４）の視線付近に仮想的な光源８０１を設置し、この仮想光源８０１の照射光８０２がユーザーの手８０３によって遮られた影８０４を、ＡＲ物体８０５の表面に描画している。影は、ＡＲに臨場感やリアリティーを与えるとともに、遮蔽物の存在を表現するので、ユーザーの空間把握に大きな助けとなる。

仮想光源８０１が点光源とすると、その照射光８０２は球面状に広がる。したがって、手８０３がＡＲ物体８０５に近くなればなるほど、手の影８０４は小さく、且つ、くっきりとした輪郭となる。また、手８０３がＡＲ物体８０５に触れると、影はほとんど見えなくなる。逆に、手８０３がＡＲ物体８０５から遠ざかるほど、手の影８０４は大きく、且つ、その輪郭がぼやけてくる。

ヘッド・マウント・ディスプレイ１００は、上記のような現実物体の影をＡＲ物体の表面に描画するという視覚的なフィードバックと並行して、ＡＲ物体と現実物体の距離に応じて警告音を大きくしていく（あるいは、逆に小さくしていく）、ユーザーの頭部に加える振動の振幅や周波数を大きくしていく（あるいは、逆に小さくしていく）、熱を加える、といった視覚以外の五感にフィードバックを提示するようにしてもよい。このため、ヘッド・マウント・ディスプレイ１００は、振動を発生させる圧電アクチュエーターや発熱器など、五感にフィードバックを提示するデバイスをさらに装備するようにしてもよい。現実物体の影を利用した視覚的なフィードバックに、視界以外の五感に提示する１以上のフィードバックを組み合わせて用いることにより、ユーザーのＡＲ物体の空間把握をさらにサポートすることができる。

図９〜図１３には、現実物体とＡＲ物体との距離に応じてユーザーに提示する視覚的フィードバックが段階的に変化している様子を例示している。但し、各図の右半分には、現実空間に配置されたＡＲ物体と、ＡＲ物体を操作しようとするユーザーの手先との位置関係を示し、また、各図の左半分には各位置関係のときにＡＲ物体の表示例（ユーザーが観察する画像）を示している。但し、現実物体は実在するがＡＲ物体は仮想的な存在なので、ここで言う現実物体とＡＲ物体との「距離」は仮想的な距離である。この仮想的な距離は、ＡＲ物体が仮想的に現実空間に配置された位置の情報と、検出される現実物体の位置の情報に基づいて算出される。また、ＡＲ物体は、ユーザーが現実空間又は仮想空間に対して行なう入力操作に使用される表示を含むことができる。ユーザーの入力操作として、選択肢の選択操作や、ポインティング操作（座標の入力操作）、文字入力を挙げることができる。図９〜図１３に示す例では、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅ Ｉｎｔｅｒｆａｃｅ）部品として３つのメニュー・ボタンを含んでいる。

図９に示す例では、ユーザーの手９０１は、ＡＲ物体９０２から遠く離れている。したがって、手の影９０３を大きく、且つ、その輪郭をぼやけさせて描画している。

図１０に示す例では、手１００１がＡＲ物体１００２に近づいている。したがって、手の影１００３を、図９に示した例よりも小さく、且つ、その輪郭をより鮮明にして描画して、手１００１がＡＲ物体１００２のどの付近に近づいているのかを視覚的に表現している。

図１１に示す例では、手１１０１がＡＲ物体１１０２に触れている。したがって、手の影はほとんど見えなくなる。また、手１１０１とＡＲ物体１１０２の奥行き情報の比較結果に基づいて、ＡＲ物体１１０２のどの付近が手１１０１で触れられそうか（手１１０１の先端から最短距離となる場所）を算出することができる。図示のように、手１１０１が触れられそうな部分を光らせるなどの描画処理を行なうことによって、ユーザーの空間把握をさらに助けることができる。図１１に示す例では、手１１０１で触れられたメニュー・ボタン１１０３がハイライト表示されている。

図１２に示す例では、手１２０１の先端がＡＲ物体１２０２に触れた後さらに突き進んで、ＡＲ物体１２０２と交差している。手１２０１とＡＲ物体１２０２の奥行き情報の比較結果に基づいて、手１２０１の先端の、ＡＲ物体１２０２から突き抜けている部分を算出することができる。そして、手１２０１がＡＲ物体１２０２を突き抜けた深さが一定以上になると、その部分の上にＡＲ物体１２０２を重畳して表示して、突き抜けた部分が隠れているように表現する。また、手１２０２で突き抜かれたＡＲ物体１２０２の部分を光らせるなどのアラーム（警告フィードバック）を描画することで、ユーザーに余分な動きをしなくて済むように警告することができる。

図１３に示す例では、手１３０１がＡＲ物体１３０２からさらに突き抜けていくと、もはやＡＲ物体１３０２を操作不能であるだけでなく、ＡＲ物体１３０２の背後にある壁１３０３などの障害物（他の現実物体）に衝突して、手１３０１が怪我をする危険がある。このような場合、ＡＲ物体１３０２の表示を消滅させ（又は、点滅させ）、あるいは半透明にするなど警告フィードバックを表示して、ユーザーが背後にある物体を目視で確認できるようにする。また、背後の壁などにぶつかりそうなときなど、現実物体が所定の警告範囲に入ったときには、警告音やバイブレーターなど、視覚以外の五感に対するフィードバックを併用して、危険を回避させるようにしてもよい。図示を省略するが、壁１３０３などの衝突しそうな他の現実物体の色や形状を変えるといった警告フィードバックを行ない、ユーザーに確実に危険を通知するようにしてもよい。

図１１に示したように、手がＡＲ物体に触れた状態では、ＡＲ物体を操作することが可能になる。しかしながら、ＡＲ物体を触れても触感によるフィードバックがないので、手をＡＲ物体にちょうど触れる奥行きで移動させることや、手をその奥行の位置で保つことは難しい作業である。そこで、図１４に示すように、ＡＲ物体１４０２から奥行き方向に前後所定の至近距離以内に、現実物体による操作の有効範囲１４０３を設定してもよい。ユーザーの手１４０１が操作の有効範囲１４０３に入ると、ＡＲ物体１４０２に触れているものとみなして、手１４０１が多少前後方向に動いたとしてもＡＲ物体１４０２への操作を実施し又は実施を継続することで、ユーザーの手による操作の成功率を向上させることができる。

なお、操作の有効範囲１４０３内でのＡＲ物体１４０２の継続的な操作を許容しつつ、実際にはＡＲ物体１４０２には接触していないことを通知して、ユーザーに手１４０１（現実物体）の位置補正を促すようにしてもよい。

Ｃ．ＡＲ物体と現実物体の位置関係に応じた視覚的フィードバック例（２）
図８〜図１０に示した例では、現実物体とＡＲ物体との距離の視覚的フィードバックに影を用いた。影は、ＡＲに臨場感やリアリティーを与えるとともに、遮蔽物の存在を表現するので、ユーザーの空間把握に大きな助けとなる。しかしながら、影をリアルタイムに生成し描画するのは演算負荷が高く、また、完全な影を描画するのは難しい。ＡＲ物体の表面が平坦でなく凹凸のある形状の場合、影の描画はさらに難しくなる。

そこで、現実物体の影をＡＲ物体に描画する方法に代えて、現実物体とＡＲ物体との距離の応じた光のリング状のインジケーターを描画するという視覚的フィードバックの提示方法についても提案する。

図１５〜図１７には、現実物体とＡＲ物体との距離に応じて光のリング状のインジケーターが段階的に変化している様子を例示している。但し、各図の右半分には、現実空間に配置されたＡＲ物体と、ＡＲ物体を操作しようとするユーザーの手先との位置関係を示し、また、各図の左半分には各位置関係のときにＡＲ物体の表示例（ユーザーが観察する画像）を示している。簡素化のため、平坦で無地のテクスチャーからなるＡＲ物体を用いて説明する。

図１５に示す例では、手１５０１がＡＲ物体１５０２から遠く離れている。したがって、ＡＲ物体１５０２の表面に、手１５０１と最短距離となる点を中心とした、大きく且つぼやけた線からなる光のリング状のインジケーター１５０３を描画している。

図１６に示す例では、手１６０１がＡＲ物体１６０２に近づいている。したがって、したがって、ＡＲ物体１６０２の表面に、手１６０１と最短距離となる点を中心とした、図１５に示したものよりも小さく且つより鮮明な線からなる光のリング状のインジケーター１６０３を描画している。

図１７に示す例では、手１７０１がＡＲ物体１７０２に触れている（若しくは、有効範囲（前述）に入っている）。手１７０１がＡＲ物体１７０２を触れた場所を特定する、小さく鮮明な光のリング状のインジケーター１７０３を描画している。

Ｄ．ＡＲ物体と現実物体の位置関係に応じた視覚的フィードバック例（３）
図８〜図１７は、基本的に、ＡＲ物体を正面から操作する場合に行なう視覚的フィードバックの例である。ＡＲ物体をユーザーからある程度離間して配置する場合や、ＡＲ物体が机面などに設置されている場合は、ユーザーは正面からＡＲ物体を操作する必要がある。しかしながら、例えば図９〜図１１からも分かるように、ＡＲ物体を正面から操作する場合、ユーザーの手でＡＲ物体の表面の少なくとも一部が隠れて見え難くなり、視覚的フィードバックとしての影を落とすとさらにＡＲ物体は見え難くなる。

一方、ＡＲ物体をユーザーに近い位置に配置できる場合には、ＡＲ物体の裏面側に手が届く。ＡＲ物体を裏面から操作することにより、ＡＲ物体を遮蔽することなく操作することが可能である。

図１８〜図２０には、図９〜図１３に示した例と同様のＡＲ物体をユーザーが裏面側から操作している様子を例示している。但し、各図の右半分には、現実空間に配置されたＡＲ物体と、ＡＲ物体を操作しようとするユーザーの手先との位置関係を示し、また、各図の左半分には各位置関係のときにＡＲ物体の表示例（ユーザーが観察する画像）を示している。ＡＲ物体は、例えば実行中のアプリケーションやゲームのＧＵＩであり、３つのメニュー・ボタンを含んでいる。

図１８に示す例では、ユーザーの手１８０１は、ＡＲ物体１８０２の裏面から離間している。この段階では、ＡＲ物体１８０２に対して、視覚的フィードバックを一切行なわない。離間したユーザーの手１８０１からＡＲ物体１８０２を操作することはできないからである。

図１９に示す例では、ユーザーの手１９０１は、ＡＲ物体１９０２の裏面に近づいている。したがって、ユーザーの手１９０１が最接近している場所に相当するメニュー・ボタン１９０３を周囲よりも強調表示して、手１９０１が近づいていることを視覚的にフィードバックする。

図２０に示す例では、ユーザーの手２００１は、ＡＲ物体２００２の裏面に接触している。したがって、裏面側からユーザーの手２００１でタッチされたメニュー・ボタン２００３が選択された表示状態に切り替えて、手２００１で触れられたことを視覚的にフィードバックする。なお、ユーザーの手２００１がＡＲ物体２００２の裏面に完全に接触するのではなく、図１４に示したようにＡＲ物体２００２の裏面から一定距離内の有効範囲に入ったことにより、メニュー・ボタン２００３を選択した状態にしてもよい。

図１８〜図２０に示すようなＡＲ物体の裏面側からの操作によれば、ＡＲ物体をユーザーの手などの現実物体で遮蔽することなく、操作することができる。

Ｅ．視覚的フィードバックの色調整
図８〜図１０には、ＡＲ物体の手前側にある現実物体の、ＡＲ物体からの距離に応じた影をＡＲ物体の表面に描画するという視覚的フィードバックを例示した。このように、視覚的フィードバックをＡＲ物体の表面に描画すると、ＡＲ物体の視認性を低下させてしまう可能性がある。そこで、ＡＲ物体の表面に視覚的フィードバックを描画する場合には、ＡＲ物体の色又は視覚的フィードバックの色をお互いの対照色として描画することで、色を引き立たせ、ユーザーの視認性を保ちながら視覚的フィードバックを行なうようにしてもよい。

図２１には、ＡＲ物体２１０１のうち視覚的フィードバックであるユーザーの手の影２１０２と重なっている領域の色を、手の影２１０２の対照色で描画している様子を示している。また、図２２には、逆に、視覚的フィードバックであるユーザーの手の影２２０２のうちＡＲ物体２２０１と重なっている領域の色を、ＡＲ物体２２０１の対照色で描画している様子を示している。図２１及び図２２のいずれの例でも、ユーザーの人差し指の影が、ＡＲ物体上に描画される「Ｔｏｄａｙ‘ｓ Ｎｅｗｓ」という文字列中の一文字「Ｎ」と重なっている。上記のように、ＡＲ物体の色又は視覚的フィードバックの色をお互いの対照色として描画することで、文字「Ｎ」は人差し指の影に埋没せず、視認することができる。

Ｆ．フィードバック範囲の限定
図６には、ヘッド・マウント・ディスプレイ１００に装備された外側カメラ５０４を用いて現実物体（ユーザーの手など）の位置を把握する方法を示した。また、図７には、ユーザーが居る部屋の天井や壁に設置された環境カメラ７０３を用いて現実物体の位置を把握する方法を示した。これらの方法によれば、カメラの撮影範囲であれば、現実物体とＡＲ物体の位置関係を把握することができるので、撮影範囲全体で視覚的フィードバックを行なうことも可能である。

しかしながら、ユーザーの手を視覚的フィードバックの対象とする場合、ＡＲ物体と重複するときの位置関係を把握することができれば十分であり、カメラの撮影範囲全体で視覚的フィードバックを行なう必要はない。

図２３には、視覚的フィードバックの有効範囲を限定する一例を示している。同図では、視覚的フィードバックの有効範囲を、ユーザーが見ているＡＲ物体２３０１を囲む一定の領域２３０２に限定している。また、視覚的フィードバックの有効範囲を、奥行き方向には、ユーザーが見ているＡＲ物体２３０２を含む一定区間２３０３に限定している。

このように視覚的フィードバックの有効範囲を限定することで、例えばユーザーが自分の顔のまわりで手を動かしたときなど、ＡＲ物体への操作でないことが明らかな動作に対して、無用な視覚的フィードバックを行なうという無駄を防ぐことができる。

すなわち、視覚的フィードバックの有効範囲を限定することで、描画負荷を低減することができるとともに、無用な視覚的フィードバックによりユーザーの操作が阻害されるのを防ぐことができる。

Ｇ．機能的構成
図２４には、ＡＲ物体へのユーザーの操作に対する視覚的フィードバックを行なうための機能的構成を模式的に示している。上述したように、視覚的フィードバックは、基本的に、ＡＲ物体と、ＡＲ物体に対して操作指示を行なう現実物体との位置関係（奥行き方向の距離など）を示す位置関係情報に応じて、ＡＲ物体の像に視覚的効果を与えることによって実現される。視覚的フィードバックを行なうための演算処理は、ヘッド・マウント・ディスプレイ１００などＡＲ物体を表示する表示装置本体内で実行することができるが、ネットワーク上のサーバーなど外部装置で視覚的フィードバックを行なうための演算処理し、表示装置ではその演算結果に従った表示出力のみを行なうようにしてもよい。後者の場合、表示装置は現実物体（ユーザーの手など）の位置情報を測定した結果をサーバーに送信するようにしてもよい。また、視覚的フィードバックを行なうための演算処理は、専用のハードウェア装置としてではなく、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムによって実現することも可能である。このようなコンピューター・プログラムを有形的なコンピューター可読記憶媒体に記録され、あるいは有線又は無線の通信路を媒介にして配信される。

ＡＲ情報取得部２４０１は、ＰＣのアプリケーションやナビゲーション・システム、ゲーム機などのＡＲ物体生成部（図示を省略）によって生成された、現実空間に重畳表示すべきＡＲ物体に関する位置、姿勢、大きさ、テクスチャーといったＡＲ情報を取得する。ヘッド・マウント・ディスプレイ１００などの画像処理装置は、有線又は無線の通信部５０５経由で外部のＡＲ物体生成部に接続されているものとする。あるいは、ＡＲ物体生成部を画像処理装置内部に含んでいてもよい。

現実物体検出部２４０２は、例えば外側カメラ５０４の撮影画像を画像認識して、視覚的フィードバックの対象である現実物体（ユーザーの手など）の位置、姿勢、大きさを検出する。あるいは、現実物体検出部２４０２は、環境カメラ７０３の撮影画像を通信部５０５経由で受信して、画像認識により現実物体の位置、姿勢、大きさを検出する。あるいは、現実物体検出部２４０２は、外部装置（図示しない）が環境カメラ７０３の撮影画像を認識して得た現実物体の位置、姿勢、大きさの情報を、通信部５０５経由で受信するようにしてもよい。

なお、現実物体検出部２４０２は、外側カメラ５０４や環境カメラ７０３の撮影画像に含まれるすべての現実物体を検出する必要はない。例えばユーザーの手や、ユーザーが握っているポインターなど、ＡＲ物体に操作を行なおうとする特定の物体に検出対象を限定してよい。ＡＲ物体に操作を行なう可能性のない物体は、視覚的フィードバックを行なう必要がないからである。

物体間関係判定部２４０３は、ＡＲ情報取得部２４０１で生成したＡＲ物体の位置姿勢と、物体検出部２４０２が検出した現実物体の位置姿勢とを比較して、ＡＲ物体と現実物体の位置関係（すなわち、現実物体がＡＲ物体より手前にあるのか、ＡＲ物体に触れているのか、ＡＲ物体より奥にあるのか）を判定して、ＡＲ物体と現実物体との位置関係を示す位置関係情報を取得し、位置関係情報に応じた視覚的効果をＡＲ物体の像に与えるための制御情報を生成する。

なお、物体間関係判定部２４０３は、外側カメラ５０４や環境カメラ７０３の撮影範囲にあるすべての現実物体を判定の対象にする必要はない。例えば、図２３に示したような視覚的フィードバックの有効範囲に存在する現実物体に限定して、位置関係の判定処理を行なうようにしてもよい。視覚的フィードバックの有効範囲を限定することで、後段のＡＲ物体の描画負荷を低減することができるとともに、無用な視覚的フィードバックによりユーザーの操作が阻害されるのを防ぐことができる。

また、物体間関係判定部２４０３は、現実物体がＡＲ物体にちょうど触れている状態だけでなく、ＡＲ物体から奥行き方向に前後所定の至近距離に設定された操作の有効範囲内（図１４を参照のこと）にある状態でも、ＡＲ物体に触れていると判定するようにしてもよい。現実物体による操作の有効範囲を設定することで、現実物体によるＡＲ物体への操作の成功率を向上させることができる。

ＡＲ画像レンダリング部２４０４は、ＡＲ情報取得部２４０１が取得したＡＲ物体の位置、姿勢、大きさ、テクスチャーといったＡＲ情報に基づいて、現実空間に表示すべきＡＲ画像をレンダリングする。

本実施形態では、ＡＲ画像レンダリング部２４０４が、物体間関係判定部２４０３がＡＲ物体と現実物体との位置関係を示す位置関係情報に基づいて生成した制御情報に従って、視覚的フィードバック、すなわち、ＡＲ物体が現実物体によって操作されたことを表現する視覚的効果をＡＲ物体に与える点に主な特徴がある。視覚的フィードバックの具体例は、現実物体の影をＡＲ物体の表面に描画することや（例えば、図８〜図１０を参照のこと）、現実物体がＡＲ物体に近づいていることを示す光のリング状のインジケーター表示すること（例えば、図１５〜図１７を参照のこと、などを挙げることができる。但し、視覚的フィードバックの表示方法はこれらに限定されるものではない。

重畳表示部２４０５は、ＡＲ画像レンダリング部２４０４が描画したＡＲ画像を現実空間に重畳して表示する。例えば、画像表示装置が透過型のヘッド・マウント・ディスプレイ１００の場合には、重畳表示部２４０５は、ＡＲ情報取得部２４０１が決定したＡＲ物体の位置及び姿勢でＡＲ物体がユーザーに観察されるように、表示パネルの適切な画素位置にＡＲ画像を表示する。また、画像表示装置が没入型のヘッド・マウント・ディスプレイ３００の場合には、重畳表示部２４０５は、外側カメラで撮影した周囲画像（ビデオ・シースルー画像）上の適切な場所にＡＲ画像を重畳する。

図２５には、図２４に示した機能的構成を備える画像処理装置において、視覚的フィードバック付きのＡＲ画像を描画処理するための処理手順をフローチャートの形式で示している。

まず、ＡＲ情報取得部２４０１は、現実空間に重畳表示すべきＡＲ物体に関する位置、姿勢、大きさなどのＡＲ情報を取得する（ステップＳ２５０１）。

また、現実物体検出部２４０２は、外側カメラ５０４や環境カメラ７０３の撮影画像を画像認識した結果などに基づいて、視覚的フィードバックの対象である現実物体（ユーザーの手など）の位置、姿勢、大きさを検出する（ステップＳ２５０２）。

そして、物体間関係判定部２４０３は、先行するステップＳ２５０１及びＳ２５０２で取得した情報に基づいて、ＡＲ物体と現実物体の奥行き判定を行ない、現実物体がＡＲ物体の手前にあるか（言い換えれば、ＡＲ物体が現実物体に遮蔽されているか）否かを判定する（ステップＳ２５０３）。

ここで、現実物体がＡＲ物体の手前にあると判定された場合には（ステップＳ２５０３のＹｅｓ）、物体間関係判定部２４０３は、現実物体が視覚的フィードバックの有効範囲（図２３を参照のこと）内に存在するかどうかをさらにチェックする（ステップＳ２５０４）。

現実物体が視覚的フィードバックの有効範囲内に存在する場合には（ステップＳ２５０４のＹｅｓ）、ＡＲ画像レンダリング部２４０４は、ＡＲ物体に接近している現実物体の視覚的フィードバックの描画処理（ステップＳ２５０５）を実行する。ＡＲ物体に接近している現実物体の視覚的フィードバックの描画処理の詳細については、後述に譲る。

一方、現実物体はＡＲ物体の手前にあるが、視覚的フィードバックの有効範囲内に存在しない場合には（ステップＳ２５０４のＮｏ）、現実物体がＡＲ物体に接近している（若しくは、現実物体がＡＲ物体を操作しようとしている）とは言えないので、ＡＲ画像レンダリング部２４０４は、視覚的フィードバックを含まない、通常のＡＲ物体の描画処理を実行する（ステップＳ２５０６）。但し、現実物体はＡＲ物体の手前にあるので、現実物体で遮蔽されている領域に対しては陰面処理を行なうようにする。

また、現実物体がＡＲ物体の手前にない場合には（ステップ Ｓ２５０３のＮｏ）、物体間関係判定部２４０３は、現実物体がＡＲ物体の背後にあるかどうかをさらにチェックする（ステップＳ２５０７）。

ここで、現実物体がＡＲ物体の背後にある場合には（ステップＳ２５０７のＹｅｓ）、ＡＲ画像レンダリング部２４０４は、ＡＲ物体の背後にある現実物体の視覚的フィードバックの描画処理（ステップＳ２５０８）を実行する。ＡＲ物体の背後にある現実物体の視覚的フィードバックの描画処理の詳細については、後述に譲る。

一方、現実物体がＡＲ物体の手前でも背後でもない場合には（ステップＳ２５０７のＮｏ）、ＡＲ画像レンダリング部２４０４は、視覚的フィードバックを含まない、通常のＡＲ物体の描画処理を実行する（ステップＳ２５０９）。この場合、ユーザーの視界で現実物体はＡＲ物体と重なり合っていない（遮蔽していない）ので、ＡＲ物体の陰面処理も必要ない。

図２６には、図２５に示したフローチャートのステップＳ２５０５で行なわれる、ＡＲ物体に接近している現実物体の視覚的フィードバックを描画する処理手順をフローチャートの形式で示している。

まず、物体間関係判定部２４０３は、現実物体がＡＲ物体に接触していないかどうかをチェックする（Ｓ２６０１）。

物体間関係判定部２４０３は、現実物体がＡＲ物体にちょうど触れている状態だけでなく、ＡＲ物体から奥行き方向に前後所定の至近距離に設定された操作の有効範囲内（図１４を参照のこと）にある状態でも、ＡＲ物体に触れていると判定する。現実物体による操作の有効範囲を設定することで、現実物体によるＡＲ物体への操作の成功率を向上させることができる。

ここで、現実物体がＡＲ物体に接触している場合には（ステップＳ２６０１のＮｏ）、ＡＲ画像レンダリング部２４０４は、現実物体がＡＲ物体に接触したときの視覚的フィードバックを生成する（ステップＳ２６０４）。

視覚的フィードバックとして、ＡＲ物体からの距離に応じた現実物体の影を用いる場合には、ほとんど見えない影を生成する。また、現実物体が触れている部分を光らせるなどの効果を視覚的フィードバックに加えるようにしてもよい（例えば、図１１を参照のこと）。

あるいは、視覚的フィードバックとして、ＡＲ物体からの距離に応じた大きさのリング状の光のインジケーターを用いる場合には、現実物体が触れている部分に、小さく鮮明な光のリングを生成する（例えば、図１７を参照のこと）。

また、現実物体がＡＲ物体に接触していない場合には（ステップＳ２６０１のＹｅｓ）、物体間関係判定部２４０３は、現実物体がＡＲ物体と交差しているかどうかをさらにチェックする（Ｓ２６０２）。

現実物体がＡＲ物体と交差していない場合には（ステップＳ２６０２のＮｏ）、ＡＲ画像レンダリング部２４０４は、ＡＲ物体と現実物体との距離に応じた視覚的フィードバックを生成する（ステップＳ２６０５）。

例えば、ＡＲ物体からの距離に応じた大きさと鮮明度を持つ現実物体の影を、視覚的フィードバックとして生成する（例えば、図９〜図１０を参照のこと）。あるいは、ＡＲ物体からの距離に応じた大きさと鮮明度を持つリング状の光のインジケーターを、視覚的フィードバックとして生成する（例えば、図１５〜図１６を参照のこと）。

また、現実物体がＡＲ物体と交差している場合には（ステップＳ２６０２のＹｅｓ）、物体間関係判定部２４０２は、ＡＲ物体を突き抜けた現実物体が、ＡＲ物体の背後にある壁などの障害物（他の現実物体）に衝突する可能性のある警告範囲に入ったか否かをさらにチェックする（ステップＳ２６０３）。

現実物体が警告範囲の外であれば（ステップＳ２６０３のＮｏ）、ＡＲ画像レンダリング部２４０４は、現実物体と交差しているＡＲ物体を描画処理する（ステップＳ２６０６）。

一方、現実物体が警告範囲内に入っている場合には（ステップＳ２６０３のＹｅｓ）、ＡＲ画像レンダリング部２４０４は、ＡＲ物体１３０２の表示を消滅させ（又は、点滅させ）、あるいは半透明にするなど、ユーザーがＡＲ物体の背後にある物体を目視で確認できるようにする警告フィードバックを生成する。

そして、ＡＲ画像レンダリング部２４０４は、現実物体で遮蔽される領域を陰面処理しながら、ＡＲ物体を描画処理する（ステップＳ２６０８）。

続いて、ＡＲ画像レンダリング部２４０４は、現実物体で遮蔽される領域を陰面処理しながら、先行するステップＳ２６０４〜Ｓ２６０７のいずれかで生成された視覚的フィードバックを描画処理して（ステップＳ２６０９）、本処理ルーチンを終了する。ＡＲ画像レンダリング部２４０４は、ＡＲ物体の表面に視覚的フィードバックを描画する場合には、ＡＲ物体の色又は視覚的フィードバックの色をお互いの対照色として描画することで、色を引き立たせ、ユーザーの視認性を保ちながら視覚的フィードバックを行なうようにしてもよい（図２１、図２２を参照のこと）。

図２７には、図２５に示したフローチャートのステップＳ２５０８で行なわれる、ＡＲ物体の背後にある現実物体の視覚的フィードバックを描画する処理手順をフローチャートの形式で示している。

まず、物体間関係判定部２４０３は、現実物体が視覚的フィードバックの有効範囲（図２３を参照のこと）内に存在するかどうかをチェックする（ステップＳ２７０１）。

現実物体が視覚的フィードバックの有効範囲内に存在しない場合には（ステップＳ２７０１のＮｏ）、現実物体がＡＲ物体に対して操作を行なうことは想定されず、その視覚的フィードバックを描画する必要はないので、後続の処理をすべてスキップして、本処理ルーチンを終了する。このように視覚的フィードバックの有効範囲を限定することで、後段のＡＲ物体の描画負荷を低減することができるとともに、無用な視覚的フィードバックによりユーザーの操作が阻害されるのを防ぐことができる。

一方、現実物体が視覚的フィードバックの有効範囲内に存在する場合には（ステップＳ２７０１のＹｅｓ）、ＡＲ画像レンダリング部２４０４は、例えば図１８〜図２０に示したように、ＡＲ物体と現実物体との距離に応じた視覚的フィードバックを生成する（ステップＳ２７０２）。

そして、ＡＲ画像レンダリング部２４０４は、ＡＲ物体を描画処理し（ステップＳ２７０３）、続いて、ステップＳ２７０２で生成された視覚的フィードバックを描画処理して（ステップＳ２７０３）、本処理ルーチンを終了する。

このように、本明細書で開示する技術によれば、ＡＲ物体が表示された現実空間を観察する環境下で、ユーザーは、ＡＲ物体に対して自分の手などで操作しようとする際に、視覚的フィードバックを通じて、ＡＲ物体が自分からどれくらい離れているかを直感的に知ることができる。また、ユーザーは、視覚的フィードバックを手掛かりにして、ＡＲ物体の狙った位置に触れることが容易になる。

また、本明細書で開示する技術によれば、ＡＲ物体を単に現実空間に重畳表示するだけでなく、メニュー・ボタンなどのＵＩ部品を付加して、ＡＲ物体をタッチパネルのような入力手段としても用いることが容易になる。

また、本明細書で開示する技術によれば、ＡＲ物体に視覚的フィードバックを付加することで空間認知が容易になるので、ユーザーは、複雑な３次元形状をしたＡＲ物体を触れるという操作を容易に行なうことができる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、ＡＲ物体を提示するデバイスとして、ヘッド・マウント・ディスプレイや、ヘッド・アップ・ディスプレイ、スマートフォンやタブレットなどの小型情報端末、ナビゲーション・システム、ゲーム機など、さまざまな画像表示装置に適用することができる。本明細書並びに添付する図面では、両眼式のヘッド・マウント・ディスプレイしか記載していないが、勿論、単眼式のヘッド・マウント・ディスプレイに対しても、同様に本明細書で開示する技術を適用することができる。

視覚的フィードバックを行なうための演算処理は、ヘッド・マウント・ディスプレイなどＡＲ物体を表示する表示装置本体内で実行することができるが、ネットワーク上のサーバーなど外部装置で視覚的フィードバックを行なうための演算処理し、表示装置ではその演算結果に従った表示出力のみを行なうようにすることもできる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）現実空間の映像と同時にユーザーに視認される仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得部と、
前記位置関係情報に基づく出力を制御するための制御情報を生成する生成部と、
を具備し、
前記生成部は、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
情報処理装置。
（２）前記生成部は、前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１及び前記第２の位置関係のいずれとも異なる第３の位置関係であると判断される場合には、前記第１及び第２の出力のいずれとも異なる第３の出力を行なうための第３の制御情報を生成する、
上記（１）に記載の情報処理装置。
（３）前記生成部は、視覚情報を含む前記第１乃至第３の出力をそれぞれ行なうための前記第１乃至第３の制御情報の各々を生成する、
上記（２）に記載の情報処理装置。
（４）前記生成部は、前記第１乃至第３の出力のうち少なくとも１つの出力において、前記仮想物体の像に視覚的効果を加える出力を行なうための前記第１乃至第３の制御情報を生成する、
上記（３）に記載の情報処理装置。
（５）前記生成部は、前記仮想物体と前記現実物体との距離を示す情報を含む出力を行なうための制御情報を生成する、
上記（１）に記載の情報処理装置。
（６）前記生成部は、前記仮想物体と前記現実物体との、前記ユーザーから見た奥行き方向の距離を示す情報を含む出力を行なうための制御情報を生成する、
上記（１）に記載の情報処理装置。
（７）前記生成部は、前記現実物体が前記仮想物体の手前にあると判断される場合と、前記仮想物体に接触していると判断される場合と、前記仮想物体の背後にあると判断される場合とで、異なる視覚効果を有する出力を行なうための前記制御情報を生成する、
上記（４）に記載の情報処理装置。
（８）前記生成部は、前記現実物体が前記仮想物体の前後所定の距離以内に設定された操作の有効範囲に存在するときには、前記仮想物体に接触していることを示す出力を行なうための制御情報を生成する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（９）前記生成部は、前記操作の有効範囲内での前記仮想物体の継続的な操作を許容しつつ、前記仮想物体に接触していないことを通知して、前記ユーザーに前記現実物体の位置補正を促すための制御情報を生成する、
上記（８）に記載の情報処理装置。
（１０）前記生成部は、前記現実物体が前記仮想物体に対して設定された視覚的効果の有効範囲内に存在する場合にのみ、前記仮想物体の像に視覚的効果を出力するための制御情報を生成する、
上記（１）乃至（８）のいずれかに記載の情報処理装置。
（１１） 前記生成部は、前記仮想物体を含む一定の範囲に前記視覚的効果の有効範囲を設定する、
上記（１０）に記載の情報処理装置。
（１２）前記生成部は、前記現実物体が前記仮想物体の手前にあり又は前記仮想物体と接触している場合に、前記仮想物体上に前記視覚的効果を出力するための制御情報を生成する、
上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）前記生成部は、前記仮想物体から前記現実物体までの距離に応じた大きさと鮮明度を持つ前記現実物体の影を前記視覚的効果として出力するための制御情報を生成する、
上記（１２）に記載の情報処理装置。
（１４）前記生成部は、前記仮想物体から前記現実物体までの距離に応じた大きさと鮮明度を持つリング状の光のインジケーターを前記視覚的効果として出力するための制御情報を生成する、
上記（１２）に記載の情報処理装置。
（１５）前記生成部は、前記現実物体が前記仮想物体と交差しているときには、警告を出力するための制御情報を生成する、
上記（１２）に記載の情報処理装置。
（１６）前記生成部は、前記現実物体が前記仮想物体の背後に存在する他の現実物体と衝突する危険を示す警告音を出力し、又は、前記他の現実物体の色を変えた視覚的効果からなる警告を出力するための制御情報を生成する、
上記（１５）に記載の情報処理装置。
（１７）前記生成部は、前記現実物体による遮蔽領域を考慮して前記仮想物体を描画する視覚的効果を出力するための制御情報を生成する、
上記（１２）に記載の情報処理装置。
（１８）前記生成部は、前記現実物体による遮蔽領域を考慮して前記視覚的効果を出力するための制御情報を生成する、
上記（１２）に記載の情報処理装置。
（１９）前記生成部は、前記現実物体が前記仮想物体の背後にある場合には、前記仮想物体から前記現実物体までの距離に応じた視覚的効果を出力するための制御情報を生成する、
上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（２０）前記生成部は、前記仮想物体の対照色で前記視覚的効果を出力するための制御情報を生成する、
上記（１）に記載の情報処理装置。
（２１）前記生成部は、前記仮想物体のうち視覚的効果を加える部分を元の色の対照色で描画する前記視覚的効果を出力するための制御情報を生成する、
上記（１）に記載の情報処理装置。
（２２）現実空間の映像と同時にユーザーに視認される仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得ステップと、
前記位置関係情報に基づく出力を制御するための制御情報を生成する生成ステップと、
を有し、
前記生成ステップでは、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
を有する情報処理方法。
（２３）現実空間の映像と同時にユーザーに視認されるように仮想物体を表示する表示部と、
前記仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得部と、
前記位置関係情報に基づいて、前記仮想物体と前記現実物体との位置関係を示す前記表示部の出力を制御するための制御情報を生成する生成部と、
を具備し、
前記生成部は、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、前記表示部が第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記表示部が前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
を具備する画像表示装置。
（２４）前記仮想物体を生成する仮想物体生成部をさらに備える、
上記（２３）に記載の画像表示装置。
（２５）現実空間の映像と同時にユーザーに視認される仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得ステップと、
前記位置関係情報に基づく出力を制御するための制御情報を生成する生成ステップと、
前記制御情報に基づいて、前記現実物体との位置関係を示すように前記仮想物体を表示する表示ステップと、
を有し、
前記生成ステップでは、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、前記表示ステップで第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記表示ステップで前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
画像表示方法。
（２６）現実空間の映像と同時にユーザーに視認される仮想物体と、前記仮想物体に対して操作指示を行なう現実物体との位置関係を示す位置関係情報を取得する取得部、
前記位置関係情報に基づく出力を制御するための制御情報を生成する生成部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、
前記生成部は、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが第１の位置関係であると判断される場合には、第１の出力を行なうための第１の制御情報を生成し、
前記位置関係情報に基づいて前記仮想物体と前記現実物体とが前記第１の位置関係とは異なる第２の位置関係であると判断される場合には、前記第１の出力とは異なる第２の出力を行なうための第２の制御情報を生成する、
コンピューター・プログラム。

１００…ヘッド・マウント・ディスプレイ
１０１Ｌ、１０１Ｒ…虚像光学部、１０２…支持体
１０３Ｌ、１０３Ｒ…マイクロフォン
１０４Ｌ、１０４Ｒ…表示パネル
３００…ヘッド・マウント・ディスプレイ
３０３Ｌ、３０３Ｒ…マイクロフォン
３０４Ｌ、３０４Ｒ…表示パネル、３０５…外側カメラ
３０６…眼幅調整機構
５０１…制御部、５０１Ａ・・・ＲＯＭ、５０１Ｂ…ＲＡＭ
５０２…入力操作部、５０３…リモコン受信部
５０４…外側カメラ、５０５…通信部、５０６…記憶部
５０７…画像処理部、５０８…表示駆動部
５０９…表示部、５１０…虚像光学部
５１１…音声処理部、５１２…音声入出力部
７０３…環境カメラ
２４０１…ＡＲ情報取得部、２４０２…現実物体検出部
２４０３…物体間関係判定部
２４０４…ＡＲ画像レンダリング部、２４０５…重畳表示部

Claims (9)

1. 現実物体の奥行き情報を取得するセンサと、
   両眼に対応する光学部の輻輳表示を制御することで、現実空間上に仮想物体の立体視表示を行う透過型ディスプレイと、
   前記現実物体の奥行き情報と前記仮想物体の奥行き情報の比較結果に基づいて、前記仮想物体上の第１の視覚的なフィードバックを変化させる演算装置と、を備え、
   前記仮想物体は、前記現実物体の奥行き情報と前記仮想物体の奥行き情報に基づいて前記現実物体により直接的に操作可能なＡＲ物体であり、
   前記演算装置は、前記透過型ディスプレイのユーザーから見て前記現実物体がＡＲ物体より手前にある場合、前記透過型ディスプレイを制御することで、
   前記現実物体の奥行き情報と前記ＡＲ物体の奥行き情報に基づいて、前記ＡＲ物体の一部又は全部を非表示にし、
   前記比較結果及び前記ユーザーの視線方向に基づいて、前記ＡＲ物体と前記現実物体とが第１の距離関係であると判断した場合には、前記第１の視覚的なフィードバックを、前記現実物体に対応した位置に第１のサイズで表示し、
   前記比較結果及び前記ユーザーの視線方向に基づいて、前記ＡＲ物体と前記現実物体とが前記第１の距離関係よりも近い第２の距離関係であると判断した場合には、前記現実物体に対応した位置に、前記第１の視覚的なフィードバックを第１のサイズよりも小さい第２のサイズで表示する、
   ヘッドマウントディスプレイ。
2. 前記演算装置は、前記現実物体が前記ＡＲ物体の前方の所定の距離から後方の所定の距離に設定された操作の有効範囲に存在するときには、前記第１の視覚的フィードバックに代えて前記ＡＲ物体に接触していることを示す第２の視覚的フィードバックを表示するように前記透過型ディスプレイを制御する、
   請求項１に記載のヘッドマウントディスプレイ。
3. 前記演算装置は、
   前記透過型ディスプレイから所定の範囲を含まず、且つ前記ＡＲ物体の手前の所定の範囲に、前記第１の視覚的フィードバックを行う有効範囲を設定し、
   前記現実物体が前記有効範囲にある場合、前記ＡＲ物体の一部又は全部を非表示にしつつ前記第１の視覚的フィードバックを行い、
   前記現実物体が前記有効範囲にない場合、前記ＡＲ物体の一部又は全部を非表示にしつつ前記第１の視覚的フィードバックを行わない、
   請求項１又は２のいずれか１つに記載のヘッドマウントディスプレイ。
4. 前記演算装置は、前記現実物体の形状に応じた影を前記第１の視覚的フィードバックとして表示するように前記透過型ディスプレイを制御する、
   請求項１乃至３のいずれか１つに記載のヘッドマウントディスプレイ。
5. 前記演算装置は、前記ユーザーの視線の位置及び方向に対応付けられ、放射状に広がる仮想光源を設定し、前記仮想光源に基づいて、前記視覚的フィードバックを変化させる、
   請求項４に記載のヘッドマウントディスプレイ。
6. 前記演算装置は、
   前記現実物体が、前記ユーザーから見て前記ＡＲ物体の背後に存在する他の現実物体と衝突する可能性があるか否かを判定し、
   前記現実物体が前記他の現実物体と衝突する可能性があると判定した場合、前記ユーザーが物体を目視で確認できるようにＡＲ物体の透過度を上昇させるように前記透過型ディスプレイを制御する、
   請求項１乃至５のいずれか１つに記載のヘッドマウントディスプレイ。
7. 前記演算装置は、前記第１の視覚的フィードバックに対応する前記ＡＲ物体の表示範囲の色を対照色に変化させるように前記透過型ディスプレイを制御する、
   請求項１乃至６のいずれか１つに記載のヘッドマウントディスプレイ。
8. 現実物体の奥行き情報を取得するセンサと、両眼に対応する光学部の輻輳表示を制御することで、現実空間上に仮想物体の立体視表示を行う透過型ディスプレイを備えたヘッドマウントディスプレイにおいて、前記現実物体の奥行き情報と前記仮想物体の奥行き情報の比較結果に基づいて、前記仮想物体上の第１の視覚的なフィードバックを変化させるためのヘッドマウントディスプレイの制御方法であって、
   前記仮想物体は、前記現実物体の奥行き情報と前記仮想物体の奥行き情報に基づいて前記現実物体により直接的に操作可能なＡＲ物体であり、
   前記透過型ディスプレイのユーザーから見て前記現実物体がＡＲ物体より手前にある場合に、
   前記現実物体の奥行き情報と前記ＡＲ物体の奥行き情報に基づいて、前記ＡＲ物体の一部又は全部を非表示にするように前記透過型ディスプレイを制御するステップと、
   前記比較結果及び前記ユーザーの視線方向に基づいて、前記ＡＲ物体と前記現実物体とが第１の距離関係であると判断した場合には、前記第１の視覚的なフィードバックを、前記現実物体に対応した位置に第１のサイズで表示するように前記透過型ディスプレイを制御するステップと、
   前記比較結果及び前記ユーザーの視線方向に基づいて、前記ＡＲ物体と前記現実物体とが前記第１の距離関係よりも近い第２の距離関係であると判断した場合には、前記現実物体に対応した位置に、前記第１の視覚的なフィードバックを第１のサイズよりも小さい第２のサイズで表示するように前記透過型ディスプレイを制御するステップと、
   を有するヘッドマウントディスプレイの制御方法。
9. 現実物体の奥行き情報を取得するセンサと、両眼に対応する光学部の輻輳表示を制御することで、現実空間上に仮想物体の立体視表示を行う透過型ディスプレイを備えたヘッドマウントディスプレイにおいて、前記現実物体の奥行き情報と前記仮想物体の奥行き情報の比較結果に基づいて、前記仮想物体上の第１の視覚的なフィードバックを変化させるための処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、
   前記仮想物体は、前記現実物体の奥行き情報と前記仮想物体の奥行き情報に基づいて前記現実物体により直接的に操作可能なＡＲ物体であり、
   前記透過型ディスプレイのユーザーから見て前記現実物体がＡＲ物体より手前にある場合に、
   前記現実物体の奥行き情報と前記ＡＲ物体の奥行き情報に基づいて、前記ＡＲ物体の一部又は全部を非表示にし、
   前記比較結果及び前記ユーザーの視線方向に基づいて、前記ＡＲ物体と前記現実物体とが第１の距離関係であると判断した場合には、前記第１の視覚的なフィードバックを、前記現実物体に対応した位置に第１のサイズで表示し、
   前記比較結果及び前記ユーザーの視線方向に基づいて、前記ＡＲ物体と前記現実物体とが前記第１の距離関係よりも近い第２の距離関係であると判断した場合には、前記現実物体に対応した位置に、前記第１の視覚的なフィードバックを第１のサイズよりも小さい第２のサイズで表示する、
   ように前記透過型ディスプレイを制御するコンピューター・プログラム。