JP2017028446A - 画像提示装置、光学透過型ヘッドマウントディスプレイ、および画像提示方法 - Google Patents

Abstract

【課題】画像提示装置が提示する画像の立体感を向上する。【解決手段】表示部３１８は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成される。凸レンズ３１２は、表示部３１８に表示された画像の虚像をユーザの視野に提示する。制御部１０は、表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、複数の表示面それぞれの位置を調整することで、凸レンズ３１２により提示される虚像の位置を画素単位で調整する。【選択図】図１０

Description

この発明は、データ処理技術に関し、特に画像提示装置、光学透過型ヘッドマウントディスプレイ、および画像提示方法に関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ＨＭＤを装着するユーザの視界を完全に覆って遮蔽し、映像を観察するユーザに対して深い没入感を与えることが可能な遮蔽型ＨＭＤが存在する。また別の種類のＨＭＤとして、光学透過型ＨＭＤも開発されている。光学透過型ＨＭＤは、ホログラフィック素子やハーフミラー等を用いて、仮想的な立体映像であるＡＲ（Augmented Reality）イメージをユーザに提示しつつ、かつユーザにＨＭＤの外の実空間の様子をシースルーで提示することができる画像提示装置である。

ＨＭＤを装着したユーザに与える視覚的な違和感を軽減し、より深い没入感を与えるために、ＨＭＤが提示する立体映像の立体感を高めることが求められている。また、光学透過型ＨＭＤでＡＲイメージを提示する場合には、ＡＲイメージは実空間に重畳して表示される。このため、特に立体的な物体をＡＲイメージとして提示する場合には、光学透過型ＨＭＤのユーザにとって実空間の物体と違和感なく調和して見えることが好ましく、ＡＲイメージの立体感を向上させる技術が望まれている。

本発明は、本発明者の上記認識にもとづきなされたものであり、主たる目的は、画像提示装置が提示する画像の立体感を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像提示装置は、画像を表示する表示部と、制御部と、を備える。表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、制御部は、表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、複数の表示面それぞれの位置を調整する。

本発明の別の態様もまた、画像提示装置である。この装置は、画像を表示する表示部と、表示部に表示された画像の虚像をユーザの視野に提示する光学素子と、制御部と、を備える。表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、制御部は、表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、複数の表示面それぞれの位置を調整することで、光学素子により提示される虚像の位置を画素単位で調整する。

本発明のさらに別の態様は、画像提示方法である。この方法は、表示部を備える画像提示装置が実行する方法であって、表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、複数の表示面それぞれの位置を調整するステップと、各表示面の位置が調整された表示部に表示対象の画像を表示させるステップと、を含む。

本発明のさらに別の態様もまた、画像提示方法である。この方法は、表示部と光学素子とを備える画像提示装置が実行する方法であって、表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、光学素子は、表示部に表示された画像の虚像をユーザの視野に提示するものであり、表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、複数の表示面それぞれの位置を調整するステップと、各表示面の位置が調整された表示部に表示対象の画像を表示させることにより、光学素子を介して、当該画像内の各画素の虚像を奥行き情報に基づく位置に提示するステップと、を含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像提示装置が提示する画像の立体感を向上することができる。

第１実施形態の画像提示装置の外観を模式的に示す図である。 図２の（ａ）（ｂ）は、表示部の構成を示す斜視図である。 第１実施形態の画像提示装置の機能構成を示すブロック図である。 第１実施形態の画像提示装置の動作を示すフローチャートである。 第２実施形態の画像提示装置の外観を模式的に示す図である。 図６の（ａ）および（ｂ）は、仮想的な３次元空間のオブジェクトと、実空間に重畳された当該オブジェクトとの関係を模式的に示す図である。 凸レンズに係るレンズの公式を説明する図である。 第２実施形態の画像提示装置が備える光学系を模式的に示す図である。 異なる位置に同じ大きさの虚像を提示するために、表示部が表示すべき画像を示す図である。 第２実施形態の画像提示装置の機能構成を示すブロック図である。 第２実施形態の画像提示装置の動作を示すフローチャートである。 第３実施形態の画像提示装置が備える光学系を模式的に示す。

まず概要を説明する。光は、振幅（強さ）、波長（色）、向き（光線方向）の情報を含む。通常のディスプレイでは、光の振幅と波長は表現できるが光線方向を表現することは困難である。そのため、ディスプレイ上の画像を見る人に、その画像に写っている物体（オブジェクト）の奥行きを十分に知覚させることは困難であった。本発明者は、光が持つ光線方向の情報もディスプレイで再現できれば、ディスプレイ上の画像を見る人に現実と変わらない知覚を与えることができると考えた。

光の光線方向を再現する方式として、ＬＥＤアレイを回転させ、空間に描画する方式や、マイクロレンズアレイを利用し、複数視点のマルチフォーカスを実現する方式が存在する。しかし、前者は、回転による機械の摩耗や音の発生、信頼性が低いという問題があった。また後者は、解像度が（１／視点数）に低下し、また描画処理の負荷が高いという問題があった。

以下の第１から第３の実施の形態では、光の光線方向を再現するための改善された方式として、ディスプレイの表面を画素毎にユーザの視線方向に変位させる（言わば凸凹させる）方式を提案する。ユーザの視線方向は、Ｚ軸方向と言え、奥行き方向とも言える。

具体的には第１の実施の形態（以下「第１実施形態」と呼ぶ。）では、ディスプレイの画面を形成する複数の表示部材であり、ディスプレイで表示対象となる画像内の複数の画素に対応する複数の表示部材を、ディスプレイの画面に対して垂直方向に移動させる。この方式によると、２次元画像とその画像に含まれるオブジェクトの奥行き情報により、画像内のオブジェクトが出す光の光線方向を現実に即して再現でき、また画素毎に距離（奥行き）を表現できる。これにより、立体感が向上した画像をユーザに提示できる。

また第２の実施の形態（以下「第２実施形態」と呼ぶ。）では、画素毎の変位が小さくてすむようにレンズで拡大する方式を提案する。具体的には、光学素子を介して、ディスプレイに表示された画像の虚像をユーザに提示し、ユーザに知覚させる虚像までの距離を画素毎に変える。この方式によると、より一層立体感が向上した画像をユーザに提示できる。さらに第３の実施の形態（以下「第３実施形態」と呼ぶ。）では、動的に変位する面にプロジェクションマッピングする例を示す。後述するが、第２および第３実施形態の好適な例としてはＨＭＤを示す。

（第１実施形態）
図１は、第１実施形態の画像提示装置１００の外観を模式的に示す。第１実施形態の画像提示装置１００は、能動的・自律的に画像を表示する画面１０２を備えるディスプレイ装置である。例えばＬＥＤディスプレイやＯＬＥＤディスプレイであってもよい。また、数十インチ等、比較的大きいサイズのディスプレイ装置（例えばテレビ受像機等）であってもよい。

図２の（ａ）（ｂ）は、表示部の構成を示す斜視図である。表示部３１８は、画像提示装置１００の画面１０２を構成する。同図では、左右方向をＺ軸としており、すなわち、同図における表示部３１８の左側面が画像提示装置１００の画面１０２にあたる。表示部３１８は、画面１０２を構成する領域（図の左側面）に、複数の表示面３２６を含む。画面１０２を構成する領域は、典型的には画像提示装置１００を見るユーザと正対する面であり、言い換えれば、ユーザの視線に直交する面である。複数の表示面３２６は、表示対象となる画像内の複数の画素に対応する。言い換えれば、複数の表示面３２６は、画像提示装置１００の画面１０２における複数の画素に対応する。

実施の形態では、表示部３１８（画面１０２）に表示される画像内の画素、言い換えれば画面１０２の画素と、表示面３２６とは１対１に対応することとする。すなわち表示部３１８（画面１０２）には、表示される画像の画素数分の表示面３２６が設けられ、言い換えれば、画面１０２の画素数分の表示面３２６が設けられる。図２の（ａ）および（ｂ）では便宜的に１６個の表示面を示しているが、実際には微細かつ多量の表示面３２６が設けられ、例えば（１４４０×１０８０）個の表示面３２６が設けられてもよい。

複数の表示面３２６のそれぞれは、画面１０２（表示面）に対する垂直方向の位置が変更自在に構成される。表示面に対する垂直方向とは、Ｚ軸方向、すなわちユーザの視線方向とも言える。ここで図２（ａ）は、全ての表示面３２６の位置が基準位置（初期位置）にある状態を示している。図２（ｂ）は、一部の表示面３２６の位置を基準位置より前方に突出させた状態を示している。言い換えれば、図２（ｂ）は、一部の表示面３２６の位置をユーザの視点側に近づけた状態を示している。

実施の形態の表示部３１８は、ＭＥＭＳ（Micro Electro Mechanical Systems）を含む。表示部３１８では、ＭＥＭＳのマイクロアクチュエータにより複数の表示面３２６が互いに独立して駆動され、各表示面３２６のＺ軸方向の位置が互いに独立して設定される。複数の表示面３２６の位置制御は、点字ディスプレイや点字プリンタにおける点字ドットを制御する技術と、ＭＥＭＳとの組み合わせにより実現されてもよい。また、触覚ディスプレイにおける微少突起の状態（突出および埋没）を制御する技術と、ＭＥＭＳとの組み合わせにより実現されてもよい。個々の画素に対応する各表示面３２６は、三原色の発光素子を含み、マイクロアクチュエータにより互いに独立して駆動される。

実施の形態では、図２（ｂ）で示すように、表示面３２６の位置を基準位置より前方へ突出させることにより各表示面３２６の位置を調整するため、マイクロアクチュエータとして圧電アクチュエータを使用する。変形例として、表示面３２６の位置を基準位置より後方へ移動させる（ユーザの視点から離れるように調整する）ことにより各表示面３２６の位置を調整してもよい。その場合、マイクロアクチュエータとして静電アクチュエータを使用してもよい。圧電アクチュエータや静電アクチュエータは小型化に向くメリットがあるが、他の態様として電磁アクチュエータや熱アクチュエータを使用してもよい。

図３は、第１実施形態の画像提示装置１００の機能構成を示すブロック図である。本明細書のブロック図で示す各ブロックは、画像提示装置１００の筐体内に実装された各種モジュールによって実現される。例えばハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

例えば、図３の制御部１０の各ブロックに対応するモジュールを含むコンピュータプログラムが、ＤＶＤ等の記録媒体に格納されて流通し、または所定のサーバからダウンロードされて、画像提示装置１００にインストールされてもよい。また、画像提示装置１００のＣＰＵやＧＰＵがそのコンピュータプログラムをメインメモリに読み出し、実行することで、図３の制御部１０の各機能が発揮されてもよい。

画像提示装置１００は、制御部１０、画像提示部１４、画像記憶部１６を備える。画像記憶部１６は、ユーザに提示すべき静止画や動画（映像）等の画像データを記憶する記憶領域である。ＤＶＤ等の各種の記録メディアやＨＤＤ等のストレージにより実現されてもよい。画像記憶部１６は、さらに、画像に写っているヒトや建築物、背景、風景等の各種オブジェクトの奥行き情報を記憶する。

奥行き情報は、例えばある被写体が写っている画像をユーザに提示したときに、ユーザがその被写体を見て認識される距離感を反映する情報である。そのため、オブジェクトの奥行き情報の一例として、複数のオブジェクトが撮像されたときの、カメラから各オブジェクトまでの距離を含む。また、オブジェクトの奥行き情報は、オブジェクトの各部分（例えば各画素に対応する部分）の奥行き方向での絶対位置、例えば所定の基準位置（原点等）からの距離を示す情報であってもよい。また、奥行き情報は、オブジェクトの各部分間の相対位置、例えば座標の差異を示す情報であってもよく、位置の前後（視点からの距離の長短）を示す情報であってもよい。

第１実施形態では、フレーム単位の画像毎に奥行き情報が予め定められ、フレーム単位の画像と奥行き情報の組み合わせが対応付けられて画像記憶部１６に格納されていることとする。変形例として、表示対象となる画像および奥行き情報が放送波やインターネットを介して画像提示装置１００へ提供されてもよい。また、画像提示装置１００の制御部１０は、静的に保持された、または動的に提供された画像を解析して、その画像に含まれる各オブジェクトの奥行き情報を生成する奥行き情報生成部をさらに備えてもよい。

画像提示部１４は、画像記憶部１６に記憶された画像を画面１０２に表示させる。画像提示部１４は表示部３１８を含む。制御部１０は、ユーザに画像を提示するためのデータ処理を実行する。具体的には、制御部１０は、提示対象画像に写っているオブジェクトの奥行き情報に基づいて、提示対象画像内の画素単位で、表示部３１８における複数の表示面３２６のＺ軸方向の位置を調整する。制御部１０は、画像取得部３４、表示面位置決定部３０、位置制御部３２、表示制御部２６を含む。

画像取得部３４は、所定のレート（画面１０２のリフレッシュレート等）にて画像記憶部１６に格納された画像データと、その画像データに対応付けられた奥行き情報を読み込む。画像取得部３４は、画像データを表示制御部２６へ出力し、奥行き情報を表示面位置決定部３０へ出力する。既述したように、放送波やインターネットを介して画像データや奥行き情報が提供される場合は、画像取得部３４は、不図示のアンテナやネットワークアダプタを介して、画像データや奥行き情報を取得してもよい。

表示面位置決定部３０は、表示対象画像に含まれる各オブジェクトの奥行き情報に基づいて、表示部３１８が含む複数の表示面３２６それぞれの位置、具体的にはＺ軸方向の位置を決定する。言い換えれば、表示対象画像の各部分領域の画素に対応する表示面３２６それぞれの位置を決定する。ここでＺ軸方向の位置は、基準位置からの変位量（移動量）であってもよい。

具体的には、表示面位置決定部３０は、実空間または仮想空間におけるカメラからの距離が近い実空間または仮想空間におけるオブジェクトの部分に該当する第１画素と、カメラからの距離が遠いオブジェクトの部分に該当する第２画素について、第１画素に対応する表示面３２６の位置が、第２画素に対応する表示面３２６の位置より前方になるように、各表示面３２６の位置を決定する。前方とは、Ｚ軸方向におけるユーザ側であり、典型的には、画像提示装置１００に正対するユーザの視点３０８側である。

また、表示面位置決定部３０は、相対的に前方に位置するオブジェクトの部分に対応する画素ほど、その画素に対応する表示面３２６の位置が相対的に前方になるように、個々の表示面３２６の位置を決定する。言い換えれば、相対的に後方に位置するオブジェクトの部分に対応する画素ほど、その画素に対応する表示面３２６の位置が相対的に後方になるように、個々の表示面３２６の位置を決定する。表示面位置決定部３０は、個々の表示面３２６の位置の情報として、予め定められた基準位置（初期位置）からの距離を示す情報や、移動量を示す情報を出力してもよい。

位置制御部３２は、表示部３１８上の複数の表示面３２６それぞれのＺ軸方向の位置を、表示面位置決定部３０により決定された位置へ制御する。例えば、位置制御部３２は、表示部３１８の各表示面３２６を動作させるための信号であり、すなわち各表示面３２６を駆動させるＭＥＭＳアクチュエータを制御するための所定の信号を表示部３１８へ出力する。この信号には、表示面位置決定部３０により決定された各表示面３２６のＺ軸方向の位置を示す情報が含まれる。例えば、基準位置からの変位量（移動量）を示す情報が含まれる。

表示部３１８は、位置制御部３２から送信された信号に基づいて個々の表示面３２６のＺ軸方向の位置を変化させる。例えば、複数の表示面３２６を駆動する複数のアクチュエータを制御して、個々の表示面３２６を、初期位置またはそれまでの位置から信号で指定された位置まで移動させる。

表示制御部２６は、画像取得部３４から出力された画像データを表示部３１８へ出力し、様々なオブジェクトを含む画像を表示部３１８に表示させる。例えば、表示制御部２６は、画像を構成する個々の画素値を表示部３１８へ出力し、表示部３１８は、個々の画素値に応じた態様で個々の表示面３２６を発光させる。なお、画像取得部３４または表示制御部２６は、デコード処理等、画像の表示に必要な他の処理を適宜実行してもよい。

以上の構成による画像提示装置１００の動作を説明する。
図４は、第１実施形態の画像提示装置１００の動作を示すフローチャートである。同図に示す処理は、画像記憶部１６に記憶された画像の表示を指示するユーザ操作が画像提示装置１００に入力された場合に開始されてもよい。また、画像や奥行き情報が動的に提供される場合は、ユーザにより番組（チャンネル）が選択され、選択された番組を表示する際に開始されてもよい。なお、画像提示装置１００は、Ｓ１０〜Ｓ１８の処理を、予め定められたリフレッシュレート（例えば１２０Ｈｚ）に応じて繰り返す。

画像取得部３４は、表示対象となる画像とその画像に対応する奥行き情報を画像記憶部１６から取得する（Ｓ１０）。表示面位置決定部３０は、画像取得部３４により取得された奥行き情報にしたがって、表示対象画像内の各画素に対応する各表示面３２６のＺ軸上の位置を決定する（Ｓ１２）。位置制御部３２は、表示面位置決定部３０の決定にしたがって、表示部３１８における各表示面３２６のＺ軸方向の位置を調整する（Ｓ１４）。各表示面３２６の位置調整が完了すると、位置制御部３２は表示制御部２６に表示を指示し、表示制御部２６は、画像取得部３４により生成された画像を表示部３１８に表示させる（Ｓ１６）。

第１実施形態の画像提示装置１００によると、表示対象画像内の複数の部分のうち、実空間または仮想空間におけるカメラに近い部分を相対的にユーザから近い位置で表示させ、カメラに遠い部分を相対的にユーザから遠い位置で表示させることができる。これにより、画像内の各オブジェクト（およびオブジェクトの各部分）を、深さ方向の情報を反映した態様で提示でき、実空間または仮想空間における奥行きの再現性を向上できる。言い換えれば、光が持つ光線方向の情報の再現性を向上できる。この結果、立体感が向上した画像を提示するディスプレイを実現できる。また、単眼であっても画像を見るユーザに立体感を抱かせることができる。

（第２実施形態）
第２実施形態の画像提示装置１００は、Ｚ軸方向に変位するデバイス（表示部３１８）を適用したＨＭＤである。ユーザに提示する画像をレンズで拡大することにより、各表示面３２６の変位量を抑えつつ、画像の立体感を一層向上させることができる。以下、第１実施形態で説明した部材と同一または対応する部材には同じ符号を付している。第１実施形態と重複する説明は適宜省略する。

図５は、第２実施形態の画像提示装置１００の外観を模式的に示す。画像提示装置１００は、提示部１２０、撮像素子１４０、および種々のモジュールを収納する筐体１６０を含む。第２実施形態の画像提示装置１００は、実空間中にＡＲイメージを重畳して表示する光学透過型ＨＭＤとする。ただし、実施の形態の画像提示技術は遮蔽型ＨＭＤにも適用可能である。例えば、第１実施形態と同様の各種映像コンテンツを表示する場合にも適用できる。また、ＶＲ（Virtual Reality）イメージを表示する場合や、３Ｄ映画のように左目用の視差画像と右目用の視差画像を含む立体映像を表示する場合にも適用できる。

提示部１２０は、立体的な映像をユーザの目に提示する。提示部１２０は、左目用の視差画像と右目用の視差画像とを個別にユーザの目に提示してもよい。撮像素子１４０は、画像提示装置１００を装着するユーザの視野を含む領域に存在する被写体を撮像する。このため撮像素子１４０は、画像提示装置１００をユーザが装着したとき、ユーザの眉間のあたりに位置するように筐体１６０上に配置される。撮像素子１４０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

筐体１６０は、画像提示装置１００におけるフレームの役割を果たすとともに、画像提示装置１００が利用する様々なモジュール（図示せず）を収納する。画像提示装置１００は、ホログラム導光板を含む光学部品、これらの光学部品の位置を変更するためのモータ、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、照度センサ等のモジュールを含んでもよい。また、これらのモジュールを制御するためのプロセッサ（例えばＣＰＵやＧＰＵ）、プロセッサの作業領域となるメモリ等を含んでもよい。これらのモジュールは例示であり、画像提示装置１００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、画像提示装置１００が想定する利用シーンに応じて決定すればよい。

図５は、画像提示装置１００の例としてめがね型のＨＭＤを示している。画像提示装置１００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の画像提示装置１００も本発明の実施の形態に含まれることは、当業者であれば容易に理解されることである。

次に、図６〜図９を参照して、第２実施形態の画像提示装置１００が提示する画像の立体感を向上させる原理を説明する。

図６の（ａ）および（ｂ）は、仮想的な３次元空間のオブジェクトと、実空間に重畳された当該オブジェクトとの関係を模式的に示す。図２（ａ）は、仮想的な３次元空間（以下「仮想空間」と呼ぶ。）に設定された仮想的なカメラである仮想カメラ３００が、仮想的なオブジェクトである仮想オブジェクト３０４を撮影している様子を示している。仮想空間には、仮想オブジェクト３０４の位置座標を規定するための仮想的な３次元直交座標系（以下「仮想座標系３０２」と呼ぶ。）が設定されている。

仮想カメラ３００は仮想的な両眼カメラである。仮想カメラ３００は、ユーザの左目用の視差画像と右目用の視差画像とを生成する。仮想カメラ３００から撮影される仮想オブジェクト３０４の像は、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離に応じて変化する。仮想オブジェクト３０４は、ゲーム等のアプリケーションがユーザに提示する様々なモノを含み、例えば仮想空間に存在するヒト（キャラクタ等）、建築物、背景、風景等を含む。

図６（ｂ）は、仮想空間における仮想カメラ３００から見た場合における仮想オブジェクト３０４の像を、実空間に重畳して表示する様子を示す。図６（ｂ）において、机３１０は実空間に存在する実物の机である。画像提示装置１００を装着したユーザが、左目３０８ａおよび右目３０８ｂで机３１０を観察すると、ユーザには机３１０の上に仮想オブジェクト３０４が置かれているように観察される。このように、実空間に存在する実物に重畳して表示する画像がＡＲイメージである。以下本明細書において、ユーザの左目３０８ａと右目３０８ｂとを特に区別しない場合は、単に「視点３０８」と記載する。

仮想空間と同様に、実空間にも仮想オブジェクト３０４の位置座標を規定するための３次元直交座標系（以下「実座標系３０６」と呼ぶ。）が設定されている。画像提示装置１００は、仮想座標系３０２と実座標系３０６とを参照して、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離に応じて、実空間における仮想オブジェクト３０４の提示位置を変更する。より具体的には、画像提示装置１００は、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離が長いほど、現実空間において視点３０８から遠い位置に仮想オブジェクト３０４の虚像が配置されるようにする。

図７は、凸レンズに係るレンズの公式を説明する図である。より具体的に、図７は、凸レンズ３１２の焦点の内側に物体がある場合における、物体３１４とその虚像３１６との関係を説明する図である。図７に示すように、視点３０８の視線方向にＺ軸が定められており、Ｚ軸上に凸レンズ３１２の光軸とＺ軸とが一致するようにして凸レンズ３１２が配置されている。凸レンズ３１２の焦点距離はＦであり、物体３１４が、凸レンズ３１２に対して視点３０８の反対側に、凸レンズ３１２から距離Ａ（Ａ＜Ｆ）離れて配置されている。すなわち、図３において、物体３１４は凸レンズ３１２の焦点の内側に配置されている。このとき、視点３０８から物体３１４を眺めると、物体３１４は凸レンズ３１２から距離Ｂ（Ｆ＜Ｂ）離れた位置に、虚像３１６として観察される。

このとき、距離Ａ、距離Ｂ、および焦点距離Ｆの関係は、以下の式（１）で示す既知のレンズの公式によって規定される。
１／Ａ−１／Ｂ＝１／Ｆ ・・・式（１）
また、物体３１４の大きさＰ（図３における実線の矢印の長さ）に対する虚像３１６の大きさＱ（図３における破線の矢印の長さ）の割合、すなわち倍率ｍ＝Ｑ／Ｐは、以下の式（２）で表される。
ｍ＝Ｂ／Ａ ・・・式（２）

式（１）は、凸レンズ３１２に対して視点３０８の反対側に、凸レンズ３１２から距離Ｂ離れた位置に虚像３１６を提示するための、物体３１４の距離Ａと焦点距離Ｆとが満たすべき関係を示していると捉えることもできる。例えば、凸レンズ３１２の焦点距離Ｆが固定されている場合を考える。この場合、式（１）を変形することにより、距離Ａを距離Ｂの関数として、以下の式（３）のように表すことができる。
Ａ（Ｂ）＝ＦＢ／（Ｆ＋Ｂ）＝Ｆ／（１＋Ｆ／Ｂ） ・・・式（３）

式（３）は、凸レンズの焦点距離がＦのとき、距離Ｂの位置に虚像３１６を提示するために、物体３１４を配置すべき位置を示している。式（３）から明らかなように、距離Ｂが大きくなるほど、距離Ａも大きくなる。

また、式（２）に式（１）を代入して変形すると、距離Ｂの位置にＱの大きさの虚像３１６を提示するために物体３１４がとるべき大きさＰを、以下の式（４）のように表すことができる。
Ｐ（Ｂ，Ｑ）＝Ｑ×Ｆ／（Ｂ＋Ｆ） ・・・式（４）
式（４）は、物体３１４がとるべき大きさＰを、距離Ｂと虚像３１６の大きさＱとの関数として表す式である。式（４）は、虚像３１６の大きさＱが大きいほど、物体３１４の大きさＰも大きくなることを示している。また、虚像３１６の距離Ｂが大きいほど、物体３１４の大きさＰが小さくなることも示している。

図８は、第２実施形態の画像提示装置１００が備える光学系を模式的に示す。画像提示装置１００は、筐体１６０内に、凸レンズ３１２と表示部３１８を備える。同図の表示部３１８は、各種のオブジェクトが写った画像（ＡＲイメージ）を表示しつつ、装置外部からの可視光を透過する透過型ＯＬＥＤディスプレイとする。表示部３１８として非透過型のディスプレイを使用する場合は、後述する図１２の構成を採用してもよい。

図８では、視点３０８の視線方向にＺ軸が定められており、Ｚ軸上に凸レンズ３１２の光軸とＺ軸とが一致するようにして凸レンズ３１２が配置されている。凸レンズ３１２の焦点距離はＦであり、図８において、ふたつの点Ｆはそれぞれ凸レンズ３１２の焦点を表す。図８に示すように、表示部３１８は、凸レンズ３１２に対して視点３０８の反対側において、凸レンズ３１２の焦点の内側に配置される。

このように、視点３０８と表示部３１８の間には凸レンズ３１２が存在する。したがって、視点３０８から表示部３１８を見ると、表示部３１８が表示する画像は、式（１）および式（２）にしたがう虚像として観察される。この意味で、凸レンズ３１２は、表示部３１８が表示する画像の虚像を生成する光学素子として機能する。また、式（３）で示したように、表示部３１８の各表示面３２６のＺ軸方向の位置が変更されることで、各表示面３２６が示す画像（画素）の虚像が異なる位置で観察されることになる。

また画像提示装置１００は、図５の提示部１２０を介して、装置外部（ユーザの前方）からの可視光を透過的にユーザの目に届ける光学透過型ＨＭＤである。したがって、ユーザの目には、装置外部の実空間の様子（例えば実空間の物体）と、表示部３１８が表示する画像の虚像（例えば仮想オブジェクト３０４の虚像）とが重畳した状態で観察される。

図９は、異なる位置に同じ大きさの虚像を提示するために、表示部３１８が表示すべき画像を示す。図９は、３つの虚像３１６ａ、３１６ｂ、および３１６ｃが、凸レンズ３１２の光学中心から距離Ｂ１、Ｂ２、およびＢ３の距離に、同じ大きさＱで提示されている場合の例を示している。また図９において、画像３１４ａ、３１４ｂ、および３１４ｃは、それぞれ虚像３１６ａ、３１６ｂ、および３１６ｃに対応する画像である。画像３１４ａ、３１４ｂ、および３１４ｃは、表示部３１８によって表示される。なお、式（１）に示すレンズの公式に関し、図７における物体３１４が図９における表示部３１８が表示する画像に対応する。そこで、図９における画像も、図７における物体３１４と同様に、符号３１４を付す。

より具体的には、画像３１４ａ、３１４ｂ、および３１４ｃは、それぞれ凸レンズ３１２の光学中心からＡ１、Ａ２、およびＡ３離れた位置にある表示面３２６によって表示される。ここで、Ａ１、Ａ２、およびＡ３は、式（３）より、それぞれ以下の式で与えられる。
Ａ１＝Ｆ／（１＋Ｆ／Ｂ１）
Ａ２＝Ｆ／（１＋Ｆ／Ｂ２）
Ａ３＝Ｆ／（１＋Ｆ／Ｂ３）

また、表示すべき画像３１４ａ、３１４ｂ、および３１４ｃの大きさＰ１、Ｐ２、およびＰ３は、虚像３１６の大きさＱを用いて、式（４）よりそれぞれ以下の式で与えられる。
Ｐ１＝Ｑ×Ｆ／（Ｂ１＋Ｆ）
Ｐ２＝Ｑ×Ｆ／（Ｂ２＋Ｆ）
Ｐ３＝Ｑ×Ｆ／（Ｂ３＋Ｆ）

このように、表示部３１８における画像３１４の表示位置を変更すること、言い換えれば、画像を表示させる表示面３２６のＺ軸方向の位置を変更することで、ユーザに提示する虚像３１６の位置を変更することができる。また、表示部３１８に表示する画像の大きさを変更することで、提示すべき虚像３１６の大きさを制御することもできる。

なお、図８に示した光学系の構成は一例であり、異なる構成の光学系を介して、表示部３１８に表示された画像の虚像をユーザに提示してもよい。例えば、虚像を提示する光学素子として非球面レンズやプリズム等を使用してもよい。図１２に関連して後述する第３実施形態の光学系でも同様である。虚像を提示する光学素子としては、焦点距離が短い（例えば数ｍｍ程度の）光学素子が望ましい。表示面３２６の変位量、言い換えれば、必要となるＺ軸方向への移動距離を短くでき、ＨＭＤのコンパクト化、省電力化を実現しやすいからである。

以上、物体３１４が凸レンズ３１２の焦点Ｆの内側にある場合における、物体３１４の位置と虚像３１６の位置との関係、および物体３１４の大きさと虚像３１６の大きさとの関係について説明した。続いて、第２実施形態に係る画像提示装置１００の機能構成について説明する。第２実施形態に係る画像提示装置１００は、上述した画像３１４と虚像３１６との関係を利用する。

図１０は、第２実施形態の画像提示装置１００の機能構成を示すブロック図である。画像提示装置１００は、制御部１０、オブジェクト記憶部１２、画像提示部１４を備える。制御部１０は、ユーザにＡＲイメージを提示するための各種データ処理を実行する。画像提示部１４は、制御部１０によりレンダリングされた画像（ＡＲイメージ）を、画像提示装置１００を装着するユーザが観察する実空間に重畳して提示する。具体的には、仮想オブジェクト３０４を含む画像の虚像３１６を実空間に重畳して提示する。制御部１０は、ユーザに提示する画像に写っている仮想オブジェクト３０４の奥行き情報に基づいて、画像提示部１４が虚像３１６を提示する位置を調整する。

既述したように、奥行き情報は、例えばある被写体が写っている画像をユーザに提示したときに、ユーザがその被写体を見て認識される距離感を反映する情報である。そのため、仮想オブジェクト３０４の奥行き情報の一例として、仮想オブジェクト３０４が撮像されたときの、仮想カメラ３００から仮想オブジェクト３０４までの距離を含む。また、仮想オブジェクト３０４の奥行き情報は、仮想オブジェクト３０４の各部分（例えば各画素に対応する部分）の奥行き方向での絶対位置や相対位置を示す情報であってもよい。

制御部１０は、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離が近い場合は、遠い場合と比較して、ユーザから見て近い位置に、仮想オブジェクト３０４の画像の虚像３１６を提示させるように画像提示部１４を制御する。詳細は後述するが、制御部１０は、表示対象の画像に含まれる仮想オブジェクト３０４の奥行き情報に基づいて、複数の表示面３２６それぞれの位置を調整することで、凸レンズ３１２を介した虚像３１６の提示位置を画素単位で調整する。

また制御部１０は、仮想カメラ３００からの距離が近い仮想オブジェクト３０４の部分に該当する第１画素と、仮想カメラ３００からの距離が遠い仮想オブジェクト３０４の部分に該当する第２画素について、第１画素に対応する表示面３２６と凸レンズ３１２との距離を、第２画素に対応する表示面３２６と凸レンズ３１２との距離より短くするように調整する。また制御部１０は、上記第１画素の虚像３１６が、上記第２画素の虚像３１６よりも前方に提示されるように、上記第１画素と上記第２画素の少なくとも一方に対応する表示面３２６の位置を調整する。

画像提示部１４は、表示部３１８と凸レンズ３１２を含む。第２実施形態の表示部３１８も、第１実施形態と同様に、能動的・自律的に画像を表示するディスプレイである。例えば、発光ダイオード（ＬＥＤ）ディスプレイや、有機発光ダイオード（ＯＬＥＤ）ディスプレイである。また表示部３１８は、画像内の複数の画素に対応する複数の表示面３２６を含む。第２実施形態では表示画像が拡大された虚像をユーザへ提示するため、小型のディスプレイでよく、また各表示面３２６の変位量も微少でよい。凸レンズ３１２は、表示部３１８の各表示面に表示された画像の虚像をユーザの視野に提示する。

オブジェクト記憶部１２は、画像提示装置１００のユーザに提示すべきＡＲイメージの元になる仮想オブジェクト３０４のデータを記憶する記憶領域である。仮想オブジェクト３０４のデータは、例えば３次元のボクセル（voxel）データで構成される。

制御部１０は、オブジェクト設定部２０、仮想カメラ設定部２２、レンダリング部２４、表示制御部２６、虚像位置決定部２８、表示面位置決定部３０、位置制御部３２を含む。

オブジェクト設定部２０は、オブジェクト記憶部１２から仮想オブジェクト３０４のボクセルデータを読み出し、仮想空間内に仮想オブジェクト３０４を設定する。例えば、図６（ａ）で示した仮想座標系３０２に仮想オブジェクト３０４を配置し、仮想座標系３０２における仮想オブジェクト３０４の座標を、撮像素子１４０で撮像された実空間の実座標系３０６にマッピングしてもよい。オブジェクト設定部２０はさらに、仮想空間内に設定した仮想オブジェクト３０４を照明するための仮想の光源を仮想空間内に設定してもよい。なお、オブジェクト設定部２０は、筐体１６０中のＷｉ−Ｆｉモジュールを介して、画像提示装置１００の外部にある他の機器から、仮想オブジェクト３０４のボクセルデータを無線通信で取得してもよい。

仮想カメラ設定部２２は、オブジェクト設定部２０が設定した仮想オブジェクト３０４を観察するための仮想カメラ３００を仮想空間内に設定する。仮想カメラ３００は、画像提示装置１００が備える撮像素子１４０に対応して仮想空間内に設定されてもよい。例えば、仮想カメラ設定部２２は、撮像素子１４０の動きに応じて、仮想空間内における仮想カメラ３００の設定位置を変更してもよい。

この場合、仮想カメラ設定部２２は、筐体１６０が備える電子コンパス、加速度センサ、および傾きセンサ等の各種センサの出力をもとに、撮像素子１４０の姿勢および動きを検知する。仮想カメラ設定部２２は、検知した撮像素子１４０の姿勢および動きに追従するように、仮想カメラ３００の姿勢および設定位置を変更する。これにより、画像提示装置１００を装着するユーザの頭部の動きに追従して、仮想カメラ３００から見た仮想オブジェクト３０４の見え方を変更することができる。これにより、ユーザに提示するＡＲイメージの現実感をより高めることができる。

レンダリング部２４は、仮想空間に設定された仮想カメラ３００が撮像する仮想オブジェクト３０４の画像データを生成する。言い換えれば、仮想カメラ３００から観察可能な仮想オブジェクト３０４の部分をレンダリングして画像を生成し、さらに言い換えれば、仮想カメラ３００から見える範囲の仮想オブジェクト３０４の画像を生成する。仮想カメラ３００が撮像する画像は、３次元的な情報を持つ仮想オブジェクト３０４を２次元に投影して得られる２次元画像である。

表示制御部２６は、レンダリング部２４により生成された画像（例えば様々なオブジェクトを含むＡＲイメージ）を表示部３１８に表示させる。例えば、表示制御部２６は、画像を構成する個々の画素値を表示部３１８へ出力し、表示部３１８は、個々の画素値に応じた態様で個々の表示面３２６を発光させる。

虚像位置決定部２８は、オブジェクト設定部２０から仮想座標系３０２または実座標系３０６における仮想オブジェクト３０４の座標を取得し、仮想カメラ設定部２２から仮想座標系３０２または実座標系３０６における仮想カメラ３００の座標を取得する。仮想オブジェクト３０４の座標には、仮想オブジェクト３０４の画像の各画素の座標が含まれてもよい。または虚像位置決定部２８は、仮想オブジェクト３０４の特定部分を示す座標に基づいて、仮想オブジェクト３０４の画像の各画素の座標を算出してもよい。

虚像位置決定部２８は、仮想カメラ３００の座標と、仮想オブジェクト３０４の画像内の各画素の座標にしたがって、仮想カメラ３００から、仮想オブジェクト３０４の画像の各画素までの距離を識別する。そして、その距離を各画素に対応する虚像３１６の提示位置として設定する。言い換えれば、虚像位置決定部２８は、仮想カメラ３００から、表示対象画像内の各画素に対応する仮想オブジェクト３０４の一部領域（以下「部分領域」とも呼ぶ。）までの距離を識別する。そして、仮想カメラ３００から各部分領域までの距離を、各部分領域の虚像３１６の提示位置として設定する。

このように第２実施形態では、虚像位置決定部２８が、表示部３１８で表示対象となる画像に含まれる仮想オブジェクト３０４の奥行き情報を、仮想カメラ３００の座標と、仮想オブジェクト３０４の画像の各画素の座標にしたがって動的に設定する。変形例として、第１実施形態と同様に、仮想オブジェクト３０４の奥行き情報は予め静的に定められ、オブジェクト記憶部１２に保持されてもよい。また、仮想カメラ３００の姿勢や位置の組み合わせ毎に、仮想オブジェクト３０４の複数の奥行き情報が予め定められてもよい。この場合、後述の表示面位置決定部３０は、現在の仮想カメラ３００の姿勢や位置の組み合わせに対応する奥行き情報を選択してもよい。

表示面位置決定部３０は、仮想オブジェクト３０４の奥行き情報、すなわち表示対象画像内の各画素の虚像３１６の提示位置であり、仮想カメラ３００から各部分領域までの距離と、その距離を表現するために必要となる表示面３２６のＺ軸方向の位置との対応関係を保持する。表示面位置決定部３０は、虚像位置決定部２８により設定された仮想オブジェクト３０４の奥行き情報に基づいて、表示部３１８の複数の表示面３２６それぞれのＺ軸方向の位置を決定する。言い換えれば、表示対象画像の各部分領域の画素に対応する表示面３２６それぞれの位置を決定する。

図７を参照して上述したように、画像３１４の位置と虚像３１６の位置とは１対１に対応する。したがって、式（３）に示すように、虚像３１６を提示する位置は、虚像３１６に対応する画像３１４の位置を変更することで制御できる。表示面位置決定部３０は、虚像位置決定部２８により決定された、仮想カメラ３００から、仮想オブジェクト３０４の各部分領域までの距離に応じて、各部分領域の画像を表示させる表示面３２６それぞれの位置を決定する。すなわち、表示面位置決定部３０は、仮想カメラ３００から、仮想オブジェクト３０４の各部分領域までの距離と、式（３）にしたがって、各表示面３２６の位置を決定する。

具体的には、表示面位置決定部３０は、仮想カメラ３００からの距離が相対的に近い仮想オブジェクト３０４の部分に該当する第１画素の虚像が、仮想カメラ３００からの距離が相対的に遠い仮想オブジェクト３０４の部分に該当する第２画素の虚像よりも前方に提示されるように、第１画素に対応する表示面３２６の位置と、第２画素に対応する表示面３２６の位置をそれぞれ決定する。より具体的には、表示面位置決定部３０は、上記第１画素に対応する表示面３２６と凸レンズ３１２との距離を、上記第２画素に対応する表示面３２６と凸レンズ３１２との距離より短くするよう各表示面３２６の位置を決定する。

例えば、仮想カメラ３００からある部分領域Ａまでの距離が遠いほど、視点３０８から虚像３１６の提示位置までの距離を長くすべきである。言い換えれば、虚像３１６はより後方に見えるべきである。そこで表示面位置決定部３０は、凸レンズ３１２からの距離をより長くするように、部分領域Ａの画素に対応する表示面３２６の位置を決定する。その一方、仮想カメラ３００からある部分領域Ｂまでの距離が近いほど、視点３０８から虚像３１６の提示位置までの距離を短くすべきである。言い換えれば、虚像３１６はより前方に見えるべきである。そこで表示面位置決定部３０は、凸レンズ３１２からの距離をより短くするように、部分領域Ｂの画素に対応する表示面３２６の位置を決定する。

本発明者の試算では、虚像３１６を提示する光学素子（実施の形態では凸レンズ３１２）の焦点距離Ｆが２ｍｍの場合、視点３０８の眼前１０ｃｍから無限遠の間に虚像３１６を提示するために必要な表示面３２６の移動量（Ｚ軸方向）は４０μｍである。例えば、各表示面３２６の動作を圧電アクチュエータにより制御する場合、表示面３２６の基準位置（初期位置）を、無限遠を表現するために必要な所定位置（凸レンズ３１２から所定距離）に設定してもよい。そして、Ｚ軸方向へ４０μｍ前方の位置を、眼前１０ｃｍを表現するための、凸レンズ３１２に対して各表示面３２６が最も接近した位置（最近接位置）として設定してもよい。この場合、無限遠に見えるべき部分領域の画素に対応する表示面３２６は移動が不要である。

また、各表示面３２６の動作を静電アクチュエータにより制御する場合、表示面３２６の基準位置（初期位置）を、眼前１０ｃｍを表現するために必要な所定位置（凸レンズ３１２から所定距離）に設定してもよい。そして、Ｚ軸方向へ４０μｍ後方の位置を、無限遠を表現するための、凸レンズ３１２に対して各表示面３２６が最も離れた位置（最離間位置）として設定してもよい。この場合、眼前１０ｃｍに見えるべき部分領域の画素に対応する表示面３２６は移動が不要である。このように、虚像３１６を提示する光学素子の焦点距離Ｆが２ｍｍの場合、表示面位置決定部３０は、４０μｍの範囲で、複数の表示面３２６それぞれのＺ軸方向の位置を決定してもよい。

位置制御部３２は、第１実施形態と同様に、各表示面３２６を駆動させるＭＥＭＳアクチュエータを制御するための所定の信号を表示部３１８へ出力する。この信号には、表示面位置決定部３０により決定された各表示面３２６のＺ軸方向の位置を示す情報が含まれる。

以上の構成による画像提示装置１００の動作を説明する。
図１１は、第２実施形態の画像提示装置１００の動作を示すフローチャートである。同図に示す処理は、画像提示装置１００の電源が起動したときに開始されてもよい。また、予め定められたリフレッシュレート（例えば１２０Ｈｚ）で、画像提示装置１００の最新の位置や姿勢にしたがって、同図のＳ２０〜Ｓ３０の処理を繰り返してもよい。この場合、リフレッシュレートにて、ユーザに提示されるＡＲイメージ（ＶＲイメージでもよい）が更新される。

オブジェクト設定部２０は、仮想空間に仮想オブジェクト３０４を設定し、仮想カメラ設定部２２は、仮想空間に仮想カメラ３００を設定する（Ｓ２０）。画像提示装置１００の撮像素子１４０により撮像された実空間を仮想空間として取り込んでもよい。レンダリング部２４は、仮想カメラ３００から見える範囲の仮想オブジェクト３０４の画像を生成する（Ｓ２２）。虚像位置決定部２８は、表示部３１８で表示対象となる画像の部分領域毎に、その部分領域の虚像の提示位置を決定する（Ｓ２４）。言い換えれば、虚像位置決定部２８は、表示対象画像の画素単位に、視点３０８から各画素の虚像までの距離を決定する。例えば、眼前１０ｃｍから無限遠の範囲で決定する。

表示面位置決定部３０は、虚像位置決定部２８により決定された各画素の虚像の提示位置にしたがって、各画素に対応する各表示面３２６のＺ軸方向の位置を決定する（Ｓ２６）。例えば、凸レンズ３１２の焦点距離Ｆが２ｍｍの場合、基準位置から＋４０μｍ前方の範囲で決定する。不図示だが、Ｓ２２の処理と、Ｓ２４およびＳ２６の処理は並行して実行されてもよい。これによりＡＲイメージの表示速度を高速化できる。

位置制御部３２は、表示面位置決定部３０の決定にしたがって、表示部３１８における各表示面３２６のＺ軸方向の位置を調整する（Ｓ２８）。各表示面３２６の位置調整が完了すると、位置制御部３２は表示制御部２６に表示を指示し、表示制御部２６は、レンダリング部２４により生成された画像を表示部３１８に表示させる（Ｓ３０）。表示部３１８は、各画素値に応じた態様で各表示面３２６を発光させ、これにより、Ｚ軸方向の位置が調整済の各表示面３２６に画像の部分領域を表示させる。

第２実施形態の画像提示装置１００は、表示部３１８に設けられた各表示面３２６をユーザの視線方向に変位させることで、仮想オブジェクト３０４の奥行きを、仮想オブジェクト３０４を示す各画素の虚像提示位置に反映させる。これにより、ユーザに対して一層立体的なＡＲイメージを提示することができる。また、単眼であっても画像を見るユーザに立体感を抱かせることができる。仮想オブジェクト３０４の深さ方向の情報が、各画素の虚像３１６の提示位置に反映され、すなわち光が持つ光線方向の情報が再現されるからである。

また画像提示装置１００では、仮想オブジェクト３０４の奥行きを、画素単位に、近距離から無限遠の範囲で無段階に表現できる。これにより、画像提示装置１００は、奥行き解像度が高い画像を提示でき、また解像度が損なわれることがない。

また画像提示装置１００による画像提示技術は、光学透過型ＨＭＤに特に有用である。仮想オブジェクト３０４の深さ方向の情報が仮想オブジェクト３０４の虚像３１６に反映されるため、ユーザに仮想オブジェクト３０４をあたかも実空間の物体であるかのように知覚させることができるからである。言い換えれば、光学透過型ＨＭＤのユーザの視野において実空間の物体と仮想オブジェクト３０４とが混在する場合に、両者を違和感なく調和して見せることができる。

（第３実施形態）
第３実施形態の画像提示装置１００も、Ｚ軸方向に変位するデバイス（表示部３１８）を適用したＨＭＤである。第３実施形態のＨＭＤは、自らは発光しないスクリーンの表面を画素単位に変位させて、そのスクリーンに画像をプロジェクションする。表示部３１８の個々の表示面３２６を発光させる必要がないため、表示部３１８における配線等の制約が小さくなり、実装の容易性が向上する。また製品のコストを抑制することができる。以下、第１または第２実施形態で説明した部材と同一または対応する部材には同じ符号を付している。第１または第２実施形態と重複する説明は適宜省略する。

図１２は、第３実施形態の画像提示装置１００が備える光学系を模式的に示す。第３実施形態の画像提示装置１００は、図５で示したＨＭＤの筐体１６０内に、凸レンズ３１２、表示部３１８、投射部３２０、反射部材３２２、反射部材３２４を備える。投射部３２０は、各種のオブジェクトが写った画像を示すレーザ光を投射する。表示部３１８は、投射部３２０により投射されたレーザ光を乱反射して、ユーザへ提示すべき画像を表示するスクリーンである。反射部材３２２および反射部材３２４は、入射光を全反射する光学素子（例えばミラー）である。

図１２に示す光学系では、投射部３２０が投射したレーザ光は、反射部材３２２により全反射されて表示部３１８に届く。表示部３１８に表示された画像の光、言い換えれば、表示部３１８の表面で乱反射された画像の光は、反射部材３２４により全反射されてユーザの目に届く。

第３実施形態では、図２に示した表示部３１８の左側面が、投射部３２０からのレーザ光が投射される面（以下「投射面」と呼ぶ。）になる。投射面は、ユーザ（ユーザの視点３０８）に正対する面と言え、ユーザの視線方向に直交する面とも言える。表示部３１８は、その投射面に、表示対象の画像内の複数の画素に対応する複数の表示面３２６を含む。言い換えれば、表示部３１８の投射面は、複数の表示面３２６により構成される。

第３実施形態では、表示部３１８（投射面）に表示される画像内の画素と、表示面３２６とは１対１に対応する。すなわち表示部３１８（投射面）には、表示される画像の画素数分の表示面３２６が設けられる。第３実施形態では、表示部３１８に投射される画像の各画素の光は、各画素に対応する表示面３２６により乱反射される。第３実施形態の表示部３１８は、第２実施形態と同様に、個々の表示面３２６のＺ軸方向の位置を、マイクロアクチュエータにより互いに独立して変化させる。

図８と同様に、図１２においても視点３０８の視線方向にＺ軸が定められており、Ｚ軸上に凸レンズ３１２の光軸とＺ軸とが一致するようにして凸レンズ３１２が配置されている。凸レンズ３１２の焦点距離はＦであり、図１２において、ふたつの点Ｆはそれぞれ凸レンズ３１２の焦点を表す。図１２に示すように、表示部３１８は、凸レンズ３１２に対して視点３０８の反対側において、凸レンズ３１２の焦点の内側に配置される。

第３実施形態の光学系が、ユーザに対する虚像の提示位置を画素毎に変化させる原理は、第２実施形態と同様である。すなわち、表示部３１８の各表示面３２６のＺ軸方向の位置が変更されることで、各表示面３２６が示す画像（画素）の虚像が異なる位置で観察されることになる。また、第３実施形態の画像提示装置１００は、第２実施形態と同様に、装置外部（ユーザの前方）からの可視光を透過的にユーザの目に届ける光学透過型ＨＭＤである。したがって、ユーザの目には、装置外部の実空間の様子（例えば実空間の物体）と、表示部３１８が表示する画像の虚像（例えば仮想オブジェクト３０４を含むＡＲイメージの虚像）とが重畳した状態で観察される。

第３実施形態の画像提示装置１００の機能構成は、第２実施形態（図１０）と同様である。ただし、画像提示部１４が投射部３２０をさらに含む点と、表示制御部２６からの信号の出力先が投射部３２０になる点で異なる。

投射部３２０は、ユーザに提示すべき画像を表示させるためのレーザ光を表示部３１８へ投射する。表示制御部２６は、投射部３２０を制御して、レンダリング部２４により生成された画像を表示部３１８に表示させる。具体的には表示制御部２６は、レンダリング部２４により生成された画像データ（例えば表示部３１８に表示させるべき画像の各画素値）を投射部３２０へ出力し、当該画像を示すレーザ光を投射部３２０から出力させる。

第３実施形態の画像提示装置１００の動作も、第２実施形態（図１１）と同様である。位置制御部３２は、表示面位置決定部３０の決定にしたがって、表示部３１８における各表示面３２６のＺ軸方向の位置を調整する（Ｓ２８）。各表示面３２６の位置調整が完了すると、位置制御部３２は表示制御部２６に表示を指示する。表示制御部２６は、レンダリング部２４により生成された画像の各画素値を投射部３２０へ出力し、投射部３２０は、各画素値に対応するレーザ光を表示部３１８へ投射する。これにより、Ｚ軸方向の位置が調整済の各表示面３２６に画像の部分領域を表示させる（Ｓ３０）。

第３実施形態の画像提示装置１００も、第２実施形態の画像提示装置１００と同様に、仮想オブジェクト３０４の奥行きを、仮想オブジェクト３０４を示す各画素の虚像提示位置に反映させることができる。これにより、ユーザに対して一層立体的なＡＲイメージやＶＲイメージを提示できる。

以上、本発明を第１から第３の実施の形態をもとに説明した。各実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を示す。

第１変形例を説明する。上記の図３および図１０で示した制御部１０、画像記憶部１６、オブジェクト記憶部１２の機能ブロックのうち少なくとも一部を画像提示装置１００の外部の情報処理装置（ここではゲーム機とする）が備える構成としてもよい。例えば、ゲーム機は、所定の画像（ＡＲイメージ等）をユーザに提示するゲーム等のアプリケーションを実行し、オブジェクト記憶部１２、オブジェクト設定部２０、仮想カメラ設定部２２、レンダリング部２４、虚像位置決定部２８、表示面位置決定部３０を含んでもよい。

第１変形例の画像提示装置１００は通信部を備え、撮像素子１４０や各種センサが取得したデータを、通信部を介してゲーム機へ送信してもよい。ゲーム機は、画像提示装置１００に表示させる画像データを生成し、また、画像提示装置１００の複数の表示面３２６それぞれのＺ軸方向の位置を決定し、それらのデータを画像提示装置１００へ送信してもよい。画像提示装置１００の位置制御部３２は、通信部で受信された各表示面３２６の位置情報を表示部３１８へ出力してもよい。画像提示装置１００の表示制御部２６は、通信部で受信された画像データを表示部３１８または投射部３２０へ出力してもよい。

第１変形例においても、画像に含まれる各オブジェクト（仮想オブジェクト３０４等）の奥行きを、各オブジェクトを示す各画素の虚像提示位置に反映させることができ、ユーザに対して一層立体的な画像（ＡＲイメージ等）を提示できる。また、レンダリング処理や虚像位置決定処理、表示面位置決定処理等を画像提示装置１００の外部リソースで実行させることで、画像提示装置１００に必要となるハードウェアリソースを低減できる。

第２変形例を説明する。上記実施の形態では、互いに独立駆動する表示面３２６を、表示対象画像の画素数分設けることとした。変形例として、１つの表示面３２６には、Ｎ個（Ｎは２以上の整数）の画素の画像を一括して表示するよう構成してもよい。この場合、表示部３１８は、（表示対象画像内の画素数／Ｎ）個の表示面３２６を含む。表示面位置決定部３０は、ある表示面３２６の位置を、その表示面３２６が対応する複数の画素とカメラとの距離の平均に基づいて決定してもよい。また、表示面位置決定部３０は、ある表示面３２６の位置を、その表示面３２６が対応する複数の画素の１つ（例えば複数の画素のうち中央もしくは略中央の画素）とカメラとの距離に基づいて決定してもよい。この場合、制御部１０は、複数の画素単位で、それらの画素に対応する表示面３２６のＺ軸方向の位置を調整する。

上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ 制御部、 ２０ オブジェクト設定部、 ２２ 仮想カメラ設定部、 ２４ レンダリング部、 ２６ 表示制御部、 ２８ 虚像位置決定部、 ３０ 表示面位置決定部、 ３２ 位置制御部、 １００ 画像提示装置、 ３１２ 凸レンズ、 ３１８ 表示部、 ３２６ 表示面。

Claims (9)

1. 画像を表示する表示部と、
   制御部と、を備え、
   前記表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、
   前記制御部は、前記表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、前記複数の表示面それぞれの位置を調整することを特徴とする画像提示装置。
2. 前記オブジェクトの奥行き情報は、前記オブジェクトを撮像するカメラから前記オブジェクトまでの距離を含み、
   前記制御部は、前記カメラからの距離が近い前記オブジェクトの部分に該当する第１画素と、前記カメラからの距離が遠い前記オブジェクトの部分に該当する第２画素について、前記第１画素に対応する表示面の位置が、前記第２画素に対応する表示面の位置より前方になるように調整することを特徴とする請求項１に記載の画像提示装置。
3. 画像を表示する表示部と、
   前記表示部に表示された画像の虚像をユーザの視野に提示する光学素子と、
   制御部と、を備え、
   前記表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、
   前記制御部は、前記表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、前記複数の表示面それぞれの位置を調整することで、前記光学素子により提示される虚像の位置を画素単位で調整することを特徴とする画像提示装置。
4. 前記オブジェクトの奥行き情報は、前記オブジェクトを撮像するカメラから前記オブジェクトまでの距離を含み、
   前記制御部は、前記カメラからの距離が近い前記オブジェクトの部分に該当する第１画素と、前記カメラからの距離が遠い前記オブジェクトの部分に該当する第２画素について、前記第１画素に対応する表示面と前記光学素子との距離を、前記第２画素に対応する表示面と前記光学素子との距離より短くすることを特徴とする請求項３に記載の画像提示装置。
5. 前記オブジェクトの奥行き情報は、前記オブジェクトを撮像するカメラから前記オブジェクトまでの距離を含み、
   前記制御部は、前記カメラからの距離が近い前記オブジェクトの部分に該当する第１画素の虚像が、前記カメラからの距離が遠い前記オブジェクトの部分に該当する第２画素の虚像よりも前方に提示されるように、前記第１画素と前記第２画素の少なくとも一方に対応する表示面の位置を調整することを特徴とする請求項３に記載の画像提示装置。
6. 前記表示部は、ＭＥＭＳを含むことを特徴とする請求項３から５のいずれかに記載の画像提示装置。
7. 請求項３から６のいずれかに記載の画像提示装置を含む光学透過型ヘッドマウントディスプレイ。
8. 表示部を備える画像提示装置が実行する方法であって、
   前記表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、
   前記表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、前記複数の表示面それぞれの位置を調整するステップと、
   各表示面の位置が調整された表示部に前記表示対象の画像を表示させるステップと、
   を含むことを特徴とする画像提示方法。
9. 表示部と光学素子とを備える画像提示装置が実行する方法であって、
   前記表示部は、表示対象の画像内の複数の画素に対応する複数の表示面を含み、各表示面は、表示面に対する垂直方向の位置が変更自在に構成されており、
   前記光学素子は、前記表示部に表示された画像の虚像をユーザの視野に提示するものであり、前記表示対象の画像に含まれるオブジェクトの奥行き情報に基づいて、前記複数の表示面それぞれの位置を調整するステップと、
   各表示面の位置が調整された表示部に前記表示対象の画像を表示させることにより、前記光学素子を介して、当該画像内の各画素の虚像を前記奥行き情報に基づく位置に提示するステップと、
   を含むことを特徴とする画像提示方法。

Images