JP2016034091A - 表示装置、表示装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】外景とともに画像を表示できる表示装置によって、撮像画像を適切な手法で表示することにより、利便性を高める。【解決手段】頭部装着型表示装置１００は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０と、カメラ６１と、カメラ６１により撮像を実行させる撮像処理部１６３と、カメラ６１が撮像した被写体との距離を取得する距離取得部１６１と、撮像画像を参照画像として表示させ、参照画像の表示形態を、距離取得部１６１が取得した被写体との距離が近いほど参照画像が視認しやすくなるように調整するプレビュー制御部１６５と、を備える。【選択図】図２

Description

本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。

従来、使用者の頭部に装着される表示装置に撮像装置を接続し、撮像装置が撮像する画像を表示装置により表示するものが知られている（例えば、特許文献１参照）。特許文献１の表示装置は、使用者の目前に装着されるメガネ形状を有し、開閉自在なシャッターを備える。撮像装置が撮像した画像を表示する撮像モードではシャッターが閉じられて外景が見えなくなる。この撮像モードでは、撮像装置が撮像した画像を表示するとともに、操作用の表示を行い、外が見えない状態でも撮像画像を見ながら操作できるようになっている。

特開２０１４−４２２７９号公報

上記従来の表示装置では、撮像モードでシャッターを閉じるため、外景と撮像画像を同時に見る機会はない。仮に、外景が見える状態で撮像画像を表示すると、撮像画像の表示が外景の視野を妨げないようにし、かつ、撮像画像を見やすく表示する必要があるが、この相反する要求を満たす手法は無かった。
本発明は、上述した事情に鑑みてなされたものであり、外景とともに画像を表示できる表示装置によって、撮像された撮像画像を、外景とともに見えるように適切な手法で表示することを目的とする。

上記目的を達成するために、本発明の表示装置は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、撮像部と、前記撮像部に撮像を実行させる撮像処理部と、前記撮像部が撮像した被写体との距離を取得する距離取得部と、前記撮像部の撮像画像を参照画像として前記表示部に表示させ、前記表示部における前記参照画像の表示形態を、前記距離取得部が取得した前記被写体との距離が近いほど前記参照画像が視認しやすくなるように調整する参照画像制御部と、を備えることを特徴とする。
本発明によれば、表示装置が、被写体との距離が近く、撮像部の画角と使用者に見える外景の見え方の差が発生しやすい場合に参照画像を見やすくする。このため、表示装置を使用する使用者は、撮像画像を見ながら撮像の方向の調整等を容易に行うことができる。従って、撮像画像を適切な表示形態で表示し、外景と撮像画像の視認性を両立し、利便性を高めることができる。

ここで、撮像部は、使用者の視野方向を撮影するものであってもよく、より詳細には、撮像部の撮像方向は、使用者の視野の少なくとも一部を撮像範囲に含む方向であってもよい。この場合、使用者の視野の少なくとも一部を含む撮像画像が参照画像として表示部に表示される。従って、使用者が表示部を透過して見る外景の一部を撮像した撮像画像が、参照画像として、外景に重ねて表示される。このため、使用者は、外景を撮像する場合に、撮像画像を見ながら撮像の方向の調整等を容易に行うことができる。
或いは、撮像部の撮像方向は、撮像範囲に使用者の視野を含まない方向であってもよい。この場合、使用者が表示部を通して見る外景とは別の方向を撮像し、撮像画像を表示部に表示する。このため、使用者が外景として見ることができない範囲を撮像し、撮像画像を表示することで、表示部を透過する視野を補うことができる。さらに、撮像した被写体との距離に応じて参照画像の表示形態を変更することで、使用者が表示部を透過して見ることができない方向の被写体を、被写体との距離に対応した表示形態で、使用者に見せることができる。

また、本発明は、上記表示装置において、前記参照画像制御部は、前記表示部における前記参照画像の表示形態を、前記距離取得部が取得した前記被写体との距離が近いほど前記参照画像の大きさが大きくなるように調整すること、を特徴とする。
本発明によれば、被写体との距離が近く、撮像部の画角と使用者に見える外景の見え方の差が発生しやすい場合に参照画像を大きく表示するので、使用者が撮像画像を見ながら、より簡単に、撮像の方向の調整等を行うことができる。

また、本発明は、上記表示装置において、前記参照画像制御部は、前記距離取得部が取得した前記被写体との距離が第１の距離である場合の前記参照画像の大きさよりも、前記被写体との距離が前記第１の距離より近い第２の距離である場合の前記参照画像を大きくすること、を特徴とする。
本発明によれば、被写体との距離が近い場合は表示部に表示される参照画像が大きくなり、被写体との距離が遠い場合は参照画像が小さくなるので、撮像画像に係る調整がより一層、容易になり、利便性を高めることができる。

また、本発明は、上記表示装置において、前記撮像部の撮像画像から、予め設定された条件に該当する前記被写体を検出する撮像処理部を備え、前記参照画像制御部は、前記撮像処理部により前記被写体が検出された場合に、前記参照画像の表示形態をさらに変更すること、を特徴とする。
本発明によれば、予め設定された条件に該当する被写体を検出した場合に参照画像の表示形態をさらに変更できる。ここで、予め設定された被写体とは、例えばバーコード等の１次元コード、ＱＲコード（登録商標）等の２次元コード、或いはその他の機械認識可能なマーカー等が挙げられる。これにより、例えば表示装置にマーカー等を認識させる場合に、認識動作に係る調整が容易になる。また、検出される被写体はマーカー等に限らない。例えば、撮像画像から検出する被写体の特徴点や特徴量に関するデータが条件として設定された場合、撮像画像から条件に該当する特徴点や特徴量を検出することにより、立体物、風景、平面画像等を被写体として検出し、認識できる。

また、本発明は、上記表示装置において、前記参照画像制御部は、前記撮像部の撮像画像において前記撮像処理部により検出された前記被写体の画像の歪みを検出し、検出した歪みの状態に応じた表示形態で前記参照画像を表示させること、を特徴とする。
本発明によれば、撮像画像に写った被写体の画像が歪んでいることを、表示形態に反映させて、歪みの発生を使用者に通知できる。また、例えば歪みを補償するように参照画像の表示形態を変更して、被写体の画像の視認性を高めることができる。

また、本発明は、上記表示装置において、前記距離取得部は、前記撮像部が撮像した撮像画像における前記被写体のサイズに基づき、前記被写体との距離を求めること、を特徴とする。
本発明によれば、被写体までの距離を容易に求めることができる。

また、本発明は、上記表示装置において、前記距離取得部は、前記撮像部が撮像した少なくとも２つ以上の画像に基づき、前記被写体との距離を求めること、を特徴とする。
本発明によれば、撮像画像に基づいて、被写体までの距離を簡易に、かつ、より正確に求めることができる。

また、本発明は、上記表示装置において、前記撮像部は少なくとも２つ以上の画像を同時に撮影可能であること、を特徴とする。
本発明によれば、２つ以上の画像に基づき被写体との距離を求める構成において、画像を容易に得ることができる。

また、本発明は、上記表示装置において、光学的に、若しくは、音波または超音波を用いて前記被写体までの距離を求める測距部を備え、前記距離取得部は、前記測距部が測定した前記被写体との距離を取得すること、を特徴とすること、を特徴とする。
本発明によれば、被写体までの距離を速やかに求めることができる。

また、本発明は、上記表示装置において、前記撮像部は、前記使用者の視線に対応する方向を撮像方向とするように配置されたこと、を特徴とする。
本発明によれば、使用者の視線方向と対応する方向を撮像し、撮像した画像を参照画像として表示できる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置の制御方法であって、撮像を行って、撮像した被写体との距離を取得し、撮像画像を参照画像として前記表示部により表示させ、前記表示部における前記参照画像の表示形態を、前記被写体との距離が近いほど前記参照画像が視認しやすくなるように調整すること、を特徴とする。
本発明によれば、表示装置が、被写体との距離が近く、撮像部の画角と使用者に見える外景の見え方の差が発生しやすい場合に参照画像を見やすく表示する。このため、表示装置を使用する使用者は、撮像画像を見ながら撮像の方向の調整等を容易に行うことができる。従って、撮像画像を適切な表示形態で表示し、外景と撮像画像の視認性を両立し、利便性を高めることができる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、撮像部により撮像を実行させる撮像処理部と、前記撮像部が撮像した被写体との距離を取得する距離取得部と、前記撮像部の撮像画像を参照画像として前記表示部に表示させ、前記表示部における前記参照画像の表示形態を、前記距離取得部が取得した前記被写体との距離が近いほど前記参照画像が見やすくなるように調整するプレビュー制御部と、して機能させる。
本発明によれば、表示装置が、被写体との距離が近く、撮像部の画角と使用者に見える外景の見え方の差が発生しやすい場合に参照画像を見やすく表示する。このため、表示装置を使用する使用者は、撮像画像を見ながら撮像の方向の調整等を容易に行うことができる。従って、撮像画像を適切な表示形態で表示し、外景と撮像画像の視認性を両立し、利便性を高めることができる。

頭部装着型表示装置の外観構成を示す説明図である。 頭部装着型表示装置の機能的構成を示すブロック図である。 カメラと使用者の目との相対位置を示す模式図である。 頭部装着型表示装置の動作を示すフローチャートである。 頭部装着型表示装置のプレビュー表示の例を示す説明図である。 頭部装着型表示装置のプレビュー表示の別の例を示す説明図である。 変形例における頭部装着型表示装置の要部構成を示すブロック図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置（コントローラー）１０と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）を備える。また、右光学像表示部２６、２８の前面側に調光板（図示略）を備えてもよい。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置すればよい。この調光板としては、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板の光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板を用いる場合について説明する。この調光板は右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制するために役立つ。
調光板は右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよいし、省略してもよい。

カメラ６１の撮像方向（画角）は任意であり、使用者の視線に対応する方向であってもよいし、使用者の視線とは無関係に撮像方向を決めてもよい。
本実施形態では、まず、カメラ６１の撮像方向を、頭部装着型表示装置１００の表側方向を撮像する方向とする例を説明する。
図１に示すように、カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。図１の構成では、カメラ６１の撮影レンズは使用者の視線の方向にあり、カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。

本実施形態では、カメラ６１の画角は、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板を通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。

なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、頭部装着型表示装置１００の機能ブロック図である。図２には、頭部装着型表示装置１００に接続する画像供給装置ＯＡを、合わせて図示する。頭部装着型表示装置１００は、画像供給装置ＯＡとともに、表示システムを構成できる。
図２に示すように、制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有している。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。
制御部１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭまたは記憶部１２０に記憶されたプログラムを実行することにより、頭部装着型表示装置１００の各部を制御する。制御部１４０は、上記プログラムを実行することにより、頭部装着型表示装置１００の基本制御システムであるオペレーティングシステム（ОＳ）１５０として機能する。また、制御部１４０は、上記プログラムを実行して、画像処理部１６０、距離取得部１６１、撮像処理部１６３、プレビュー制御部１６５、音声処理部１７０、及び表示制御部１９０として機能する。これらの機能はオペレーティングシステム１５０の一部であってもよいし、オペレーティングシステム１５０上で動作するアプリケーションプログラムの機能であってもよい。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

距離取得部１６１は、カメラ６１の撮像画像に写っている被写体までの距離を取得する。距離取得部１６１が距離を取得する方法として、様々な方法を採用できる。本実施形態では、距離取得部１６１は、カメラ６１の撮像画像における被写体の画像のサイズをもとに、カメラ６１の撮像素子またはカメラ６１のレンズから被写体までの距離を推定し、この距離を取得する。なお、カメラ６１が画像表示部２０に固定的に取り付けられている場合、距離取得部１６１は、画像表示部２０の前面から被写体までの距離を取得してもよい。

撮像処理部１６３は、カメラ６１の撮像画像を制御して撮像（撮影）を実行させ、撮像画像の画像データを取得する。撮像処理部１６３は、撮像画像データを距離取得部１６１に出力して、被写体までの距離の取得を実行させる。
また、撮像処理部１６３は、カメラ６１の撮像画像から、予め設定された条件に該当する画像を検出する機能を有する。予め設定された条件とは、例えば、複数の画素の画素値のパターン等である。この機能により検出される画像は、例えばＱＲコード等の２次元コード、１次元バーコード等の、いわゆるマーカーが挙げられる。言い換えれば、この画像は、コンピューターにより光学的に読み取り、認識可能であり、コンピューターが情報を取得可能な画像である。画像に関する条件は、例えば記憶部１２０に記憶される。撮像処理部１６３は、カメラ６１の撮像画像から、記憶部１２０に記憶している条件に該当する画像を検出した場合に、この画像に対して予め設定された処理を実行する。本実施形態では、記憶部１２０が上記のマーカーを検出するための条件を記憶し、撮像処理部１６３がカメラ６１の撮像画像からマーカーを検出し、マーカーで表される情報を取得する処理を行う。

撮像処理部１６３が検出する被写体はマーカー等に限らない。例えば、検出する被写体の特徴点や特徴量に関するデータが条件として設定され、記憶部１２０に記憶されている場合に、撮像処理部１６３は、撮像画像データから該当する特徴点や特徴量を検出することにより、立体物、風景、平面画像等を被写体として検出し、認識できる。この場合、特定の背景、特定の立体物等の被写体を撮像画像から検出した場合に、マーカーを検出した場合と同様に、後述する処理を行う。

頭部装着型表示装置１００は、少なくとも、カメラ６１を使用するカメラモードと、カメラ６１を使用しない通常動作モードと、を含む複数の動作モードを実行可能である。本実施形態では、通常モードとカメラモードとを切り換えて実行する例について説明する。

カメラモードでは、撮像処理部１６３がカメラ６１を動作させて、撮像を行い、撮像画像データを取得する。カメラモードでは、撮像処理部１６３の制御に従って、カメラ６１が予め設定された周期で連続的に撮像を実行し、１フレームを撮像する毎に、撮像処理部１６３が撮像画像データを取得する。このように撮像処理部１６３がカメラ６１に撮像をさせる動作は、カメラ６１により動画像を撮像する場合と同様であってもよい。

カメラモードで、撮像処理部１６３はカメラ６１による撮像を実行させ、カメラ６１の撮像画像データを取得する。この動作は、操作部１３５に対するシャッター操作または録画操作が行われなくても、カメラモードで撮像処理部１６３が常時実行する。また、撮像処理部１６３は、カメラモードで所定の条件が成立する場合にカメラ６１の撮像画像データを取得してもよい。所定の条件とは、シャッター操作及び録画操作とは別の、カメラ６１の撮像開始を指示する操作が行われること等が挙げられる。
カメラモードで、撮像処理部１６３は、カメラ６１が撮像した撮像画像データを、プレビューデータ１２１として記憶部１２０に一時的に記憶する。プレビュー制御部１６５は、プレビューデータ１２１を読み出して表示制御部１９０により表示させる。この表示をプレビュー表示と呼ぶ。プレビュー表示は、カメラ６１の撮像画像データを、シャッター操作または録画操作が行われない間も表示することにより、カメラ６１が撮像する画角（撮像範囲）、撮像方向、撮像画像の状態などを使用者に知らせる機能を果たす。
上述したように、プレビュー制御部１６５は、シャッター操作及び録画操作のいずれとも関係なくプレビュー表示を実行できる。つまり、以下の説明におけるプレビュー、及びプレビュー表示は、シャッター操作や録画操作に応じて実行する動作の前に行う表示に限定されない。単に、シャッター操作や録画操作がされなくても、カメラ６１が撮像した画像データを、画像表示部２０に表示する機能を指す。使用者がプレビュー表示の内容を見てから、シャッター操作や録画操作を行うことも勿論可能である。

操作部１３５においてシャッター操作または録画操作が行われた場合、撮像処理部１６３は、プレビューデータ１２１を撮像画像データとして記憶部１２０に記憶させる。プレビューデータ１２１は一時的に記憶されるデータであり、例えば、所定時間毎に消去または上書きされてもよい。記憶部１２０に記憶される撮像画像データは、操作部１３５で削除の指示が検出された場合に、消去される。
なお、プレビュー制御部１６５がプレビューデータ１２１を読み出してプレビュー表示する構成に限定されず、例えば、撮像処理部１６３が、カメラ６１の撮像画像データをプレビュー制御部１６５に出力して、この撮像画像データをプレビュー制御部１６５がプレビュー表示してもよい。この場合、撮像画像データは、制御部１４０を構成するＲＡＭ（図示略）に一時的に記憶されるが、記憶部１２０には記憶されない。
以下の説明では、プレビュー制御部１６５がプレビュー表示するデータを、全て撮像画像データと呼ぶ。この撮像画像データは、プレビュー制御部１６５が記憶部１２０から読み出すプレビューデータ１２１、及び、撮像処理部１６３がプレビュー制御部１６５に出力するデータのいずれであってもよい。

カメラモードでは、プレビュー表示を見やすくするため、頭部装着型表示装置１００は、後述する画像供給装置ＯＡから入力されるコンテンツ等の画像の表示を行わない。このため、使用者は、画像表示部２０を通して見える外景とともに、上述したプレビュー表示を見る。

プレビュー制御部１６５は、カメラモードの実行中に、カメラ６１の撮像画像データを撮像処理部１６３から取得して、この撮像画像データに基づき、プレビュー画像を表示制御部１９０により表示させる。表示制御部１９０が表示する画像の表示サイズ及び表示位置はプレビュー制御部１６５により設定される。
カメラモードの実行中、画像表示部２０は、プレビュー制御部１６５の制御によってプレビュー表示を行う。カメラモードでは、制御装置１０の操作により録画、或いは撮像実行が指示されると、撮像処理部１６３が、カメラ６１の撮像画像データを記憶部１２０に記憶する。また、録画、或いは撮像実行が指示された場合に、カメラ６１がプレビュー表示より高い解像度及び／又は高いフレームレートで撮像を行ってもよい。この場合、プレビュー表示に用いる撮像画像データのデータ量を抑えることで、撮像処理部１６３及びプレビュー制御部１６５がプレビュー表示を制御する処理の負荷を軽減でき、高画質の画像を録画または撮像して記録できる。
また、カメラモードでは、カメラ６１が上述したマーカー等を撮像した場合はマーカー等の情報に基づく処理が実行される。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示略）および左イヤホン３４内のスピーカー（図示略）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３により集音されて入力される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部１７０は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得して、制御装置１０の動き及び動きの方向を検出可能である。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））やＢｌｕｅｔｏｏｔｈ（登録商標）規格に準じた無線データ通信を実行する。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の画像供給装置ＯＡを接続するためのインターフェイスである。画像供給装置ＯＡが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
ここで、画像供給装置ＯＡを無線通信回線により制御装置１０に接続することも可能である。この場合、画像供給装置ＯＡは、通信部１１７と無線通信を実行して、コンテンツのデータをＭｉｒａｃａｓｔ（登録商標）等の無線通信技術により送信する。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備えている。

振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。例えば、制御部１４０は、９軸センサー６６で検出された使用者の頭部の動きから画像表示部２０の向きを判定し、使用者の視線方向を推定できる。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

頭部装着型表示装置１００は、カメラモードにおいてカメラ６１が撮像を行い、撮像画像データを利用して動作する。カメラ６１は、図１に示したように、使用者の頭部に装着される画像表示部２０に設けられる。このため、カメラ６１の撮像方向は使用者の視線方向と同じ方向であり、使用者が見ている方向が撮像されるため便利である。しかしながら、カメラ６１の撮像方向と使用者の視線方向とは、厳密にいえば離れている。この位置の差が撮像画像に影響することがある。この点について説明する。

図３は、頭部装着型表示装置１００が備えるカメラ６１の撮像方向と使用者の視線との相対位置を、平面視で示す模式図である。図３には使用者が画像表示部２０を装着した装着状態を示す。図中に示す符号ＣＲはカメラ６１の画角を示し、符号ＶＲは使用者の視野を示す。また、矢印ＡＸはカメラ６１の撮像方向を示す軸であり、具体的にはカメラ６１の撮像レンズの光軸方向を示す。また、矢印ＲＳは右眼ＲＥが正面を向いた場合の視線方向を示し、矢印ＬＳは左眼ＬＥが正面を向いた場合の視線方向を示す。

上述したように、右光学像表示部２６、左光学像表示部２８は外光を透過するので、使用者は、画像表示部２０を通して外景を見ることができる。一方、カメラ６１は、画像表示部２０に前向きに配置され、カメラ６１の撮像方向ＡＸは、視線方向ＲＳ、ＬＳとほぼ平行である。このため、カメラ６１は、使用者が見ている方向とほぼ同じ方向を撮影するので、カメラ６１の画角ＣＲに収まる範囲（撮像範囲）と、使用者の視野ＶＲとは、ほぼ重なる。

例えば、使用者が、離れた場所にある被写体３０１を見ているとき、カメラ６１の画角ＣＲに被写体３０１が入っているので、カメラ６１の撮像画像に被写体３０１が写る。このように、使用者が遠方にある被写体３０１を撮像する場合、使用者の視野ＶＲとカメラ６１の撮像画像との相違は小さい。これは、視野ＶＲにおける被写体３０１の位置と、画角ＣＲにおける被写体３０１の位置とが、概ね同じ位置になるためである。

これに対し、画像表示部２０に近い位置にある被写体を撮像する場合、カメラ６１の画角ＣＲと使用者の視野ＶＲとの差が大きくなるため、撮像画像と、使用者に見える外景との差が、無視できない程度になる。
例えば、図３に示す被写体３０２は、画像表示部２０に近い位置にあり、画像表示部２０から被写体３０２までの距離Ｌ２は距離Ｌ１より短い。また、距離Ｌ２が撮像方向ＡＸと視線方向ＲＳとの間の距離Ｄの数倍から数十倍であり、百倍未満である。この例では、被写体３０２は視野ＶＲに入っているが、画角ＣＲでは端に位置し、画角ＣＲから出てしまう可能性がある。このように、視野ＶＲにおける被写体３０２の位置と、画角ＣＲにおける被写体３０２の位置とが、異なるため、カメラ６１の撮像画像は、使用者が見る視野ＶＲとは明らかに異なる。
従って、被写体３０２を撮影する場合は、使用者が、撮像方向ＡＸが被写体３０２を向くように、或いは、画角ＣＲに被写体３０２が含まれるように、画像表示部２０を動かして調整することが望ましい。

被写体３０１を撮像する場合と、被写体３０２を撮像する場合との違いは、カメラ６１の撮像方向ＡＸと使用者の視線ＲＳ、ＬＳとの間の距離Ｄと、被写体３０１、３０２までの距離Ｌ１、Ｌ２との比が異なることが要因である。また、カメラ６１の画角が広角であるか狭角であるかによっても影響されるし、右光学像表示部２６及び左光学像表示部２８を通した使用者の視野ＶＲの広さにも影響される。しかしながら、特に大きな影響を与える要素は、画像表示部２０から被写体３０１、３０２までの距離である。
なお、距離Ｌ１、Ｌ２は被写体３０１、３０２から画像表示部２０の前面までの距離を示しているが、カメラ６１の受光部までの距離としてもよい。

頭部装着型表示装置１００は、上述した撮像処理部１６３等の機能により、カメラ６１がマーカー等を撮像した場合に、マーカーが示す情報を認識して処理することができる。具体的には、マーカーを使用して、使用者が作業を行う場合に、作業支援のための情報を頭部装着型表示装置１００に提供するシステムでは、作業机等の作業場所またはその近傍にマーカーが付されている。使用者は、マーカー等をカメラ６１に撮像させる必要があるので、画像表示部２０をマーカーの方向に向けるよう意識するが、使用者の視野ＶＲとカメラ６１の画角ＣＲとの相違によりマーカーが撮像されないことを考慮することは困難である。

この問題を解消するためには、例えば、カメラ６１の画角ＣＲと使用者の視野ＶＲとの差が小さくなるように、使用者の目ＲＥ、ＬＥとカメラ６１の入射光が一致する構成にすることが考えられる。しかしながら、使用者の目ＲＥ、ＬＥの前にカメラ６１の撮像素子（受光素子）を配置すれば、外景の視認性が低下する。また、例えば、ハーフミラーなどの光学部材などを用いて使用者の目ＲＥ、ＬＥに入射する光をカメラ６１の撮像素子に導いて撮像する構成とすれば、装置が大型化してしまう。このように、実現可能性の高い解決方法はなかった。

そこで、本実施形態の頭部装着型表示装置１００は、カメラモードで表示するプレビュー表示により、使用者がカメラ６１の画角ＣＲを容易に確認できる機能を備えた。このプレビュー表示では、プレビュー制御部１６５が、画像表示部２０におけるプレビュー表示の表示形態を調整する機能を有する。
参照画像としてのプレビュー表示の表示形態とは、表示サイズ、画像表示部２０の表示可能領域における表示位置、表示色調、表示輝度、プレビュー表示の形状等が挙げられる。以下では表示形態の一例として、プレビュー表示の表示サイズを例に挙げて説明する。

プレビュー制御部１６５は、画像表示部２０が表示するプレビュー表示の表示サイズを、被写体までの距離に応じて変更する。具体的には、画像表示部２０から被写体までの距離が近い場合には、画角ＣＲと視野ＶＲとの差が現れやすいため、プレビュー表示の表示サイズを大きくする。また、プレビュー表示の表示サイズが大きいと、外景の視認の妨げになることも考えられるが、本実施形態の頭部装着型表示装置１００は被写体までの距離が大きい場合はプレビュー表示のサイズを小さくする。このため、使用者がカメラ６１の画角ＣＲを容易に確認でき、かつ、画角ＣＲの確認の必要性が小さい場合はプレビュー表示のサイズを小さくして、視野を遮らない。さらに、頭部装着型表示装置１００は、被写体までの距離が大きい場合、プレビュー表示を停止してもよい。
以下、頭部装着型表示装置１００におけるプレビュー表示について詳細に説明する。

図４は、頭部装着型表示装置１００の動作を示すフローチャートである。
また、図５は、頭部装着型表示装置１００のプレビュー表示の例を示し、図６はプレビュー表示の別の例を示す説明図である。
制御部１４０がカメラモードを開始すると（ステップＳ１１）、撮像処理部１６３がカメラ６１に撮像を開始させ、撮像画像データを取得する（ステップＳ１２）。

ここで、距離取得部１６１が、カメラ６１の撮像画像に写っている、被写体の画像を検出し、検出した被写体までの距離を取得する（ステップＳ１３）。本実施形態で、距離取得部１６１は、カメラ６１の撮像画像における被写体の画像のサイズに基づいて、カメラ６１のレンズから被写体までの距離を推定する。
プレビュー制御部１６５は、距離取得部１６１が取得した距離に基づき、プレビュー表示のサイズを決定し（ステップＳ１４）、決定したサイズでカメラ６１の撮像画像データに基づく画像を表示制御部１９０により表示させる（ステップＳ１５）。ここで、プレビュー制御部１６５は、距離取得部１６１が取得した距離が予め設定された距離よりも遠い場合に、プレビュー表示を停止してもよい。さらに、距離取得部１６１が取得した距離が不明な場合、プレビュー制御部１６５は、距離不明な場合に対応付けて設定された表示サイズに決定してもよい。

図５（Ａ）は遠方の被写体を撮像した場合のプレビュー表示の例を示し、図５（Ｂ）は画像表示部２０に近い位置にある被写体を撮像した場合のプレビュー表示の例を示す。図中のＶＲは使用者に見える視野全体を示す。また、理解の便宜のため、画像表示部２０が画像を表示できる表示可能領域は、視野ＶＲの全体に一致するものと仮定する。
図５（Ａ）及び（Ｂ）に示すプレビュー画像ＰＶは、右ＬＣＤ２４１及び左ＬＣＤ２４２の両方に表示され、右導光板２６１及び左導光板２６２によって、使用者の両目にプレビュー画像ＰＶの画像光が入射する。本実施形態では、右ＬＣＤ２４１と左ＬＣＤ２４２に同じプレビュー画像ＰＶの画像を表示する構成とするが、例えば視差を有する画像を右ＬＣＤ２４１と左ＬＣＤ２４２に表示して、立体画像のプレビュー画像ＰＶを表示してもよい。

図５（Ａ）の例では、使用者に見える視野ＶＲの左上隅に、プレビュー画像ＰＶが表示されている。プレビュー画像ＰＶのサイズは、視野ＶＲの縦方向及び横方向のいずれにおいても１／３以下である。図５（Ａ）の例では、カメラ６１の撮像画像に写っている被写体３１０の距離が遠いので、この距離に対応して、プレビュー画像ＰＶの表示サイズが小さい。

これに対し、図５（Ｂ）の例では、プレビュー画像ＰＶのサイズは視野ＶＲの縦方向及び横方向の１／２程度となっている。図５（Ｂ）の例では、カメラ６１の撮像画像に写っている被写体３１１までの距離が近いため、この距離に対応して、プレビュー画像ＰＶの表示サイズが大きくなっている。

プレビュー制御部１６５がプレビュー画像ＰＶの表示サイズを決定する方法は様々である。例えば、表示制御部１９０がプレビュー画像ＰＶを表示するサイズが予め決められている構成が挙げられる。この場合、プレビュー画像ＰＶの表示サイズと表示位置は、右ＬＣＤ２４１及び左ＬＣＤ２４２における画素座標により定められる。また、複数の表示サイズが予め決定され、各表示サイズには、距離取得部１６１が取得する被写体までの距離が対応付けられる。被写体までの距離を複数段階に分けて、各段階に１つの表示サイズが対応付けられもよい。
また、例えば、プレビュー制御部１６５が、距離取得部１６１により取得された被写体までの距離を、記憶部１２０に記憶された演算式により演算することで、表示サイズを算出する構成としてもよい。
いずれの方法においても、プレビュー制御部１６５は、被写体までの距離が近いほどプレビュー画像ＰＶの表示サイズが大きくなるように、表示サイズを決定する。

図４に戻り、プレビュー表示が開始された後、撮像処理部１６３は、距離取得部１６１の撮像画像データからマーカーの画像の特徴に該当するデータの検出を行い、検出できたか否かを判別する（ステップＳ１６）。ステップＳ１６で、撮像処理部１６３は、ステップＳ１５でプレビュー画像として表示した撮像画像データからマーカーの検出を行ってもよいし、別の撮像画像データから検出を行ってもよい。

撮像画像データからマーカーの画像のデータが検出された場合、撮像処理部１６３は、検出したマーカーの画像のデータを読み取り可能か否かを判別する（ステップＳ１７）。撮像処理部１６３は、マーカーの画像のデータを認識して、マーカーが示す情報を取得できる場合は、読み取り可能と判別し（ステップＳ１７；ＹＥＳ）、情報を取得する（ステップＳ１８）。制御部１４０は、撮像処理部１６３がマーカーから取得した情報に基づいて、データ処理を実行し（ステップＳ１９）、本処理を終了する。
なお、プレビュー制御部１６５は、マーカーの画像のデータを検出した場合に、プレビュー画像の表示形態を変更してもよい。例えば、マーカー検出を示す記号や文字等をプレビュー表示と重ねて表示してもよい。

また、撮像処理部１６３が、検出したマーカーの読み取りができない場合（ステップＳ１７；ＮＯ）、プレビュー制御部１６５がマーカーの画像の歪みを検出する（ステップＳ２０）。例えば、撮像処理部１６３はステップＳ１６で検出したマーカーに対し、例えばエラー訂正処理を含む読み取り処理を実行し、有効なデータが得られない場合に読み取りできないと判別する。マーカーであると検出できたのに情報を読み取れない場合、カメラ６１がマーカーを撮像した状況が適切でないことが考えられる。具体的には、撮像画像におけるマーカーの画像の歪み、撮像画像の明るさやコントラストの問題、障害物によりマーカーの一部が隠された状態等が、読み取れない原因となる。このような場合、頭部装着型表示装置１００は、マーカーの歪みに合わせてプレビュー画像を歪めて表示し、使用者に、カメラ６１の撮像方向の適正化を促す。

プレビュー制御部１６５は、マーカーの歪みを検出した後、検出した歪みに合わせてプレビュー表示する画像の形状を変化させ（ステップＳ２１）、プレビュー表示を更新する。その後、制御部１４０はカメラモードを終了する指示の有無を判別し（ステップＳ２２）、カメラモードを終了しない場合はステップＳ１２に戻る。

図６（Ａ）はマーカーが視界に入った例を示しており、使用者の視野ＶＲに作業台に工具と共にマーカー３１５が視認される例を示す。この例ではマーカーとしてＱＲコードを用いている。マーカー３１５は、例えば紙に印刷されて、作業台に工具とともに置かれている。この作業台は使用者の手が届く程度に、画像表示部２０から近い位置にある。
図６（Ｂ）はカメラ６１の撮像画像３２０を示す。被写体である作業台までの距離が近いため、図６（Ａ）に示した使用者の視野ＶＲとカメラ６１の撮像画像３２０は異なっている。カメラ６１から見て斜め左方向に作業台が位置しているため、撮像画像３２０において、マーカーの画像３２１は斜め方向に歪みを生じている。マーカーの画像３２１は、ＱＲに特有のシンボルを隅に有するため、マーカーとして検出できる。しかしながら、マーカー画像３２１が、歪みのために、ＱＲコードのデコードアルゴリズムによりデコードできない。

この場合、ステップＳ２０〜Ｓ２１で説明したように、プレビュー制御部１６５はプレビュー表示する画像そのものを歪めて表示させる。
図６（Ｃ）にはプレビュー画像ＰＶを変形させた例を示す。この図６（Ｃ）のプレビュー画像ＰＶは、図６（Ｂ）に示したように撮像画像３２０におけるマーカーの画像３２１の形状を模して、斜め方向に歪んだ形状となっている。プレビュー画像ＰＶそのものが変形することで、使用者に対し、カメラ６１の撮像画像３２０が歪んでいることを速やかに知らせることができる。
ここで、プレビュー制御部１６５は、マーカーの画像３２１の歪みを補償するように、プレビュー画像ＰＶの形状を変形させてもよい。この場合、マーカーの画像３２１の歪みが軽減されて、本来のマーカーの形状である矩形等で表示される。この場合、使用者がマーカーを視認しやすくなるので、例えば、撮像された画像にマーカーが写っていることを使用者に気づかせることができる。

また、ステップＳ１６で撮像処理部１６３がマーカーの画像を検出し、プレビュー制御部１６５が記号や文字等をプレビュー表示と重ねて表示した場合に、プレビュー画像ＰＶを変形させると、記号や文字等が変形することが考えられる。この場合、プレビュー制御部１６５は、プレビュー画像ＰＶを変形させる前に、記号や文字だけを、ステップＳ２０で検出したマーカーの歪みに合わせて変形させてもよい。この場合、マーカーの歪みと記号や文字の歪みが揃うので、その後にプレビュー画像ＰＶを変形させたときに、マーカーと記号や文字との両方が、見やすい状態になる。
さらに、プレビュー制御部１６５は、ステップＳ２０でマーカーの歪みを検出した後で、この歪みを補正するために必要な動きを示す記号や文字等を、プレビュー画像ＰＶに重ねて表示してもよい。例えば、カメラ６１の撮像方向やマーカーとカメラ６１との距離を変えることで、歪みの小さい状態でマーカーを撮像できる場合、カメラ６１を動かす方向を、矢印などの記号や文字で案内するとよい。この記号や文字に従って使用者が頭部装着型表示装置１００を動かすことで、マーカーを認識できるようになる。この場合、ステップＳ２１でプレビュー画像ＰＶを変形させなくてもよく、例えばステップＳ１２に戻って、撮像画像データを再び取得するとよい。

さらに、ステップＳ１９でマーカーに基づくデータ処理を実行した後、制御部１４０は、ステップＳ２２に移行してカメラモードを終了するか否かを判定してもよく、カメラモードを終了しない場合にステップＳ１２に戻ってもよい。また、ステップＳ１９の後にステップＳ１２に直接、戻ってもよい。この場合、マーカーを認識してマーカーに基づく処理を行った後で、カメラモードを継続できる。このため、頭部装着型表示装置１００が、続けて他のマーカーを読み取ることも可能になる。

また、上述したように、撮像処理部１６３は、マーカー以外に、撮像画像データから特定の背景、特定の立体物等の被写体を検出してもよい。この場合、ステップＳ１６で、撮像処理部１６３が被写体を検出し、マーカーを検出した場合と同様に、ステップＳ１７以後の処理を行ってもよい。

以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置１００は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０と、使用者の視野の少なくとも一部を含む方向をカメラ６１により撮像させる撮像処理部１６３と、カメラ６１に撮像させた被写体との距離を取得する距離取得部１６１と、カメラ６１の撮像画像を、参照画像としてのプレビューを画像表示部２０に表示させ、画像表示部２０における参照画像の表示形態を、距離取得部１６１が取得した被写体との距離が近いほど参照画像が見やすくなるように調整するプレビュー制御部１６５と、を備える。このため、使用者が撮像画像の画角を認識して、撮像装置の撮像の方向を適切な方向に調整できる。
また、プレビュー制御部１６５は、参照画像をプレビューとして表示し、カメラ６１の画角と外景の見え方に差が生じにくい場合のプレビュー画像ＰＶは、相対的に小さいため、外景の視認性を損ないにくい。このように、カメラ６１の撮像画像を適切な手法でプレビュー表示することで、外景と撮像画像の視認性を両立し、利便性を高めることができる。

また、プレビュー制御部１６５は、距離取得部１６１が取得した被写体との距離が第１の距離Ｌ１である場合のプレビューの大きさよりも、被写体との距離が第１の距離より近い第２の距離Ｌ２である場合のプレビューを大きくする。このため、被写体との距離が近く、カメラ６１の画角と使用者に見える外景の見え方の差が発生しやすいほど、画像表示部２０に表示されるプレビューが大きくなるので、撮像画像のプレビューを外景とともに適切に表示して利便性を高めることができる。

また、撮像処理部１６３は、カメラ６１の撮像画像から、予め設定された条件に該当する被写体を検出する。プレビュー制御部１６５は、撮像処理部１６３により被写体が検出された場合に、プレビューの表示形態を変更する。これにより、カメラ６１の撮像画像からマーカー等を検出した場合にプレビューの表示形態を変更し、例えば被写体を見やすくしたり、予め設定された条件に該当する被写体であることを通知したりできる。これにより、頭部装着型表示装置１００が撮像画像からマーカーを認識して動作する場合の利便性の向上を図ることができる。
さらに、プレビュー制御部１６５は、カメラ６１の撮像画像において撮像処理部１６３により検出された被写体の画像の歪みを検出し、検出した歪みの状態に応じた表示形態でプレビューを表示させる。このため、撮像画像に写った被写体の画像が歪んでいることを、表示形態に反映させるので、歪みの発生を使用者に通知できる。また、例えば歪みを補償するように画像の表示形態を調整すれば、被写体の画像の視認性を高めることができる。

また、距離取得部１６１は、カメラ６１が撮像した撮像画像における被写体のサイズに基づき、被写体との距離を求めるので、被写体までの距離を容易に求めることができる。例えば、被写体の画像が撮像画像の大部分を占める場合、この被写体はカメラ６１の近くにあるとみなすことができる。
このように、距離取得部１６１は、撮像画像から被写体の画像を抽出し、この被写体の画像が占める面積の割合や、被写体の画像と撮像画像全体のサイズの比に基づき、距離を推定する。
この構成では、実質的に、プレビュー表示のサイズを、撮像画像から被写体の画像を抽出し、この被写体の画像が占める面積の割合や、被写体の画像と撮像画像全体のサイズの比に基づいて決定しているといえる。

図５（Ａ）及び（Ｂ）の例では、プレビュー制御部１６５は、距離取得部１６１が求めた距離に応じてプレビュー画像ＰＶの表示サイズを変更する。プレビュー制御部１６５の機能はこれに限定されず、距離取得部１６１が求めた距離に応じて、プレビュー画像ＰＶの表示位置を変えてもよい。例えば、被写体までの距離が小さい（近い）ほどプレビュー画像ＰＶの表示位置が視野ＶＲの中央に近く、被写体までの距離が大きい（遠い）ほどプレビュー画像ＰＶの表示位置が視野ＶＲの外縁に近くなるようにしてもよい。この場合、被写体までの距離が基準より小さい場合に、プレビュー画像ＰＶを視野ＶＲの中央に配置し、被写体までの距離が基準より大きい場合に、プレビュー画像ＰＶを視野ＶＲの端部に配置するとよい。

また、プレビュー制御部１６５は、距離取得部１６１が求めた距離に応じて、プレビュー画像ＰＶの表示色調を変えてもよい。表示色調はプレビュー画像ＰＶの画像の色の濃淡に相当し、表示色調が濃いと視野ＶＲにおいてプレビュー画像ＰＶが明瞭に見え、表示色調が薄いと、プレビュー画像ＰＶが薄く、このプレビュー画像ＰＶを透過して外景が視認できる。
プレビュー制御部１６５は、例えば、被写体までの距離が小さい（近い）ほどプレビュー画像ＰＶの表示色調を濃くし、被写体までの距離が大きい（遠い）ほどプレビュー画像ＰＶの表示色調を薄くしてもよい。この場合、被写体までの距離が基準より小さい場合に表示色調を最高濃度とし、被写体までの距離が基準より大きい場合にプレビュー画像ＰＶの色調を最低濃度にすればよい。

また、プレビュー制御部１６５は、距離取得部１６１が求めた距離に応じて、プレビュー画像ＰＶの表示輝度を変えてもよい。プレビュー制御部１６５は、例えば、被写体までの距離が小さい（近い）ほどプレビュー画像ＰＶの輝度を高く（明るく）し、被写体までの距離が大きい（遠い）ほどプレビュー画像ＰＶの輝度を低く（暗く）してもよい。この場合、被写体までの距離が基準より小さい場合に表示色調を最高輝度とし、被写体までの距離が基準より大きい場合にプレビュー画像ＰＶの色調を最低輝度にすればよい。
また、プレビュー制御部１６５は、距離取得部１６１が求めた距離に応じて、参照画像の形状を距離に応じて変えてもよい。プレビュー制御部１６５は、例えば、距離取得部１６１が求めた被写体までの距離に段階的に対応して、プレビュー画像ＰＶの形状を円形、矩形、三角形或いは他の多角形などに変形させてもよい。また、被写体までの距離が基準より小さい場合にプレビュー画像ＰＶの形状を円形とし、被写体までの距離が基準より大きい場合にプレビュー画像ＰＶの色調を矩形とし、被写体前の距離が基準の間である場合は、矩形と円形とを合成した形状とすることも考えられる。
上記のいずれの例においても、プレビュー制御部１６５は、被写体までの距離が近いほど、プレビュー画像ＰＶの視認性が高まり、見やすくなるように表示形態を変更する。より好ましくは、被写体までの距離が近い場合には、画像表示部２０を透過して見える外景に比べて、プレビュー画像ＰＶの視認性が高くなるように、表示形態を変更する。
さらに、プレビュー制御部１６５は、距離取得部１６１が求めた距離に対応するプレビュー画像ＰＶの表示形態として、上述した表示サイズ、表示位置、表示色調、輝度、形状等を変化させるだけでなく、これらの変化を組み合わせてもよい。例えば、表示サイズと表示位置との両方を変化させてもよく、さらに表示輝度を変化させてもよい。

また、ステップＳ１６（図４）で撮像処理部１６３がマーカーを検出した場合に、プレビュー制御部１６５が、プレビュー画像ＰＶの表示形態を変更する構成としてもよい。すなわち、プレビュー画像ＰＶを表示している状態で撮像処理部１６３がマーカーを検出した場合、プレビュー制御部１６５が、プレビュー画像ＰＶの表示形態を変更してもよい。この場合、プレビュー画像ＰＶの表示形態が変化することで、使用者に対し、頭部装着型表示装置１００がマーカーを検出したことを通知できる。
例えば、プレビュー制御部１６５は、プレビュー画像ＰＶの表示サイズ、表示位置、表示色調、輝度、形状等を変化させてもよい。この場合、プレビュー制御部１６５は、マーカーが検出される前に比べて、プレビュー画像ＰＶの視認性が高まり、使用者にプレビュー画像ＰＶが見やすくなるように、表示形態を変更する。プレビュー画像ＰＶが見やすくなる表示形態の変更とは、上記のように、表示サイズを大きくする、表示位置を中央に近い位置に変更する、表示色調を濃くする、輝度を高くする、形状を円形に近づける、等の変更である。また、複数の表示形態の変化を組み合わせてもよい。

また、図３に示したように、カメラ６１は、カメラ６１の撮像方向ＡＸが、使用者の視線に対応する方向となっており、具体的には視線方向ＲＳ、ＬＳと平行になるように配置されている。この構成では、使用者の視線方向と撮像方向とが対応するため、被写体までの距離が遠い場合はプレビュー画像を視認する必要性が小さく、被写体までの距離が近いほどプレビュー画像を視認する必要性が高い。このように、撮像画像のプレビューを外景とともに表示する場合の表示サイズを、プレビューの必要性に応じて調整し、利便性を高めることができる。

上記実施形態では、頭部装着型表示装置１００において、距離取得部１６１がカメラ６１の撮像画像をもとに距離を取得する態様としたが、距離を取得する方法はこれに限られず、種々変形可能である。

図７は、変形例における頭部装着型表示装置の要部構成を示すブロック図である。図７（Ａ）には、第１変形例としてステレオカメラ６４を備えた構成を示し、図７（Ｂ）には第２変形例として距離計６７を備えた構成を示す。なお、図７（Ａ）及び（Ｂ）は頭部装着型表示装置１００の要部構成を示し、図２に示した頭部装着型表示装置１００と同一の構成部については図示を省略する。

第１変形例では、画像表示部２０が有するカメラ６１の代わりにステレオカメラ６４を備えた画像表示部２０Ａを用いる。画像表示部２０Ａは、カメラ６１以外は画像表示部２０と同一の構成である。また、制御装置１０は、図２に示した構成と同一である。
ステレオカメラ６４は、複数の撮像レンズ（図示略）、及び、各撮像レンズに対応する複数の撮像素子（図示略）を備え、これら複数の撮像素子により同時に撮像して、視差を有する複数の撮像画像を出力する。ステレオカメラ６４の撮像レンズは、使用者の右眼ＲＥと左眼ＬＥとが並ぶ方向に、分散して配置される。例えば、１つの撮像レンズを端部ＥＲ（図１）に配置し、もう１つの撮像レンズを端部ＥＬに配置する構成が挙げられる。

撮像処理部１６３は、ステレオカメラ６４を制御して撮像を実行させ、複数の撮像画像データを取得する。距離取得部１６１は、撮像処理部１６３が取得した複数の撮像画像データの視差を検出することにより、被写体までの距離を算出する。
この構成によれば、ステレオカメラの視差に基づき、容易に、かつ、より正確に被写体までの距離を算出できる。

この構成では、プレビュー制御部１６５は、撮像処理部１６３が取得した複数の撮像画像データのいずれか１つをプレビュー画像として表示させる。この場合、例えば、複数の撮像画像データの中から、使用者に、画像表示部２０を透過して見える視野に近い外景を撮像した１つの撮像画像データを選択して、表示してもよい。また、例えば、撮像画像における被写体の画像の歪みが少ない１つの撮像画像データを選択して、表示してもよい。
また、プレビュー制御部１６５は、撮像処理部１６３が取得した複数の撮像画像データから新たにプレビュー表示用の画像データを生成してもよい。或いは、撮像処理部１６３が取得した複数の撮像画像データを、右ＬＣＤ２４１及び左ＬＣＤ２４２の各々に表示させて、立体画像のプレビューを表示してもよい。

また、本発明は、ステレオカメラ６４を用いる構成に限定されない。３以上の撮像素子を有し、３以上の撮像画像データを出力するカメラを、ステレオカメラ６４に代えて設けてもよい。さらに、２個また３個以上のカメラ６１を頭部装着型表示装置１００に設けて、これら複数のカメラ６１が同時に撮像を実行し、それぞれのカメラ６１が出力する撮像画像データを利用して、被写体との距離を検出してもよい。
また、カメラ６１またはステレオカメラ６４が複数回の撮像を行った場合に、撮像された複数の撮像画像データを利用してもよい。この場合、距離取得部１６１は、撮像時刻が異なる複数の撮像画像データに基づき、被写体との距離を検出する。この場合、撮像画像データに基づき被写体との距離を検出する処理を複数回行うことになるので、１つの撮像画像データを用いる場合に比べて、検出精度を高めることができる。
さらに、カメラ６１またはステレオカメラ６４が、異なる位置で複数回の撮像を行った場合、撮像画像データにおいては撮像位置の違いに起因する視差が生じる。この視差を利用して、被写体との距離を算出してもよい。この場合、撮影時におけるカメラ６１またはステレオカメラ６４の位置、或いは位置の変化が明らかであればよい。例えば、３軸センサー１１３、ＧＰＳ１１５、或いは９軸センサー６６の出力値に基づき、撮影時におけるカメラ６１またはステレオカメラ６４の位置を求めてもよく、合わせて撮像方向を求めても良い。

また、上記実施形態のカメラ６１及び変形例のステレオカメラ６４の撮像方向は、いずれも、使用者の視野の少なくとも一部を含む範囲を撮像するように設定されていた。本発明はこれに限定されず、例えば、使用者の視野を含まない範囲を撮像するように設定してもよい。つまり、本発明の撮像部であるカメラ６１、またはステレオカメラ６４の撮像方向が、撮像範囲に使用者の視野を含まない方向であってもよい。
この場合、使用者が画像表示部２０を通して見る外景とは別の方向をカメラ６１またはステレオカメラ６４で撮像し、プレビュー制御部１６５が、撮像画像をプレビュー画像ＰＶとして表示する。この構成では、使用者が画像表示部２０越しに見ることができない範囲の撮像画像が表示されるので、使用者の視野を補うことができる。
さらに、このような構成で、上述したように、撮像した被写体との距離に応じてプレビュー画像ＰＶの表示形態を変更してもよい。この場合、使用者が画像表示部２０を透過して見ることができない方向の被写体を、被写体との距離に対応した表示形態で、使用者に見せることができる。具体的には、使用者の目の前に画像表示部２０が位置する場合に、使用者の後方をカメラ６１またはステレオカメラ６４で撮像することができる。そして、使用者の後方の被写体が、所定距離よりも使用者の近くにある場合に、プレビュー画像ＰＶの表示形態を変更することで、使用者に注意を促すといった使用方法を実現できる。また、被写体との距離が所定以上の場合にはプレビュー画像ＰＶの表示形態を、プレビュー画像ＰＶの視認性が低くなるように変化させて、使用者が注目しにくい状態にしてもよい。

第２変形例では、図２の画像表示部２０の構成に加えて、距離計６７（測距部）を備えた画像表示部２０Ｂを用いる。また、制御装置１０は、図２に示した構成と同一である。
距離計６７は、レーザー光または超音波を利用して対象物までの距離を検出する装置である。例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。
また、距離計６７は、超音波式の距離計としてもよく、この場合、距離計６７は超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する。
さらに、距離計６７は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。

この構成では、距離取得部１６１は、撮像処理部１６３がカメラ６１から撮像画像データを取得するタイミングで、距離計６７により距離計測を実行させて、計測結果を示すデータを距離計６７から取得し、プレビュー制御部１６５に出力する。
この構成によれば、被写体までの距離を速やかに、より正確に求めることができる。

頭部装着型表示装置１００が被写体との距離を求める方法は、上記実施形態および各変形例の構成に限定されず、例えば、頭部装着型表示装置１００が備えるＧＰＳ１１５で検出される現在位置の情報を用いてもよい。具体的には、被写体の現在位置を検出可能である場合に、被写体の位置とＧＰＳ１１５で検出した位置とに基づき、被写体と頭部装着型表示装置１００との距離を求めてもよい。この場合、被写体が通信部を備え、被写体の通信部と通信部１１７とが相互に接続され、ＧＰＳ１１５が検出した位置を被写体に送信し、被写体において、被写体と頭部装着型表示装置１００との距離を求め、求めた距離を送信してもよい。或いは、被写体の位置を頭部装着型表示装置１００に送信し、被写体の位置とＧＰＳ１１５で検出した位置とに基づき、距離取得部１６１が距離を求めてもよい。この動作は、撮像画像データから被写体を検出する際に実行してもよい。

なお、この発明は上記実施形態及び各変形例の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。例えば、制御装置１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御装置１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。また、例えば、使用者が両手に持って使用する双眼鏡型のハンドヘルドディスプレイ（Hand Held Display）を、本願の画像表示部２０として採用してもよい。さらにまた、使用者の両眼の眼球（例えば、角膜上）に装着して使用する、いわゆるコンタクトレンズ型ディスプレイや、眼球内に埋め込まれるインプラント型ディスプレイなど、使用者の眼球において網膜に結像させるディスプレイを、画像表示部２０としてもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。

また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７またはインターフェイス１８０を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

１０…制御装置、２０、２０Ａ、２０Ｂ…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（撮像部）、６３…マイク、６４…ステレオカメラ（撮像部）、６５…振動センサー、６６…９軸センサー、６７…距離計（測距部）、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…距離取得部、１６３…撮像処理部、１６５…プレビュー制御部、１７０…音声処理部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、３０１、３０２…被写体、３１０…被写体、３１１…被写体、３１５…マーカー、３２０…撮像画像、３２１…マーカー画像、ＡＸ…撮像方向、ＣＲ…画角、Ｄ…距離、ＥＬ、ＥＲ…端部、ＨＭ…頭部装着型表示装置、Ｌ１…距離（第１の距離）、Ｌ２…距離（第２の距離）、ＯＡ…画像供給装置、ＰＶ…プレビュー画像、ＬＥ…左眼、ＲＥ…右眼、ＲＳ、ＬＳ…視線方向、ＶＲ…視野。

Claims (12)

1. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
   撮像部と、
   前記撮像部に撮像を実行させる撮像処理部と、
   前記撮像部が撮像した被写体との距離を取得する距離取得部と、
   前記撮像部の撮像画像を参照画像として前記表示部に表示させ、前記表示部における前記参照画像の表示形態を、前記距離取得部が取得した前記被写体との距離が近いほど前記参照画像が視認しやすくなるように調整する参照画像制御部と、
   を備えることを特徴とする表示装置。
2. 前記参照画像制御部は、前記表示部における前記参照画像の表示形態を、前記距離取得部が取得した前記被写体との距離が近いほど前記参照画像の大きさが大きくなるように調整すること、
   を特徴とする請求項１記載の表示装置。
3. 前記参照画像制御部は、前記距離取得部が取得した前記被写体との距離が第１の距離である場合の前記参照画像の大きさよりも、前記被写体との距離が前記第１の距離より近い第２の距離である場合の前記参照画像を大きくすること、
   を特徴とする請求項１または請求項２記載の表示装置。
4. 前記撮像部の撮像画像から、予め設定された条件に該当する前記被写体を検出する撮像処理部を備え、
   前記参照画像制御部は、前記撮像処理部により前記被写体が検出された場合に、前記参照画像の表示形態をさらに変更すること、
   を特徴とする請求項１または３記載の表示装置。
5. 前記参照画像制御部は、前記撮像部の撮像画像において前記撮像処理部により検出された前記被写体の画像の歪みを検出し、検出した歪みの状態に応じた表示形態で前記参照画像を表示させること、を特徴とする請求項４記載の表示装置。
6. 前記距離取得部は、前記撮像部が撮像した撮像画像における前記被写体のサイズに基づき、前記被写体との距離を求めること、を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記距離取得部は、前記撮像部が撮像した少なくとも２つ以上の画像に基づき、前記被写体との距離を求めること、を特徴とする請求項１から５のいずれかに記載の表示装置。
8. 前記撮像部は少なくとも２つ以上の画像を同時に撮影可能であること、を特徴とする請求項７に記載の表示装置。
9. 光学的に、若しくは、音波または超音波を用いて前記被写体までの距離を求める測距部を備え、
   前記距離取得部は、前記測距部が測定した前記被写体との距離を取得すること、を特徴とすること、を特徴とする請求項１から５のいずれかに記載の表示装置。
10. 前記撮像部は、前記使用者の視線に対応する方向を撮像方向とするように配置されたこと、を特徴とする請求項１から８のいずれかに記載の表示装置。
11. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置の制御方法であって、
    撮像を行って撮像した被写体との距離を取得し、
    撮像画像を参照画像として前記表示部により表示させ、
    前記表示部における前記参照画像の表示形態を、取得した前記被写体との距離が近いほど前記参照画像が視認しやすくなるように調整すること、
    を特徴とする表示装置の制御方法。
12. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、
    撮像部により撮像を実行させる撮像処理部と、
    前記撮像部が撮像した被写体との距離を取得する距離取得部と、
    前記撮像部の撮像画像を参照画像として前記表示部に表示させ、前記表示部における前記参照画像の表示態様を、前記距離取得部が取得した前記被写体との距離が近いほど前記参照画像が視認しやすくなるように調整する参照画像制御部と、
    して機能させるためのプログラム。

Images