WO2017022291A1

WO2017022291A1 - 情報処理装置

Info

Publication number: WO2017022291A1
Application number: PCT/JP2016/064273
Authority: WO
Inventors: 篠原　隆之
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2015-08-06
Filing date: 2016-05-13
Publication date: 2017-02-09
Also published as: JP6576536B2; JP2020024417A; EP3333808A1; EP3333808A4; JP6422584B2; JPWO2017022291A1; JP2019040610A; CN107851334A; JP6899875B2; EP3333808B1; US20180359462A1

Abstract

ユーザーの頭部に装着される映像表示装置に、ユーザーの頭の動きに連動して更新される拡大画像を違和感なく表示させることのできる情報処理装置を提供する。ユーザーの頭部に装着される映像表示装置（４０）と接続され、映像表示装置（４０）の向きの変化に連動して更新される対象画像を映像表示装置（４０）に表示させるとともに、対象画像の一部を拡大した拡大画像を、対象画像の表示領域よりも小さい大きさで対象画像と重ねて表示させる情報処理装置（１０）である。

Description

情報処理装置

　本発明は、ユーザーの頭部に装着される映像表示装置に映像を表示させる情報処理装置、その制御方法、その制御プログラム、及び情報記憶媒体に関する。

　例えばヘッドマウントディスプレイのように、ユーザーが頭部に装着して使用する映像表示装置がある。このような映像表示装置は、ユーザーの目の前に画像を結像させることで、その画像をユーザーに閲覧させる。このような映像表示装置は、臨場感のある映像をユーザーに閲覧させることができるため、バーチャルリアリティ技術などに利用されている。

　さらに、ユーザーの頭の向きを検出し、その向きの変化に連動して上記映像表示装置が表示中の画像を更新するように制御することで、より臨場感のある映像をユーザーに提示することができる。一例として、広角のカメラで風景を撮影するなどして得られるパノラマ画像の一部範囲を映像表示装置に表示させ、ユーザーの頭の動きに合わせてそのパノラマ画像内の表示範囲を移動させる。これにより、ユーザーはカメラの撮影場所に実際に自分がいるかのような感覚でその風景を閲覧することができる。また、仮想空間に配置した仮想カメラの向きをユーザーの頭の動きに合わせて変化させながら、この仮想カメラから見た仮想空間の様子を示す映像を映像表示装置に表示させてもよい。これにより、ユーザーにあたかも仮想空間内にいるかのような映像を閲覧させることができる。

　上述した映像表示装置を用いて元の画像を拡大した拡大画像を表示しようとした場合、ユーザーの頭の動きに合わせて拡大画像を元の画像と同じように更新すると、元の画像と比較して画像内に含まれる表示要素の移動速度が大きくなる。そのため、ユーザーに違和感を生じさせてしまう場合がある。

　本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーの頭部に装着される映像表示装置に、ユーザーの頭の動きに連動して更新される拡大画像を違和感なく表示させることのできる情報処理装置、映像表示方法、情報処理装置の制御プログラム、及び情報記憶媒体を提供することにある。

　本発明に係る情報処理装置は、ユーザーの頭部に装着される映像表示装置と接続される情報処理装置であって、前記映像表示装置の向きを取得する取得部と、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、を含み、前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。

　また、本発明に係る映像表示システムは、ユーザーの頭部に装着される映像表示装置と、当該映像表示装置に接続される情報処理装置と、を含む映像表示システムであって、前記情報処理装置は、前記映像表示装置の向きを取得する取得部と、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、を含み、前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。

　本発明に係る情報処理装置の制御方法は、ユーザーの頭部に装着される映像表示装置と接続される情報処理装置の制御方法であって、前記映像表示装置の向きを取得するステップと、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示ステップと、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示ステップと、を含み、前記拡大画像表示ステップでは、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。

　また、本発明に係るプログラムは、ユーザーの頭部に装着される映像表示装置と接続されるコンピュータを、前記映像表示装置の向きを取得する取得手段、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御手段、及び、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御手段、として機能させるためのプログラムであって、前記拡大画像表示制御手段は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置を含んだ映像表示システムの全体概要図である。映像表示システムの構成を示す構成ブロック図である。情報処理装置の機能を示す機能ブロック図である。対象画像の生成方法の一例を説明する図である。映像表示装置に表示される対象画像の一例を示す図である。映像表示装置に表示される拡大画像の一例を示す図である。拡大画像の生成方法の一例を説明する図である。ユーザーが顔を水平方向に向けている状態における拡大対象領域の位置の例を示す図である。ユーザーが顔を真上に近い方向に向けている状態における拡大対象領域の位置の例を示す図である。

　以下、本発明の実施形態について、図面に基づき詳細に説明する。

　図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の全体概要図である。また、図２は映像表示システム１の構成を示す構成ブロック図である。これらの図に示されるように、映像表示システム１は、情報処理装置１０と、操作デバイス２０と、中継装置３０と、映像表示装置４０と、を含んで構成されている。

　情報処理装置１０は、映像表示装置４０が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図２に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

　制御部１１は、ＣＰＵ等であって、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

　インタフェース部１３は、操作デバイス２０、及び中継装置３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０及び中継装置３０のそれぞれと接続される。具体例として、インタフェース部１３は、情報処理装置１０が供給する映像や音声を中継装置３０に送信するために、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのマルチメディアインタフェースを含んでよい。また、中継装置３０経由で映像表示装置４０から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。さらにインタフェース部１３は、操作デバイス２０に対するユーザーの操作入力の内容を示す信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含んでよい。

　操作デバイス２０は、家庭用ゲーム機のコントローラ等であって、ユーザーが情報処理装置１０に対して各種の指示操作を行うために使用される。操作デバイス２０に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより情報処理装置１０に送信される。なお、操作デバイス２０は情報処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。

　中継装置３０は、有線又は無線のいずれかにより映像表示装置４０と接続されており、情報処理装置１０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を映像表示装置４０に対して出力する。このとき中継装置３０は、必要に応じて、供給された映像データに対して、映像表示装置４０の光学系によって生じる歪みを補正する処理などを実行し、補正された映像信号を出力してもよい。なお、中継装置３０から映像表示装置４０に供給される映像信号は、左目用映像、及び右目用映像の二つの映像を含んでいる。また、中継装置３０は、映像データ以外にも、音声データや制御信号など、情報処理装置１０と映像表示装置４０との間で送受信される各種の情報を中継する。

　映像表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、映像表示装置４０は両目での映像の閲覧に対応しており、ユーザーの右目及び左目それぞれの目の前に映像を表示するものとする。図２に示すように、映像表示装置４０は、映像表示素子４１、光学素子４２、モーションセンサー４４、及び通信インタフェース４５を含んで構成される。

　映像表示素子４１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継装置３０から供給される映像信号に応じた映像を表示する。本実施形態において映像表示素子４１は、左目用映像、及び右目用映像の２つの映像を表示する。なお、映像表示素子４１は、左目用映像及び右目用映像を並べて表示する１つの表示素子であってもよいし、それぞれの映像を独立に表示する２つの表示素子によって構成されてもよい。また、公知のスマートフォン等を映像表示素子４１として用いてもよい。なお、映像表示素子４１は、立体視を実現するために左目用映像及び右目用映像として互いに異なる映像を表示してもよいし、左目用映像及び右目用映像として互いに同じ映像を表示してもよい。

　光学素子４２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子４１が表示する映像の光を透過又は屈折させて、ユーザーの左右それぞれの目に入射させる。具体的に、映像表示素子４１が表示する左目用映像は、光学素子４２を経由してユーザーの左目に入射し、右目用映像は光学素子４２を経由してユーザーの右目に入射する。これによりユーザーは、映像表示装置４０を頭部に装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧することができる。なお、本実施形態において映像表示装置４０は、ユーザーが外界の様子を視認することができない非透過型の映像表示装置であるものとする。

　モーションセンサー４４は、映像表示装置４０の位置や向き、動きに関する各種の情報を測定する。例えばモーションセンサー４４は、加速度センサー、ジャイロスコープ、又は地磁気センサーなどを含んでよい。モーションセンサー４４の測定結果は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、映像表示装置４０の動きや向きの変化を特定するために、このモーションセンサー４４の測定結果を用いることができる。具体的に情報処理装置１０は、加速度センサーの測定結果を用いることで、映像表示装置４０の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーの測定結果を用いることで、映像表示装置４０の回転運動を検出できる。

　通信インタフェース４５は、中継装置３０との間でデータ通信を行うためのインタフェースである。例えば映像表示装置４０が中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によりデータの送受信を行う場合、通信インタフェース４５は通信用のアンテナ、及び通信モジュールを含む。

　次に、情報処理装置１０が実現する機能について図３を用いて説明する。図３に示すように、情報処理装置１０は、機能的に、方向取得部５１と、対象画像表示制御部５２と、拡大画像表示制御部５３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

　方向取得部５１は、前述したモーションセンサー４４の測定結果を用いて、映像表示装置４０の向きを示す情報を取得する。具体的に方向取得部５１は、一定時間おきにモーションセンサー４４の測定結果を取得することによって、取得時点における映像表示装置４０の向きを特定する。映像表示装置４０はユーザーの頭部に固定された状態で使用されるので、この映像表示装置４０の向きは、そのままユーザーの顔の向きに対応することになる。具体例として、映像表示装置４０の向きは、垂直方向（上下方向）を回転軸とした回転量を表すヨー角と、左右方向を回転軸とした回転量を表すピッチ角と、前後方向を回転軸とした回転量を表すロール角と、によって表される。この場合、ヨー角及びピッチ角の値は、例えばユーザーが正面を向いた状態の映像表示装置４０の向きを基準方向Ｒとして、この基準方向Ｒに対する回転量を表すものであってよい。基準方向Ｒは、映像表示装置４０の使用開始時などに決定される方向であってよい。また、ロール角の値は、ユーザーが首を傾けずに左右の目が水平になっている状態を基準状態として、この基準状態からの回転量を表すものであってよい。

　なお、ここでは方向取得部５１は、映像表示装置４０の向きを特定するために映像表示装置４０に内蔵されたモーションセンサー４４の測定結果を利用することとしたが、これに代えて、またはこれに加えて、他の手段で取得した情報が映像表示装置４０の向きの特定に用いられてもよい。例えば情報処理装置１０にはカメラが接続され、このカメラによって映像表示装置４０を撮像することとしてもよい。方向取得部５１は、この撮像画像に含まれる映像表示装置４０の位置及び向きを特定することによって、映像表示装置４０の向きに関する情報を取得できる。この場合、映像表示装置４０の筐体表面に複数の発光素子を設け、これらの発光素子が発する光をカメラで撮像し、その光の位置を特定することにより、方向取得部５１はカメラの撮像画像を用いて精度よく映像表示装置４０の向きを特定できる。

　対象画像表示制御部５２は、表示対象となる対象画像Ｔを生成し、生成した対象画像Ｔを中継装置３０に対して出力することによって映像表示装置４０に表示させる。ここでは具体例として、対象画像Ｔは、全方位カメラなどで実際の風景を撮影して得られるパノラマ画像に基づいて生成された、所定の視野範囲内の様子を示す画像であるものとする。この場合におけるパノラマ画像は、例えば正距円筒図法などのデータフォーマットで生成された、全天球（前後左右上下全ての向き）の景色を含む画像である。なお、ここではパノラマ画像は、右目用画像の生成に用いられる右パノラマ画像と、左目用画像の生成に用いられる左パノラマ画像とを含むものとする。これら二つのパノラマ画像は、例えば左右に並んだ二つの全方位カメラによって実際の風景を撮影することで生成できる。また、視野範囲は、方向取得部５１が取得した映像表示装置４０の向きを表すヨー角、ピッチ角、及びロール角に応じて全天球の中から決定される範囲である。

　具体的に、対象画像表示制御部５２は、仮想空間内に球Ｓを配置するとともに、当該球Ｓの中心位置に、左右に並んだ２つの仮想カメラＣ１及びＣ２を配置する。図４はこの球Ｓ及び仮想カメラＣ１及びＣ２が配置された仮想空間を天頂方向から見た様子を示している。さらに対象画像表示制御部５２は、球Ｓの内面に左パノラマ画像に基づいて生成されるテクスチャーを貼り付け、仮想カメラＣ１からこのテクスチャーが貼り付けられた球Ｓを見た様子を描画することで、左目用画像を生成する。同様に、球Ｓの内面に右パノラマ画像に基づいて生成されるテクスチャーを貼り付け、仮想カメラＣ２からこの球Ｓの内面を見た様子を描画することで、右目用画像を生成する。ここで、仮想カメラＣ１及びＣ２の向きは、映像表示装置４０の向きに応じて決定されており、この仮想カメラＣ１及びＣ２の向きによって描画対象となる視野範囲が定められる。対象画像Ｔは、このようにして生成された左目用画像及び右目用画像の二つの画像を含んで構成される。この対象画像Ｔを映像表示装置４０が表示することで、ユーザーはパノラマ画像に写っている景色を閲覧できる。

　さらに本実施形態では、対象画像表示制御部５２は、方向取得部５１が取得した映像表示装置４０の向きの変化に応じて、表示される対象画像Ｔをリアルタイムで更新する。より具体的に、対象画像表示制御部５２は、映像表示装置４０の向きが変化すると、その変化した向きと対応する方向に仮想カメラＣ１及びＣ２の向きを変化させる。例えば、映像表示装置４０のピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラＣ１及びＣ２双方の撮像方向を変化させる。また、映像表示装置４０のロール角が変化した場合には、この変化に連動させて、左右方向に並んだ仮想カメラＣ１及びＣ２を球Ｓの中心を回転中心として傾けさせる。これにより、仮想カメラＣ１及びＣ２の視野範囲は映像表示装置４０の向きの変化に連動して変化することになる。対象画像表示制御部５２は、更新された視野範囲に基づいて球Ｓの内面の様子を再描画して対象画像Ｔを更新し、映像表示装置４０に表示させる。対象画像表示制御部５２は、このような映像表示装置４０の向きの変化に応じた対象画像Ｔの再描画（更新）処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーが現実の景色を見ている場合に自分の顔を動かすと見える景色が変わるのと同じように、対象画像Ｔを更新することができる。そのため、パノラマ画像の撮影場所に実際にいるかのような臨場感をユーザーに与えることができる。

　拡大画像表示制御部５３は、対象画像Ｔの一部を拡大した拡大画像Ｅを映像表示装置４０に表示させる。なお、以下では拡大の対象となる対象画像Ｔ内の領域を拡大対象領域Ａという。例えば拡大画像表示制御部５３は、ユーザーが操作デバイス２０に対して拡大表示を指示する操作入力を実行した場合に、その時点で表示されている対象画像Ｔ内の拡大対象領域Ａを拡大した拡大画像Ｅを生成し、映像表示装置４０に表示させる。このとき、拡大画像Ｅの拡大率は、予め定められた値であってもよいし、ユーザーが拡大を指示する際の操作量などに応じて決定されてもよい。後者の場合、拡大画像Ｅの大きさが一定になるように、拡大率が大きくなるほど拡大対象領域Ａの大きさを小さくすることとしてもよい。

　特に本実施形態において、拡大画像表示制御部５３は、拡大画像Ｅを映像表示装置４０の表示領域全体に表示させるのではなく、拡大対象領域Ａと重なる一部の領域のみを占有するように拡大画像Ｅを表示させる。すなわち、拡大画像Ｅは対象画像Ｔが表示されている表示領域の全体よりも小さい大きさで、対象画像Ｔと重なるように表示される。拡大画像Ｅの周囲の領域には、対象画像Ｔが表示され続けることになる。

　図５及び図６は、ユーザーから見た拡大画像Ｅの見え方を示す図である。具体的に、図５は拡大画像Ｅを表示する前の対象画像Ｔの表示例を示しており、図６は図５の状態からユーザーの指示を受けて拡大画像Ｅが表示された状態の例を示している。なお、図５の破線は拡大対象領域Ａを示している。図６に示されるように、拡大画像Ｅは対象画像Ｔの手前に重なるように表示され、拡大画像Ｅの周囲には図５で表示されていた対象画像Ｔがそのまま表示されている。なお、この図の例では、拡大対象領域Ａの中心は対象画像Ｔの中心と一致しており、これに対応して拡大画像Ｅもその中心が対象画像Ｔの中心に一致するように配置されている。また、図６に示されるように、拡大画像表示制御部５３は拡大画像Ｅを対象画像Ｔと明確に区別できるようにその外周に沿って枠線を表示してもよい。

　図６に例示するような拡大画像Ｅが表示された状態でユーザーが顔の向きを変化させると、これに連動して対象画像Ｔ及び拡大画像Ｅの双方が更新される。具体的に、対象画像表示制御部５２は、対象画像Ｔだけが表示されていた状態と同様に対象画像Ｔを更新する。そして、拡大画像表示制御部５３は、対象画像Ｔの変化と連動するように、常に表示中の対象画像Ｔの中央近傍の拡大対象領域Ａを拡大した拡大画像Ｅを表示する。このような制御によれば、拡大画像Ｅ内の表示要素は拡大されているために対象画像Ｔ内の表示要素よりも速く移動することになる。しかしながら、拡大画像Ｅが映像表示装置４０の表示領域全体を占めず、その周囲の対象画像Ｔはこれまでと同様に更新されるので、ユーザーは違和感なく自分の顔の動きに合わせて更新される拡大画像Ｅを閲覧することができる。

　なお、拡大画像Ｅが表示される際には、対象画像表示制御部５２が対象画像Ｔにブラー処理を施すこととしてもよい。これにより、拡大画像Ｅが表示されている間は対象画像Ｔがぼやけて表示されるため、ユーザーが拡大画像Ｅに注目しやすくなる。

　また、拡大画像表示制御部５３は、立体映像として拡大画像Ｅを映像表示装置４０に表示させる場合に、拡大画像Ｅが対象画像Ｔよりもユーザーに近い位置（奥行き方向に沿ったユーザーからの距離が短い位置）に見えるように制御してもよい。具体的に拡大画像表示制御部５３は、映像表示装置４０に表示される右目用画像と左目用画像における拡大画像Ｅの視差が、対象画像Ｔの視差よりも大きくなるように、右目用画像及び左目用画像それぞれに含まれる拡大画像Ｅの位置を決定する。図７は、このような表示を実現するための描画方法の一例を説明する図である。ここでは、仮想的な球Ｓの内側の、球Ｓの内面よりも仮想カメラＣ１及びＣ２に近い位置に、ウィンドウＷが配置される。なお、この例におけるウィンドウＷの配置位置の極座標は、仮想カメラＣ１及びＣ２の視野範囲の中心に位置するように決定される。拡大画像表示制御部５３は、拡大対象領域Ａを拡大した拡大画像ＥをこのウィンドウＷにテクスチャーとして貼り付ける。この状態で対象画像表示制御部５２は、仮想カメラＣ１及びＣ２のそれぞれからウィンドウＷ及び球Ｓの内面を見た様子を描画することにより、対象画像Ｔに含まれる右目用画像、及び左目用画像を生成する。これにより、拡大画像Ｅが対象画像Ｔよりも手間の近い位置に浮かんでいるように見えるため、ユーザーは違和感なく拡大画像Ｅを閲覧できる。

　また、拡大画像表示制御部５３は、映像表示装置４０の向きの変化に応じて拡大画像Ｅを更新する場合に、拡大画像Ｅの表示位置が安定して見えるように、映像表示装置４０の向きのわずかな変化を無視するようにしてもよい。このような制御は、カメラの手ぶれ補正と同様の処理によって実現できる。具体的に拡大画像表示制御部５３は、映像表示装置４０の向きを示す値（ここではピッチ角、及びヨー角）の変化量が所定の閾値未満の間は、拡大画像Ｅの表示を更新しないこととしてもよい。また、所定時間おきに取得されるピッチ角、及びヨー角の値に対してローパスフィルタ処理を施すことによって、これらの値が急激に変化しないようにしてもよい。このような制御によれば、ユーザーの意識しないわずかな顔の動きによって、拡大画像Ｅの表示内容が頻繁に更新されてしまうことを避けることができ、ユーザーが拡大画像Ｅを見やすくなる。

　また、これまでの説明では、拡大対象領域Ａ、及び拡大画像Ｅの中心は対象画像Ｔの中心と一致することとした。しかしながら、対象画像Ｔ内における拡大対象領域Ａの位置、及び拡大画像Ｅの表示位置は、対象画像Ｔの中心からずれた位置であってもよい。特に、拡大画像表示制御部５３は、映像表示装置４０の向きが基準方向Ｒからずれるにしたがって、拡大対象領域Ａが対象画像Ｔの中心から外周に近づくように制御してもよい。

　以下、上述したような拡大対象領域Ａの位置の制御例について説明する。ここでは、上下方向に沿ってユーザーが顔の向きを変化させた場合（すなわち、ピッチ角が変化する場合）に、拡大対象領域Ａの位置を対象画像Ｔの中心から上下方向に沿ってずらすこととする。

　この例では、映像表示装置４０の向きが基準方向Ｒから変化していない場合、拡大対象領域Ａの中心位置は対象画像Ｔの中心に一致するものとする。一方、ユーザーが顔を上方向、又は下方向に動かした場合、拡大対象領域Ａの中心位置は対象画像Ｔの外周よりに移動する。より具体的に、映像表示装置４０のピッチ角がθ°になった場合、拡大対象領域Ａの中心位置は、映像表示装置４０のピッチ角が（α・θ）°になった場合に表示されるべき対象画像Ｔの中心位置に一致するように決定される。ここでαは１より大きな補正係数である。

　図８及び図９は、この場合の拡大対象領域Ａの位置制御を説明するための図であって、パノラマ画像によって表される全天球の景色のうちの、対象画像Ｔとして表示される範囲、及び拡大対象領域Ａとして表示される範囲の一例を示している。これらの図は、いずれもユーザーを横方向から見た場合を示しており、図８はユーザーが顔を水平方向（基準方向Ｒ）に向けている状態の例を、図９はユーザーが顔を真上に近い方向に向けている状態の例を、それぞれ示している。図８では、対象画像Ｔの中心と拡大対象領域Ａの中心は一致しているが、図９では、拡大対象領域Ａの中心は対象画像Ｔの中心よりも上側にシフトしている。このように、ユーザーが顔を上に向けるにつれて拡大対象領域Ａの中心位置を対象画像Ｔの上辺よりに移動させることによって、ユーザーは自分の顔を完全に真上に向けなくとも天頂方向の景色を拡大させて閲覧することができる。なお、拡大画像表示制御部５３は、ユーザーが顔を下方向に向けた場合にも、上方向に向けた場合と同様に拡大対象領域Ａの中心が対象画像Ｔの下辺よりに遷移するよう制御することとする。一般に人は顔を真上や真下に向けにくいので、このような制御によれば、真上や真下の拡大画像Ｅを見やすくすることができる。

　また、ユーザーが顔を基準方向Ｒから左右方向に変化させた場合にも、拡大対象領域Ａの中心を対象画像Ｔの中心に対してユーザーが顔を向けた方向に遷移させてよい。このような制御によれば、ユーザーが顔を正面から離れた方向に向けた場合に、その方向の景色を拡大画像Ｅとして見やすくすることができる。なお、以上の例において、拡大画像表示制御部５３は、拡大画像Ｅの中心が拡大対象領域Ａの中心と一致するように拡大画像Ｅを表示することとする。ただし、これに限らず拡大画像表示制御部５３は、拡大画像Ｅの中心が拡大対象領域Ａの中心からずれるように拡大画像Ｅの対象画像Ｔ内における表示位置を決定してもよい。例えば拡大画像表示制御部５３は、拡大対象領域Ａの中心を対象画像Ｔの中心からずらした場合にも、拡大画像Ｅの中心は対象画像Ｔの中心に一致させた状態を維持することとしてもよい。

　なお、拡大画像表示制御部５３は、ユーザーが顔を傾けた状態で（すなわち、映像表示装置４０のロール角が基準状態から変化した状態で）拡大画像Ｅを表示する際には、拡大画像Ｅの水平方向に沿った向きが変化しないように制御してもよい。例えば図７で示したようにウィンドウＷを球Ｓ内に配置する場合、拡大画像表示制御部５３は、映像表示装置４０のヨー角及びピッチ角の変化に応じてウィンドウＷの極座標を変化させる一方で、映像表示装置４０のロール角が変化し、これに連動して仮想カメラＣ１及びＣ２を回転させた場合にも、ウィンドウＷを回転させずにその向きを維持する。こうすると、対象画像Ｔ内における拡大画像Ｅの表示領域は、顔の傾きと逆向きに、同じ回転量だけ回転して表示されることになる。このような制御によれば、拡大画像Ｅの向きは映像表示装置４０の傾きによらず常に水平方向に沿って維持されることになる。

　なお、拡大画像表示制御部５３は、例えばユーザーの操作デバイス２０に対する指示操作に応じて拡大画像Ｅの表示を終了する。また、拡大画像表示制御部５３は、映像表示装置４０の向きが、拡大画像Ｅの表示を開始した際の向きから所定角度以上変化した場合に、拡大画像Ｅの表示を終了してもよい。また、対象画像Ｔ内に写っている所定のオブジェクトを拡大表示している場合、拡大対象領域Ａがこの所定のオブジェクトを含まない位置まで移動した場合に、拡大画像Ｅの表示を終了してもよい。

　以上説明した本実施形態に係る情報処理装置１０によれば、拡大画像Ｅを対象画像Ｔの表示領域よりも小さい大きさで対象画像Ｔと重ねて表示することで、拡大画像Ｅを違和感なくユーザーに提示することができる。

　なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では全天球の景色を含んだ静止画像であるパノラマ画像に基づいて対象画像Ｔを生成することとしたが、これに限らず、対象画像表示制御部５２は、時間とともに変化するパノラマ映像に基づいて随時更新される対象画像Ｔを生成することとしてもよい。また、全天球ではなくより狭い範囲の景色を含むパノラマ画像又はパノラマ映像に基づいて対象画像Ｔを生成してもよい。

　さらに、対象画像表示制御部５２が時間とともに変化するパノラマ映像に基づいて生成した対象画像Ｔを表示する場合、拡大画像表示制御部５３は、対象画像Ｔの変化に応じて拡大対象領域Ａを時間とともに移動させてもよい。例えば拡大画像表示制御部５３は、対象画像Ｔ内に写っている注目オブジェクト（動物や乗り物など、他の背景に対して相対的に移動している被写体）を特定し、この注目オブジェクトを含む領域を拡大対象領域Ａとする。このような処理を所定時間おきに繰り返し実行し、拡大対象領域Ａの位置をそのつど更新することで、注目オブジェクトを自動的に追尾し、拡大して表示させることができる。

　また、対象画像表示制御部５２は、現実の景色を表すパノラマ画像から対象画像Ｔを生成するのではなく、仮想空間内の様子を示す対象画像Ｔを生成してもよい。この場合、対象画像表示制御部５２は、キャラクターや背景などを表す各種のオブジェクトが配置された仮想３次元空間を構築し、その内部に仮想カメラを配置する。そして、この仮想カメラから仮想空間内を見た様子を示す対象画像Ｔを生成する。この場合にも、前述したパノラマ画像から対象画像Ｔを生成する例と同様に、対象画像表示制御部５２は、左右に並んだ二つの仮想カメラを仮想空間内に配置し、これら二つのカメラのそれぞれから仮想空間内を見た様子を示す画像を生成する。こうすれば、立体視に必要な右目用画像、及び左目用画像を対象画像Ｔとして生成することができる。さらに対象画像表示制御部５２は、映像表示装置４０の向きが変化した場合、その変化に連動するように仮想空間内に配置した仮想カメラの向きを変化させ、変化した仮想カメラの向きに基づいて対象画像Ｔを更新する。これによりユーザーは、あたかも仮想空間内にいるかのように仮想空間内の様子を閲覧することができる。さらにこの場合においても、拡大画像表示制御部５３は、仮想空間内の注目オブジェクトが写っている対象画像Ｔ内の領域を、拡大対象領域Ａとしてもよい。これにより、注目オブジェクトを自動的に追尾し、拡大画像Ｅとして表示させることができる。

　また、以上の説明において中継装置３０が実現するとした映像の補正などの処理は、情報処理装置１０によって実現されてもよい。逆に、以上の説明において情報処理装置１０が実現するとした処理の少なくとも一部は、中継装置３０によって実現されてもよい。また、以上の説明において中継装置３０が実現するとした処理の一部は、映像表示装置４０に内蔵される集積回路によって実現されてもよい。さらに、以上の説明において中継装置３０が実現するとした処理の全てが情報処理装置１０及び映像表示装置４０のいずれかによって実現される場合、中継装置３０が存在せずともよい。

　１　映像表示システム、１０　情報処理装置、１１　制御部、１２　記憶部、１３　インタフェース部、２０　操作デバイス、３０　中継装置、４０　映像表示装置、４１　映像表示素子、４２　光学素子、４４　モーションセンサー、４５　通信インタフェース、５１　方向取得部、５２　対象画像表示制御部、５３　拡大画像表示制御部。

Claims

　ユーザーの頭部に装着される映像表示装置と接続される情報処理装置であって、
　前記映像表示装置の向きを取得する取得部と、
　前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、
　前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、
　を含み、
　前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させる
　ことを特徴とする情報処理装置。
　請求項１に記載の情報処理装置において、
　前記映像表示装置は、右目用画像及び左目用画像を表示し、
　前記拡大画像表示制御部は、前記右目用画像と前記左目用画像における前記拡大画像の視差が、前記対象画像の視差よりも大きくなるよう制御する
　ことを特徴とする情報処理装置。
　請求項１に記載の情報処理装置において、
　前記対象画像表示制御部は、前記拡大画像が表示されている間、前記対象画像をブラー処理してから表示させる
　ことを特徴とする情報処理装置。
　請求項１に記載の情報処理装置において、
　前記拡大画像表示制御部は、前記対象画像の一部の拡大対象領域を拡大した画像を前記拡大画像として表示させ、前記映像表示装置の向きが所定の基準方向に一致する場合には前記拡大対象領域の中心を前記対象画像の中心と一致させ、前記映像表示装置の向きが前記基準方向からずれる場合には前記拡大対象領域の中心を前記対象画像の外周に近い位置にシフトさせる
　ことを特徴とする情報処理装置。
　請求項１に記載の情報処理装置において、
　前記拡大画像表示制御部は、前記映像表示装置の向きが所定の基準方向に一致する場合には前記拡大画像を前記対象画像の表示領域の中心に表示させ、前記映像表示装置の向きが前記基準方向からずれる場合には前記拡大画像の表示位置を前記対象画像の外周に近い位置にシフトさせる
　ことを特徴とする情報処理装置。
　ユーザーの頭部に装着される映像表示装置と、当該映像表示装置に接続される情報処理装置と、を含む映像表示システムであって、
　前記情報処理装置は、
　前記映像表示装置の向きを取得する取得部と、
　前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、
　前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、
　を含み、
　前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させる
　ことを特徴とする映像表示システム。
　ユーザーの頭部に装着される映像表示装置と接続される情報処理装置の制御方法であって、
　前記映像表示装置の向きを取得するステップと、
　前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示ステップと、
　前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示ステップと、
　を含み、
　前記拡大画像表示ステップでは、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させる
　ことを特徴とする映像表示方法。
　ユーザーの頭部に装着される映像表示装置と接続されるコンピュータを、
　前記映像表示装置の向きを取得する取得手段、
　前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御手段、及び、
　前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御手段、
　として機能させるためのプログラムであって、
　前記拡大画像表示制御手段は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させる
　ことを特徴とするプログラム。
　請求項８に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。