JP7556484B1 - 情報処理装置、情報処理プログラム、および、情報処理方法 - Google Patents

Abstract

【課題】現実空間の再現性が高い仮想空間を容易に利用することができる情報処理装置、情報処理プログラム、および、情報処理方法を提供する。【解決手段】現実空間を撮影した写真Ｐｔからの立体物Ｔｇ１，Ｔｇ２の検出に基づき生成されたオブジェクトが遮蔽オブジェクトＯｊ１，Ｏｊ２であり、情報処理装置は、遮蔽オブジェクトＯｊ１，Ｏｊ２が配置された仮想空間Ｖｓのデータを読み込むことと、仮想空間Ｖｓにアバターおよび視点の位置を設定することと、当該視点から見た仮想空間Ｖｓを描画することと、を実行する。【選択図】図６

Description

本開示は、仮想空間に関わる処理を実行する情報処理装置、情報処理プログラム、および、情報処理方法に関する。

近年、仮想空間の様々な用途が提案されている。用途の一例では、現実空間と同様のユーザの活動を仮想空間で実現することが試みられている。例えば、特許文献１には、仮想空間内に住宅展示場を再現して、仮想空間内でのユーザによる住宅の内覧や購入を可能としたシステムが記載されている。

特開２０１２－８６３８号公報

仮想空間において現実空間と同様のユーザの活動を好適に実現するためには、仮想空間がより現実空間に近しい景観を有していることが望ましい。すなわち、仮想空間内の立体物の配置、形状、外観等について、現実空間の再現性が高いことが望まれる。一般に、仮想空間内の立体物の生成には、３ＤＣＧ（三次元コンピュータグラフィックス）が広く用いられているが、３ＤＣＧによるモデリングやマテリアルおよびテクスチャの設定工程を経て再現性の高い仮想空間を構築するには、多くの作業量が必要である。それゆえ、制作のコストや期間の増大が避け難い。したがって、現実空間の再現性が高い仮想空間を容易に構築可能な技術が求められている。

上記課題を解決するための情報処理装置、情報処理プログラム、および、情報処理方法の各態様を記載する。
［態様１］現実空間を撮影した写真からの立体物の検出に基づき生成されたオブジェクトが遮蔽オブジェクトであって、前記遮蔽オブジェクトが配置された仮想空間のデータを読み込むことと、前記仮想空間にアバターおよび視点の位置を設定することと、前記視点から見た前記仮想空間を描画することと、を実行する情報処理装置。

上記構成によれば、写真から遮蔽オブジェクトが生成されることにより仮想空間が構築され、この仮想空間にアバターが配置される。したがって、現実空間の再現性が高い仮想空間を、制作のコストや期間の増大を抑えて容易に構築可能であり、仮想空間での現実空間と同様の活動の的確な実現が可能である。

［態様２］前記情報処理装置は、ネットワークを介して情報中継装置と接続され、前記アバターは、前記情報処理装置を操作するユーザのアバターである自己アバターと、他のユーザのアバターである他者アバターとを含み、前記情報処理装置は、前記情報処理装置の操作に応じて変更される前記自己アバターの位置情報を、前記情報中継装置に送信するとともに、前記情報中継装置から、前記他者アバターの位置情報を受信し、前記自己アバターの位置情報および前記他者アバターの位置情報を反映させた各アバターを含む前記仮想空間を描画する、［態様１］に記載の情報処理装置。

上記構成によれば、情報中継装置を通じた位置情報の交換により、伝送されるデータの容量を抑えつつ、他のユーザのアバターの移動を仮想空間の描画に反映させることができる。

［態様３］前記情報処理装置は、前記仮想空間の描画により生成される画像に前記写真から生成した背景を合成する、［態様１］または［態様２］に記載の情報処理装置。
上記構成によれば、仮想空間の光景として、奥行き方向の描写についても、現実空間の光景に沿った画像の生成が可能である。

［態様４］前記情報処理装置は、ユーザの操作に応じて移動させる前記視点の位置の移動可能範囲を、所定の範囲に制限する、［態様１］～［態様３］のいずれか１つに記載の情報処理装置。

上記構成によれば、仮想空間やその背景において現実空間が再現されている領域が限られている場合であっても、描画された仮想空間の画像において仮想空間内の構造や背景に破綻が生じることが抑えられる。

［態様５］前記仮想空間のデータは、第１の写真から生成された第１の遮蔽オブジェクトのデータと、第２の写真から生成された第２の遮蔽オブジェクトのデータと、前記第１の遮蔽オブジェクトの構成情報と前記第２の遮蔽オブジェクトの構成情報とを平均化することにより生成されたオブジェクトである中間オブジェクトのデータとを含み、前記視点の位置について、描画対象の遮蔽オブジェクトを前記第１の遮蔽オブジェクトから前記第２の遮蔽オブジェクトへ切り替える条件が設定されており、前記情報処理装置は、前記条件が成立したとき、描画対象の遮蔽オブジェクトを、前記第１の遮蔽オブジェクトから前記中間オブジェクトを経て前記第２の遮蔽オブジェクトに切り替えて、前記仮想空間を描画する、［態様１］～［態様４］のいずれか１つに記載の情報処理装置。

上記構成によれば、描画対象の切り替えにより、視点やアバターの移動可能な範囲を広げることが可能であり、複数の遮蔽オブジェクトのデータ全体として仮想空間における再現範囲の拡大が可能である。そして、中間オブジェクトを挟んで描画対象の遮蔽オブジェクトが切り替えられることにより、仮想空間の光景の移り変わりについて、立体感を有した自然な移り変わりが可能となる。

［態様６］１または複数のコンピュータに、現実空間を撮影した写真からの立体物の検出に基づき生成されたオブジェクトが遮蔽オブジェクトであって、前記遮蔽オブジェクトが配置された仮想空間のデータを読み込むことと、前記仮想空間にアバターおよび視点の位置を設定することと、前記視点から見た前記仮想空間を描画することと、を実行させる情報処理プログラム。

上記構成によれば、写真から遮蔽オブジェクトが生成されることにより仮想空間が構築され、この仮想空間にアバターが配置される。したがって、現実空間の再現性が高い仮想空間を、制作のコストや期間の増大を抑えて容易に構築可能であり、仮想空間での現実空間と同様の活動の的確な実現が可能である。

［態様７］１または複数のコンピュータが、現実空間を撮影した写真からの立体物の検出に基づき生成されたオブジェクトが遮蔽オブジェクトであって、前記遮蔽オブジェクトが配置された仮想空間のデータを読み込むことと、前記仮想空間にアバターおよび視点の位置を設定することと、前記視点から見た前記仮想空間を描画することと、を実行する情報処理方法。

上記方法によれば、写真から遮蔽オブジェクトが生成されることにより仮想空間が構築され、この仮想空間にアバターが配置される。したがって、現実空間の再現性が高い仮想空間を、制作のコストや期間の増大を抑えて容易に構築可能であり、仮想空間での現実空間と同様の活動の的確な実現が可能である。

本開示によれば、現実空間の再現性が高い仮想空間を容易に利用することができる。

図１は、一実施形態の情報処理システムの構成を示す図である。 図２は、一実施形態の仮想空間生成装置の構成を示す図である。 図３は、一実施形態の情報中継装置の構成を示す図である。 図４は、一実施形態のユーザ端末の構成を示す図である。 図５は、一実施形態の仮想空間の生成の処理手順を示す図である。 図６は、一実施形態における写真からの仮想空間の生成を模式的に示す図である。 図７は、一実施形態におけるアバターおよび視点が配置された仮想空間を示す図である。 図８は、一実施形態におけるユーザ端末間の情報交換の処理手順を示す図である。 図９は、一実施形態における仮想空間の描画の処理手順を示す図である。 図１０は、一実施形態におけるユーザ端末の保持情報を示す図である。 図１１は、一実施形態における描画対象の切り替えのためのデータを模式的に示す図である。 図１２は、一実施形態における描画対象の切り替えの処理手順を示す図である。

図面を参照して、情報処理装置、情報処理プログラム、および、情報処理方法の一実施形態を説明する。
［情報処理システムの全体構成］
図１を参照して、情報処理装置を含む情報処理システムの全体構成を説明する。図１に示すように、情報処理システム１００は、管理システム１０と、複数のユーザ端末４０とを含む。管理システム１０は、仮想空間生成装置２０と情報中継装置３０とを備える。ユーザ端末４０は、情報処理装置の一例である。管理システム１０およびユーザ端末４０の各々は、インターネット等のネットワークに接続されている。

仮想空間生成装置２０は、現実空間を撮影した写真から仮想空間を生成する。仮想空間生成装置２０は、パーソナルコンピュータやサーバ装置等のコンピュータ装置である。
ユーザ端末４０は、仮想空間でアバターとして活動するユーザが操作する端末である。ユーザ端末４０は、ユーザの操作に応じて、仮想空間内にアバターおよび視点の位置を設定し、仮想空間を描画する。ユーザ端末４０は、スマートフォン、タブレット端末、パーソナルコンピュータ等のコンピュータ装置である。

情報中継装置３０は、ネットワークを通じて、各ユーザ端末４０と相互にデータの送受信を行う。情報中継装置３０は、ユーザ端末４０での仮想空間の描画に必要なアバターの位置等の情報を、複数のユーザ端末４０間で中継する。情報中継装置３０は、パーソナルコンピュータやサーバ装置等のコンピュータ装置である。

本実施形態の情報処理システム１００が提供する仮想空間の用途は、現実空間において可能な活動への利用であれば、特に限定されない。例えば、仮想空間は、観光、工場等の各種の見学、芸術作品の鑑賞等の文化活動、不動産や各種の商品の展示や販売等に用いられる。

［各装置の構成］
図２～図４を参照して、仮想空間生成装置２０、情報中継装置３０、および、ユーザ端末４０の構成を詳細に説明する。

図２に示すように、仮想空間生成装置２０は、通信部２１、制御部２２、および、記憶部２３を備えている。
通信部２１は、ネットワークへの接続およびデータの送受信等、仮想空間生成装置２０と他の装置との通信処理を行う。

制御部２２は、記憶部２３に格納されたプログラムを実行することにより、対象空間生成部２２ａとして機能する。
対象空間生成部２２ａは、現実空間の写真を解析し、写真に含まれる１以上の立体物を検出して、当該立体物の３Ｄモデルである遮蔽オブジェクトを生成する。検出される立体物は、例えば、柱や什器や置物等の構造物であり、空間内の一部を遮る機能を有した遮蔽物である。生成された遮蔽オブジェクトは、写真から抽出された立体物の色情報に基づくテクスチャを有している。写真からの３Ｄモデルの生成には、公知の写真測量技術が用いられればよい。

対象空間生成部２２ａは、仮想的な三次元空間に遮蔽オブジェクトを配置することにより、ユーザ端末４０での描画の処理対象となる仮想空間である対象空間を生成する。写真から複数の遮蔽オブジェクトが生成された場合には、写真によって示される現実空間での複数の立体物の位置関係に従って、複数の遮蔽オブジェクトが対象空間に配置される。
記憶部２３は、制御部２２による処理の実行に必要な各種のプログラムやデータを記憶している。

図３に示すように、情報中継装置３０は、通信部３１、制御部３２、および、記憶部３３を備えている。
通信部３１は、ネットワークへの接続およびデータの送受信等、情報中継装置３０と他の装置との通信処理を行う。

制御部３２は、記憶部３３に格納されたプログラムを実行することにより、中継処理部３２ａとして機能する。

中継処理部３２ａは、ユーザ端末４０間の情報の交換を制御する。具体的には、中継処理部３２ａは、１つのユーザ端末４０から、他のユーザ端末４０にて反映すべき情報である中継情報を受けたとき、送信先のユーザ端末４０を特定し、特定したユーザ端末４０に通信部３１を介して中継情報を送信する。中継情報には、アバターの位置情報が含まれる。

記憶部３３は、制御部３２による処理の実行に必要な各種のプログラムやデータを記憶している。こうしたデータには、情報の中継に関わるユーザの管理のためのデータも含まれる。

図４に示すように、ユーザ端末４０は、通信部４１、制御部４２、記憶部４３、および、入出力部４４を備えている。
通信部４１は、ネットワークへの接続およびデータの送受信等、ユーザ端末４０と他の装置との通信処理を行う。

制御部４２は、記憶部４３に格納されたプログラムを実行することにより、情報管理部４２ａおよび描画処理部４２ｂとして機能する。
情報管理部４２ａは、対象空間における遮蔽オブジェクトやアバターや視点の位置を管理し、対象空間の描画を指示する。

描画処理部４２ｂは、情報管理部４２ａの指示を受けて、描画処理を行う。すなわち、描画処理部４２ｂは、上記遮蔽オブジェクト、アバター、視点の位置情報に基づき、対象空間における描画範囲を決定してレンダリングを行うことにより、二次元画像のデータである表示データを生成する。

記憶部４３は、制御部４２による処理の実行に必要な各種のプログラムやデータを記憶している。記憶部４３は、こうしたデータの一例として、描画用データ４３ａを記憶している。描画用データ４３ａは、対象空間の描画に要するデータを含む。具体的には、描画用データ４３ａは、仮想空間生成装置２０が生成した遮蔽オブジェクトを含む対象空間のデータである対象空間データ、アバターのモデルや外観のデータであるアバターデータ、対象空間の描画に際して背景として用いる画像のデータである背景データ等を含む。

入出力部４４は、ユーザの操作を受け付けて当該操作に応じた信号を制御部に出力する操作部、および、制御部からのデータに基づき画像を表示する表示部を含む。操作部は、タッチパネルやマウスやキーボードであり、表示部は、液晶等のパネルやディスプレイである。

上記各機能を有する仮想空間生成装置２０、情報中継装置３０、および、ユーザ端末４０の各装置の物理的な構成、すなわちハードウェア構成を説明する。各装置は、ＣＰＵ、ＭＰＵ、ＧＰＵ等の演算装置である電子回路、ＲＯＭ、ＲＡＭ、レジスタードメモリ、アンバッファードメモリ等のメモリ、および、ＳＳＤ、ＨＤＤ等のストレージを備える。演算装置は、ストレージからオペレーティングシステムや各種プログラムをメモリにロードし、メモリから取り出した命令を実行する。各装置は、ＡＳＩＣ、ＦＰＧＡ等の集積回路を備えてもよい。

また、各装置は、ネットワークを介して接続先の装置との間でデータを送受信する通信インターフェースを備えている。通信インターフェースは、ハードウェア、ソフトウェア、または、これらの組み合わせとして実装されている。

各装置が実行する各処理は、各装置が備えるソフトウェアによって実行されてもよいし、各装置が備える集積回路とソフトウェアとの組み合わせによって実現されてもよい。

［対象空間の生成］
図５および図６を参照して、対象空間の生成に関する処理の手順を説明する。
図５に示すように、まず、仮想空間生成装置２０は、再現対象の現実空間を撮影した写真のデータである写真データを読み込む（ステップＳ１０）。続いて、仮想空間生成装置２０は、写真データを解析して立体物を抽出することにより、遮蔽オブジェクトのデータを生成する（ステップＳ１１）。そして、仮想空間生成装置２０は、仮想的な三次元空間に遮蔽オブジェクトを配置すること、すなわち三次元空間での遮蔽オブジェクトの位置を設定することにより、対象空間データを生成する（ステップＳ１２）。ステップＳ１１およびステップＳ１２の処理は、対象空間生成部２２ａとしての処理である。

１つの対象空間は、互いに異なる位置から現実空間を撮影した複数の写真から生成されてもよいし、１つの位置から現実空間を撮影した１つの写真から生成されてもよい。また、１つの対象空間は、パノラマ写真や３６０度写真のような広い範囲を含む写真から生成されてもよい。基となる写真における撮影位置や範囲が限られている場合には、遮蔽オブジェクトは、当該オブジェクトの全周について現実空間の立体物の形状および色を再現していなくてよい。遮蔽オブジェクトは、少なくとも１つの視点から見て、現実空間の立体物の形状および色を再現していればよい。

図６は、写真Ｐｔから生成される対象空間Ｖｓを模式的に示す。図６に示す例では、写真Ｐｔに含まれる展示台や置物である２つの立体物Ｔｇ１，Ｔｇ２に基づき、２つの遮蔽オブジェクトＯｊ１，Ｏｊ２が生成されて、これらの遮蔽オブジェクトＯｊ１，Ｏｊ２が配置された対象空間Ｖｓが構築されている。

図５に戻り、仮想空間生成装置２０は、生成した対象空間データを、ネットワークを通じてユーザ端末４０が利用可能なように出力する（ステップＳ１３）。例えば、仮想空間生成装置２０は、対象空間データを含めた描画用データ４３ａを、クラウドストレージに格納してもよいし、アプリケーションソフトウェアとして提供してもよい。

また、描画用データ４３ａに含まれる背景データも、仮想空間生成装置２０によって生成されればよい。仮想空間生成装置２０は、対象空間データの生成に用いた写真データから、背景データを生成する。例えば、写真の全体あるいは遮蔽オブジェクトの基とした立体物以外の部分から背景データが生成される。こうした背景データの生成も、対象空間生成部２２ａとしての処理である。

［対象空間の描画］
図７～図１０を参照して、対象空間の描画に関する処理の手順を説明する。
まず、ユーザ端末４０による対象空間の描画の処理の概要を説明する。ユーザ端末４０は、ネットワークを通じて描画用データ４３ａを取得する。そして、ユーザ端末４０は、ユーザ端末４０を操作するユーザ自身のアバターである自己アバターの位置、および、視点の位置を、対象空間に対して設定する。自己アバターおよび視点の各位置は、例えば所定の初期位置から、ユーザ端末４０に対するユーザの操作に応じて変更される。視点の位置は、アバターの位置の移動に追従して移動してもよい。また、ユーザ端末４０は、情報中継装置３０からの情報に基づき、他のユーザのアバターである他者アバターの位置を、対象空間に対して設定する。

ユーザ端末４０は、視点の位置に応じた範囲、すなわち視点から見た所定の範囲に描画範囲を決定し、遮蔽オブジェクトおよびアバターのデータや位置情報に基づいて、対象空間における上記描画範囲の画像を生成する。そして、ユーザ端末４０は、背景データを用いて、上記画像に視点の位置に応じた背景を合成して、表示データを生成する。表示部が表示データを用いて画像を表示することにより、ユーザ端末４０に対象空間の画像が表示される。

図７は、アバターおよび視点の位置が設定された対象空間Ｖｓを模式的に示す。図７に示す例では、対象空間Ｖｓに、自己アバターＡａと１人の他者アバターＡｂとが配置されている。視点Ｃｍの位置に対する遮蔽オブジェクトＯｊ１，Ｏｊ２およびアバターＡａ，Ａｂの位置に応じて、遮蔽オブジェクトＯｊ１，Ｏｊ２およびアバターＡａ，Ａｂの一部が他に隠れるように描画される。これによって、ユーザ端末４０に表示された対象空間Ｖｓの画像を見るユーザは、対象空間Ｖｓ内の構造物やアバターの位置関係を把握できる。
なお、視点およびアバターの位置の設定と変更には、視点およびアバターの向きの設定と変更も含まれる。

上述のように、ユーザ端末４０は、視点の位置を、ユーザ端末４０に対するユーザの操作に応じて移動させる。この際、視点の移動可能範囲は、対象空間内の構造や背景に破綻が生じない範囲に制限される。具体的には、視点から見た遮蔽オブジェクトの形状および色や配置が現実空間に沿って再現されている範囲、あるいは、背景データから視点に応じた背景が生成可能な範囲に、視点の移動可能範囲が制限される。例えば、視点の移動可能範囲は、対象空間の生成に用いられた写真の撮影位置に対応する対象空間内の位置を中心とする所定の範囲である。こうした視点の移動に関する処理は、情報管理部４２ａとしての処理である。

これにより、限られた視点や範囲の写真から対象空間が生成された場合のように、対象空間内やその背景領域において現実空間が再現されている領域に限りがある場合でも、対象空間の画像を見るユーザが違和感を覚え難くなる。そして、対象空間の全ての領域で現実空間を再現する場合と比べて、対象空間の構築に要する負荷の軽減が可能である。

続いて、ユーザ端末４０による各処理を詳細に説明する。まず、図８を参照して、情報中継装置３０を介したユーザ端末４０間の情報の交換について説明する。ユーザ端末４０と情報中継装置３０とは、例えば対象空間の描画の開始に際して、ネットワークを介して接続される。図８では、例として、第１のユーザ端末４０Ａと第２のユーザ端末４０Ｂとの２つのユーザ端末４０間での情報の交換の手順を示している。第１のユーザ端末４０Ａと第２のユーザ端末４０Ｂとは、いずれも、共通の対象空間について描画処理を行っている。

図８に示すように、第１のユーザ端末４０Ａにて、当該ユーザ端末４０Ａを操作する第１のユーザのアバターの位置がユーザ端末４０Ａの操作に基づき変更されると、ユーザ端末４０Ａは、第１のユーザのアバターの位置を示すアバター位置情報ＩａＡを情報中継装置３０に送信する（ステップＳ２０）。

同様に、第２のユーザ端末４０Ｂにて、当該ユーザ端末４０Ｂを操作する第２のユーザのアバターの位置がユーザ端末４０Ｂの操作に基づき変更されると、ユーザ端末４０Ｂは、第２のユーザのアバターの位置を示すアバター位置情報ＩａＢを情報中継装置３０に送信する（ステップＳ２１）。

情報中継装置３０は、ユーザ端末４０から情報を受信すると、中継処理として、送信先の他のユーザ端末４０を特定して情報を送信する（ステップＳ２２）。例えば、同一の対象空間について描画を行っているユーザ端末４０が情報の送信対象とされる。

これにより、第１のユーザのアバター位置情報ＩａＡが、第２のユーザ端末４０Ｂに送信され、第２のユーザのアバター位置情報ＩａＢが、第１のユーザ端末４０Ａに送信される。そして、第１のユーザ端末４０Ａでは、他者アバターの位置についてアバター位置情報ＩａＢが反映されて対象空間の描画処理が行われる（ステップＳ２３）。第１のユーザ端末４０Ａにおいて、自己アバターの位置にはアバター位置情報ＩａＡが反映される。

同様に、第２のユーザ端末４０Ｂでは、他者アバターの位置についてアバター位置情報ＩａＡが反映されて対象空間の描画処理が行われる（ステップＳ２４）。第２のユーザ端末４０Ｂにおいて、自己アバターの位置にはアバター位置情報ＩａＢが反映される。

以上により、ユーザ端末４０に表示される対象空間の画像において、他のユーザのアバターの移動が反映される。アバター位置情報はテキストデータとして伝送されるため、伝送データの容量を抑えつつ、アバターの移動の反映が可能である。なお、こうしたアバター位置情報の交換は３以上のユーザ端末４０間で行われてもよいし、アバター位置情報以外の情報の交換も行われてもよい。また、アバター位置情報にはアバターの向きの情報も含まれればよい。こうした情報の交換は、情報中継装置３０の中継処理部３２ａによって管理される。

次に、図９および図１０を参照して、ユーザ端末４０による対象空間の描画に関わる処理を説明する。
ユーザ端末４０では、描画用データ４３ａの読み出しやユーザ端末４０の操作や情報中継装置３０からの情報の受信に基づいて、遮蔽オブジェクトの位置、視点の位置、自己アバターの位置、他者アバターの位置を示す各情報が、メモリの所定の領域に保持されている。これらのうち、遮蔽オブジェクトの位置情報は固定である。視点および自己アバターの位置情報はユーザ端末４０の操作に基づき更新され、他者アバターの位置情報は、情報中継装置３０からの情報に基づき更新される。

図９に示すように、情報の更新により、視点の位置情報、自己アバターの位置情報、他者アバターの位置情報のいずれかに変更があると（ステップＳ３０）、フラグが設定されて各情報がメモリの描画処理用の領域に複製される（ステップＳ３１）。これらは、情報管理部４２ａとしての処理である。

詳細には、図１０に示すように、ユーザ端末４０の第１の記憶領域４５に、上述の各情報である遮蔽オブジェクト位置情報Ｉｏ、視点位置情報Ｉｃ、自己アバター位置情報Ｉａ、他者アバター位置情報Ｉｂが保持されている。複数の遮蔽オブジェクトが存在する場合には、複数の遮蔽オブジェクト位置情報Ｉｏが保持され、複数の他者アバターが存在する場合には、複数の他者アバター位置情報Ｉｂが保持される。

第１の記憶領域４５に保持されている情報は、上述のように、ユーザ端末４０の操作や情報中継装置３０からの情報に基づき更新される。視点位置情報Ｉｃ、自己アバター位置情報Ｉａ、および、他者アバター位置情報Ｉｂのうちの少なくとも１つが変更されると、第１の記憶領域４５に保持されている情報が、第２の記憶領域４６に複製される。変更された情報については変更後の情報が複製される。

この際、視点フラグ情報Ｆｃ、自己アバターフラグ情報Ｆａ、他者アバターフラグ情報Ｆｂも、第２の記憶領域４６に保持される。視点フラグ情報Ｆｃは、視点位置情報Ｉｃにおける変更の有無を示す機能を有する。すなわち、視点位置情報Ｉｃが変更されたとき、視点フラグ情報Ｆｃはｔｒｕｅとされ、視点位置情報Ｉｃが変更されていないとき、視点フラグ情報Ｆｃはｆａｌｓｅとされる。自己アバターフラグ情報Ｆａは、自己アバター位置情報Ｉａにおける変更の有無を示す機能を有する。すなわち、自己アバター位置情報Ｉａが変更されたとき、自己アバターフラグ情報Ｆａはｔｒｕｅとされ、自己アバター位置情報Ｉａが変更されていないとき、自己アバターフラグ情報Ｆａはｆａｌｓｅとされる。他者アバターフラグ情報Ｆｂは、他者アバター位置情報Ｉｂにおける変更の有無を示す機能を有する。すなわち、他者アバター位置情報Ｉｂが変更されたとき、他者アバターフラグ情報Ｆｂはｔｒｕｅとされ、他者アバター位置情報Ｉｂが変更されていないとき、他者アバターフラグ情報Ｆｂはｆａｌｓｅとされる。

図９に戻り、情報を複製すると、情報管理部４２ａは、描画を指示する（ステップＳ３２）。これを受けて、描画処理部４２ｂは、第２の記憶領域４６に保持されている情報および描画用データ４３ａを用いて、対象空間を描画する（ステップＳ３３）。すなわち、描画処理部４２ｂは、視点位置情報Ｉｃに応じた描画範囲を設定し、遮蔽オブジェクト位置情報Ｉｏ、自己アバター位置情報Ｉａ、他者アバター位置情報Ｉｂに基づき描画範囲に含まれる遮蔽オブジェクトおよびアバターを描画する。描画に際しては、各フラグ情報Ｆａ，Ｆｂ，Ｆｃを利用してもよい。例えば、視点フラグ情報Ｆｃがｆａｌｓｅであれば、描画範囲の新たな設定は行わず、前回の描画処理時と同じ描画範囲を用いればよい。

また、情報管理部４２ａは、自己アバターフラグ情報Ｆａがｔｒｕｅであるかを確認し（ステップＳ３４）、自己アバターフラグ情報Ｆａがｔｒｕｅである場合（ステップＳ３４にて肯定判定）、自己アバター位置情報Ｉａを、通信部４１を介して情報中継装置３０に送信する（ステップＳ３５）。自己アバターフラグ情報Ｆａがｆａｌｓｅである場合（ステップＳ３４にて否定判定）には、自己アバター位置情報Ｉａの送信は行われない。

描画処理部４２ｂは、ステップＳ３３で生成した対象空間の描画画像に背景を合成することにより表示データを生成し、表示データを表示部に出力する（ステップＳ３６）。これにより、ユーザ端末４０の表示部の表示画像が更新されて、対象空間の新たな画像が表示される。なお、背景の合成は、ステップＳ３３における対象空間の描画に併せて実施されてもよいし、アバターが先に描画されて遮蔽オブジェクトや背景と合成されてもよい。

以上のように、本実施形態では、写真から遮蔽オブジェクトが生成されることにより対象空間が構築される。現実空間の写真は容易に入手可能であるため、３ＤＣＧによるモデリングやマテリアルおよびテクスチャの設定工程を経て仮想空間を構築する場合と比べて、現実空間の再現性が高い仮想空間を、制作のコストや期間の増大を抑えて容易に構築可能である。また、現実空間において店舗等の内装の変更があった場合にも、仮想空間への反映に対応しやすい。

また、写真からオブジェクトのテクスチャが生成されるため、仮想空間内の構造物の色や質感といった外観について、ユーザは、写真同様の印象、すなわち、現実空間の再現性が高い印象を受けやすい。

そして、こうした仮想空間にアバターを配置することで、現実空間と同様の活動を仮想空間で行うことが可能である。仮想空間が容易に構築可能であることにより、仮想空間の用途の拡大も可能である。

［描画対象の切り替え］
ユーザ端末４０においては、視点の移動に応じて、描画対象の遮蔽オブジェクトが切り替えられてもよい。図１１および図１２を参照して、こうした切替処理について説明する。

切替処理が行われる場合、描画用データ４３ａの対象空間データには、複数の遮蔽オブジェクトデータと、中間オブジェクトデータとが含まれる。これらのデータは、仮想空間生成装置２０の対象空間生成部２２ａによって生成される。

１つの遮蔽オブジェクトデータは、対象空間に同時に配置される１以上の遮蔽オブジェクトの３Ｄモデルおよび位置のデータを含む。言い換えれば、切替処理が行われない場合の対象空間データは、１つの遮蔽オブジェクトデータから構成されている。１つの中間オブジェクトデータもまた、対象空間に同時に配置される１以上の遮蔽オブジェクトの３Ｄモデルおよび位置のデータを含む。

詳細には、仮想空間生成装置２０は、１つの現実空間を互いに異なる位置から撮影した複数の写真データの各々から、遮蔽オブジェクトデータを生成する。例えば、図１１に示すように、第１の写真Ｐｔ１と、第１の写真Ｐｔ１よりも被写体である立体物に近い位置から現実空間を撮影した第２の写真Ｐｔ２とが用いられる。第１の写真Ｐｔ１と第２の写真Ｐｔ２とは、共通の立体物を少なくとも１つ含む。

そして、第１の写真Ｐｔ１からの立体物の抽出により、第１の遮蔽オブジェクトのデータである遮蔽オブジェクトデータＤｓ１が生成される。第１の写真Ｐｔ１が複数の立体物を含む場合には、各立体物に対応する遮蔽オブジェクトのそれぞれが第１の遮蔽オブジェクトであり、遮蔽オブジェクトデータＤｓ１は、遮蔽オブジェクトの群のデータである。同様に、第２の写真Ｐｔ２からの立体物の抽出により、第２の遮蔽オブジェクトのデータである遮蔽オブジェクトデータＤｓ２が生成される。

また、第１の写真Ｐｔ１からは、ユーザ端末４０での対象空間の描画に際して、第１の遮蔽オブジェクトが描画対象であるときに背景として用いられる画像のデータが生成される。同様に、第２の写真Ｐｔ２からは、第２の遮蔽オブジェクトが描画対象であるときに背景として用いられる画像のデータが生成される。同一の写真に基づき生成された遮蔽オブジェクトデータと背景データとは互いに対応付けられて描画用データ４３ａに含められる。

さらに、仮想空間生成装置２０は、第１の遮蔽オブジェクトデータＤｓ１と、第２の遮蔽オブジェクトデータＤｓ２とを用いて、これらのデータが含む情報を平均化することにより、中間オブジェクトデータＤｍを生成する。すなわち、中間オブジェクトデータＤｍは、オブジェクトを構成する各部の座標や色の情報として、第１の遮蔽オブジェクトと第２の遮蔽オブジェクトとの平均値を有する遮蔽オブジェクトのデータである。言い換えれば、中間オブジェクトデータＤｍが示す遮蔽オブジェクトが中間オブジェクトであり、中間オブジェクトは、そのサイズや配置について、第１の遮蔽オブジェクトと第２の遮蔽オブジェクトとの中間の構成を有する。

以上のように、切替対象の２つの遮蔽オブジェクトに対して１つの中間オブジェクトが生成される。例えば、第１の遮蔽オブジェクトと第２の遮蔽オブジェクトとが切替対象であり、さらに、第２の遮蔽オブジェクトと第３の遮蔽オブジェクトとが切替対象である場合、第１の遮蔽オブジェクトと第２の遮蔽オブジェクトとから第１の中間オブジェクトが生成され、第２の遮蔽オブジェクトと第３の遮蔽オブジェクトとから第２の中間オブジェクトが生成される。

図１２を参照して、ユーザ端末４０による描画対象の遮蔽オブジェクトの切り替えの処理手順を説明する。図１２では、例として、第１の写真に基づく第１の遮蔽オブジェクトから、第２の写真に基づく第２の遮蔽オブジェクトに描画対象が切り替えられる場合の手順を示している。

図１２に示すように、ユーザ端末４０は、第１の遮蔽オブジェクトが描画されている状態において（ステップＳ５０）、描画対象の切替条件が成立したかを判定する（ステップＳ５１）。

詳細には、第１の遮蔽オブジェクトが描画対象であるとき、先の図７～図１０を参照して説明した対象空間の描画に際しては、対象空間内に配置されたオブジェクトとして第１遮蔽オブジェクトが描画される。そして、第１の遮蔽オブジェクトから第２の遮蔽オブジェクトへの描画対象の切替条件が予め設定されており、この切替条件は、描画用データ４３ａに含まれてユーザ端末４０に保持されている。切替条件は、視点の位置についての条件であり、例えば、特定の遮蔽オブジェクトに対して視点が所定位置よりも近づく等のように、視点が所定の範囲内に移動したことが切替条件とされる。一例では、視点が、第１の写真の撮影位置に対応する位置よりも、第２の写真の撮影位置に対応する位置に近くなることが切替条件とされる。

切替条件が成立していない場合（ステップＳ５１にて否定判定）、描画対象は第１の遮蔽オブジェクトのまま維持される。切替条件が成立した場合（ステップＳ５１にて肯定判定）、ユーザ端末４０は、描画対象を中間オブジェクトとして対象空間を描画し（ステップＳ５２）、その後、描画対象を第２の遮蔽オブジェクトとして対象空間を描画する（ステップＳ５３）。上記中間オブジェクトは、第１の遮蔽オブジェクトと第２の遮蔽オブジェクトとの平均化により生成されたオブジェクトである。上記の処理において、ステップＳ５１の処理は、情報管理部４２ａとしての処理であり、ステップＳ５０，Ｓ５２，Ｓ５３の処理は、描画処理部４２ｂとしての処理である。

このように、描画対象は、第１の写真に基づく第１の遮蔽オブジェクトから、中間オブジェクトを経て、第２の写真に基づく第２の遮蔽オブジェクトに切り替えられる。中間オブジェクトの描画期間は、例えば数フレームに対応する期間等に予め設定されていればよい。各オブジェクトの位置が対象空間の基準位置に対して定められていることにより、描画対象のオブジェクトが切り替えられても、同一の立体物を表すオブジェクトとアバターとの位置関係は維持される。

描画対象の切り替えは、言い換えれば、対象空間に配置する遮蔽オブジェクトの入れ替えであり、遮蔽オブジェクトごとの仮想空間を対象空間として捉えるならば、描画対象の対象空間の切り替えとも言える。

描画対象が第１の遮蔽オブジェクトである場合、合成対象の背景は、第１の写真に基づく背景であり、描画対象が第２の遮蔽オブジェクトである場合、合成対象の背景は、第２の写真に基づく背景である。描画対象が中間オブジェクトである場合の背景は、第１の写真または第２の写真から生成されてもよいし、第１の写真と第２の写真との平均化等により生成されてもよい。

以上の処理により、ユーザ端末４０に表示される対象空間の画像が、第１の写真に対応する光景から第２の写真に対応する光景に切り替わる際に、オブジェクトの位置や大きさが緩やかに変化する。例えば、第１の遮蔽オブジェクトが図１１に示した第１の写真Ｐｔ１に基づくオブジェクトであり、第２の遮蔽オブジェクトが図１１に示した第２の写真Ｐｔ２に基づくオブジェクトである場合、中間オブジェクトを挟んで描画対象が切り替えられることにより、ユーザ端末４０に表示される対象空間の画像においては、オブジェクトである立体物が向かって左にずれつつ手前に拡大していくように、表示内容が変化する。

したがって、視点の移動に伴って表示される対象空間の光景の移り変わりが立体感を有して滑らかになり、描画対象の切り替わりに際してユーザが違和感を覚えることが抑えられる。そして、このように描画対象を切り替えることにより、１つの遮蔽オブジェクトデータおよび背景データによる対象空間の再現範囲が限られている場合であっても、視点やアバターの移動可能な範囲を広げることが可能であり、複数の遮蔽オブジェクトデータ全体として再現範囲の拡大が可能である。

以上説明したように、本実施形態によれば、以下に列挙する効果が得られる。
（１）写真から遮蔽オブジェクトが生成されることにより仮想空間が構築され、この仮想空間にアバターが配置される。したがって、現実空間の再現性が高い仮想空間を、制作のコストや期間の増大を抑えて容易に構築可能であり、仮想空間での現実空間と同様の活動の的確な実現が可能である。

（２）アバターの位置情報が、情報中継装置３０を通じてユーザ端末４０間で交換されることにより、各ユーザ端末４０において他者のアバターの移動が反映される。これにより、伝送されるデータの容量を抑えつつ、他のユーザのアバターの移動をユーザ端末４０における仮想空間の描画に反映させることができる。

（３）仮想空間の描画により生成される画像に、写真から生成された背景が合成される。これにより、仮想空間の光景として、奥行き方向の描写についても、現実空間の光景に沿った画像の生成が可能である。

（４）視点の位置の移動可能範囲が制限されることにより、仮想空間やその背景において現実空間が再現されている領域が限られている場合であっても、描画された仮想空間の画像において仮想空間内の構造や背景に破綻が生じることが抑えられる。

（５）描画対象の遮蔽オブジェクトの切り替えによって、視点やアバターの移動可能な範囲を広げることが可能であり、複数の遮蔽オブジェクトデータ全体として仮想空間における再現範囲の拡大が可能である。そして、中間オブジェクトを挟んで描画対象の遮蔽オブジェクトが切り替えられることにより、仮想空間の光景の移り変わりについて、立体感を有した自然な移り変わりが可能となる。

［変形例］
上記実施形態は、以下のように変更して実施することが可能である。
・対象空間の描画処理は、仮想空間生成装置２０または情報中継装置３０にて行われ、生成された画像がユーザ端末４０に送信されてもよい。この場合、描画用データ４３ａは、描画処理を行う装置にて読み込まれ、ユーザ端末４０におけるアバターおよび視点の操作情報が、描画処理を行う装置に送信されて、描画に反映される。この描画処理を行う装置が情報処理装置であり、当該装置に格納されて描画処理を行わせるプログラムが情報処理プログラムである。また、情報処理装置は、対象空間の生成処理と描画処理との双方を行ってもよい。

・仮想空間生成装置２０と情報中継装置３０とは、１つのコンピュータ装置であってもよい。また、情報処理装置は、単体のコンピュータ装置であってもよいし、複数のコンピュータ装置から構成されてもよい。

Ａａ，Ａｂ…アバター
Ｏｊ１，Ｏｊ２…遮蔽オブジェクト
Ｐｔ，Ｐｔ１，Ｐｔ２…写真
Ｔｇ１，Ｔｇ２…立体物
Ｖｓ…対象空間
１０…管理システム
２０…仮想空間生成装置
３０…情報中継装置
４０…ユーザ端末
１００…情報処理システム

Claims (6)

1. 現実空間を撮影した写真からの立体物の検出に基づき生成されたオブジェクトが遮蔽オブジェクトであって、前記遮蔽オブジェクトが配置された仮想空間のデータを読み込むことと、
   前記仮想空間にアバターおよび視点の位置を設定することと、
   前記視点から見た前記仮想空間を描画することと、を実行する情報処理装置であって、
   前記仮想空間のデータは、第１の写真から生成された第１の遮蔽オブジェクトのデータと、第２の写真から生成された第２の遮蔽オブジェクトのデータと、前記第１の遮蔽オブジェクトの構成情報と前記第２の遮蔽オブジェクトの構成情報とを平均化することにより生成されたオブジェクトである中間オブジェクトのデータとを含み、
   前記視点の位置について、描画対象の遮蔽オブジェクトを前記第１の遮蔽オブジェクトから前記第２の遮蔽オブジェクトへ切り替える条件が設定されており、
   前記情報処理装置は、前記条件が成立したとき、描画対象の遮蔽オブジェクトを、前記第１の遮蔽オブジェクトから前記中間オブジェクトを経て前記第２の遮蔽オブジェクトに切り替えて、前記仮想空間を描画する
   情報処理装置。
2. 前記情報処理装置は、ネットワークを介して情報中継装置と接続され、
   前記アバターは、前記情報処理装置を操作するユーザのアバターである自己アバターと、他のユーザのアバターである他者アバターとを含み、
   前記情報処理装置は、
   前記情報処理装置の操作に応じて変更される前記自己アバターの位置情報を、前記情報中継装置に送信するとともに、前記情報中継装置から、前記他者アバターの位置情報を受信し、
   前記自己アバターの位置情報および前記他者アバターの位置情報を反映させた各アバターを含む前記仮想空間を描画する
   請求項１に記載の情報処理装置。
3. 前記情報処理装置は、
   前記仮想空間の描画により生成される画像に前記写真から生成した背景を合成する
   請求項１に記載の情報処理装置。
4. 前記情報処理装置は、
   ユーザの操作に応じて移動させる前記視点の位置の移動可能範囲を、所定の範囲に制限する
   請求項１に記載の情報処理装置。
5. １または複数のコンピュータに、
   現実空間を撮影した写真からの立体物の検出に基づき生成されたオブジェクトが遮蔽オブジェクトであって、前記遮蔽オブジェクトが配置された仮想空間のデータを読み込むことと、
   前記仮想空間にアバターおよび視点の位置を設定することと、
   前記視点から見た前記仮想空間を描画することと、を実行させるプログラムであって、
   前記仮想空間のデータは、第１の写真から生成された第１の遮蔽オブジェクトのデータと、第２の写真から生成された第２の遮蔽オブジェクトのデータと、前記第１の遮蔽オブジェクトの構成情報と前記第２の遮蔽オブジェクトの構成情報とを平均化することにより生成されたオブジェクトである中間オブジェクトのデータとを含み、
   前記視点の位置について、描画対象の遮蔽オブジェクトを前記第１の遮蔽オブジェクトから前記第２の遮蔽オブジェクトへ切り替える条件が設定されており、
   前記コンピュータに、前記条件が成立したとき、描画対象の遮蔽オブジェクトを、前記第１の遮蔽オブジェクトから前記中間オブジェクトを経て前記第２の遮蔽オブジェクトに切り替えて、前記仮想空間を描画することを実行させる
   情報処理プログラム。
6. １または複数のコンピュータが、
   現実空間を撮影した写真からの立体物の検出に基づき生成されたオブジェクトが遮蔽オブジェクトであって、前記遮蔽オブジェクトが配置された仮想空間のデータを読み込むことと、
   前記仮想空間にアバターおよび視点の位置を設定することと、
   前記視点から見た前記仮想空間を描画することと、を実行する情報処理方法であって、
   前記仮想空間のデータは、第１の写真から生成された第１の遮蔽オブジェクトのデータと、第２の写真から生成された第２の遮蔽オブジェクトのデータと、前記第１の遮蔽オブジェクトの構成情報と前記第２の遮蔽オブジェクトの構成情報とを平均化することにより生成されたオブジェクトである中間オブジェクトのデータとを含み、
   前記視点の位置について、描画対象の遮蔽オブジェクトを前記第１の遮蔽オブジェクトから前記第２の遮蔽オブジェクトへ切り替える条件が設定されており、
   前記コンピュータが、前記条件が成立したとき、描画対象の遮蔽オブジェクトを、前記第１の遮蔽オブジェクトから前記中間オブジェクトを経て前記第２の遮蔽オブジェクトに切り替えて、前記仮想空間を描画することを実行する
   情報処理方法。

Images