JP3632705B2 - 対話型画像提供方法、サーバ装置、提供方法、ユーザ端末、受信方法、画像提供システム、および画像提供方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、例えば、ユーザ端末からネットワークを介してサーバにアクセスし、コンピュータグラフィックスやビデオ画像などにより構成された仮想現実空間（バーチャルリアリティ）を形成する３次元画像の提供を受ける場合に用いて好適な対話型画像提供方法、サーバ装置、提供方法、ユーザ端末、受信方法、画像提供システム、および画像提供方法に関する。
【０００２】
【従来の技術】
図８は、従来の対話型画像提供方法が適用されるシステムの構成例を示している。このようなシステムの概略は、例えば特開平５−２３３７７９号公報に開示されている。
【０００３】
図８において、仮想世界のオブジェクトやユーザの属性などの全情報を管理するサーバ１０は、データベース１１とネットワークインタフェース１２により構成されている。データベース１１は、サーバ１０の全情報を管理している。ネットワークインタフェース１２は、ネットワーク２０とサーバ１０との間のインタフェースを構成している。
【０００４】
このサーバ１０は、ネットワーク２０を介して、多数のユーザ端末３０に接続されている。
【０００５】
ネットワーク２０は、データを双方向に送受することが可能なものであり、場合によっては、片方向のネットワークを２つ用いることにより構成される。
【０００６】
ユーザ端末３０は、ユーザ端末３０とネットワーク２０との間のインタフェースを構成するネットワークインタフェース３１を有しており、ＣＰＵ３２は、ユーザ端末３０の全ての処理の調整を行うようになされている。デバイスコントローラ３３は、コントローラ３４の操作に対応するアクションのデータを取り込むようになされている。記憶装置３６には、ネットーク２０より供給されたデータベース情報や、デバイスコントローラ３３が取り込んだアクションデータなどが記憶される。描画装置３５は、記憶装置３６に記憶された情報に基づき、ローカルに画像データを生成し、ディスプレイ４０に出力し、表示させる。
【０００７】
図８には、１台のユーザ端末３０のみが示されているが、同様の構成のユーザ端末３０がネットワーク２０を介してサーバ１０に複数個接続されている。
【０００８】
いま３人のユーザがそれぞれユーザ端末３０を利用して、サーバ１０が提供する仮想現実空間において自動車レースを行う場合を考える。サーバ１０は、３台の車の位置、速度、方向などのデータを管理し、３台のユーザ端末３０に一定周期で送信する。それぞれのユーザ端末３０は、このデータと、それぞれのユーザのコントローラ３４の操作によるアクションのデータに基づき、対応するユーザの車からの視点の映像を描画装置３５において作成し、それぞれのディスプレイ４０に出力し、表示させる。
【０００９】
同時に、コントローラ３４の操作に対応するアクションのデータが、ネットワーク２０を介してサーバ１０に送信される。サーバ１０は、このデータを受け取ったとき、管理データ中の対応する部分を、この最新データで置き換える。
【００１０】
以上のようにして、複数のユーザが仮想現実空間において自動車レースを楽しむことができる。
【００１１】
【発明が解決しようとする課題】
しかしながら、このような従来の対話型画像提供方法においては、各ユーザ端末３０のディスプレイ４０に表示する画像を、各ユーザ端末３０の描画装置３５において生成するようにしているため、画像品質を向上させるようにすると、ユーザ端末３０のコストが上昇する課題があった。特にユーザ端末３０の仮想的位置から遠く離れた位置にあって、コントローラ３４により、インタラクションの起きないオブジェクト（画像）をクリップせずに描画する（正確に描画する）ようにすると、描画性能を向上させなければならず、コストが高くなる課題があった。
【００１２】
また、ユーザ端末３０毎に画像が生成されるため、同様な画像を各ユーザ端末３０において重複して生成することになり、システム全体としてみると、無駄な処理が多く行われていた。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、ユーザ端末のコストを低減し、より効率的に画像を生成することができるようにするものである。
【００１４】
【課題を解決するための手段】
請求項１に記載の対話型画像提供方法は、仮想現実空間を形成する３次元の画像をサーバ（例えば図１のサーバ１０）において用意し、ユーザ端末（例えば図１のユーザ端末３０）から仮想現実空間における所定の位置のデータを、ネットワーク（例えば図１のネットワーク２０）を介してサーバに供給し、サーバから、所定の位置に対応する仮想現実空間の画像を、ネットワークを介してユーザ端末に提供する対話型画像提供方法において、仮想現実空間の所定の位置から見た画像のうちの一部を、サーバからユーザ端末に提供し、仮想現実空間の所定の位置から見た画像のうちの他の部分を、ユーザ端末において生成し、ユーザ端末において生成した画像と、サーバより提供された画像とをユーザ端末において合成し、表示することを特徴とする。
【００１５】
サーバよりユーザ端末に提供する画像は、仮想現実空間の所定の位置から見た画像の背景画像（例えば図６に示す画像）とし、ユーザ端末が生成する画像は、仮想現実空間の所定の位置から見た画像の近景画像（例えば図５の画像）とすることができる。
【００１６】
仮想現実空間を形成する３次元の画像は、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、複数の部分世界（例えば図２の部分世界７１）に分割した場合、サーバよりユーザ端末に提供する画像を、部分世界の外部の所定の視点から部分世界を見た画像とすることができる。
【００１７】
請求項４に記載の対話型画像提供方法は、仮想現実空間を形成する３次元の画像をサーバ（例えば図１のサーバ１０）において用意し、ユーザ端末（例えば図１のユーザ端末３０）から仮想現実空間における所定の位置のデータを、ネットワーク（例えば図１のネットワーク２０）を介してサーバに供給し、サーバから、所定の位置に対応する仮想現実空間の画像を、ネットワークを介してユーザ端末に提供する対話型画像提供方法において、仮想現実空間を形成する３次元の画像のうち、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、仮想現実空間を複数の部分世界（例えば図２の部分世界７１）に分割し、部分世界の外部の所定の視点から部分世界を見た画像を、サーバからユーザ端末に提供し、ユーザ端末から供給した所定の位置に対応する画像を、所定の位置の所定の視点からのずれに基づいてユーザ端末において生成することを特徴とする。
本発明のサーバ装置は、仮想現実空間を形成するためのデータを記憶した記憶手段と、ユーザ端末から仮想現実空間における所定の位置のデータを受信する受信手段と、仮想現実空間の所定の位置における画像を、記憶手段に記憶されたデータに基づいて生成する生成手段と、生成手段において生成された画像と、記憶手段に記憶された仮想現実空間を形成するためのデータとをユーザ端末に送信する送信手段とを具備し、生成手段は、仮想現実空間の所定の位置における画像として、仮想現実空間の所定の位置から見た画像の背景画像を生成し、送信手段は、仮想現実空間を形成するためのデータとして、ユーザ端末において、生成手段で生成された画像と合成して合成画像を生成するためのデータをユーザ端末に送信することを特徴とする。
前記送信手段は、仮想現実空間を形成するためのデータとして、仮想現実空間の所定の位置から見た画像の近景画像を生成するためのデータをユーザ端末に送信することができる。
前記記憶手段は、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、仮想現実空間を複数のグループに分割した複数の部分世界毎のデータを記憶しているようにすることができる。
前記生成手段は、部分世界から一定の距離だけ離れた所定の位置から見た画像を生成することができる。
前記生成手段は、部分世界の外部の所定の位置から部分世界を見た画像を生成することができる。
本発明の提供方法は、ユーザ端末から仮想現実空間における所定の位置のデータを受信するステップと、仮想現実空間の所定の位置における画像を、仮想現実空間を形成するためのデータに基づいて生成するステップと、生成ステップで生成された画像をユーザ端末に送信するステップと、仮想現実空間を形成するためのデータをユーザ端末に送信するステップとを含み、生成ステップでは、仮想現実空間の所定の位置における画像として、仮想現実空間の所定の位置から見た画像の背景画像を生成し、送信ステップでは、仮想現実空間を形成するためのデータとして、ユーザ端末において、生成された画像と合成して合成画像を生成するためのデータをユーザ端末に送信することを特徴とする。
本発明の第１のユーザ端末は、サーバ装置に仮想現実空間における所定の位置のデータを送信する送信手段と、サーバ装置で生成された仮想現実空間の所定の位置における画像と、仮想現実空間を形成するためのデータとをサーバ装置から受信する受信手段と、サーバ装置から受信した仮想現実空間を形成するためのデータに基づいて、仮想現実空間を所定の位置から見た画像を生成する生成手段と、サーバ装置で生成された仮想現実空間の所定の位置における画像と、生成手段で生成された画像とを合成して、仮想現実空間の所定の位置における合成画像を生成する合成手段とを具備することを特徴とする。
前記サーバ装置から受信した仮想現実空間の所定の位置における画像の一部を復号する復号手段を更に具備することができる。
前記サーバ装置から受信した仮想現実空間の所定の位置における画像の一部を、幾何学的に変形する変形手段を更に具備することができる。
前記変形手段は、サーバ装置から受信した仮想現実空間の所定の位置における画像の一部を、サーバ装置が生成した画像の視点とユーザ端末のコントローラから入力された視点とのずれに対応して、幾何学的に変形することができる。
前記受信手段は、サーバ装置から、仮想現実空間の所定の位置における画像の一部として、仮想現実空間の所定の位置から見た画像の背景画像を受信し、生成手段は、サーバ装置で生成された画像の一部以外の画像として、仮想現実空間の所定の位置から見た画像の近景画像を生成することができる。
前記受信手段は、サーバ装置から、仮想現実空間の所定の位置における画像の一部として、仮想現実空間の所定の位置から見た画像の近景画像を受信し、生成手段は、サーバ装置で生成された画像の一部以外の画像として、仮想現実空間の所定の位置から見た画像の背景画像を生成することができる。
前記サーバ装置に映像信号を送信する送信手段を更に具備することができる。
本発明の第１の受信方法は、サーバ装置に仮想現実空間における所定の位置のデータを送信する送信ステップと、サーバ装置で生成された仮想現実空間の所定の位置における画像と、仮想現実空間を形成するためのデータとをサーバ装置から受信する受信ステップと、サーバ装置から受信した仮想現実空間を形成するためのデータに基づいて、仮想現実空間を所定の位置から見た画像を生成する生成ステップと、サーバ装置で生成された仮想現実空間の所定の位置における画像と、生成ステップの処理で生成された画像とを合成して、仮想現実空間の所定の位置における合成画像を生成する合成ステップとを具備することを特徴とする。
本発明の第２のユーザ端末は、サーバ装置に仮想現実空間における所定の位置のデータを送信する送信手段と、サーバ装置から仮想現実空間の所定の位置から見える画像を受信する受信手段と、サーバ装置から受信した仮想現実空間の所定の位置から見える画像を、ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する変形手段とを具備することを特徴とする。
本発明の第２の受信方法は、サーバ装置に仮想現実空間における所定の位置のデータを送信するステップと、サーバ装置から仮想現実空間の所定の位置から見える画像を受信する受信ステップと、サーバ装置から受信した仮想現実空間の所定の位置における画像を、ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する生成ステップとを具備することを特徴とする。
本発明の第１の画像提供システムは、サーバ装置が、仮想現実空間を形成するためのデータを記憶する記憶手段と、ユーザ端末から仮想現実空間における所定の位置のデータを受信する第１の受信手段と、仮想現実空間の所定の位置における画像を、記憶手段に記憶されたデータに基づいて生成する第１の生成手段と、生成された画像と、記憶手段に記憶された仮想現実空間を形成するためのデータとをユーザ端末に送信する第１の送信手段とを具備し、ユーザ装置が、サーバ装置に仮想現実空間における所定の位置のデータを送信する第２の送信手段と、サーバ装置で生成された仮想現実空間の所定の位置における画像と、仮想現実空間を形成するためのデータとをサーバ装置から受信する第２の受信手段と、サーバ装置から受信した仮想現実空間を形成するためのデータに基づいて、仮想現実空間を所定の位置から見た画像を生成する第２の生成手段と、第２の受信手段で受信された仮想現実空間の所定の位置における画像と、第２の生成手段で生成された画像とを合成して、仮想現実空間の所定の位置における画像を合成する合成手段とを具備することを特徴とする。
本発明の第１の画像提供方法は、ユーザ端末からサーバ装置に仮想現実空間における所定の位置のデータを送信する第１の送信ステップと、サーバ装置において、仮想現実空間の所定の位置における画像を、仮想現実空間を形成するためのデータに基づいて生成する第１の生成ステップと、サーバ装置からユーザ端末に生成された画像を送信する第２の送信ステップと、サーバ装置からユーザ端末に仮想現実空間を形成するためのデータを送信する第３の送信ステップと、ユーザ端末において、サーバ装置から受信した仮想現実空間を形成するためのデータに基づいて、仮想現実空間を所定の位置から見た画像を生成する第２の生成ステップと、ユーザ端末において、サーバ装置で生成された仮想現実空間の所定の位置における画像と、ユーザ端末で生成された画像とを合成して、仮想現実空間の所定の位置における合成画像を生成する合成ステップとを具備することを特徴とする。
本発明の第２の画像提供システムは、サーバ装置が、仮想現実空間を形成するためのデータを記憶する記憶手段と、ユーザ端末から仮想現実空間における所定の位置のデータを受信する第１の受信手段と、仮想現実空間の所定の位置から見える画像をユーザ端末に送信する第１の送信手段とを具備し、ユーザ装置が、サーバ装置に仮想現実空間における所定の位置のデータを送信する第２の送信手段と、サーバ装置から仮想現実空間の所定の位置から見える画像をサーバ装置から受信する第２の受信手段と、サーバ装置から受信した仮想現実空間の所定の位置における画像を、ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する生成手段とを具備することを特徴とする。
本発明の第２の画像提供方法は、ユーザ端末からサーバ装置に仮想現実空間における所定の位置のデータを送信する第１の送信ステップと、サーバ装置からユーザ端末に仮想現実空間の所定の位置から見える画像を送信する第２の送信ステップと、ユーザ端末において、サーバ装置から受信した仮想現実空間の所定の位置における画像を、ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する生成ステップとを具備することを特徴とする。
【００１８】
【作用】
請求項１に記載の対話型画像提供方法においては、例えば背景画像などの画像がサーバ１０において生成され、ユーザ端末３０に供給される。これに対して、例えば近景画像などの画像は、ユーザ端末３０において生成される。そして、ユーザ端末３０において、近景画像と背景画像が合成される。従って、全ての画像をユーザ端末３０において生成する場合に比べて、ユーザ端末３０の構成を簡略化し、低コスト化することが可能になる。また、背景画像はサーバ１０において生成され、各ユーザ端末３０に供給されるため、システム全体として、効率的に画像を生成することが可能となる。
【００１９】
請求項４に記載の対話型画像提供方法においては、仮想現実空間を形成する３次元の画像のうち、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、仮想現実空間が複数の部分世界７１に分割される。そして、各部分世界７１毎に所定の視点から見た画像が用意され、所定の位置から見た画像は、その所定の視点からのずれに基づいて生成される。従って、用意する画像を少なくし、より低コストで仮想現実空間を形成することが可能になる。
本発明のサーバ装置およびその提供方法においては、仮想現実空間における所定の位置の画像として、仮想現実空間における所定の位置から見た画像の背景画像が生成され、仮想現実空間を形成するためのデータとともに、ユーザ端末に送信される。
本発明の第１のユーザ端末およびその受信方法においては、サーバ装置に対して、仮想現実空間における所定の位置のデータが送信され、サーバ装置において生成された仮想現実空間における所定の位置の画像と、仮想現実空間を形成するためのデータが受信される。サーバ装置において生成された仮想現実空間における所定の位置の画像と、ユーザ端末において生成された仮想現実空間を所定の位置から見た画像が合成される。
本発明の第２のユーザ端末およびその受信方法においては、サーバ装置に対して、仮想現実空間における所定の位置のデータが送信され、サーバ装置から仮想現実空間の所定の位置から見える画像が受信される。また、受信された仮想現実空間の所定の位置から見える画像が、コントローラによって指示された位置に基づいて変形された表示画像が生成される。
本発明の第１の画像提供システムおよびその画像提供方法においては、サーバ装置が、仮想現実空間における所定の位置の画像を、仮想現実空間を形成するためのデータに基づいて生成し、仮想現実空間を形成するためのデータとともに、ユーザ端末に送信する。ユーザ端末は、サーバ装置に対して、仮想現実空間における所定の位置のデータを送信し、サーバ装置において生成された仮想現実空間における所定の位置の画像と、仮想現実空間を形成するためのデータを受信する。さらにユーザ端末は、サーバ装置において生成された仮想現実空間における所定の位置の画像と、自分自身が生成した仮想現実空間を所定の位置から見た画像を合成する。
本発明の第２の画像提供システムおよびその画像提供方法においては、サーバ装置が、ユーザ端末から、仮想現実空間における所定の位置のデータを受信し、仮想現実空間における所定の位置から見える画像をユーザ端末に送信する。ユーザ端末は、サーバ装置に対して、仮想現実空間における所定の位置のデータを送信する。また、ユーザ端末は、サーバ装置から受信した仮想現実空間における所定の位置から見える画像を、コントローラによって指示された位置に基づいて変形した表示画像を生成する。
【００２０】
【実施例】
図１は、本発明の対話型画像提供方法を適用した画像提供システム（サイバースペースシステム）の構成例を示している。図１において、図８と対応する部分には同一の符号を付してある。
【００２１】
この実施例においては、サーバ１０が、データベース１１とネットワークインタフェース１２の他、描画エンジン５１と映像符号化装置５２を有している。任意の数（この実施例の場合、２つ）の描画エンジン５１は、データベース１１に記憶されているデータに従って、仮想現実空間を形成する３次元画像のデータを生成する。また、映像符号化装置５２は、描画エンジン５１が生成した画像データを、ネットワーク２０を介してユーザ端末３０に伝送するために、符号化する処理を実行するようになされている。
【００２２】
この実施例においては、データベース１１は、図２に示すように、仮想現実空間を、インタラクションの起きる可能性（蓋然性）の高いオブジェクト同士が同一のグループになるように、複数の部分世界に分割して記憶している。この実施例においては、空間的にまとまった領域を単位として分割が行われている。即ち、部分世界７１は、道のように細長い仮想現実世界の空間を長さ方向に分割している。
【００２３】
このように、部分世界に分割することで、仮想現実空間においてキャラクタをどのような視点に移動させた場合でも、自然で高品位の画像を提供することが可能になる。
【００２４】
描画エンジン５１は、データベース１１の情報に基づき、このような各部分世界７１の、それぞれ前後一定の距離だけ離れた所定の視点７２から見た画像を生成する。そして、この視点７２以外の所定の地点（位置）からの画像は、その地点と視点７２との位置のずれに対応して、視点７２から見た画像を幾何学的に補正、変形することで、ユーザ端末３０において生成するようにしている。
【００２５】
ネットワークインタフェース１２は、データベース１１から読み出された情報と、描画エンジン５１により生成され、映像符号化装置５２により符号化されたデータを、ネットワーク２０に出力するとともに、ネットワーク２０を介してユーザ端末３０より送られてきたデータを、データベース１１に出力するようになされている。
【００２６】
サーバ１０のその他の構成は、図８における場合と同様である。
【００２７】
一方、ユーザ端末３０は、映像復号化装置６１と画像合成装置６２を有している。映像復号化装置６１は、サーバ１０の映像符号化装置５２により符号化され、ネットワーク２０を介して送られてきた後、記憶装置３６に一旦記憶されたデータを、適宜読み出して復号化する装置である。また、画像合成装置６２は、描画装置３５により描画された画像と、映像復号化装置６１により復号化された画像を合成し、ディスプレイ４０に出力し、表示させる装置である。
【００２８】
また、この画像合成装置６２は、描画装置３５で生成した画像と、画像合成装置６２で再生した画像とを合成する際、より自然な画像となるように、両者の画像に各種のエフェクトを施す機能を有している。例えば、復号化された映像を、現在のユーザ端末３０のコントローラ３４から入力した視点からの映像に近似させるため、幾何学的に補正変形処理を施す。
【００２９】
ユーザ端末３０のその他の構成は、図８に示す場合と基本的に同様である。
【００３０】
次に、図３と図４のフローチャートを参照して、図１の実施例の動作について説明する。
【００３１】
図３は、サーバ１０の処理例を表している。最初にステップＳ１において、仮想現実空間の時間の更新や光線の設定など、多くのオブジェクトが影響を受ける環境情報の更新処理を実行する。次にステップＳ２に進み、データベース１１の内容に基づき、部分世界７１について、それぞれ決められている視点７２からの画像を、描画エンジン５１に生成させる。
【００３２】
次にステップＳ３に進み、描画エンジン５１により生成した画像データを、映像符号化装置５２により符号化させ、ネットワークインタフェース１２を介してネットワーク２０に送出させる。
【００３３】
以上の処理と並行して、非同期的に複数のユーザ端末３０からの情報をメッセージとして、ステップＳ１１において受信する。そしてステップＳ１２に進み、受信したメッセージに対応して、データベース１１において管理しているデータの内容を更新し、オブジェクトの情報を更新する。この際、ユーザ端末３０の対応する位置の変化などにより、オブジェクトの属する部分世界７１が変化することがあり、これに関連する処理も行われる。
【００３４】
これに対して、図４は、ユーザ端末３０の処理例を表している。最初にステップＳ２１において、ユーザがコントローラ３４を操作して入力したアクションのデータを、デバイスコントローラ３３を介して取得する。すなわち各ユーザは、コントローラ３４を操作して、仮想現実空間内において、自分に割り当てられているキャラクタの視点のデータ（アクションデータ）を入力する。デバイスコントローラ３３はこのデータを取得する。この取得したデータは、記憶装置３６に一旦記憶される。
【００３５】
次にステップＳ２２で、ネットワークインタフェース３１が、ネットワーク２０を介してサーバ１０からのデータを受信する。上述したように、この受信データには、データベース１１から読み出されたデータと、描画エンジン５１により描画され、映像符号化装置５２により符号化された映像データの２種類がある。これらのデータは、記憶装置３６に一旦格納される。
【００３６】
記憶装置３６に記憶されたデータのうち映像データは、ステップＳ２４において、記憶装置３６から読み出され、映像復号化装置６１に供給され、復号化される。
【００３７】
これに対して、データベース１１からのデータは、ステップＳ２３において、記憶装置３６から読み出され、描画装置３５に入力される。描画装置３５はこのデータに対応して、ローカルに画像データを生成する。
【００３８】
このステップＳ２３とステップＳ２４の処理は並行して実行される。次にステップＳ２５に進み、画像合成処理が行われる。即ち、画像合成装置６２は、映像復号化装置６１により復号化された画像と、描画装置３５により生成された画像とを、適宜所定の補正処理を行った上で合成する。この合成画像がディスプレイ４０に供給され、表示される。
【００３９】
次にステップＳ２６に進み、記憶装置３６に記憶されているデータのうち、デバイスコントローラ３３を介して、コントローラ３４より得たアクションデータを読み出し、ネットワーク２０を介してサーバ１０に送信する。
【００４０】
そしてステップＳ２１に戻り、それ以降の処理を同様に繰り返す。
【００４１】
図５は、図４のステップＳ２３において、描画装置３５が描画した部分世界７１の近景画像の例を表している。
【００４２】
また、図６は、図３のステップＳ２において、サーバ１０の描画エンジン５１が生成した、部分世界７１の背景画像（図４のステップＳ２４において、ユーザ端末３０の映像復号化装置６１が復号化した画像）の例を表している。
【００４３】
さらに、図７は、図４のステップＳ２５において、画像合成装置６２が２つの画像（図５に示す近景画像と、図６に示す背景画像）を合成した画像の例を表している。
【００４４】
この実施例においては、サーバ１０において背景画像を生成し、ユーザ端末３０において近景画像を生成するようにしたが、これを逆にすることも可能である。しかしながら、一般的に、背景画像は、ユーザ端末３０の位置の微細な変化に拘らず、ほぼ一定であるが、近景画像は、ユーザ端末３０の僅かな位置の違いによって比較的大きく異なるものとなる。そこで、近景画像をユーザ端末３０で生成し、背景画像をサーバ１０で生成し、各ユーザ端末３０に供給するようにした方が、システム全体としてより効率的に画像を生成することができる。
【００４５】
尚、以上の実施例においては、サーバ１０において生成した映像を符号化して、ユーザ端末３０に伝送するようにしたが、符号化せず、アナログ信号のまま伝送するようにすることも可能である。また、ユーザ端末３０において、データベース情報をキャッシングすることも考えられる。
【００４６】
さらに、ユーザ端末３０において行うネットワーク２０とのデータ送受と、サーバ１０からのデータ受信の順序は、図３と図４に示した場合に限定されるものではない。
【００４７】
また、ユーザ端末３０からサーバ１０への映像信号の送信を許すようにすると、１つのユーザ端末３０からサーバ１０へ映像信号を送り、その映像信号を、サーバ１０が他のユーザ端末へ送ることが可能になる。
【００４８】
【発明の効果】
以上の如く、請求項１に記載の対話型画像提供方法によれば、仮想現実空間の所定の位置から見た画像のうちの一部を、サーバにおいて生成し、ユーザ端末に提供するようにし、また、仮想現実空間の所定の位置からみた画像のうちの他の部分を、ユーザ端末において生成し、両者を合成し、表示するようにしたので、高画質の画像を低コストで、効率よく生成、表示することが可能になる。
【００４９】
また、請求項４に記載の対話型画像提供方法によれば、仮想現実空間を形成する３次元の画像のうち、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、仮想現実空間を複数の部分世界に分割し、各部分世界の外部の所定の視点から各部分世界を見た画像をサーバからユーザ端末に提供するようにしたので、低コストで、より効率的に、高品位の画像をユーザ端末において表示することが可能になる。
本発明のサーバ装置およびその提供方法によれば、仮想現実空間における所定の位置の画像として、仮想現実空間における所定の位置から見た画像の背景画像を生成し、仮想現実空間を形成するためのデータとともに、ユーザ端末に送信するようにした。
本発明の第１のユーザ端末およびその受信方法によれば、サーバ装置に対して、仮想現実空間における所定の位置のデータを送信し、サーバ装置において生成された仮想現実空間における所定の位置の画像と、仮想現実空間を形成するためのデータを受信する。また、サーバ装置において生成された仮想現実空間における所定の位置の画像と、ユーザ端末において生成された仮想現実空間を所定の位置から見た画像を合成するようにした。
本発明の第２のユーザ端末およびその受信方法によれば、サーバ装置に対して、仮想現実空間における所定の位置のデータを送信し、サーバ装置から仮想現実空間の所定の位置から見える画像を受信する。また、受信した仮想現実空間の所定の位置から見える画像を、コントローラによって指示された位置に基づいて変形した表示画像を生成するようにした。
本発明の第１の画像提供システムおよびその画像提供方法によれば、サーバ装置が、仮想現実空間における所定の位置の画像を、仮想現実空間を形成するためのデータに基づいて生成し、仮想現実空間を形成するためのデータとともに、ユーザ端末に送信する。ユーザ端末が、サーバ装置に対して、仮想現実空間における所定の位置のデータを送信し、サーバ装置において生成された仮想現実空間における所定の位置の画像と、仮想現実空間を形成するためのデータを受信する。さらにユーザ端末が、サーバ装置において生成された仮想現実空間における所定の位置の画像と、自分自身が生成した仮想現実空間を所定の位置から見た画像を合成するようにした。
本発明の第２の画像提供システムおよびその画像提供方法によれば、サーバ装置が、ユーザ端末から、仮想現実空間における所定の位置のデータを受信し、仮想現実空間における所定の位置から見える画像をユーザ端末に送信する。ユーザ端末が、サーバ装置に対して、仮想現実空間における所定の位置のデータを送信する。また、ユーザ端末が、サーバ装置から受信した仮想現実空間における所定の位置から見える画像を、コントローラによって指示された位置に基づいて変形した表示画像を生成するようにした。
従って、高画質の画像を低コストで、効率よく生成、表示することが可能になる。
【図面の簡単な説明】
【図１】本発明の対話型画像提供方法を適用したサイバースペースシステムの構成例を示すブロック図である。
【図２】図１のデータベース１１に記憶する仮想現実空間の分割を説明する図である。
【図３】図１のサーバ１０の処理を説明するフローチャートである。
【図４】図１のユーザ端末３０の処理を説明するフローチャートである。
【図５】図１のユーザ端末３０で生成した画像の例を示す図である。
【図６】図１のサーバ１０で生成した画像の例を示す図である。
【図７】図５に示す画像と図６に示す画像を合成した画像を示す図である。
【図８】従来の対話型画像提供方法を適用したサイバースペースシステムの構成例を示すブロック図である。
【符号の説明】
１０ サーバ
１１ データベース
１２ ネットワークインタフェース
２０ ネットワーク
３０ ユーザ端末
３１ ネットワークインタフェース
３２ ＣＰＵ
３３ デバイスコントローラ
３４ コントローラ
３５ 描画装置
３６ 記憶装置
４０ ディスプレイ
５１ 描画エンジン
５２ 映像符号化装置
６１ 映像復号化装置
６２ 画像合成装置

Claims (25)

1. 仮想現実空間を形成する３次元の画像をサーバにおいて用意し、
   ユーザ端末から前記仮想現実空間における所定の位置のデータを、ネットワークを介して前記サーバに供給し、
   前記サーバから、前記所定の位置に対応する前記仮想現実空間の画像を、前記ネットワークを介して前記ユーザ端末に提供する
   対話型画像提供方法において、
   前記仮想現実空間の所定の位置から見た画像のうちの一部を、前記サーバから前記ユーザ端末に提供し、
   前記仮想現実空間の所定の位置から見た画像のうちの他の部分を、前記ユーザ端末において生成し、
   前記ユーザ端末において生成した画像と、前記サーバより提供された画像とを前記ユーザ端末において合成し、表示する
   ことを特徴とする対話型画像提供方法。
2. 前記サーバより前記ユーザ端末に提供する画像は、前記仮想現実空間の所定の位置から見た画像の背景画像であり、前記ユーザ端末が生成する画像は、前記仮想現実空間の所定の位置から見た画像の近景画像である
   ことを特徴とする請求項１に記載の対話型画像提供方法。
3. 前記仮想現実空間を形成する３次元の画像は、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、複数の部分世界に分割され、
   前記サーバより前記ユーザ端末に提供する画像は、前記部分世界の外部の所定の視点から前記部分世界を見た画像である
   ことを特徴とする請求項１または２に記載の対話型画像提供方法。
4. 仮想現実空間を形成する３次元の画像をサーバにおいて用意し、
   ユーザ端末から前記仮想現実空間における所定の位置のデータを、ネットワークを介して前記サーバに供給し、
   前記サーバから、前記所定の位置に対応する前記仮想現実空間の画像を、前記ネットワークを介して前記ユーザ端末に提供する
   対話型画像提供方法において、
   前記仮想現実空間を形成する３次元の画像のうち、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、前記仮想現実空間を複数の部分世界に分割し、
   前記部分世界の外部の所定の視点から前記部分世界を見た画像を、前記サーバから前記ユーザ端末に提供し、
   前記ユーザ端末から供給した前記所定の位置に対応する画像を、前記所定の位置の前記所定の視点からのずれに基づいて前記ユーザ端末において生成する
   ことを特徴とする対話型画像提供方法。
5. ユーザ端末に対して仮想現実空間を提供するサーバ装置において、
   前記仮想現実空間を形成するためのデータを記憶した記憶手段と、
   前記ユーザ端末から前記仮想現実空間における所定の位置のデータを受信する受信手段と、
   前記仮想現実空間の所定の位置における画像を、前記記憶手段に記憶されたデータに基づいて生成する生成手段と、
   前記生成手段において生成された画像と、前記記憶手段に記憶された前記仮想現実空間を形成するためのデータとを前記ユーザ端末に送信する送信手段と
   を具備し、
   前記生成手段は、前記仮想現実空間の所定の位置における画像として、前記仮想現実空間の所定の位置から見た画像の背景画像を生成し、
   前記送信手段は、前記仮想現実空間を形成するためのデータとして、前記ユーザ端末に おいて、前記生成手段で生成された画像と合成して合成画像を生成するためのデータを前記ユーザ端末に送信する
   ことを特徴とするサーバ装置。
6. 前記送信手段は、前記仮想現実空間を形成するためのデータとして、前記仮想現実空間の所定の位置から見た画像の近景画像を生成するためのデータを前記ユーザ端末に送信する
   ことを特徴とする請求項５に記載のサーバ装置。
7. 前記記憶手段は、前記仮想現実空間を所定のグループに分割した複数の部分世界毎のデータを記憶している
   ことを特徴とする請求項５に記載のサーバ装置。
8. 前記記憶手段は、インタラクションの起きる蓋然性の高いオブジェクト同士が同一のグループになるように、前記仮想現実空間を複数のグループに分割した複数の部分世界毎のデータを記憶している
   ことを特徴とする請求項７に記載のサーバ装置。
9. 前記生成手段は、前記部分世界から一定の距離だけ離れた所定の位置から見た画像を生成する
   ことを特徴とする請求項７に記載のサーバ装置。
10. 前記生成手段は、前記部分世界の外部の所定の位置から前記部分世界を見た画像を生成する
    ことを特徴とする請求項７に記載のサーバ装置。
11. ユーザ端末に対して仮想現実空間を提供するサーバ装置の提供方法において、
    前記ユーザ端末から前記仮想現実空間における所定の位置のデータを受信するステップと、
    前記仮想現実空間の所定の位置における画像を、前記仮想現実空間を形成するためのデータに基づいて生成するステップと、
    前記生成ステップで生成された画像を前記ユーザ端末に送信するステップと、
    前記仮想現実空間を形成するためのデータを前記ユーザ端末に送信するステップと
    を含み、
    前記生成ステップでは、前記仮想現実空間の所定の位置における画像として、前記仮想現実空間の所定の位置から見た画像の背景画像を生成し、
    前記送信ステップでは、前記仮想現実空間を形成するためのデータとして、前記ユーザ端末において、前記生成された画像と合成して合成画像を生成するためのデータを前記ユーザ端末に送信する
    ことを特徴とする提供方法。
12. サーバ装置から仮想現実空間の提供を受けるユーザ端末において、
    前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信する送信手段と、
    前記サーバ装置で生成された前記仮想現実空間の所定の位置における画像と、前記仮想現実空間を形成するためのデータとをサーバ装置から受信する受信手段と、
    前記サーバ装置から受信した前記仮想現実空間を形成するためのデータに基づいて、前記仮想現実空間を所定の位置から見た画像を生成する生成手段と、
    前記サーバ装置で生成された前記仮想現実空間の所定の位置における画像と、前記生成手段で生成された画像とを合成して、前記仮想現実空間の所定の位置における合成画像を生成する合成手段と
    を具備することを特徴とするユーザ端末。
13. 前記サーバ装置から受信した前記仮想現実空間の所定の位置における画像の一部を復号する復号手段を更に具備する
    ことを特徴とする請求項１２に記載のユーザ端末。
14. 前記サーバ装置から受信した前記仮想現実空間の所定の位置における画像の一部を、幾何学的に変形する変形手段を更に具備する
    ことを特徴とする請求項１２に記載のユーザ端末。
15. 前記変形手段は、前記サーバ装置から受信した前記仮想現実空間の所定の位置における画像の一部を、前記サーバ装置が生成した画像の視点と前記ユーザ端末のコントローラから入力された視点とのずれに対応して、幾何学的に変形する
    ことを特徴とする請求項１４に記載のユーザ端末。
16. 前記受信手段は、前記サーバ装置から、前記仮想現実空間の所定の位置における画像の一部として、前記仮想現実空間の所定の位置から見た画像の背景画像を受信し、
    前記生成手段は、前記サーバ装置で生成された画像の一部以外の画像として、前記仮想現実空間の所定の位置から見た画像の近景画像を生成する
    ことを特徴とする請求項１２に記載のユーザ端末。
17. 前記受信手段は、前記サーバ装置から、前記仮想現実空間の所定の位置における画像の一部として、前記仮想現実空間の所定の位置から見た画像の近景画像を受信し、
    前記生成手段は、前記サーバ装置で生成された画像の一部以外の画像として、前記仮想現実空間の所定の位置から見た画像の背景画像を生成する
    ことを特徴とする請求項１２に記載のユーザ端末。
18. 前記サーバ装置に映像信号を送信する送信手段を更に具備する
    ことを特徴とする請求項１２に記載のユーザ端末。
19. サーバ装置から仮想現実空間の提供を受けるユーザ端末の受信方法において、
    前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信する送信ステップと、
    前記サーバ装置で生成された前記仮想現実空間の所定の位置における画像と、前記仮想現実空間を形成するためのデータとをサーバ装置から受信する受信ステップと、
    前記サーバ装置から受信した前記仮想現実空間を形成するためのデータに基づいて、前記仮想現実空間を所定の位置から見た画像を生成する生成ステップと、
    前記サーバ装置で生成された前記仮想現実空間の所定の位置における画像と、前記生成ステップの処理で生成された画像とを合成して、前記仮想現実空間の所定の位置における合成画像を生成する合成ステップと
    を具備することを特徴とする受信方法。
20. サーバ装置から仮想現実空間の提供を受けるユーザ端末において、
    前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信する送信手段と、
    前記サーバ装置から前記仮想現実空間の所定の位置から見える画像を受信する受信手段と、
    前記サーバ装置から受信した前記仮想現実空間の所定の位置から見える画像を、ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する変形手段と
    を具備することを特徴とするユーザ端末。
21. サーバ装置から仮想現実空間の提供を受けるユーザ端末の受信方法において、
    前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信するステップと、
    前記サーバ装置から前記仮想現実空間の所定の位置から見える画像を受信する受信ステップと、
    前記サーバ装置から受信した前記仮想現実空間の所定の位置における画像を、前記ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する生成ステップと
    を具備することを特徴とする受信方法。
22. 仮想現実空間を提供するサーバ装置と、前記サーバ装置から仮想現実空間の提供を受けるユーザ端末を有する画像提供システムにおいて、
    前記サーバ装置は、
    前記仮想現実空間を形成するためのデータを記憶する記憶手段と、
    前記ユーザ端末から前記仮想現実空間における所定の位置のデータを受信する第１の受信手段と、
    前記仮想現実空間の所定の位置における画像を、前記記憶手段に記憶されたデータに基づいて生成する第１の生成手段と、
    前記生成された画像と、前記記憶手段に記憶された前記仮想現実空間を形成するためのデータとを前記ユーザ端末に送信する第１の送信手段と
    を具備し、
    前記ユーザ装置は、
    前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信する第２の送信手段と、
    前記サーバ装置で生成された前記仮想現実空間の所定の位置における画像と、前記仮想現実空間を形成するためのデータとをサーバ装置から受信する第２の受信手段と、
    前記サーバ装置から受信した前記仮想現実空間を形成するためのデータに基づいて、前記仮想現実空間を所定の位置から見た画像を生成する第２の生成手段と、
    前記第２の受信手段で受信された前記仮想現実空間の所定の位置における画像と、前記第２の生成手段で生成された画像とを合成して、前記仮想現実空間の所定の位置における画像を合成する合成手段と
    を具備することを特徴とする画像提供システム。
23. サーバ装置からユーザ端末に仮想現実空間を提供する画像提供システムの画像提供方法において、
    前記ユーザ端末から前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信する第１の送信ステップと、
    前記サーバ装置において、前記仮想現実空間の所定の位置における画像を、前記仮想現実空間を形成するためのデータに基づいて生成する第１の生成ステップと、
    前記サーバ装置から前記ユーザ端末に前記生成された画像を送信する第２の送信ステップと、
    前記サーバ装置から前記ユーザ端末に前記仮想現実空間を形成するためのデータを送信する第３の送信ステップと、
    前記ユーザ端末において、前記サーバ装置から受信した前記仮想現実空間を形成するためのデータに基づいて、前記仮想現実空間を所定の位置から見た画像を生成する第２の生成ステップと、
    前記ユーザ端末において、前記サーバ装置で生成された前記仮想現実空間の所定の位置における画像と、前記前記ユーザ端末で生成された画像とを合成して、前記仮想現実空間の所定の位置における合成画像を生成する合成ステップと
    を具備することを特徴とする画像提供方法。
24. ユーザ端末に対して仮想現実空間を提供するサーバ装置と、前記サーバ装置から仮想現実空間の提供を受けるユーザ端末を有する画像提供システムにおいて、
    前記サーバ装置は、
    前記仮想現実空間を形成するためのデータを記憶する記憶手段と、
    前記ユーザ端末から前記仮想現実空間における所定の位置のデータを受信する第１の受信手段と、
    前記仮想現実空間の所定の位置から見える画像を前記ユーザ端末に送信する第１の送信手段と
    を具備し、
    前記ユーザ装置は、
    前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信する第２の送信手段と、
    前記サーバ装置から前記仮想現実空間の所定の位置から見える画像をサーバ装置から受信する第２の受信手段と、
    前記サーバ装置から受信した前記仮想現実空間の所定の位置における画像を、前記ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する生成手段と
    を具備することを特徴とする画像提供システム。
25. サーバ装置からユーザ端末に仮想現実空間を提供する画像提供システムの画像提供方法において、
    前記ユーザ端末から前記サーバ装置に前記仮想現実空間における所定の位置のデータを送信する第１の送信ステップと、
    前記サーバ装置から前記ユーザ端末に前記仮想現実空間の所定の位置から見える画像を送信する第２の送信ステップと、
    前記ユーザ端末において、前記サーバ装置から受信した前記仮想現実空間の所定の位置における画像を、前記ユーザ端末のコントローラによって指示された位置に基づいて変形した表示画像を生成する生成ステップと
    を具備することを特徴とする画像提供方法。

Images