JP2004199159A

JP2004199159A - Information processing method, information processing device, program, and recording medium

Info

Publication number: JP2004199159A
Application number: JP2002363914A
Authority: JP
Inventors: Masahiro Suzuki; 雅博鈴木; Akihiro Katayama; 昭宏片山; Daisuke Kotake; 大輔小竹; Takaaki Endo; 隆明遠藤; Yukio Sakakawa; 幸雄坂川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-12-16
Filing date: 2002-12-16
Publication date: 2004-07-15

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system which can be applied to a terminal connected to other terminal via a network, and which accurately expresses concealing relationship between a building (obstacle) and an avatar in a two-dimensional image without a three-dimensional model when composing the two-dimensional image with the avatar which indicates a position of a user's view point of the other terminal. <P>SOLUTION: The information processing method, which provides the two-dimensional image from an arbitrary position on a path managed by a plurality of segment information, obtains the position of the user's view point of the terminal, obtains the two-dimensional image corresponding to the position of the user's view point of the terminal, obtains the position of the user's view point of the other terminal, obtains the avatar image, and composes the avatar image, which indicates the position of the user's viewpoint of the other terminal, with the two-dimensional image. The composed avatar image is selected by positional relationship between a segment including the position of the user's view point of the terminal and a segment including the position of the user's view point of the other terminal. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成することを可能とする情報処理方法、装置、プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
従来、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、画面に表示して使用者が実世界を疑似体験するということが行なわれていた。ここでパノラマ実写画像とは、ある地点から全周方向にわたって実世界を撮影した画像のことであり、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影した歪んだ画像を幾何学的に変換して得ることができる。また、使用者が経路内で観察したい位置・方向のことを、それぞれ視点位置／視線方向と呼ぶことにする。ここで１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。画像表示の際には、使用者がたとえばジョイスティックなどのユーザインタフェースを用いて、視点位置や視線方向を指示する。ジョイスティックを用いる場合は、前後に倒すと前後方向移動、また左右にねじったり倒したりすると左右方向回転などの操作を行なうことができる。また、このような実世界を疑似体験するシステムでは、道路などの経路に沿ってパノラマ実写画像の撮影を行なうことで、コンピュータグラフィックス（ＣＧ）による３次元モデルをもとに画像を作成するよりも容易に、かつリアリティーに溢れた表現が可能なシステムを構築することができる。
【０００３】
一方、３次元仮想空間をウォークスルーできる３次元仮想空間表示端末を、ネットワークを介して複数台接続することで、複数の使用者が同一の３次元仮想空間を共有できるものがある。このような３次元仮想空間共有システムでは、自分以外の使用者が３次元仮想空間中のどの位置にいて、どの方向を見ているかということを示すために、３次元仮想空間中に使用者のアバタ（化身）を表示することがある。ある３次元仮想空間表示端末を利用している使用者Ａは、３次元仮想空間中をウォークスルーしているときに、目の前にいる他の３次元仮想空間表示端末を利用している使用者Ｂのアバタを３次元仮想空間中に観察することができる。このような３次元仮想空間共有システムでは、３次元仮想空間は例えばＶＲＭＬ（ＶｉｒｔｕａｌＲｅａｌｉｔｙＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）と呼ばれる３次元モデルを記述する言語などで構築されている。ここで３次元仮想空間は３次元モデルで構成されているため、ある３次元仮想空間表示端末の使用者Ａから見た他の３次元仮想空間表示端末の使用者Ｂのアバタが建物（障害物）の陰に隠れてしまうと、当然使用者Ｂのアバタは使用者Ａの視界から消える。
【０００４】
【発明が解決しようとする課題】
パノラマ実写画像を利用して実世界の疑似体験を実現する実世界疑似体験システムでは、カメラで撮影した１枚以上のパノラマ実写画像の中から１枚を選択、そして観察したい方向を切り出して表示するので、実世界の３次元モデルを持たない。実世界疑似体験を実現する画像表示端末をネットワークを介して複数台接続し、自分以外の画像表示端末使用者のアバタを画像中に表示する際、システムが実世界の３次元モデルを持っていないため、アバタと建物（障害物）の隠蔽関係の表現が難しくなる。例えば、ある画像表示端末使用者Ａから見たパノラマ実写画像中に、他の画像表示端末使用者Ｂのアバタが表示されている様子を図２（ａ）に示す。使用者Ａの位置と使用者Ｂのアバタの位置の間に何も存在しない場合はこのままでよい。しかし、図２（ｂ）に示すように使用者ＢのアバタがＴ字路の左向こう側の道、すなわち建物（障害物）の陰に移動すると、システムが３次元モデルを持つ場合と異なり、隠蔽関係が正しく表現されないまま使用者Ａの視界にそのまま表示されてしまう。
【０００５】
本発明は以上の事情を鑑みてなされたものであり、たとえばネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成する際、３次元モデルを持たなくても２次元画像中の建物（障害物）とアバタの隠蔽関係が正しく表現できることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の目的を達成するために、本発明の情報処理方法、装置、プログラムおよび記憶媒体は以下の構成を備える。
【０００７】
すなわち、ネットワークを介して他の端末と繋がっている端末に適用可能であり、複数のセグメント情報で管理されている経路上の任意の位置からの２次元画像を提供する情報処理方法であって、端末の使用者の視点位置を取得し、前記端末の使用者の視点位置に対応した２次元画像を取得し、前記他の端末の使用者の視点位置を取得し、アバタ画像を取得し、前記２次元画像に前記他の端末の使用者の視点位置を示すアバタ画像を合成する情報処理方法であり、前記合成されるアバタ画像は、前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントの位置関係によって選択されることを特徴とする情報処理方法。
【０００８】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【０００９】
本実施形態では、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、ネットワークを介して実世界疑似体験を共有する他の使用者の視点位置／視線方向を示すアバタをパノラマ実写画像と共に表示して実世界の疑似体験共有を行なう際に使用される。
【００１０】
図１は本発明の実施形態による情報処理装置の概略構成を示すブロック図である。本実施形態の情報処理装置は、ｎ台の画像表示端末１０−１〜１０〜ｎ、画像表示管理サーバ１１、これらを繋ぐネットワーク１２からなる。
【００１１】
まず、画像表示端末について説明する。画像表示端末は、ネットワーク１２にｎ台接続されており、各画像表示端末を別々の使用者が利用する。画像表示端末１０−１〜１０−ｎはいずれも同じ構成となっており、ここでは画像表示端末１０−１についてのみ詳しく説明する。画像表示端末１０−１は、操作部１００、視点位置／視線方向計算手段１０１、視点位置／視線方向管理手段１０２、通信部１０３、画像表示制御手段１０４、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アバタデータ記憶部１０７、画像表示部１０８からなる。
【００１２】
１００は、操作部であり、例えばジョイスティックやボタンなどから構成される。画像表示端末１０−１の使用者は、操作部１００のジョイスティックを操作して、視点位置／視線方向計算手段１０１に対して、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向（視点情報）を計算するためのジョイスティック操作情報を送る。また、使用者は操作部１００のボタンを操作して、画像表示制御手段１０４に対して、画像表示部１０８に表示する内容を決定する画像表示内容情報を送る。さらに、画像表示端末１０−１の使用者は、操作部１００のボタンを操作して、他の画像表示端末の使用者と実世界の疑似体験を共有したいかどうかの情報を、図示しない矢印により視点位置／視線方向管理手段１０２と、（通信部１０３、ネットワーク１２を介して）画像表示管理サーバ１１に送ることもできる。さらに、画像表示端末１０−１の使用者は操作部１００のボタンを操作して、他の画像表示端末に表示される自分のアバタの属性情報などを、図示しない矢印により視点位置／視線方向管理手段１０２に送ることもできる。
【００１３】
ここで、操作部１００に備えられるジョイスティックやボタンは、視点位置／視線方向の操作や画像表示内容の制御を行なうことができるものであれば何でもよく、トラックボールやマウスやキーボードなどによって構成されてもよいことは言うまでもない。
【００１４】
１０１は、視点位置／視線方向計算手段であり、操作部１００からジョイスティック操作情報を受け取り、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向情報を計算する。たとえば操作部１００からジョイスティックを前後に倒したというジョイスティック操作情報が送られてきた場合、視点位置をパノラマ実写画像の撮影を行なった経路に沿って切り替え、また操作部１００からジョイスティックを左右にねじったり倒したりしたというジョイスティック操作情報が送られてきた場合、パノラマ実写画像内で見回すように視線方向を変える。視点位置／視線方向計算手段１０１は、視点位置／視線方向管理手段１０２に対して視点位置／視線方向情報を送る。
【００１５】
１０２は、視点位置／視線方向管理手段であり、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報（あるいは操作部１００から図示しない線により指示されたアバタ属性情報）を受け取り管理する。また、視点位置／視線方向管理手段１０２は、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報（あるいは操作部１００から図示しない線により指示されたアバタ属性情報）を、（通信部１０３、ネットワーク１２を介して）他の画像表示端末に送ったり、他の画像表示端末の視点位置／視線方向情報（あるいは操作部により指示されたアバタ属性）を、（ネットワーク１２、通信部１０３を介して）受け取り管理する。これらの視点位置／視線方向情報は、図３に示すような管理テーブルで管理し、この管理テーブルは画像表示制御手段１０４に送られる。この管理テーブルでは、どの画像表示端末の使用者が疑似体験の共有を望むか望まないかを画像表示管理サーバ１１に尋ねて、使用者が共有を望む画像表示端末の視点位置／視線方向情報のみ管理するようにしてもよい。なお、図３の管理テーブルでは、画像表示端末１０−２の使用者が共有を望んでいないため、画像表示端末１０−２の視点位置／視線方向情報を管理していない様子がわかる。また、各画像表示端末のアバタの属性を受け取り管理するようにしてもよい。
【００１６】
なお、図３の管理テーブルでは、視点位置をあらかじめ定めた道路セグメントＩＤ（図４）と、道路セグメント内でのフレーム番号によってあらわし、視線方向をあらかじめ定めた基準方向（例えば撮影時の北方向を０°とする）に対する相対方向角度としている。しかし、もちろん視点位置／視線方向情報はこれらの記述に限ったものではなく、例えば視点位置を緯度経度や全てのパノラマ実写画像のフレーム番号を用いて表したり、視線方向を撮影時の前方向を基準方向にした相対方向角度としてあらわしてもよい。
【００１７】
１０３は、通信部であり、視点位置／視線方向管理手段１０２や操作部１００とネットワーク１２間のデータのやり取りを行なう。通信部１０３は、例えばネットワークインタフェースカードや、そのドライバなどから構成される。
【００１８】
１０４は、画像表示制御手段であり、視点位置／視線方向管理手段１０２から送られてくる管理テーブル（図３）の情報を受け取る。また画像表示制御手段１０４は、画像表示部１０８に表示する内容を示す画像表示内容情報を、操作部１００から受け取る。
【００１９】
さらに、画像表示制御手段１０４は、それらの管理テーブルの情報や画像表示内容情報をもとに、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アバタデータ記憶部１０７に対して、それぞれパノラマ実写画像、地図情報、アバタデータを要求して受け取る。そして画像表示制御手段１０４は、受け取った管理テーブルの情報、画像表示内容情報、パノラマ実写画像、地図情報、アバタデータをもとに画像表示部１０８に表示する画像を合成して作成し、画像表示部１０８に対して表示画像を送る。また、画像表示制御手段１０４は、操作部１００から送られてくる画像表示内容情報をもとに画像表示モードを管理もしくは変更する。画像表示モードには、例えば地図表示のＯＮ／ＯＦＦ、アバタ表示のＯＮ／ＯＦＦ、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦなどが含まれる。たとえば、図６（ａ）では、地図表示ＯＮ、アバタ表示ＯＮ、アバタ情報の表示ＯＮであるときの様子が示されている。
【００２０】
１０５は、パノラマ実写画像記憶部であり、ハードディスクなどから構成される。パノラマ実写画像記憶部１０５は、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像を記憶している。パノラマ実写画像は、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影した歪んだ画像を幾何的に変換して得ることができるが、これらの技術は公知であるためここでは詳しく述べない。また１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。パノラマ実写画像記憶部１０５は、画像表示制御手段１０４から要求されたパノラマ実写画像を画像表示制御手段１０４に送る。パノラマ実写画像記憶部１０５は、画像表示制御手段１０４から送られてくる視点位置／視線方向情報に対応したパノラマ実写画像を画像表示制御手段１０４に送る。ここで送るパノラマ実写画像は３６０°全方向のものでもよいが、あらかじめ決められた角度毎に分割しておいてもよい。この場合、視線方向情報に対応した部分のみを送るようにすることで送信するデータ量を削減することができ、送信時の負担を減らすことができる。
【００２１】
ここで、パノラマ実写画像記憶部１０５はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２２】
１０６は、地図情報記憶部であり、ハードディスクなどから構成される。地図情報記憶部１０６は、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像や、地図経路を構成する道路セグメント情報を記憶している。この地図画像にはあらかじめパノラマ実写画像を撮影した道路などの経路に色付けしておいてもよい。この場合、地図画像を表示する際に使用者が移動できる経路を見分け易くなる。ここで道路セグメントとは、図４（ａ）に示すような交差点で区切られた経路の一部で直線とみなせる部分のことを指す。道路セグメントは、図４（ａ）に示すようにそれぞれＩＤ（＃１〜＃８）がつけられており、各道路セグメントは撮影時の北方向を０°とした角度（０°以上１８０°未満）が対応付けられている（図４（ｂ））。なお、図４の地図では紙面に向かって上を撮影時の北方向とする。道路セグメントの分割、ＩＤの割り振り、角度の対応付けは本装置の利用に先立ちＧＵＩなどにより手動で行なっても、自動で行なっても、その組み合わせによって行なってもよい。地図情報記憶部１０６は、画像表示制御手段１０４から要求された地図画像や道路セグメント情報といった地図情報を画像表示制御手段１０４に送る。地図画像を送る際、記憶している地図画像全体を送ってもよいが、地図画像データが大きい場合には、画像表示制御手段１０４から視点位置／視線方向情報を送ってもらい、複数の区分に分割した地図画像から必要な部分のみを送るようにしてもよい。必要な部分のみを送るようにすることで、送信するデータ量を削減することができるため、送信時の負担を減らすことができる。また、視線方向が地図上で上方向になるように画像を回転してから送ってもよい。
【００２３】
ここで、地図情報記憶部１０６はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２４】
１０７は、アバタデータ記憶部であり、ハードディスクなどから構成される。
アバタデータ記憶部１０７は、画像表示部１０８にパノラマ実写画像と共に表示するアバタの画像を記憶している。アバタには、図３に示すように人間タイプ、モンスタータイプなどいくつかの種類の属性がある。アバタデータ記憶部１０７は、画像表示制御手段１０４から要求された属性のアバタ画像を画像表示制御手段１０４に送る。その際、アバタの画像として前後左右などを向いている複数の画像を用意しておき、画像表示端末１０−１の視点位置／視線方向情報と、他の画像表示端末の視点位置／視線方向情報の相互関係、すなわち位置関係／角度関係によって、アバタの向いている方向を決定し、画像を選択して送ってもよい。
また、経路を含む領域を上から見た２次元の地図画像上での画像表示端末１０−１の視点位置と他の画像表示端末の視点位置を求め、その視点位置間距離に応じて、アバタの表示サイズ（近い場合は大きいサイズ、遠い場合は小さいサイズ）を変更したり、アルファブレンディングの割合といった表示濃度（近い場合は濃く、遠い場合は薄く）を変更したり、表示色（近い場合は鮮やかに、遠い場合は地味に）を変更してもよい。
【００２５】
ここで、アバタデータ記憶部１０７はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２６】
１０８は、画像表示部であり、プロジェクタおよびスクリーンなどから構成される。画像表示部１０８は、画像表示制御手段１０４から送られた表示画像を表示する。画像表示部１０８は、画像を表示できればなんでもよく、パソコンのＣＲＴ、液晶ディスプレイやテレビモニタなどから構成されてもよいことはいうまでもない。
【００２７】
以上のような構成を備えた画像表示端末１０−１は、パソコンやディスプレイやジョイスティックやキーボードやマウスなどから構成される。画像表示端末１０−１と、画像表示端末１０−２〜１０−ｎはそれぞれ同じ構成となっているため、画像表示制御端末１０−２〜１０−ｎの説明は省く。また、各画像表示端末は別々の使用者が利用することとなっている。
【００２８】
１１は、画像表示管理サーバであり、パソコンやディスプレイやジョイスティックやキーボードやマウスなどから構成される。画像表示管理サーバ１１は、各画像表示端末１０−１〜１０−ｎから送られてくる現実世界の疑似体験を共有したいかどうかの情報を受け取り、テーブルで管理して、各画像表示端末にその情報を送る。
【００２９】
ネットワーク１２は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などから構成される。ネットワーク１２は、画像表示端末１０−１〜１０−ｎ、および画像表示管理サーバ１１を繋ぎ、各端末・サーバ間のデータ送受信の経路となる。ネットワーク１２は、各端末・サーバ間のデータ送受信の経路となれればなんでもよく、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）やインターネットの一部から構成されてもよいことはいうまでもない。
【００３０】
以上のような構成を備えた本実施形態の制御方法について、以下説明する。図５は本実施形態の情報処理装置における画像表示端末１０−１の処理手順を説明するフローチャートである。
【００３１】
本フローチャートに先立ち、パノラマ実写画像記憶部１０５に記憶するパノラマ実写画像を作成しなければならないが、そのステップは既知の技術を用いることとしてここでは説明を省く。
【００３２】
ステップＳ５０１では、システムの初期化を行なう。システムの初期化とはシステムを構成する各機器の電源を入れたり、プログラムを起動したりといった、本実施形態の制御方法を進めるにあたり最初に行なうステップである。システム初期化の時点では、あらかじめ視点位置／視線方向情報が設定されており、対応するパノラマ実写画像が画像表示部１０８に表示されているものとする。システムの初期化処理が終わり次第ステップＳ５０２へ進む。
【００３３】
ステップＳ５０２では、画像表示部１０８の画像表示モードを管理もしくは変更するような操作部１００へのボタン入力があったかどうかを判別する。ボタンの入力があった場合は、ステップＳ５０３へ進む。また、ボタンの入力がなかった場合は、ステップＳ５０４へ進む。
【００３４】
ステップＳ５０３では、操作部１００のボタンの入力と合わせて、操作部１００から画像表示制御手段１０４へ画像表示内容情報が送られる。ステップＳ５０３では、画像表示制御手段１０４に送られてきた画像表示内容情報に合わせて、画像表示部１０８に表示する画像表示モードを管理もしくは変更する。ここで、画像表示モードには、例えば地図表示のＯＮ／ＯＦＦ、アバタ表示のＯＮ／ＯＦＦ、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦなどが含まれる。画像表示モードを変更するとは、地図表示、アバタ表示、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦを切り替えることである。地図表示のＯＮ／ＯＦＦとは、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像を、パノラマ実写画像と合わせて表示するかどうかということである。（なお、図６（ａ）では地図表示がＯＮ状態である。）アバタ表示のＯＮ／ＯＦＦとは、パノラマ実写画像にアバタを合わせて表示するかどうかということである。（なお、図６（ａ）はアバタ表示がＯＮの状態である。）アバタ情報（アノテーション、ユーザ名、属性など）の表示のＯＮ／ＯＦＦとは、アバタ自体の表示とは関係なくアバタに関する情報を表示するかどうかということである。図６（ａ）に示すように、アバタ情報（アノテーション、ユーザ名、属性など）の表示がＯＮになっている場合は、アバタ表示がＯＮ／ＯＦＦいずれに関わらずアバタの場所を指示すようにアバタに関する情報をアノテーションなどで表示する。また、図６（ｂ）に示すように、常にアバタ情報（アノテーション、ユーザ名、属性など）を表示することで、ビルに隠れたアバタの位置をパノラマ実写画像上で把握することが可能となる。このアバタ情報（アノテーション、ユーザ名、属性など）の表示／非表示は、使用者が画像表示端末１０−１の操作部１００を操作することで決定することができる。なお、図６の地図画像では、画像表示端末１０−１の使用者の視点位置／視線方向を三角印であらわしており、他の画像表示端末の使用者の視点位置を丸印であらわしている。
【００３５】
また、（操作部１００に画像表示モード変更以外のボタンを用意しておき）ボタンが押されたと判断された場合、画像表示端末１０−１が画像表示管理サーバ１１や他の画像表示端末に対して、実世界疑似体験を共有するかどうかといったことや、アバタの属性情報などを変更して送ることもできる。ステップＳ５０３の処理が終了したらステップＳ５０２に戻る。
【００３６】
ステップＳ５０４では、操作部１００のジョイスティックの入力があったかどうかを判別する。ジョイスティックへの入力があった場合は、ステップＳ５０５へ進む。また、ジョイスティックの入力がなかった場合は、ステップＳ５０２へ戻る。
【００３７】
ステップＳ５０５では、ステップＳ５０４でジョイスティックの入力があったものとして、操作部１００から視点位置／視線方向計算手段１０１へとジョイスティック操作情報が送られる。そして、視点位置／視線方向計算手段１０１では、そのジョイスティック操作情報をもとに視点位置／視線方向の計算が行なわれ、視点位置／視線方向管理手段１０２に視点位置／視線方向情報が送られる。なお計算された視点位置／視線方向は、次に計算されるまではその値を保持されるものとする。視点位置の計算は、具体的にはジョイスティックを前後に倒す入力に従って図３に示す道路セグメントＩＤを切り替えたり、フレーム番号を順番に切り替えるといったことで行なわれる。また、視線方向の計算は、具体的にはジョイスティックを左右にねじったり倒す入力に従って図３に示す基準方向に対する相対方向角度を連続的に切り替えるといったことで行なわれる。ステップＳ５０５の処理が終了したらステップＳ５０６に進む。
【００３８】
ステップＳ５０６では、視点位置／視線方向管理手段１０２が、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報を、図３に示すような管理テーブルで管理する。同様に、視点位置／視線方向管理手段１０２は、他の画像表示端末と現実世界の疑似体験を共有するかどうか、あるいはアバタの属性情報を、操作部１００のボタン操作情報をもとに管理してもよい。これらの視点位置／視線方向情報、共有するかどうか、アバタの属性情報は、（通信部１０３、ネットワーク１２を介して）他の画像表示端末もしくは画像表示管理サーバ１１に送られる。また、視点位置／視線方向管理手段１０２は、他の画像表示端末から送られる視点位置／視線方向情報、アバタの属性情報を受け取り管理する。さらに、視点位置／視線方向管理手段１０２は、画像表示管理サーバ１１から、他の画像表示端末の共有、非共有状態（図３では○が共有、×が非共有をあらわす）を、（ネットワーク１２、通信部１３を介して）受け取り管理してもよい。ここで、ネットワーク１２経由での情報のやり取りは、各画像表示端末もしくは画像表示管理サーバ間で同期をとって行なっても、非同期のまま行なってもどちらでもよい。ステップＳ５０６の処理が終了したらステップＳ５０７に進む。
【００３９】
ステップＳ５０７では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。そして、画像表示制御手段１０４は、管理テーブルの（画像表示端末１０−１の）視点位置／視線方向情報をもとに、パノラマ実写画像記憶部１０５に対してパノラマ実写画像を要求する。パノラマ実写画像記憶部１０５は、対応したパノラマ実写画像を画像表示制御手段１０４に送る。ステップＳ５０７の処理が終了したらステップＳ５０８に進む。
【００４０】
ステップＳ５０８では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。次に、画像表示制御手段１０４が、地図情報記憶部１０６に対して地図画像および地図経路を構成する道路セグメント（交差点で区切られた経路で直線とみなせる部分）情報の要求を行なう。そして、地図情報記憶部１０６は、画像表示制御手段１０４に対して図４に示すような地図画像（図４（ａ））および地図経路を構成する道路セグメント情報（図４（ｂ））を送る。ここで、地図画像には視点位置／視線方向情報をもとに次の交差点先で曲がる道を色付けしておいてもよい。この場合、使用者が次の交差点先で曲がる道を把握し易くなる。
【００４１】
次に、画像表示制御手段１０４は、アバタを表示する道路セグメントを探索して求める。道路セグメントの探索とは、画像表示端末１０−１の使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していくことである。図４においては、画像表示端末１０−１の使用者が＃４の道路セグメントにいる場合、繋がっている道路セグメント＃３、＃５、＃６、＃７、＃８のうち、＃４となす角度が５°以内なのは＃３のみである。ここで、基点セグメント＃４と一度探索した道路セグメント＃３、＃５、＃６、＃７、＃８にはフラグを立てておき再度探索されないようにしておく。次に、＃３に繋がっている道路セグメントは＃２、＃４、＃５、＃６だが、フラグの立っていない＃２のみが探索の対象候補となる。しかし、道路セグメント＃２と＃４がなす角度は４５°であるため探索の対象とはならない。以上より、図４において、画像表示端末１０−１の使用者が＃４の道路セグメントにいる場合の道路セグメントを探索して求めた結果は、＃４および＃３となる。ステップＳ５０８の処理が終了したらステップＳ５０９に進む。
【００４２】
ステップＳ５０９では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。そして、画像表示制御手段１０４は、管理テーブルの各画像表示端末の視点位置／視線方向情報およびアバタ属性情報をもとに、アバタデータ記憶部１０７に対してアバタ画像を要求する。アバタデータ記憶部１０７は、対応したアバタ画像を画像表示制御手段１０４に送る。ステップＳ５０９の処理が終了したらステップＳ５１０に進む。
【００４３】
ステップＳ５１０では、画像表示制御手段１０４が、画像表示モード、および視点位置／視線方向管理手段１０２から送られてきた管理テーブル、およびパノラマ実写画像記憶部１０５から送られてきたパノラマ実写画像、および地図情報記憶部１０６から送られてきた地図画像と道路セグメントから求めた探索結果、およびアバタデータ記憶部１０７から送られてきたアバタ画像をもとに、画像表示部１０８に表示する画像を合成して作成して、画像表示部１０８に表示する。
アバタ表示の際は、ステップＳ５０８で求めた道路セグメント探索結果上に存在するアバタのみ選択して表示すればよい。ステップＳ５０８で求めた道路セグメント探索結果は、画像表示端末１０−１の使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していったものである。よって、画像表示端末１０−１の使用者は、ステップＳ５０８で求めた道路セグメント探索結果上、すなわち画像表示端末１０−１の使用者がいる道路セグメントから見て直線と見なせる道路セグメント上のアバタのみ観察することができる。
このように地図画像の道路形状（経路の形状）をもとに表示するアバタを選択することで、３次元モデルを持たなくても画像中の建物（障害物）とアバタの隠蔽関係が正しく表現できる。また、図６（ｂ）に示すように探索結果以外の道路セグメントに存在するアバタのユーザ名（使用者名）や属性などの情報をアノテーションとして常に表示しておいてもよい。このアバタ情報（アノテーション、ユーザ名、属性など）の表示／非表示は、使用者が画像表示端末１０−１の操作部１００を操作することで決定することができる。ステップＳ５１０の処理が終了したらステップＳ５１１に進む。
【００４４】
ステップＳ５１１では、使用者が終了処理を行なっていた場合、システムを終了させる。
【００４５】
システムを終了させるとは、プログラムを終了させたり、システムを構成する各機器の電源を切ったりといった本実施形態の制御方法を終わらせるために最後に行なうステップである。使用者が終了処理を行なっていない場合は、ステップＳ５０２に戻る。
【００４６】
以上、本実施形態の情報処理装置における画像表示端末１０−１の処理手順の説明を行なった。画像表示端末１０−２〜１０−ｎも同様の同様の処理手順であるため説明は省略する。
【００４７】
図７は本実施形態の情報処理装置における画像表示管理サーバ１１の処理手順を説明するフローチャートである。
【００４８】
ステップＳ７０１では、システムの初期化を行なう。システムの初期化とはシステムを構成する各機器の電源を入れたり、プログラムを起動したりといった、本実施形態の制御方法を進めるにあたり最初に行なうステップである。ステップＳ７０１のシステム初期化は、各画像表示端末のシステム初期化に先立ち行なわれることが好ましい。システムの初期化が終わったらステップＳ７０２へ進む。
【００４９】
ステップＳ７０２では、各画像表示端末から送られてくる共有状態の管理を行なう。共有状態は図８に示すようなテーブルで管理する。ステップＳ７０２の処理が終了したらステップＳ７０３へ進む。
【００５０】
ステップＳ７０３では、各画像表示端末に対して、図８に示す各画像表示端末の共有状態を送る。ステップＳ７０３の処理が終了したらステップＳ７０４へ進む。
【００５１】
ステップＳ７０４では、使用者が終了処理を行なっていた場合、システムを終了させる。
システムを終了させるとは、プログラムを終了させたり、システムを構成する各機器の電源を切ったりといった本実施形態の制御方法を終わらせるために最後に行なうステップである。ステップＳ７０４でシステム終了を行なう場合は、各画像表示端末のシステム終了後に行なうことが好ましい。使用者が終了処理を行なっていない場合は、ステップＳ７０２に戻る。
【００５２】
以上、本実施形態の情報処理装置における処理手順の説明を行なった。
【００５３】
以上説明したように、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、ネットワークを介して実世界疑似体験を共有する他の使用者の視点位置／視線方向を示すアバタをパノラマ実写画像と共に合成表示して実世界の疑似体験共有を行なう際、使用者が指定した経路上の位置から見て直線と見なせる道路上のアバタのみ選択表示することで、本実施形態の情報処理装置が３次元モデルを持たなくても画像中の建物（障害物）とアバタの隠蔽関係を正しく表現することができる。
【００５４】
（他の実施の形態）
また、視点情報として視点位置のみを用いるようにしてもよい。
【００５５】
また、地図画像の大きさ、解像度、さらには一つの画面内での地図画像の位置を使用者が操作部１００を操作して手動で変更するようにしてもよい。
【００５６】
また、図３に示すようなアバタ属性（人間タイプ、モンスタータイプ）によって画面内におけるアバタの表示する位置（高さ方向）を変えたり、パノラマ実写画像を撮影する際の条件（カメラの高さ、画角）によって画面内におけるアバタの表示する位置（高さ方向）を変えてもよい。アバタ属性によって表示する位置を変えるときには、例えば人間タイプなら道路に接する高さに表示し、モンスタータイプなら空中に浮遊するように表示すればよい。
【００５７】
また、ステップＳ５０８のように道路セグメントの探索を毎回行なわずに、あらかじめ探索結果を求めておき、テーブルなどに記憶したものを用いてもよい。
例えば図４（ａ）の経路においては、使用者が存在する道路セグメントＩＤと、アバタを表示する道路セグメントＩＤを対応付けた図９のようなテーブルをあらかじめ用意する。図９のテーブルは、表示するアバタを選択する際に、ステップＳ５０８で道路セグメントを探索する代わりに利用される。ここで、ある画像端末の使用者が道路セグメントＩＤ＃４に存在するときは、他の画像表示端末の使用者のアバタで道路セグメントＩＤが＃３および＃４に存在するものだけを表示すればよい。なお、図９のテーブルは地図情報記憶部１０６に記憶され、ステップＳ５０８において地図画像と同時に画像表示制御手段１０４に送られる。
【００５８】
また、パノラマ実写画像記憶部１０５あるいは地図情報記憶部１０６あるいはアバタデータ記憶部１０７に記憶するデータを、画像表示管理サーバ１１あるいは図示しないデータ記憶サーバに保存しておき、画像表示端末を使用する際にデータをサーバからダウンロードしてもよい。こうすることで新しいパノラマ実写画像や地図情報やアバタデータなどを効率的に各画像表示端末で追加・変更することができる。
【００５９】
また、視点位置／視線方向管理手段１０２で他の画像表示端末の視点位置／視線方向の情報などを管理しているので、それらの情報およびパノラマ実写画像記憶部１０５に記憶しているパノラマ実写画像を利用することで、他の画像表示端末の使用者が見ている画像を（画像表示端末間で画像データを送ることなく）作り出し、表示することができる。その際、他の画像表示端末の使用者が見ている画像は、自分の画像と切り替えても、自分の画像と別の画像として表示してもよい。
【００６０】
なお、本発明の実施形態は、複数の機器（たとえばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（たとえば、複写機、ファクシミリ装置など）に適用してもよい。
【００６１】
また、本発明の実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明の実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
本発明の実施形態を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャート（図５、図７）に対応するプログラムコードが格納されることになる。
【００６５】
【発明の効果】
ネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成する際、３次元モデルを持たなくても２次元画像中の建物（障害物）とアバタの隠蔽関係を正しく表現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態における情報処理装置の構成を示すブロック図である。
【図２】従来例を説明する図である。
【図３】視点位置／視線方向管理手段が管理する管理テーブルを示す図である。
【図４】地図画像と道路セグメント情報を示す図である。
【図５】本発明の実施形態における画像表示端末の動作を説明するフローチャートである。
【図６】アバタ情報（アノテーション、ユーザ名、属性など）の表示などを説明する図である。
【図７】本発明の実施形態における画像表示管理サーバの動作を説明するフローチャートである。
【図８】各画像表示端末の共有状態を管理するテーブルを示す図である。
【図９】道路セグメントの探索結果をあらかじめ求めた結果を示すテーブルである。[0001]
TECHNICAL FIELD OF THE INVENTION
INDUSTRIAL APPLICABILITY The present invention is applicable to a terminal connected to another terminal via a network, and an information processing method capable of combining an avatar image indicating a viewpoint position of a user of another terminal with a two-dimensional image. , Apparatus, program and storage medium.
[0002]
[Prior art]
Conventionally, a user selects one real panoramic image by specifying a position to be observed in the route from one or more real panoramic images taken along a route such as a road. When a user designates a direction to be observed, a part of the one panoramic photographed image is cut out and displayed on a screen so that the user can simulate the real world. Here, the panoramic real image is an image obtained by photographing the real world from a certain point in the entire circumferential direction, and a plurality of images photographed by arranging the plurality of cameras so that their optical axes are directed outward are combined. Or a distorted image taken using a hyperboloid mirror or a fisheye lens can be geometrically transformed and obtained. In addition, the positions and directions that the user wants to observe in the route are referred to as viewpoint positions / viewing line directions, respectively. Here, position / direction information measured by a GPS or a gyro sensor attached to the camera at the time of shooting is recorded in association with each real panoramic image. At the time of image display, the user uses a user interface such as a joystick to specify a viewpoint position and a line of sight. When a joystick is used, operations such as forward and backward movement can be performed when the joystick is tilted forward and backward, and operations such as left and right rotation can be performed when twisted and tilted left and right. Further, in such a system for simulating the real world, by photographing a panoramic real image along a route such as a road, an image is created based on a three-dimensional model based on computer graphics (CG). It is also possible to construct a system that can easily and realistically express expressions.
[0003]
On the other hand, by connecting a plurality of three-dimensional virtual space display terminals capable of walking through the three-dimensional virtual space via a network, a plurality of users can share the same three-dimensional virtual space. In such a three-dimensional virtual space sharing system, a user other than the user is placed in the three-dimensional virtual space in order to indicate which position in the three-dimensional virtual space the user is looking in. May display avatar (incarnation). A user A who uses a certain three-dimensional virtual space display terminal uses another three-dimensional virtual space display terminal in front of him while walking through the three-dimensional virtual space. The avatar of the person B can be observed in the three-dimensional virtual space. In such a three-dimensional virtual space sharing system, the three-dimensional virtual space is constructed by, for example, a language that describes a three-dimensional model called VRML (Virtual Reality Modeling Language). Here, since the three-dimensional virtual space is constituted by a three-dimensional model, the avatar of the user B of another three-dimensional virtual space display terminal viewed from the user A of a certain three-dimensional virtual space display terminal is a building (obstacle). ), The avatar of the user B naturally disappears from the view of the user A.
[0004]
[Problems to be solved by the invention]
In a real-world simulated experience system that realizes a simulated real-world experience using a panoramic real-world image, one of one or more panoramic real-world images captured by a camera is selected, and a direction to be observed is cut out and displayed. Therefore, it does not have a three-dimensional model of the real world. When connecting multiple image display terminals for real-world simulated experience via a network and displaying avatars of other image display terminal users in the image, the system does not have a 3D model of the real world Therefore, it is difficult to express the concealment relationship between the avatar and the building (obstacle). For example, FIG. 2A shows a state in which an avatar of another image display terminal user B is displayed in a panoramic real image viewed from a certain image display terminal user A. If there is nothing between the position of the user A and the position of the avatar of the user B, this may be left as it is. However, as shown in FIG. 2B, when the avatar of the user B moves to the left side of the T-junction, that is, behind the building (obstacle), unlike the case where the system has a three-dimensional model, The concealment relationship is displayed in the field of view of the user A without being correctly represented.
[0005]
The present invention has been made in view of the above circumstances, and is applicable to, for example, a terminal connected to another terminal via a network, and an avatar indicating a viewpoint position of a user of another terminal in a two-dimensional image. It is an object of the present invention to correctly represent the concealment relationship between a building (obstacle) and an avatar in a two-dimensional image without having a three-dimensional model when synthesizing images.
[0006]
[Means for Solving the Problems]
In order to achieve an object of the present invention, an information processing method, apparatus, program, and storage medium of the present invention have the following configurations.
[0007]
That is, an information processing method which is applicable to a terminal connected to another terminal via a network and provides a two-dimensional image from an arbitrary position on a route managed by a plurality of segment information, Obtain the viewpoint position of the user of the terminal, obtain a two-dimensional image corresponding to the viewpoint position of the user of the terminal, obtain the viewpoint position of the user of the other terminal, obtain an avatar image, An information processing method for combining an avatar image indicating a viewpoint position of a user of the another terminal with a two-dimensional image, wherein the combined avatar image includes a segment including a viewpoint position of a user of the terminal, The information processing method is selected based on a positional relationship between segments including a viewpoint position of a user of the terminal.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
[0009]
In the present embodiment, for example, a user specifies a position to be observed in a route from one or more real panoramic images taken along a route such as a road, so that one real panoramic image can be obtained. By selecting and specifying the direction in which the user wants to observe, a portion of the one panoramic photographed image is cut out, and the viewpoint position / line-of-sight direction of another user sharing the real world simulated experience via the network is indicated. It is used when the avatar is displayed together with the panoramic photographed image to share the simulated experience of the real world.
[0010]
FIG. 1 is a block diagram showing a schematic configuration of an information processing apparatus according to an embodiment of the present invention. The information processing apparatus according to the present embodiment includes n image display terminals 10-1 to 10-n, an image display management server 11, and a network 12 connecting these.
[0011]
First, the image display terminal will be described. The n image display terminals are connected to the network 12, and each image display terminal is used by a different user. The image display terminals 10-1 to 10-n all have the same configuration, and only the image display terminal 10-1 will be described in detail here. The image display terminal 10-1 includes an operation unit 100, a viewpoint position / line-of-sight direction calculation unit 101, a viewpoint position / line-of-sight direction management unit 102, a communication unit 103, an image display control unit 104, a panoramic photographed image storage unit 105, and map information storage. It comprises a unit 106, an avatar data storage unit 107, and an image display unit 108.
[0012]
An operation unit 100 includes, for example, a joystick and buttons. The user of the image display terminal 10-1 operates the joystick of the operation unit 100 to instruct the viewpoint position / gaze direction calculating unit 101 to photograph one or more panoramic images taken along a route such as a road. From the image, joystick operation information for calculating a viewpoint position / viewing direction (viewpoint information) that the user wants to observe in the route is transmitted. The user operates a button on the operation unit 100 to send image display content information for determining the content to be displayed on the image display unit 108 to the image display control unit 104. Further, the user of the image display terminal 10-1 operates a button of the operation unit 100 to indicate, by an arrow (not shown), information on whether or not the user wants to share the real world simulated experience with the user of another image display terminal. It can also be sent to the viewpoint position / viewing direction management unit 102 and the image display management server 11 (via the communication unit 103 and the network 12). Further, the user of the image display terminal 10-1 operates a button of the operation unit 100 to manage attribute information of his / her avatar displayed on another image display terminal by using an arrow (not shown). It can also be sent to the means 102.
[0013]
Here, the joystick or button provided on the operation unit 100 may be anything as long as it can control the viewpoint position / viewing direction and control the image display content, and is configured by a trackball, a mouse, a keyboard, or the like. Needless to say, it is good.
[0014]
Reference numeral 101 denotes a viewpoint position / line-of-sight direction calculation unit that receives joystick operation information from the operation unit 100, and allows the user to select one or more panoramic real-world images taken along a path such as a road. Calculates the viewpoint position / gaze direction information desired to be observed. For example, when joystick operation information indicating that the joystick has been tilted back and forth is sent from the operation unit 100, the viewpoint position is switched along the path where the panorama real image was captured, and the joystick is twisted left and right from the operation unit 100. When joystick operation information indicating that the player has been defeated is sent, the gaze direction is changed so as to look around in the panoramic photographed image. The viewpoint position / viewing direction calculation unit 101 sends viewpoint position / viewing direction information to the viewpoint position / viewing direction management unit 102.
[0015]
Reference numeral 102 denotes a viewpoint position / line-of-sight direction management unit which stores the viewpoint position / line-of-sight direction information sent from the viewpoint position / line-of-sight direction calculation unit 101 (or avatar attribute information specified by a line (not shown) from the operation unit 100). Receive and manage. Further, the viewpoint position / viewing direction management unit 102 stores the viewpoint position / viewing direction information (or the avatar attribute information specified by a line (not shown) from the operation unit 100) sent from the viewpoint position / viewing direction calculation unit 101. (Via the communication unit 103 and the network 12), and sends the viewpoint / gaze direction information of the other image display terminal (or the avatar attribute specified by the operation unit) to the other image display terminal (via the network 12, communication (Via the unit 103). The viewpoint position / viewing direction information is managed by a management table as shown in FIG. 3, and this management table is sent to the image display control means 104. In this management table, the image display terminal asks the image display management server 11 which user of the image display terminal wants or does not want to share the simulated experience, and only the viewpoint position / line-of-sight direction information of the image display terminal that the user wants to share is provided. It may be managed. In the management table of FIG. 3, since the user of the image display terminal 10-2 does not want to share, it can be seen that the viewpoint position / gaze direction information of the image display terminal 10-2 is not managed. Further, the avatar attribute of each image display terminal may be received and managed.
[0016]
In the management table of FIG. 3, the viewpoint position is represented by a predetermined road segment ID (FIG. 4) and a frame number in the road segment, and the line of sight direction is determined by a predetermined reference direction (for example, the north direction at the time of shooting is indicated by the north direction). 0 °). However, of course, the viewpoint position / viewing direction information is not limited to these descriptions. For example, the viewpoint position is represented by using the latitude and longitude or the frame numbers of all the panoramic images, and the viewing direction is defined by the forward direction at the time of shooting. It may be expressed as a relative direction angle with respect to the reference direction.
[0017]
A communication unit 103 exchanges data between the viewpoint position / viewing direction management unit 102 and the operation unit 100 and the network 12. The communication unit 103 includes, for example, a network interface card and its driver.
[0018]
Reference numeral 104 denotes an image display control unit which receives information of the management table (FIG. 3) sent from the viewpoint position / viewing direction management unit 102. Further, the image display control unit 104 receives image display content information indicating the content to be displayed on the image display unit 108 from the operation unit 100.
[0019]
Further, the image display control unit 104 sends the panoramic real image data to the panoramic real image storage unit 105, the map information storage unit 106, and the avatar data storage unit 107 based on the information in the management table and the image display content information. Request and receive images, map information, and avatar data. Then, the image display control means 104 synthesizes and creates an image to be displayed on the image display unit 108 based on the received information of the management table, image display content information, panoramic photographed image, map information, and avatar data, and displays the image. The display image is sent to the unit 108. The image display control unit 104 manages or changes the image display mode based on the image display content information sent from the operation unit 100. The image display mode includes, for example, ON / OFF of map display, ON / OFF of avatar display, ON / OFF of display of avatar information (annotation, user name, attribute, and the like). For example, FIG. 6A shows a state where the map display is ON, the avatar display is ON, and the display of avatar information is ON.
[0020]
Reference numeral 105 denotes a panoramic photographed image storage unit, which includes a hard disk or the like. The panoramic real image storage unit 105 stores one or more panoramic real images captured along a route such as a road. A panoramic live-action image is composed by combining multiple images taken with the optical axes of multiple cameras facing outward and combining distorted images taken using a hyperboloid mirror or fisheye lens. Although they can be obtained by conversion, these techniques are well known and will not be described in detail here. In addition, position / direction information measured by a GPS or a gyro sensor attached to the camera at the time of shooting is recorded in association with each real panoramic image. The panoramic real image storage unit 105 sends the panoramic real image requested by the image display control unit 104 to the image display control unit 104. The panoramic real image storage unit 105 sends the panoramic real image corresponding to the viewpoint position / viewing direction information sent from the image display control unit 104 to the image display control unit 104. The panoramic real image to be sent here may be 360 ° in all directions, or may be divided for each predetermined angle. In this case, by transmitting only the portion corresponding to the line-of-sight direction information, the amount of data to be transmitted can be reduced, and the load at the time of transmission can be reduced.
[0021]
Here, it is needless to say that the panorama actual photographed image storage unit 105 may be anything as long as it can store data, and may be constituted by an optical disk, a tape, a memory, or the like.
[0022]
Reference numeral 106 denotes a map information storage unit, which includes a hard disk or the like. The map information storage unit 106 stores a two-dimensional map image in which an area including a route that simulates the real world is viewed from above, and road segment information that forms a map route. The map image may be colored in advance on a route such as a road on which the panorama actual photographed image is captured. In this case, when displaying the map image, it is easy to identify the route that the user can move. Here, a road segment refers to a part of a route divided by an intersection as shown in FIG. The road segments are given IDs (# 1 to # 8) as shown in FIG. 4A, and each road segment has an angle (0 ° or more and less than 180 °) with the north direction at the time of photographing being 0 °. ) (FIG. 4B). In the map of FIG. 4, the upper side toward the paper is the north direction at the time of shooting. Prior to using the present apparatus, the division of the road segment, the assignment of the IDs, and the association of the angles may be performed manually using a GUI or the like, automatically, or a combination thereof. The map information storage unit 106 sends map information such as a map image and road segment information requested by the image display control unit 104 to the image display control unit 104. When sending the map image, the entire stored map image may be sent. However, if the map image data is large, the image display control unit 104 sends the viewpoint position / viewing direction information to the plurality of sections. Only necessary parts may be sent from the divided map images. By transmitting only a necessary part, the amount of data to be transmitted can be reduced, so that the load at the time of transmission can be reduced. Alternatively, the image may be sent after rotating the image so that the line of sight is directed upward on the map.
[0023]
Here, the map information storage unit 106 may be anything as long as it can store data, and needless to say, may be constituted by an optical disk, a tape, a memory, or the like.
[0024]
Reference numeral 107 denotes an avatar data storage unit, which includes a hard disk and the like.
The avatar data storage unit 107 stores an avatar image to be displayed on the image display unit 108 together with the panorama real image. As shown in FIG. 3, the avatar has several types of attributes such as a human type and a monster type. The avatar data storage unit 107 sends an avatar image having the attribute requested by the image display control unit 104 to the image display control unit 104. At this time, a plurality of images facing the front, rear, left and right are prepared as avatar images, and viewpoint position / viewing direction information of the image display terminal 10-1 and viewpoint position / viewing direction information of another image display terminal are prepared. The direction in which the avatar is facing may be determined based on the mutual relationship, that is, the positional relationship / angle relationship, and an image may be selected and sent.
Further, a viewpoint position of the image display terminal 10-1 and a viewpoint position of another image display terminal on a two-dimensional map image when the area including the route is viewed from above are obtained, and an avatar is determined according to the distance between the viewpoint positions. You can change the display size (larger if closer, smaller if farther), change the display density (darker nearer, lighter if farther) such as the alpha blending ratio, or change the display color (closer if closer) Vividly, if it is far away sober) may be changed.
[0025]
Here, it is needless to say that the avatar data storage unit 107 may be anything as long as it can store data, and may be constituted by an optical disk, a tape, a memory, or the like.
[0026]
Reference numeral 108 denotes an image display unit, which includes a projector, a screen, and the like. The image display unit 108 displays the display image sent from the image display control unit 104. The image display unit 108 may be anything as long as it can display an image, and may be composed of a CRT of a personal computer, a liquid crystal display, a television monitor, or the like.
[0027]
The image display terminal 10-1 having the above configuration includes a personal computer, a display, a joystick, a keyboard, a mouse, and the like. Since the image display terminal 10-1 and the image display terminals 10-2 to 10-n have the same configuration, description of the image display control terminals 10-2 to 10-n will be omitted. Further, each image display terminal is to be used by a different user.
[0028]
Reference numeral 11 denotes an image display management server, which includes a personal computer, a display, a joystick, a keyboard, a mouse, and the like. The image display management server 11 receives information from the image display terminals 10-1 to 10-n as to whether the user wants to share the real world simulated experience, manages the information in a table, and sends the information to each image display terminal. Send information.
[0029]
The network 12 includes a LAN (Local Area Network) and the like. The network 12 connects the image display terminals 10-1 to 10-n and the image display management server 11, and serves as a data transmission / reception path between each terminal / server. The network 12 may be anything as long as it can be a data transmission / reception path between each terminal and server, and may be composed of a WAN (Wide Area Network) or a part of the Internet.
[0030]
The control method of the present embodiment having the above configuration will be described below. FIG. 5 is a flowchart illustrating a processing procedure of the image display terminal 10-1 in the information processing apparatus according to the present embodiment.
[0031]
Prior to this flowchart, a panoramic real image to be stored in the panoramic real image storage unit 105 must be created. However, the steps are performed using a known technique, and a description thereof is omitted here.
[0032]
In step S501, the system is initialized. The initialization of the system is a first step performed when the control method of the present embodiment is advanced, such as turning on the power of each device constituting the system or starting a program. At the time of system initialization, it is assumed that viewpoint position / viewing direction information has been set in advance, and the corresponding panoramic real image is displayed on the image display unit 108. The process proceeds to step S502 as soon as the system initialization process is completed.
[0033]
In step S502, it is determined whether a button input to the operation unit 100 for managing or changing the image display mode of the image display unit 108 has been made. If a button input has been made, the process proceeds to step S503. If there is no button input, the process proceeds to step S504.
[0034]
In step S503, the image display content information is transmitted from the operation unit 100 to the image display control unit 104 in accordance with the input of the button of the operation unit 100. In step S503, the image display mode displayed on the image display unit 108 is managed or changed in accordance with the image display content information sent to the image display control unit 104. Here, the image display mode includes, for example, ON / OFF of map display, ON / OFF of avatar display, ON / OFF of display of avatar information (annotation, user name, attribute, and the like). To change the image display mode means to switch on / off display of map display, avatar display, and avatar information (annotation, user name, attribute, etc.). ON / OFF of the map display means whether or not to display a two-dimensional map image in which an area including a path for simulating the real world is viewed from above, together with a panoramic photographed image. (Note that the map display is in the ON state in FIG. 6A.) ON / OFF of the avatar display means whether or not the avatar is displayed together with the panorama photographed image. (Note that FIG. 6A shows a state in which the avatar display is ON.) ON / OFF of the display of the avatar information (annotation, user name, attribute, and the like) refers to information about the avatar regardless of the display of the avatar itself. Is displayed. As shown in FIG. 6A, when the display of avatar information (annotation, user name, attribute, etc.) is ON, the avatar display indicates the location of the avatar regardless of ON / OFF. Display information about avatars with annotations. Also, as shown in FIG. 6B, by constantly displaying avatar information (annotation, user name, attribute, etc.), the position of the avatar hidden in the building can be grasped on the panoramic photographed image. . Display / non-display of the avatar information (annotation, user name, attribute, and the like) can be determined by the user operating the operation unit 100 of the image display terminal 10-1. In the map image of FIG. 6, the triangular mark indicates the viewpoint position / sight line direction of the user of the image display terminal 10-1, and the circle mark indicates the viewpoint position of the user of another image display terminal. .
[0035]
When it is determined that the button has been pressed (preparing a button other than the image display mode change in the operation unit 100), the image display terminal 10-1 sends the image display management server 11 and the other image display terminals. It is also possible to change whether or not to share a real-world simulated experience, or to change and send avatar attribute information. Upon completion of the process in the step S503, the process returns to the step S502.
[0036]
In step S504, it is determined whether or not the joystick of the operation unit 100 has been input. If there is an input to the joystick, the process proceeds to step S505. If no joystick is input, the process returns to step S502.
[0037]
In step S505, joystick operation information is sent from the operation unit 100 to the viewpoint position / viewing direction calculation unit 101, assuming that the joystick has been input in step S504. Then, the viewpoint position / viewing direction calculating unit 101 calculates the viewpoint position / viewing direction based on the joystick operation information, and sends the viewpoint position / viewing direction information to the viewpoint position / viewing direction management unit 102. It should be noted that the calculated viewpoint position / viewing direction is held at its value until the next calculation. Specifically, the calculation of the viewpoint position is performed by switching the road segment ID shown in FIG. 3 or sequentially switching the frame numbers according to the input of tilting the joystick back and forth. Further, the gaze direction is calculated by, for example, continuously changing the relative direction angle with respect to the reference direction shown in FIG. 3 according to the input of twisting or tilting the joystick left and right. When the processing in step S505 ends, the process proceeds to step S506.
[0038]
In step S506, the viewpoint position / line-of-sight direction management unit 102 manages the viewpoint position / line-of-sight direction information sent from the viewpoint position / line-of-sight direction calculation unit 101 using a management table as shown in FIG. Similarly, the viewpoint position / line-of-sight direction management unit 102 manages whether to share a real-world simulated experience with another image display terminal or attribute information of an avatar based on button operation information of the operation unit 100. You may. The viewpoint position / line-of-sight information, whether to share, and the avatar attribute information are transmitted to another image display terminal or the image display management server 11 (via the communication unit 103 and the network 12). The viewpoint position / viewing direction management unit 102 receives and manages viewpoint position / viewing direction information and avatar attribute information sent from other image display terminals. Further, the viewpoint position / line-of-sight direction management unit 102 transmits, from the image display management server 11, a shared / non-shared state of other image display terminals (in FIG. , Via the communication unit 13). Here, the exchange of information via the network 12 may be performed either synchronously or asynchronously between the image display terminals or the image display management servers. Upon completion of the process in the step S506, the process proceeds to a step S507.
[0039]
In step S507, the information of the management table managed by the viewpoint position / viewing direction management unit 102 is first sent to the image display control unit 104. Then, the image display control unit 104 requests the panoramic real image storage unit 105 for the real panoramic image based on the viewpoint position / line-of-sight direction information (of the image display terminal 10-1) in the management table. The panoramic real image storage unit 105 sends the corresponding panoramic real image to the image display control unit 104. Upon completion of the process in the step S507, the process proceeds to a step S508.
[0040]
In step S508, first, information on the management table managed by the viewpoint position / viewing direction management unit 102 is sent to the image display control unit 104. Next, the image display control unit 104 requests the map information storage unit 106 for the map image and the information of the road segment (the part that can be regarded as a straight line on the route divided by the intersection) constituting the map route. Then, the map information storage unit 106 sends the map image (FIG. 4A) and the road segment information (FIG. 4B) forming the map route to the image display control unit 104 as shown in FIG. . Here, the map image may be colored with a road that turns at the next intersection based on the viewpoint position / viewing direction information. In this case, it becomes easier for the user to grasp the way to turn at the next intersection.
[0041]
Next, the image display control means 104 searches and finds a road segment for displaying an avatar. The search for a road segment refers to a road segment in which the user of the image display terminal 10-1 is used as a base segment, and an angle between the base segment and a connected road segment is within a certain angle (for example, within 5 °). It is to search in order. In FIG. 4, when the user of the image display terminal 10-1 is on the road segment # 4, the road segment is # 4 among the connected road segments # 3, # 5, # 6, # 7, and # 8. Only # 3 has an angle within 5 °. Here, flags are set for the base segment # 4 and the road segments # 3, # 5, # 6, # 7, and # 8 that have been searched once, so that they are not searched again. Next, although road segments connected to # 3 are # 2, # 4, # 5, and # 6, only # 2 with no flag set is a search target candidate. However, since the angle between the road segments # 2 and # 4 is 45 °, the road segments # 2 and # 4 are not searched. As described above, in FIG. 4, the results obtained by searching for the road segment when the user of the image display terminal 10-1 is on the road segment # 4 are # 4 and # 3. Upon completion of the process in the step S508, the process proceeds to a step S509.
[0042]
In step S509, information of the management table managed by the viewpoint position / viewing direction management unit 102 is first sent to the image display control unit 104. Then, the image display control unit 104 requests an avatar image from the avatar data storage unit 107 based on the viewpoint position / line-of-sight direction information and the avatar attribute information of each image display terminal in the management table. The avatar data storage unit 107 sends the corresponding avatar image to the image display control unit 104. When the process in step S509 ends, the process proceeds to step S510.
[0043]
In step S510, the image display control unit 104 controls the image display mode and the management table sent from the viewpoint position / viewing direction management unit 102, the panorama real image sent from the panorama real image storage unit 105, and the map. Based on the search result obtained from the map image and the road segment sent from the information storage unit 106 and the avatar image sent from the avatar data storage unit 107, an image to be displayed on the image display unit 108 is synthesized. It is created and displayed on the image display unit 108.
At the time of avatar display, only avatars existing on the road segment search result obtained in step S508 may be selected and displayed. The road segment search result obtained in step S508 indicates that the angle between the base segment and the connected road segment is within a certain angle (for example, within 5 °), using the road segment where the user of the image display terminal 10-1 is the base segment. ) Were searched in order. Therefore, the user of the image display terminal 10-1 determines only the avatar on the road segment search result obtained in step S508, that is, on the road segment that can be regarded as a straight line when viewed from the road segment where the user of the image display terminal 10-1 is located. Can be observed.
By selecting the avatar to be displayed based on the road shape (route shape) of the map image in this way, the concealment relationship between the building (obstacle) and the avatar in the image can be correctly expressed without having a three-dimensional model. it can. Further, as shown in FIG. 6B, information such as a user name (user name) and an attribute of an avatar existing in a road segment other than the search result may be always displayed as an annotation. Display / non-display of the avatar information (annotation, user name, attribute, and the like) can be determined by the user operating the operation unit 100 of the image display terminal 10-1. When the process in step S510 ends, the process advances to step S511.
[0044]
In step S511, if the user has performed termination processing, the system is terminated.
[0045]
Terminating the system is the last step performed to terminate the control method of the present embodiment, such as terminating the program or turning off the power of each device constituting the system. If the user has not performed the termination processing, the process returns to step S502.
[0046]
The processing procedure of the image display terminal 10-1 in the information processing apparatus according to the present embodiment has been described above. Since the image display terminals 10-2 to 10-n have the same processing procedure, the description is omitted.
[0047]
FIG. 7 is a flowchart illustrating a processing procedure of the image display management server 11 in the information processing apparatus according to the present embodiment.
[0048]
In step S701, the system is initialized. The initialization of the system is a first step performed when the control method of the present embodiment is advanced, such as turning on the power of each device constituting the system or starting a program. It is preferable that the system initialization in step S701 be performed before the system initialization of each image display terminal. When the initialization of the system is completed, the process proceeds to step S702.
[0049]
In step S702, the sharing state sent from each image display terminal is managed. The sharing state is managed by a table as shown in FIG. When the process in step S702 ends, the process proceeds to step S703.
[0050]
In step S703, the sharing state of each image display terminal shown in FIG. 8 is sent to each image display terminal. Upon completion of the process in the step S703, the process proceeds to a step S704.
[0051]
In step S704, if the user has performed termination processing, the system is terminated.
Terminating the system is the last step performed to terminate the control method of the present embodiment, such as terminating the program or turning off the power of each device constituting the system. When the system is terminated in step S704, it is preferable to perform the termination after the system termination of each image display terminal. If the user has not performed the termination processing, the process returns to step S702.
[0052]
The processing procedure in the information processing apparatus according to the present embodiment has been described above.
[0053]
As described above, one actual panoramic image can be obtained by specifying a position to be observed in the route from one or more actual panoramic images taken along a route such as a road. Is selected, and the user designates the direction to be observed to cut out a part of the one panoramic photographed image, and the viewpoint position / line-of-sight direction of another user sharing the real world simulated experience via a network is selected. When performing the simulated experience sharing of the real world by combining and displaying the avatar shown together with the panoramic real image, only the avatar on the road that can be regarded as a straight line when viewed from the position on the route specified by the user is selected and displayed according to the present embodiment. Even if the information processing device does not have a three-dimensional model, the concealing relationship between the building (obstacle) and the avatar in the image can be correctly expressed.
[0054]
(Other embodiments)
Alternatively, only the viewpoint position may be used as the viewpoint information.
[0055]
The user may manually change the size and resolution of the map image and the position of the map image in one screen by operating the operation unit 100.
[0056]
In addition, the position (height direction) where the avatar is displayed on the screen is changed according to the avatar attributes (human type and monster type) as shown in FIG. 3, and the conditions (camera height, The position (height direction) where the avatar is displayed on the screen may be changed depending on the (angle of view). When the display position is changed according to the avatar attribute, for example, a human type may be displayed at a height in contact with a road, and a monster type may be displayed so as to float in the air.
[0057]
Instead of searching for a road segment every time as in step S508, a search result may be obtained in advance and a search result stored in a table or the like may be used.
For example, in the route shown in FIG. 4A, a table as shown in FIG. 9 in which the road segment ID where the user exists and the road segment ID for displaying the avatar are associated is prepared in advance. The table of FIG. 9 is used instead of searching for a road segment in step S508 when selecting an avatar to be displayed. Here, when the user of a certain image terminal exists in the road segment ID # 4, if only the avatars of the users of the other image display terminals whose road segment IDs exist in # 3 and # 4 are displayed. Good. The table in FIG. 9 is stored in the map information storage unit 106, and is sent to the image display control unit 104 at the same time as the map image in step S508.
[0058]
In addition, the data stored in the panoramic photographed image storage unit 105, the map information storage unit 106, or the avatar data storage unit 107 is stored in the image display management server 11 or a data storage server (not shown), and when the image display terminal is used. May be downloaded from the server. By doing so, a new panoramic photographed image, map information, avatar data, and the like can be efficiently added and changed at each image display terminal.
[0059]
Further, since the viewpoint position / viewing direction management unit 102 manages information such as the viewpoint position / viewing direction of another image display terminal, the information and the panorama actual image stored in the panorama actual image storage unit 105 are stored. By using, an image viewed by a user of another image display terminal can be created and displayed (without sending image data between the image display terminals). At this time, the image viewed by the user of the other image display terminal may be switched to the user's own image or displayed as a different image from the user's own image.
[0060]
Note that the embodiment of the present invention is applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but is not limited to a single device (for example, a copier, a facsimile). Device).
[0061]
Further, an object of an embodiment of the present invention is to supply a storage medium (or a recording medium) in which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or an apparatus, and a computer (a computer) of the system or the apparatus. It is needless to say that the present invention can also be achieved by a CPU or an MPU) reading and executing the program code stored in the storage medium.
[0062]
In this case, the program code itself read from the storage medium implements the functions of the above-described embodiment, and the storage medium storing the program code constitutes an embodiment of the present invention. When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing.
[0063]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function of the program is performed based on the instruction of the program code. It goes without saying that the CPU included in the expansion card or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0064]
When the embodiment of the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the above-described flowcharts (FIGS. 5 and 7).
[0065]
【The invention's effect】
Applicable to a terminal connected to another terminal via a network. When combining an avatar image indicating a viewpoint position of a user of another terminal with a two-dimensional image, two-dimensional images can be obtained without having a three-dimensional model. The concealment relationship between the avatar and the building (obstacle) in the image can be correctly expressed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an information processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a conventional example.
FIG. 3 is a diagram showing a management table managed by a viewpoint position / viewing direction management unit.
FIG. 4 is a diagram showing a map image and road segment information.
FIG. 5 is a flowchart illustrating an operation of the image display terminal according to the embodiment of the present invention.
FIG. 6 is a diagram for explaining display of avatar information (annotation, user name, attribute, and the like);
FIG. 7 is a flowchart illustrating an operation of the image display management server according to the embodiment of the present invention.
FIG. 8 is a diagram showing a table for managing a sharing state of each image display terminal.
FIG. 9 is a table showing a result obtained in advance of a search result of a road segment;

Claims

An information processing method which is applicable to a terminal connected to another terminal via a network and provides a two-dimensional image from an arbitrary position on a route managed by a plurality of segment information,
Obtain the viewpoint position of the user of the terminal,
Acquiring a two-dimensional image corresponding to the viewpoint position of the user of the terminal,
Obtaining the viewpoint position of the user of the other terminal,
Get the avatar image,
An information processing method of combining an avatar image indicating a viewpoint position of a user of the other terminal with the two-dimensional image,
The information processing method according to claim 1, wherein the synthesized avatar image is selected based on a positional relationship between a segment including a viewpoint position of a user of the terminal and a segment including a viewpoint position of a user of the other terminal.

The segment including the viewpoint position of the user of the terminal and the segment including the viewpoint position of the user of the other terminal are connected via the route, and the positional relationship is based on the viewpoint of the user of the terminal. 2. The information processing method according to claim 1, wherein the information is obtained based on an angle between a segment including a position and a segment including a viewpoint position of a user of the other terminal.

Furthermore, the gaze direction of the terminal user is obtained,
Obtain the gaze direction of the user of the other terminal,
The avatar image to be synthesized is selected based on an angle relationship between a line-of-sight direction of a user of the terminal and a line-of-sight direction of a user of the another terminal. Information processing method.

The size, density or color of the synthesized avatar image is
4. The information processing method according to claim 1, wherein the selection is performed based on a positional relationship between a viewpoint position of a user of the terminal and a viewpoint position of a user of the another terminal. 5.

In addition, obtain avatar information of other terminals,
The position of the combined avatar image in the two-dimensional image is determined by the acquired avatar information of the other terminal or the height or angle of view of the camera when the two-dimensional image is captured. The information processing method according to claim 1.

In addition, obtain avatar information of other terminals,
The information processing method according to claim 1, wherein the acquired avatar information of the other terminal is combined with the two-dimensional image.

Applicable to terminals connected to other terminals via a network,
An information processing apparatus for providing a two-dimensional image from an arbitrary position on a route managed by a plurality of segment information,
First viewpoint position acquisition means for acquiring the viewpoint position of the user of the terminal;
Two-dimensional image acquisition means for acquiring a two-dimensional image corresponding to a viewpoint position of a user of the terminal;
Second viewpoint position acquisition means for acquiring a viewpoint position of a user of the other terminal;
An avatar image obtaining means for obtaining an avatar image;
Avatar image combining means for combining the two-dimensional image with an avatar image indicating a viewpoint position of a user of the other terminal;
An avatar image selecting means for selecting the avatar image to be synthesized according to a positional relationship between a segment including a viewpoint position of a user of the terminal and a segment including a viewpoint position of a user of the other terminal. Information processing device.

A program for realizing the information processing method according to claim 1.

A recording medium recording a program for implementing the information processing method according to claim 1.