JP6212666B1 - 情報処理方法、プログラム、仮想空間配信システム及び装置 - Google Patents

Abstract

【課題】ユーザにリッチな仮想体験を提供する。【解決手段】情報処理方法は、ユーザＡに関連付けられたアバター４Ａと、ユーザＢに関連付けられたアバター４Ｂとを含む仮想空間２００Ｂを規定する仮想空間データを生成するステップと、ユーザＢに装着されたＨＭＤ１１０の動きと仮想空間データに基づいて、ユーザＢに装着されたＨＭＤ１１０に表示される視野画像を示す視野画像データを更新するステップと、ユーザＡがＨＭＤ１１０を装着していないことを示す非装着情報を受信した場合に、ユーザＡがＨＭＤ１１０を装着していないことをユーザ端末１ＢによってユーザＢに提示するステップと、を含む。【選択図】図１４

Description

本開示は、情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、仮想空間配信システム及び装置に関する。

ヘッドマウントデバイス（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ：以下、単にＨＭＤという。）を装着した複数のユーザ間でネットワークを介して仮想空間を共有することが知られている。ここで、仮想空間は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間及びＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ） 空間を含むものである。例えば、特許文献１は、複数のユーザ間で一つのＶＲ空間を共有した上で、ユーザの動作（例えば、ユーザの姿勢等）に応じてアバターの動作（アバターの姿勢等）を制御する技術を開示している。

特許第６０１７００８号公報

ところで、ユーザがＨＭＤを装着している場合では、ユーザの動作に応じてアバターの動作が制御される一方、ユーザがＨＭＤを装着していない場合では、ユーザの動作に応じてアバターの動作が制御されない。この点において、特許文献１に記載された技術では、仮想空間上に２つのアバター（第１アバターと第２アバター）が存在する場合において、第１アバターを操作する第１ユーザがＨＭＤを取り外した場合、第２アバターを操作する第２ユーザは、第１ユーザがＨＭＤを装着していないことを把握することができない。例えば、第１ユーザと第２ユーザが仮想空間上でコミュニケーションをしている最中に、第１ユーザが急な事情等によりＨＭＤを取り外したとする。この場合、第２ユーザは、第１ユーザがＨＭＤを装着していないことを把握していないため、第１アバター（第１ユーザ）が反応しないことに対して違和感を抱く場合がある。このように、仮想空間におけるユーザ間のコミュニケーション（又は、ユーザに提供される仮想体験）を改善する余地がある。

本開示は、ユーザにリッチな仮想体験を提供することを目的とする。

本開示が示す一態様によれば、第１ユーザの頭部に装着される第１ヘッドマウントデバイスを有する第１ユーザ端末と、第２ユーザの頭部に装着される第２ヘッドマウントデバイスを有する第２ユーザ端末と、を備えた仮想空間配信システムにおいてコンピュータによって実行される情報処理方法であって、
前記情報処理方法は、
（ａ）前記第１ユーザに関連付けられた第１アバターと、前記第２ユーザに関連付けられた第２アバターとを含む仮想空間を規定する仮想空間データを生成するステップと、
（ｂ）前記第２ヘッドマウントデバイスの動きと前記仮想空間データに基づいて、前記第２ヘッドマウントデバイスに表示される視野画像を更新するステップと、
（ｄ）前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを示す非装着情報を受信した場合に、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを前記第２ユーザ端末によって前記第２ユーザに提示するステップと、
を含む。

本開示によれば、ユーザにリッチな仮想体験を提供することができる。

本発明の実施形態（以下、単に本実施形態という。）に係る仮想空間配信システムを示す概略図である。 ユーザ端末を示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 状態（ａ）は、図６に示す仮想空間のｙｘ平面図である。状態（ｂ）は、図６に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 図１に示すサーバのハードウェア構成を示す図である。 状態（ａ）は、ユーザＡに提供される仮想空間を示す図である。状態（ｂ）は、ユーザＢに提供される仮想空間を示す図である。 ユーザ端末間において各アバターの動きを同期させる処理の一例を説明するためのシーケンス図である。 ユーザＡがＨＭＤを取り外した場合における本実施形態に係る情報処理方法を説明するためのフローチャートの一例である。 状態（ａ）は、ＨＭＤセンサを用いてユーザＡがＨＭＤを取り外したかどうかを判定するための処理を説明するためのフローチャートの一例である。状態（ｂ）は、装着センサを用いてユーザＡがＨＭＤを取り外したかどうかを判定するための処理を説明するためのフローチャートの一例である。 本実施形態に係る情報処理方法を説明するためのユーザＢに提供される仮想空間の一例を示す図である。 本実施形態に係る情報処理方法を説明するためのユーザＢに提供される仮想空間の他の一例を示す図である。 ユーザＡがＨＭＤを再び装着した場合における本実施形態に係る情報処理方法を説明するためのフローチャートの一例である。 本実施形態に係る情報処理方法を説明するためのユーザＢに提供される仮想空間の他の一例を示す図である。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）第１ユーザの頭部に装着される第１ヘッドマウントデバイスを有する第１ユーザ端末と、第２ユーザの頭部に装着される第２ヘッドマウントデバイスを有する第２ユーザ端末と、を備えた仮想空間配信システムにおいてコンピュータによって実行される情報処理方法であって、
前記情報処理方法は、
（ａ）前記第１ユーザに関連付けられた第１アバターと、前記第２ユーザに関連付けられた第２アバターとを含む仮想空間を規定する仮想空間データを生成するステップと、
（ｂ）前記第２ヘッドマウントデバイスの動きと前記仮想空間データに基づいて、前記第２ヘッドマウントデバイスに表示される視野画像を更新するステップと、
（ｄ）前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを示す非装着情報を受信した場合に、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを前記第２ユーザ端末によって前記第２ユーザに提示するステップと、
を含む、情報処理方法。

上記方法によれば、第１ユーザが第１ヘッドマウントデバイス（以下、第１ＨＭＤ）を装着していないことを示す非装着情報が受信された場合に、第２ユーザ端末によって第１ユーザが第１ＨＭＤを装着していないことが第２ユーザに提示される。このように、第２ユーザは、仮想空間上において第１ユーザとコミュニケーションを行っているときに、第１ユーザが第１ＨＭＤを装着していないことを容易に把握することができる。従って、ユーザにリッチな仮想体験を提供することができる。

特に、第２ユーザは、第１ユーザが第１ＨＭＤを装着していないことを把握してなければ、リアクションを示さない第１ユーザに対して違和感を抱く場合がある。このように、第１ユーザが第１ＨＭＤを装着していないことを第２ユーザに把握させることで、第２ユーザがリアクションを示さない第１ユーザに対して違和感を抱くといった状況を回避することが可能となる。

（２）前記ステップ（ｄ）は、
前記非装着情報を受信した場合に、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを前記第２ヘッドマウントデバイスに表示される視野画像上において可視化するステップを含む、
項目（１）に記載の情報処理方法。

上記方法によれば、第１ユーザが第１ヘッドマウントデバイス（第１ＨＭＤ）を装着していないことを示す非装着情報が受信された場合に、第１ユーザが第１ＨＭＤを装着していないことを示す情報が第２ヘッドマウントデバイス（第２ＨＭＤ）に表示される視野画像上において可視化される。このように、第２ユーザは、仮想空間上において第１ユーザとコミュニケーションを行っているときに、第２ＨＭＤを通じて第１ユーザが第１ＨＭＤを装着していないことを示す情報を視認することで、第１ユーザが第１ＨＭＤを装着していないことを容易に把握することができる。

（３）（ｅ）前記第１アバターの顔の表情を示す顔情報を受信した場合に、前記顔情報に基づいて、前記第１アバターの顔の表情を更新するステップをさらに含み、
前記ステップ（ｄ）は、
前記非装着情報を受信した場合に、表情が第１の態様に設定された第１アバターを前記第２ヘッドマウントデバイスに表示される視野画像上において可視化するステップを含む、
項目（１）又は（２）に記載の情報処理方法。

上記方法によれば、第１ユーザが第１ヘッドマウントデバイス（第１ＨＭＤ）を装着していないことを示す非装着情報が受信された場合に、表情が第１の態様に設定された第１アバターが第２ヘッドマウントデバイス（第２ＨＭＤ）に表示される視野画像上において可視化される。このように、第２ユーザは、仮想空間上において第１ユーザとコミュニケーションを行っているときに、第１アバターの顔の表情が所定の表情となっていることを視認することで、第１ユーザが第１ＨＭＤを装着していないことを容易に把握することができる。

特に、第１ユーザが第１ＨＭＤを装着していない場合には、第１アバターの顔の表情が全く更新されない。このため、第２ユーザは、第１ユーザが第１ＨＭＤを装着していないことを把握してなければ、第１ユーザに対して違和感を抱く場合がある。このように、第１ユーザが第１ＨＭＤを装着していないことを第２ユーザに把握させることで、第２ユーザがリアクションを示さない第１ユーザに対して違和感を抱くといった状況を回避することが可能となる。

（４）前記第１の態様は、デフォルト設定された前記第１アバターの顔の表情である、項目（３）に記載の情報処理方法。

上記方法によれば、第１ユーザが第１ヘッドマウントデバイス（第１ＨＭＤ）を装着していないことを示す非装着情報が受信された場合に、第１アバターの顔の表情がデフォルト設定された第１アバターの顔の表情となる。このように、第２ユーザは、仮想空間上において第１ユーザとコミュニケーションを行っているときに、第１アバターの顔の表情がデフォルト設定された顔の表情になっていることを視認することで、第１ユーザが第１ＨＭＤを装着していないことを容易に把握することができる。

（５）前記第１の態様は、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを示す態様として予め選択された表情である、項目（３）に記載の情報処理方法。

上記方法によれば、第１ユーザが第１ヘッドマウントデバイス（第１ＨＭＤ）を装着していないことを示す非装着情報が受信された場合に、第１アバターの顔の表情が第１ユーザが第１ヘッドマウントデバイスを装着していないことを示す態様として第１ユーザによって予め選択された表情（以下、選択表情という。）に設定される。このように、第２ユーザは、仮想空間上において第１ユーザとコミュニケーションを行っているときに、第１アバターの顔の表情が選択表情になっていることを視認することで、第１ユーザが第１ＨＭＤを装着していないことを容易に把握することができる。

（６）前記第１ユーザ端末は、前記第１ユーザが前記第１ヘッドマウントデバイスを装着しているかどうかを検出するように構成された装着センサをさらに備え、
前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを前記装着センサが検出した場合に、前記第１ユーザ端末は、前記非装着情報を出力し、前記第２ユーザ端末は、出力された前記非装着情報を前記第１ユーザ端末から受信する、項目（１）から（５）のうちいずれか一項に記載の情報処理方法。

上記方法によれば、第１ユーザ端末の装着センサから送信された情報に応じて、第１ユーザが第１ヘッドマウントデバイス（第１ＨＭＤ）を装着していないことが特定される。その後、第１ユーザが第１ＨＭＤを装着していないことを示す非装着情報が送信される。このように、第１ユーザ端末の装着センサから出力された情報に応じて、第１ユーザが第１ＨＭＤを装着していないことを自動的に特定することが可能となる。

（７）（ｆ）前記第１ヘッドマウントデバイスが前記第１ユーザから取り外された後に再び装着されたことを示す装着情報を受信した場合、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していることを前記第２ユーザ端末によって前記第２ユーザに提示するステップをさらに含む、項目（１）から（６）のうちいずれか一項に記載の情報処理方法。

上記方法によれば、第１ヘッドマウントデバイス（第１ＨＭＤ）が第１ユーザから取り外された後に再び装着されたことを示す装着情報が受信された場合、第２ユーザ端末によって第１ユーザが第１ＨＭＤを装着していることが第２ユーザに提示される。このように、第２ユーザは、第１ユーザが第１ＨＭＤを再び装着したことを容易に把握することができる。従って、ユーザにリッチな仮想体験を提供することができる。

（８）項目（１）から（７）のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。

上記プログラムによれば、ユーザにリッチな仮想体験を提供することができる。

（９）第１ユーザの頭部に装着される第１ヘッドマウントデバイスを有する第１ユーザ端末と、第２ユーザの頭部に装着される第２ヘッドマウントデバイスを有する第２ユーザ端末と、を備え、項目（１）から（７）のうちいずれか一項に記載の情報処理方法を実行するように構成された、仮想空間配信システム。

上記仮想空間配信システムによれば、ユーザにリッチな仮想体験を提供することができる。

（１０）プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記装置は項目（１）から（７）のうちいずれか一項に記載の情報処理方法を実行する、装置。

上記装置によれば、ユーザにリッチな仮想体験を提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された要素と同一の参照番号を有する要素については、説明の便宜上、その説明は繰り返さない。

最初に、仮想空間配信システム１００の構成の概略について図１を参照して説明する。図１は、仮想空間配信システム１００（以下、単に配信システム１００という。）の概略図である。図１に示すように、配信システム１００は、ヘッドマウントデバイス（ＨＭＤ）１１０（第１ＨＭＤ）を装着したユーザＡ（第１ユーザ）によって操作されるユーザ端末１Ａ（第１ユーザ端末）と、ＨＭＤ１１０（第２ＨＭＤ）を装着したユーザＢ（第２ユーザ）によって操作されるユーザ端末１Ｂ（第２ユーザ端末）と、サーバ２とを備える。ユーザ端末１Ａ，１Ｂは、インターネット等の通信ネットワーク３を介してサーバ２に通信可能に接続されている。尚、本実施形態において、仮想空間とは、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間と、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間と、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）空間を含むものである。また、以降では、説明の便宜上、各ユーザ端末１Ａ，１Ｂを単にユーザ端末１と総称する場合がある。さらに、各ユーザＡ，Ｂを単にユーザＵと総称する場合がある。また、本実施形態では、ユーザ端末１Ａ，１Ｂは、同一の構成を備えているものとする。

次に、図２を参照してユーザ端末１の構成について説明する。図２は、ユーザ端末１を示す概略図である。図２に示すように、ユーザ端末１は、ユーザＵの頭部に装着されたヘッドマウントデバイス（ＨＭＤ）１１０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０と、フェイスカメラ１１３と、装着センサ１１５とを備えている。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用表示部と、ユーザＵの右目に画像を提供するように構成された右目用表示部とから構成されてもよい。また、ＨＭＤ１１０は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動き（傾き等）を検出することができる。

注視センサ１４０は、ユーザＵの視線を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。

フェイスカメラ１１３は、ＨＭＤ１１０がユーザＵに装着された状態でユーザＵの目（左目と右目）とまゆげ（左まゆげと右まゆげ）が表示された画像（特に、動画像）を取得するように構成されている。フェイスカメラ１１３は、ユーザＵの目とまゆげを撮像可能なようにＨＭＤ１１０の内側の所定箇所に配置されている。フェイスカメラ１１３によって取得される動画像のフレームレートは、ＨＭＤ１１０に表示される視野画像（後述する）のフレームレートよりも大きくてもよい。

装着センサ１１５は、ユーザＵがＨＭＤ１１０を装着しているかどうかを示すためのイベント情報を生成するように構成されている。具体的には、ユーザＵがＨＭＤ１１０を取り外したときに（ＨＭＤ１１０の状態が装着状態から非装着状態に遷移したときに）、装着センサ１１５は、イベント情報を生成した上で、当該イベント情報を制御装置１２０に送信する。また、ユーザＵがＨＭＤ１１０を装着したときに（ＨＭＤ１１０の状態が非装着状態から装着状態に遷移したときに）、装着センサ１１５は、イベント情報を生成した上で、当該イベント情報を制御装置１２０に送信する。また、装着センサ１１５の構成は特に限定されない。例えば、ユーザＵがＨＭＤ１１０を装着したときに、ＨＭＤ１１０に設けられたバネの弾性力が変化すると仮定する。この場合、装着センサ１１５は、このバネの弾性力の変化に基づいて、イベント情報を生成してもよい。さらに、ユーザＵがＨＭＤ１１０を装着したときに、ＨＭＤ１１０に設けられた身体の一部（鼻部分）に接触する２つのパッド間を流れる電流が変化すると仮定する。この場合、装着センサ１１５は、この２つのパッド間を流れる電流の変化に基づいて、イベント情報を生成してもよい。

ヘッドフォン１１６（音声出力部）は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。マイク１１８（音声入力部）は、ユーザＵから発声された音声を収集し、当該収集された音声に基づいて音声データ（電気信号）を生成するように構成されている。さらに、マイク１１８は、音声データを制御装置１２０に送信するように構成されている。

フェイスカメラ１１７は、ユーザＵの口及びその周辺が表示された画像（特に、動画像）を取得するように構成されている。フェイスカメラ１１７は、ユーザＵの口及びその周辺を撮像可能なようにユーザＵの口に対向する位置に配置されてもよい。また、フェイスカメラ１１７は、ＨＭＤ１１０と連結されていてもよい。フェイスカメラ１１７によって取得される動画像のフレームレートは、ＨＭＤ１１０に表示される視野画像のフレームレートよりも大きくてもよい。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

外部コントローラ３２０は、ユーザＵの身体の一部（頭部以外の部位であり、本実施形態においてはユーザＵの手）の動きを検知することにより、仮想空間内に表示されるアバターの手の動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。また、コントローラ３２０Ｒの動きに応じて仮想空間内に存在するアバターの右手が動く。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。また、コントローラ３２０Ｌの動きに応じて仮想空間内に存在するアバターの左手が動く。

制御装置１２０は、ＨＭＤ１１０を制御するように構成されたコンピュータである。制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を特定し、当該特定された位置情報に基づいて、仮想空間における仮想カメラの位置（アバターの位置）と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０及び／又は外部コントローラ３２０に内蔵されたセンサから取得された情報に基づいて、外部コントローラ３２０の動作を特定し、当該特定された外部コントローラ３２０の動作に基づいて、仮想空間内に表示されるアバターの手の動作と現実空間における外部コントローラ３２０の動作を正確に対応付けることができる。特に、制御装置１２０は、位置センサ１３０及び／又はコントローラ３２０Ｌに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｌの動作を特定し、当該特定されたコントローラ３２０Ｌの動作に基づいて、仮想空間内に表示されるアバターの左手の動作と現実空間におけるコントローラ３２０Ｌの動作（ユーザＵの左手の動作）を正確に対応付けることができる。同様に、制御装置１２０は、位置センサ及び／コントローラ３２０Ｒに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｒの動作を特定し、当該特定されたコントローラ３２０Ｒの動作に基づいて、仮想空間内に表示されるアバターの右手の動作と現実空間におけるコントローラ３２０Ｒの動作（ユーザＵの右手の動作）を正確に対応付けることができる。

また、制御部１２１は、フェイスカメラ１１３，１１７によって取得された動画像に基づいて、ユーザＵの顔の表情（状態）とユーザＵのアバターの顔の表情（状態）を対応付けることができる。ユーザＵの顔の表情とアバターの顔の表情を互いに対応づける処理の詳細については後述する。

また、制御装置１２０は、注視センサ１４０（左目用注視センサと右目用注視センサ）から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの両目の視線（ユーザＵの視線）を特定することができる。ここで、ユーザＵの視線は、ユーザＵの両目の視線であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。

次に、図３を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図３は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。

次に、図４を参照することで、制御装置１２０のハードウェア構成について説明する。図４は、制御装置１２０のハードウェア構成を示す図である。図４に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、スマートフォン、ファブレット、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが制御プログラムをＲＡＭ上に展開し、ＲＡＭとの協働で制御プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、視野画像データに基づいてＨＭＤ１１０の表示部１１２に視野画像を表示する。これにより、ユーザＵは、仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現するための制御プログラムを格納してもよい。また、記憶部１２３には、ユーザＵの認証プログラムや各種画像やオブジェクト（例えば、アバター等）に関するデータが格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８とのそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してサーバ２等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

次に、図５から図８を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図５は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図６は、仮想空間２００の一例を示すｘｙｚ空間図である。図７の状態（ａ）は、図６に示す仮想空間２００のｙｘ平面図である。図７の状態（ｂ）は、図６に示す仮想空間２００のｚｘ平面図である。図８は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。

図５に示すように、ステップＳ１において、制御部１２１（図４参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図６に示すように、仮想空間２００は、中心位置２１０を中心とした全天球として規定される（図６では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１０を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図８参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図７参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。また、視野ＣＶは、図７の状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図７の状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいてユーザＵの視線を特定し、特定されたユーザＵの視線とＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想カメラ３００の向き（仮想カメラの野軸Ｌ）を決定してもよい。また、後述するように、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、ユーザＵのアバターの顔の向きを決定してもよい。

このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを更新することができる。同様に、ユーザＵの視線が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新してもよい。つまり、制御部１２１は、ユーザＵの視線の変化に応じて、視野ＣＶを変化させてもよい。

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図７参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像との間の視差により、視野画像を３次元的に視認することができる。尚、仮想カメラは、後述するように、ユーザによって操作されるアバターの目の位置に配置されてもよい。例えば、左目用仮想カメラは、アバターの左目に配置される一方で、右目用仮想カメラは、アバターの右目に配置されてもよい。

また、図５に示すステップＳ１〜Ｓ４の処理は１フレーム（動画を構成する静止画像）毎に実行されてもよい。例えば、動画のフレームレートが９０ｆｐｓである場合、ステップＳ１〜Ｓ４の処理はΔＴ＝１／９０（秒）間隔で繰り返し実行されてもよい。このように、ステップＳ１〜Ｓ４の処理が所定間隔ごとに繰り返し実行されるため、ＨＭＤ１１０の動作に応じて仮想カメラ３００の視野が更新されると共に、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが更新される。

次に、図１に示すサーバ２のハードウェア構成について図９を参照して説明する。図９は、サーバ２のハードウェア構成を示す図である。図９に示すように、サーバ２は、制御部２３と、記憶部２２と、通信インターフェース２１と、バス２４とを備える。制御部２３と、記憶部２２と、通信インターフェース２１は、バス２４を介して互いに通信可能に接続されている。制御部２３は、メモリとプロセッサを備えており、メモリは、例えば、ＲＯＭ及びＲＡＭ等から構成されると共に、プロセッサは、例えば、ＣＰＵ、ＭＰＵ及び／又はＧＰＵにより構成される。

記憶部（ストレージ）２２は、例えば、大容量のＨＤＤ等である。記憶部２２は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現させるための制御プログラムを格納してもよい。また、記憶部２２は、各ユーザを管理するためのユーザ管理情報や各種画像やオブジェクト（例えば、アバター等）に関するデータを格納してもよい。通信インターフェース２１は、サーバ２を通信ネットワーク３に接続させるように構成されている。

次に、図１，１０及び１１を参照してユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させる処理の一例について説明する。図１０の状態（ａ）は、ユーザＡに提供される仮想空間２００Ａを示す図である。図１０の状態（ｂ）は、ユーザＢに提供される仮想空間２００Ｂを示す図である。図１１は、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させる処理の一例を説明するためのシーケンス図である。本説明では、前提条件として、図１０に示すように、ユーザ端末１Ａ（ユーザＡ）に関連付けられたアバター４Ａ（第１アバター）と、ユーザ端末１Ｂ（ユーザＢ）に関連付けられたアバター４Ｂ（第２アバター）が同一の仮想空間を共有しているものとする。つまり、通信ネットワーク３を介してユーザＡとユーザＢが一つの仮想空間を共有するものとする。

図１０の状態（ａ）に示すように、ユーザＡの仮想空間２００Ａは、アバター４Ａと、アバター４Ｂとを含む。アバター４Ａは、ユーザＡによって操作されると共に、ユーザＡの動作に連動する。アバター４Ａは、ユーザ端末１Ａのコントローラ３２０Ｌの動作（ユーザＡの左手の動作）に連動する左手（アバター４Ａの仮想身体の一部）と、ユーザ端末１Ａのコントローラ３２０Ｒの動作（ユーザＡの右手の動作）に連動する右手と、表情がユーザＡの顔の表情に連動する顔を有する。アバター４Ａの顔は、複数の顔パーツ（例えば、目、まゆげ、口等）を有する。アバター４Ｂは、ユーザＢによって操作されると共に、ユーザＢの動作に連動する。アバター４Ｂは、ユーザＢの左手の動作を示すユーザ端末１Ｂのコントローラ３２０Ｌの動作に連動する左手と、ユーザＢの右手の動作を示すユーザ端末１Ｂのコントローラ３２０Ｒの動作に連動する右手と、表情がユーザＢの顔の表情と連動する顔を有する。アバター４Ｂの顔は、複数の顔パーツ（例えば、目、まゆげ、口等）を有する。

尚、ユーザＡに提供される仮想空間２００Ａでは、アバター４Ａが可視化されない場合も想定される。この場合、仮想空間２００Ａに配置されるアバター４Ａは、少なくともユーザ端末１ＡのＨＭＤ１１０の動きに連動する仮想カメラ３００を含む。

また、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の位置に応じてアバター４Ａ，４Ｂの位置が特定されてもよい。同様に、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の傾きに応じてアバター４Ａ，４Ｂの顔の向きが特定されてもよい。さらに、ユーザ端末１Ａ，１Ｂの外部コントローラ３２０の動作に応じてアバター４Ａ，４Ｂの手の動作が特定されてもよい。特に、ユーザ端末１Ａ，１Ｂのコントローラ３２０Ｌの動作に応じてアバター４Ａ，４Ｂの左手の動作が特定されると共に、ユーザ端末１Ａ，１Ｂのコントローラ３２０Ｒの動作に応じてアバター４Ａ，４Ｂの右手の動作が特定されてもよい。また、ユーザＡ，Ｂの顔の表情（状態）に応じてアバター４Ａ，４Ｂの顔の表情が特定されてもよい。

また、アバター４Ａ，４Ｂの各々の目には、仮想カメラ３００（図６）が配置されてもよい。特に、アバター４Ａ，４Ｂの左目には、左目用仮想カメラが配置されると共に、アバター４Ａ，４Ｂの右目には、右目用仮想カメラが配置されてもよい。尚、以降の説明では、仮想カメラ３００は、アバター４Ａ，４Ｂの目に配置されているものとする。このため、アバター４Ａの視野ＣＶは、アバター４Ａに配置された仮想カメラ３００の視野ＣＶ（図７参照）と一致するものとする。同様に、アバター４Ｂの視野ＣＶは、アバター４Ｂに配置された仮想カメラ３００の視野ＣＶ（図７参照）と一致するものとする。

図１０の状態（ｂ）に示すように、ユーザＢの仮想空間２００Ｂは、アバター４Ａと、アバター４Ｂとを含む。仮想空間２００Ａ内におけるアバター４Ａ，４Ｂの位置は、仮想空間２００Ｂ内におけるアバター４Ａ，４Ｂの位置に対応してもよい。

尚、ユーザＢに提供される仮想空間２００Ｂでは、アバター４Ｂが可視化されない場合も想定される。この場合、仮想空間２００Ｂに配置されるアバター４Ｂは、少なくともユーザ端末１ＢのＨＭＤ１１０の動きに連動する仮想カメラ３００を含む。

次に、図１１を参照すると、ステップＳ１０において、ユーザ端末１Ａの制御部１２１は、ユーザＡの音声データを生成する。例えば、ユーザＡがユーザ端末１Ａのマイク１１８（音声入力部）に音声を入力したときに、マイク１１８は、入力された音声を示す音声データを生成する。その後、マイク１１８は生成された音声データをＩ／Ｏインターフェース１２４を介して制御部１２１に送信する。

次に、ステップＳ１１において、ユーザ端末１Ａの制御部１２１は、アバター４Ａの制御情報を生成した上で、当該生成したアバター４Ａの制御情報とユーザＡの音声を示す音声データ（ユーザＡの音声データ）をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ａからアバター４Ａの制御情報とユーザＡの音声データを受信する（ステップＳ１２）。

ここで、アバター４Ａの制御情報は、アバター４Ａの動作を制御するために必要な情報である。アバター４Ａの制御情報は、アバター４Ａの位置に関する情報（位置情報）と、アバター４Ａの顔の向きに関する情報（顔向き情報）と、アバター４Ａの手（左手と右手）の状態に関する情報（手情報）と、アバター４Ａの顔の表情に関する情報（顔情報）とを含んでもよい。

アバター４Ａの顔情報は、複数の顔パーツの状態を示す情報を有する。複数の顔パーツの状態を示す情報は、アバター４Ａの目の状態（白目の形状及び白目に対する黒目の位置等）を示す情報（目情報）と、アバター４Ａのまゆげの情報（まゆげの位置及び形状等）を示す情報（まゆげ情報）と、アバター４Ａの口の状態（口の位置及び形状等）を示す情報（口情報）を有する。

詳細には、アバター４Ａの目情報は、アバター４Ａの左目の状態を示す情報と、アバター４Ａの右目の状態を示す情報を有する。アバター４Ａのまゆげ情報は、アバター４Ａの左まゆげの状態を示す情報と、アバター４Ａの右まゆげの状態を示す情報を有する。

ユーザ端末１Ａの制御部１２１は、ＨＭＤ１１０に搭載されたフェイスカメラ１１３からユーザＡの目（左目と右目）とまゆげ（左まゆげと右まゆげ）を示す画像を取得した上で、当該取得された画像と所定の画像処理アルゴリズムに基づいてユーザＡの目（左目と右目）とまゆげ（左まゆげと右まゆげ）の状態を特定する。次に、制御部１２１は、特定されたユーザＡの目とまゆげの状態に基づいて、アバター４Ａの目（左目と右目）の状態を示す情報とアバター４Ａのまゆげ（左まゆげと右まゆげ）の状態を示す情報をそれぞれ生成する。

同様に、ユーザ端末１Ａの制御部１２１は、フェイスカメラ１１７からユーザＡの口及びその周辺を示す画像を取得した上で、当該取得された画像と所定の画像処理アルゴリズムに基づいてユーザＡの口の状態を特定する。次に、制御部１２１は、特定されたユーザＡの口の状態に基づいて、アバター４Ａの口の状態を示す情報を生成する。

このように、ユーザ端末１Ａの制御部１２１は、ユーザＡの目に対応するアバター４Ａの目情報と、ユーザＡのまゆげに対応するアバター４Ａのまゆげ情報と、ユーザＡの口に対応するアバター４Ａの口情報を生成することが可能となる。

また、制御部１２１は、フェイスカメラ１１３によって撮像された画像と、フェイスカメラ１１７によって撮像された画像と、所定の画像処理アルゴリズムに基づいて、記憶部１２３又はメモリに記憶された複数の種類の顔の表情（例えば、笑顔、悲しい表情、無表情、怒りの表情、驚いた表情、困った表情等）の中からユーザＡの顔の表情（例えば、笑顔）を特定してもよい。その後、制御部１２１は、特定されたユーザＡの顔の表情に基づいて、アバター４Ａの顔の表情（例えば、笑顔）を示す顔情報を生成することが可能となる。この場合、アバター４Ａの複数の種類の顔の表情と、各々が当該複数の種類の顔の表情の一つに関連付けられた複数のアバター４Ａの顔情報を含む表情データが記憶部１２３に保存されてもよい。

例えば、制御部１２１は、アバター４Ａの顔の表情を笑顔として特定した場合、アバター４Ａの顔の表情（笑顔）と表情データに基づいて、アバター４Ａの笑顔を示す顔情報を取得する。ここで、アバター４Ａの笑顔を示す顔情報は、アバター４Ａの顔の表情が笑顔のときのアバター４Ａの目情報、まゆげ情報及び口情報を含む。

次に、ステップＳ１３において、ユーザ端末１Ｂの制御部１２１は、アバター４Ｂの制御情報を生成した上で、当該生成したアバター４Ｂの制御情報をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ｂからアバター４Ｂの制御情報を受信する（ステップＳ１４）。

ここで、アバター４Ｂの制御情報は、アバター４Ｂの動作を制御するために必要な情報である。アバター４Ｂの制御情報は、アバター４Ｂの位置に関する情報（位置情報）と、アバター４Ｂの顔の向きに関する情報（顔向き情報）と、アバター４Ｂの手（左手と右手）の状態に関する情報（手情報）と、アバター４Ｂの顔の表情に関する情報（顔情報）とを含んでもよい。

アバター４Ｂの顔情報は、複数の顔パーツの状態を示す情報を有する。複数の顔パーツの状態を示す情報は、アバター４Ｂの目の状態（白目の形状及び白目に対する黒目の位置等）を示す情報（目情報）と、アバター４Ｂのまゆげの情報（まゆげの位置及び形状等）を示す情報（まゆげ情報）と、アバター４Ｂの口の状態（口の位置及び形状等）を示す情報（口情報）を有する。アバター４Ｂの顔情報の取得方法は、アバター４Ａの顔情報の取得方法と同様である。

次に、サーバ２は、アバター４Ｂの制御情報をユーザ端末１Ａに送信する一方（ステップＳ１５）、アバター４Ａの制御情報とユーザＡの音声データをユーザ端末１Ｂに送信する（ステップＳ１９）。その後、ユーザ端末１Ａの制御部１２１は、ステップＳ１６においてアバター４Ｂの制御情報を受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、アバター４Ａ，４Ｂの状態を更新した上で、仮想空間２００Ａ（図１０の状態（ａ）参照）を示す仮想空間データを更新する（ステップＳ１７）。

詳細には、ユーザ端末１Ａの制御部１２１は、アバター４Ａ，４Ｂの位置情報に基づいて、アバター４Ａ，４Ｂの位置を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔向き情報に基づいて、アバター４Ａ，４Ｂの顔の向きを更新する。制御部１２１は、アバター４Ａ，４Ｂの手情報に基づいて、アバター４Ａ，４Ｂの手を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔情報に基づいて、アバター４Ａ，４Ｂの顔の表情を更新する。このように、更新されたアバター４Ａ，４Ｂを含む仮想空間２００Ａを示す仮想空間データが更新される。

その後、ユーザ端末１Ａの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ａ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ａの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ１８）。

一方、ユーザ端末１Ｂの制御部１２１は、ステップＳ２０においてアバター４Ａの制御情報とユーザＡの音声データを受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、アバター４Ａ，４Ｂの状態を更新した上で、仮想空間２００Ｂ（図１０の状態（ｂ）参照）を示す仮想空間データを更新する（ステップＳ２１）。

詳細には、ユーザ端末１Ｂの制御部１２１は、アバター４Ａ，４Ｂの位置情報に基づいて、アバター４Ａ，４Ｂの位置を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔向き情報に基づいて、アバター４Ａ，４Ｂの顔の向きを更新する。制御部１２１は、アバター４Ａ，４Ｂの手情報に基づいて、アバター４Ａ，４Ｂの手を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔情報に基づいて、アバター４Ａ，４Ｂの顔の表情を更新する。このように、更新されたアバター４Ａ，４Ｂを含む仮想空間を示す仮想空間データが更新される。

その後、ユーザ端末１Ｂの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ｂ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ｂの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ２２）。

その後、ユーザ端末１Ｂの制御部１２１は、受信したユーザＡの音声データと、アバター４Ａの制御情報に含まれるアバター４Ａの位置に関する情報と、アバター４Ｂの位置に関する情報と、所定の音声処理アルゴリズムに基づいてユーザＡの音声データを加工する。その後、制御部１２１は、加工された音声データをヘッドフォン１１６（音声出力部）に送信した上で、ヘッドフォン１１６は、加工された音声データに基づいてユーザＡの音声を出力する（ステップＳ２３）。このように、仮想空間上においてユーザ間（アバター間）の音声チャット（ＶＲチャット）を実現することができる。

本実施形態では、ユーザ端末１Ａ，１Ｂがサーバ２にアバター４Ａの制御情報とアバター４Ｂの制御情報をそれぞれ送信した後に、サーバ２がアバター４Ａの制御情報をユーザ端末１Ｂに送信する一方、アバター４Ｂの制御情報をユーザ端末１Ａに送信する。このように、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させることが可能となる。

次に、図１２及び図１４を主に参照することで、ユーザＡのＨＭＤ１１０を取り外した場合における本実施形態に係る情報処理方法について説明する。図１２は、ユーザＡがＨＭＤ１１０を取り外した場合における本実施形態に係る情報処理方法を説明するためのフローチャートの一例である。図１４は、本実施形態に係る情報処理方法を説明するためのユーザＢに提供される仮想空間２００Ｂの一例を示す図である。尚、図１２に示すフローチャートでは、ユーザ端末１Ａの制御部１２１がアバター４Ａの制御情報をサーバ２に送信する処理やユーザ端末１Ｂの制御部１２１がアバター４Ｂの制御情報をサーバ２に送信する処理については説明の便宜上省略している。

本実施形態では、前提条件として、図１４に示すように、アバター４Ａと、アバター４Ｂが同一の仮想空間を共有しているものとする。つまり、通信ネットワーク３を介してユーザＡ，Ｂが一つの仮想空間を共有するものとする。

ユーザＢの仮想空間２００Ｂは、アバター４Ａと、アバター４Ｂとを含む。ユーザ端末１Ｂの制御部１２１は、仮想空間２００Ｂを示す仮想空間データを更新する。本説明では、説明の便宜上、アバター４Ａに提供される仮想空間２００Ａの図示は省略する。

図１２を参照すると、ステップＳ３０において、ユーザ端末１Ａの制御部１２１は、ユーザＡがＨＭＤ１１０を取り外したかどうかを判定する。この点において、制御部１２１は、ＨＭＤセンサ１１４から送信されたＨＭＤ１１０の傾き情報又は装着センサ１１５から送信されたイベント情報に基づいて、ユーザＡがＨＭＤ１１０を取り外したかどうかを判定してもよい。ＨＭＤ１１４と装着センサ１１５は、ＨＭＤ１１０を装着しているかどうかを検出するように構成されたセンサとして機能する。

図１３の状態（ａ）を参照して、ＨＭＤセンサ１１４を用いてユーザＡがＨＭＤ１１０を取り外したかどうかを判定する処理について説明する。図１３の状態（ａ）は、ＨＭＤセンサ１１４を用いてユーザＡがＨＭＤ１１０を取り外したかどうかを判定するための処理を説明するためのフローチャートの一例である。図１３の状態（ａ）に示すように、制御部１２１は、ＨＭＤセンサ１１４からＨＭＤ１１０の傾き（ロール角、ヨー角、ピッチ角）を示す傾き情報を受信する（ステップＳ３０１）。次に、制御部１２１は、受信した傾き情報に基づいて、ＨＭＤ１１０の傾きが所定の傾きよりも大きいかどうかを判定する（Ｓ３０２）。ここで、所定の傾きは、ユーザによって適宜設定されてもよい。ユーザＡがＨＭＤ１１０を装着している間では、ＨＭＤ１１０の傾きが所定の傾きよりも大きくなることがないものとする。つまり、ユーザＡがＨＭＤ１１０を装着している間では、ＨＭＤ１１０の傾きは所定の傾き以下となる一方で、ユーザＡがＨＭＤ１１０を取り外すときは、ＨＭＤ１１０が大きく傾くため、ＨＭＤ１１０の傾きが所定の傾きを超えることがある。このような観点より、所定の傾きが設定される。

例えば、制御部１２１は、ＨＭＤ１１０の傾きの一例として、ＨＭＤ１１０のピッチ角θが所定の角度θｔｈよりも大きいと判定した場合に（ステップＳ３０２でＹＥＳ）、ユーザＡがＨＭＤ１１０を取り外した（換言すれば、ユーザＡがＨＭＤ１１０を装着していない）ことを特定した上で、ステップＳ３１の処理を実行する。一方、制御部１２１は、ＨＭＤ１１０のピッチ角θが所定の角度θｔｈ以下であると判定した場合に（ステップＳ３０２でＮＯ）、ユーザＡがＨＭＤ１１０を装着していることを特定した上で、ＨＭＤセンサ１１４からのＨＭＤ１１０の傾き情報を受信するまで待機する。

次に、図１３の状態（ｂ）を参照して、装着センサ１１５を用いてユーザＡがＨＭＤ１１０を取り外したかどうかを判定する処理について説明する。図１３の状態（ｂ）は、装着センサ１１５を用いてユーザＡがＨＭＤ１１０を取り外したかどうかを判定するための処理を説明するためのフローチャートの一例である。図１３の状態（ｂ）に示すように、制御部１２１は、装着センサ１１５からイベント情報を受信したかどうかを判定する（ステップＳ３０３）。ここで、装着センサ１１５から送信されたイベント情報は、ユーザ端末１ＡのＨＭＤ１１０の状態が装着状態と非装着状態との間で変化したことを示す情報である。例えば、ユーザＡがＨＭＤ１１０を取り外したときに（ＨＭＤ１１０の状態が装着状態から非装着状態に遷移したときに）、装着センサ１１５はイベント情報を出力する。また、ユーザＡがＨＭＤ１１０を装着したときに（ＨＭＤ１１０の状態が非装着状態から装着状態に遷移したときに）、装着センサ１１５はイベント情報を出力する。

制御部１２１は、装着センサ１１５からイベント情報を受信したと判定した場合に（ステップＳ３０３でＹＥＳ）、ユーザＡがＨＭＤ１１０を取り外した（換言すれば、ユーザＡがＨＭＤ１１０を装着していない）ことを特定した上で、ステップＳ３１の処理を実行する。一方、制御部１２１は、装着センサ１１５からイベント情報を受信していないと判定した場合に（ステップＳ３０３でＮＯ）、ユーザＡはＨＭＤ１１０を装着していることを特定した上で、イベント情報を装着センサ１１５から受信するまで待機する。

次に、図１２に戻ると、制御部１２１は、ユーザＡがＨＭＤ１１０を取り外した（換言すれば、ユーザＡがＨＭＤ１１０を装着していない）と判定した場合に（ステップＳ３０ＹＥＳ）、ユーザＡがＨＭＤ１１０を装着していないことを示す情報（非装着情報）を生成する（ステップＳ３１）。その後、制御部１２１は、通信ネットワーク３を介して非装着情報をサーバ２に送信する（ステップＳ３２）。

次に、サーバ２は、非装着情報をユーザ端末１Ａから受信した後に、通信ネットワーク３を介して非装着情報をユーザ端末１Ｂに送信する（ステップＳ３３）。その後、ユーザ端末１Ｂの制御部１２１は、非装着情報をサーバ２から受信した後に、仮想空間２００Ｂに配置されたアバター４Ａの顔の表情をデフォルトの顔の表情（換言すれば、デフォルト設定された顔の表情）に設定する（ステップＳ３４）。ここで、アバター４Ａのデフォルトの顔の表情とは、アバター４Ａの顔の表情の更新を開始する前の初期状態におけるアバター４Ａの顔の表情をいう。デフォルトの顔の表情が笑顔の場合、図１４に示すように、アバター４Ａの顔の表情は笑顔に設定される。また、制御部１２１は、アバター４Ｂの制御情報に基づいて、アバター４Ｂの動作（アバター４Ｂの顔の表情を含む）を更新する。

尚、ステップＳ３４において、制御部１２１は、ユーザＡがＨＭＤ１１０を装着していないことを示す態様として、アバター４Ａの顔の表情をユーザＡによって予め選択された表情に設定してもよい。この場合、ユーザＡによって選択されたアバター４Ａの表情に関する情報がユーザ端末１Ａからユーザ端末１Ｂに送信された上で、ユーザ端末１Ｂの記憶部１２３に予め保存されてもよい。

次に、制御部１２１は、図１４に示すように、アバター４Ａに関連付けられた吹き出しオブジェクト４２Ａを仮想空間２００Ｂに生成する。吹き出しオブジェクト４２Ａには、ユーザＡがＨＭＤ１１０を装着していないことを示す情報（例えば、「ユーザＡは退席中です。」等）が表示される。

尚、制御部１２１は、吹き出しオブジェクト４２Ａの代わりに、テロップオブジェクト４３Ａを仮想空間２００Ｂに生成してもよい（図１５参照）。図１５に示すように、テロップオブジェクト４３Ａには、ユーザＡがＨＭＤ１１０を装着していないことを示す情報（例えば、「ユーザＡは退席中です。」等）が表示される。テロップオブジェクト４３Ａは、アバター４Ａの近くに配置されてもよいし、アバター４Ｂの視野ＣＶ内に常に配置されるように、アバター４Ｂの視野ＣＶの動きに連動してもよい。さらに、ユーザＡがＨＭＤ１１０を装着していないことを示す情報を示すテロップがＨＭＤ１１０に表示される視野画像上に重畳されてもよい。

その後、制御部１２１は、仮想空間２００Ｂを示す仮想空間データを更新すると共に、ユーザ端末１ＢのＨＭＤ１１０の動きに応じてアバター４Ｂの視野ＣＶを更新する。次に、制御部１２１は、更新された仮想屈間データと更新されたアバター４Ｂの視野ＣＶに基づいて視野画像データを更新した上で、更新された視野画像データに基づいて視野画像をＨＭＤ１１０に表示する（ステップＳ３６）。

一方、ユーザ端末１Ａの制御部１２１は、通信ネットワーク３を介して非装着情報をサーバ２に送信した後に、アクティブモードからスリープモードに移行する（ステップＳ３７）。この場合、制御部１２１のモードがスリープモードである一方、センサ（装着センサ１１５又はＨＭＤセンサ１１４）のモードはアクティブモードであることが好ましい。

本実施形態によれば、ユーザＡがＨＭＤ１１０を装着していない場合に、ユーザ端末１ＢによってユーザＡがＨＭＤ１１０を装着していないことがユーザＢに提示される。特に、本実施形態によれば、ユーザＡがＨＭＤ１１０を装着していない場合に、ユーザＡがＨＭＤ１１０を装着していないことを示す情報がユーザ端末１ＢのＨＭＤ１１０に表示される視野画像上において可視化される。この点において、表情がデフォルトの表情に設定されたアバター４Ａと吹き出しオブジェクト４２Ａがユーザ端末１ＢのＨＭＤ１１０に表示される視野画像上において可視化される。

このように、ユーザＢは、仮想空間２００Ｂ上においてユーザＡとコミュニケーションを行っているときに、アバター４Ａのデフォルトの表情（例えば、笑顔）及び吹き出しオブジェクト４２Ａに表示された情報を視認することで、ユーザＡがＨＭＤ１１０を装着していないことを容易に把握することができる。従って、ユーザにリッチな仮想体験を提供することができる。

特に、ユーザＢは、ユーザＡがＨＭＤ１１０を装着していないことを把握してなければ、リアクションを示さないユーザＡに対して違和感を抱く場合がある。このように、ユーザＡがＨＭＤ１００を装着していないことをユーザＢに把握させることで、ユーザＢがリアクションを示さないユーザＡに対して違和感（例えば、不気味の谷現象）を抱くといった状況を回避することが可能となる。

また、本実施形態によれば、ユーザ端末１Ａのセンサ（ＨＭＤセンサ１１４又は装着センサ１１５）から送信された情報（傾き情報又はイベント情報）に応じて、ユーザＡがＨＭＤ１１０を装着していないことが特定される。その後、ユーザＡがＨＭＤ１１０を装着していないことを示す非装着情報がサーバ２に送信される。このように、ユーザ端末１Ａのセンサから出力された情報に応じて、ユーザＡがＨＭＤ１１０を装着していないことを自動的に特定することが可能となる。

尚、本実施形態では、ユーザ端末１Ａは、サーバ２を介して非装着情報をユーザ端末１Ｂに送信しているが、非装着情報に代わって、ＨＭＤセンサ１１４から送信された傾き情報をユーザ端末１Ｂに送信してもよい。この場合、ユーザ端末１Ｂの制御部１２１は、受信した傾き情報に基づいて、ユーザＡがＨＭＤ１１０を装着していないことを特定した上で、ステップＳ３４からＳ３６に規定される処理を実行してもよい。

次に、図１６及び図１７を主に参照することで、ＨＭＤ１１０を取り外したユーザＡがＨＭＤ１１０を再び装着した場合における本実施形態に係る情報処理方法について説明する。図１６は、ユーザＡがＨＭＤ１１０を再び装着した場合における本実施形態に係る情報処理方法を説明するためのフローチャートの一例である。図１７は、本実施形態に係る情報処理方法を説明するためのユーザＢに提供される仮想空間２００Ｂの一例を示す図である。

図１６を参照すると、ステップＳ４０において、ユーザ端末１Ａの制御部１２１は、ユーザＡが再びＨＭＤ１１０を装着したかどうかを判定する。この点において、制御部１２１は、ＨＭＤセンサ１１４から送信されたＨＭＤ１１０の傾き情報又は装着センサ１１５から送信されたイベント情報に基づいて、ユーザＡがＨＭＤ１１０を再び装着したかどうかを判定してもよい。例えば、制御部１２１は、装着センサ１１５からイベント情報を受信したと判定した場合に、ユーザＡがＨＭＤ１１０を装着したことを特定した上で、ステップＳ４１の処理を実行する。一方、制御部１２１は、装着センサ１１５からイベント情報を受信していないと判定した場合に、ユーザＡはＨＭＤ１１０を装着していないことを特定した上で、イベント情報を装着センサ１１５から受信するまで待機する。

ステップＳ４０の判定結果がＹＥＳの場合、制御部１２１は、スリープモードからアクティブモードに移行する（ステップＳ４１）。次に、アクティブモードに移行した制御部１２１は、アバター４Ａの制御情報を生成すると共に、ユーザＡがＨＭＤ１１０を装着したことを示す装着情報を生成する（ステップＳ４２）。その後、ステップＳ４３において、制御部１２１は、通信ネットワーク３を介してアバター４Ａの制御情報と装着情報をサーバ２に送信する（ステップＳ４３）。

次に、サーバ２は、アバター４Ａの制御情報と装着情報をユーザ端末１Ａから受信した後に、通信ネットワーク３を介してアバター４Ａの制御情報と装着情報をユーザ端末１Ｂに送信する（ステップＳ４４）。その後、ステップＳ４５において、ユーザ端末１Ｂの制御部１２１は、アバター４Ａの制御情報に基づいてアバター４Ａの動作を更新する共に、アバター４Ｂの制御情報に基づいてアバター４Ｂの動作を更新する。特に、制御部１２１は、アバター４Ａの制御情報に含まれるアバター４Ａの顔情報に基づいて、アバター４Ａの顔の表情を更新すると共に、アバター４Ｂの制御情報に含まれるアバター４Ｂの顔情報に基づいて、アバター４Ｂの顔の表情を更新する。

次に、制御部１２１は、図１７に示すように、アバター４Ａに関連付けられた吹き出しオブジェクト４４Ａを仮想空間２００Ｂに生成する（ステップＳ４６）。吹き出しオブジェクト４４Ａには、ユーザＡがＨＭＤ１１０を装着したことを示す情報（例えば、「ユーザＡは席に戻りました。」等）が表示される。

その後、制御部１２１は、仮想空間２００Ｂを示す仮想空間データを更新すると共に、ユーザ端末１ＢのＨＭＤ１１０の動きに応じてアバター４Ｂの視野ＣＶを更新する。次に、制御部１２１は、更新された仮想屈間データと更新されたアバター４Ｂの視野ＣＶに基づいて視野画像データを更新した上で、更新された視野画像データに基づいて視野画像をＨＭＤ１１０に表示する（ステップＳ４７）。

本実施形態によれば、ユーザＡがＨＭＤ１１０を取り外した後に再び装着した場合、ユーザ端末１ＢによってユーザＡがＨＭＤ１１０を装着していることがユーザＢに提示される。このように、ユーザＢは、更新されたアバター４Ａの表情と吹き出しオブジェクト４４Ａを視認することで、ユーザＡがＨＭＤ１１０を再び装着したことを容易に把握することができる。従って、ユーザにリッチな仮想体験を提供することができる。

尚、本実施形態の説明では、ユーザＡがＨＭＤ１１０を装着したこと又は装着していないことを示す情報が視野画像上に可視化されているが、本実施形態はこれには限定されない。例えば、ユーザＡがＨＭＤ１１０を装着していないことを示す音声案内（例えば、「ユーザＡは退席しました。」等）やユーザＡがＨＭＤ１１０を装着したことを示す音声案内（例えば、「ユーザＡは席に戻りました。」等）がユーザ端末１Ｂのヘッドフォン１１６（音声出力部）から出力されてもよい。この場合、ユーザ端末１Ａの制御部１２１は、サーバ２を介して非装着情報（又は装着情報）と共に音声案内データをユーザ端末１Ｂに送信する。

また、本実施形態の説明では、仮想空間２００Ｂを示す仮想空間データがユーザ端末１Ｂ側で更新されていることを前提としているが、仮想空間データはサーバ２側で更新されてもよい。さらに、視野画像に対応する視野画像データがユーザ端末１Ｂ側で更新されていることを前提としているが、視野画像データはサーバ２側で更新されてもよい。この場合、ユーザ端末１Ｂは、サーバ２から送信された視野画像データに基づいて、ＨＭＤ１１０に視野画像を表示する。

また、図１２及び１６に示す各ステップで規定される処理の順番はあくまでも一例であって、これらのステップの順番は適宜変更可能である。

また、ユーザ端末１の制御部１２１によって実行される各種処理をソフトウェアによって実現するために、各種処理をコンピュータ（プロセッサ）に実行させるための制御プログラムが記憶部１２３又はメモリに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は各種処理を実行する。

また、制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部１２３に組み込まれる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

１，１Ａ，１Ｂ：ユーザ端末
２：サーバ
３：通信ネットワーク
４Ａ，４Ｂ：アバター
２１：通信インターフェース
２２：記憶部
２３：制御部
２４：バス
４２Ａ，４４Ａ：吹き出しオブジェクト
４３Ａ：テロップオブジェクト
１００：仮想空間配信システム（配信システム）
１１０：ＨＭＤ（ヘッドマウントデバイス）
１１２：表示部
１１３：フェイスカメラ
１１４：ＨＭＤセンサ
１１５：装着センサ
１１６：ヘッドフォン
１１７：フェイスカメラ
１１８：マイク
１２０：制御装置
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００，２００Ａ，２００Ｂ：仮想空間
２１０：中心位置
３００：仮想カメラ
３２０：外部コントローラ
３２０Ｌ：左手用外部コントローラ（コントローラ）
３２０Ｒ：右手用外部コントローラ（コントローラ）
Ｕ，Ａ，Ｂ：ユーザ

Claims (10)

1. 第１ユーザの頭部に装着される第１ヘッドマウントデバイスを有する第１ユーザ端末と、第２ユーザの頭部に装着される第２ヘッドマウントデバイスを有する第２ユーザ端末と、を備えた仮想空間配信システムにおいてコンピュータによって実行される情報処理方法であって、
   前記情報処理方法は、
   （ａ）前記第１ユーザに関連付けられた第１アバターと、前記第２ユーザに関連付けられた第２アバターとを含む仮想空間を規定する仮想空間データを生成するステップと、
   （ｂ）前記第２ヘッドマウントデバイスの動きと前記仮想空間データに基づいて、前記第２ヘッドマウントデバイスに表示される視野画像を更新するステップと、
   （ｄ）前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを示す非装着情報を受信した場合に、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを前記第２ユーザ端末によって前記第２ユーザに提示するステップと、
   を含む、情報処理方法。
2. 前記ステップ（ｄ）は、
   前記非装着情報を受信した場合に、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを前記第２ヘッドマウントデバイスに表示される視野画像上において可視化するステップを含む、
   請求項１に記載の情報処理方法。
3. （ｅ）前記第１アバターの顔の表情を示す顔情報を受信した場合に、前記顔情報に基づいて、前記第１アバターの顔の表情を更新するステップをさらに含み、
   前記ステップ（ｄ）は、
   前記非装着情報を受信した場合に、表情が第１の態様に設定された第１アバターを前記第２ヘッドマウントデバイスに表示される視野画像上において可視化するステップを含む、
   請求項１又は２に記載の情報処理方法。
4. 前記第１の態様は、デフォルト設定された前記第１アバターの顔の表情である、請求項３に記載の情報処理方法。
5. 前記第１の態様は、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを示す態様として予め選択された表情である、請求項３に記載の情報処理方法。
6. 前記第１ユーザ端末は、前記第１ユーザが前記第１ヘッドマウントデバイスを装着しているかどうかを検出するように構成された装着センサをさらに備え、
   前記第１ユーザが前記第１ヘッドマウントデバイスを装着していないことを前記装着センサが検出した場合に、前記第１ユーザ端末は、前記非装着情報を出力し、前記第２ユーザ端末は、出力された前記非装着情報を前記第１ユーザ端末から受信する、請求項１から５のうちいずれか一項に記載の情報処理方法。
7. （ｆ）前記第１ヘッドマウントデバイスが前記第１ユーザから取り外された後に再び装着されたことを示す装着情報を受信した場合、前記第１ユーザが前記第１ヘッドマウントデバイスを装着していることを前記第２ユーザ端末によって前記第２ユーザに提示するステップをさらに含む、請求項１から６のうちいずれか一項に記載の情報処理方法。
8. 請求項１から７のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
9. 第１ユーザの頭部に装着される第１ヘッドマウントデバイスを有する第１ユーザ端末と、第２ユーザの頭部に装着される第２ヘッドマウントデバイスを有する第２ユーザ端末と、を備え、請求項１から７のうちいずれか一項に記載の情報処理方法を実行するように構成された、仮想空間配信システム。
10. プロセッサと、
    コンピュータ可読命令を記憶するメモリと、を備えた装置であって、
    前記コンピュータ可読命令が前記プロセッサにより実行されると、前記装置は請求項１から７のうちいずれか一項に記載の情報処理方法を実行する、装置。

Images