JP6976395B1 - Distribution device, distribution system, distribution method and distribution program - Google Patents
Distribution device, distribution system, distribution method and distribution program Download PDFInfo
- Publication number
- JP6976395B1 JP6976395B1 JP2020160119A JP2020160119A JP6976395B1 JP 6976395 B1 JP6976395 B1 JP 6976395B1 JP 2020160119 A JP2020160119 A JP 2020160119A JP 2020160119 A JP2020160119 A JP 2020160119A JP 6976395 B1 JP6976395 B1 JP 6976395B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- virtual object
- information
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現する配信装置、配信システム、配信方法及び配信プログラムを提供する。【解決手段】配信装置１は、ディスプレイ装置のユーザがディスプレイ装置を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部１２と、ディスプレイ装置の位置及びディスプレイ装置が向いている方向を特定する特定部１３１と、仮想空間情報を参照し、特定部１３１が特定した位置及び方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成する画像生成部１３２と、生成された仮想オブジェクト情報をオブジェクト位置情報に関連付けてユーザ端末に配信する配信部１３３と、を有する。【選択図】図２PROBLEM TO BE SOLVED: To provide a distribution device, a distribution system, a distribution method and a distribution program which appropriately express the context of a virtual object and a real object existing in a real space. A distribution device 1 includes a storage unit 12 that stores virtual space information indicating the position of a virtual object in a virtual space having a coordinate system corresponding to a real space that a user of the display device visually recognizes through the display device. The specific unit 131 that specifies the position of the display device and the direction in which the display device is facing, and the virtual space information are referred to, and the position and direction specified by the specific unit 131 correspond to the coordinate system in the real space of the virtual object. It has an image generation unit 132 that generates virtual object information associated with object position information indicating a corresponding position, and a distribution unit 133 that associates the generated virtual object information with the object position information and distributes it to a user terminal. [Selection diagram] Fig. 2
Description
本発明は、配信装置、配信システム、配信方法及び配信プログラムに関する。 The present invention relates to a distribution device, a distribution system, a distribution method, and a distribution program.
仮想空間内に設定された仮想カメラから見える風景を示すコンテンツ画像を、スマートグラス等のユーザが装着可能なディスプレイ装置に配信して表示させることが行われている（例えば、特許文献１を参照）。ディスプレイ装置を介して風景を視認することにより、ユーザは、実空間にコンテンツ画像が重畳された状態で実空間を視認することができる。 A content image showing a landscape seen from a virtual camera set in a virtual space is distributed and displayed on a user-worn display device such as a smart glass (see, for example, Patent Document 1). .. By visually recognizing the landscape through the display device, the user can visually recognize the real space with the content image superimposed on the real space.
従来の技術では、仮想カメラから見える風景を示すコンテンツ画像をディスプレイ装置に表示させるため、仮想空間に配置された複数の仮想オブジェクトと、現実空間に存在する建物や人物等の実オブジェクトとの前後関係を適切に表現することができないという問題が生じていた。 In the conventional technology, in order to display a content image showing a landscape seen from a virtual camera on a display device, the context of a plurality of virtual objects arranged in a virtual space and a real object such as a building or a person existing in the real space. There was a problem that it could not be expressed properly.
そこで、本発明はこれらの点に鑑みてなされたものであり、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができるようにすることを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to be able to appropriately express the context of a virtual object and a real object existing in the real space.
本発明の第１の態様に係る配信装置は、仮想オブジェクトをディスプレイに表示させる端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信する配信装置であって、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、前記仮想空間情報を参照し、前記特定部が特定した前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、を有する。 The distribution device according to the first aspect of the present invention is a distribution device that distributes virtual object information corresponding to a virtual object to a terminal device that displays a virtual object on a display, and a user of the terminal device passes through the display. A storage unit that stores virtual space information indicating the position of a virtual object in a virtual space having a coordinate system corresponding to the real space to be visually recognized, and a specific unit that specifies the position of the terminal device and the direction in which the terminal device is facing. With reference to the virtual space information, the object position information corresponding to the position and the direction specified by the specific unit and indicating the position corresponding to the real space coordinate system of the virtual object is associated with the virtual object. It has an object information generation unit that generates object information, and a distribution unit that associates the generated virtual object information with the object position information and distributes it to the terminal device.
本発明の第２の態様に係る配信システムは、仮想オブジェクトをディスプレイに表示させる端末装置と、前記端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信する配信装置とを有する配信システムであって、前記配信システムは、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、前記仮想空間情報を参照し、前記特定部が特定した前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、を有し、前記端末装置は、前記配信装置から配信された前記仮想オブジェクト情報を受信する受信部と、前記受信部が受信した前記仮想オブジェクト情報と、前記オブジェクト位置情報とに基づいて前記仮想オブジェクトを示す画像を前記ディスプレイに表示させる表示制御部と、を有する。 The distribution system according to the second aspect of the present invention is a distribution system having a terminal device for displaying a virtual object on a display and a distribution device for distributing virtual object information corresponding to the virtual object to the terminal device. The distribution system includes a storage unit that stores virtual space information indicating the position of a virtual object in a virtual space having a coordinate system corresponding to the real space that the user of the terminal device visually recognizes through the display, and the terminal device. The specific unit that specifies the position and the direction in which the terminal device is facing, and the virtual space information are referred to, and the position and the direction specified by the specific unit correspond to the specific unit, and the coordinates of the virtual object in the real space. An object information generation unit that generates virtual object information associated with object position information indicating a position corresponding to the system, and a distribution unit that associates the generated virtual object information with the object position information and distributes it to the terminal device. The terminal device has a receiving unit that receives the virtual object information distributed from the distribution device, the virtual object information received by the receiving unit, and the virtual object position information. It has a display control unit for displaying an image showing an object on the display.
本発明の第３の態様に係る配信方法は、仮想オブジェクトをディスプレイに表示させる端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信するコンピュータが実行する、前記端末装置の位置及び前記端末装置が向いている方向を特定するステップと、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、特定された前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するステップと、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信するステップと、を有する。 The distribution method according to the third aspect of the present invention is executed by a computer that distributes virtual object information corresponding to the virtual object to the terminal device that displays the virtual object on the display, and the position of the terminal device and the terminal device are suitable. It was specified by referring to the step of specifying the direction in which the object is located and the virtual space information indicating the position of the virtual object in the virtual space having the coordinate system corresponding to the real space that the user of the terminal device visually recognizes through the display. A step of generating virtual object information associated with the object position information corresponding to the position and the direction and indicating the position corresponding to the real space coordinate system of the virtual object, and the generated virtual object information. It has a step of delivering to the terminal device in association with the object position information.
本発明の第４の態様に係る配信プログラムは、仮想オブジェクトをディスプレイに表示させる端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信するコンピュータを、前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、前記特定部が特定した前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部、及び、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部、として機能させる。 In the distribution program according to the fourth aspect of the present invention, the position of the terminal device and the terminal device face the computer that distributes the virtual object information corresponding to the virtual object to the terminal device that displays the virtual object on the display. The specific part that specifies the direction is specified by referring to the virtual space information that indicates the position of the virtual object in the virtual space having the coordinate system corresponding to the real space that the user of the terminal device visually recognizes through the display. An object information generation unit that generates virtual object information associated with the above-mentioned position and the above-mentioned direction and associated with the object position information indicating the position corresponding to the above-mentioned real space coordinate system of the above-mentioned virtual object, and the generated object information generation unit. It functions as a distribution unit that associates the virtual object information with the object position information and distributes it to the terminal device.
本発明によれば、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができるという効果を奏する。 According to the present invention, there is an effect that the context of a virtual object and a real object existing in the real space can be appropriately expressed.
［配信装置Ｓの概要］
図１は、本実施形態に係る配信システムＳの概要を示す図である。配信システムＳは、ディスプレイに仮想オブジェクトを表示させるシステムである。仮想オブジェクトは、仮想空間上に配置される仮想の人物、動物、車等の各種物体の三次元モデルである。図１に示すように、配信システムＳは、配信装置１と、ユーザ端末２と、端末装置としてのディスプレイ装置３とを有する。配信装置１は、仮想オブジェクトに対応する仮想オブジェクト情報を配信するサーバである。配信装置１は、インターネット回線や携帯電話網等の通信ネットワークを介してユーザ端末２と通信可能に接続されており、ユーザ端末２に仮想オブジェクト情報を配信する。本実施形態では、仮想オブジェクト情報は、仮想オブジェクトを示す画像データであるものとする。以下の説明において、画像データが示す画像を仮想オブジェクト画像という。
[Overview of distribution device S]
FIG. 1 is a diagram showing an outline of a distribution system S according to the present embodiment. The distribution system S is a system for displaying a virtual object on a display. A virtual object is a three-dimensional model of various objects such as virtual people, animals, and cars arranged in a virtual space. As shown in FIG. 1, the distribution system S includes a distribution device 1, a user terminal 2, and a
ユーザ端末２は、例えばユーザが所持するスマートフォン、タブレット、パーソナルコンピュータ等の端末である。ユーザ端末２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信や、無線ＬＡＮ等の無線通信、または、ＵＳＢ（登録商標）、ＨＤＭＩ（登録商標）／ＭＨＬ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信を介して、ディスプレイ装置３と通信可能に接続されている。ユーザ端末２は、配信装置１から受信した画像データが示す仮想オブジェクト画像をディスプレイ装置３に表示させる。ディスプレイ装置３は、例えばユーザの頭部に装着されるスマートグラス等の端末である。ディスプレイ装置３は、ユーザ端末２に制御により仮想オブジェクト画像を表示する。ディスプレイ装置３は、例えばユーザが所持するスマートフォン等の端末であり、ユーザ端末２と同一の端末であってもよい。
The user terminal 2 is, for example, a terminal such as a smartphone, a tablet, or a personal computer owned by the user. The user terminal 2 is a short-range wireless communication such as Bluetooth (registered trademark), a wireless communication such as a wireless LAN, or USB (registered trademark), HDMI (registered trademark) / MHL (registered trademark), Ethernet (registered trademark). It is communicably connected to the
本実施形態において、ディスプレイ装置３は、自身の位置と自身が向いている方向とを示す状態情報を、ユーザ端末２を介して配信装置１に送信する（図１の（１））。
In the present embodiment, the
配信装置１は、ユーザがディスプレイ装置３を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶している。配信装置１は、ディスプレイ装置３から取得した状態情報に基づいて、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する（図１の（２））。
The distribution device 1 stores virtual space information indicating the position of a virtual object in a virtual space having a coordinate system corresponding to the real space that the user visually recognizes through the
配信装置１は、特定した位置及び方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた画像データを生成する（図１の（３））。図１に示す例では、配信装置１は、仮想オブジェクトＯＡ、ＯＢのそれぞれに対応して、２つ仮想オブジェクト画像ｉＯＡ、ｉＯＢに対応する画像データを生成する。 The distribution device 1 generates image data associated with the object position information corresponding to the specified position and direction and indicating the position corresponding to the real space coordinate system of the virtual object ((3) in FIG. 1). In the example shown in FIG. 1, the distribution device 1 generates image data corresponding to two virtual object images iOA and iOB corresponding to each of the virtual objects OA and OB.
配信装置１は、生成した画像データと、オブジェクト位置情報とを関連付けて、ユーザ端末２を介してディスプレイ装置３に配信する（図１の（４））。ディスプレイ装置３は、オブジェクト位置情報に基づいて画像データが示す仮想オブジェクト画像を表示する（図１の（５））。
The distribution device 1 associates the generated image data with the object position information and distributes the generated image data to the
このようにすることで、配信システムＳでは、仮想オブジェクトの実空間における位置を示すオブジェクト位置情報に基づいて仮想オブジェクトをディスプレイ装置３に表示させることができる。したがって、配信システムＳは、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができる。
By doing so, in the distribution system S, the virtual object can be displayed on the
［配信装置１の構成］
続いて、配信システムＳの構成について説明する。まず、配信装置１の構成を説明する。図２は、本実施形態に係る配信装置１の構成を示す図である。図２に示すように、配信装置１は、通信部１１と、記憶部１２と、制御部１３とを備える。
[Configuration of distribution device 1]
Subsequently, the configuration of the distribution system S will be described. First, the configuration of the distribution device 1 will be described. FIG. 2 is a diagram showing a configuration of a distribution device 1 according to the present embodiment. As shown in FIG. 2, the distribution device 1 includes a
通信部１１は、インターネット回線や携帯電話網等の通信ネットワークに接続するためのインターフェースである。
記憶部１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを記憶している。例えば、記憶部１２は、制御部１３を、特定部１３１、オブジェクト情報生成部としての画像生成部１３２及び配信部１３３として機能させるプログラムを記憶している。
The
The
また、記憶部１２は、ユーザがディスプレイ装置３を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する。仮想空間は、実空間上の所定エリアに対応しており、仮想空間上の複数の位置それぞれは、実空間上の所定エリアに含まれる複数の位置それぞれと関連付けられている。記憶部１２には、実空間上の所定エリアに含まれる複数の位置それぞれに対応する仮想空間上の位置を特定するための位置関係情報が記憶されている。また、仮想空間情報が示す仮想空間には、複数の仮想オブジェクトの三次元モデルが配置されている。複数の仮想オブジェクトの仮想空間における位置は、制御部１３の制御により、時間の経過に応じて更新されるものとする。
Further, the
制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、特定部１３１、画像生成部１３２及び配信部１３３として機能する。制御部１３の各部の動作の詳細については後述する。
The
［ユーザ端末２の機能構成］
続いて、ユーザ端末２の構成を説明する。図３は、本実施形態に係るユーザ端末２の構成を示す図である。図３に示すように、ユーザ端末２は、操作部２１と、表示部２２と、通信部２３と、記憶部２４と、制御部２５とを備える。
[Functional configuration of user terminal 2]
Subsequently, the configuration of the user terminal 2 will be described. FIG. 3 is a diagram showing a configuration of a user terminal 2 according to the present embodiment. As shown in FIG. 3, the user terminal 2 includes an
操作部２１は、ユーザの操作を受け付ける操作デバイスであり、例えば表示部２２の表面に設けられたタッチパネルである。
表示部２２は、各種の情報を表示するディスプレイである。
The
The
通信部２３は、例えば携帯電話網の基地局との間でデータを送受信するための無線通信インターフェースである。通信部２３は、携帯電話網の基地局を介して、配信装置１と無線通信を行う。また、通信部２３は、ディスプレイ装置３との間でデータを送受信するための無線通信インターフェースである。通信部２３は、ディスプレイ装置３と無線通信を行う。
The
記憶部２４は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部２４は、制御部２５が実行するプログラムを記憶している。記憶部２４は、ディスプレイ装置３に仮想オブジェクト画像を表示させるために、制御部２５を、状態情報取得部２５１、画像取得部２５２、表示制御部２５３として機能させる表示制御プログラムを記憶する。
The
制御部２５は、例えばＣＰＵであり、記憶部２４に記憶された表示制御プログラムを実行することにより、状態情報取得部２５１、画像取得部２５２、及び表示制御部２５３として機能する。
The
状態情報取得部２５１は、ディスプレイ装置３から、ディスプレイ装置３の状態及びディスプレイ装置３の周囲の状態を示す状態情報を受信することにより、状態情報を取得する。状態情報には、ディスプレイ装置３の位置を示す位置情報、ディスプレイ装置３が検出した加速度を示す加速度情報、ディスプレイ装置３の周囲の照度を示す照度情報、ディスプレイ装置３が撮像した画像が含まれる。
The state
画像取得部２５２は、ディスプレイ装置３に表示させる仮想オブジェクト画像の画像データを配信装置１から取得する。画像取得部２５２は、仮想オブジェクトの画像データの取得要求である画像データ取得要求を所定時間おきに配信装置１に送信し、配信装置１から仮想オブジェクトの画像データと、当該仮想オブジェクトの実空間に対応する位置を示すオブジェクト位置情報とを受信する。ここで、画像データ取得要求には、状態情報取得部２５１が取得した状態情報が含まれているものとする。
The
表示制御部２５３は、画像取得部２５２が取得したオブジェクト位置情報に基づいて、画像データが示す仮想オブジェクト画像をディスプレイ装置３に表示させる。表示制御部２５３は、画像取得部２５２が取得したオブジェクト位置情報を、ディスプレイ装置３における座標系に対応する位置情報であるスクリーン位置情報に変換する座標変換処理を実行する。表示制御部２５３は、スクリーン位置情報と、画像データとをディスプレイ装置３に送信する。
The
［ディスプレイ装置３の機能構成］
続いて、ディスプレイ装置３の構成を説明する。図４は、本実施形態に係るディスプレイ装置３の構成を示す図である。図４に示すように、ディスプレイ装置３は、通信部３１と、撮像部３２と、位置検出部３３と、加速度センサ３４と、照度センサ３５と、測距センサ３６と、表示部３７と、記憶部３８と、制御部３９とを備える。
[Functional configuration of display device 3]
Subsequently, the configuration of the
通信部３１は、ユーザ端末２との間でデータを送受信するための無線通信インターフェースである。通信部３１は、制御部３９の制御により、ユーザ端末２と無線通信を行う。
撮像部３２は、ユーザがディスプレイ装置３を装着した場合におけるユーザの前方を撮像し、撮像画像を生成する。撮像部３２は、生成した撮像画像を制御部３９に出力する。
The
The
位置検出部３３は、ＧＰＳや、カメラを用いたＳＬＡＭ技術等を用いてディスプレイ装置３の位置を検出する。位置検出部３３は、検出した位置を示す装置位置情報を制御部３９に出力する。
The
加速度センサ３４は、ディスプレイ装置３にかかる加速度を検出する。加速度センサ３４は、三軸方向それぞれに対する加速度を検出する。加速度センサ３４は、検出した加速度を示す加速度情報を制御部３９に出力する。
照度センサ３５は、ディスプレイ装置３の周囲の照度を検出する。照度センサ３５は、検出した照度を示す照度情報を制御部３９に出力する。
The
The
測距センサ３６は、ディスプレイ装置３から、ユーザがディスプレイ装置３を介して視認する実空間に存在する実際のオブジェクトまでの距離を測定することにより、ディスプレイ装置３から実際のオブジェクトまでの距離を示す深度情報を生成する。深度情報は、例えば画素値がディスプレイ装置３から実際のオブジェクトまでの距離を示す距離画像である。測距センサ３６は、生成した深度情報を制御部３９に出力する。
The
表示部３７は、導光板と、導光板に光を照射する照射部とを含んでいる。照射部は、制御部３９の制御に応じて、仮想オブジェクトの画像データが示す画像に対応する色の光を導光板に照射することにより、導光板に仮想オブジェクト画像を結像させる。
The
記憶部３８は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部３８は、制御部３９が実行するプログラムを記憶している。記憶部３８は、制御部３９を、状態情報送信部３９１、画像取得部３９２、及び照射制御部３９３として機能させるプログラムを記憶する。
The
制御部３９は、例えばＣＰＵであり、記憶部３８に記憶されたプログラムを実行することにより、状態情報送信部３９１、画像取得部３９２、及び照射制御部３９３として機能する。
The
状態情報送信部３９１は、撮像部３２、位置検出部３３、加速度センサ３４、照度センサ３５、測距センサ３６から状態情報として、撮像画像、位置情報、加速度情報、照度情報、及び深度情報を取得する。状態情報送信部３９１は、取得した状態情報を通信部３１を介してユーザ端末２に送信する。
The state
画像取得部３９２は、ユーザ端末２から、仮想オブジェクトの画像データと、スクリーン位置情報とを取得する。
照射制御部３９３は、画像取得部３９２が取得したスクリーン位置情報に基づいて画像データが示す仮想オブジェクト画像を表示部３７に表示させる。
The
The
［制御部１３の各部の動作］
続いて、制御部１３の各部の動作について説明する。
特定部１３１は、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する。具体的には、特定部１３１は、ユーザ端末２側において、画像データ取得要求に状態情報として含まれているディスプレイ装置３の位置情報に基づいて、ディスプレイ装置３の位置を特定する。また、特定部１３１は、画像データ取得要求に状態情報として含まれている加速度情報に基づいて、ディスプレイ装置３が向いている方向を特定する。
[Operation of each part of control unit 13]
Subsequently, the operation of each unit of the
The specifying
なお、特定部１３１は、加速度情報に基づいてディスプレイ装置３が向いている方向を特定したがこれに限らず、ユーザ端末２において、ディスプレイ装置３が向いている方向を特定してもよい。この場合、ユーザ端末２の画像取得部２５２が、ディスプレイ装置３から受信した状態情報に含まれる加速度情報に基づいて、ディスプレイ装置３が向いている方向を特定する。画像取得部２５２は、ディスプレイ装置３の位置を示す装置位置情報と、ディスプレイ装置３が向いている方向を示す方向情報とを含む、画像データ取得要求を配信装置１に送信する。特定部１３１は、ユーザ端末２から受信した画像データ取得要求に含まれる装置位置情報と、方向情報とに基づいて、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する。
The specifying
画像生成部１３２は、仮想空間情報を参照し、特定部１３１が特定したディスプレイ装置３の位置及びディスプレイ装置３が向いている方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた画像データを生成する。
The
具体的には、画像生成部１３２は、仮想空間情報が示す仮想空間において、特定部１３１が特定した位置に対応する仮想空間の位置、及び特定部１３１が特定した方向に対応する仮想空間における方向から、仮想空間内を視認したときに映る仮想オブジェクトを示す画像データを生成する。
Specifically, the
より具体的には、画像生成部１３２は、記憶部１２に記憶されている位置関係情報を参照し、特定部１３１が特定した位置に関連付けられている仮想空間上の位置を特定するとともに、特定部１３１が特定した方向に対応する仮想空間上の方向を特定する。画像生成部１３２は、特定した仮想空間上の位置に仮想カメラを配置し、特定した仮想空間上の方向を撮像したときに映る一以上の仮想オブジェクトそれぞれの画像を示す画像データを一以上生成する。
More specifically, the
また、画像生成部１３２は、仮想空間情報を参照して、当該一以上の仮想オブジェクトそれぞれの仮想空間上の位置を特定するとともに、位置関係情報を参照し、当該一以上の仮想オブジェクトそれぞれの仮想空間上の位置に対応する実空間上の位置を特定する。
Further, the
また、画像生成部１３２は、配信装置１における画像データの生成負荷を抑制するために、仮想オブジェクト画像の画質を調整する。画像生成部１３２は、仮想オブジェクト画像の画質を調整するか否かを判定し、判定結果に基づいて仮想オブジェクト画像の画質を調整する。
Further, the
具体的には、画像生成部１３２は、オブジェクト位置情報が示す仮想オブジェクトの実空間における位置と、実空間における実際のオブジェクトの位置との関係に基づく、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出すると、仮想オブジェクト画像の画質を低下させる。画像生成部１３２は、仮想オブジェクト画像全体の解像度及びビットレートの少なくともいずれか、又は仮想オブジェクトの三次元モデルのデータをレンダリングする際の解像度を低下させることにより、仮想オブジェクト画像の画質を低下させる。
Specifically, the
例えば、記憶部１２に、実際のオブジェクトの仮想空間における位置を示す位置情報を記憶しておき、画像生成部１３２は、仮想オブジェクトの位置と、実際のオブジェクトの仮想空間における位置とに基づいて、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出する。このようにすることで、一部が遮蔽されることによりユーザに視認されにくい仮想オブジェクト画像の画質を落とすことにより、ユーザへの影響を少なくしつつ、配信装置１における処理負荷を軽減することができる。
For example, the
なお、画像生成部１３２は、仮想オブジェクト画像全体の解像度を低下させることにより、仮想オブジェクト画像の画質を低下させたが、これに限らない。画像生成部１３２は、仮想オブジェクト画像における遮蔽される領域の画質を低下させてもよい。また、仮想オブジェクト画像の画質の低下には、仮想オブジェクト画像における遮蔽される領域の画像を生成しないようにすることや、仮想オブジェクト画像における遮蔽される領域の画像のデータ値を固定値にすることも含まれる。
The
また、画像生成部１３２は、ユーザ端末２から、深度情報を含む画像データ取得要求を受信してもよい。そして、画像生成部１３２は、ユーザ端末２から受信した取得要求に含まれる深度情報に基づいて、仮想オブジェクトそれぞれの実空間上の位置に実際のオブジェクトが存在するか否かを判定することにより、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出してもよい。
Further, the
また、画像生成部１３２は、特定部１３１が特定した位置に対応する仮想空間における位置から仮想オブジェクトの位置までの距離に基づいて、画像データが示す仮想オブジェクト画像の画質を調整してもよい。例えば、画像生成部１３２は、特定部１３１が取得した位置に対応する仮想空間における位置から仮想オブジェクトの位置までの距離が長ければ長いほど、仮想オブジェクト画像の画質を低下させるようにしてもよい。このようにすることで、仮想オブジェクトまでの距離が長くユーザに視認されにくい仮想オブジェクトの画質を落とすことにより、ユーザが仮想オブジェクトを視認する際の影響を少なくしつつ、配信装置１における処理負荷を軽減することができる。
Further, the
また、画像生成部１３２は、ユーザがディスプレイ装置３を介して視認する実空間の照度に基づいて、画像データが示す仮想オブジェクト画像の画質を調整してもよい。この場合、画像取得部２５２は、状態情報取得部２５１が取得した照度情報を含む画像データ取得要求を配信装置１に送信する。画像生成部１３２は、画像データ取得要求に含まれる照度情報が示す照度に基づいて、仮想オブジェクト画像の画質を調整する。
Further, the
例えば、画像生成部１３２は、照度情報が示す照度が高ければ高いほど、仮想オブジェクト画像の画質を低下させるようにしてもよい。このようにすることで、実空間の照度が高いことにより、ユーザがディスプレイ装置３に表示される仮想オブジェクトを視認しにくい場合に仮想オブジェクトの画質を落とすことができる。これにより、配信装置１は、ユーザが仮想オブジェクトを視認する際の影響を少なくしつつ、配信装置１における処理負荷を軽減することができる。
For example, the
また、画像生成部１３２は、配信装置１とディスプレイ装置３との間の通信品質に基づいて、画像データが示す仮想オブジェクト画像の画質を調整してもよい。例えば、画像生成部１３２は、配信装置１とユーザ端末２との間の通信品質を測定することにより、配信装置１とディスプレイ装置３との間の通信品質を特定する。画像生成部１３２は、配信装置１とディスプレイ装置３との間の通信品質が所定の品質よりも低い場合、仮想オブジェクト画像の画質を低下させ、仮想オブジェクト画像のデータ量を少なくする。これにより、配信装置１は、通信品質が悪い状態において仮想オブジェクト画像のデータ量を少なくすることができるので、仮想オブジェクト画像の送信の遅延を抑制することができる。
Further, the
なお、画像生成部１３２が、仮想オブジェクト画像の画質を調整するか否かを判定し、判定結果に基づいて仮想オブジェクト画像の画質を調整することとしたが、これに限らない。例えば、ユーザ端末２が、仮想オブジェクト画像の画質を調整するか否かを判定し、判定結果に基づく画質の調整要求を配信装置１に送信してもよい。
The
例えば、ユーザ端末２の画像取得部２５２は、状態情報取得部２５１が取得した深度情報に基づいて、配信装置１から取得した仮想オブジェクト画像の実空間上の位置に実際のオブジェクトが存在するかを判定することにより、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出してもよい。そして、画像取得部２５２は、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出すると、仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。
For example, the
また、画像取得部２５２は、ディスプレイ装置３から仮想オブジェクトの位置までの距離を特定し、当該距離が所定距離以上の場合に、仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。また、画像取得部２５２は、状態情報取得部２５１が取得した照度情報が示す照度が所定の閾値を超える場合に、仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。また、画像取得部２５２は、ユーザ端末２と配信装置１との間の通信品質及びユーザ端末２とディスプレイ装置３との間の通信品質を測定し、これらの通信品質の少なくともいずれかが所定の品質よりも低い場合に仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。
Further, the
配信部１３３は、画像生成部１３２が生成した画像データを、オブジェクト位置情報に関連付けて、ディスプレイ装置３に配信する。配信部１３３は、仮想オブジェクトの取得要求を送信したユーザ端末２を介して、画像データ及びオブジェクト位置情報をディスプレイ装置３に配信する。ユーザ端末２の画像取得部２５２が、画像データ及びオブジェクト位置情報を配信装置１から受信すると、表示制御部２５３は、受信したオブジェクト位置情報に基づいて、仮想オブジェクト画像をディスプレイ装置３に表示させる。
The
ここで、表示制御部２５３は、画像データに関連付けられているオブジェクト位置情報が示す位置と、ディスプレイから実空間における実際のオブジェクトまでの距離を示す深度情報が示す実オブジェクトの位置との関係に基づいて、実オブジェクトに少なくとも一部が遮蔽される仮想オブジェクト画像を特定する。
Here, the
例えば、表示制御部２５３は、画像データに関連付けられているオブジェクト位置情報が示す位置に基づいて、ディスプレイ装置３から仮想オブジェクトまでの距離を算出し、算出した距離に基づいて、深度情報に画像データが示す仮想オブジェクト画像を合成する。表示制御部２５３は、深度情報において、実際のオブジェクトに遮蔽されたなかった仮想オブジェクト画像の領域を、ディスプレイ装置３に表示させる仮想オブジェクト画像の領域と特定する。そして、表示制御部２５３は、遮蔽されることを特定した仮想オブジェクト画像の一部、すなわち、実際のオブジェクトに遮蔽されたなかった仮想オブジェクト画像の領域をディスプレイ装置３に表示させる。
For example, the
図５は、仮想オブジェクト画像がディスプレイ装置３に表示された例を示す図である。図５には、仮想オブジェクト画像として、図１に示す仮想オブジェクト画像ｉＯＡ、ｉＯＢが表示されている。図５に示す例では、ディスプレイ装置３から仮想オブジェクト画像ｉＯＡまでの距離は、ディスプレイ装置３から実空間上に存在する実際のオブジェクトＯＷまでの距離よりも短く、ディスプレイ装置３から仮想オブジェクト画像ｉＯＢまでの距離は、ディスプレイ装置３から実空間上に存在する実際のオブジェクトＯＷまでの距離よりも長いものとする。このため、表示制御部２５３は、図５に示すように、仮想オブジェクト画像ｉＯＢの一部が実際のオブジェクトＯＷに遮蔽されるように、仮想オブジェクト画像ｉＯＢを表示させる。このようにすることで、ユーザ端末２は、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表示させることができる。
FIG. 5 is a diagram showing an example in which a virtual object image is displayed on the
［配信システムＳにおける処理の流れ］
続いて、配信システムＳにおける処理の流れについて説明する。図６は、本実施形態に係る配信システムＳにおける処理の流れを示すシーケンス図である。本シーケンス図に示される処理は、所定時間おきに行われるものとする。
[Process flow in distribution system S]
Subsequently, the flow of processing in the distribution system S will be described. FIG. 6 is a sequence diagram showing a processing flow in the distribution system S according to the present embodiment. The processing shown in this sequence diagram shall be performed at predetermined time intervals.
まず、ディスプレイ装置３の状態情報送信部３９１は、撮像部３２、位置検出部３３、加速度センサ３４、照度センサ３５、測距センサ３６から状態情報として、撮像画像、位置情報、加速度情報、照度情報、及び深度情報を取得し（Ｓ１）、ユーザ端末２に送信する（Ｓ２）。
First, the state
ユーザ端末２の状態情報取得部２５１は、ディスプレイ装置３から状態情報を受信する。ユーザ端末２の画像取得部２５２は、状態情報を含む画像データ取得要求を配信装置１に送信する（Ｓ３）。
The state
続いて、特定部１３１は、画像データ取得要求を受信する。特定部１３１は、仮想オブジェクト画像の取得要求に含まれている状態情報に基づいて、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する（Ｓ４）。
Subsequently, the
続いて、画像生成部１３２は、画像データが示す仮想オブジェクト画像の画質を調整するか否かを判定する（Ｓ５）。画像生成部１３２は、仮想空間情報を参照し、特定したディスプレイ装置３の位置及びディスプレイ装置３が向いている方向に対応する仮想オブジェクトの画像データを生成する（Ｓ６）。画像生成部１３２は、仮想オブジェクト画像の画質を調整するか否かの判定結果に基づいて、画質を調整して画像データを生成する。
Subsequently, the
続いて、画像生成部１３２は、仮想空間情報を参照して、仮想オブジェクトそれぞれの仮想空間上の位置を特定するとともに、位置関係情報を参照し、当該仮想オブジェクトそれぞれの仮想空間上の位置に対応する実空間上の位置を特定する（Ｓ７）。なお、本シーケンスでは、Ｓ６の処理の後にＳ７の処理を行うこととしたが、これに限らず、Ｓ６の処理の前にＳ７の処理を実行してもよい。
Subsequently, the
続いて、配信部１３３は、生成された画像データをオブジェクト位置情報に関連付けてユーザ端末２に配信する（Ｓ８）。
続いて、ユーザ端末２の画像取得部２５２は、配信装置１から画像データと、オブジェクト位置情報とを受信する。
Subsequently, the
Subsequently, the
続いて、ユーザ端末２の表示制御部２５３は、画像取得部２５２が取得したオブジェクト位置情報を、ディスプレイ装置３における座標系に対応する位置情報であるスクリーン位置情報に変換する座標変換処理を実行する（Ｓ９）。表示制御部２５３は、スクリーン位置情報と、画像データとをディスプレイ装置３に送信する（Ｓ１０）。
Subsequently, the
続いて、画像取得部３９２は、ユーザ端末２から、画像データとスクリーン位置情報とを受信する。照射制御部３９３は、画像取得部３９２が取得したスクリーン位置情報に基づいて画像データが示す仮想オブジェクト画像を表示部３７に表示させる（Ｓ１１）。
Subsequently, the
［本実施形態における効果］
以上説明したように、本実施形態に係る配信装置１は、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定し、ユーザがディスプレイ装置３を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、特定した位置及び方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成する。そして、配信装置１は、生成した仮想オブジェクト情報をオブジェクト位置情報に関連付けてディスプレイ装置３に配信する。このようにすることで、配信装置１は、仮想オブジェクトの実空間における位置を示すオブジェクト位置情報に基づいて仮想オブジェクトをディスプレイ装置３に表示させることができる。したがって、配信装置１は、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができる。
[Effects in this embodiment]
As described above, the distribution device 1 according to the present embodiment specifies the position of the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施の形態では、配信装置１がユーザ端末２に仮想オブジェクトの画像データ及びオブジェクト位置情報を送信し、ユーザ端末２が仮想オブジェクト画像をディスプレイ装置３に表示させたがこれに限らない。例えば、ディスプレイ装置３が、上述の実施の形態で説明したユーザ端末２が有する機能を全て有していてもよく、配信装置１が、ユーザ端末２を介さずに、ディスプレイ装置３に画像データ及びオブジェクト位置情報を送信してもよい。
Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. be. For example, in the above-described embodiment, the distribution device 1 transmits the image data of the virtual object and the object position information to the user terminal 2, and the user terminal 2 displays the virtual object image on the
また、ユーザ端末２が、上述の実施の形態で説明したディスプレイ装置３が有する機能を全て有していてもよい。そして、ユーザ端末２が、周囲の風景を撮像して表示部２２に表示させている場合に、配信装置１から受信したオブジェクト位置情報に基づいて、画像データが示す仮想オブジェクト画像を表示部２２に表示させるようにしてもよい。
Further, the user terminal 2 may have all the functions of the
また、上述の実施形態では、加速度センサ３４が検出した加速度に基づいて、ディスプレイ装置３が向いている方向を特定したがこれに限らない。ディスプレイ装置３が角速度を検出するジャイロセンサを備えている場合、特定部１３１は、加速度センサが検出した加速度及びジャイロセンサが検出した角速度の少なくともいずれかに基づいてディスプレイ装置３が向いている方向を特定してもよい。また、ディスプレイ装置３が３軸の角度と加速度とを検出する慣性計測装置を備えている場合、特定部１３１は、慣性計測装置が検出した３軸の角度と加速度とに基づいてディスプレイ装置３が向いている方向を特定してもよい。
Further, in the above-described embodiment, the direction in which the
また、例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Further, for example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment together.
１・・・配信装置、１１・・・通信部、１２・・・記憶部、１３・・・制御部、１３１・・・特定部、１３２・・・画像生成部、１３３・・・配信部、２・・・ユーザ端末、２１・・・操作部、２２・・・表示部、２３・・・通信部、２４・・・記憶部、２５・・・制御部、２５１・・・状態情報取得部、２５２・・・画像取得部、２５３・・・表示制御部、３・・・ディスプレイ装置、３１・・・通信部、３２・・・撮像部、３３・・・位置検出部、３４・・・加速度センサ、３５・・・照度センサ、３６・・・測距センサ、３７・・・表示部、３８・・・記憶部、３９・・・制御部、３９１・・・状態情報送信部、３９２・・・画像取得部、３９３・・・照射制御部 1 ... Distribution device, 11 ... Communication unit, 12 ... Storage unit, 13 ... Control unit, 131 ... Specific unit, 132 ... Image generation unit, 133 ... Distribution unit, 2 ... User terminal, 21 ... Operation unit, 22 ... Display unit, 23 ... Communication unit, 24 ... Storage unit, 25 ... Control unit, 251 ... Status information acquisition unit , 252 ... Image acquisition unit, 253 ... Display control unit, 3 ... Display device, 31 ... Communication unit, 32 ... Imaging unit, 33 ... Position detection unit, 34 ... Accelerometer, 35 ... Illumination sensor, 36 ... Distance measurement sensor, 37 ... Display unit, 38 ... Storage unit, 39 ... Control unit, 391 ... Status information transmission unit, 392.・ ・ Image acquisition unit, 393 ・ ・ ・ Irradiation control unit
Claims (11)
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、
前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、
を有し、
前記オブジェクト情報生成部は、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信装置。 A distribution device that distributes virtual object information, which is image data indicating a three-dimensional virtual object, to a terminal device that displays a virtual object on a display.
A storage unit that stores virtual space information indicating the position of a virtual object in a virtual space having a coordinate system corresponding to the real space that the user of the terminal device visually recognizes through the display.
A specific part that specifies the position of the terminal device and the direction in which the terminal device is facing, and
In the virtual space indicated by the virtual space information, a virtual camera is arranged at a position of the virtual space corresponding to the position specified by the specific unit, and a direction in the virtual space corresponding to the direction specified by the specific unit. Is reflected in the captured image when the image is taken, the image data of the virtual object corresponding to the appearance in the captured image is shown, and the object position information indicating the position corresponding to the coordinate system in the real space of the virtual object is associated. An object information generator that generates virtual object information,
A distribution unit that associates the generated virtual object information with the object position information and distributes it to the terminal device.
Have,
The object information generation unit is at least the virtual object by the actual object based on the relationship between the position of the virtual object in the real space indicated by the object position information and the position of the actual object in the real space. When a part of the obstruction is detected, a partial image showing the area included in the image without removing the area obscured by the actual object included in the image indicated by the image data of the virtual object from the image. reduce the image quality, that controls so as not to degrade the image quality of the image different from that of the partial image included in the image,
Delivery device.
請求項１に記載の配信装置。 When the object information generation unit detects that at least a part of the virtual object is shielded by the actual object based on the depth information indicating the distance from the display to the actual object in the real space, the image data is displayed. Degrading the image quality of the indicated image,
The distribution device according to claim 1.
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶するとともに、前記実空間における実際のオブジェクトの前記仮想空間における位置を示す位置情報を記憶する記憶部と、
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、
前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、
を有し、
前記オブジェクト情報生成部は、前記仮想オブジェクトの前記仮想空間における位置と、前記実際のオブジェクトの前記仮想空間における位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信装置。 A distribution device that distributes virtual object information, which is image data indicating a three-dimensional virtual object, to a terminal device that displays a virtual object on a display.
While storing virtual space information indicating the position of a virtual object in a virtual space having a coordinate system corresponding to the real space that the user of the terminal device visually recognizes through the display, the virtual space of the actual object in the real space is stored. A storage unit that stores position information indicating the position in
A specific part that specifies the position of the terminal device and the direction in which the terminal device is facing, and
In the virtual space indicated by the virtual space information, a virtual camera is arranged at the position of the virtual space corresponding to the position specified by the specific unit, and the direction in the virtual space corresponding to the direction specified by the specific unit is set. The object position information that is reflected in the captured image at the time of imaging, shows the image data of the virtual object corresponding to the appearance in the captured image, and indicates the position corresponding to the coordinate system in the real space of the virtual object is associated. The object information generator that generates virtual object information and
A distribution unit that associates the generated virtual object information with the object position information and distributes it to the terminal device.
Have,
The object information generation unit shields at least a part of the virtual object by the actual object based on the relationship between the position of the virtual object in the virtual space and the position of the actual object in the virtual space. When detected, the image quality of the partial image indicating the region included in the image is deteriorated without removing the region shielded by the actual object included in the image indicated by the image data of the virtual object from the image. , that controls so as not to degrade the image quality of the image different from that of the partial image included in the image,
Delivery device.
請求項１から３のいずれか１項に記載の配信装置。 The object information generation unit adjusts the image quality of the image indicated by the image data based on the distance from the position in the virtual space corresponding to the position specified by the specific unit to the position of the virtual object.
The distribution device according to any one of claims 1 to 3.
請求項１から４のいずれか１項に記載の配信装置。 The object information generation unit adjusts the image quality of the image indicated by the image data based on the illuminance in the real space.
The distribution device according to any one of claims 1 to 4.
請求項１から５のいずれか１項に記載の配信装置。 The object information generation unit adjusts the image quality of the image indicated by the image data based on the communication quality between the distribution device and the display device.
The distribution device according to any one of claims 1 to 5.
前記配信装置は、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、
前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、
を有し、
前記オブジェクト情報生成部は、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御し、
前記端末装置は、
前記配信装置から配信された前記仮想オブジェクト情報を受信する受信部と、
前記受信部が受信した前記仮想オブジェクト情報と、前記オブジェクト位置情報とに基づいて前記仮想オブジェクトを示す画像を前記ディスプレイに表示させる表示制御部と、
を有する、
配信システム。 A distribution system having a terminal device for displaying image data indicating a three-dimensional virtual object on a display and a distribution device for distributing virtual object information which is image data indicating a three-dimensional virtual object to the terminal device.
The distribution device is
A storage unit that stores virtual space information indicating the position of a virtual object in a virtual space having a coordinate system corresponding to the real space that the user of the terminal device visually recognizes through the display.
A specific part that specifies the position of the terminal device and the direction in which the terminal device is facing, and
In the virtual space indicated by the virtual space information, a virtual camera is arranged at a position of the virtual space corresponding to the position specified by the specific unit, and a direction in the virtual space corresponding to the direction specified by the specific unit. Is reflected in the captured image when the image is taken, the image data of the virtual object corresponding to the appearance in the captured image is shown, and the object position information indicating the position corresponding to the coordinate system of the real space of the virtual object is associated. An object information generator that generates virtual object information,
A distribution unit that associates the generated virtual object information with the object position information and distributes it to the terminal device.
Have,
The object information generation unit is at least the virtual object by the actual object based on the relationship between the position of the virtual object in the real space indicated by the object position information and the position of the actual object in the real space. When a part of the obstruction is detected, a partial image showing the area included in the image without removing the area obscured by the actual object included in the image indicated by the image data of the virtual object from the image. It is controlled so as not to deteriorate the image quality of the image and the image quality of the image different from the partial image included in the image .
The terminal device is
A receiving unit that receives the virtual object information distributed from the distribution device, and
A display control unit that displays an image showing the virtual object on the display based on the virtual object information received by the receiving unit and the object position information.
Have,
Delivery system.
請求項７に記載の配信システム。 The display control unit acquires depth information indicating the distance from the display to the actual object in the real space, and the position indicated by the object position information associated with the image data and the depth information indicated by the depth information. A part of the image shown by the image data corresponding to the virtual object that identifies the virtual object that is at least partially obscured by the actual object based on the relationship with the position of the actual object. Is displayed on the display.
The delivery system according to claim 7.
前記端末装置の位置及び前記端末装置が向いている方向を特定するステップと、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、前記仮想空間情報が示す前記仮想空間において、特定された前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、特定された前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するステップと、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信するステップと、
を有し、
前記生成するステップにおいて、前記コンピュータは、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信方法。 Displaying a virtual object on a display A computer that distributes virtual object information, which is image data showing a three-dimensional virtual object, to a terminal device executes.
A step of specifying the position of the terminal device and the direction in which the terminal device is facing, and
The user of the terminal device refers to the virtual space information indicating the position of the virtual object in the virtual space having the coordinate system corresponding to the real space visually recognized through the display, and is specified in the virtual space indicated by the virtual space information. A virtual camera is placed at the position of the virtual space corresponding to the designated position, and the image is reflected in the captured image when the direction in the virtual space corresponding to the specified direction is captured, and the image is reflected in the captured image. A step of generating virtual object information associated with object position information indicating the image data of the virtual object and indicating the position of the virtual object corresponding to the coordinate system in the real space.
A step of associating the generated virtual object information with the object position information and distributing it to the terminal device,
Have,
In the step of generating, the computer uses the virtual object by the actual object based on the relationship between the position of the virtual object in the real space indicated by the object position information and the position of the actual object in the real space. When at least a part of the obstruction of the object is detected , the area included in the image included in the image data of the virtual object is included in the image without removing the area obscured by the actual object from the image. reduce the quality of the partial image shown, that controls so as not to degrade the image quality of the image different from that of the partial image included in the image,
Delivery method.
請求項９に記載の配信方法。 In the step of generating the virtual object information, the computer shields at least a part of the virtual object by the real object based on depth information indicating the distance from the display to the real object in the real space. When detected, the image quality of the image indicated by the image data is deteriorated.
The delivery method according to claim 9.
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部、及び、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部、
として機能させ、
前記オブジェクト情報生成部は、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信プログラム。
A computer that distributes virtual object information, which is image data showing a three-dimensional virtual object, to a terminal device that displays a virtual object on a display.
A specific unit that specifies the position of the terminal device and the direction in which the terminal device is facing,
In the virtual space indicated by the virtual space information, the user of the terminal device refers to the virtual space information indicating the position of the virtual object in the virtual space having the coordinate system corresponding to the real space visually recognized through the display. The virtual camera is placed at the position of the virtual space corresponding to the position specified by the specific part, and the image is reflected in the captured image when the direction in the virtual space corresponding to the direction specified by the specific part is imaged. An object information generation unit that indicates the image data of the virtual object corresponding to the appearance in the image and generates virtual object information associated with the object position information indicating the position of the virtual object corresponding to the coordinate system in the real space. as well as,
A distribution unit that associates the generated virtual object information with the object position information and distributes it to the terminal device.
To function as
The object information generation unit is at least the virtual object by the actual object based on the relationship between the position of the virtual object in the real space indicated by the object position information and the position of the actual object in the real space. When a part of the obstruction is detected, a partial image showing the area included in the image without removing the area obscured by the actual object included in the image indicated by the image data of the virtual object from the image. reduce the image quality, that controls so as not to degrade the image quality of the image different from that of the partial image included in the image,
Delivery program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020160119A JP6976395B1 (en) | 2020-09-24 | 2020-09-24 | Distribution device, distribution system, distribution method and distribution program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020160119A JP6976395B1 (en) | 2020-09-24 | 2020-09-24 | Distribution device, distribution system, distribution method and distribution program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6976395B1 true JP6976395B1 (en) | 2021-12-08 |
| JP2022053334A JP2022053334A (en) | 2022-04-05 |
Family
ID=78815454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020160119A Active JP6976395B1 (en) | 2020-09-24 | 2020-09-24 | Distribution device, distribution system, distribution method and distribution program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6976395B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102596341B1 (en) * | 2020-09-25 | 2023-11-01 | 애플 인크. | Methods for manipulating objects in the environment |
| WO2022221851A1 (en) | 2021-04-13 | 2022-10-20 | Apple Inc. | Methods for providing an immersive experience in an environment |
| US12112011B2 (en) | 2022-09-16 | 2024-10-08 | Apple Inc. | System and method of application-based three-dimensional refinement in multi-user communication sessions |
| US12099653B2 (en) | 2022-09-22 | 2024-09-24 | Apple Inc. | User interface response based on gaze-holding event assessment |
| US12108012B2 (en) | 2023-02-27 | 2024-10-01 | Apple Inc. | System and method of managing spatial states and display modes in multi-user communication sessions |
| US12118200B1 (en) | 2023-06-02 | 2024-10-15 | Apple Inc. | Fuzzy hit testing |
| US12113948B1 (en) | 2023-06-04 | 2024-10-08 | Apple Inc. | Systems and methods of managing spatial groups in multi-user communication sessions |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007286851A (en) * | 2006-04-14 | 2007-11-01 | Canon Inc | Image processing system, image processor, imaging device, and control method thereof |
| JP2011242816A (en) * | 2008-09-09 | 2011-12-01 | Tonchidot Corp | System capable of adding virtual information to visual field information and displaying it |
| JP2012174116A (en) * | 2011-02-23 | 2012-09-10 | Ntt Docomo Inc | Object display device, object display method and object display program |
| WO2019031005A1 (en) * | 2017-08-08 | 2019-02-14 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2020071144A1 (en) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | Information processing device, information processing method, and program |
-
2020
- 2020-09-24 JP JP2020160119A patent/JP6976395B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007286851A (en) * | 2006-04-14 | 2007-11-01 | Canon Inc | Image processing system, image processor, imaging device, and control method thereof |
| JP2011242816A (en) * | 2008-09-09 | 2011-12-01 | Tonchidot Corp | System capable of adding virtual information to visual field information and displaying it |
| JP2012174116A (en) * | 2011-02-23 | 2012-09-10 | Ntt Docomo Inc | Object display device, object display method and object display program |
| WO2019031005A1 (en) * | 2017-08-08 | 2019-02-14 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2020071144A1 (en) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022053334A (en) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6976395B1 (en) | Distribution device, distribution system, distribution method and distribution program | |
| US10293252B2 (en) | Image processing device, system and method based on position detection | |
| US9541997B2 (en) | Three-dimensional user interface apparatus and three-dimensional operation method | |
| US9495068B2 (en) | Three-dimensional user interface apparatus and three-dimensional operation method | |
| JP4553362B2 (en) | System, image processing apparatus, and information processing method | |
| JP5843340B2 (en) | 3D environment sharing system and 3D environment sharing method | |
| KR20160065036A (en) | Distance adaptive holographic displaying method and device based on eyeball tracking | |
| US11590415B2 (en) | Head mounted display and method | |
| CN116485929A (en) | Augmented reality system and method of operating an augmented reality system | |
| US20210368152A1 (en) | Information processing apparatus, information processing method, and program | |
| US11244145B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| EP3683656A1 (en) | Virtual reality (vr) interface generation method and apparatus | |
| US10986401B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| EP3402410B1 (en) | Detection system | |
| JP2008217119A (en) | System, image processor and image processing method | |
| US10642349B2 (en) | Information processing apparatus | |
| WO2017191703A1 (en) | Image processing device | |
| US20230260076A1 (en) | System, information processing apparatus, and method | |
| US11310472B2 (en) | Information processing device and image generation method for projecting a subject image onto a virtual screen | |
| US20240220176A1 (en) | Terminal apparatus | |
| US20240221549A1 (en) | Terminal apparatus | |
| US20240119674A1 (en) | Terminal apparatus | |
| US20240121359A1 (en) | Terminal apparatus | |
| JP6892960B1 (en) | Control devices, information processing systems, control methods and programs | |
| JP2022055698A (en) | Control device, display control method, and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200924 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200924 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210113 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210325 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210823 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210902 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6976395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |