JP7476375B2

JP7476375B2 - Information processing device, information processing method, and program

Info

Publication number: JP7476375B2
Application number: JP2023017700A
Authority: JP
Inventors: 祥吾水野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-20
Filing date: 2023-02-08
Publication date: 2024-04-30
Anticipated expiration: 2038-12-20
Also published as: JP2020101897A; JP2023053039A; JP7224894B2

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像の生成及び閲覧は、サーバ等の画像処理部が複数のカメラが撮影した画像に基づいて、仮想視点に基づくレンダリングなどの処理を施し、ユーザ端末に仮想視点画像を表示することで実現できる。 In recent years, a technology that uses multiple cameras installed in different positions to synchronously capture images from multiple viewpoints and generate virtual viewpoint images from any viewpoint, not just images from the camera installation positions, has been attracting attention. The generation and viewing of virtual viewpoint images based on multiple viewpoint images can be achieved by an image processing unit on a server or other device performing processing such as rendering based on a virtual viewpoint based on images captured by multiple cameras, and displaying the virtual viewpoint image on a user terminal.

上記のような仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作することができるようになる。また、例えば、試合の映像から、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合観戦できるようになる。このように、従来の撮影画像と比較してユーザに高臨場感を与えることができる。 Services using virtual viewpoint images like those described above allow video creators to create content with powerful viewpoints from footage of, for example, a soccer or basketball game. Also, for example, from the video of a game, users watching the content can freely move their viewpoint to watch the game. In this way, users can be given a higher sense of realism than with conventionally captured images.

また、仮想視点画像に広告を表示、課金する技術も知られている。特許文献１には、仮想空間上に仮想広告枠を設けておき、仮想広告枠を含む仮想視点の映像データが送信される場合に、視聴環境に応じた広告情報を仮想広告枠に表示し、表示に応じて課金する技術が開示されている。 There is also known technology for displaying advertisements in virtual viewpoint images and charging for them. Patent Document 1 discloses a technology in which a virtual advertising frame is provided in a virtual space, and when video data of a virtual viewpoint including the virtual advertising frame is transmitted, advertising information according to the viewing environment is displayed in the virtual advertising frame and a charge is made according to the display.

特開２０１４－４１２５９号公報JP 2014-41259 A

しかしながら、従来の技術では、仮想広告による実際の広告効果に見合った広告料で課金することが困難であった。例えば、仮想広告枠の位置や大きさに基づいて広告料を設定した場合、広告料が同じであるにも関わらず、仮想視点の位置及び向きによっては、その仮想広告が視聴者にとって目につきやすい様態で仮想視点画像に表示される場合もあれば表示されない場合もある。また、表示されるとしても、視聴者にとって目につきにくい位置や角度で表示される場合もある。 However, with conventional technology, it has been difficult to charge an advertising fee that is commensurate with the actual advertising effect of a virtual advertisement. For example, when an advertising fee is set based on the position and size of a virtual advertising space, even if the advertising fee is the same, depending on the position and orientation of the virtual viewpoint, the virtual advertisement may or may not be displayed in the virtual viewpoint image in a manner that is easy for the viewer to see. Even if it is displayed, it may be displayed at a position or angle that is difficult for the viewer to see.

本発明はこのような問題点に鑑みなされたもので、仮想視点画像における広告効果に応じた金額を設定することを目的とする。 The present invention was developed in consideration of these problems, and aims to set a price according to the advertising effectiveness in virtual viewpoint images.

そこで、本発明は、情報処理装置であって、複数の撮像装置によりそれぞれ異なる方向から撮影される複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び方向を示す仮想視点情報を取得する取得手段と、仮想空間に予め設定された広告枠を示す情報と前記仮想視点情報とに基づいて、前記仮想視点情報が示す仮想視点に対応する前記仮想視点画像における前記広告枠に表示される広告画像の表示様態に応じた広告料を決定する決定手段と、を有し、前記決定手段は、前記仮想視点画像に実空間に存在する広告が描画されている場合、前記描画されている広告を出している企業からの前記広告枠に表示される広告画像について、前記仮想視点画像に実空間に存在する広告が描画されていない場合よりも少ない金額の広告料を決定することを特徴とする。 Therefore, the present invention is an information processing device comprising: an acquisition means for acquiring virtual viewpoint information indicating the position and direction of a virtual viewpoint corresponding to a virtual viewpoint image generated based on a plurality of captured images captured from different directions by a plurality of imaging devices; and a determination means for determining an advertising fee according to the display mode of an advertising image displayed in the advertising space in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information, based on information indicating an advertising space previously set in a virtual space and the virtual viewpoint information, wherein the determination means determines an advertising fee for an advertising image displayed in the advertising space in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information when an advertisement existing in real space is depicted in the virtual viewpoint image, which is lower than the advertising fee when an advertisement existing in real space is not depicted in the virtual viewpoint image .

本発明によれば、仮想視点画像における広告効果に応じた金額を設定することができる。 According to the present invention, it is possible to set a price according to the advertising effectiveness in the virtual viewpoint image.

画像処理システムの全体図である。1 is an overall view of an image processing system. 撮像装置の設置例を示す図である。FIG. 2 is a diagram illustrating an example of installation of an imaging device. 画像生成装置のハードウェア構成を示す図である。FIG. 2 is a diagram illustrating a hardware configuration of an image generating apparatus. 画像生成装置の機能構成を示す図である。FIG. 2 is a diagram illustrating a functional configuration of an image generating apparatus. 課金額決定処理を示すフローチャートである。13 is a flowchart showing a charge amount determination process. 仮想空間における広告領域を示す図である。FIG. 13 is a diagram showing an advertising area in a virtual space. 広告画像の一例を示す図である。FIG. 13 is a diagram showing an example of an advertisement image. 仮想視点画像の表示例を示す図である。FIG. 13 is a diagram showing a display example of a virtual viewpoint image. 第２の実施形態に係る画像生成装置の機能構成図である。FIG. 11 is a functional configuration diagram of an image generating apparatus according to a second embodiment. 第２の実施形態に係る課金額決定処理を示すフローチャートである。13 is a flowchart showing a billing amount determination process according to the second embodiment. 仮想空間における広告領域と、看板広告を示す図である。FIG. 13 is a diagram showing an advertising area in a virtual space and a billboard advertisement. 仮想視点画像の表示例を示す図である。FIG. 11 is a diagram showing a display example of a virtual viewpoint image.

以下、本発明の実施形態について図面に基づいて説明する。 The following describes an embodiment of the present invention with reference to the drawings.

（第１の実施形態）
図１は、本実施形態に係る画像処理システム１００の全体図である。画像処理システム１００は、複数の撮像装置１１０と、情報処理装置の一例である画像生成装置１２０と、端末装置１３０と、を有している。各撮像装置１１０と画像生成装置１２０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。 First Embodiment
1 is an overall view of an image processing system 100 according to this embodiment. The image processing system 100 includes a plurality of image capture devices 110, an image generation device 120 which is an example of an information processing device, and a terminal device 130. Each image capture device 110 and the image generation device 120 are connected via a communication cable such as a LAN (Local Area Network) cable. Note that in this embodiment, the communication cable is a LAN cable, but the communication cable is not limited to this embodiment.

図２は、撮像装置１１０の設置例を示す図である。本実施形態においては、複数の撮像装置１１０は、それぞれサッカー場のすべて又は一部を撮影するように設置されているものとする。つまり、本実施形態の画像処理システム１００には、被写体を複数の方向から撮影するための複数の撮像装置１１０が含まれる。撮像装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。撮影された画像は、撮像装置１１０から画像生成装置１２０に送信される。 Figure 2 is a diagram showing an example of the installation of the imaging device 110. In this embodiment, the multiple imaging devices 110 are installed so as to capture all or part of a soccer field. In other words, the image processing system 100 of this embodiment includes multiple imaging devices 110 for capturing images of a subject from multiple directions. The imaging device 110 is, for example, a digital camera capable of capturing images (still images and videos). The captured images are transmitted from the imaging device 110 to the image generating device 120.

画像生成装置１２０は、撮像装置１１０により得られた撮像画像を蓄積する。画像生成装置１２０は、端末装置１３０におけるユーザ操作により、仮想視点情報が入力されると、撮像画像と仮想視点とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、撮像画像から構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置と角度（視線方向）とを示す情報である。仮想視点情報は、撮影した競技場の中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、左右の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。仮想視点画像は、仮想視点から撮影位置、撮影報告及び画角を仮定した場合に得られる仮想的な画像である。 The image generating device 120 accumulates the captured images obtained by the imaging device 110. When virtual viewpoint information is input by user operation on the terminal device 130, the image generating device 120 generates a virtual viewpoint image based on the captured image and the virtual viewpoint. Here, the virtual viewpoint information is information indicating the three-dimensional position and angle (line of sight) of a virtual viewpoint (virtual viewpoint) in a virtual space constructed from the captured image. The virtual viewpoint information includes at least the relative position with respect to a specified position such as the center of the stadium where the image was captured, that is, the front-back, left-right, and right-left position information with respect to the specified position, and the direction from the specified position, that is, the direction information of the angle with the front-back, left-right, and up-down axes. The virtual viewpoint image is a virtual image obtained when assuming the shooting position, shooting angle, and angle of view from the virtual viewpoint.

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像として、撮像装置１１０を介して保持しておく。また競技中の選手など被写体の存在するシーンでは、被写体となる特定のオブジェクト等の前景を画像処理により分離して、特定オブジェクト画像として保持しておく。なお、特定オブジェクトは、競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、審判など）であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。 The image generating device 120 is, for example, a server device, and has a database function and an image processing function. In the database, images taken of the scene at the competition venue before the start of the competition, when no subjects are present, are stored as background images via the imaging device 110. In addition, in scenes where subjects such as competing players are present, the foreground of a specific object that is the subject is separated by image processing and stored as a specific object image. Note that the specific object may not only be a competing player, but may also be, for example, another specific person (such as a substitute player, coach, or referee), or may be an object with a predetermined image pattern, such as a ball or goal.

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ－ＢａｓｅｄＲｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法であってもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。 The virtual viewpoint image corresponding to the virtual viewpoint information is generated from a background image and a specific object image managed in a database. For example, model-based rendering (MBR) is used as a method for generating the virtual viewpoint image. MBR is a method for generating a virtual viewpoint image using a three-dimensional model generated based on multiple captured images of a subject taken from multiple directions. Specifically, it is a technology that uses a three-dimensional shape (model) of a target scene obtained by a three-dimensional shape restoration method such as a visual volume intersection method or Multi-View-Stereo (MVS) to generate an image of the scene as seen from a virtual viewpoint. Note that the method for generating the virtual viewpoint image may be a rendering method other than MBR. The generated virtual viewpoint image is transmitted to the terminal device 130 via a LAN cable or the like.

端末装置１３０は、例えば、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルである。ユーザは、コントローラ１３１を操作し、画面上に静止画像や動画像を表示する。端末装置１３０は、例えば、画像生成装置１２０から受信した仮想視点画像を表示部１３２に表示する。端末装置１３０は、さらに、接続されたコントローラ１３１に対するユーザ操作に応じて、仮想視点の移動指示（移動量と移動方向に関する指示）を受け付け、受け付けた指示に応じた移動指示情報を示す伝送信号を画像生成装置１２０に送信する。ここで、移動指示は、仮想視点の設定指示の一例である。 The terminal device 130 is, for example, a PC (Personal Computer) or a tablet. The controller 131 is, for example, a mouse, a keyboard, a six-axis controller, or a touch panel. The user operates the controller 131 to display still images or moving images on the screen. The terminal device 130 displays, for example, a virtual viewpoint image received from the image generating device 120 on the display unit 132. The terminal device 130 further receives a movement instruction (instruction regarding the amount of movement and the direction of movement) of the virtual viewpoint in response to a user operation on the connected controller 131, and transmits a transmission signal indicating movement instruction information in response to the received instruction to the image generating device 120. Here, the movement instruction is an example of an instruction to set the virtual viewpoint.

図３は、画像生成装置１２０のハードウェア構成を示す図である。画像生成装置１２０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、表示部３０５と、入力部３０６と、通信部３０７とを有している。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。表示部３０５は、各種情報を表示する。入力部３０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部３０７は、ネットワークを介して撮像装置１１０等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。 3 is a diagram showing the hardware configuration of the image generating device 120. The image generating device 120 has a CPU 301, a ROM 302, a RAM 303, a HDD 304, a display unit 305, an input unit 306, and a communication unit 307. The CPU 301 reads out a control program stored in the ROM 302 and executes various processes. The RAM 303 is used as a temporary storage area such as the main memory and work area of the CPU 301. The HDD 304 stores various data and various programs. The display unit 305 displays various information. The input unit 306 has a keyboard and a mouse, and accepts various operations by the user. The communication unit 307 performs communication processing with an external device such as the imaging device 110 via a network. Note that an example of the network is Ethernet (registered trademark). As another example, the communication unit 307 may communicate with an external device wirelessly.

なお、後述する画像生成装置１２０の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、端末装置１３０のハードウェア構成は、画像生成装置１２０のハードウェア構成と同様である。 The functions and processes of the image generating device 120 described below are realized by the CPU 301 reading out a program stored in the ROM 302 or HDD 304 and executing this program. The hardware configuration of the terminal device 130 is similar to the hardware configuration of the image generating device 120.

図４は、画像生成装置１２０の機能構成を示す図である。画像生成装置１２０は、撮影画像取得部４０１と、前景背景分離部４０２と、撮影画像保持部４０３と、カメラパラメータ保持部４０４と、被写体形状生成部４０５と、入力受付部４０６と、仮想視点情報生成部４０７と、を有している。画像生成装置１２０はまた、仮想視点画像生成部４０８と、画像出力処理部４０９と、広告枠情報保持部４１０と、広告画像保持部４１１と、広告画像配置部４１２と、広告表示様態特定部４１３と、課金額設定部４１４と、を有している。 Figure 4 is a diagram showing the functional configuration of the image generating device 120. The image generating device 120 has a captured image acquisition unit 401, a foreground/background separation unit 402, a captured image storage unit 403, a camera parameter storage unit 404, a subject shape generation unit 405, an input reception unit 406, and a virtual viewpoint information generation unit 407. The image generating device 120 also has a virtual viewpoint image generation unit 408, an image output processing unit 409, an advertisement space information storage unit 410, an advertisement image storage unit 411, an advertisement image placement unit 412, an advertisement display mode specification unit 413, and a charge amount setting unit 414.

撮影画像取得部４０１は、撮像装置１１０からＬＡＮケーブルを介して入力された伝送信号を取得し、これを撮影画像に変換する。前景背景分離部４０２は、撮影画像取得部４０１から取得した撮影画像のうち、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして、撮影画像保持部４０３へ格納する。また、前景背景分離部４０２は、競技中に撮影された画像から選手など被写体を抽出し、前景画像データとして撮影画像保持部４０３へ格納する。 The captured image acquisition unit 401 acquires a transmission signal input from the imaging device 110 via a LAN cable and converts it into a captured image. The foreground/background separation unit 402 stores, from among the captured images acquired from the captured image acquisition unit 401, an image captured of a scene at the competition venue before the start of a competition, when no subject is present in advance, as background image data, in the captured image storage unit 403. The foreground/background separation unit 402 also extracts subjects, such as athletes, from images captured during the competition, and stores them in the captured image storage unit 403 as foreground image data.

撮影画像保持部４０３は、データベースであり、前景背景分離部４０２から入力された撮影画像データのうち、被写体が存在しない状態で予め撮影された画像を背景画像データとして保存する。また背景画像データと被写体の存在する撮影画像データとの差分データを前景画像データとして保存する。 The captured image storage unit 403 is a database, and stores, as background image data, images captured in advance without the presence of a subject, among the captured image data input from the foreground/background separation unit 402. It also stores, as foreground image data, difference data between the background image data and captured image data in which a subject is present.

カメラパラメータ保持部４０４は、各撮像装置１１０の位置情報と、各撮像装置１１０の焦点距離やシャッタースピードなどのカメラ設定情報などをカメラパラメータとして、予め保持する。なお、各撮像装置１１０は、予め決められた位置に設置されるものとする。 The camera parameter storage unit 404 stores in advance the position information of each image capture device 110 and camera setting information such as the focal length and shutter speed of each image capture device 110 as camera parameters. Each image capture device 110 is assumed to be installed at a predetermined position.

被写体形状生成部４０５は、撮影画像保持部４０３から前景画像データを取得し、カメラパラメータ保持部４０４からカメラパラメータを取得する。そして、被写体形状生成部４０５は、前景画像データとカメラパラメータとを用いて、被写体の形状を推定する。被写体形状生成部４０５は、例えば、視体積交差法などの三次元形状復元手法を用いて被写体の被写体形状情報を生成する。 The subject shape generation unit 405 acquires foreground image data from the captured image storage unit 403, and acquires camera parameters from the camera parameter storage unit 404. The subject shape generation unit 405 then estimates the shape of the subject using the foreground image data and the camera parameters. The subject shape generation unit 405 generates subject shape information of the subject using a three-dimensional shape restoration method such as a volume intersection method.

入力受付部４０６は、端末装置１３０からＬＡＮケーブルを介して入力された伝送信号をユーザ入力データに変換する。ユーザ入力データが仮想視点の設定指示である場合、設定指示を仮想視点情報生成部４０７へ送る。仮想視点情報生成部４０７は、入力受付部４０６から設定指示を取得すると、設定指示に従い、仮想空間内の位置と方向を含む仮想視点情報を更新する。なお、仮想空間の原点は競技場の中心などが仮想空間の原点として予め設定されているものとする。 The input reception unit 406 converts a transmission signal input from the terminal device 130 via a LAN cable into user input data. If the user input data is an instruction to set a virtual viewpoint, it sends the setting instruction to the virtual viewpoint information generation unit 407. When the virtual viewpoint information generation unit 407 receives a setting instruction from the input reception unit 406, it updates the virtual viewpoint information including the position and direction in the virtual space according to the setting instruction. Note that the origin of the virtual space is set in advance to the center of the stadium, etc.

仮想視点画像生成部４０８は、撮影画像保持部４０３から前景画像データと背景画像データを取得する。仮想視点画像生成部４０８は、カメラパラメータ保持部４０４からカメラパラメータを取得する。仮想視点画像生成部４０８は、被写体形状生成部４０５から被写体形状情報を取得する。仮想視点画像生成部４０８は、仮想視点情報生成部４０７から仮想視点情報を取得する。そして、仮想視点画像生成部４０８は、前景画像データと、背景画像データと、カメラパラメータと、被写体形状情報と、仮想視点情報とに基づき、背景画像データを仮想視点から見た形状に投影変換や画像処理を施して仮想視点画像の背景を生成する。 The virtual viewpoint image generation unit 408 acquires foreground image data and background image data from the captured image storage unit 403. The virtual viewpoint image generation unit 408 acquires camera parameters from the camera parameter storage unit 404. The virtual viewpoint image generation unit 408 acquires subject shape information from the subject shape generation unit 405. The virtual viewpoint image generation unit 408 acquires virtual viewpoint information from the virtual viewpoint information generation unit 407. Then, based on the foreground image data, background image data, camera parameters, subject shape information, and virtual viewpoint information, the virtual viewpoint image generation unit 408 performs projection transformation and image processing on the background image data to convert it into a shape as seen from a virtual viewpoint, thereby generating the background of the virtual viewpoint image.

さらに、仮想視点画像生成部４０８は、仮想視点位置から見た被写体形状に対して、実カメラ（撮像装置１１０）で撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。例えば、仮想視点から被写体形状情報に基づく被写体が見えている状況で、被写体形状情報の位置から所定の範囲内に撮像装置１１０が存在するとする。この場合、仮想視点画像生成部４０８は、この撮像装置１１０の前景画像データを形状モデルの色として使用する。また、仮想視点画像生成部４０８は、後述する広告画像配置部４１２から配置広告画像を取得し、仮想視点から見た背景画像と同様に、配置広告画像を投影変換して仮想視点画像の背景の一部として生成する。画像出力処理部４０９は、仮想視点画像生成部４０８が生成した画像データを、端末装置１３０へ伝送可能な伝送信号に変換して、端末装置１３０へ出力する。 Furthermore, the virtual viewpoint image generating unit 408 generates a virtual viewpoint image by rendering (coloring process) the color information of the image data captured by the real camera (imaging device 110) for the subject shape seen from the virtual viewpoint position. For example, assume that the imaging device 110 exists within a predetermined range from the position of the subject shape information in a situation where a subject based on the subject shape information is seen from the virtual viewpoint. In this case, the virtual viewpoint image generating unit 408 uses the foreground image data of this imaging device 110 as the color of the shape model. In addition, the virtual viewpoint image generating unit 408 acquires a placed advertisement image from the advertisement image placement unit 412 described later, and generates the placed advertisement image as part of the background of the virtual viewpoint image by projecting and transforming it, similar to the background image seen from the virtual viewpoint. The image output processing unit 409 converts the image data generated by the virtual viewpoint image generating unit 408 into a transmission signal that can be transmitted to the terminal device 130, and outputs it to the terminal device 130.

広告枠情報保持部４１０は、仮想広告枠情報を保持する。ここで、仮想広告枠情報は、三次元の仮想空間における広告枠の位置及、向き及びサイズを示す情報である。ここで、広告枠は、広告画像が配置される平面状の領域を定める矩形枠である。広告枠の位置、向き及びサイズは予め定められているものとする。ここで、広告枠の向きとは、広告枠の面がいずれの方向を向いているかの指標値である。本実施形態においては、広告枠の面に対する垂線の方向を広告枠の向きと称するものとする。また、広告枠の形状も予め定められているものとする。ただし、形状は、矩形に限定されるものではなく、他の形状でもよい。また、本実施形態においては、広告枠は２次元の領域を定めるものであるが、広告枠は三次元の領域を定めるものであってもよい。 The advertisement space information storage unit 410 stores virtual advertisement space information. Here, the virtual advertisement space information is information indicating the position, orientation, and size of the advertisement space in a three-dimensional virtual space. Here, the advertisement space is a rectangular space that defines a planar area in which an advertisement image is placed. It is assumed that the position, orientation, and size of the advertisement space are determined in advance. Here, the orientation of the advertisement space is an index value indicating in which direction the surface of the advertisement space faces. In this embodiment, the direction of the perpendicular line to the surface of the advertisement space is referred to as the orientation of the advertisement space. In addition, it is assumed that the shape of the advertisement space is also determined in advance. However, the shape is not limited to a rectangle, and may be another shape. In addition, although in this embodiment, the advertisement space defines a two-dimensional area, the advertisement space may define a three-dimensional area.

例えば、競技場を撮影して得られた仮想空間の観客席壁面に広告枠が設定されたとする。この場合には、実際の競技場の壁面には広告が存在しないものの、実世界に基づく仮想空間を仮想視点から見た仮想視点画像においては、観客席壁面に広告画像が重畳される。このため、ユーザは、あたかも観客席壁面に広告が表示されているような仮想視点画像を視認することができる。 For example, suppose an advertising space is set on the wall of the spectator seats in a virtual space obtained by photographing a stadium. In this case, although there are no advertisements on the walls of the actual stadium, an advertising image is superimposed on the wall of the spectator seats in a virtual viewpoint image that shows a virtual space based on the real world from a virtual viewpoint. This allows the user to view a virtual viewpoint image in which an advertisement appears as if it were being displayed on the wall of the spectator seats.

広告画像保持部４１１は、仮想空間に広告として表示する広告画像を保持する。広告画像は、例えば企業などの会社名ロゴや製品名ロゴ、製品イメージ等の画像である。広告画像は広告主から提供される。広告画像配置部４１２は、広告枠情報保持部４１０から仮想広告枠情報を取得し、広告画像保持部４１１から広告画像を取得する。広告画像配置部４１２は、仮想広告枠情報と広告画像とに基づき、仮想広告枠情報により特定される広告枠に広告画像を配置した配置広告画像を生成する。なお、本実施形態においては、説明の便宜上、広告枠情報保持部４１０には１つの広告枠情報のみが保持され、広告画像保持部４１１には、１つの広告画像のみが保存される場合の例を中心に説明する。ただしこれに限らず、広告枠情報保持部４１０に複数の広告に関する広告枠情報が保持され、広告画像保持部４１１に複数の広告画像が保持されていてもよい。この場合、各広告画像とその広告画像が配置される広告枠とを関連付ける情報が広告枠情報に含まれていてもよい。 The advertisement image storage unit 411 stores advertisement images to be displayed as advertisements in the virtual space. The advertisement images are, for example, images such as a company name logo, a product name logo, or a product image. The advertisement images are provided by the advertiser. The advertisement image placement unit 412 acquires virtual advertisement space information from the advertisement space information storage unit 410, and acquires advertisement images from the advertisement image storage unit 411. The advertisement image placement unit 412 generates a placement advertisement image in which the advertisement image is placed in an advertisement space specified by the virtual advertisement space information based on the virtual advertisement space information and the advertisement image. Note that, for convenience of explanation, in this embodiment, an example in which only one advertisement space information is stored in the advertisement space information storage unit 410, and only one advertisement image is stored in the advertisement image storage unit 411 will be mainly described. However, this is not limited to this, and advertisement space information related to multiple advertisements may be stored in the advertisement space information storage unit 410, and multiple advertisement images may be stored in the advertisement image storage unit 411. In this case, information that associates each advertisement image with the advertisement space in which the advertisement image is placed may be included in the advertisement space information.

広告表示様態特定部４１３は、仮想視点画像生成部４０８から仮想視点画像を取得し、また広告画像配置部４１２から広告配置情報を取得する。ここで、広告配置情報は、配置広告画像における広告画像が配置された広告枠の位置、向き及びサイズ（面積）を示す情報である。広告表示様態特定部４１３は、仮想視点画像及び広告配置情報に基づいて、広告の表示様態を特定する。 The advertisement display mode identification unit 413 acquires a virtual viewpoint image from the virtual viewpoint image generation unit 408, and also acquires advertisement placement information from the advertisement image placement unit 412. Here, the advertisement placement information is information indicating the position, orientation, and size (area) of the advertisement space in which the advertisement image is placed in the placed advertisement image. The advertisement display mode identification unit 413 identifies the display mode of the advertisement based on the virtual viewpoint image and the advertisement placement information.

ここで、表示様態について説明する。広告枠の表示については、仮想視点画像において表示される際の、基準となるサイズ及び向きが予め定められている。この基準となるサイズ及び向きを含む表示様態を基準表示様態と称する。また、基準となるサイズ及び向きをそれぞれ基準サイズ及び基準向きと称する。 Here, we will explain the display mode. When displaying an advertising space, a standard size and orientation are determined in advance when the space is displayed in a virtual viewpoint image. The display mode including this standard size and orientation is referred to as the standard display mode. In addition, the standard size and orientation are referred to as the standard size and standard orientation, respectively.

ここで、基準サイズは、仮想視点画像における面積で定義される。例えば、幅１９２０ピクセル、高さ１０８０ピクセルの仮想視点画像に対し、広告枠の基準サイズが幅６４０ピクセル、高さ４８０ピクセルと設定されているものとする。また、基準向きは、仮想視点画像における広告枠の向きと仮想視点の視線方向のなす角で定義される。本実施形態においては、仮想視点の視線方向と一致する広告枠の向きが基準向きとして定義されているものとする。さらに、基準表示様態に対し、広告表示に係る課金額（基準額）が予め設定されている。なお、基準サイズ及及び基準向きは任意に設定することができる。 Here, the reference size is defined by the area in the virtual viewpoint image. For example, for a virtual viewpoint image of 1920 pixels wide and 1080 pixels high, the reference size of the advertising space is set to 640 pixels wide and 480 pixels high. The reference orientation is defined by the angle between the orientation of the advertising space in the virtual viewpoint image and the line of sight of the virtual viewpoint. In this embodiment, the orientation of the advertising space that matches the line of sight of the virtual viewpoint is defined as the reference orientation. Furthermore, a charge amount (reference amount) for advertising display is set in advance for the reference display mode. Note that the reference size and reference orientation can be set arbitrarily.

これに対し、ユーザ操作に応じて指定された仮想視点に対応した仮想視点画像においては広告枠のサイズ及び向きは、基準サイズ及び基準向きと異なる場合がある。この差分が、ユーザ操作に応じて指定された仮想視点に対応した仮想視点画像における広告枠の表示様態である。例えば、上述の基準サイズに対し、ユーザ操作に応じて生成された仮想視点画像における広告枠のサイズが幅３２０ピクセル、高さ２４０ピクセルであるとする。この場合、面積比２５％が表示様態として特定される。また、基準向きと、ユーザ操作に応じて生成された仮想視点画像における広告枠の向きのなす鋭角の角度が４５度であるとする。この場合には、角度４５度が表示様態として特定される。広告表示様態特定部４１３はまた、広告枠の領域の一部が仮想視点画像の外側に位置する場合には、広告枠の領域全体に対する、仮想視点画像内に含まれる広告枠の領域の割合を特定する。なお、広告表示様態特定部４１３は、仮想視点の位置及び方向を示す仮想視点情報と広告配置情報とに基づいて、その仮想視点情報に応じた仮想視点画像における広告の表示様態を特定してもよい。また、広告表示様態特定部４１３は、これに限らず、広告の挿入された仮想視点画像に対する画像認識により広告の表示様態を特定してもよい。 On the other hand, in a virtual viewpoint image corresponding to a virtual viewpoint specified in response to a user operation, the size and orientation of the advertisement frame may differ from the reference size and reference orientation. This difference is the display mode of the advertisement frame in the virtual viewpoint image corresponding to the virtual viewpoint specified in response to a user operation. For example, the size of the advertisement frame in the virtual viewpoint image generated in response to a user operation is 320 pixels wide and 240 pixels high, relative to the above-mentioned reference size. In this case, an area ratio of 25% is specified as the display mode. In addition, the acute angle between the reference orientation and the orientation of the advertisement frame in the virtual viewpoint image generated in response to a user operation is 45 degrees. In this case, the angle of 45 degrees is specified as the display mode. In addition, when a part of the area of the advertisement frame is located outside the virtual viewpoint image, the advertisement display mode specification unit 413 specifies the ratio of the area of the advertisement frame included in the virtual viewpoint image to the entire area of the advertisement frame. In addition, the advertisement display mode specification unit 413 may specify the display mode of the advertisement in the virtual viewpoint image corresponding to the virtual viewpoint information based on the virtual viewpoint information indicating the position and direction of the virtual viewpoint and the advertisement placement information. Furthermore, the advertisement display mode identification unit 413 may also identify the advertisement display mode by performing image recognition on the virtual viewpoint image in which the advertisement is inserted.

課金額設定部４１４は、広告表示様態特定部４１３から表示様態情報を取得する。そして、課金額設定部４１４は、表示様態情報に基づいて、広告表示に係る課金額を設定する。具体的には、課金額設定部４１４は、表示様態が減額条件を満たす場合に、減額条件に従い課金額を基準額から減額する。一方で、課金額設定部４１４は、表示様態が減額条件を満たさない場合には、基準額を課金額として設定する。 The charge amount setting unit 414 acquires display mode information from the advertisement display mode identification unit 413. Then, the charge amount setting unit 414 sets the charge amount for the advertisement display based on the display mode information. Specifically, when the display mode satisfies the reduction condition, the charge amount setting unit 414 reduces the charge amount from the base amount in accordance with the reduction condition. On the other hand, when the display mode does not satisfy the reduction condition, the charge amount setting unit 414 sets the base amount as the charge amount.

本実施形態においては、以下の条件が減額条件としてＨＤＤ３０４に設定されているものとする。すなわち、生成された仮想視点画像における広告枠のサイズの基準サイズに対する比（面積比）が５０％未満になった場合に、基準額から５０％減額した値を課金額として設定する。また生成された仮想視点画像における広告枠の向きと基準向きとのなす鋭角が４５度未満になった場合に、基準額から５０％減額した値を課金額として設定する。 In this embodiment, the following conditions are set in HDD 304 as reduction conditions. That is, if the ratio (area ratio) of the size of the advertising space in the generated virtual viewpoint image to the reference size is less than 50%, a value that is 50% less than the reference amount is set as the amount charged. Also, if the acute angle between the orientation of the advertising space in the generated virtual viewpoint image and the reference orientation is less than 45 degrees, a value that is 50% less than the reference amount is set as the amount charged.

なお、減額条件は、広告枠のサイズが第１サイズ閾値未満の場合に第１サイズ閾値以上の場合に比べて少ない課金額を決定するような条件であればよく、広告枠のサイズに係る減額条件は実施形態に限定されるものではない。また、減額条件は、広告枠の向きと基準向きとのなす鋭角が第１角度閾値未満の場合に第１角度閾値以上の場合に比べて少ない課金額を決定するような条件であればよく、広告画像の向きに係る減額条件は実施形態に限定されるものではない。 The reduction condition may be any condition that determines a lower charge amount when the size of the advertising space is less than the first size threshold compared to when the size is equal to or greater than the first size threshold, and the reduction condition related to the size of the advertising space is not limited to the embodiment. The reduction condition may be any condition that determines a lower charge amount when the acute angle between the orientation of the advertising space and the reference orientation is less than the first angle threshold compared to when the acute angle is equal to or greater than the first angle threshold, and the reduction condition related to the orientation of the advertising image is not limited to the embodiment.

なお、課金額設定部４１４は、サイズと角度の両方が減額条件を満たす場合には、減額割合の多い方を適用するものとする。なお、他の例としては、課金額設定部４１４は、サイズと角度の両方が減額条件を満たす場合には、両方の減額割合を積算することとしてもよい。また、他の例としては、課金額設定部４１４は、例えば、面積比が５０％未満になった場合に５０％減額し、面積比が２５％未満になった場合に７５％減額する、というように、段階的に減額するような課金額を決定してもよい。 When both size and angle satisfy the reduction conditions, the charge amount setting unit 414 applies the larger reduction rate. As another example, when both size and angle satisfy the reduction conditions, the charge amount setting unit 414 may add up the reduction rates of both. As another example, the charge amount setting unit 414 may determine a charge amount that is reduced in stages, for example, by reducing the amount by 50% when the area ratio is less than 50%, and by reducing the amount by 75% when the area ratio is less than 25%.

なお、仮想視点画像における広告枠の表示様態は、仮想視点と広告枠の仮想空間における位置関係に応じて定まるものである。すなわち、課金額設定部４１４が表示様態に基づいて課金額を設定する処理は、位置関係に基づいて課金額を決定する決定処理の一例である。 The display mode of the advertisement frame in the virtual viewpoint image is determined according to the positional relationship in the virtual space between the virtual viewpoint and the advertisement frame. In other words, the process in which the charge amount setting unit 414 sets the charge amount based on the display mode is an example of a determination process that determines the charge amount based on the positional relationship.

以上、図４を用いて画像生成装置１２０の構成例について説明したが、画像生成装置１２０の構成はこれに限定されるものではない。例えば、撮影画像取得部４０１、前景背景分離部４０２、撮影画像保持部４０３、カメラパラメータ保持部４０４、及び被写体形状生成部４０５は、画像生成装置１２０とは別の装置内に構成されてもよい。この場合、画像生成装置１２０はその別の装置との間で各種のデータを通信して上述したような処理を行えばよい。 Although an example of the configuration of the image generating device 120 has been described above using FIG. 4, the configuration of the image generating device 120 is not limited to this. For example, the captured image acquisition unit 401, the foreground/background separation unit 402, the captured image storage unit 403, the camera parameter storage unit 404, and the subject shape generation unit 405 may be configured in a device separate from the image generating device 120. In this case, the image generating device 120 may communicate various data with the separate device and perform the above-mentioned processing.

図５は、画像生成装置１２０による課金額決定処理を示すフローチャートである。Ｓ５０１において、仮想視点情報生成部４０７は、入力受付部４０６を介して端末装置１３０から仮想視点の設定指示を受け付け、設定指示に従い、仮想視点情報を更新する。次に、Ｓ５０２において、仮想視点画像生成部４０８は、仮想視点情報に基づいて、前景画像データと背景画像データを撮影画像保持部４０３から取得する。次に、Ｓ５０３において、仮想視点画像生成部４０８は、被写体形状情報を被写体形状生成部４０５から取得する。次に、Ｓ５０４において、仮想視点画像生成部４０８は、カメラパラメータ情報をカメラパラメータ保持部４０４から取得する。次に、Ｓ５０５において、仮想視点画像生成部４０８は、仮想広告配置情報を広告画像配置部４１２から取得する。なお、Ｓ５０２～Ｓ５０５の処理は、いずれもＳ５０１の処理の後に行われればよく、Ｓ５０２～Ｓ５０５の処理順序は実施形態に限定されるものではない。 Figure 5 is a flowchart showing the charge amount determination process by the image generating device 120. In S501, the virtual viewpoint information generating unit 407 receives a setting instruction for a virtual viewpoint from the terminal device 130 via the input receiving unit 406, and updates the virtual viewpoint information according to the setting instruction. Next, in S502, the virtual viewpoint image generating unit 408 acquires foreground image data and background image data from the captured image holding unit 403 based on the virtual viewpoint information. Next, in S503, the virtual viewpoint image generating unit 408 acquires subject shape information from the subject shape generating unit 405. Next, in S504, the virtual viewpoint image generating unit 408 acquires camera parameter information from the camera parameter holding unit 404. Next, in S505, the virtual viewpoint image generating unit 408 acquires virtual advertisement placement information from the advertisement image placement unit 412. Note that the processes of S502 to S505 may all be performed after the process of S501, and the order of the processes of S502 to S505 is not limited to that of the embodiment.

次に、Ｓ５０６において、仮想視点画像生成部４０８は、仮想視点情報と、仮想広告配置情報と、に基づいて、仮想視点から広告画像が見えるか否かを判定する。具体的には、仮想視点画像生成部４０８は、仮想視点と広告枠の位置関係が視認可能条件を満たす場合に、広告画像が見えると判定する。ここで、視認可能条件は、仮想視点と広告枠の位置関係に係る条件で、予めＨＤＤ３０４に設定されているものとする。本実施形態においては、仮想視点画像内に広告枠が含まれ、広告枠の向きと基準向きのなす鋭角が第２角度閾値以上であり、かつ広告枠のサイズが第２サイズ閾値以上である場合に、広告画像が見えると判定するような視認可能条件が設定されているものとする。ここで、第２サイズ閾値は、上述の減額条件において定義された第１サイズ閾値よりも小さい値とする。また、第２角度閾値は、減額条件において定義された第１角度閾値よりも小さい値とする。仮想視点画像生成部４０８は、仮想視点から広告画像が見える場合には（Ｓ５０６でＹＥＳ）、処理をＳ５０７へ進める。仮想視点画像生成部４０８は、仮想視点から広告画像が見えない場合には（Ｓ５０６でＮＯ）、処理をＳ５０８へ進める。 Next, in S506, the virtual viewpoint image generating unit 408 determines whether or not the advertisement image is visible from the virtual viewpoint based on the virtual viewpoint information and the virtual advertisement placement information. Specifically, the virtual viewpoint image generating unit 408 determines that the advertisement image is visible when the positional relationship between the virtual viewpoint and the advertisement frame satisfies the visibility condition. Here, the visibility condition is a condition related to the positional relationship between the virtual viewpoint and the advertisement frame, and is set in advance in the HDD 304. In this embodiment, it is assumed that the visibility condition is set such that the advertisement image is determined to be visible when the advertisement frame is included in the virtual viewpoint image, the acute angle between the orientation of the advertisement frame and the reference orientation is equal to or greater than the second angle threshold, and the size of the advertisement frame is equal to or greater than the second size threshold. Here, the second size threshold is set to a value smaller than the first size threshold defined in the reduction condition described above. In addition, the second angle threshold is set to a value smaller than the first angle threshold defined in the reduction condition. If the advertising image is visible from the virtual viewpoint (YES in S506), the virtual viewpoint image generation unit 408 advances the process to S507. If the advertising image is not visible from the virtual viewpoint (NO in S506), the virtual viewpoint image generation unit 408 advances the process to S508.

Ｓ５０７において、仮想視点画像生成部４０８は、仮想視点に対応した背景画像に広告画像を重畳し、射影変換する。このように、仮想視点画像生成部４０８は、仮想視点から広告画像が見える場合にのみ、広告画像を重畳する。すなわち、Ｓ５０６の処理は、仮想視点と広告枠の仮想空間における位置関係に基づいて仮想視点画像に広告画像を配置するか否かを判定する判定処理の一例である。次に、Ｓ５０８において、仮想視点画像生成部４０８は、前景画像データと、背景画像データと、カメラパラメータと、被写体形状情報と、仮想視点情報とに基づいて、仮想視点画像の背景画像を生成する。さらに、仮想視点画像生成部４０８は、仮想視点位置から見た被写体形状に対して、実カメラで撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。 In S507, the virtual viewpoint image generating unit 408 superimposes the advertisement image on the background image corresponding to the virtual viewpoint and performs projective transformation. In this way, the virtual viewpoint image generating unit 408 superimposes the advertisement image only when the advertisement image is visible from the virtual viewpoint. That is, the process of S506 is an example of a determination process for determining whether or not to place an advertisement image in the virtual viewpoint image based on the positional relationship in the virtual space between the virtual viewpoint and the advertisement frame. Next, in S508, the virtual viewpoint image generating unit 408 generates a background image of the virtual viewpoint image based on the foreground image data, the background image data, the camera parameters, the subject shape information, and the virtual viewpoint information. Furthermore, the virtual viewpoint image generating unit 408 generates a virtual viewpoint image by rendering (coloring process) the subject shape as seen from the virtual viewpoint position with the color information of the image data captured by the real camera.

次に、Ｓ５０９において、広告表示様態特定部４１３は、仮想視点画像と、広告配置情報と、に基づいて、広告の表示様態を特定する。次に、Ｓ５１０において、課金額設定部４１４は、Ｓ５０９において特定された表示様態と、減額条件とに基づいて、課金額を設定する。以上で、課金額決定処理が完了する。 Next, in S509, the advertisement display mode identification unit 413 identifies the display mode of the advertisement based on the virtual viewpoint image and the advertisement placement information. Next, in S510, the charge amount setting unit 414 sets the charge amount based on the display mode identified in S509 and the reduction conditions. This completes the charge amount determination process.

図６～図８は、課金額決定処理の説明図である。図６は、仮想空間における広告領域を示す図である。撮像装置１１０の撮影画像をもとに生成された仮想空間上で、仮想視点６０１に応じて撮影範囲６０２が設定され、撮影範囲６０２に含まれる被写体６０３を含んだ仮想視点画像が生成される。ここで、図６の広告領域６０４～６０７は、広告枠に対応した領域例である。広告領域６０４は、撮影範囲６０２にすべての領域が含まれ、基準サイズ及び基準向きで仮想視点画像に表示されるものとする。広告領域６０５は、そのすべての領域が撮影範囲６０２に含まれ、基準向きで仮想視点画像に表示されるものとする。ただし、広告領域６０５は、後方に位置するため、広告領域６０５のサイズは基準サイズの半分の面積であるものとする。 Figures 6 to 8 are explanatory diagrams of the charge amount determination process. Figure 6 is a diagram showing an advertising area in a virtual space. In a virtual space generated based on an image captured by the imaging device 110, a shooting range 602 is set according to a virtual viewpoint 601, and a virtual viewpoint image including a subject 603 included in the shooting range 602 is generated. Here, advertising areas 604 to 607 in Figure 6 are example areas corresponding to advertising frames. The advertising area 604 is assumed to be entirely included in the shooting range 602 and to be displayed in the virtual viewpoint image with a reference size and reference orientation. The advertising area 605 is assumed to be entirely included in the shooting range 602 and to be displayed in the virtual viewpoint image with a reference orientation. However, since the advertising area 605 is located at the rear, the size of the advertising area 605 is assumed to be half the area of the reference size.

広告領域６０６は、その一部が撮影範囲６０２に含まれているが、撮影範囲６０２に含まれない領域が存在する。これに対応し、仮想視点画像に表示される広告領域６０６のサイズは基準サイズの半分の面積であるものとする。なお、広告領域６０６は基準向きで仮想視点画像に表示されるものとする。また、広告領域６０７は、すべての領域が撮影範囲６０２に含まれるが、仮想視点画像における向きと基準向きのなす角が４５度であるものとする。このように、広告領域は、仮想視点の位置に応じて、多様なサイズ及び向きで表示され得る。 Although a portion of the advertising area 606 is included in the shooting range 602, there is an area that is not included in the shooting range 602. Correspondingly, the size of the advertising area 606 displayed in the virtual viewpoint image is half the area of the reference size. Note that the advertising area 606 is displayed in the virtual viewpoint image in a reference orientation. Furthermore, the entire advertising area 607 is included in the shooting range 602, but the angle between the orientation in the virtual viewpoint image and the reference orientation is 45 degrees. In this way, the advertising area can be displayed in various sizes and orientations depending on the position of the virtual viewpoint.

図７は、広告画像の一例を示す図である。広告画像７０１は、企業などの会社名ロゴや製品名ロゴ、製品イメージ画像などであるものとする。なお、広告画像は、広告枠に収まるようなサイズや縦横比であるとする。なお、広告枠に適合しない場合は、拡大縮小、縦横比変更、余白の付与などの変更処理が行われてもよいものとする。 Figure 7 is a diagram showing an example of an advertisement image. The advertisement image 701 may be a company logo, a product logo, a product image, or the like. The size and aspect ratio of the advertisement image are such that it fits within the advertisement frame. If the advertisement image does not fit the advertisement frame, modification processing such as enlarging or reducing the image, changing the aspect ratio, or adding margins may be performed.

図８は、図６に示す撮影範囲６０２に対応した仮想視点画像の表示例である。図８に示す仮想視点画像においては、図６を参照しつつ説明した各広告領域６０４～６０７に広告画像７０１が配置されている。広告８０１は、広告領域６０４に広告画像７０１が配置された画像である。広告８０１は、基準表示様態と同一である。したがって、１回の表示当たり１０円の広告料が基準額として設定されている場合には、１０円の広告料が課金額として設定される。 Figure 8 is a display example of a virtual viewpoint image corresponding to the shooting range 602 shown in Figure 6. In the virtual viewpoint image shown in Figure 8, advertising images 701 are arranged in each of the advertising areas 604 to 607 described with reference to Figure 6. Advertisement 801 is an image in which advertising image 701 is arranged in advertising area 604. Advertisement 801 is the same as the standard display mode. Therefore, if an advertising fee of 10 yen per display is set as the standard amount, the advertising fee of 10 yen is set as the charged amount.

広告領域６０５に配置された広告８０２は、基準サイズに対する面積比が５０％である。したがって、面積比が５０％以下の場合に基準額を５０％減額するという減額条件に従い、５円の広告料が課金額として設定される。広告領域６０６に配置された広告８０３は、見切れに伴い、基準サイズに対する面積比が５０％であるため、広告８０２と同様に５円の広告料が課金額として設定される。広告領域６０７に配置された広告８０４は、基準向きとのなす鋭角が４５度である。したがって、角度が４５度未満の場合に基準額を５０％減額するという減額条件に従い、５円の広告料が課金額として設定される。 Advertisement 802 placed in advertising area 605 has an area ratio of 50% relative to the reference size. Therefore, in accordance with the reduction condition that the base amount is reduced by 50% when the area ratio is 50% or less, an advertising fee of 5 yen is set as the amount charged. Advertisement 803 placed in advertising area 606 has an area ratio of 50% relative to the reference size due to clipping, so an advertising fee of 5 yen is set as the amount charged, just like advertisement 802. Advertisement 804 placed in advertising area 607 makes an acute angle of 45 degrees with the reference direction. Therefore, in accordance with the reduction condition that the base amount is reduced by 50% when the angle is less than 45 degrees, an advertising fee of 5 yen is set as the amount charged.

以上のように、第１の実施形態に係る画像処理システム１００は、仮想視点画像に広告を表示する場合に、広告の表示様態に応じた課金額を設定することができる。すなわち、仮想視点画像における広告効果に応じた金額を設定することができる。 As described above, when displaying an advertisement in a virtual viewpoint image, the image processing system 100 according to the first embodiment can set a charge amount according to the display mode of the advertisement. In other words, it is possible to set an amount according to the advertising effectiveness in the virtual viewpoint image.

第１の実施形態の第１の変形例について説明する。画像生成装置１２０は、広告画像の表示回数や表示時間に応じて課金額を段階化してもよいものとする。例えば、画像生成装置１２０は、試合開始から終了までなどの所定時間内で、広告の表示時間や表示回数をカウントしておき、その表示時間や、回数に応じて課金額を減額するか否かを決定する。より具体的には、画像生成装置１２０において、広告の表示時間の基準時間が３０秒と予め設定されているものとする。これに対し、例えば、図８の広告８０１の試合終了までの合計表示時間が５秒であったとする。この場合には、表示時間が基準時間に達しないため、課金額設定部４１４は、課金情報５０％減額の設定をする。また、課金額設定部４１４は、合計時間に限らず、基準表示回数に対する合計表示回数に応じて課金額を設定してもよい。 A first modified example of the first embodiment will be described. The image generating device 120 may step up the charge amount according to the number of times an advertisement image is displayed or the display time. For example, the image generating device 120 counts the display time and number of times an advertisement is displayed within a predetermined time, such as from the start to the end of a match, and determines whether or not to reduce the charge amount according to the display time and number of times. More specifically, the image generating device 120 is set in advance to a reference time for the display time of an advertisement as 30 seconds. In contrast, for example, the total display time of advertisement 801 in FIG. 8 until the end of the match is 5 seconds. In this case, since the display time does not reach the reference time, the charge amount setting unit 414 sets the charge information to a 50% reduction. In addition, the charge amount setting unit 414 may set the charge amount according to the total number of times displayed relative to the reference number of times, not limited to the total time.

また、第２の変形例としては、広告枠情報保持部４１０は、複数の広告枠情報を保持してもよい。また、広告画像保持部４１１は、複数の広告画像を保持してもよい。この場合、各広告枠に表示される広告画像は予め定められていてもよい。また、他の例としては、広告枠に表示される広告画像は、所定の規則に従い、仮想視点画像の生成の度に複数の広告画像の中から選択されるものとしてもよい。 As a second modified example, the advertising space information storage unit 410 may store multiple pieces of advertising space information. The advertising image storage unit 411 may store multiple advertising images. In this case, the advertising image displayed in each advertising space may be determined in advance. As another example, the advertising image displayed in the advertising space may be selected from multiple advertising images according to a predetermined rule each time a virtual viewpoint image is generated.

（第２の実施形態）
次に、第２の実施形態に係る画像処理システムについて、第１の実施形態に係る画像処理システム１００と異なる点を主に説明する。図９は、第２の実施形態に係る画像生成装置９００の機能構成図である。画像生成装置９００は、図４を参照しつつ説明した、第１の実施形態に係る画像生成装置１２０の構成に加えて、看板広告検知部９０１を有している。 Second Embodiment
Next, an image processing system according to the second embodiment will be described, focusing mainly on the differences from the image processing system 100 according to the first embodiment. Fig. 9 is a functional configuration diagram of an image generating device 900 according to the second embodiment. The image generating device 900 has a billboard advertisement detection unit 901 in addition to the configuration of the image generating device 120 according to the first embodiment described with reference to Fig. 4.

看板広告検知部９０１は、仮想視点画像生成部４０８が生成した仮想視点画像に含まれる背景画像内において、仮想広告枠位置に配置される広告画像と同一の看板広告を検知する。看板広告の検知は、画像認識などの画像処理技術を用いて行えばよい。看板広告検知部９０１は、例えば、予め用意した広告画像と、背景画像に含まれる看板広告の画像特徴量を抽出し、両者を比較することにより、広告画像と同一内容の看板広告を検知する。 The billboard advertisement detection unit 901 detects a billboard advertisement that is identical to the advertisement image placed at the virtual advertisement frame position in the background image included in the virtual viewpoint image generated by the virtual viewpoint image generation unit 408. The detection of the billboard advertisement may be performed using image processing techniques such as image recognition. For example, the billboard advertisement detection unit 901 detects a billboard advertisement with the same content as the advertisement image by extracting image features of a prepared advertisement image and a billboard advertisement included in the background image and comparing the two.

なお、ここでは、検知対象を看板広告としているが、検知対象は実空間に物理的に存在する広告であればよく、看板として設置された広告に限定されるものではない。また、検知対象の広告内容は、広告画像と同一の内容に限定されるものではなく、例えば、デザインの異なる同一企業の看板広告であってもよい。このように、看板広告検知部９０１は、仮想視点画像に含める広告画像に関連する広告を検知すればよく、検知対象は同一の広告に係る看板広告に限定されるものではない。例えば、所定のロゴが一致、商品名が一致等、検知対象の広告内容を予め設定することで、看板広告検知部９０１は、実空間に存在する所望の広告を検知することができる。なお、仮想視点画像に挿入される仮想広告に関連する実空間内の広告が存在するか否かの判定は、仮想視点画像や撮像画像に対する画像認識を用いる方法に限定されない。例えば看板広告検知部９０１は、実空間に設置された看板広告の内容やスポンサー企業の情報と、その看板広告の設置位置を示す情報とを、ユーザ操作等に基づいて予め取得しておいてもよい。 Here, the detection target is a billboard advertisement, but the detection target may be an advertisement that physically exists in the real space, and is not limited to an advertisement installed as a billboard. The advertisement content of the detection target is not limited to the same content as the advertisement image, and may be, for example, a billboard advertisement of the same company with a different design. In this way, the billboard advertisement detection unit 901 only needs to detect an advertisement related to the advertisement image to be included in the virtual viewpoint image, and the detection target is not limited to a billboard advertisement related to the same advertisement. For example, by setting the advertisement content of the detection target in advance, such as a match of a specific logo or a match of a product name, the billboard advertisement detection unit 901 can detect a desired advertisement existing in the real space. Note that the determination of whether or not an advertisement exists in the real space related to the virtual advertisement inserted in the virtual viewpoint image is not limited to a method using image recognition on the virtual viewpoint image or the captured image. For example, the billboard advertisement detection unit 901 may acquire in advance the content of the billboard advertisement installed in the real space, information on the sponsor company, and information indicating the installation position of the billboard advertisement, based on a user operation, etc.

課金額設定部９０２は、表示様態情報と、看板広告検知部９０１から取得した看板広告検知情報とに基づき、広告料の課金額を設定する。課金額設定部９０２は、第１の実施形態に係る課金額設定部４１４と同様に、表示様態と、減額条件とに基づいて、課金額を設定する。課金額設定部９０２はさらに、仮想視点画像内に看板広告が含まれる場合には、看板広告の広告効果があるとみなし、広告画像に対する広告料をさらに減額する。課金額設定部９０２は、例えば、看板広告が含まれる場合には、看板広告が含まれない場合に対し５０％減額する。なお、課金額設定部９０２は、広告が検知された場合に、広告が検知されない場合に比べて少ない課金額を、広告画像の課金額として決定すればよく、具体的な方法（額、減額率）は実施形態に限定されるものではない。 The charge amount setting unit 902 sets the charge amount for the advertising fee based on the display mode information and the billboard advertisement detection information acquired from the billboard advertisement detection unit 901. The charge amount setting unit 902 sets the charge amount based on the display mode and the reduction conditions, similar to the charge amount setting unit 414 according to the first embodiment. Furthermore, when a billboard advertisement is included in the virtual viewpoint image, the charge amount setting unit 902 considers that the billboard advertisement has advertising effectiveness, and further reduces the advertising fee for the advertising image. For example, when a billboard advertisement is included, the charge amount setting unit 902 reduces the amount by 50% compared to when a billboard advertisement is not included. Note that when an advertisement is detected, the charge amount setting unit 902 may determine a charge amount for the advertising image that is less than when an advertisement is not detected, and the specific method (amount, reduction rate) is not limited to the embodiment.

なお、課金額設定部９０２は、表示様態に関する減額条件と、看板広告に関する減額条件の両方を満たす場合には、２つの減額条件に応じた減額率を積算する。例えば、広告画像のサイズが基準画像のサイズの半分で、かつ看板広告が存在するとする。この場合には、課金額設定部９０２は、サイズに応じて課金額を基準額の１０円から５０％減額し、さらに広告画像に応じて課金額を５０％減額する。これにより、最終的な課金額は、２．５円になる。 When both the reduction conditions related to the display format and the reduction conditions related to the billboard advertisement are met, the charge amount setting unit 902 adds up the reduction rates according to the two reduction conditions. For example, assume that the size of the advertisement image is half the size of the reference image and a billboard advertisement is present. In this case, the charge amount setting unit 902 reduces the charge amount by 50% from the reference amount of 10 yen according to the size, and further reduces the charge amount by 50% according to the advertisement image. As a result, the final charge amount becomes 2.5 yen.

図１０は、第２の実施形態に係る画像生成装置９００による課金額決定処理を示すフローチャートである。なお、図１０に示す処理のうち、図５に示す各処理と同じ処理には同じ番号を付し、説明を省略する。Ｓ５０５の処理の後、Ｓ１００１において、仮想視点画像生成部４０８は、まず背景画像のみを使用した仮想視点画像を生成する。次に、Ｓ１００２において、看板広告検知部９０１は、看板広告を検知する。看板広告検知部９０１は、看板広告を検知した場合には（Ｓ１００２でＹＥＳ）、処理をＳ１００３へ進める。看板広告検知部９０１は、看板広告を検知しなかった場合には（Ｓ１００２でＮＯ）、処理をＳ５０６へ進める。Ｓ１００３において、課金額設定部９０２は、課金割合を変更する。課金額設定部９０２は、例えば、広告表示様態特定部４１３の表示様態情報に基づいて決定される課金額に対して、さらに５０％減額する設定を設けるなどとする。ＣＰＵ３０１は、Ｓ１００３の処理の後、処理をＳ５０６へ進める。 Figure 10 is a flowchart showing the charge amount determination process by the image generating device 900 according to the second embodiment. Note that, among the processes shown in Figure 10, the same processes as those shown in Figure 5 are given the same numbers, and the description is omitted. After the process of S505, in S1001, the virtual viewpoint image generating unit 408 first generates a virtual viewpoint image using only the background image. Next, in S1002, the billboard advertisement detection unit 901 detects a billboard advertisement. If the billboard advertisement detection unit 901 detects a billboard advertisement (YES in S1002), the process proceeds to S1003. If the billboard advertisement detection unit 901 does not detect a billboard advertisement (NO in S1002), the process proceeds to S506. In S1003, the charge amount setting unit 902 changes the charge rate. For example, the charge amount setting unit 902 sets a setting to further reduce the charge amount determined based on the display mode information of the advertisement display mode identification unit 413 by 50%. After processing S1003, the CPU 301 advances the process to S506.

図１１及び図１２は、課金設定処理の説明図である。図１１は、仮想空間における広告領域と、看板広告を示す図である。図１１に示す撮影範囲６０２には、図６に示す撮影範囲６０２と同様に、広告領域６０４～６０７が含まれている。図１１に示す撮影範囲６０２にはさらに、看板広告１１０１が含まれている。なお、看板広告１１０２は撮影範囲６０２の外に配置されている。図１２は、図１１に示す撮影範囲６０２に対応した仮想視点画像の表示例である。仮想視点画像には、広告領域６０４～６０７に対応した広告８０１～８０４に加えて、看板広告１１０１が表示される。 FIGS. 11 and 12 are explanatory diagrams of the charge setting process. FIG. 11 is a diagram showing an advertising area and a billboard advertisement in a virtual space. The shooting range 602 shown in FIG. 11 includes advertising areas 604 to 607, similar to the shooting range 602 shown in FIG. 6. The shooting range 602 shown in FIG. 11 further includes a billboard advertisement 1101. Note that the billboard advertisement 1102 is placed outside the shooting range 602. FIG. 12 is a display example of a virtual viewpoint image corresponding to the shooting range 602 shown in FIG. 11. In addition to advertisements 801 to 804 corresponding to the advertising areas 604 to 607, the billboard advertisement 1101 is displayed in the virtual viewpoint image.

このように、仮想視点画像に看板広告１１０１が含まれる場合には、広告料の割合更新が行われる（Ｓ１００３）。例えば、表示様態に応じた減額に対し、さらに５０％の減額が適用される。したがって、広告８０２の１回の表示当たり１０円の広告料である場合、表示様態（面積）により５０％減額の５円の広告料が算出され、さらに、看板広告１１０１の表示により、５０％減額の２．５円の広告料が算出される。なお、第２の実施形態に係る画像処理システムのこれ以外の構成及び処理は、第１の実施形態に係る画像処理システム１００の構成及び処理と同様である。 In this way, when the virtual viewpoint image includes the billboard advertisement 1101, the advertising fee rate is updated (S1003). For example, a further 50% reduction is applied to the reduction according to the display mode. Therefore, if the advertising fee for one display of advertisement 802 is 10 yen, a 50% reduction to 5 yen is calculated based on the display mode (area), and a further 50% reduction to 2.5 yen is calculated based on the display of billboard advertisement 1101. Note that the other configurations and processes of the image processing system according to the second embodiment are similar to those of the image processing system 100 according to the first embodiment.

以上のように、第２の実施形態の画像処理システム１００は、仮想視点画像に仮想広告を表示する場合に、実空間に存在する広告の広告効果を加味して、仮想広告の課金額を設定する。これにより、仮想視点画像全体の広告効果に応じた広告料を設定することができる。 As described above, when displaying a virtual advertisement in a virtual viewpoint image, the image processing system 100 of the second embodiment sets the charge for the virtual advertisement taking into account the advertising effectiveness of advertisements present in the real space. This makes it possible to set an advertising fee according to the advertising effectiveness of the entire virtual viewpoint image.

第２の実施形態の変形例としては、画像生成装置９００は、看板広告の有無だけでなく、看板広告のサイズや角度等の看板広告の表示様態に応じて、減額割合を変更してもよい。この場合には、看板広告検知部９０１は、看板広告の有無だけでなく、看板広告のサイズや角度も検知するものとする。課金額設定部９０２は、例えば、看板広告のサイズに応じて、減額割合を異ならせてもよい。このように、課金額設定部９０２は、看板広告と仮想視点との位置関係に基づいて、広告画像の課金額を決定してもよい。 As a variation of the second embodiment, the image generating device 900 may change the discount rate depending not only on the presence or absence of a billboard advertisement, but also on the display mode of the billboard advertisement, such as the size and angle of the billboard advertisement. In this case, the billboard advertisement detection unit 901 detects not only the presence or absence of a billboard advertisement, but also the size and angle of the billboard advertisement. The charge amount setting unit 902 may vary the discount rate depending on, for example, the size of the billboard advertisement. In this way, the charge amount setting unit 902 may determine the charge amount for the advertising image based on the positional relationship between the billboard advertisement and the virtual viewpoint.

また、他の例としては、画像生成装置９００には、看板広告が適切なサイズや品質で表示され得る看板広告の表示様態の条件が予め設定されているものとする。そして、仮想視点画像生成部４０８は、看板広告の表示様態がこの条件を満たす場合には、仮想広告を仮想視点画像に重畳しないように制御してもよい。看板広告が表示されている状態でさらに広告画像を表示しても、広告画像による更なる広告効果が期待できないためである。本処理は、重畳制御処理の一例である。なお、さらに、この場合、課金額設定部９０２は、課金額をゼロとする。すなわち、課金額設定部９０２は、課金を行わないように決定する。 As another example, the image generating device 900 is set in advance with conditions for the display mode of the billboard advertisement, which allows the billboard advertisement to be displayed in an appropriate size and quality. Then, when the display mode of the billboard advertisement satisfies these conditions, the virtual viewpoint image generating unit 408 may control so as not to superimpose the virtual advertisement on the virtual viewpoint image. This is because even if an advertising image is further displayed while the billboard advertisement is being displayed, further advertising effect due to the advertising image cannot be expected. This process is an example of a superimposition control process. Furthermore, in this case, the charge amount setting unit 902 sets the charge amount to zero. In other words, the charge amount setting unit 902 determines not to charge.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and various modifications and variations are possible within the scope of the gist of the present invention described in the claims.

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Other Examples
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.

１００画像処理システム
１１０撮像装置
１２０画像生成装置
１３０端末装置 100 Image processing system 110 Imaging device 120 Image generating device 130 Terminal device

Claims

an acquisition means for acquiring virtual viewpoint information indicating a position and a direction of a virtual viewpoint corresponding to a virtual viewpoint image generated based on a plurality of captured images captured from different directions by a plurality of imaging devices;
and a determination means for determining an advertising fee according to a display mode of an advertising image displayed in the advertising space in the virtual viewpoint image corresponding to a virtual viewpoint indicated by the virtual viewpoint information, based on information indicating an advertising space preset in a virtual space and the virtual viewpoint information,
The information processing device is characterized in that, when an advertisement that exists in the real space is depicted in the virtual viewpoint image, the determination means determines an advertising fee for an advertising image displayed in the advertising space from a company that is placing the depicted advertisement to be lower than a fee in a case where an advertisement that exists in the real space is not depicted in the virtual viewpoint image .

The information processing device according to claim 1, characterized in that the position, orientation and size of the advertising space in the virtual space are preset.

The information processing apparatus according to claim 1 , wherein the determining means determines the advertising fee based on a positional relationship between the virtual viewpoint and the advertising frame in the virtual space.

The information processing apparatus according to claim 1 , wherein the determining means determines the advertising fee based on a size of the advertising frame in the virtual viewpoint image.

The information processing device according to claim 4, characterized in that the determination means determines a lower amount when the size of the advertising space in the virtual viewpoint image is less than a size threshold, compared to when the size is equal to or greater than the size threshold.

2 . The information processing apparatus according to claim 1 , wherein the determining means determines the advertising fee based on an angle between a line of sight of the virtual viewpoint and a surface of the advertising frame.

The information processing device according to claim 6, characterized in that the determination means determines a lower amount when the acute angle between the line of sight of the virtual viewpoint and the surface of the advertising space is less than an angle threshold value compared to when the angle is equal to or greater than the angle threshold value.

The method further includes a determination means for determining whether or not to place an advertisement image in the virtual viewpoint image based on a positional relationship between the virtual viewpoint and the advertisement frame in the virtual space,
2. The information processing apparatus according to claim 1 , wherein the determining means determines the advertising fee corresponding to the advertising image to be placed when the determining means determines that the advertising image is to be placed.

2 . The information processing apparatus according to claim 1 , wherein the determining means determines the advertising fee based on a positional relationship between the advertisement and the virtual viewpoint when the advertisement is detected.

The information processing device according to claim 1, characterized in that the determination means determines a lower amount when the advertisement is detected and the positional relationship between the advertisement and the virtual viewpoint satisfies a predetermined condition, compared to when the advertisement is included and the positional relationship does not satisfy the condition.

and a superimposition control means for controlling not to superimpose the advertisement image on the advertisement frame when the advertisement is included and a positional relationship between the advertisement and the virtual viewpoint satisfies a predetermined condition,
2. The information processing apparatus according to claim 1 , wherein the determining means determines not to charge for the advertisement image when the advertisement image is not superimposed.

An information processing method executed by an information processing device,
an acquisition step of acquiring virtual viewpoint information indicating a position and a direction of a virtual viewpoint corresponding to a virtual viewpoint image generated based on a plurality of captured images captured from different directions by a plurality of imaging devices;
a determination step of determining an advertising fee according to a display mode of an advertising image displayed in the advertising space in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information, based on information indicating an advertising space preset in a virtual space and the virtual viewpoint information ;
The information processing method is characterized in that, in the determination step, when an advertisement existing in real space is depicted in the virtual viewpoint image, an advertising fee is determined for an advertising image displayed in the advertising space from a company that is placing the depicted advertisement at a lower amount than when an advertisement existing in real space is not depicted in the virtual viewpoint image .

an acquisition step of acquiring virtual viewpoint information indicating a position and a direction of a virtual viewpoint corresponding to a virtual viewpoint image generated based on a plurality of captured images captured from different directions by a plurality of imaging devices;
a determination step of determining an advertising fee according to a display mode of an advertising image displayed in the advertising space in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information, based on information indicating an advertising space preset in a virtual space and the virtual viewpoint information;
The determination process includes a program for causing an information processing device to execute a control method for determining an advertising fee for an advertising image displayed in the advertising space from a company that is placing the depicted advertisement when an advertisement that exists in real space is depicted in the virtual viewpoint image, which is lower than the advertising fee when an advertisement that exists in real space is not depicted in the virtual viewpoint image .