JP2019009766A - 表示制御装置、表示制御方法、およびプログラム - Google Patents

Abstract

【課題】 仮想視点画像の生成に係るシステムの構成要素の状態をユーザが容易に知ることができるようにするための技術を提供することを目的とする。【解決手段】 仮想視点画像を生成するための画像を撮像する複数の撮像装置に関する情報を表示させる表示制御装置であって、複数の撮像装置に関する情報を取得する取得手段と前記取得手段により取得された情報に基づく、前記複数の撮像装置夫々が撮像した画像を伝送するための前記複数の撮像装置の通信接続に関する情報を、表示部に表示させる表示制御を行う表示制御手段と、を有することを特徴とする。【選択図】 図１５

Description

本発明は、表示制御装置、表示制御方法、およびプログラムに関する。

近年、複数の撮像装置を異なる位置に設置し、複数の撮像装置が同期して被写体を撮像し、当該撮像により得られた複数の視点の画像を用いて、撮像装置の設置位置の画像だけでなく任意の視点の画像を仮想視点画像として生成する技術が注目されている。

複数の視点の画像に基づく仮想視点画像の生成および閲覧は、例えば、次のようにして実現することができる。まず、複数の撮像装置が撮像した画像をサーバなどの画像生成装置に集約する。そして、画像生成装置は、複数の撮像装置が撮像した画像を用いて、仮想視点に基づくレンダリングなどの処理を施して仮想視点画像を生成し、ユーザの視聴端末に仮想視点画像を表示する。

サッカーやバスケットボールの試合を撮像した画像から、画像コンテンツ制作者により指定された視点に応じた仮想視点画像を生成することにより迫力のある視点のコンテンツを制作することができる。また、コンテンツを視聴しているユーザ自身が視聴端末に備えたコントローラやタブレット等を使用して自由に視点を移動し、画像生成装置がその視点に応じた仮想視点画像を生成することにより、ユーザは、自身の好みの視点で、試合を観戦することができる。従って、仮想視点画像を用いたサービスでは、視点を任意に変更できない従来の撮像画像と比較してユーザにその場面にいるような臨場感を与えることができる。

特許文献１には、一つ以上の画像を元にユーザが好みの視点を選択し、当該画像と当該選択された視点の情報から仮想視点画像を生成する技術が開示されている。また、特許文献１では、ユーザが好みの視点を選択する際のＵＩ（ユーザインターフェース）に関しても開示している。

特開２０１４−２３６８９６号公報

しかしながら、仮想視点画像の生成に係るシステムの構成要素の状態をユーザが容易に知ることができない恐れがあった。

例えば、複数の撮像装置の少なくとも一つが、故障したり、正常な撮影ができなかったり、撮像画像を出力できなかったりする場合、仮想視点画像の品質の低下など不具合が生じ得る。また、複数の撮像装置それぞれの撮影範囲や露光条件を示す撮影パラメータなどが適切に設定されていない場合も、仮想視点画像の品質の低下など不具合が生じ得る。しかしながら、ユーザがこれらの撮像装置の状態を把握することができれば、修理や撮影パラメータの設定などを行うことができ、仮想視点画像の品質の低下などの不具合の発生を低減することができる。なお、上記した構成要素は撮像装置に限らない。例えば、仮想視点画像を生成するサーバ、仮想視点画像を生成するためのシステムを構成するスイッチやルータ、及びネットワークケーブルなども構成要素となりうる。

本発明は、かかる課題に鑑みてなされたものであり、その目的は、仮想視点画像の生成に係るシステムの構成要素の状態をユーザが容易に知ることができるようにするための技術を提供することである。

本発明の表示制御装置は、仮想視点画像を生成するための画像を撮像する複数の撮像装置に関する情報を表示させる表示制御装置であって、複数の撮像装置に関する情報を取得する取得手段と、前記取得手段により取得された情報に基づく、前記複数の撮像装置夫々が撮像した画像を伝送するための前記複数の撮像装置の通信接続に関する情報を、表示部に表示させる表示制御を行う表示制御手段と、を有することを特徴とする。

本発明によれば、仮想視点画像の生成に係るシステムの構成要素の状態をユーザが容易に知ることができるようになる

表示システムの構成を示す図である。 撮像装置の配置を示す図である。 撮像装置のハードウェアの構成を示す図である。 撮像装置の機能的な構成の第１の例を示す図である。 撮像装置の動作の第１の例を示すフローチャートである。 前景画像データおよび背景画像データを示す図である。 装置のハードウェアの構成を示す図である。 画像生成装置の機能的な構成の第１の例を示す図である。 画像生成装置の動作を示すフローチャートである。 情報表示装置の機能的な構成の第１の例を示す図である。 情報表示装置の動作の第１の例を示すフローチャートである。 情報表示装置のデータ保持部が保持しているデータ例を示す図である。 情報表示装置のデータ保持部が保持しているデータ例を示す図である。 情報表示装置のデータ保持部が保持しているデータ例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置のＵＩ生成部の処理を示すフローチャートである。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部の処理を示す表示イメージの例を示す図である。 情報表示装置のＵＩ生成部のレイヤー描画処理イメージの例を示す図である。 情報表示装置のＵＩ生成部の表示切替処理のイメージ図である。 情報表示装置のＵＩ生成部の表示切替の表示イメージ例を示す図である。 表示イメージ上の撮像装置の状態を示した例を示す図である。 表示イメージ上の撮像装置の状態をリストして示した例を示す図である。 情報表示装置の表示処理のフローチャートである。 撮像装置の状態をリスト表示した例を示す図である。 リスト表示の切り替え動作のイメージ図である。 撮像装置を操作する操作ＵＩの例を示す図である。 撮像装置を操作する操作ＵＩの例を示す図である。 情報表示装置の機能的な構成の変形例を示す図である。 情報表示装置の画像表示処理の一例を説明するフローチャートである。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置の操作ＵＩによる撮像装置の設定のための処理を示すフローチャートである。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。

以下、図面を参照して、実施形態を説明する。本実施形態では、撮影対象であり、撮像装置の設置場所である競技場を模した画像上に、各撮像装置の設置位置、撮像装置間のネットワーク接続関係、及び各撮像装置と撮像対象エリアとの関係のうち少なくとも１つ以上を表示する例を説明する。

図１は、本実施形態の表示システムの構成の一例を示す図である。本実施形態の表示システムは、複数の撮像装置１００−１、１００−２、・・・１００−Ｍを有する撮像システム１００と、画像生成装置２００と、ユーザ端末３００と、情報表示装置４００と、分配装置５００とを有する。各々の装置は、画像や制御情報を伝送する為の伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルの具体例としては、ＥＴＨＥＲＮＥＴ（登録商標）であるＩＥＥＥ標準準拠のＧＢＥ（ギガビットイーサーネット）や１０ＧＢＥが挙げられる。ただし、伝送ケーブルは、これらに限定されず、他の種別のケーブルであってもよい。また、各々の装置は無線通信を行ってもよい。

撮像システム１００は、Ｍ個の撮像装置（撮像装置１００−１、１００−２、・・・、１００−Ｍ）を有する。以下、特定の撮像装置を示さない場合、撮像装置１００−１、１００−２、・・・、１００−Ｍを、撮像装置１００−Ｘと称する。なお、ここで記載されるＭ、Ｎ（後述）、Ｘは、整数値を示す。

相互に隣り合う位置にある撮像装置１００−Ｘ同士（例えば、撮像装置１００−１と撮像装置１００−２）は、伝送ケーブルを介して相互に接続される。撮像装置１００−Ｘは、撮像画像や撮像装置１００−Ｘの状態情報を画像生成装置２００および情報表示装置４００へ伝送する。状態情報については後述する。図１では、撮像装置１００−１は、撮像装置１００−２と相互に接続される。また、撮像装置１００−２は、撮像装置１００−１に加え、撮像装置１００−２と隣り合う位置にある不図示のもう１つの撮像装置と相互に接続される。そして、撮像装置１００−Ｎは、撮像装置１００−Ｎと隣り合う位置にある不図示の撮像装置と相互に接続される。また、撮像装置１００−Ｎは、分配装置５００と相互に接続される。なお、撮像装置間はデイジーチェーンにより接続される例を示すが、例えばスター型接続など他の接続形態により接続されてもよい。本実施形態では、こうした接続グループが２つある。つまり、もう一つは、撮像装置１００−（Ｎ＋１）から撮像装置１００−Ｍまでの撮像システムも同様の接続を行う。なお、この接続グループの数は２つに限らず、１つでも３つ以上あってもよい。

撮像装置１００−Ｘは、サッカー場などの競技場や特定の被写体を取り囲むように配置される。図２は、撮像装置１００−Ｘの配置の一例を示す図である。図２に示す例では、サッカー場などの競技場２１０の全てまたは一部の範囲が複数の撮像装置１００−Ｘで撮像されるように、複数の撮像装置１００−Ｘが配置される。

複数の撮像装置１００−Ｘは、例えばデジタルカメラであり、不図示の同期装置からの同期信号に基づき、同じタイミングで撮像を行う。撮像装置１００−Ｘにより撮像された画像は、伝送ケーブルと分配装置５００とを介し、画像生成装置２００および情報表示装置４００に伝送される。撮像装置１００−Ｘは、静止画像を撮像するカメラであっても、動画像を撮像するカメラであっても、静止画像および動画像の双方を撮像するカメラであってもよい。本実施形態では、画像という文言を特に断りがない限り静止画および動画を含むものとして説明を行う。

画像生成装置２００は、分配装置５００を介して撮像装置１００−Ｘと相互に接続される。また、画像生成装置２００は、ユーザ端末３００や情報表示装置４００とも相互に接続される。画像生成装置２００は、撮像装置１００−Ｘにより撮像された画像を蓄積する。画像生成装置２００は、ユーザ端末３００の操作に基づく仮想視点情報を入力した場合、複数の撮像装置１００−Ｘにより撮像された画像を用いて、仮想視点情報に対応した仮想視点画像を生成する
画像生成装置２００は、生成した仮想視点画像を、ユーザ端末３００に伝送する。ここで、仮想視点情報には、位置情報と方向情報とが少なくとも含まれる。位置情報は、競技場２１０の中央などの所定位置に対する相対的な位置（例えば、所定位置を基準とした場合の、前後方向、左右方向及び上下方向の位置）を示す情報である。なお、位置情報は絶対的な座標を示す情報であってもよい。方向情報は、その所定位置からの向き（例えば、所定の位置を原点とし、前後方向、左右方向及び上下方向を軸とする３次元直交座標系での各軸からの角度）を示す情報である。また、方向情報は、絶対的な方向を示す情報であってもよい。仮想視点情報は、仮想視点画像を生成するための、視点の位置及び視線の方向を示す情報である。また、仮想視点情報は、仮想視点画像を生成するための仮想カメラの位置姿勢を示す情報である。

画像生成装置２００は、例えば、サーバ装置であり、データベース機能（画像保存部２０２として後述）や、画像処理機能（仮想視点画像生成部２０３として後述）を有する。画像生成装置２００が用いるデータベースは、競技の開始前の競技会場の場面など、予め選手などの特定の被写体が存在しない状態の競技会場の場面を撮像した画像を背景画像データとして、予め保持する。背景画像データは、撮像画像から特定の被写体を抽出するための前景背景分離処理に用いられる。

ユーザ端末３００は、操作用のコントローラを有する。ユーザ端末３００は、ユーザのコントローラの操作に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、および視点の切り替えの指示を受け付け、その内容を示す伝送信号を仮想視点情報として画像生成装置２００へ伝送する。また、ユーザ端末３００は、画像生成装置２００から受信した仮想視点画像をユーザ端末３００に備えた表示画面に表示する。仮想視点画像は、静止画像であっても動画像であってもよい。ここで、ユーザ端末３００は、例えば、ＰＣ（ＰＥＲＳＯＮＡＬ ＣＯＭＰＵＴＥＲ）やタブレットであり、コントローラは、例えば、マウス、キーボード、６軸コントローラ、およびタッチパネルの少なくとも１つを有する。

情報表示装置４００は、分配装置５００を介して撮像装置１００−Ｘや画像生成装置２００と相互に接続される。情報表示装置４００は、撮像装置１００−Ｘにより撮像された撮像画像や撮像装置１００−Ｘの状態情報を受信し、後述する表示画面（表示部４０４）に表示する。また、情報表示装置４００は、撮像装置１００−Ｘの設置場所や撮像装置間の接続関係や属するグループの情報などをデータベースから取得し、取得した情報を表示画面に表示する。また、情報表示装置４００は、画像生成装置２００の状態情報も受信し、表示画面に表示する。情報表示装置４００に表示された情報を監視担当者が閲覧する。監視担当者は、情報表示装置４００の表示画面に表示された撮像画像などを用いて撮像システム１００や画像生成装置２００の状態を定常的に監視する。

分配装置５００は、撮像装置１００−Ｘから受信した撮像画像を、画像生成装置２００および情報表示装置４００に分配する。

次に、撮像装置１００−Ｘの構成の一例について説明する。図３は、撮像装置１００−Ｘのハードウェアの構成の一例を示す図である。撮像光学系３０１（光学レンズ系）は、被写体からの光を撮像素子３０２に結像する。撮像素子３０２は、結像された光を電気信号に変換し、その電気信号をＡ／Ｄコンバータ３０３に出力する。Ａ／Ｄコンバータ３０３は、入力された電気信号をデジタル信号に変換し、変換したデジタル信号を画像処理回路３０４に入力する。尚、撮像素子３０２は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。

システムコントローラ３０８は、例えば、ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）、ＲＯＭ（ＲＥＡＤ ＯＮＬＹ ＭＥＭＯＲＹ）、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）などを有する。システムコントローラ３０８は、ＲＯＭに記録されたコンピュータプログラムを実行すること等により撮像装置１００−Ｘを制御する。

画像処理回路３０４は、Ａ／Ｄコンバータ３０３から入力したデジタル信号（画像信号）に対して各種の画像処理を行う。画像処理としては、例えば、例えば、ホワイトバランス調整、色補正、およびガンマ補正などが含まれる。画像処理回路３０４により画像処理された画像信号は記録媒体３０７に保存されたり、表示装置３０５により表示されたりする。また、画像処理回路３０４は、撮像部１０２から入力された撮像画像のうち、競技場２１０で競技中に撮像された画像から選手などの被写体を抽出する処理を実行する。

撮像光学系制御回路３０６は、システムコントローラ３０８からの制御信号に基づいて、撮像光学系３０１に含まれるレンズなどを駆動する。なお、図示した撮像装置１００−Ｘの構成は例示であり、必ずしもすべての構成を有する必要はないし、他の構成を有していてもよい。例えば、表示装置３０５は撮像装置１００−Ｘに必須の構成ではない。

図４は、本実施形態の撮像装置１００−Ｘの機能的な構成の一例を示す図である。図５は、本実施形態の撮像装置１００−Ｘの動作の一例を説明するフローチャートである。尚、図５のフローチャートは、例えば、撮像装置１００−Ｘで撮像画像が得られる度に実行される。図５のフローチャートに示す処理は、システムコントローラ３０８が情報の演算や各ハードウェアを制御することで実現される。なお、図５のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

図４に示す通り、撮像装置１００−Ｘは、レンズ部１０１、撮像部１０２、前景背景分離部１０３、状態情報保持部１０４、出力部１０５、制御部１０６、及び制御信号入力部１０７を有する。これらは、内部バス１０８によって相互に接続され、制御部１０６による制御の下、相互にデータを送受信することができる。なお、図４のレンズ部１０１は図３の撮像光学系３０１及び撮像光学系制御回路３０６に対応し、図４の撮像部１０２は図３の撮像素子３０２及びＡ／Ｄコンバータ３０３に対応する。また、図４の前景背景分離部１０３が実行すべき処理は図３の画像処理回路３０４により実行される。また、図４の状態情報保持部１０４、出力部１０５、制御部１０６、及び制御信号入力部１０７の機能は、図３のシステムコントローラ３０８により実現される。また、図５の処理は、図３のシステムコントローラ３０８が記録媒体３０７に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。以下、各部の構成の一例を詳細に説明する。

レンズ部１０１は、撮像部１０２の前段に設置されており、撮像対象からの入射光を撮像部１０２へ結像する。レンズ部１０１は、レンズのズームやフォーカスを調整することができる。撮像部１０２は、レンズ部１０１により結像された入射光の露出動作を行い電気信号に変換する。また、撮像部１０２は、変換後の信号に対して、センサの出力の欠損やレンズ光学特性のバラつきの補正などの信号処理を施す。また、撮像部１０２は、信号処理の結果に基づいて、ＲＡＷ、ＪＰＥＧ（ＪＯＩＮＴ ＰＨＯＴＯＧＲＡＰＨＩＣ ＥＸＰＥＲＴＳ ＧＲＯＵＰ）、もしくはＢＭＰ（ＢＩＴＭＡＰ ＩＭＡＧＥ）などの画像フォーマットの撮像画像に変換する。撮像画像は、前景背景分離部１０３へ出力される。本実施形態では、以上のようにして撮像画像が取得される（Ｓ５０１）。

前景背景分離部１０３は、撮像部１０２から入力された撮像画像のうち、競技場２１０で競技中に撮像された画像から選手などの特定の被写体を抽出し、「前景画像データ」として後段の出力部１０５へ出力する（Ｓ５０２）。また、前景背景分離部１０３は、競技の開始前の競技場２１０の場面など、予め被写体が存在しない状態の競技場２１０の場面を撮像した画像を「背景画像データ」として、出力部１０５へ出力する（Ｓ５０２）。なお、前景背景分離部１０３が撮像画像から特定の被写体を除いた残りの画像を背景画像データとして出力部１０５へ出力するようにしてもよい。以下、前景背景分離していない撮像画像を、「前景画像データ」および「背景画像データ」と区別するために「前景背景分離前画像データ」と称する。

図６は、「前景背景分離前画像データ」、「前景画像データ」、および「背景画像データ」の一例を示すイメージ図である。図６（Ａ）は、「前景背景分離前画像データ」の一例を示す図である。ここでは、前景背景分離前画像データは、競技場２１０であるサッカー場で、２人の選手６１１、６１２と、サッカーボール６２０と、サッカーゴール６３０とを含む撮像画像である。図６（Ｂ）は、「前景画像データ」の一例を示す図である。ここでは、２人の選手６１１、６１２と、サッカーボール６２０とが「前景画像データ」として抽出される場合を例に挙げて示す。これらは、それぞれ別の「前景画像データ」として扱われる。つまり図６（Ｂ）では、３つの前景画像データが生成される。尚、本実施形態では、「前景画像データ」を矩形データとして扱う（図６（Ｂ）の破線を参照）。図６（Ｃ）は、「背景画像データ」の一例を示す図である。サッカーゴール６３０など、競技中ほとんど時間変化のない被写体は「背景画像データ」として扱われる。

特定の被写体である前景の分離方法として、例えば、オブジェクト抽出を含む画像処理を用いた方法を用いることができる。オブジェクト抽出は、撮像画像と背景画像との差分を抽出することにより行われる。尚、前景は、競技する選手だけでなく、例えば、他の特定人物（例えば、控え選手、監督、審判の少なくとも何れか１人）であってもよい。また、前景は、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。また、前景を検出するその他の方法として、例えば、動体が検出されるようにしてもよい。

状態情報保持部１０４は、撮像装置１００―Ｘの状態情報を保持し、その状態が変化した時などに、その情報を出力部１０５へ出力する（Ｓ５０３）。状態情報には少なくとも以下のいずれかを含む。・撮像装置１００−Ｘの通信接続状態（接続、非接続など）
・撮像装置１００−Ｘの撮影状態（撮影中、準備中、電源ＯＦＦ中、電源ＯＮ中など）
・撮像装置１００−Ｘの動作状態（ズーム動作中、フォーカス動作中、アイリス設定中など）
・撮像装置１００−Ｘの出力状態（「前景画像データ」や「背景画像データ」を画像生成装置２００へ出力中など）
・撮像装置１００−Ｘのエラー有無状態（正常、温度エラー、レンズエラーなど）
・撮像装置の構成状態（雲台有り、マイク有り、ズームレンズ有り、など）
・撮像装置の撮影パラメータ（絞り値（アイリス）、シャッタースピード、ホワイトバランス、露出値、ＩＳＯ感度、ズーム、フォーカス、ＮＤフィルタ、撮影モードなど）
また、状態情報は、撮像装置１００−Ｘがデイジーチェーン上の何段目に接続されているかを示す情報、アドレス情報または属するネットワークのネットワーク識別子などのネットワーク構成を示す情報であってもよい。

出力部１０５は、前景背景分離部１０３から出力された「前景画像データ」や「背景画像データ」を、分配装置５００を介して、画像生成装置２００および情報表示装置４００へ所定のフレームレートで出力する（Ｓ５０４）。また、出力部１０５は、状態情報保持部１０４から出力された状態情報を、他の撮像装置１００−Ｘや分配装置５００を介して、情報表示装置４００へ出力する（Ｓ５０４）。尚、出力するタイミングは、各状態が変化した場合や撮像装置１００−Ｘが起動した場合である。また、出力部１０５は、撮像装置１００−Ｘが撮影を行うフレームレートに準じたタイミングでデータを出力してもよい。

制御部１０６は、制御信号入力部１０７や不図示のユーザＩ／Ｆ部からの制御情報に基づき、撮像装置１００−Ｘの各部に制御指示を出す。例えば、制御部１０６は、ユーザＩ／Ｆ部または制御信号入力部１０７から、アイリスやＩＳＯなどの露出調整のための調整パラメータを受信すると、撮像部１０２に対して、当該露出制御を行う。

制御信号入力部１０７は、後述の情報表示装置４００からの制御信号を入力し、制御部１０６へ出力する。情報表示装置４００からの制御信号は、撮影パラメータを設定するための信号であり得る。例えば、撮影パラメータは、ズーム、フォーカス、アイリス、ＩＳＯ、シャッタースピード、ＮＤフィルタ切替などがある。

なお、図示した撮像装置１００−Ｘの構成の一部を他の装置が有する構成としてもよい。例えば、前景背景分離部１０３は、撮像装置１００−Ｘと異なる装置が有する構成としてもよい。また、出力部１０５は、他の装置が有し、他の装置が、撮像装置１００−Ｘから取得したデータを出力する構成としてもよい。

次に、画像生成装置２００、情報表示装置４００及びユーザ端末３００の構成の一例について説明する。図７は、画像生成装置２００、情報表示装置４００及びユーザ端末３００のハードウェアの構成の一例を示す図である。装置７０００（ユーザ端末３００、画像生成装置２００または情報表示装置４００）は、コントローラユニット７００、操作ユニット７０９、および表示装置７１０を含む。

コントローラユニット７００は、ＣＰＵ７０１を有する。ＣＰＵ７０１は、ＲＯＭ７０２に格納されているブートプログラムによりＯＳ（ＯＰＥＲＡＴＩＮＧ ＳＹＳＴＥＭ）を起動する。ＣＰＵ７０１は、このＯＳ上で、ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）７０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ７０１は、アプリケーションプログラムの実行によって各種処理を実現する。ＣＰＵ７０１の作業領域としてはＲＡＭ７０３が用いられる。ＨＤＤ７０４は、アプリケーションプログラムなどを格納する。

ＣＰＵ７０１は、システムバス７０８を介して、ＲＯＭ７０２、ＲＡＭ７０３、操作部Ｉ／Ｆ７０５、表示部Ｉ／Ｆ７０６、および通信Ｉ／Ｆ７０７と相互に接続される。操作部Ｉ／Ｆ７０５は、操作ユニット７０９とのインタフェースである。操作部Ｉ／Ｆ７０５は、操作ユニット７０９によってユーザにより入力された情報をＣＰＵ７０１に送出する。操作ユニット７０９は、例えば、マウスおよびキーボードなどを有する。表示部Ｉ／Ｆ７０６は、表示装置７１０に表示すべき画像データを表示装置７１０に対して出力する。表示装置７１０は、コンピュータディスプレイを有する。通信Ｉ／Ｆ７０７は、例えばイーサネット（登録商標）などの通信を行うためのインタフェースであり、伝送ケーブルに接続される。通信Ｉ／Ｆ７０７は、伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信Ｉ／Ｆ７０７は、無線通信を行うための回路やアンテナであってもよい。また、装置７０００は、ケーブルやネットワークを介して接続された外部の表示装置７１０に画像を表示させる表示制御を行うことも可能である。この場合、装置７０００は、表示データを表示装置７１０に出力することで表示制御を実現する。なお、図７で示した構成のすべてが画像生成装置２００または情報表示装置４００において必須の構成とは限らない。例えば画像生成装置２００において、表示装置７１０は必須の構成ではない。

図８は、本実施形態の画像生成装置２００の機能的な構成の一例を示す図である。図９は、本実施形態の画像生成装置２００の動作の一例を説明するフローチャートである。画像生成装置２００は、図８に示す通り、画像入力部２０１、画像保存部２０２、仮想視点画像生成部２０３、出力部２０４、制御部２０５、およびユーザ入力部２０６を有する。これらは、内部バス２０７によって相互に接続され、制御部２０５による制御の下、相互にデータを送受信することができる。なお、図８の画像入力部２０１は図７の通信Ｉ／Ｆ７０７に対応し、図８のユーザ入力部２０６は図７の操作部Ｉ／Ｆ７０５に対応し、図８の出力部２０４は図７の表示部Ｉ／Ｆ７０６及び通信Ｉ／Ｆ７０７に対応する。また、図８の画像保存部２０２は図７のＲＯＭ７０２、ＲＡＭ７０３、ＨＤＤ７０４に対応し、制御部２０５はＣＰＵ７０１に対応する。また、図９の処理は、図７のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。以下、各部の一例を詳細に説明する。なお、図９のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

画像入力部２０１は、撮像装置１００−Ｘから出力された「前景画像データ」および「背景画像データ」を、分配装置５００を介して、各々異なる所定のフレームレートで入力する（Ｓ９０１）。そして、画像入力部２０１は、入力した「前景画像データ」および「背景画像データ」を画像保存部２０２へ出力する。尚、撮像装置１００−Ｘから出力された「前景画像データ」および「背景画像データ」を入力していない場合、Ｓ９０２を省略して後述のＳ９０３に進む。

画像保存部２０２は、データベースであり、画像入力部２０１から入力された「前景画像データ」および「背景画像データ」を保存する（Ｓ９０２）。また、画像保存部２０２は、後述の仮想視点画像生成部２０３から指定された「前景画像データ」および「背景画像データ」を仮想視点画像生成部２０３へ出力する。

仮想視点画像生成部２０３は、制御部２０５から仮想視点情報を入力したか否かを判定する（Ｓ９０３）。仮想視点情報の生成方法の一例については後述する。この判定の結果、制御部２０５から仮想視点情報を入力していない場合、Ｓ９０１に戻る。一方、制御部２０５から仮想視点情報を入力している場合、仮想視点画像生成部２０３は、仮想視点情報に対応する「前景画像データ」および「背景画像データ」を、画像保存部２０２から取得する（Ｓ９０４）。

そして、仮想視点画像生成部２０３は、画像保存部２０２から取得した「前景画像データ」および「背景画像データ」を画像処理により合成することで仮想視点画像を生成し、出力部１０５に出力する（Ｓ９０５）。

仮想視点画像を生成する方式として、例えば、モデルベースレンダリング（ＭＯＤＥＬ−ＢＡＳＥＤ ＲＥＮＤＥＲＩＮＧ：ＭＢＲ）を用いる方式が挙げられる。ＭＢＲとは、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的にＭＢＲは、視体積交差法、ＭＵＬＴＩ−ＶＩＥＷ−ＳＴＥＲＥＯ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。尚、仮想視点画像の生成方法は、ＭＢＲを用いる方法に限定されず、例えば、イメージベースレンダリングなどＭＢＲ以外のレンダリング手法を用いてもよい。

出力部２０４は、仮想視点画像生成部２０３から入力した仮想視点画像をユーザ端末３００へ伝送可能な伝送信号に変換して出力する（Ｓ９０６）。

ここで、前述したようにユーザ端末３００は、ユーザ端末３００に接続されたコントローラのユーザによる操作に基づいて、仮想視点の位置、視線の方向の変更、および視点の切り替えの指示を受け付ける。そして、ユーザ端末３００は、その内容を示す伝送信号を画像生成装置２００へ伝送する。ユーザ入力部２０６は、このようにしてユーザ端末３００を通して入力された伝送信号を処理可能な仮想視点情報に変換する。そして、ユーザ入力部２０６は、その仮想視点情報を制御部２０５に出力する。

制御部２０５は、ユーザ入力部２０６からの仮想視点情報に基づき、画像生成装置２００の各部に制御指示を出す。例えば、ユーザ入力部２０６から、仮想視点の情報を受信すると、仮想視点画像生成部２０３に制御情報として送信する。前述したように、仮想視点画像生成部２０３は、仮想視点情報を入力すると、仮想視点画像を生成して出力する。

なお、図示した画像生成装置２００の構成の一部を他の装置が有する構成としてもよい。例えば、画像保存部２０２と仮想視点画像生成部２０３とを別々の装置として構成してもよい。

ユーザ端末３００は、ユーザからの仮想視点の位置や方向を受け付け、画像生成装置２００から受信したユーザから受け付けた仮想視点の位置や方向に応じた仮想視点画像をユーザ端末３００に備えた表示画面に表示する。このようにすることで、ユーザは、自身の操作に基づく視点でコンテンツを視聴する。前述したように、ユーザ端末３００は、例えば、ＰＣ（ＰＥＲＳＯＮＡＬ ＣＯＭＰＵＴＥＲ）やタブレットであり、コントローラは、例えば、マウス、キーボード、６軸コントローラ、タッチパネルである。ユーザは、これらを用いて仮想視点を操作し、ユーザ端末３００に備えた表示画面に任意の視点からの仮想視点画像を表示させる。

次に、情報表示装置４００の構成の一例について説明する。図１０は、本実施形態の情報表示装置４００の機能的な構成の一例を示す図である。図１１は、本実施形態の情報表示装置４００の動作の一例を説明するフローチャートである。情報表示装置４００は、後述のデータ保持部４０１に保持されている情報と、状態取得部４０５が取得した情報から撮像装置１００−Ｘや画像生成装置２００の状態を示す表示を行う表示装置の一例である。情報表示装置４００は、データ保持部４０１、データ読出部４０２、ＵＩ生成部４０３、表示部４０４、状態取得部４０５、制御部４０６、ユーザ入力部４０７、及び制御信号出力部４０８を有する。これらは、内部バス４０９によって相互に接続され、制御部４０６による制御の下、相互にデータを送受信することができる。なお、図１０のデータ保持部４０１は図７のＨＤＤ７０４に対応し、図１０のデータ読出部４０２、ＵＩ生成部４０３、及び制御部４０６は、図７のＣＰＵ７０１に対応する。また、図１０の状態取得部４０５、及び制御信号出力部４０８は図７の通信Ｉ／Ｆ７０７に対応し、図１０の表示部４０４は、表示部Ｉ／Ｆと表示装置７１０に対応する。また、図１１や情報表示装置４００が行う後述の処理は、図７のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。以下、各部の構成の一例を詳細に説明する。なお、図１１や情報表示装置４００が行う後述のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

データ保持部４０１は、ＵＩ生成部４０３がＵＩを表示するために必要なデータを保持する。当該データには少なくとも以下のいずれかを含む。
・競技場２１０のレイアウトデータ
・撮像装置１００−Ｘの識別情報
・撮像装置１００−Ｘが属する接続グループ情報
・撮像装置１００−Ｘの接続先
・撮像装置１００−Ｘの設置エリア
・撮像装置１００−Ｘの設置座標情報
・撮像装置１００−Ｘの撮影対象エリア
・撮像装置１００−Ｘの撮影対象エリアの中心座標情報
・撮像装置１００−Ｘの撮影対象エリアの有効エリア情報
・撮像装置１００−Ｘの設置エリアの領域情報
図１２にデータ保持部４０１が保持するデータ例を示す。図１２に示すデータでは、例えば、「撮像装置１００−１」が「Ｌ１」という通信接続グループに属し、「撮像装置１００−２」と相互に接続され、「Ｒ１」というエリアの、座標（ｘ１、ｙ１）に設置されることを示している。なお、設置座標情報は、所定の位置（例えば、競技場２１０の中央）を原点とした場合のＸＹ座標情報である。

また、データ保持部４０１が保持する他のデータ例を図１３に示す。エリア中心座標（図１２で示す撮影対象エリアの中心座標を示す情報）は、所定の位置（例えば、競技場２１０の中央）を原点とした場合のＸＹ座標情報である。なお、共通の撮影対象エリアを撮影する撮像装置１００−Ｘのグループは、その光軸をエリア中心座標が示す位置に向けるように設置されるものとする。即ち、同じ撮影対象エリアを撮影する撮像装置１００−Ｘが撮影する画像の中心は、どの撮像装置１００−Ｘにおいても、同じエリア中心座標が示す位置となる。また有効エリア情報とは、中心座標からの半径で示された領域である。なお、仮想視点画像は、共通の撮影対象エリアを撮影する撮像装置１００−Ｘが撮影した画像を用いて生成される。

また、データ保持部４０１が保持する他のデータ例を図１４に示す。頂点座標は少なくとも３つ以上の頂点の座標情報からなり、これらの座標情報で囲まれる領域が設置エリアの領域である。

データ保持部４０１は、これらの情報をユーザによる操作に応じた入力により取得してもよいし、撮像装置１００−Ｘからの状態情報に基づいて取得してもよい。なお、データ保持部４０１は、情報表示装置４００内にある必要はなく、外部の記録装置にあってもよい。また、撮像装置１００−Ｘに関する情報を保持するデータ保持部４０１は、各々の撮像装置１００−Ｘ内にあってもよい。

データ読出部４０２は、データ保持部４０１から各種データを読出し、ＵＩ生成部４０３へ出力する（Ｓ１１０１）。ＵＩ生成部４０３は、データ読出部４０２から出力されたデータと、状態取得部４０５から出力された状態情報を元に、システムや撮像装置１００−Ｘの状態を示す情報であるＵＩ画像を生成する（Ｓ１１０２）。状態情報、及びＵＩ画像例については後述する。そしてＵＩ生成部４０３は、生成したＵＩ画像を表示イメージとして表示部４０４に出力する。

表示部４０４は、フレームバッファおよび表示パネルを有する。表示部４０４は、ＵＩ生成部４０３から出力された表示イメージをフレームバッファに格納する（上書きする）。そして、表示部４０４は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して表示パネルにて表示する（Ｓ１１０３）。表示パネルとは、例えば、液晶パネルや有機ＥＬパネルである。

状態取得部４０５は、各撮像装置１００―Ｘの状態情報や画像生成装置２００の状態情報を取得し、ＵＩ生成部４０３へ出力する。ＵＩ生成部４０３は、前記状態情報が変化している場合は、生成したＵＩ画像を更新する（Ｓ１１０４、Ｓ１１０５）。

制御部４０６は、ユーザ入力部４０７からの操作情報に基づき、情報表示装置４００の各部に制御指示を出す。例えば、制御部４０６は、ユーザ入力部４０７から表示イメージ種別の切替指示を示す操作情報を受信すると、その操作情報を該当する表示イメージ種別に変換し、ＵＩ生成部４０３に送信する。表示イメージの具体的な内容の一例については後述する。

ユーザ入力部４０７は、不図示のコントローラから入力された操作情報を受け付け、制御部４０６に出力する。コントローラは、例えば、キーボード、マウス、およびタッチパネルの少なくとも何れか１つである。制御信号出力部４０８は、制御部４０６からの制御信号を外部に出力する。出力先は例えば撮像装置１００−Ｘである。制御信号は、例えば、撮像装置１００−Ｘのズーム、フォーカス、アイリス、ＩＳＯ、シャッタースピード、ＮＤフィルタ切替などの撮影パラメータを設定するための信号である。

（競技場レイアウト表示の説明）
図１５は、本実施形態の情報表示装置４００により表示される表示イメージの一例を示す図である。図１５では、競技場２１０を示す情報（１２０１）上に、以下の情報を表示する。
・撮像装置１００−Ｘを設置する設置エリア（例えば、１２０２が示すエリア）
・撮像装置１００−Ｘとその設置位置（例えば、１２０３が示す円形部）
・撮像装置１００−Ｘ間の接続関係及び接続状態（例えば、１２０４が示す線）
・撮影対象エリア（例えば、１２０５が示す破線の円形エリア）
・撮影対象エリアの中心点（例えば、１２０６が示す六角形）
・撮像装置１００−Ｘの撮影対象とするエリア（例えば、１２０７が示す点線）
また、図１５において、情報表示装置４００は、画像生成装置２００や情報表示装置４００と撮像装置１００−Ｘとの接続状態を表示する。なお、図１５において、情報表示装置４００は、画像生成装置２００などはスタジアム外の放送中継車内等に設置される場合があるため、図１５ではこれらを中継車と記載している。

このように図１５のような表示を行うため、情報表示装置４００は、複数の撮像装置を有する撮像システムに関する情報を一見してユーザに把握させることができる。また、情報表示装置４００は、どの撮像装置がどこに配置され、どのように接続されているかを表示させることができる。また、例えば、情報表示装置４００は、通信エラーが生じた接続経路の線１２０４を非表示とする。また、例えば、情報表示装置４００は、撮影可能な状態である撮像装置１００−Ｘを示す円形部１２０３と、故障や調整中であり撮影可能な状態でない撮像装置１００−Ｘを示す円形部１２０３とを識別可能するための表示をさらに行う。また、情報表示装置４００は、撮影可能な状態でない撮像装置１００−Ｘを示す円形部１２０３を非表示としてもよい。このようにすることで、ユーザに、故障が生じた撮像装置を容易に特定させ、どこに配置されているかを容易に把握させることができる。また、情報表示装置４００は、複数の撮像装置のそれぞれの撮影対象エリアを示す情報を表示するので、撮像装置に故障が生じた場合に、不具合が生じる仮想視点の位置をユーザに把握させることができる。また、情報表示装置４００は、複数の撮像装置のそれぞれの撮影対象エリアを示す情報を表示するので、撮像システムが仮想視点画像を生成するために十分な撮像画像を撮影できる設置となっているか否かをユーザに把握させることができる。

なお、情報表示装置４００は、図１５において例示したすべての情報を表示する必要はなく、これらのうち一部のみを表示するようにしてもよい。即ち、情報処理装置４００は、撮像装置１００−Ｘの設定場所に関する情報、撮像装置１００−Ｘの通信接続に関する情報、撮像装置１００−Ｘの撮影対象エリアに関する情報などの複数種類の情報のうち少なくとも何れか一つを表示する構成としてもよい。例えば、情報処理装置４００は、撮像装置１００−Ｘの設定場所に関する情報を表示することで、撮像システム１００の複数の撮像装置それぞれがどのエリアにどのように配置されているかをユーザに容易に把握させることが可能になる。また、情報表示装置４００は、撮像装置の通信接続に関する情報を表示することでネットワーク構成をユーザは容易に把握させることができる。また、撮像装置１００−Ｘの通信接続に関する情報の表示により、ネットワーク障害が生じた場合には、ユーザは影響が生じる撮像装置１００−Ｘを容易に識別でき、修理などの対応を即座に行うことが可能となる。また、情報表示装置４００は、撮像装置１００−Ｘの撮影対象エリアに関する情報を表示することで、撮像システム１００の複数の撮像装置それぞれが注視する撮影領域を容易にユーザに把握させることが可能となる。また、撮像装置１００−Ｘの撮影対象エリアに関する情報を表示することで、ユーザは、仮想視点画像を生成するうえで必要な様々な角度からの多視点撮影が十分に行われているか否かを容易に把握することが可能となる。図１６は、情報表示装置４００のＵＩ生成部４０３が、図１５の表示イメージを生成するための処理フローである。また図１７〜図２２は、フロー内の各処理によって描画される具体的な表示イメージである。なお、処理順序はこれに限定されない。また、図１６の処理及び後述する各表示処理は、図７のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。以下、各部の構成の一例を詳細に説明する。なお、図１６や各表示処理のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

ＵＩ生成部４０３は、データ読出部４０２から出力された競技場２１０のレイアウトデータを描画する（Ｓ１４０１、図１７）。その後、ＵＩ生成部４０３は、競技場２１０の中で撮像装置１００−Ｘを設置するエリアを描画する（Ｓ１４０２、図１８）。ここでは設置エリアは４つある（Ｒ１、Ｒ２、Ｒ３、及びＲ４）。これらのエリアは図１４に示した座標情報を元にしている。その後、ＵＩ生成部４０３は、撮像装置１００−Ｘをそれぞれが属する設置エリア内に配置する（Ｓ１４０３、図１９）。これらは図１２に示した設置エリアや設置座標情報を元にしている。その後、ＵＩ生成部４０３は、各撮像装置１００−Ｘ間の接続関係を描画する（Ｓ１４０４、図２０）。ここでは２つの接続グループがある（Ｌ１、Ｌ２）。これらは図１２に示した接続グループ情報及び接続先の情報を元にしている。なお、ＵＩ生成部４０３は、撮像システム１００から取得した状態情報に基づいて、撮像システム１００のネットワーク接続を示す表示イメージを動的に作成してもよい。また、ＵＩ生成部４０３は、生成した撮像システム１００のネットワーク接続が、事前に記憶していた正しいネットワーク構成と異なる場合、エラーを表示してもよい。その後、ＵＩ生成部４０３は、各撮像装置１００−Ｘが撮影対象とするエリアを描画する（Ｓ１４０５、図２１）。ここでは二つの撮影対象エリアがある。これらはそれぞれ撮影エリアの中心点（１２０６）と、撮影エリアの有効エリア（１２０５）から成る。有効エリアは仮想視点映像を生成するために適した領域を示す。これらは図１３に示した情報を元にしている。なお、後述するように、図１７〜図２２で示す画像は、それぞれ別レイヤーの画像として描画される。その後、ＵＩ生成部４０３は、各撮像装置１００−Ｘと撮影対象エリアを関連付ける情報としてこれらを結線する（Ｓ１４０６、図２２）。同一エリアに撮像装置１００−Ｘが多数あると、図２３（Ａ）に示すように、撮像装置１００−Ｘ（１２０３−２）と撮影対象エリアを結線したもの（１２０７―２）が別の撮像装置１００−Ｘ（１２０３−１）と交差することがある。ＵＩ生成部４０３は、このような交差の有無を確認（Ｓ１４０７）し、交差が発生する場合は、交差した撮像装置１００−Ｘの描画位置を同一エリア内で交差しない位置へ再配置する（１４０８）。即ち、情報表示装置４００は、撮像装置１００−Ｘを示す情報と、撮影対象エリアの中心点とを結ぶ線がいずれも重ならないように表示制御を行う。このようにすることで、各撮像装置１００−Ｘの撮影対象エリアをユーザが容易に知ることができるようになる。ただし、撮像装置１００−Ｘの位置を移動させなくても良い。

（レイヤー表示とユーザ操作による表示切替）
なお、ＵＩ生成部４０３は、図１６の処理フローによって表示イメージを描画する際、図１２〜図１４の情報を元に、レイヤーを分けて描画する。ここでレイヤーとは、ＵＩ生成部４０３が内包するフレームバッファと同サイズの複数の記録領域であり、具体的には、図７のＲＡＭ７０３の一部に該当する。ＵＩ生成部４０３は複数の描画レイヤーを重ねあわせることで、図１５の表示イメージを生成する。

個々の描画レイヤーは、具体的には以下が描画される
・競技場２１０（Ｓ１４０１、図１７に図示）
・各エリア（Ｓ１４０２、図１８に図示）
・撮像装置１００−Ｘ（Ｓ１４０３、図１９に図示）
・各接続グループ（Ｓ１４０４、図２０に図示）
・各撮影対象エリア（Ｓ１４０５、図２１に図示）
・撮像装置１００−Ｘと撮影対象エリアの結線（Ｓ１４０６、図２２に図示）
上述のとおり、本実施形態の撮像装置の設置エリアはＲ１、Ｒ２、Ｒ３及びＲ４の４つのである。そのため、Ｓ１４０２では、４つのレイヤーが使用される。同じく接続グループはＬ１、Ｌ２の２つである。そのため、Ｓ１４０３では２つのレイヤーが使用される。図２４は、ＵＩ生成部４０３のレイヤー描画処理イメージ例である。最下層に図１７の１２０１に該当する競技場２１０が描画され、その上部のレイヤーに各エリアのレイヤーが重ねあわされる。そして、最上部に各撮像装置１００−Ｘと撮像最少エリアの結線を描画したレイヤーが重ねあわされる。なお、各レイヤーの重ね合わせの順序は適宜組み替えてもよい。また、必ずしも複数のレイヤーを重ね合わせなければならないわけではない。例えば、図１７の画像に、図１８〜２２で示した内容を追記することで、図１５に示すような表示イメージが生成されるようにしても良い。しかしながら、複数のレイヤーごとに描画処理を行うことによって、表示イメージの切替えが容易になるというメリットがある。係る点について、以下で詳述する。

図２５は、ユーザ入力部４０７を介して入力された操作情報に基づいて、図１５で描画した表示イメージの表示を切り替える処理フローである。ユーザ入力部４０７は、キーボードなどのコントローラから操作情報を入力すると、その情報を制御部４０６へ出力する（Ｓ２５０１）。操作情報を受信した制御部４０６は、その操作情報を元に表示もしくは非表示にすべき表示内容を特定し、その内容を表示切替指示として、ＵＩ生成部４０３へ出力する。（Ｓ２５０２）。制御部４０６は、操作情報毎に、表示もしくは非表示にすべき内容を予め有している。

例えば、キーボードで「Ａ」というキーが押された場合は、Ｌ１の接続グループに属するカメラを表示する、などの内容を有している。ＵＩ生成部４０３は、表示切替指示を受けると、該当する描画レイヤーを追加、もしくは削除したのち、残った描画レイヤーを重畳後、表示部４０４へ出力する（Ｓ２５０３）。

図２６は、図２５の処理結果により生成されるＵＩ画像の一例である。これは接続グループＬ１に属する撮像装置１００−Ｘのみ表示するための表示切替を行った結果である。また、例えば、情報表示装置４００は、図２５の処理により、エリアＲ１に設置された撮像装置１００−Ｘのみの情報を表示することができる。また、情報表示装置４００は、図２５の処理により、任意の撮像装置１００−Ｘのみの情報を表示することができる。また、情報表示装置４００は、図２５の処理により、共通の撮影対象エリアが設定されている撮像装置１００−Ｘのみの情報を表示することができる。

なお、表示させるレイヤーをユーザにより選択させる例を示したがこれに限らず、情報表示装置４００が表示させるレイヤー自動で選択してもよい。例えば、情報表示装置４００は、システムの少なくとも一つの装置が仮想視点画像に不具合が生じ得る状態であることを示す情報を受信した場合、警告をポップアップ表示してもよい。また、この場合、情報表示装置４００は、警告をポップアップ表示するとともに、仮想視点画像に不具合が生じ得る状態となった装置の状態を表示するのに適したレイヤーを自動で選択して表示させるようにしてもよい。このようにすることで、ユーザは、仮想視点画像の品質の低下などの不具合が発生し得ることを把握でき、その対策を行うことができる。

このように、情報表示装置４００は、各レイヤーを適宜組み合わせたり、削除したりして撮像システムの状態の表示を行う。したがって、情報表示装置４００は、撮像システムが多くの撮像装置を有している場合であっても、所望の撮像装置群の状態のみを表示することができ、視認性を向上させることができる。また、ＵＩ生成部４０３は、上述したレイヤー毎の描画に加えて、各レイヤーの背景色を変更することもできる。例えば、情報表示装置４００が照度の低い中継車に配置される場合、背景色を黒ベースにして視認性を高めることができる。また、情報表示装置４００が照度の高い野外に配置される場合は、白ベースの背景にして視認性を確保できる。なお、表示させるレイヤーを選択する例を示したが、表示させるレイヤーの選択を行わず、図１５に表示する情報のすべてまたは一部のみを固定的に表示するようにしてもよい。

（撮像装置１００−Ｘの状態表示の説明）
図２７は、図１５に示した表示イメージ上の撮像装置１００−Ｘの状態を示した例である。情報表示装置４００の状態取得部４０５は、撮像装置１００−Ｘの状態情報保持部１０４から撮像装置１００−Ｘの状態情報を取得すると、ＵＩ生成部４０３に出力する。ＵＩ生成部４０３は、その状態情報を元に図１５の表示イメージ上の撮像装置１００−Ｘの表示を更新する。図２７は、具体的にはある接続グループ（１２０４）上にある撮像装置１００−Ｘの一部を表示した例である。例えば、撮像装置１００−Ｘの状態の表示には以下のものがある。
・撮像装置１００−Ｘが情報表示装置４００や他の撮像装置１００−Ｘと接続して通信可能な状態（図２７（Ａ）の２４０１）
・撮像装置１００−Ｘが情報表示装置４００や他の撮像装置１００−Ｘと接続しておらず通信不可な状態（図２７（Ａ）の２４０２）
また、情報表示装置４００は図２７（Ａ）に加えて、撮像装置１００−Ｘ自体の状態も表示する。
・撮像装置１００−Ｘがエラー状態（図２７（Ｂ）の２４０３）
・撮像装置１００−Ｘがワーニング状態（図２７（Ｂ）の２４０４）
・撮像装置１００−Ｘがバイパスされている状態（図２７（Ｂ）の２４０５）
ここでエラー状態とは、撮像装置１００−Ｘ内の温度や光学レンズに異常が発生している状態を示す。エラー状態は、撮像装置１００−Ｘが撮像を行えないまたは撮像に不具合が生じ得る状態であってもよい。ワーニング状態とは、エラー状態になりそうな状態であり、動作上問題ないが、所定の温度上昇や、外部の不図示の同期装置との所定以上の同期ずれなどが生じている状態を示す。また、バイパス状態とは、その撮像装置１００−Ｘが使用されておらず接続状態のみ維持されている状態を示す。また、バイパス状態は、撮像装置１００−Ｘが撮影や画像処理を実行できず、データの伝送のみを行っている状態であってもよい。

また、情報表示装置４００は図２７（Ａ）（Ｂ）に加えて、撮像装置１００−Ｘの構成状態も表示する。
・撮像装置１００−Ｘにズームレンズが付随（図２７（Ｃ）の２４０６）
・撮像装置１００−Ｘに集音マイクが付随（図２７（Ｃ）の２４０７）
・撮像装置１００−Ｘに雲台が付随（図２７（Ｃ）の２４０８）
また、情報表示装置４００は図２７（Ａ）（Ｂ）（Ｃ）に加えて、撮像装置１００−Ｘの出力状態も表示する。
・撮像装置１００−Ｘが撮像した「前景画像データ」や「背景画像データ」を、分配装置５００を介して、画像生成装置２００および情報表示装置４００へ所定のフレームレートで出力中（図２７（Ｄ）の２４０９）
また、情報表示装置４００は、撮像装置１００−Ｘの出力するデータの出力先や出力のフレームレートが複数ある場合は、これらを示す情報を表示してもよい。また、情報表示装置４００は、撮像装置１００−Ｘが出力する画質の関する情報（データサイズ、画像サイズ及びファイル形式など）の情報を表示してもよい。

また、情報表示装置４００は図２７（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）に加えて、撮像装置１００−Ｘの機械的な状態も表示する。
・撮像装置１００−Ｘのズームレンズ動作中（図２７（Ｅ）の２４１０）
このほか、雲台動作やオートフォーカス動作などもこれに含まれる。

撮像装置１００−Ｘの状態の表示例を示したが、表示する内容はこれに限定されない。例えば、各撮像装置１００−Ｘと同期装置との同期状態を表示してもよい。またこうした状態情報に加え、各撮像装置に設定した内容や、その作業完了状態なども表示してもよい。

なお、撮像装置１００−Ｘの状態を、図２７の２４０１〜２４１０に図示するアイコンで示す例を説明したが、メッセージで撮像装置１００−Ｘの状態を表示してもよい。また、撮像装置１００−Ｘの状態を示す情報のうち表示項目を選択可能であってもよい。また、撮像装置１００−Ｘの状態の表示可否も選択可能であってもよい。また、情報表示装置４００は、ユーザによる指示操作のためのカーソルの位置に対応する撮像装置１００−Ｘの状態を示す情報を表示するようにしてもよい。また、情報表示装置４００は、ユーザによるタッチパネルに対する指示操作に対応する撮像装置１００−Ｘの状態を示す情報を表示するようにしてもよい。また、情報表示装置４００は、撮像装置１００−Ｘの状態を示す情報として撮像装置１００−Ｘに設定されている撮影パラメータを表示してもよい。また、情報表示装置４００は、撮像装置１００−Ｘの状態が、例えば、エラー状態、ワーニング状態、通信不可な状態またはデータの出力ができない状態など、仮想視点画像の生成に不具合が生じ得る状態の場合に、警告を別途表示してもよい。また、情報表示装置４００は、撮像装置１００−Ｘの状態が仮想視点画像の生成に不具合が生じ得る状態の場合に、画像、色またはメッセージにより警告を表示してもよい。また、情報表示装置４００は、撮像装置１００−Ｘに限らず、システムの状態が仮想視点画像の生成に不具合が生じ得る状態の場合に、「システムの状態が、仮想視点画像に不具合が生じる恐れがあります。至急、修理や設定の確認を行ってください。」などのようにメッセージで警告表示を行うと共に不具合を解消することを促すための表示を行ってもよい。

本実施形態によれば、図２７に示す撮像装置１００−Ｘの状態を示す情報の表示を行うため、情報表示装置４００は、複数の撮像装置を有する撮像システムに関する情報をユーザに把握させることができる。また、情報表示装置４００は、どの撮像装置がどのような状態であるかをユーザに容易に把握させることができる。また、例えば、情報表示装置４００は、撮影にエラーが生じた撮像装置１００−Ｘを識別可能に表示するため、ユーザは、エラーが生じた撮像装置１００−Ｘを把握させることができる。

（グループ概要リスト表示の説明）
図２８は、図１５に示した表示イメージ上の撮像装置１００−Ｘの状態をリストして示した別のー例である。図２８は、具体的にはある撮影対象エリア（１２０５及び１２０６）を撮影対象としている（結線を結んでいる）一つ以上の撮像装置１００−Ｘ群の状態の概要をリスト表示した例である。以下、この群を撮影対象エリアグループと呼ぶ。また、図２８に示すリスト表示をグループ状態概要リスト表示と呼ぶ。

例えば、撮影対象エリアグループのグループ概要リスト表示内容に以下のものがある。
・撮影対象エリアグループの撮像装置間の接続状態（接続、非接続）
・撮影対象エリアグループの各撮像装置のエラー状態（エラー有り、無し）
・撮影対象エリアグループの各撮像装置のワーニング状態（ワーニング有り、無し）
・撮影対象エリアグループの各撮像装置のバイパス状態（バイパス有り、無し）
・撮影対象エリアグループの各撮像装置の構成状態（雲台有り／無し、マイク有／無しなど）
・撮影対象エリアグループの各撮像装置の出力状態（出力中、出力なし）
・撮影対象エリアグループの各撮像装置の機械的な動作状態（動作中、非動作）
これらは、図２７で示した例と同様の内容である。図２８に示すリスト表示では、それ以外にも以下の状態も表示する。
・撮影対象エリアグループの各撮像装置のＩＳＯ値
・撮影対象エリアグループの各撮像装置のアイリス値
・撮影対象エリアグループの各撮像装置のシャッタースピード値
・撮影対象エリアグループの各撮像装置のＮＤ（ＮＥＵＴＲＡＬ ＤＥＮＳＩＴＹ）フィルタ値
図２９は、情報表示装置４００の状態取得部４０５及びＵＩ生成部４０３による図２８に示すグループ状態概要リストの表示処理のフローチャートである。このフローチャートは、ユーザによる所定の操作を受け付けたことにより開始される。状態取得部４０５は、全ての撮像装置１００−Ｘの状態情報保持部１０４から撮像装置１００−Ｘの状態情報を取得し、その結果をＵＩ生成部４０３に出力する（Ｓ２９０１、Ｓ２９０２）。ＵＩ生成部４０３は、リスト表示する撮影対象エリアグループに属する撮像装置１００−Ｘを特定し（Ｓ２９０３）、その状態情報を比較する（Ｓ２９０４）。ここで全ての撮像装置１００−Ｘの状態情報が同一の場合は、その状態情報を表示する（Ｓ２９０５）。一つ以上の撮像装置１００−Ｘの状態情報が異なる場合は、警告表示を行う（Ｓ２９０６）。ここで警告表示とは、図２８を例にすると、撮影対象エリアグループＶ２のエラー状態や、撮影対象エリアグループＶ１のアイリス値である。これらは、一つ以上の撮像装置１００−Ｘにエラーが発生している、もしくはアイリス値が他の撮像装置１００−Ｘと異なっていることを示している。なお、図２８では警告表示をアスタリスクで行う例を示したが、他の情報により警告表示を行ってもよい。例えば、警告表示を「撮影対象エリアグループの各撮像装置の露光条件が一致していないため、仮想視点画像に不具合が生じる恐れがあります。」などのようにメッセージで警告表示を行ってもよい。また、色や警告を意味する画像を表示することで警告表示を行ってもよい。

このように本実施形態によれば、撮影対象エリアグループの撮影対象グループ状態概要リストを行う。したがって、仮想視点画像の生成に用いられ複数の画像を撮影する撮像装置によって露光条件が異なり仮想視点画像に違和感が生じる可能性を容易にユーザに認識させ、その対策を取らせることが可能になる。

（グループ詳細リスト表示の説明）
図３０は、図２８に示した撮影対象エリアグループＶ２に属する撮像装置１００−Ｘ毎の状態をリスト表示した例である（このリスト表示をグループ状態詳細リスト表示と呼ぶ）。これはグループ状態概要リスト表示と異なり、そのグループに属する撮像装置１００−Ｘ毎の状態がわかる。そのため、グループ状態概要リスト表示で警告表示を見つけた場合、グループ状態詳細リスト表示へ表示切替することで、具体的な警告箇所を特定できる。図３０によると、撮像装置１００−２が温度エラーを起こしているため、図２８にて警告表示が出ていたことがわかる。なお、情報表示装置４００は、図３０おいて説明したすべての情報を表示する必要はなく、これらのうち一部を表示してもよい。

図３１は、ＵＩ生成部４０３によるグループ状態概要リスト表示とグループ状態詳細リスト表示の切り替え動作である。ＵＩ生成部４０３は、ユーザ入力部４０７を介して入力された操作情報（表示切替操作）に基づいて、グループ状態概要リスト表示とグループ状態詳細リスト表示との間で表示の切り替えを行う。例えば、情報表示装置４００は、撮影対象グループ状態概要リストを表示している際に、ユーザから撮影対象エリアグループの識別情報である「Ｖ２」に対応する位置に対するタップや指示操作を受け付けた場合、グループ状態詳細リスト表示に切りかえる。また、情報表示装置４００は、グループ状態詳細リストを表示している際に、不図示の「戻る」のメッセージアイコンに対応する位置に対するタップや指示操作を受け付けた場合、撮影対象グループ状態概要リストの表示に切り替える。

以上に説明したように、撮像装置１００−Ｘの状態を、撮影対象エリアグループのリスト表示として示す例を説明した。なお、表示する内容はこれに限定されない。各撮像装置１００−Ｘと同期装置との同期状態を表示してもよい。またこうした状態情報に加え、各撮像装置に設定した内容や、その作業完了状態なども表示してもよい。また、グループは撮影対象エリアグループに限定されない。接続グループ毎にリスト表示してもよいし、設置エリアを一つのグループとしてリスト表示してもよい。

（操作ＵＩの説明）
図３２及び図３３は、本実施形態の情報表示装置４００により表示される撮像装置１００−Ｘを操作する操作ＵＩの一例を示す図である。図３２には、情報表示装置４００が表示する、個別の撮像装置１００−Ｘを操作するための指示を受け付けるためのＵＩを示す。情報表示装置４００は、ユーザによる操作に応じて、撮像装置１００−Ｘの撮影パラメータの設定や撮像装置１００−Ｘを操作するための情報を撮像装置１００−Ｘに送信する。操作ＵＩでは、少なくとも撮像装置１００−Ｘのズーム、フォーカス、露出条件を決めるＩＳＯ、アイリス、シャッタースピード、及びＮＤフィルタの設定が可能である。また、撮像装置１００−Ｘが雲台を有する場合、ＰＡＮ（パン）やＴＩＬＴ（チルト）の設定もできる。

図３３は、撮影対象エリアグループに属する撮像装置１００−Ｘを一括で操作する操作イメージである。操作イメージ上では、少なくとも露出条件を決めるＩＳＯ、アイリス、シャッタースピード、及びＮＤフィルタの設定が可能である。このように、撮影対象エリアグループに属する複数の撮像装置の設定や操作を情報表示装置４００がユーザから受け付け、これらを撮像装置に反映することができる。

図３９は、情報表示装置４００が操作ＵＩを表示し、ユーザから受け付けた設定を撮像装置１００−Ｘに反映させるための処理を示すフローチャートである。情報表示装置４００は、操作ＵＩによる操作対象となる撮像装置１００−Ｘを特定するためのユーザ操作を受け付けたか否かを判定する（Ｓ４００１）。

Ｓ４００１の判定は、例えば、図１５のように撮像装置１００−Ｘを示す情報を表示するための描画レイヤーを表示している状態で円形部１２０３に対して操作ＵＩの表示のための操作が行われたか否かを判定する。この場合、操作が行われた円形部１２０３に対応する撮像装置１００−Ｘを操作ＵＩの表示対象と特定する。また、図１５のように撮影対象エリアを表示するための描画レイヤーを表示している状態で撮影対象エリア１２０５または１２０６に対して操作ＵＩの表示のための操作が行われたか否かを判定する。この場合、操作が行われた撮影対象エリアに対応する撮影対象エリアグループに属する撮像装置１００−Ｘを操作ＵＩの表示対象と特定する。

また、図１５のように接続グループを表示するための描画レイヤーを表示している状態で接続グループを示す線１２０４に対して操作ＵＩの表示のための操作が行われたか否かを判定する。この場合、操作が行われた接続グループに対応する接続グループに属する撮像装置１００−Ｘを操作ＵＩの表示対象と特定する。

また、図２８のようにグループ状態概要リスト表示を表示している状態で、撮影対象エリアグループＶ１またはＶ２に対して操作ＵＩの表示のための操作が行われたか否かを判定する。この場合、操作が行われた撮影対象グループに対応する撮影対象グループに属する撮像装置１００−Ｘを操作ＵＩの表示対象と特定する。

また、図３０のようにグループ状態詳細リスト表示を表示している状態で、撮像装置１００−１〜ｎのうちの何れかに対して操作ＵＩの表示のための操作が行われたか否かを判定する。この場合、操作が行われた撮像装置１００−Ｘを操作ＵＩの表示対象と特定する。

操作ＵＩによる操作対象となる撮像装置１００−Ｘを特定するための操作を受け付けた場合、情報表示装置４００は、図３２または図３３に示す操作ＵＩを表示する（Ｓ４００２）。情報表示装置４００は、操作ＵＩにより撮像装置の設定または操作するためのユーザ操作を受け付けたか否かを判定する（Ｓ４００３）。操作ＵＩにより撮像装置の設定または操作するためのユーザ操作を受け付けた場合、情報表示装置４００は、撮像装置に設定または操作を反映させるための指示を送信する（Ｓ４００４）。情報表示装置４００は、Ｓ４００４において指示を送信した場合、送信先の撮像装置１００−Ｘから受信した、指示を反映したか否かを示す情報に基づいて、指示を撮像装置１００−Ｘが反映したか否かを判定する（Ｓ４００５）。情報表示装置４００は、Ｓ４００５において指示を撮像装置１００−Ｘが反映したと判定した場合、撮像装置１００−Ｘが反映したこと及び反映した撮像装置１００−Ｘの設定または操作の情報を更新し、表示する（Ｓ４００６）。一方、情報表示装置４００は、Ｓ４００５において指示を撮像装置１００−Ｘが反映していないと判定した場合、エラーを表示する（Ｓ４００７）。

以上のように本実施形態では、情報表示装置４００は、複数の撮像装置１００−Ｘと、接続関係、設置エリア、及び撮影対象エリアを、競技場２１０の地図上で紐づけて表示する。また、各々の撮像装置１００−Ｘの状態も合わせて表示する。従って、撮像装置１００−Ｘの数が増加しても、それらの接続状態、設置状態、撮影の影響範囲などのシステム状態を一目でユーザが把握することができる。

また、本実施形態では、接続グループだけの表示、撮影対象エリアグループだけの表示など、表示したい情報を適宜加えたり、削除したりすることができる。そのため撮像装置１００−Ｘの数や接続グループの数などが増加しても、特定のグループだけに着目して表示することができる。

また、本実施形態では、接続グループ単位や撮影対象エリアグループ単位としての状態を確認することができる。仮想視点映像を生成する場合、撮影対象エリアグループに属する撮像装置１００−Ｘに不具合が生じると、その生成に大きな影響を受ける。本実施形態では、そうした仮想視点映像の生成への影響度を把握できる。

また、本実施形態では、接続グループ単位や撮影対象エリアグループ単位で撮像装置１００−ＸのＩＳＯやアイリスなどの撮影パラメータの制御を行うことができる。撮影中、外光状況が変化すると、同一の撮影対象エリアを撮影している撮影対象エリアグループ毎に、同一の露出条件に変更することが多い。このような場合に、撮影対象エリアグループ単位で一括制御できるため、短時間に撮像装置１００−Ｘを仮想視点画像の生成に適した設定に変更することが可能となる。

（変形例）
次に、上述した実施形態の変形例を説明する。変形例では、撮像装置１００−Ｘの撮影画像をＵＩに重畳表示する。これにより撮像装置１００−Ｘの状態をより的確に把握させることができる。

図３４は、変形例の情報表示装置４００の機能的な構成の一例を示す図である。変形例の情報表示装置４００は、データ保持部６０１、データ読出部６０２、ＵＩ生成部６０３、表示部６０４、状態取得部６０５、制御部６０６、ユーザ入力部６０７、制御信号出力部６０８、及び画像取得部６１０を有する。これらは、内部バス６０９によって相互に接続され、制御部６０６による制御の下、相互にデータを送受信することができる。なお、図３４に示す機能構成は、図１０に示す機能構成と、画像取得部６１０以外の部分は、同様の機能のため、説明は省略する。画像取得部６１０は、各撮像装置１００−Ｘから出力された撮影画像を取得し、ＵＩ生成部６０３へ出力する。

図３５は、情報表示装置４００の画像表示処理の一例を説明するフローチャートである。ここでは、情報表示装置４００が、図１５で示す情報を表示していることを前提に説明する。情報表示装置４００は、撮像装置１００−Ｘを選択するための操作情報を取得する。情報表示装置４００は、ユーザ（監視担当者）が表示されているＵＩ上の撮像装置１００−Ｘ（１２０３）、接続グループ（１２０４）、撮影対象エリア（１２０５、１２０６）、もしくは設置エリア（１２０２）の選択操作を受け付ける。ユーザ（監視担当者）がキーボードやマウスなどのコントローラを用いて撮像装置１００−Ｘを選択すると、ユーザ入力部６０７は、その操作情報を制御部６０６へ出力する（Ｓ３５０１）。制御部６０６は、その操作情報と表示イメージから選択された撮像装置１００−Ｘ、もしくはグループ、もしくはエリアを特定する（Ｓ３５０２）。その後、制御部６０６は特定した撮像装置１００−Ｘ、もしくはグループやエリアに含まれる撮像装置１００−Ｘの画像を、画像取得部６１０を介して取得し、ＵＩ生成部６０３へ出力する（Ｓ３５０３）。ＵＩ生成部６０３は、入力された撮像装置１００−Ｘの画像を、表示イメージ上に重畳して表示する（Ｓ３５０４）。画像が動画の場合、Ｓ３５０３とＳ３５０４を繰り返す（Ｓ３５０５）。

図３６〜図３８は、情報表示装置４００により表示される撮像画像を重畳表示する操作ＵＩの一例を示す図である。図３６は、ユーザ（監視担当者）が表示イメージ上の個々の撮像装置１００−Ｘを選択した場合の例である。選択された撮像装置１００−Ｘの画像が表示される。図３７は、表示イメージ上の撮影対象エリアの中心点を選択した場合の例である。選択された撮影対象エリアに属するすべての撮像装置１００−Ｘの画像の一覧が表示される。図３８は、表示イメージ上の接続グループを選択した場合の例である。選択された接続グループに属するすべての撮像装置１００−Ｘの画像の一覧が表示される。

続いて図３６〜図３８に示した情報表示装置４００により表示される撮像画像上に、撮像装置１００−Ｘの姿勢確認用のガイド表示、露出確認用のガイド表示及びフォーカス確認用のガイド表示を更に重畳表示する例を説明する。図４０は、撮像装置１００−Ｘの姿勢を確認するためのガイド表示であるセンターマーカーを撮影画像上に表示した例である。図４０に示す撮像装置１００−Ｘの姿勢確認用のガイド表示をユーザが確認することにより、撮像装置１００−Ｘが正しく設置されているか否かを確認することができる。

図４１は、撮像装置１００−Ｘの露出状態を確認するためのガイド表示である露出ガイドバー４１０１を撮影画像上に表示した例である。図４１に示す露出ガイドバー４１０１は、撮像装置１００−Ｘに設定されている露出量が、撮像装置１００−Ｘの露出計により測定された適正露出に対して多いか少ないかを示すガイド表示である。露出ガイドバー４１０１は、一例としてスライドバーである。露出ガイドバー４１０１において、ゼロの目盛が適正露出を示しており、スライダーが＋方向に位置すると露出オーバー、−方向に位置すると露出アンダーであることを示す。また、情報表示装置４００は、露出ガイドバー４１０１のスライダーの位置を変更する操作をユーザから受け付けると、撮像装置１００−Ｘに操作に応じた露出補正を指示するための情報を送信する構成としてもよい。図４１に示す撮像装置１００−Ｘの露出確認用のガイド表示を撮影画像とともにユーザが確認することにより、撮像装置１００−Ｘの露出量が正しく設定されているか否かを確認することができる。

図４２は、撮像装置１００−Ｘのフォーカス状態を確認するためのフォーカス状態表４２０１を撮影画像に表示した例である。図４２に示すフォーカス状態表４２０１は、撮像装置１００−Ｘの合焦位置とその調整を行うためのガイド表示である。図４２に示すフォーカス状態表４２０１において、横軸は、フォーカスレンズ位置情報を示す。なお、フォーカスレンズが移動することで、撮像装置１００−Ｘの合掌位置が変化する。図４２に示すフォーカス状態表４２０１において、縦軸はフォーカスレンズの位置に対する撮影画像の周波数情報である。合掌が適切な位置で行われているほど、撮影画像の周波数は高くなる。ここでは、撮影画像の周波数が最も高くなるレンズ位置を「ピーク値」と記載している。また、現状のレンズ位置を「現在値」と記載している。「ピーク値」と「現在値」がかい離していると撮影画像がぼけている可能性が高くなる。また、情報表示装置４００は、フォーカス状態表４２０１へのユーザから現在値を変更する操作を受け付けると、撮像装置１００−Ｘに操作に応じたフォーカスレンズの位置変更を指示するための情報を送信する構成としてもよい。図４２に示す撮像装置１００−Ｘのフォーカス状態表のガイド表示を撮影画像とともにユーザが確認することにより、撮像装置１００−Ｘの合焦位置が正しく設定されているか否かを確認することができる。

図４３は、図３７もしくは図３８に示した撮像装置１００−Ｘの画像の一覧に、図４０に示すセンターマーカーと図４１に示す露出ガイドバーを重畳したＵＩの一例である。なお、情報表示装置４００は、いずれかの露出ガイドバーが操作された場合、対応する撮像装置１００−Ｘに露出補正の指示を送信してもよい。このように、撮影画像とともに撮像装置１００−Ｘの状態を示す情報を一覧表示することで、複数の撮像装置の姿勢や露出を一度により詳細にユーザは確認することができる。なお、図４３において、図４２に示すフォーカス状態表を更に重畳してもよい。なお、上述のガイド表示の形態は、一例に過ぎず、文字または数値など他の形態によりガイド表示を行ってもよい。以上のように変形例では、選択された撮像装置１００−Ｘ、もしくは撮影対象エリア、接続グループに属するすべての撮像装置１００−Ｘの画像が表示される。従って、エリアやグループで紐づいた撮像画像１００−Ｘの実際の撮影画像の確認もできることから、よりシステムの状態が正確に把握させることができる。

他の変形例を、図４４を用いて説明する。図４４は、情報表示装置４００により表示される表示イメージの一例を示す図である。図１５において説明した表示イメージとの差異を詳細に説明する。図４４において、４４００１〜４４０４は、撮像装置１００−Ｘにズームレンズが付随していることを示す。また、図４４では、ズームレンズが付随しており、画角が比較的狭い撮像装置１００−Ｘ（４４００１〜４４０４）の撮影対象とするエリアを示す線４４０５を実線や太線など、ズームレンズが付随していない撮像装置１００−Ｘのものと異なる形態で表示する。このように、図４４に例示した撮像装置１００−Ｘの画角に関する情報が含まれる表示イメージを表示することにより、複数の撮像装置１００−Ｘそれぞれの画角の違いをユーザは容易に把握することができる。なお、複数の撮像装置１００−Ｘそれぞれの画角に関する情報を文字や数値など他の形態で表示してもよい。

なお、上記の実施形態では、撮像装置１００−Ｘに関する情報を表示させる例を中心に説明したが、これに限らない。つまり、本実施形態の情報表示装置４００は、撮像装置１００−Ｘに加えて、又は撮像装置１００−Ｘに代えて、仮想視点画像の生成のためのシステムに関するデバイスの状態を表示させることもできる。情報表示装置４００は、仮想視点画像の生成のためのシステムに関するデバイスとして、例えば、スイッチやルータなどのネットワーク機器、画像生成装置２００及び同期装置などの状態を表示させることもできる。つまり、情報表示装置４００は、仮想視点画像の生成のためのシステムの構成要素の状態を示す画像を表示させることができる。また、情報表示装置４００は、撮像装置１００−Ｘからの状態情報に基づいて、状態変化の発生を検出する例を中心に説明したが、この例に限らない。例えば、一定時間、撮像装置１００−Ｘから状態情報を受信しなかったことにより、当該撮像装置１００−Ｘの状態変化が発生したと判定されるようにしても良い。

また、上述の実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。例えば、上述の実施形態において、説明した表示イメージの一部のみを表示すること、表示イメージの一部を他の情報に置き換えることおよび表示イメージに追加の情報を重畳することなどの変形及び変更が行われてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１００ 撮像システム
２００ 画像生成装置
３００ ユーザ端末
４００ 表示装置
５００ 分配装置

本発明の表示制御装置は、仮想視点画像の生成のために用いられる画像を撮像する複数の撮像装置の通信接続状態を少なくとも表す画像を生成する生成手段と、前記生成手段により生成された画像を表示部に表示させる表示制御を行う表示制御手段と、を有することを特徴とする。

本発明の表示制御装置は、デイジーチェーン接続された複数の撮像装置によって仮想視点画像の生成のために撮像画像を撮像により取得し、当該取得した撮像画像から抽出される被写体の画像を前記デイジーチェーン接続を介して伝送する前記複数の撮像装置における撮像装置間の通信接続状態を少なくとも表す画像を生成する生成手段と、前記生成手段により生成された画像を表示部に表示させる表示制御を行う表示制御手段と、を有することを特徴とする。

状態情報保持部１０４は、撮像装置１００―Ｘの状態情報を保持し、その状態が変化した時などに、その情報を出力部１０５へ出力する（Ｓ５０３）。状態情報には少なくとも以下のいずれかを含む。
・撮像装置１００−Ｘの通信接続状態（接続、非接続など）
・撮像装置１００−Ｘの撮影状態（撮影中、準備中、電源ＯＦＦ中、電源ＯＮ中など）
・撮像装置１００−Ｘの動作状態（ズーム動作中、フォーカス動作中、アイリス設定中など）
・撮像装置１００−Ｘの出力状態（「前景画像データ」や「背景画像データ」を画像生成装置２００へ出力中など）
・撮像装置１００−Ｘのエラー有無状態（正常、温度エラー、レンズエラーなど）
・撮像装置の構成状態（雲台有り、マイク有り、ズームレンズ有り、など）
・撮像装置の撮影パラメータ（絞り値（アイリス）、シャッタースピード、ホワイトバランス、露出値、ＩＳＯ感度、ズーム、フォーカス、ＮＤフィルタ、撮影モードなど）
また、状態情報は、撮像装置１００−Ｘがデイジーチェーン上の何段目に接続されているかを示す情報、アドレス情報または属するネットワークのネットワーク識別子などのネットワーク構成を示す情報であってもよい。

ＵＩ生成部４０３は、データ読出部４０２から出力された競技場２１０のレイアウトデータを描画する（Ｓ１４０１、図１７）。その後、ＵＩ生成部４０３は、競技場２１０の中で撮像装置１００−Ｘを設置するエリアを描画する（Ｓ１４０２、図１８）。ここでは設置エリアは４つある（Ｒ１、Ｒ２、Ｒ３、及びＲ４）。これらのエリアは図１４に示した座標情報を元にしている。その後、ＵＩ生成部４０３は、撮像装置１００−Ｘをそれぞれが属する設置エリア内に配置する（Ｓ１４０３、図１９）。これらは図１２に示した設置エリアや設置座標情報を元にしている。その後、ＵＩ生成部４０３は、各撮像装置１００−Ｘ間の接続関係を描画する（Ｓ１４０４、図２０）。ここでは２つの接続グループがある（Ｌ１、Ｌ２）。これらは図１２に示した接続グループ情報及び接続先の情報を元にしている。なお、ＵＩ生成部４０３は、撮像システム１００から取得した状態情報に基づいて、撮像システム１００のネットワーク接続を示す表示イメージを動的に作成してもよい。また、ＵＩ生成部４０３は、生成した撮像システム１００のネットワーク接続が、事前に記憶していた正しいネットワーク構成と異なる場合、エラーを表示してもよい。その後、ＵＩ生成部４０３は、各撮像装置１００−Ｘが撮影対象とするエリアを描画する（Ｓ１４０５、図２１）。ここでは二つの撮影対象エリアがある。これらはそれぞれ撮影エリアの中心点（１２０６）と、撮影エリアの有効エリア（１２０５）から成る。有効エリアは仮想視点映像を生成するために適した領域を示す。これらは図１３に示した情報を元にしている。なお、後述するように、図１７〜図２２で示す画像は、それぞれ別レイヤーの画像として描画される。その後、ＵＩ生成部４０３は、各撮像装置１００−Ｘと撮影対象エリアを関連付ける情報としてこれらを結線する（Ｓ１４０６、図２２）。同一エリアに撮像装置１００−Ｘが多数あると、図２３（Ａ）に示すように、撮像装置１００−Ｘ（１２０３−２）と撮影対象エリアを結線したもの（１２０７−２）が別の撮像装置１００−Ｘ（１２０３−１）と交差することがある。ＵＩ生成部４０３は、このような交差の有無を確認（Ｓ１４０７）し、交差が発生する場合は、交差した撮像装置１００−Ｘの描画位置を同一エリア内で交差しない位置へ再配置する（Ｓ１４０８）。即ち、情報表示装置４００は、撮像装置１００−Ｘを示す情報と、撮影対象エリアの中心点とを結ぶ線がいずれも重ならないように表示制御を行う。このようにすることで、各撮像装置１００−Ｘの撮影対象エリアをユーザが容易に知ることができるようになる。ただし、撮像装置１００−Ｘの位置を移動させなくても良い。

他の変形例を、図４４を用いて説明する。図４４は、情報表示装置４００により表示される表示イメージの一例を示す図である。図１５において説明した表示イメージとの差異を詳細に説明する。図４４において、４４０１〜４４０４は、撮像装置１００−Ｘにズームレンズが付随していることを示す。また、図４４では、ズームレンズが付随しており、画角が比較的狭い撮像装置１００−Ｘ（４４０１〜４４０４）の撮影対象とするエリアを示す線を実線や太線など、ズームレンズが付随していない撮像装置１００−Ｘのものと異なる形態で表示する。このように、図４４に例示した撮像装置１００−Ｘの画角に関する情報が含まれる表示イメージを表示することにより、複数の撮像装置１００−Ｘそれぞれの画角の違いをユーザは容易に把握することができる。なお、複数の撮像装置１００−Ｘそれぞれの画角に関する情報を文字や数値など他の形態で表示してもよい。

Claims (21)

1. 仮想視点画像を生成するための画像を撮像する複数の撮像装置に関する情報を表示させる表示制御装置であって、
   前記複数の撮像装置に関する情報を取得する取得手段と、
   前記取得手段により取得された情報に基づく、前記複数の撮像装置夫々が撮像した画像を伝送するための前記複数の撮像装置の通信接続に関する情報を、表示部に表示させる表示制御を行う表示制御手段と、
   を有することを特徴とする表示制御装置。
2. 前記表示制御手段は、前記複数の撮像装置の設置場所に対応する表示位置において前記複数の撮像装置の夫々を示す情報と、前記複数の撮像装置夫々が撮像を行う対象である領域に関する情報とのうち少なくともいずれか一つを、前記取得手段により取得された情報に基づいて前記表示部に表示させる表示制御を行うことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御手段は、前記複数の撮像装置の夫々を示す情報と、前記複数の撮像装置の通信接続に関する情報と、前記複数の撮像装置が撮像を行う対象である領域に関する情報とのうち、ユーザにより選択された情報を表示または非表示にさせる表示制御を行うことを特徴とする請求項２に記載の表示制御装置。
4. 前記表示制御手段は、前記複数の撮像装置の夫々を示す情報と、前記複数の撮像装置が撮像を行う対象である領域に関する情報とを関連付けるための情報をさらに表示させる表示制御を行うことを特徴とする請求項２または３に記載の表示制御装置。
5. 前記表示制御手段は、前記複数の撮像装置の夫々を示す情報と、前記複数の撮像装置が撮像を行う対象である領域に関する情報とを関連付けるための情報として、前記複数の撮像装置の夫々を示す情報と、前記複数の撮像装置が撮像を行う対象である領域とを結ぶ線を表示させる表示制御を行うことを特徴とする請求項４に記載の表示制御装置。
6. 前記表示制御手段は、前記複数の撮像装置のうちの第１撮像装置を示す情報と前記第１撮像装置が撮像を行う対象である領域とを結ぶ線と、前記複数の撮像装置のうちの他の撮像装置を示す情報と前記他の撮像装置が撮像を行う対象である領域とを結ぶ線とが重ならないように表示を行う表示制御を行うことを特徴とする請求項５に記載の表示制御装置。
7. 前記表示制御手段は、前記複数の撮像装置の夫々を示す情報が表示される位置を、前記取得手段により取得された前記複数の撮像装置の設置場所に関する情報に基づいて制御する表示制御を行うことを特徴とする請求項２から６までのいずれか１項に記載の表示制御装置。
8. 前記複数の撮像装置の夫々を示す情報は、前記複数の撮像装置の夫々の通信接続状態、データの出力状態及びエラー状態のうち少なくとも１つを識別可能にするための情報を含むことを特徴とする請求項２から７までのいずれか１項に記載の表示制御装置。
9. 前記表示制御手段は、前記複数の撮像装置の夫々を示す情報と、前記複数の撮像装置の通信接続に関する情報と、前記複数の撮像装置が撮像を行う対象である領域に関する情報とを、前記複数の撮像装置の設置場所を示す画像に重畳して表示させる表示制御を行うことを特徴とする請求項２から８までのいずれか１項に記載の表示制御装置。
10. 前記複数の撮像装置の設置場所を示す画像は、競技場を示す画像であることを特徴とする請求項９に記載の表示制御装置。
11. 前記表示制御手段は、前記複数の撮像装置のうちの少なくともいずれかが撮像した画像を表示させる表示制御を行うことを特徴とする請求項１から１０までのいずれか１項に記載の表示制御装置。
12. 前記複数の撮像装置のうちの少なくともいずれかの撮影パラメータを設定するための情報を送信する送信手段を有することを特徴とする請求項１から１１までのいずれか１項に記載の表示制御装置。
13. 前記表示制御手段は、前記複数の撮像装置のうちの少なくともいずれに設定されている撮影パラメータを示す情報を表示させる表示制御を行うことを特徴とする請求項１から１２までのいずれか１項に記載の表示制御装置。
14. 前記撮影パラメータは、絞り、シャッタースピード、ＩＳＯ感度及びズームのうちの少なくともいずれか１つであることを特徴とする請求項１２または１３に記載の表示制御装置。
15. 前記取得手段は、前記複数の撮像装置の通信接続状態、前記複数の撮像装置の撮影状態及び前記複数の撮像装置のエラー状態のうちのすくなくともいずれか１つを示す情報を取得することを特徴とする請求項１から１４までのいずれか１項に記載の表示制御装置。
16. 前記取得手段は、前記複数の撮像装置の識別情報、前記複数の撮像装置の接続グループ、前記複数の撮像装置の設置場所及び前記複数の撮像装置の撮像を行う対象である領域のうちのすくなくともいずれか１つを示す情報を取得することを特徴とする請求項１から１５までのいずれか１項に記載の表示制御装置。
17. 前記表示制御手段は、前記複数の撮像装置のうちの少なくとも１つが、データを出力できない状態、通信接続が非接続である状態または撮像を行えないエラー状態である場合、仮想視点画像に不具合が生じ得ることを示す警告を表示させることを特徴とする請求項８に記載の表示制御装置。
18. 前記表示制御手段は、前記複数の撮像装置のうちの少なくともいずれかが撮像した画像に、当該画像を撮影した撮像装置の、姿勢に関する情報、フォーカスに関する情報または露出に関する情報を重畳して表示させる表示制御を行うことを特徴とする請求項１１に記載の表示制御装置。
19. 前記表示制御手段は、前記複数の撮像装置のうちの少なくともいずれかの画角に関する情報を表示させる表示制御を行うことを特徴とする請求項１から１８までのいずれか１項に記載の表示制御装置。
20. 仮想視点画像を生成するための画像を撮像する複数の撮像装置に関する情報を表示させる表示制御方法であって、
    複数の撮像装置に関する情報を取得し、
    取得された情報に基づく、前記複数の撮像装置夫々が撮像した画像を伝送するための前記複数の撮像装置の通信接続に関する情報を、表示部に表示させる表示制御を行う
    ことを特徴とする表示制御方法。
21. 請求項１から１９までのいずれか１項に記載の表示制御装置としてコンピュータを動作させるためのプログラム。

Images