JP6409107B1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】コンテンツを生成／表示する際のユーザの利便性を向上させること。
【解決手段】情報処理装置は、コンテンツを生成するために用いられる素材データに対応付けられた時刻に関する情報を取得し、コンテンツを生成するために用いられる素材データが存在する有効時間範囲を、取得された情報に基づいて特定し、特定された有効時間範囲を示す情報を出力する。
【選択図】 図１

Description

本発明は、コンテンツを生成するシステムに関する。

それぞれ異なる位置に配置された複数のカメラによって被写体を多視点で同期撮影し、その撮影で得られた複数視点の画像を用いて自由視点コンテンツ（仮想視点コンテンツ）を生成する技術が注目されている。特許文献１には、複数視点の画像に基づいて自由視点コンテンツが生成されて保存されるシステムにおいて、映像受信装置が、生成した視点情報に基づく映像データを読み出すことによって、任意の自由視点コンテンツを取得する技術が記載されている。

仮想視点コンテンツの生成は、１つ以上の被写体の三次元モデルを組み合わせて行うことができる。複数のカメラで撮影された被写体の三次元モデルを生成する方法は、非特許文献１に示される視体積交差法でありうる。視体積交差法は、複数のカメラで撮影される測定対象の空間が、小さな立方体又は直方体（以下では、「ボクセル」と呼ぶ。）によって分割される。そして、各ボクセルが幾何学的に変換されてカメラ画像に投影され、カメラ画像において、モデル化対象物体のシルエット内に、そのボクセルが投影されたか否かが判定される。そして、すべてのカメラ画像でシルエット内に投影されたと判定されたボクセルは、対象物体を構成するボクセルとして登録され、登録されたボクセルの集合体が三次元モデルとして出力される。

特開２０１５−２０４５１２号公報

「Virtual View generation for 3D Digital Video」、IEEE MULTIMEDIA、Vol.4、No.1、pp.18-26、1997年

三次元モデルを用いた仮想視点コンテンツの生成では、三次元モデルを生成することができていることが前提となる。しかしながら、ある時点における仮想視点コンテンツを生成しようとした際に、一部の三次元モデルを生成できず、仮想視点コンテンツを生成することができない場合がありうる。この場合、三次元モデルの生成ができないことを判定するのに時間がかかり、仮想視点コンテンツを生成することができないことをユーザが認識できるまでに時間がかかってしまい、利便性が低下してしまうという課題があった。

本発明はかかる課題に鑑みてなされたものであり、コンテンツを生成／表示する際のユーザの利便性を向上させる技術を提供することを目的とする。

本発明の一態様による情報処理装置は、仮想視点コンテンツを生成するための複数の素材データを記憶する記憶部に何れの時刻の仮想視点コンテンツを生成するための素材データが記憶済みであるかを特定する特定手段と、何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための情報を、前記特定手段による特定の結果に基づいて出力する出力手段とを有する。

本発明によれば、コンテンツを生成／表示する際のユーザの利便性を向上させることができる。

システムの構成例を示す図。 撮像部の配置例を示す図。 操作部に表示される画面の例を示す図。 素材データの種別と取得されるデータ群との対応関係の例を示す図。 時間範囲管理情報の例を示す図。 時間指示部における有効時間範囲の表示例を示す図。 不連続な２つの有効時間範囲を跨る場合の映像表示の例を示す図。 時間指示部における有効時間範囲の別の表示例を示す図。 システムの別の構成例を示す図。

以下、図面を参照しながら、本発明の実施の形態について説明する。説明される各実施形態においては、複数の撮像装置（カメラ）によって撮像された複数の画像から１つ以上の被写体についての三次元モデルを生成し、その三次元モデルに基づいて自由視点コンテンツ（仮想視点コンテンツ）を生成するシステムについて説明する。複数のカメラによって撮像された画像からの三次元モデルの生成は、一般に、多くの計算量及び時間を要する。特に高解像度の三次元モデルを生成する場合、ボクセルの大きさを小さくする必要があり、それに伴ってボクセルの数が増加し、シルエット内に投影されるか否かの判定回数も増大する。このため、本実施形態では、三次元モデルやその三次元モデルの各ボクセルの色情報を保持したテクスチャデータ等を、素材データとして予め生成して保存する、画像処理サーバ等の素材データ生成装置を用いてシステムを構成するものとする。このようなシステムによれば、仮想視点コンテンツを生成する度に三次元モデルを生成する処理が行われるのを防ぎ、処理を効率化することができる。

なお、例えばライブ配信用に比較的処理時間の短い低解像度の三次元モデルが生成され、ハイライトシーンのリプレイ映像等のために高解像度の三次元モデルが生成されるなど、用途に合わせて複数段階の解像度の三次元データが生成されうる。このとき、素材データの１つであるテクスチャも、高解像度用と低解像度用とのそれぞれに対して生成されうる。また、例えば、ポリゴンデータが生成されてもよい。すなわち、同一の被写体に対して、複数の異なる素材データが生成されうる。

このシステムでは、例えば、素材データから仮想視点コンテンツを生成する映像生成装置が、仮想視点コンテンツを生成する際に、予め生成されて保存されている素材データを素材データ生成装置から取得して、映像生成を行うことができる。このとき、映像生成装置は、仮想視点コンテンツを生成するのに必要な素材データが存在するか否かを事前に知ることはできない。例えば、三次元モデルは、撮像装置によって撮像された画像の質や撮像装置の稼働状況等によっては、生成が困難となる場合がありうる。すなわち、ある時点において特定の被写体についての素材データが存在しない場合がありうる。また、上述のように、同一の被写体に対して複数の異なる素材データが生成される場合、素材データごとに、生成が完了して保存されるまでの時間が異なる。すなわち、ユーザが要求した時点において、一部の素材データの生成が完了していない場合がありうる。また、サッカーのハーフタイム等では、全て又は多数の撮像装置が撮像を停止し、その時間範囲においては、素材データが全く保存されていないこともありうる。

このため、映像生成装置は、ユーザに指定された時間における仮想視点コンテンツを生成する際に、その指定時間において必要な各素材データが保存されているかを素材データ生成装置に問い合わせながら、仮想視点コンテンツを生成することとなりうる。なお、指定時間において必要な素材データの一部が保存されていない場合、その指定時間では仮想視点コンテンツを生成することができない。すなわち、ユーザによって時間が指定された後に、その指定時間においては仮想視点コンテンツを生成することができないことをそのユーザに通知することとなるため、ユーザにとっての利便性が良くない場合がありうる。

このため、本実施形態に係るシステムでは、素材データが利用可能な時間に関する情報を生成し、ユーザが仮想視点コンテンツを生成する際に、その仮想視点コンテンツを生成するのに必要な素材データの集合を利用可能な期間の情報を映像生成装置に通知する。これによれば、ユーザは、仮想視点コンテンツを生成することができる時間区間を明確に認識することができるため、時刻を指定して、その時刻における素材データが存在するかを都度確認する必要がなくなる。なお、以下では、このような処理を実行するシステム及び処理の詳細について、競技場（スタジアム）における競技の様子を撮像してライブ配信やリプレイ用の仮想視点映像の生成などに供する場合の例について説明する。ただし、これに限られず、例えばコンサート会場、相撲などの格闘技、撮影スタジオにおいて撮像された画像に基づく仮想視点映像の生成が行われてもよい。なお、以下で説明する態様は一例に過ぎず、本発明の思想の範囲内で、同様の処理を実行可能な任意の構成及び手順が用いられうる。

（システム構成）
本実施形態に係るシステムの構成例を図１に示す。本システムは、例えば、撮像部１、同期部２、素材データ生成部３、保存部４、時間情報管理部５、映像生成部６、映像出力部７、データ群選択部８、及び、操作部１０を含んで構成される。なお、本システムは、１つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。

本システムでは、複数の撮像部１が、同期部２による同期信号に基づいて互いに高精度に同期して撮像を行う。なお、複数の撮像部１は、図２に示すように、グラウンドや被写体を囲むように設置されうる。撮像部１のそれぞれは、撮像した画像を、素材データ生成部３へと送信する。素材データ生成部３は、撮像部１から受信された複数視点からの撮像画像を用いて、仮想視点映像を生成する際に用いられる素材データを生成して、保存部４に出力する。このとき、素材データ生成部３は、素材データの生成に使用した撮像画像の撮像時刻に基づく時間情報を、素材データと共に保存部４へ出力する。なお、時間情報は、時刻に関するものでありうるが、例えばフレーム番号などの時間に関連する任意の情報でありうる。

素材データは、例えば、被写体の三次元形状を示すボクセルデータである被写体三次元モデルと、被写体三次元モデルの各ボクセルに着色するための被写体テクスチャとのいずれか又は両方を含む。また、素材データは、被写体以外の背景を投影するためのポリゴンデータである背景三次元モデルと、背景三次元モデルのポリゴンに張り付ける背景テクスチャ画像とのいずれか又は両方を含みうる。さらに、素材データは、データ転送量を少なくするための被写体ポリゴンモデルと、それに張り付けるための被写体ポリゴン用テクスチャとの少なくともいずれかを含みうる。また、素材データは、選手の移動の解析などに用いることができる被写体位置情報を含みうる。なお、素材データの三次元モデルは、例えば視体積交差法を用いて生成されうるが、これ以外の方法が用いられてもよく、他の任意の方法によって三次元モデルが生成されてもよい。また、他の素材データについても、任意の方法によって生成されうる。

保存部４は、素材データ生成部３から取得した１つ以上の種別情報の素材データを、時間情報と対応付けて保存する。このように各種素材データと時間情報とを対応付けて保存することで、保存部４は、時間情報と素材データの種別情報とに基づいて、対応する素材データを特定して読み出すことができる。保存部４は、保存が完了した素材データの種別情報と時間情報とを時間情報管理部５へ出力する。

時間情報管理部５は、保存部４から取得した素材データの種別情報と時間情報とに基づいて、時間範囲管理情報の生成又は更新を行う。時間範囲管理情報は、素材データの種別ごとに、保存部４に連続して保存されている時間範囲を記録する。この時間範囲は、保存部４から取得した時間情報に基づいて、素材データが連続して保存されている時間範囲の開始時間と終了時間の組み合わせとして定められうる。例えば、時間情報管理部５は、それまでに保存されていない素材データが新規に保存された場合は、その素材データに対応する時間情報を開始時間及び終了時間として保存する。また、時間情報管理部５は、既に保存されている素材データについて、そのデータに対応する時間情報が示す時刻から所定期間内の新たな時刻に対応する新たなデータが保存された場合、その素材データの終了時間を更新し、時間範囲を拡大する。そして、時間情報管理部５は、既に保存されている素材データについて、その素材データの時間情報が示す時刻から所定期間が経過すると、その素材データについての時間範囲の情報の更新を終了する。したがって、時間情報管理部５は、既に保存されている素材データについて、最新の終了時間から所定期間以上の期間が経過した時刻を示す時間情報と共に新たなデータが保存された場合、その時刻を開始時刻として、新たな時間範囲の情報を生成する。なお、この場合、１種類の素材データに対して、複数の時間範囲を特定する時間範囲管理情報が生成されることとなる。なお、ここでの所定期間は、例えば１フレーム分の期間でありうるが、例えばそれ以上の期間など、任意の期間でありうる。

映像生成部６は、接続された操作部１０からの指示に基づいて、保存部４から素材データを取得して、仮想視点映像を生成する。生成された仮想視点映像は、例えば、操作部１０の表示部１１および映像出力部７に出力され、表示される。

操作部１０は、例えば、タッチパネルや、ボタン・キーボード等とディスプレイとの組み合わせ等、ユーザからの入力の受付を行い、ユーザへの情報の提示を行うための、ユーザインタフェースを提供する。操作部１０は、例えば、その機能として、表示部１１、映像種別選択部１２、及び時間指示部１３を含んで構成される。操作部１０は、例えば図３に示すような画面を表示して、ユーザ操作の受付を行う。図３において、表示部１１は、生成された仮想視点映像を表示する。映像種別選択部１２は、出力する仮想視点映像の映像種別を選択する。時間指示部１３は、生成する仮想視点映像の時間を指定する。映像種別選択部１２では、例えば、「ライブ配信」、「低画質リプレイ」、「高画質リプレイ」、「携帯端末用」、「選手位置解析」等の種別の選択の受付を行う。ここで、「ライブ配信」は、画質が低いことが許容される即時配信用の仮想視点映像を生成する場合に選択される。「低画質リプレイ」は、ライブ配信と同等の画質でリプレイ再生を行うための仮想視点映像を生成する場合に選択される。「ライブ配信」と「低画質リプレイ」では、仮想視点映像の生成のために低解像度の三次元モデルが用いられる。「高画質リプレイ」は、ハイライトシーンのリプレイなど、繰り返し視聴されることを前提とした高画質な仮想視点映像を生成する場合に選択される。「高画質リプレイ」では、仮想視点映像の生成のために低解像度の三次元モデルが用いられる。「携帯端末用」は、データ量が少ない仮想視点映像を生成する場合に選択される。「携帯端末用」では、例えばボクセルではなくポリゴン等の三次元モデルを用いて仮想視点映像が生成される。「選手位置解析」は、例えばフィールド上で選手たちがどのように移動しているのかを確認する際に選択される。「選手位置解析」では、位置情報だけが用いられ、被写体である選手の三次元モデルは用いられない。選択された映像種別の情報は、例えば映像生成部６を介して、データ群選択部８へ入力される。

データ群選択部８は、入力された映像種別に基づいて、その映像種別の仮想視点映像生成に必要な素材データの組み合わせであるデータ群を選択する。例えば、上述の映像種別ごとに選択されるデータ群を、図４に示す表のような組み合わせでありうる。例えば、「高画質リプレイ」が選択された場合、対応するデータ群として、高解像度の被写体三次元モデル、高解像度の被写体テクスチャ、背景三次元モデル、及び高解像度の背景テクスチャが選択される。また「選手位置解析」が選択された場合は、選手の配置・動きのみを特定可能であれば足りるため、対応するデータ群として被写体位置情報と背景三次元モデルとが選択される。データ群選択部８は、選択したデータ群を映像生成部６に通知する。そして、映像生成部６は、通知されたデータ群に基づいて、保存部４にそのデータ群がすべて保存されている時間範囲を示す有効時間範囲２０を、時間情報管理部５に問い合わせる。

時間情報管理部５は、図５に示すように、保存部４に保存されている素材データのそれぞれについての時間範囲を特定する時間範囲管理情報を管理している。時間情報管理部５は、映像生成部６からデータ群を指定した問い合わせを受信すると、その指定されたデータ群の全てが保存されている時間範囲を特定して、操作部１０へ返信する。

時間情報管理部５は、例えば映像種別が高画質用データ群の場合、高解像度の被写体三次元モデル、高解像度の被写体テクスチャ、背景三次元モデル、及び高解像度の背景テクスチャの全てが保存されている時間範囲を特定する。すなわち、この場合、時間情報管理部５は、高画質用データ群の時間範囲の論理積である時間範囲２０ｈを特定する。また、時間情報管理部５は、映像種別が選手位置解析用データ群であった場合、選手位置情報が保存されている時間範囲に対応する時間範囲２０ｐを特定する。また映像種別がライブ配信である場合、図５に示すように、必要なデータ群がそろっている時間である最新時間情報２１を、有効時間範囲２０として特定する。

特定された有効時間範囲２０は、映像生成部６を介して操作部１０に通知され、時間指示部１３にその情報が表示される。なお、時間範囲２０ｈや時間範囲２０ｐのように、複数の時間範囲が有効時間範囲として特定された場合、その複数の時間範囲の全て又は一部（例えば所定数の時間範囲）が、操作部１０に通知される。

仮想視点を生成する映像の時間を有効時間範囲２０の範囲内でユーザが指定すると、その指定時間が映像生成部６に伝えられる。このとき、描画すべき仮想視点の視点位置・姿勢およびその画角などの視点情報が３Ｄマウスを用いて決定され、その視点情報も映像生成部６に伝えられる。なお、３Ｄマウスを用いる必要はなく、例えばＧＵＩを通じた操作や、専用の操作部による操作を受け付けることによって、視点情報が決定されてもよい。映像生成部６は、得られた指定時間と予め設定されているデータ種別群とに基づいて、保存部４に対して必要な素材データを要求して取得する。このとき、有効時間範囲２０の情報に基づいて、映像生成部６が要求する指定時間におけるデータ群が保存部４に保存されていることが事前に確認できている。このため、映像生成部６は、データの有無の確認を行うことなく、確実に対象のデータを取得することができる。映像生成部６は、得られた素材データと視点情報とに基づいて、仮想視点映像を生成し、その仮想視点映像を操作部１０の表示部１１および映像出力部７に出力する。

このような構成により、保存部４に保存されている素材データを用いて適切な仮想視点映像が生成可能な時間範囲の情報をユーザに通知することができる。そして、ユーザは、通知された時間範囲の中から仮想視点映像を生成したい時間を指定することができるため、指定した時間において仮想視点映像を生成することができないことがなくなる。これにより、仮想視点映像の生成／表示の際のユーザの利便性を向上させることができる。

（有効時間範囲の表示と映像再生制御の例）
続いて、時間指示部１３が有効時間範囲２０を表示し、ユーザによる時刻指定を受け付ける手法の例について説明する。時間指示部１３は、一例として、図６（ａ）〜図６（ｂ）のように、バー状のグラフィカルインターフェース（ＧＵＩ）であるシークバー１３ａを用いて、有効時間範囲２０を表示する。ここでは例として第１の有効時間範囲２０ａと第２の有効時間範囲２０ｂの２つの有効時間範囲が表示される場合の例を示す。なお、ここで説明する例は一例に過ぎず、有効時間範囲とそれ以外の時間範囲とが識別可能に、かつ有効時間範囲内の任意の時刻を特定可能な任意の表示手法が用いられうる。例えば、物理的なジョグダイヤル等を用いて時刻をカウンタ値で指定する等の構成が用いられてもよい。この場合、有効時間範囲の表示は、開始時刻と終了時刻とにより１つの時間範囲を示すデータのリストなどであってもよい。

図６（ａ）の例では、時間指示部１３は、１つのシークバー１３ａ内に、取得した２つの有効時間範囲２０ａ及び２０ｂを、シークバー１３ａの一部の色を変えて有効な範囲として表示する。この場合、シークバー１３ａの全範囲は想定されるコンテンツ全体の長さに対応し、サッカーなどのスポーツの場合、試合開始から試合終了の時間範囲がシークバー１３ａの全体によって表示される。

図６（ｂ）の例では、時間指示部１３は、所望の仮想視点映像を生成できない時間範囲を、実際の時間範囲の長さに対応する長さよりも短く表示する。なお、図６（ｂ）の例では、第１の有効時間範囲２０ａと第２の有効時間範囲２０ｂとの間の期間が表示されているが、この期間については必ずしも表示されなくてもよい。このとき、図６（ｂ）に示すように、有効時間範囲２０の開始時間と終了時間とを示す数値が、シークバー１３ａに表示されてもよい。

なお、図６（ａ）の例は、コンテンツ全体の時間範囲と、その時間範囲のうちの有効時間範囲２０の割合や現在の再生位置とをユーザに認識させやすい点で有用である。一方、例えば有効時間範囲２０のコンテンツ全体の時間範囲に対する比率が少ない場合は、図６（ｂ）の例のような表示が行われることにより、ユーザの操作を容易にすることができる点で有用である。このように、それぞれの表示手法が異なる利点を有するため、これらの２つの表示方式を切替可能に構成し、時間指示部１３は、これらの表示方式のうちのいずれを用いるかのユーザによる選択を受け付けるようにしてもよい。また、時間指示部１３は、例えば、コンテンツ全体の時間範囲の長さに対する有効時間範囲２０の割合等のパラメータに基づいて、いずれの表示方式を用いるかの選択を自動的に実行してもよい。

ユーザは、時間指示部１３が表示した有効時間範囲２０ａ及び２０ｂのうちのいずれかの位置にカーソル１４を移動させることにより、その位置に対応する時刻を、仮想視点映像を生成・表示させる時刻として指定することができる。映像生成部６は、その指定された時刻に対応する素材データを保存部４から取得して、仮想視点映像を生成し、映像出力部７及び操作部１０へ出力する。なお、カーソル１４は、時刻指定の際に、シークバー１３ａ上の有効時間範囲２０ａ及び２０ｂにおいてのみ移動可能なように、すなわち、有効時間範囲以外の時間を選択できないように構成されうる。このような構成が行われた場合の例について、図６（ｃ）を用いて説明する。図６（ｃ）には、ポインタ１５によってシークバー１３ａ上のカーソル１４をドラッグして移動させるインターフェースが用いられる例を示している。図６（ｃ）に示すように、ユーザは、カーソル１４をドラッグしながら、第１の有効時間範囲２０ａ内の位置１５ａや１５ｂにポインタ１５を移動させることによって、カーソル１４を位置１４ａや１４ｂに移動させることができる。一方、ユーザがカーソル１４をドラッグしたままポインタ１５を位置１５ｃに移動させたとしても、第１の有効時間範囲２０ａの終了時間である位置１４ｃにカーソル１４が固定される。すなわち、時間指示部１３は、第１の有効時間範囲２０ａの外にカーソル１４を移動させることを許容しない。一方、ユーザが、カーソル１４をドラッグしたまま、第２の有効時間範囲２０ｂ内又は第２の有効時間範囲２０ｂから所定の範囲内の位置１５ｄにポインタ１５を移動させた場合、カーソル１４が第２の有効時間範囲２０ｂの開始時間１４ｄに移動させられる。このように、カーソル１４を第１の有効時間範囲２０ａと第２の有効時間範囲２０ｂとの間の時間範囲に移動させることを防ぐことにより、仮想視点映像を生成することができない時刻が選択されることを防ぐことができる。なお、時間指示部１３は、有効時間範囲２０ではない部分を選択又は指定できるように構成されてもよい。また、有効時間範囲以外の時間をユーザが指定できないようにする構成に代えて、有効時間範囲以外の時間をユーザが指定しても、その指定を無効にする構成を採用してもよい。

ユーザが有効時間範囲２０内の１つの時刻を指定した場合、映像生成部６は、その指定時刻についてのみ仮想視点映像を生成してもよいが、その指定時刻以降の連続するフレームにおいて仮想視点映像を生成して、再生するようにしてもよい。このとき、有効時間範囲２０ａ内の時刻からの連続したフレームでの再生が開始された場合、有効時間範囲２０ａの終了後にそのまま再生が継続されると、有効時間範囲２０ｂとの間の有効時間範囲外の時間範囲においても再生が継続されてしまいうる。このため、ある有効時間範囲（第１の有効時間範囲２０ａ）の終了時間まで映像生成および再生が完了した場合に、次の有効時間範囲（第２の有効時間範囲２０ｂ）の開始時間から継続して仮想視点映像の生成および再生を行うようにすることができる。これによれば、仮想視点映像の生成と出力を止めることがなくなるため、ユーザに対して操作を要求することなく、連続した仮想視点映像の視聴が可能となる。また、複数の有効時間範囲を跨いで仮想視点映像の再生が行われる場合、図７（ａ）に示すように、有効時間範囲の切り替えの際に再生対象の仮想視点映像が不連続な時間に関するものであることを示すための表示画面２２が挿入されるようにしうる。または、図７（ｂ）に示すように、切り替え後の有効時間範囲の再生開始時に、再生対象の仮想視点映像が不連続な時間に関するものであることを示す情報２３が重畳表示されるようにしてもよい。これらにより、再生されているフレームが、それまでに再生されていたフレームと不連続な時間に関するものであることをユーザに示すことができる。なお、複数の有効時間範囲のうちの最後の有効時間範囲の終了時間まで再生が完了した場合は、その時点で再生が停止されうる。なお、繰り返し再生の設定を設けておき、その設定が選択されたことに応じて最初の有効時間範囲の開始時間から再度再生が開始されてもよい。

また、例えば「ライブ配信」が選択された場合など、リアルタイムの映像を生成すべき場合は、映像生成部６は、最新時間情報２１を取得し、その最新時間情報２１に対応する時刻の素材データを保存部４から取得して、仮想視点映像を生成することができる。なお、この場合、時間指示部１３に最新時間情報２１によって示される時刻は必ずしも表示されなくてもよい。また、ライブ配信等の場合は、最新時刻の映像のみがあればよく、時刻情報は明示される必要はない。例えば、映像生成部６は、映像種別としてライブ配信等の種別が選択された場合に、特定の時刻を指定せずに「最新時刻」のデータ群の取得要求を時間情報管理部５に対して行う。時間情報管理部５は、要求されたデータ群が既に保存されている最新の時刻を特定し、その時刻におけるデータ群を保存部４から読み出して、映像生成部６へ伝える。なお、時間情報管理部５は、保存部４からデータ群を読み出さずに、映像生成部６へデータ群を送信するように保存部４に対して指示を送信してもよい。映像生成部６は、得られた素材データ群を用いて仮想視点映像を生成する。このとき、映像生成部６は、最新時刻の情報を明示的に取得する必要はないが、例えば操作部１０の表示部１１などに時刻情報を表示したい場合には、素材データ群と共に時刻情報を取得するように構成されてもよい。

（変形例）
上述の構成及び処理は一例に過ぎず、様々な態様の装置構成が用いられてもよく、また、同様の処理が異なる手順や表示内容をもって行われてもよい。また、図１に示される１つの機能ブロックが複数の電子機器によって分担されて実現されてもよいし、１つ以上の機能ブロックが１つの電子機器によって実現されるように構成されてもよい。例えば、図１では素材データ生成部３と保存部４とが独立した機能ブロックとして示されているが、これらは１つの同じ処理装置の内部に含まれていてもよく、これらの機能部と映像生成部６を１つの装置内に含めて仮想視点映像配信サーバ等の装置としてもよい。なお、本システムに係る機能ブロックの少なくとも一部が、ＣＰＵやＭＰＵ等のプロセッサによってＲＯＭやＲＡＭ等のメモリに記憶されたプログラムが実行されることによって実現されうる。例えば、操作部１０は、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等におけるプロセッサにおいて所定のアプリケーションプログラムを実行させて表示させる、グラフィカルユーザインタフェース（ＧＵＩ）によって実現されうる。また、映像生成部６と操作部１０とが、ＰＣ、タブレット、および／またはスマートフォンなどにおけるプロセッサで、アプリケーションプログラムが実行されることによって実現されてもよい。

また、図１のシステムでは、撮像部１による撮像から、操作部１０による操作の下での映像生成部６による仮想視点コンテンツの生成までの一連の処理が一括して行われるシステムの構成例が示されているが、これに限られない。例えば、撮像及び素材データの保存及び時間範囲管理情報の生成までが行われるシステムと、仮想視点映像の生成が行われるシステムとが別個に用意されてもよい。すなわち、仮想視点映像の生成時には、素材データや時間範囲管理情報が保存されていると共にそれらの情報を提供可能な情報提供装置が存在すれば足り、システム内にこれらの情報を生成する機構が存在しなくてもよい。

なお、上述の説明では、時間情報管理部５は、保存部４に素材データが保存された際に、時間範囲管理情報を生成又は更新するとしたが、時間範囲管理情報は必ずしも生成されなくてもよい。例えば、時間情報管理部５は、映像生成部６から有効時間範囲の問い合わせを受信する度に、保存部４に保存されている素材データの時間情報を抽出して、有効時間範囲に関する情報を生成して映像生成部６へ送信するようにしてもよい。これによれば、その時点で保存されている素材データに基づいて正確な時間情報を抽出することができる。また、時間情報管理部５は、映像生成部６からの有効時間範囲の問い合わせを受信したことに応じて、その問い合わせで指定された映像種別の仮想視点映像を生成するための素材データ群に関する有効時間範囲を特定するとしたが、これに限られない。例えば、時間情報管理部５は、複数のデータ群のそれぞれについての有効時間範囲のデータを予め生成しておき、映像生成部６からの問い合わせに応答して、対応する種別に関して予め生成された有効時間範囲の情報を映像生成部６へと送信しうる。また、時間情報管理部５は、各素材データについての時間範囲管理情報を生成せずに、種別ごとの素材データ群に含まれるデータの全てが保存されている時間範囲を時間範囲管理情報として生成してもよい。また、時間情報管理部５は、これ以外の形式で時間範囲管理情報を生成してもよい。また、時間情報管理部５は、指定された素材データ群についての時間範囲管理情報で示される時間範囲の論理積を有効時間範囲２０として映像生成部６へ通知するとしたが、必ずしもこれに限られない。例えば、時間情報管理部５は、素材データごとの時間範囲管理情報を映像生成部６へと送信し、映像生成部６または操作部１０が、その情報が示す時間範囲の論理積を計算し、その計算結果を有効時間範囲として特定しうる。また、映像生成部６または操作部１０は、複数の映像種別のそれぞれについての複数の有効時間範囲を特定し、操作部１０の時間指示部１３にその複数の有効時間範囲を並列表示する等の処理を実行してもよい。また、操作部１０は、映像生成部６を介して時間範囲管理情報を取得するが、時間情報管理部５からこの時間範囲管理情報を直接取得してもよい。

また、上述の説明では、操作部１０が映像種別選択部１２を含み、映像種別選択部１２において映像種別の選択が行われるとしたが、必ずしもこのような構成でなくてもよい。例えば、映像生成部６および／または操作部１０の種別や性能によって、映像種別が自動的に決定されてもよいし、例えば、操作部１０を操作するユーザの権限に基づいて映像種別が自動的に選択されるようにシステムが構成されてもよい。なお、映像生成部６の種別や性能等によって映像種別が決定される場合には、データ群選択部８は存在しなくてもよい。例えば、映像生成部６は、固定のデータの組み合わせの情報を保持しておくことにより、データ群選択部８に対する問い合わせを行う必要がなくなる。また、映像生成部６の性能等に基づいて映像種別が決定される場合、データ群選択部８は、保存部４または時間情報管理部５に接続されるように構成されてもよい。この場合、例えば、映像生成部６は、データ群の指定をせずに、例えば自装置の種別や性能等の情報又は自装置の機種情報や識別情報等の種別や性能を特定可能な情報を伴う問い合わせを、時間情報管理部５へと送信しうる。時間情報管理部５は、この問い合わせに含まれる情報に基づいて、対応する素材データ群を特定し、その特定されたデータ群に対応する有効時間範囲の情報を、映像生成部６へ通知する。

また、上述の説明では、素材データの全てが時間情報と対応付けて保存されているように説明しているが必ずしもこれに限られない。例えば、保存部４は、背景の三次元モデルなどは変化がなければ単一のデータだけを保存しておき、有効時間範囲の問い合わせに対しては全ての時刻において有効として、取得要求の度に同一のデータを映像生成部６に出力してもよい。また、このような素材データについては、有効時間範囲の問い合わせの対象とせず、映像生成部６は、この素材データを一度取得すると、その素材データを継続して利用するようにしてもよい。

また、保存部４および時間情報管理部５に映像生成部６が接続されて素材データを利用する構成について説明したが、映像生成部６以外の機能部によって、素材データが利用されてもよい。例えば、映像は生成せずに被写体の位置や速度を計測する被写体解析装置が、素材データである被写体位置情報を用いるようにシステムが構成されてもよい。

また、上述の説明では、操作部１０の映像種別選択部１２が、「ライブ配信」、「低画質リプレイ」、「高画質リプレイ」、「携帯端末用」、「選手位置解析」の５種類の映像種別から１つを選択する例について説明したが、映像種別はこれらに限定されない。例えば、「Ｆｕｌｌ ＨＤ」、「４Ｋ」、「放送用」、「ネット配信用」、「モバイル端末用」等のさらなる映像種別が設定されてもよいし、これらの映像種別の一部が省略されてもよい。さらに、映像生成の際に、映像種別が特定されずに、取得する素材データの種別が直接指定されるように構成されてもよい。

また、操作部１０の映像種別選択部１２は、例えば「高画質優先リプレイ」といった優先度を持った映像種別を選択可能なように構成されうる。上述の「高画質リプレイ」では、高画質の仮想視点映像を生成できる有効時間範囲のみが取得され、高画質な仮想視点映像のみが生成される。これに対し、「高画質優先リプレイ」では、高画質な仮想視点映像を生成できる時間範囲では高画質で仮想視点映像を生成し、それ以外の時間範囲では、低画質だが仮想視点映像を生成することができる時間範囲においては、低画質で仮想視点映像を生成する。これによれば、映像が途切れることによって視聴者に違和感を与えることを防ぐことができる。この場合、データ群選択部８は、例えば、指定された映像種別に基づいて、必須データ群、高優先度データ群、低優先度データ群等の複数の優先度を付したデータ群を特定し、特定したデータ群を映像生成部６に通知する。「高画質優先リプレイ」の例では、高優先度データ群は、例えば、高解像度の映像を生成するための、高解像度の被写体三次元モデル、高解像度の被写体テクスチャ、高解像度背景テクスチャでありうる。一方、低優先度データ群は、低解像度の映像が生成可能な、低解像度の被写体モデル、低解像度の被写体テクスチャ、低解像度の背景テクスチャでありうる。また、必須データ群は背景モデルでありうる。なお、どのようなデータを高優先度又は低優先度とするかは、これに限られず、例えば通信回線の容量が小さい場合などでは、低解像度のデータが高優先度で、高解像度のデータが低優先度であるような設定が行われてもよい。

映像生成部６は、これらのデータ群に基づいて、有効時間範囲を時間情報管理部５に問い合わせる。時間情報管理部５は、これに対して、まず、必須データ群と高優先度データ群とが共に保存されている時間範囲を、図８の２０ｃによって示されるような高優先度データ群が得られる高優先範囲として特定する。また、時間情報管理部５は、高優先範囲２０ｃ以外の時間範囲のうち、必須データ群と低優先度データ群とが得られる時間範囲を、図８の２０ｄによって示されるような低優先範囲として特定する。そして、時間情報管理部５は、特定した高優先範囲２０ｃ及び低優先範囲２０ｄの情報を、映像生成部６へと送信する。操作部１０は、受信した有効時間範囲２０を高優先範囲２０ｃと、低優先範囲２０ｄとで識別可能に（例えば異なる色で）表示する。このような表示により、ユーザは、主として高優先範囲２０ｃ内で時間を指定して高解像度な仮想視点映像を生成するが、ある時間の映像を解像度が低くとも生成したい場合には低優先範囲２０ｄ内の時間を指定する等の判断を行うことができるようになる。なお、低優先範囲は、高優先範囲２０ｃとは無関係に特定されてもよい。この場合、映像生成部６又は操作部１０において、高優先範囲と低優先範囲とが重なる範囲については、高優先範囲であると特定することができる。また、操作部１０は、高優先範囲と低優先範囲とを並列表示してもよい。また、例えば、高優先範囲２０ｃでも低優先範囲２０ｄでもない時間範囲については、図６（ａ）又は図６（ｂ）の例のような表示が行われうる。

なお、映像生成部６は、データ種別ごとに優先度が設定された問い合わせを、時間情報管理部５に行うものとしたが、これに限られない。例えば、映像生成部６が優先度ごとに時間情報管理部５へ問い合わせを行い、操作部１０または映像生成部６が、優先度ごとに得られた有効時間範囲２０を統合し、時間指示部１３に統合された有効時間範囲２０を表示してもよい。

また、高解像度映像を生成するための高優先度データ群と低解像度映像を生成可能な低優先度データ群とを分類して有効時間範囲２０が特定され、映像生成部６は、それに基づいて素材データを取得すると説明したがこれに限られない。例えば、被写体のモデルおよびテクスチャは高解像度のものを取得できるが、背景テクスチャは低解像度のものしか取得できない等の場合に、背景テクスチャに合わせて被写体についてまで低解像度のものを用いる必要はない。このような場合、映像生成部６は、背景テクスチャについては低解像度のものを利用するように構成されてもよい。このような構成のために、三次元モデルやテクスチャなどのデータ種別の分類ごとに優先度の組み合わせが作成され、映像生成部６が、データ種別の分類ごとに高優先度の素材データを優先して取得するように構成されてもよい。また、この場合の時間指示部１３においては、すべての種別において優先度が高いものが取得できる有効時間範囲と、すくなくとも一部が低優先度のものしか取得できない有効時間範囲とが互いに識別可能に表示されてもよい。

また、上述の例では、複数の撮像部１で撮像された画像が素材データ生成部３に入力され、保存部４は、素材データ生成部３が生成した素材データを保存するものとしたが、これに限られない。例えば、複数の撮像部１で撮像された画像が、一度、保存部４にすべて保存され、素材データ生成部３がその保存された画像を用いて素材データを生成するようにしてもよい。この構成例を図９に示す。図９の構成では、素材データ生成部３は、保存部４に保存された複数の画像を用いて素材データを生成して、その生成した素材データと、その素材データに対応する時間情報とを保存部４に出力する。これによれば、例えば、素材データ生成部３が、高画質な素材データの生成の際に、例えば手動での補正等の編集・修正が行われた素材データや、編集・修正が行われた画像に基づく素材データを生成することができる。

このような構成とすることで、複数の撮像部１により撮像された画像が保存部４に保存されるため、それに基づいて、多くの時間を用いたより高品質な素材データを作ることができるようになる。そして、その結果、さらに高品位な仮想視点映像を生成することも可能となる。なお、高品質な素材データを作るにはコストがかかるため、全時間範囲において高品位な素材データが作成されない場合がありうる。このような場合には、上述のような優先度を利用することにより、高品質な仮想視点映像を生成することができる時間範囲においては高品質の仮想視点映像を生成し、それ以外の部分では低品質の仮想視点映像を生成するようにしうる。

なお、上述の実施形態は、仮想視点映像を生成するためのシステムについて説明したが、例えば自由聴点音響等の、仮想視点映像以外のコンテンツを生成するための情報処理システムに、上述の技術を適用することができる。すなわち、１つ以上の素材データを取得して、その素材データから任意のコンテンツを生成する任意の情報処理装置に、上述の議論が適用されうる。すなわち、情報処理装置は、コンテンツを生成するための１つ以上の素材データが存在している場合にその素材データが対応する時刻に関する情報を取得する。そして、情報処理装置は、その情報に基づいてコンテンツを生成可能な有効時間範囲を特定し、その範囲内の時間について素材データを取得してコンテンツを生成する。このとき、情報処理装置は、有効時間範囲を、コンテンツを生成することができない時間範囲と識別可能に表示することができる。なお、上述の実施形態では、優先度に応じて色付けする等により、例えば高優先度のコンテンツを生成可能な時間範囲を他の時間範囲と識別可能に表示する手法について説明したが、これを拡張することができる。例えば、生成可能なコンテンツの種類／組み合わせを識別可能に表示する手法が用いられうる。例えば、仮想視点映像と自由聴点音響とが共に生成可能な時間範囲と、仮想視点映像のみ生成可能な時間範囲と、自由聴点音響のみ生成可能な時間範囲と、そのいずれも生成できない時間範囲とが、色付け等によってそれぞれ識別可能に表示されうる。また、これらに対して、さらに解像度等に基づいてコンテンツを分類し、分類ごとに識別可能な表示が行われるようにしてもよい。なお、コンテンツの種類ごとの有効時間範囲を並列表示するようにしてもよい。このように、ユーザが識別できるように生成可能なコンテンツの種類が示されることにより、コンテンツを生成する際のユーザの利便性を向上させることができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：撮像部、２：同期部、３：素材データ生成部、４：保存部、５：時間情報管理部、６：映像生成部、７：映像出力部、８：データ群選択部、１０：操作部、１１：表示部、１２：映像種別選択部、１３：時間指示部

Claims (23)

1. 仮想視点コンテンツを生成するための複数の素材データを記憶する記憶部に何れの時刻の仮想視点コンテンツを生成するための素材データが記憶済みであるかを特定する特定手段と、
   何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための情報を、前記特定手段による特定の結果に基づいて出力する出力手段とを有することを特徴とする情報処理装置。
2. 前記記憶部に記憶される素材データは、オブジェクトの三次元形状のデータおよび当該三次元形状に関する色情報を有するテクスチャのデータを含む複数のデータ種別の素材データであることを特徴とする請求項１に記載の情報処理装置。
3. 前記出力手段により出力される前記情報は、何れの時刻の仮想視点コンテンツを生成できるかを示す情報であることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記出力手段により出力される前記情報は、仮想視点コンテンツを生成するために用いられる素材データのデータ種別ごとに、何れの時刻の仮想視点コンテンツを生成するための当該データ種別の素材データが前記記憶部に記憶済みであるかを示す情報であることを特徴とする請求項１又は２に記載の情報処理装置。
5. 仮想視点コンテンツを生成できる時間範囲と仮想視点コンテンツを生成できない時間範囲とを識別可能に示すシークバーを、前記出力手段により出力される前記情報に基づいて表示部に表示させる表示制御手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 何れの時刻の仮想視点コンテンツを生成できるかを示す前記画像は、仮想視点コンテンツを生成できる時間範囲と仮想視点コンテンツを生成できない時間範囲とを識別可能に示す画像であることを特徴とする請求項１又は２に記載の情報処理装置。
7. 複数の種類の仮想視点コンテンツのうち１以上の種類を、ユーザ操作及びユーザ属性の少なくとも何れかに基づいて選択する選択手段を有し、
   前記出力手段は、前記選択手段により選択された種類の仮想視点コンテンツとして何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための情報を出力することを特徴とする請求項１又は２に記載の情報処理装置。
8. 前記出力手段により出力される前記情報は、１以上の時刻について、当該時刻の仮想視点コンテンツとして複数の種類の仮想視点コンテンツのうちのいずれを生成できるかを示す情報であることを特徴とする請求項１又は２に記載の情報処理装置。
9. 前記出力手段は、複数の種類の仮想視点コンテンツのそれぞれについて、当該種類の仮想視点コンテンツとして何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための情報を出力することを特徴とする請求項１又は２に記載の情報処理装置。
10. 前記複数の種類の仮想視点コンテンツには、画質が異なる複数の仮想視点コンテンツが含まれることを特徴とする請求項７乃至９の何れか１項に記載の情報処理装置。
11. 前記出力手段による情報の出力に応じて表示された画像に対するユーザ操作に基づく指示情報であって、何れの時刻の仮想視点コンテンツを生成するかを指定する指示情報を受け付ける受付手段と、
    前記受付手段により受け付けられた指示情報により指定される時刻に対応する複数の素材データを前記記憶部から取得し、取得した当該複数の素材データを用いて仮想視点コンテンツを生成する生成手段とを有することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 仮想視点コンテンツを生成できない時刻がユーザ操作により指定されることを、前記特定手段による特定の結果に基づいて制限する制限手段を有することを特徴とする請求項１１に記載の情報処理装置。
13. 前記生成手段は、仮想視点コンテンツを生成できる時刻が不連続な複数の時間範囲にわたる場合であって、且つ前記複数の時間範囲を跨いで仮想視点コンテンツが再生される場合に、当該仮想視点コンテンツに対応する時刻が不連続であることを示す表示が再生されるように当該仮想視点コンテンツを生成することを特徴とする請求項１１又は１２に記載の情報処理装置。
14. 前記記憶部に記憶されている素材データの生成のために用いられた撮像画像の撮像時刻に関する情報を取得する取得手段を有し、
    前記特定手段は、前記記憶部に何れの時刻の仮想視点コンテンツを生成するための素材データが記憶済みであるかを、前記取得手段により取得される情報に基づいて特定することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 前記出力手段は、何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための前記情報を、表示装置又は他の情報処理装置に対して出力することを特徴とする請求項１乃至４及び請求項６乃至１０の何れか１項に記載の情報処理装置。
16. 前記他の情報処理装置は、何れの時刻の仮想視点コンテンツを生成するかについての指示を受け付ける受付手段を有し、
    前記出力手段は、何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための前記情報を前記他の情報処理装置へ出力することを特徴とする請求項１５に記載の情報処理装置。
17. 複数の素材データを用いて仮想視点コンテンツが生成されるシステムにおいて動作する情報処理装置であって、
    前記システムにおいて仮想視点コンテンツを生成する生成装置が何れの時刻の仮想視点コンテンツを生成するための素材データを使用可能であるかを特定する特定手段と、
    何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための情報を、前記特定手段による特定の結果に基づいて出力する出力手段とを有することを特徴とする情報処理装置。
18. 前記生成装置が使用可能な素材データは、前記システム内の記憶装置に記憶済みの素材データであることを特徴とする請求項１７に記載の情報処理装置。
19. 仮想視点コンテンツを生成するための前記素材データには、複数のデータ種別の素材データが含まれることを特徴とする請求項１７又は１８に記載の情報処理装置。
20. 仮想視点コンテンツを生成するための複数の素材データを記憶する記憶部に何れの時刻の仮想視点コンテンツを生成するための素材データが記憶済みであるかを特定する特定工程と、
    何れの時刻の仮想視点コンテンツを生成できるかを示す画像を表示させるための情報を、前記特定工程における特定の結果に基づいて出力する出力工程とを有することを特徴とする情報処理方法。
21. 前記出力工程において出力される前記情報は、仮想視点コンテンツを生成するために用いられる素材データのデータ種別ごとに、何れの時刻の仮想視点コンテンツを生成するための当該データ種別の素材データが前記記憶部に記憶済みであるかを示す情報であることを特徴とする請求項２０に記載の情報処理方法。
22. 複数の種類の仮想視点コンテンツのうち１以上の種類を、ユーザ操作及びユーザ属性の少なくとも何れかに基づいて選択する選択工程を有し、
    前記出力工程において、前記選択工程で選択された種類の仮想視点コンテンツとして何れの時刻の当該仮想視点コンテンツを生成できるかを示す画像を表示させるための情報を出力することを特徴とする請求項２０又は２１に記載の情報処理方法。
23. コンピュータを、請求項１乃至１９の何れか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

Images