JP2015204512A - 情報処理装置、情報処理方法、カメラ、受信装置、受信方法 - Google Patents

Abstract

【課題】監視システムにおいて、多数のカメラを設置しても死角を完全に無くすことが困難な場合があった。
【解決手段】保存部１３１は、カメラ１１１及び移動カメラ１２１の撮影映像データを保存する。解析部１４１は、保存部に保存された前記撮影映像データから死角を検出し、死角の発生を防止するように移動指示信号を生成して、移動カメラ１２１に出力する移動カメラ１２１は移動指示信号に従って移動を行い、撮影を継続する。
【選択図】図１

Description

本願発明は情報処理技術に関し、特に死角防止、高臨場感、効率的通信、効率的３次元形状復元を可能にする映像技術、または関連する技術に関する。

監視システムは、近年インテリジェント化と監視対象空間の広域化が進んでいる。監視対象空間の広域化に伴い、死角を少なくして監視対象空間を丸ごと撮影するために、設置されるカメラの台数は増加する傾向にある。

またテレビ放送などの映像配信システムにおいて、特にスポーツの中継等において迫力あるシーンを撮影する目的でも、撮影に用いられるカメラ台数は増加する傾向にある。

特開２０１１−１２０２８３号公報

鳥居他："逐次的ＳｆＭとサーフェス生成によるインスタント３Ｄ復元"，第１９回画像センシングシンポジウム（ＳＳＩＩ２０１３）講演論文集，ｐｐ．ＩＳ２−３３−１−４，２０１３年６月

しかしながら、監視システムにおいて、多数のカメラを設置したとしても常時死角を完全に無くすことが困難な場合がある。

またテレビ放送などの映像配信システムにおいて、多数のカメラを設置したとしても常時死角を完全に無くして、迫力あるシーンを逃さず撮影することが困難な場合がある。

この課題に対して、多数の固定カメラを設置して任意の位置における映像を再現する自由視点映像システムに関する検討が行われている。例えば特許文献１では、複数のカメラ映像に基づく任意視点の映像を生成する際に、送信側システムにおける情報処理量を過大にしない情報処理方法が示されている。

ところでスタジアムのような施設であれば、多数の固定カメラを様々な場所に設置することは可能だが、例えば屋外イベントに対しては設置場所が限定され、自由視点映像を生成することが困難である。

更に従来の自由視点映像システムは撮影場所外のユーザが視聴することを前提とされ、撮影場所内のユーザは自由視点映像の恩恵を受けることができなかった。

本願は、上述の問題の解決を検討する中で生まれた複数のカメラや複数の映像データを扱うシステムにおいて有効となる映像処理装置、カメラ等の映像撮影装置、映像受信装置及びそれらの装置で使用される方法を提供することを目的とする。

より具体的な目的の一例としては、死角を防止する、あるいは特定の領域を撮影禁止にする情報処理装置、情報処理方法を提供することを目的とする。また、別の一例としては、撮影映像を転送したユーザに対しては無料あるいは安い料金で映像配信を行う情報処理装置、情報処理方法を提供することを目的とする。また、別の一例としては、撮影場所内のユーザに臨場感を与える情報処理装置、情報処理方法を提供することを目的とする。また、別の一例としては、施設内やスタジアム内全体の通信を効率的に行う情報処理装置、情報処理方法を提供することを目的とする。また、別の一例としては、３次元形状復元を効率的に行う情報処理装置、情報処理方法を提供することを目的とする。

また、これら情報処理装置及び情報処理方法と接続することができるカメラ、映像受信装置、映像受信方法を提供することを目的とする。

上記目的の一つを達成する本願発明の一態様は、情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから死角を検出し、死角を防止するように指示信号を生成して、前記撮影映像データを生成するカメラに出力する解析部を有する。

上記の発明によれば、解析部が死角を検出し、死角を防止するように指示信号を出力することにより、死角を防止する情報処理装置を提供することができる。

実施の形態１における情報処理装置１００の構成を示す図 実施の形態１における情報処理装置１０１の構成を示す図 実施の形態１において、方向指示信号に基づき、ユーザカメラ１５１の画面上に表示される指示の一例を示す図 実施の形態１における情報処理装置１０１の構成を示す図 実施の形態１における情報処理装置１０２の構成を示す図 実施の形態１における情報処理装置１０３の構成を示す図 実施の形態１における情報処理装置１０３の構成を示す図 実施の形態１における情報処理装置１０４の構成を示す図 実施の形態１における情報処理装置１０５の構成を示す図 実施の形態２において、撮影禁止通知信号に基づき、ユーザカメラ１５２の画面上に表示される通知の一例を示す図 実施の形態１における情報処理装置１０５の構成を示す図 実施の形態２における情報処理装置２００の構成を示す図 実施の形態２における情報処理装置２００の構成を示す図 実施の形態２における情報処理装置２０１の構成を示す図 実施の形態２における情報処理装置２０１の構成を示す図 実施の形態３における情報処理装置３００の構成を示す図 実施の形態３において、スタジアムでサッカーが行われている場合のユーザカメラ３５１の画面一例を示す図 実施の形態３における情報処理装置３００の構成を示す図 実施の形態３における情報処理装置３０１の構成を示す図 実施の形態３において、スタジアムでサッカーが行われている場合のユーザカメラ３５２の画面一例を示す図 実施の形態３における情報処理装置３０１の構成を示す図 実施の形態３における情報処理装置３０２の構成を示す図 実施の形態３において、スタジアムでサッカーが行われている場合のユーザカメラ３５２の画面一例を示す図 実施の形態３における情報処理装置３０２の構成を示す図 実施の形態４における情報処理装置４００の構成を示す図 実施の形態４において、ユーザカメラ４５１において視点情報を生成する方法の一例を示す図 実施の形態４における情報処理装置４００の構成を示す図 実施の形態５における情報処理装置５００の構成を示す図 実施の形態５における情報処理装置５００の構成を示す図 実施の形態５における情報処理装置５０１の構成を示す図 実施の形態５における情報処理装置５０１の構成を示す図 実施の形態６における情報処理装置６００の構成を示す図 実施の形態６における情報処理装置６００の構成を示す図 実施の形態６における情報処理装置６０１の構成を示す図 実施の形態６における情報処理装置６０１の構成を示す図 実施の形態６における情報処理装置６０２の構成を示す図 実施の形態６における情報処理装置６０２の構成を示す図 実施の形態６における情報処理装置６０３の構成を示す図 実施の形態６において、ユーザカメラ６５２起動時に、ユーザカメラ６５２の画面上に表示される通知の一例を示す図 実施の形態６における情報処理装置６０３の構成を示す図

以下では、本願発明の各実施の形態の説明に先立って、以降の実施の形態の説明に含まれる本願発明の態様の一部とその効果について説明する。

本願の請求項１の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから死角を検出し、死角を防止するように指示信号を生成して、前記撮影映像データを生成するカメラに出力する解析部を有することを特徴とするものである。

本願の請求項２の発明は、請求項１に記載の情報処理装置において、前記解析部は前記指示信号として、前記カメラの移動を指示する信号及び／または前記カメラの撮影方向を指示する信号を生成することを特徴とするものである。

本願の請求項３の発明は、請求項１に記載の情報処理装置において、前記情報処理装置は映像配信部を更に有し、前記解析部は、前記保存部に保存された前記撮影映像データから自由視点映像を生成し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを保存部から読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、前記解析部は、映像配信部から出力される映像情報データに死角がある場合には、死角を防止するように指示信号を生成することを特徴とするものである。

本願の請求項４の発明はカメラであって、請求項１記載の情報処理装置から出力される指示信号に基づき、移動を行う、及び／または画面に指示内容を表示することを特徴とするものである。

本願の請求項５の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから、撮影禁止領域を撮影しているか否かを検出し、撮影している場合には撮影を禁止するように通知信号を生成して、前記撮影映像データを生成するカメラに出力する解析部を有することを特徴とするものである。

本願の請求項６の発明は、請求項５に記載の情報処理装置において、前記解析部は前記通知信号として、前記カメラの撮影禁止を指示する信号及び／または前記カメラの撮影禁止を通知する信号を生成することを特徴とするものである。

本願の請求項７の発明はカメラであって、請求項５記載の情報処理装置から出力される通知信号に基づき、撮影を停止する、及び／または画面に通知内容を表示することを特徴とするものである。

本願の請求項８の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する映像配信部と、課金を管理する課金管理部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存部から読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、前記課金管理部は、前記映像受信装置と同一ユーザのカメラから前記撮影映像データが転送されていたか否かに基づき、前記映像配信部から出力する前記映像情報データの課金管理を行うことを特徴とするものである。

本願の請求項９の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、前記撮影映像データを生成するカメラのユーザに対するポイントを管理するポイント管理部を有することを特徴とするである。

本願の請求項１０の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データを解析する解析部と、前記解析部の解析結果に基づき、前記撮影映像データに重畳すべき付加情報を生成して、前記撮影映像データを生成するカメラに出力する付加情報生成部を有することを特徴とするものである。

本願の請求項１１の発明は、請求項１０に記載の情報処理装置において、前記付加情報は、広告情報であることを特徴とするものである。

本願の請求項１２の発明はカメラであって、請求項１０記載の情報処理装置から出力される付加情報を、撮影映像データに重畳して表示することを特徴とするものである。

本願の請求項１３の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する過去映像配信部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記解析部は、前記保存部に保存された前記撮影映像データを解析し、前記過去映像配信部は、前記解析部の解析結果に基づき、過去の映像情報データを前記保存部から読み出して、前記撮影映像データを生成するカメラに出力することを特徴とするものである。

本願の請求項１４の発明はカメラであって、請求項１３記載の情報処理装置から出力される過去の映像情報データを表示することを特徴とするものである。

本願の請求項１５の発明は情報処理装置であって、撮影映像データと視点情報を保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する映像配信部を有し、前記映像配信部は、前記視点情報に応じた映像情報データを保存部から読み出して、前記撮影映像データと視点情報を生成するカメラに出力することを特徴とするものである。

本願の請求項１６の発明はカメラであって、請求項１５記載の情報処理装置から出力される映像情報データを表示することを特徴とするものである。

本願の請求項１７の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データを解析する解析部と、通信速度を管理する通信速度管理部を有し、前記通信速度管理部は、前記解析部の解析結果に基づき、前記撮影映像データを生成するカメラの通信速度を指示する指示信号を生成して、前記カメラに出力することを特徴とするものである。

本願の請求項１８の発明は、請求項１７に記載の情報処理装置において、前記情報処理装置は映像配信部を更に有し、前記解析部は、前記保存部に保存された前記撮影映像データから自由視点映像を生成し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを保存部から読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、前記解析部は、前記視野情報及び／または視点情報に基づき、前記撮影映像データの重要度を判定し、前記通信速度管理部は、前記重要度に基づき、前記指示信号を生成することを特徴とするものである。

本願の請求項１９の発明はカメラであって、請求項１７記載の情報処理装置から出力される指示信号に基づき、撮影映像データを前記情報処理装置に転送することを特徴とするものである。

本願の請求項２０の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する映像配信部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存部から読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、前記解析部は、前記視野情報及び／または視点情報で示される領域に対して優先的に自由視点映像を生成することを特徴とするものである。

本願の請求項２１の発明は映像受信装置であって、請求項２０記載の情報処理装置から出力される映像情報データを表示することを特徴とするものである。

本願の請求項２２の発明は情報処理装置であって、撮影映像データを保存する保存部と、事前に生成された自由視点映像を保存する事前映像保存部と、前記保存部に保存された前記撮影映像データと、前記事前映像保存部に保存された前記自由視点映像から、自由視点映像を更新して生成する解析部を有することを特徴とするものである。

本願の請求項２３の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記解析部は、前記撮影映像データの内、近い時刻のデータのみを用いる、及び／または高画質データのみに限定するか高画質データを優先的に用いることを特徴とするものである。

本願の請求項２４の発明は情報処理装置であって、撮影映像データとカメラ属性情報を保存する保存部と、前記保存部に保存された前記撮影映像データと前記からカメラ属性情報から自由視点映像を生成する解析部を有し、前記カメラ属性情報は、撮影位置、撮影角度、撮影時刻、ズームの内、少なくともいずれか一つであることを特徴とするものである。

本願の請求項２５の発明はカメラであって、請求項２４記載の情報処理装置が用いるカメラ属性情報を生成することを特徴とするものである。

本願の請求項２６の発明は、請求項２５に記載のカメラにおいて、前記カメラ属性情報として、撮影位置をカメラ起動時にある基準点に合わせる事により生成することを特徴とするものである。

本願の請求項２７の発明は、請求項２５に記載のカメラにおいて、前記カメラ属性情報として、撮影位置をＧＰＳ、ＷｉＦｉ、基地局に関する情報の内、少なくともいずれか一つを用いて生成することを特徴とするものである。

本願の請求項２８の発明は、請求項２５に記載のカメラにおいて、前記カメラ属性情報として、撮影時刻を通信ネットワーク上の時計とカメラ内の時計を同期することにより生成することを特徴とするものである。

本願の請求項２９の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから死角を検出し、死角を防止するように指示信号を生成して、前記撮影映像データを生成するカメラに出力する解析ステップを含むことを特徴とするものである。

本願の請求項３０の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから、撮影禁止領域を撮影しているか否かを検出し、撮影している場合には撮影を禁止するように通知信号を生成して、前記撮影映像データを生成するカメラに出力する解析ステップを有することを特徴とするものである。

本願の請求項３１の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する映像配信ステップと、課金を管理する課金管理ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、前記映像配信ステップは、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存ステップから読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、前記課金管理ステップは、前記映像受信装置と同一ユーザのカメラから前記撮影映像データが転送されていたか否かに基づき、前記映像配信ステップで出力する前記映像情報データの課金管理を行うことを特徴とするものである。

本願の請求項３２の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップに保存された前記撮影映像データから自由視点映像を生成する解析ステップと、前記撮影映像データを生成するカメラのユーザに対するポイントを管理するポイント管理ステップを有することを特徴とするものである。

本願の請求項３３の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データを解析する解析ステップと、前記解析ステップの解析結果に基づき、前記撮影映像データに重畳すべき付加情報を生成して、前記撮影映像データを生成するカメラに出力する付加情報生成ステップを有することを特徴とするものである。

本願の請求項３４の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する過去映像配信ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、 前記解析ステップは、前記保存ステップで保存された前記撮影映像データを解析し、前記過去映像配信ステップは、前記解析ステップの解析結果に基づき、過去の映像情報データを前記保存ステップから読み出して、前記撮影映像データを生成するカメラに出力することを特徴とするものである。

本願の請求項３５の発明は情報処理方法であって、撮影映像データと視点情報を保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する映像配信ステップを有し、前記映像配信ステップは、前記視点情報に応じた映像情報データを保存ステップから読み出して、前記撮影映像データと視点情報を生成するカメラに出力することを特徴とするものである。

本願の請求項３６の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データを解析する解析ステップと、通信速度を管理する通信速度管理ステップを有し、前記通信速度管理ステップは、前記解析ステップの解析結果に基づき、前記撮影映像データを生成するカメラの通信速度を指示する指示信号を生成して、前記カメラに出力することを特徴とするものである。

本願の請求項３７の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する映像配信ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、前記映像配信ステップは、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存ステップから読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、前記解析ステップは、前記視野情報及び／または視点情報で示される領域に対して優先的に自由視点映像を生成することを特徴とするものである。

本願の請求項３８の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、事前に生成された自由視点映像を保存する事前映像保存ステップと、前記保存ステップで保存された前記撮影映像データと、前記事前映像保存ステップで保存された前記自由視点映像から、自由視点映像を更新して生成する解析ステップを有することを特徴とするものである。

本願の請求項３９の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、前記解析ステップは、前記撮影映像データの内、近い時刻のデータのみを用いる、及び／または高画質データのみに限定するか高画質データを優先的に用いることを特徴とするものである。
本願の請求項４０の発明は情報処理方法であって、撮影映像データとカメラ属性情報を保存する保存ステップと、前記保存ステップで保存された前記撮影映像データと前記からカメラ属性情報から自由視点映像を生成する解析ステップを有し、前記カメラ属性情報は、撮影位置、撮影角度、撮影時刻、ズームの内、少なくともいずれか一つであることを特徴とするものである。

上記請求項１の発明によれば、解析部が死角を検出し、死角を防止するように指示信号を出力することにより、死角を防止する情報処理装置を提供することができる。

また上記請求項２の発明によれば、請求項１において、特に解析部が指示信号として、カメラの移動を指示する信号及び／または撮影方向を指示する信号を生成することにより、死角を防止する情報処理装置を提供することができる。

また上記請求項３の発明によれば、映像配信部から出力される映像情報データに死角がある場合には、解析部が死角を防止するように指示信号を生成することにより、死角を防止する情報処理装置を提供することができる。

また上記請求項４の発明によれば、請求項１記載の情報処理装置から出力される指示信号に基づき、移動を行う、及び／または画面に指示内容を表示するカメラを提供することができる。

また上記請求項５の発明によれば、解析部が撮影禁止の判定を行い、撮影を禁止するようにカメラに対して通知信号を出力することにより、ある領域を撮影禁止にする情報処理装置を提供することができる。

また上記請求項６の発明によれば、請求項５において、特に解析部が通知信号として、カメラの撮影禁止を指示する信号及び／または通知する信号を生成することにより、死角を防止する情報処理装置を提供することができる。

また上記請求項７の発明によれば、請求項５記載の情報処理装置から出力される通知信号に基づき、撮影を停止する、及び／または画面に通知内容を表示するカメラを提供することができる。

また上記請求項８の発明によれば、ユーザが撮影映像を転送したか否かに基づいて課金管理部が課金管理を行うことにより、撮影映像を転送したユーザとそうでないユーザに対して、異なる課金で映像配信を行う情報処理装置を提供することができる。

また上記請求項９の発明によれば、ポイント管理部がポイント管理を行うことにより、撮影映像を転送したユーザに対してポイントを付与する情報処理装置を提供することができる。

また上記請求項１０の発明によれば、ユーザの撮影映像データに基づいて解析部と付加情報生成部が付加情報を生成することにより、撮影場所内のユーザに臨場感を与える情報処理装置を提供することができる。

また上記請求項１１の発明によれば、ユーザの撮影映像データに基づいて解析部と付加情報生成部が広告情報を生成することにより、ユーザの撮影映像データに基づいて広告情報を配信可能な情報処理装置を提供することができる。

また上記請求項１２の発明によれば、請求項１０記載の情報処理装置から出力される付加情報を、撮影映像データに重畳して表示するカメラを提供することができる。

また上記請求項１３の発明によれば、ユーザの撮影映像データに基づいて過去映像を配信することにより、撮影場所内のユーザに臨場感を与える情報処理装置を提供することができる。

また上記請求項１４の発明によれば、請求項１３記載の情報処理装置から出力される過去の映像情報データを表示するカメラを提供することができる。

また上記請求項１５の発明によれば、好きな視点からの映像を提供することにより、施設内やスタジアム内のユーザに臨場感を与える情報処理装置を提供することができる。

また上記請求項１６の発明によれば、請求項１５記載の情報処理装置から出力される映像情報データを表示するカメラを提供することができる。

また上記請求項１７記載の発明によれば、施設内やスタジアム内全体の通信を効率的に行う情報処理装置を提供することができる。

また上記請求項１８記載の発明によれば、解析部が撮影映像データの重要度を判定し、重要度に基づき通信速度を指示することにより、施設内やスタジアム内全体の通信を効率的に行う情報処理装置を提供することができる。

また上記請求項１９の発明によれば、請求項１７記載の情報処理装置から出力される指示信号に基づき、撮影映像データを前記情報処理装置に転送するカメラを提供することができる。

また上記請求項２０の発明によれば、解析部が映像受信装置から入力される視野情報及び／または視点情報で示される領域に対して優先的に自由視点映像を生成することにより、３次元形状復元を効率的に行う情報処理装置を提供することができる。

また上記請求項２１の発明によれば、請求項２０記載の情報処理装置から出力される映像情報データを表示する映像受信装置を提供することができる。

また上記請求項２２の発明によれば、事前映像保存部に予め保存された自由視点映像も用いることにより、３次元形状復元を効率的に行う情報処理装置を提供することができる。

また上記請求項２３の発明によれば、解析部が撮影映像データの内、近い時刻のデータのみを用いる、及び／または高画質データのみに限定するか高画質データを優先的に用いることにより、３次元形状復元を効率的に行う情報処理装置を提供することができる。

また上記請求項２４の発明によれば、解析部がカメラ属性情報も用いることにより、３次元形状復元を効率的に行う情報処理装置を提供することができる。

また上記請求項２５の発明によれば、請求項２４記載の情報処理装置が用いるカメラ属性情報を生成するカメラを提供することができる。

また上記請求項２６の発明によれば、請求項２４記載の情報処理装置が用いるカメラ属性情報として、撮影位置をカメラ起動時にある基準点に合わせる事により生成するカメラを提供することができる。

また上記請求項２７の発明によれば、請求項２４記載の情報処理装置が用いるカメラ属性情報として、撮影位置をＧＰＳ、ＷｉＦｉ、基地局に関する情報の内、少なくともいずれか一つを用いて生成するカメラを提供することができる。

また上記請求項２８の発明によれば、請求項２４記載の情報処理装置が用いるカメラ属性情報として、撮影時刻を通信ネットワーク上の時計とカメラ内の時計を同期することにより生成するカメラを提供することができる。

また上記請求項２９の発明によれば、解析ステップが死角を検出し、死角を防止するように指示信号を出力することにより、死角を防止する情報処理方法を提供することができる。

また上記請求項３０の発明によれば、解析ステップが撮影禁止の判定を行い、撮影を禁止するようにカメラに対して通知信号を出力することにより、ある領域を撮影禁止にする情報処理方法を提供することができる。

また上記請求項３１の発明によれば、ユーザが撮影映像を転送したか否かに基づいて課金管理ステップが課金管理を行うことにより、撮影映像を転送したユーザとそうでないユーザに対して、異なる課金で映像配信を行う情報処理方法を提供することができる。

また上記請求項３２の発明によれば、ポイント管理ステップがポイント管理を行うことにより、撮影映像を転送したユーザに対してポイントを付与する情報処理方法を提供することができる。

また上記請求項３３の発明によれば、ユーザの撮影映像データに基づいて解析ステップと付加情報生成ステップが付加情報を生成することにより、撮影場所内のユーザに臨場感を与える情報処理方法を提供することができる。

また上記請求項３４の発明によれば、ユーザの撮影映像データに基づいて過去映像を配信することにより、撮影場所内のユーザに臨場感を与える情報処理方法を提供することができる。

また上記請求項３５の発明によれば、好きな視点からの映像を提供することにより、施設内やスタジアム内のユーザに臨場感を与える情報処理方法を提供することができる。

また上記請求項３６記載の発明によれば、施設内やスタジアム内全体の通信を効率的に行う情報処理方法を提供することができる。

また上記請求項３７記載の発明によれば、施設内やスタジアム内全体の通信を効率的に行う情報処理方法を提供することができる。

また上記請求項３８の発明によれば、事前映像保存ステップで予め保存された自由視点映像も用いることにより、３次元形状復元を効率的に行う情報処理方法を提供することができる。

また上記請求項３９の発明によれば、解析ステップが撮影映像データの内、近い時刻のデータのみを用いる、及び／または高画質データのみに限定するか高画質データを優先的に用いることにより、３次元形状復元を効率的に行う情報処理方法を提供することができる。

また上記請求項４０の発明によれば、解析ステップがカメラ属性情報も用いることにより、３次元形状復元を効率的に行う情報処理方法を提供することができる。

以下、本発明の各実施形態について、図面を用いて詳細に説明する。

（実施の形態１）
図１は、本願発明の実施の形態１における映像情報処理装置１００の構成を示す図である。本実施の形態においては、死角の発生を防止する映像情報処理装置に関して説明する。また、特定の領域を撮影禁止にする映像情報処理装置に関しても説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。

図１に示す映像情報処理装置１００は、保存部１３１と、解析部１４１を備える。Ｎ個のカメラ１１１とＭ個の移動カメラ１２１のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置１００に転送する機能を備える。

カメラ１１１及び移動カメラ１２１の機能ブロック図は図示されていないが、カメラ１１１及び移動カメラ１２１は、映像を撮影する撮影部と、撮影部で撮影された映像から生成された映像データを映像情報処理装置１００に送信する送信部とを備える。また、カメラ１１１と移動カメラ１２１は、撮影中の映像を表示する表示部を備える場合もある。なお、カメラ１１１と移動カメラ１２１で生成される映像データは、撮影部で撮影された映像信号をＨＥＶＣやＨ．２６４のような符号化方式を用いてエンコードしたデータであってもよいし、エンコードされていないデータであってもよい。映像データがエンコードされたデータの場合、カメラ１１１と移動カメラ１２１は、撮影部で撮影された映像をエンコードして映像データを生成し、送信部に出力するエンコーダをさらに備える。また、移動カメラ１２１は映像情報処理装置１００から送信された移動指示信号を受信する受信部と、前記受信部で受信された移動指示信号に応じて、移動カメラ自体の位置や撮影方向を変更するよう制御する制御部を備える。なお、制御部は、映像データの送信、移動指示信号を受信、表示部に表示する画面等を制御する機能を備えていてもよい。

情報処理装置１００の保存部１３１は、Ｎ個のカメラ１１１とＭ個の移動カメラ１２１の撮影映像データが入力されると、撮影映像データを保存する。

解析部１４１は保存部１３１に保存された映像データから死角を検出し、死角を防止するように移動カメラ１２１に対して移動指示信号を出力する。移動カメラ１２１は移動指示信号に従って移動を行い、撮影を継続する。移動カメラ１２１は例えば、無人飛行型ラジコンに搭載されたカメラであり、場所の移動及び／または撮影方向の変更ができるものであればこれに限らない。

解析部１４１は例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて死角検出を行うことができる。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の３次元形状を復元する手法であり、被写体形状とカメラ位置を同時に推定する動きからの形状復元として広く知られている。例えば、非特許文献１は逐次処理に適したＳｆＭを提案している。ＳｆＭについては非特許文献１等で詳細に説明されているため、ここでの説明は省略する。解析部１４１はＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元することにより、復元できない領域を死角として検出してもよい。

なお、カメラ１１１の位置や撮影方向が固定で位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラ１２１の位置や撮影方向が、移動カメラ１２１に備えられたＧＰＳや角度センサー等により取得できる場合は、移動カメラ１２１の位置及び撮影方向の情報を解析部１４１に送信して、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。

なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、移動カメラの位置、撮影方向及びズーム（または映像データに含まれる撮影領域）等の情報を撮影対象となる空間に配置されたマーカ等から検出するなど、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行うことが可能である。また、複数の撮影対象について互いの位置関係等の情報を映像データ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。このような手法は、ＳｆＭの計算量が多い、またはその他の理由でＳｆＭを用いた死角の検出では遅延が発生するような場合に、より少ない計算量で死角検出を実現できる可能性があるという点で有用である。

なお、死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、予め定められた画質を得られていない部分などを含んでもよい。また、どのような領域を死角として検出するかは、監視システムや映像配信システムの構成や目的に応じて設定されればよく、上記の例とは異なる基準で識別される領域を死角として検出してもよい。例えば、撮影される空間中の特定の被写体について、要求される画質を高く設定してもよい。また、逆に撮影空間中の特定の領域について、要求される画質を低く設定したり、映像が撮影されていなくても死角と判定しないように設定したりしてもよい。

なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）や、撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報やその組み合わせを基準に死角であるか否かを判定すればよい。

なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラ１１１及び移動カメラ１２１の位置情報に基づいて、新たに死角となる可能性のある領域を推定することも可能である。この場合、映像情報処理装置を死角となる可能性のある領域を撮影するように移動カメラ１２１に移動指示信号を送信して、死角の発生を防止するように構成してもよい。

なお、移動カメラ１２１が複数ある場合、死角、または死角となる可能性がある領域を撮影させるために移動指示信号を送信する移動カメラ１２１を選択する必要がある。また、移動カメラ１２１及び死角、または死角となる可能性がある領域がそれぞれ複数存在する場合、複数の移動カメラ１２１のそれぞれについて、どの死角、または死角となる可能性がある領域を撮影させるかを決定する必要がある。この決定は、例えば、死角、または死角となる可能性のある領域と各移動カメラ１２１が撮影中の領域の位置に基づいて、死角、または死角となる領域に最も近い移動カメラを選択してもよい。また、各移動カメラ１２１について、当該移動カメラ１２１が現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラ１２１を選択するようにしてもよい。

以上の構成により、解析部が死角を検出し、死角を防止するように移動カメラに対して移動指示信号を出力することにより、死角の発生を防止することができる。

本願発明の一局面である情報処理装置は、複数の撮影機器で撮影された映像データから、撮影されていない、または撮影された映像の品質が低いと判定される領域を検出し、当該領域を示す情報を複数の撮影機器または、前記複数の撮影機器とは異なる撮影機器に送信する。この構成によると、撮影対象となる領域において撮影データが不足する領域を撮影機器に送信するので、撮影機器側で撮影データが不足する領域を把握することができる。

＜変形例−１＞

次に、図２を用いて実施の形態１の変形例−１について説明する。図２に示す映像情報処理装置１０１は、図１に示す映像情報処理装置１００と比較して、解析部１４１を解析部１４２に置き換えた構成である。映像情報処理装置１０１には、Ｎ個のカメラで撮影された映像データに加え、Ｌ個のユーザカメラで撮影された映像データが入力される。Ｌ個のユーザカメラ１５１のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置１０１に転送する機能を備える。

ユーザカメラ１５１の機能ブロック図は図示されていないが、ユーザカメラ１５１は、映像を撮影する撮影部と、撮影部で撮影された映像から生成された映像データを映像情報処理装置１０１に送信する送信部とを備える。また、ユーザカメラ１５１は、撮影中の映像を表示する表示部を備える場合もある。なお、ユーザカメラ１５１で生成される映像データは、撮影部で撮影された映像信号をＨＥＶＣやＨ．２６４のような符号化方式を用いてエンコードしたデータであってもよいし、エンコードされていないデータであってもよい。映像データがエンコードされたデータの場合、ユーザカメラ１５１は、撮影部で撮影された映像をエンコードして映像データを生成し、送信部に出力するエンコーダをさらに備える。また、ユーザカメラ１５１は映像情報処理装置１０１から送信された方向指示信号を受信する受信部と、前記受信部で受信された方向指示信号に応じて、指示画像を表示部に表示するよう制御する制御部を備える。

Ｎ個のカメラ１１１とＬ個のユーザカメラ１５１の撮影映像データが入力されると、保存部１３１は撮影映像データを保存する。解析部１４２は保存部１３１に保存された映像データから撮影空間中の死角を検出し、死角の発生を防止するようにユーザカメラ１５１に対して方向指示信号を出力する。

図３は方向指示信号に基づき、ユーザカメラ１５１の画面上に表示される指示画像の一例である。図３（ａ）はユーザにカメラを向けて欲しい方向を示す画像の一例であり、図３（ｂ）はユーザに移動して欲しい方向を示す画像の他の一例である。ユーザカメラ１５１の画面上に表示される指示はこれに限らず、例えば表示される地図上に移動経路を示すなど、でもよい。ユーザカメラ１５１は例えば、スタジアム内の観客や施設内の警備員が持つスマートフォン、タブレット型端末、メガネ型ウェアラブル端末、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であり、映像を撮影できるものであればこれに限らない。

また、方向指示信号に基づいて指示画像が表示される表示端末は、映像データを撮影するカメラと同一である必要はない。例えば、映像を撮影するカメラに予め対応付けられた別の表示端末に対して、カメラが方向指示信号または指示画像を送信し、当該別の表示端末に指示画像が表示されるようにしてもよい。また、映像を撮影するカメラと対応する表示端末の情報が、予め映像情報処理装置１０１に登録されている場合は、映像処理装置１０１がカメラに対応する表示端末に対して方向指示信号を直接送信して、表示端末に指示画像を表示するようにしてもよい。

解析部１４２は例えば、ＳｆＭを用いて死角検出を行う。解析部１４２はＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元する。ＳｆＭの処理により映像データを撮影したユーザカメラ１５１の位置と向きが推定されているので、死角に近い領域を撮影中のユーザカメラを特定し、特定したユーザカメラ１５１に対して、当該ユーザカメラが撮影中の領域と死角とに基づいて方向指示信号を送信することができる。また、ユーザデータ１５１の撮影した映像データがＳｆＭの処理に用いられていない場合は、復元された３次元形状とユーザカメラ１５１の撮影映像とのマッチングを取ることで、ユーザカメラ１５１が施設内やスタジアム内のどの領域を撮影中かを判定して、方向指示信号を出力してもよい。なお、撮影領域の判定方法及び方向指示信号の生成方法はこれに限らない。

以上の構成で、解析部が死角を検出し、死角を防止するようにユーザカメラに対して方向指示信号を出力することにより、死角を防止する映像情報処理装置、映像情報処理方法を提供することができる。

また図４に示す通り、映像情報処理装置１０１は、ユーザカメラ１５１のみからの撮影映像データを入力する場合にも適用することができる。また、映像情報処理装置１０１は、ユーザカメラ１５１とカメラ１１１に加えて、図１に示した移動カメラからの映像データが入力され、移動カメラに対して移動指示信号を送信する機能を備えていてもよい。

＜変形例−２＞

図５は、実施の形態１の変形例−２を示す図である。図５に示す映像情報処理装置１０２は図１に示す映像情報処理装置１００と比較して、解析部１４１を解析部１４３に置き換え、映像配信部１４４を追加した構成である。

解析部１４３は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部１４３で生成された自由視点映像を保存する。映像配信部１４４は映像受信装置１６１から入力される視野情報（及びまたは、視点情報）に応じた映像情報データを保存部１３１から読み出して、映像受信装置１６１に出力する。また映像配信部１４４は、視野情報（及びまたは、視点情報）を解析部１４３に出力する。

解析部１４３は死角を検出し、視野情報（及びまたは、視点情報）に基づく配信映像に死角がある場合には、死角を防止するように移動カメラ１２１に対して移動指示信号を出力する。移動カメラ１２１は移動指示信号に従って移動を行い、撮影を継続する。

以上の構成で、解析部が死角を検出し、映像受信装置に配信される映像の死角を防止するように移動カメラに対して移動指示信号を出力することにより、死角を防止する映像情報処理装置、映像情報処理方法を提供することができる。

＜変形例−３＞

なお、図２に示す映像情報処理装置１０１を、図６に示す映像情報処理装置１０３に置き換えてもよい。図６に示す映像情報処理装置１０３は図２に示す映像情報処理装置１０１と比較して、解析部１４２を解析部１４５に置き換え、映像配信部１４４を追加した構成である。

解析部１４５は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部１４５で生成された自由視点映像を保存する。映像配信部１４４は映像受信装置１６１から入力される視野情報（及びまたは、視点情報）に応じた映像情報データを保存部１３１から読み出して、映像受信装置１６１に出力する。また映像配信部１４４は、視野情報（及びまたは、視点情報）を解析部１４５に出力する。

解析部１４５は死角を検出し、視野情報（及びまたは、視点情報）に基づく配信映像に死角がある場合には、死角を防止するようにユーザカメラ１５１に対して方向指示信号を出力する。図３は方向指示信号に基づき、ユーザカメラ１５１の画面上に表示される指示の一例である。

以上の構成で、解析部が死角を検出し、映像受信装置に配信される映像の死角を防止するようにユーザカメラに対して方向指示信号を出力することにより、死角を防止する映像情報処理装置、映像情報処理方法を提供することができる。

また図７に示す通り、映像情報処理装置１０３はユーザカメラ１５１のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−４＞

なお、図１に示す映像情報処理装置１００を、図８に示す映像情報処理装置１０４に置き換えてもよい。図８に示す映像情報処理装置１０４は図１に示す映像情報処理装置１００と比較して、解析部１４１を解析部１４６に置き換えた構成である。

Ｎ個のカメラ１２２とＭ個の移動カメラ１２２の撮影映像データが入力されると、保存部１３１は撮影映像データを保存する。解析部１４６は保存部１３１に保存された映像データを解析し、移動カメラ１２２が撮影禁止領域を撮影している場合には移動カメラ１２２に対して撮影禁止通知信号を出力する。移動カメラ１２２は撮影禁止通知信号を受信している間は撮影を停止する。

解析部１４６は例えば、ＳｆＭを用いて撮影禁止領域を撮影しているか否かの判定を行ってもよい。解析部１４６はＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、移動カメラ１２２の撮影映像とのマッチングを取ることで、移動カメラ１２２が撮影禁止領域を撮影中かを判定して、撮影禁止通知信号を出力してもよい。なお、撮影禁止領域を撮影中かの判定方法及び撮影禁止通知信号の生成方法はこれに限らない。撮影禁止領域としては、例えば施設内やスタジアム内のトイレなどが挙げられる。

以上の構成で、解析部が撮影禁止の判定を行い、撮影を停止するように移動カメラに対して撮影禁止通知信号を出力することにより、ある領域を撮影禁止にする映像情報処理装置、映像情報処理方法を提供することができる。

＜変形例−５＞

なお、図８に示す映像情報処理装置１０４を、図９に示す映像情報処理装置１０５に置き換えてもよい。図９に示す映像情報処理装置１０５は図８に示す映像情報処理装置１０４と比較して、解析部１４６を解析部１４７に置き換えた構成である。

Ｎ個のカメラ１１１とＬ個のユーザカメラ１５２の撮影映像データが入力されると、保存部１３１は撮影映像データを保存する。解析部１４７は保存部１３１に保存された映像データを解析し、ユーザカメラ１５２が撮影禁止領域を撮影している場合にはユーザカメラ１５２に対して撮影禁止通知信号を出力する。

図１０は撮影禁止通知信号に基づき、ユーザカメラ１５２の画面上に表示される通知の一例である。ユーザカメラ１５２の画面上に表示される指示はこれに限らず、例えば表示される地図上に撮影禁止領域と現在の撮影領域を示すなど、でもよい。

以上の構成で、解析部が撮影禁止の判定を行い、撮影を停止するようにユーザカメラに対して撮影禁止通知信号を出力することにより、ある領域を撮影禁止にする映像情報処理装置、映像情報処理方法を提供することができる。

また図１１に示す通り、映像情報処理装置１０５はユーザカメラ１５２のみからの撮影映像データを入力する場合にも適用することができる。

（実施の形態２）

図１２は、本発明の実施の形態２における映像情報処理装置２００の構成を示す図である。実施の形態１の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。

本実施の形態においては、撮影映像を転送したユーザに対しては無料あるいは安い料金で映像配信を行う映像情報処理装置に関して説明する。また、撮影映像を転送したユーザに対してはポイントを付与し、リクエストの多い視野（及びまたは、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する映像情報処理装置に関して説明する。本実施の形態の映像情報処理装置は、特に映像配信システムなどに適用することができる。

図１２に示す映像情報処理装置２００は図６に示す映像情報処理装置１００と比較して、解析部１４５及び映像配信部１４４を解析部２４１及び映像配信部２４２にそれぞれ置き換え、課金管理部２４３を追加した構成である。

Ｌ個のユーザカメラ２５１から撮影映像データとユーザ情報が入力されると、保存部１３１はそれらを保存する。また、Ｎ個のカメラ１１１から撮影映像データが入力されると、保存部１３１はそれらを保存する。

解析部２４１は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部２４１で生成された自由視点映像を保存する。映像配信部２４２は映像受信装置１６１から入力される視野情報（及びまたは、視点情報）に応じた映像情報データを保存部１３１から読み出して、映像受信装置１６１に出力する。

課金管理部２４３は映像受信装置１６１と同一ユーザのユーザカメラ２５１から撮影映像が転送されていた場合、無料で映像情報データを配信する。あるいは、撮影映像を転送していないユーザより安い料金で映像情報データを配信してもよい。なお、映像受信装置１６１の機能はユーザカメラ２５１に含まれていてもよい。

以上の構成で、ユーザが撮影映像を転送したか否かに基づいて課金管理部が課金管理を行うことにより、撮影映像を転送したユーザに対しては無料あるいは安い料金で映像配信を行う映像情報処理装置、映像情報処理方法を提供することができる。

また図１３に示す通り、映像情報処理装置２００はユーザカメラ２５１のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−１＞

図１４は、実施の形態２の変形例−１を示す図である。図１４に示す映像情報処理装置２０１は図１２に示す映像情報処理装置２００と比較して、課金管理部２４３をポイント管理部２４４に置き換えた構成である。

ポイント管理部２４４は撮影映像を転送したユーザに対してはポイントを付与し、リクエストの多い視野（及びまたは、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。あるいは、リクエストの多い視野（及びまたは、視点）の撮影映像を転送したユーザに対してのみポイントを付与してもよい。ユーザは、与えられたポイントを使用して、無料で有料の配信を映像受信装置１６１で受信することができる。なお、与えられたポイントの利用方法はこれに限らない。

以上の構成で、ポイント管理部がポイント管理を行うことにより、撮影映像を転送したユーザに対してはポイントを付与する映像情報処理装置、映像情報処理方法を提供することができる。

また図１５に示す通り、映像情報処理装置２０１はユーザカメラ２５１のみからの撮影映像データを入力する場合にも適用することができる。

（実施の形態３）
図１６は、本願発明の実施の形態３における映像情報処理装置３００の構成を示す図である。実施の形態１及び２で説明した映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態においては、撮影場所内のユーザに付加情報の提供や臨場感を与える映像情報処理装置に関して説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。

図１６に示す映像情報処理装置３００は図２に示す映像情報処理装置１０１と比較して、解析部１４２を解析部３４１に置き換え、付加情報生成部３４２を追加した構成である。

Ｎ個のカメラ１１１とＬ個のユーザカメラ３５１の撮影映像データが入力されると、保存部１３１は撮影映像データを保存する。

解析部３４１は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部３４１で生成された自由視点映像を保存する。また解析部３４１は自由視点映像とユーザカメラ３５１の撮影映像とのマッチングを取ることで、ユーザカメラ３５１が施設内やスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法やその他の撮影領域の判定方法を用いることができる。

付加情報生成部３４２は解析部３４１の解析結果に基づき、ユーザカメラ３５１に対して付加情報を出力する。ユーザカメラ３５１は撮影映像に付加情報を重畳して、画面に表示する。

図１７は、スタジアムでサッカーが行われている場合のユーザカメラ３５１の画面一例である。図１７（ａ）は付加情報を重畳する前の画面一例であり、図１７（ｂ）は付加情報を重畳した後の画面一例である。付加情報として、選手名が重畳される例を示している。スタジアム内のユーザがユーザカメラ３５１を用いて見ている画面が撮影映像データとして映像情報処理装置３００の保存部１３１に転送されると同時に、その撮影映像データに基づいて解析部３４１と付加情報生成部３４２で生成された付加情報がユーザの見ている画面に重畳されるため、撮影場所内のユーザに臨場感を与えることができる。特に、ユーザカメラ３５１がメガネ型ウェアラブル端末やＨＭＤの場合に、ユーザは大きな臨場感を感じることができる。なお選手名は付加情報の一例であり、これに限らない。また映像配信システムだけでなく、監視システムにおいても、施設内の警備員が持つユーザカメラ３５１に対して、例えば注意人物の情報を重畳することで、監視システムの高精度化を図ることができる。

以上の構成で、ユーザの撮影映像データに基づいて解析部と付加情報生成部が付加情報を生成することにより、撮影場所内のユーザに臨場感を与える映像情報処理装置、映像情報処理方法を提供することができる。

また図１８に示す通り、映像情報処理装置３００はユーザカメラ３５１のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−１＞

図１９は、実施の形態３の変形例−１を示す図である。図１９に示す映像情報処理装置３０１は図１６に示す映像情報処理装置３００と比較して、解析部３４１及び付加情報生成部３４２を解析部３４３及び過去映像配信部３４４にそれぞれ置き換えた構成である。

解析部３４３は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部３４３で生成された自由視点映像を保存する。また解析部３４３は自由視点映像とユーザカメラ３５２の撮影映像とのマッチングを取ることで、ユーザカメラ３５２が施設内やスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法やその他の撮影領域の判定方法を用いることができる。

過去映像配信部３４４は解析部３４３の解析結果に基づき、ユーザカメラ３５２に対して過去映像を出力する。ユーザカメラ３５２は撮影映像に過去映像を重畳して、あるいは撮影映像を過去映像に置換して、画面に表示する。

図２０は、スタジアムでサッカーが行われている場合のユーザカメラ３５２の画面一例である。図２０（ａ）は過去映像に置換する前の画面一例であり、図２０（ｂ）は過去映像に置換した後の画面一例である。過去映像として、ハーフタイム中に前半のハイライトシーンに置換される例を示している。スタジアム内のユーザがユーザカメラ３５２を用いて見ている画面が撮影映像データとして映像情報処理装置３０１の保存部１３１に転送されると同時に、ユーザの見ている画面上でその撮影映像データに基づいて解析部３４３と過去映像配信部３４４で生成された過去映像に置換されるため、撮影場所内のユーザに臨場感を与えることができる。特に、ユーザカメラ３５２がメガネ型ウェアラブル端末やＨＭＤの場合に、ユーザはより臨場感を感じることができる。

これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また映像情報処理装置３０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部３４３の解析結果に基づき、映像情報処理装置３０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置３０１はユーザからリクエストがあった場合のみ過去映像を配信してもよく、あるいは過去映像の配信前に配信許可のメッセージを配信してもよい。

以上の構成で、ユーザの撮影映像データに基づいて過去映像を配信することにより、撮影場所内のユーザに臨場感を与える映像情報処理装置、映像情報処理方法を提供することができる。

また図２１に示す通り、映像情報処理装置３０１はユーザカメラ３５２のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−２＞

図２２は、実施の形態３の変形例−２を示す図である。図２２に示す映像情報処理装置３０２は図１９に示す映像情報処理装置３０１と比較して、過去映像配信部３４４を広告情報配信部３４５に置き換えた構成である。

広告情報配信部３４５は解析部３４３の解析結果に基づき、ユーザカメラ３５２に対して広告情報を出力する。ユーザカメラ３５２は撮影映像に広告情報を重畳して、画面に表示する。

図２３は、スタジアムでサッカーが行われている場合のユーザカメラ３５２の画面一例である。図２３（ａ）は広告情報を重畳する前の画面一例であり、図２３（ｂ）は広告情報を重畳した後の画面一例であり、飲み物の広告の場合である。広告情報は例えば変形例―１で示した、ハーフタイム中や試合終了後の過去映像配信直前に配信してもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価あるいは無料で映像配信サービスを提供することができる。また、映像情報処理装置３０２は広告情報の配信直前に広告配信許可のメッセージを配信してもよく、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよく、あるいは広告を視聴しない場合より安価にサービスを提供してもよい。

以上の構成で、ユーザの撮影映像データに基づいて広告情報を配信可能な映像情報処理装置、映像情報処理方法を提供することができる。

また図２４に示す通り、映像情報処理装置３０２はユーザカメラ３５２のみからの撮影映像データを入力する場合にも適用することができる。

（実施の形態４）
図２５は、本願発明の実施の形態４における映像情報処理装置４００の構成を示す図である。実施の形態１〜３の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態においては、撮影場所内のユーザに臨場感を与える映像情報処理装置に関して説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。

図２５に示す映像情報処理装置４００は図２１に示す映像情報処理装置３０１と比較して、解析部３４３及び過去映像配信部３４４を解析部４４１及び映像配信部４４２にそれぞれ置き換えた構成である。

Ｌ個のユーザカメラ４５１から撮影映像データと視点情報が入力されると、保存部１３１はそれらを保存する。また、Ｎ個のカメラ１１１から撮影映像データが入力されると、保存部１３１はそれらを保存する。

解析部４４１は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部４４１で生成された自由視点映像を保存する。また解析部４４１は自由視点映像とユーザカメラ４５１の撮影映像とのマッチングを取ることで、ユーザカメラ４５１が施設内やスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限らない。

図２６は、ユーザカメラ４５１において視点情報を生成する方法の一例である。図２６（ａ）はスタジアムでサッカーが行われている場合のユーザカメラ３５１の画面一例であり、ユーザが例えば矢印の方向にスワイプ操作をすると、ユーザカメラ４５１はその方向への移動として視点情報を生成する。映像配信部４４２は、解析部４４１が判定したユーザカメラ４５１の撮影領域から視点情報の分だけ移動させた映像情報データを保存部１３１から読み出して、ユーザカメラ４５１に出力を開始する。そしてユーザカメラ４５１は撮影映像ではなく、映像配信部４４２から配信された映像を表示する。その表示画面は図２６（ｂ）のようになる。このように映像配信開始後もユーザによる画面スワイプ操作より、映像配信部４４２は配信映像領域から視点情報の分だけ移動させた映像情報データを保存部１３１から読み出して、ユーザカメラ１６１に出力する。

以上により、施設内やスタジアム内のユーザは画面スワイプのような簡易な動作で、好きな視点からの映像を視聴することができる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴することができる。また映像配信システムだけでなく、監視システムにおいても、施設内の警備員が画面スワイプのような簡易な動作で、好きな視点からの映像を視聴することができ、監視システムの高精度化を図ることができる。

以上の構成で、好きな視点からの映像を提供することにより、施設内やスタジアム内のユーザに臨場感を与える映像情報処理装置、映像情報処理方法を提供することができる。

また、施設内やスタジアム内のユーザへの映像の配信は、例えばカメラと撮影対象の間に障害物が入って見えない領域がある場合等にも有効である。この場合、カメラの撮影領域のうち障害物が含まれる一部の領域の映像を撮影映像から映像配信部４４２から配信された映像に切り替えて表示してもよいし、画面全体を撮影映像から映像配信部４４２から配信された映像に切り替えて表示してもよい。また、撮影映像と映像配信部４４２から配信された映像を合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像配信部４４２から配信された映像を視聴することができるので、障害物の影響を軽減することができる。

また、障害物により見えない領域について映像配信部４４２から配信された映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御を行ってもよい。例えば、カメラの移動や撮影方向の情報及び予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から映像配信部４４２から配信された映像への表示の切り替えを自動的に行ってもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から映像配信部４４２から配信された映像への表示の切り替えを自動的に行ってもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合や、撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から映像配信部４４２から配信された映像への表示の切り替えを自動的に行ってもよい。

もちろん、ユーザの入力処理に応じて撮影映像から映像配信部４４２から配信された映像への表示の切り替え及び映像配信部４４２から配信された映像から撮影映像への表示の切り替えが行われるよう構成してもよいことは言うまでもない。

また図２７に示す通り、映像情報処理装置４００はユーザカメラ４５１のみからの撮影映像データを入力する場合にも適用することができる。

（実施の形態５）
図２８は、本発明の実施の形態５における映像情報処理装置５００の構成を示す図である。実施の形態１−４の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態では、各カメラで撮影された映像データの重要度に基づき映像データを映像情報処理装置に転送する速度を指示する映像情報処理装置について説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。

図２８に示す映像情報処理装置５００は図２に示す映像情報処理装置１０１と比較して、解析部１４２を解析部５４１に置き換え、通信速度管理部５４２を追加した構成である。

Ｎ個のカメラ５１１とＬ個のユーザカメラ５５１の撮影映像データが入力されると、保存部１３１は撮影映像データを保存する。解析部５４１は保存部１３１に保存された映像データ、または当該映像データを撮影したカメラの重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数や移動物体の数、映像データの画質などの情報やその組み合わせに基づいて行われる。

また、映像データの重要度の判定は、映像データが撮影されたカメラの位置や映像データが撮影している領域に基づいてもよい。この場合、近くに撮影中のカメラが複数存在するカメラや、カメラの位置が離れていても同じ領域を撮影しているカメラが複数存在するカメラ、または当該カメラで撮影された映像データの重要度を低くすることが考えられる。また、映像データの重要度の判定は、実施の形態２で説明した映像配信サービスにおけるリクエストの多さに基づいて行ってもよい。なお、重要度の判定方法は上述したものやその組み合わせに限られず、監視システムや映像配信システムの構成や目的に応じた重要度の判定方法を使用すればよい。

また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置５００以外の端末へ映像データを転送するカメラの重要度を高いと判定してもよい。逆に、映像情報処理装置５００以外の端末へ映像データを転送するカメラの重要度を低いと判定してもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的や特性に応じた通信帯域の制御の自由度が高くなり、必要な映像データが得られないことによる各サービスの品質の劣化を防止することができる可能性がある。

解析部５４１は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部５４１で生成された自由視点映像を保存する。また解析部５４１は自由視点映像とカメラ５１１及びユーザカメラ５５１の撮影映像を用いて、映像データの重要度を判定してもよい。

通信速度管理部５４２は解析部５４１で行われた重要度の判定結果に基づき、カメラ５１１に対して有線通信速度指示信号を出力し、ユーザカメラ５５１に対して無線通信速度指示信号を出力する。通信速度管理部５４２は例えば、重要度が高い映像を撮影しているカメラ５１１及びユーザカメラ５５１に対して高い通信速度を指示してもよい。これにより、施設内やスタジアム内全体の通信を効率的に行うことができる。なおカメラ５１１が無線通信を行う場合には、通信速度管理部５４２は無線通信速度指示信号を出力し、ユーザカメラ５５１が有線通信を行う場合には、通信速度管理部５４２は有線通信速度指示信号を出力する。また、通信速度管理部５４２は、有線通信及び無線通信のいずれか一方のみを制御し、有線通信速度指示信号及び無線通信速度指示信号のいずれか一方のみを送信する構成であってもよい。

カメラ５１１及びユーザカメラ５５１は有線通信速度指示信号あるいは無線通信速度指示信号に従って、撮影映像データを映像情報処理装置５００に対して転送する。なお、カメラ５１１及びユーザカメラ５５１は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止して、次の撮影映像データの転送を開始してもよい。これにより、施設内やスタジアム内全体の通信を効率的に行うことができ、解析部５４１における処理の高速化に寄与することができる。

また、カメラ５１１及びユーザカメラ５５１は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを転送可能なビットレートの映像データに変換して、変換後の映像データを送信してもよい。また、カメラ５１１及びユーザカメラ５５１は、割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合に、映像データの転送を中止してもよい。

また、実施の形態１及び実施の形態２で説明した死角の発生を防止するために映像データを使用する場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要とされている可能性がある。この場合、少なくとも、死角の発生を防止するために必要とされる領域を含んだ映像の一部のみを抽出した抽出映像データを生成し、生成された抽出映像データを転送してもよい。この構成によると、死角の発生の防止をより少ない通信帯域で実現することができる。

また、例えば、実施の形態３で説明した付加情報の重畳表示や実施の形態４で説明した映像配信を行う場合、映像情報処理装置に対してカメラの位置情報や撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラは、カメラ側で検出された位置情報や撮影方向の情報のみを転送してもよい。また、映像情報処理装置５００においてカメラの位置情報や撮影方向の情報を推定する場合は、カメラの位置情報や撮影方向の情報の推定に必要な解像度に映像データを変換し、変換された映像データを転送してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラに対しても、付加情報の重畳表示や映像配信のサービスを提供することができる。また、この構成によると、より多くのカメラについて、それぞれのカメラが撮影している領域の情報を取得できるため、例えば注目されている領域を検出する等の目的でカメラが撮影している領域の情報を利用するような場合においても有効となる。

なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラ側で判断して行ってもよいし、映像情報処理装置５００が各カメラの動作を決定し、決定された動作を示す制御信号として各カメラに通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラの制御部が備える処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行わせることが可能となる。

以上の構成で、解析部が撮影映像データの重要度を判定し、重要度に基づき転送速度を指示することにより、施設内やスタジアム内全体の通信を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。

また図２９に示す通り、映像情報処理装置５００はユーザカメラ５５１のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−１＞

なお、図２８に示す映像情報処理装置５００を、図３０に示す映像情報処理装置５０１に置き換えてもよい。図３０に示す映像情報処理装置５０１は図２８に示す映像情報処理装置５００と比較して、解析部５４１を解析部５４３に置き換え、映像配信部５４５を追加した構成である。

解析部５４３は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部５４３で生成された自由視点映像を保存する。映像配信部５４５は映像受信装置１６１から入力される視野情報（及びまたは、視点情報）に応じた映像情報データを保存部１３１から読み出して、映像受信装置１６１に出力する。また映像配信部５４５は、視野情報（及びまたは、視点情報）を解析部５４３に出力する。

解析部５４３は視野情報（及びまたは、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、視野情報（及びまたは、視点情報）が示す領域を多く含む撮影映像データの重要度を高くする。また解析部５４３は、更に映像中に含まれる人の数、移動物体の数なども考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。

以上の構成で、解析部が撮影映像データの重要度を判定し、重要度に基づき転送速度を指示することにより、施設内やスタジアム内全体の通信を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。

また図３１に示す通り、映像情報処理装置５０１はユーザカメラ５５１のみからの撮影映像データを入力する場合にも適用することができる。

なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから３次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラやユーザカメラが存在する環境において、映像データを選択的または伝送速度に差をつけて有線通信及び／または無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法が有効である可能性がある。

（実施の形態６）
図３２は、本願発明の実施の形態６における映像情報処理装置６００の構成を示す図である。実施の形態１〜５の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態は、施設内やスタジアム内の複数の撮影データから３次元形状復元を効率的に行う映像情報処理装置に関する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。

図３２に示す映像情報処理装置６００は図６に示す映像情報処理装置１０３と比較して、映像配信部１４４及び解析部１４５を映像配信部６４１及び解析部６４２にそれぞれ置き換えた構成である。

Ｎ個のカメラ１１１とＬ個のユーザカメラ６５１のそれぞれで撮影された映像データが入力されると、保存部１３１は映像データを保存する。

解析部６４２は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。保存部１３１は解析部６４２で生成された自由視点映像を保存する。

映像受信装置１６１から配信リクエストが入力されると、映像配信部６４１は保存部１３１から施設内やスタジアム内全体の概観映像を読み出して、映像受信装置１６１に出力する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質は低くてもよい。視聴者は映像受信装置１６１の画面上に表示された概観映像中で、見たい部分をタッチするなどで指示し、映像受信装置１６１は視野情報（及びまたは、視点情報）を映像配信部６４１に出力する。

映像配信部６４１は視野情報（及びまたは、視点情報）に応じた映像情報データを保存部１３１から読み出して、映像受信装置１６１に出力する。また映像配信部６４１は、視野情報（及びまたは、視点情報）を解析部６４２に出力する。

解析部６４２は、視野情報（及びまたは、視点情報）で示される領域に対して優先的に３次元形状復元を行い、自由視点映像を生成する。解析部６４２は、施設内やスタジアム内全体の３次元形状復元は概観を示すものとして、更新間隔を長くしてもよく（低フレームレートにしてもよく）、また画質を低くしてもよい。保存部１３１は解析部６４２で生成された自由視点映像を保存する。これにより、３次元形状復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、高画質に寄与する。

以上の構成で、３次元形状復元を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。

また図３３に示す通り、映像情報処理装置６００はユーザカメラ６５１のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−１＞

なお、図３２に示す映像情報処理装置６００を、図３４に示す映像情報処理装置６０１に置き換えてもよい。図３４に示す映像情報処理装置６０１は、保存部１３１と、事前映像保存部６３２と、解析部６４３を備える。

事前映像保存部６３２は例えば、事前に生成された施設やスタジアムの３次元形状復元データを事前映像として、予め保存する。なお、事前映像はこれに限らない。

解析部６４３は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。例えばスタジアムでサッカーが行われている場合、解析部６４３は選手とボールのみに限定して３次元形状復元を行い、事前映像と合成することで自由視点映像を生成してもよい。あるいは、解析部６４３は選手とボールを優先して３次元形状復元を行ってもよい。これにより、３次元形状復元を効率的に行うことができる。その結果、視聴者が注目する選手とボールに関する自由視点映像の高フレームレート化、高画質化に寄与する。また監視システムに適用する場合には、解析部６４３は人物と移動物体のみに限定して、あるいはそれらを優先して３次元形状復元を行ってもよい。

以上の構成で、３次元形状復元をより効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。

また図３５に示す通り、映像情報処理装置６０１はユーザカメラ６５１のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−２＞

なお、図３２に示す映像情報処理装置６００を、図３６に示す映像情報処理装置６０２に置き換えてもよい。図３６に示す映像情報処理装置６０２は、保存部１３１と、解析部６４４を備える。

解析部６４４は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。解析部６４４は、複数のカメラ１１１及び複数のユーザカメラ６５１の撮影映像データの内、近い時刻のデータのみを用いて３次元形状復元を行う。時刻の検出は、例えば撮影映像データが保存部に転送完了した時刻とする。なお、時刻の検出方法はこれに限らない。これにより、３次元形状復元を効率的に行うことができる。その結果、自由視点映像の高フレームレート化、高画質化に寄与する。

あるいは解析部６４４は、保存部１３１に保存された映像データの内、高画質データのみに限定して、あるいは高画質データを優先的に用いて、３次元形状復元を行ってもよい。

以上の構成で、３次元形状復元を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。

また図３７に示す通り、映像情報処理装置６０２はユーザカメラ６５１のみからの撮影映像データを入力する場合にも適用することができる。

＜変形例−３＞

なお、図３２に示す映像情報処理装置６００を、図３８に示す映像情報処理装置６０３に置き換えてもよい。図３８に示す映像情報処理装置６０３は、保存部１３１と、解析部６４５を備える。

Ｌ個のユーザカメラ６５２及びＮ個のカメラ６１２から撮影映像データとカメラ属性情報が入力されると、保存部１３１はそれらを保存する。カメラ属性情報は、例えば撮影位置、撮影角度、撮影時刻、ズームなどが挙げられるが、これに限らない。

解析部６４５は例えばＳｆＭを用いて、保存部１３１に保存された映像データから施設内やスタジアム内の３次元形状を復元し、自由視点映像を生成する。解析部６４５はカメラ属性情報を用いて、３次元形状復元を行う。これにより、３次元形状復元を効率的に行うことができる。その結果、自由視点映像の高フレームレート化、高画質化に寄与する。

カメラ６１２及びユーザカメラ６５２におけるカメラ属性情報の生成方法に関して、以下に説明するが、一例であり、これに限らない。

施設内やスタジアム内に３次元座標を定義し、カメラ６１２及びユーザカメラ６５２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として格納し、映像情報処理装置６０３に転送してもよい。カメラ６１２及びユーザカメラ６５２起動時に、施設内やスタジアム内の通信ネットワーク上の時計とカメラ内の時計を同期することにより、時間情報を生成することができる。

また座標の特定に関しては、例えば、ユーザカメラ６５２の起動時または任意のタイミングで施設内やスタジアム内の特定のポイントにカメラを合わせる事により、位置・角度情報を取得できるようにしてもよい。図３９は、ユーザカメラ６５２起動時に、ユーザカメラ６５２の画面上に表示される通知の一例である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある“＋”を合わせて、カメラのディスプレイをタッチすると、ユーザカメラ６５２はカメラと広告までのベクトル情報を取得しカメラ位置と角度の基準を特定する。その後はカメラのモーション情報からその時々のカメラ座標と角度を特定する。

座標の特定に関しては、カメラ６１２及びユーザカメラ６５２はＧＰＳを用いてもよく、ＷｉＦｉ（無線ＬＡＮ）の電波を用いてもよい。また、施設内やスタジアム内のどの基地局に撮影映像データが届いたかという情報を用いてもよい。

以上の構成で、３次元形状復元を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。

また図４０に示す通り、映像情報処理装置６０３はユーザカメラ６５２のみからの撮影映像データを入力する場合にも適用することができる。

（補足）
本発明は上記の実施の形態で説明した内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するためのいかなる形態においても実施可能であり、例えば、以下であってもよい。

（１）実施の形態１〜６を任意の組み合わせで実施してもよい。

（２）実施の形態１、３、４における画像のマッチングにおいて、用いる３次元形状復元データは実施の形態６で示した事前映像でもよい。

（３）上記の実施の形態は、ハードウェアとソフトウェアを使った実装に関するものであってもよい。上記の実施の形態はコンピューティングデバイス（プロセッサ）を使って実装又は実行されてもよい。コンピューティングデバイスまたはプロセッサは、例えば、メインプロセッサ／汎用プロセッサ（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、他のプロラマブル論理デバイスなどであってよい。上記の実施の形態は、これらのデバイスの結合によって実行され、あるいは、実現されてもよい。

（４）上記の実施の形態は、プロセッサによって、または、直接ハードウェアによって実行される、ソフトウェアモジュールの仕組みによって実現されてもよい。また、ソフトウェアモジュールとハードウェア実装の組み合わせも可能である。ソフトウェアモジュールは、様々な種類のコンピュータ読み取り可能なストレージメディア、例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、レジスタ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤなど、に保存されてもよい。

本願発明に係る情報処理装置、情報処理方法、カメラ、受信装置、受信方法は、監視システムや映像配信システムなどに適用することができる。

１００、１０１、１０２、１０３、１０４、１０５、２００、２０１、３００、３０１、３０２、４００、５００、５０１、６００、６０１、６０２、６０３ 映像情報処理装置
１１１、５１１、６１２ カメラ
１２１、１２２ 移動カメラ
１３１ 保存部
１４１、１４２、１４３、１４５、１４６、１４７、２４１、３４１、３４３、４４１、５４１、５４３、６４２、６４３、６４４、６４５ 解析部
１４４、２４２、４４２、５４５、６４１ 映像配信部
１５１、１５２、２５１、３５１、３５２、４５１、５５１、６５１、６５２ ユーザカメラ
１６１ 映像受信装置
２４３ 課金管理部
２４４ ポイント管理部
３４２ 付加情報生成部
３４４ 過去映像配信部
３４５ 広告情報配信部
５４２ 通信速度管理部
６３２ 事前映像保存部

Claims (40)

1. 複数の撮影映像データを保存する保存部と、
   前記保存部に保存された前記複数の撮影映像データから死角を検出し、死角を防止するように指示信号を生成して、前記撮影映像データを生成するカメラに出力する解析部を有する
   ことを特徴とする情報処理装置。
2. 前記解析部は前記指示信号として、前記カメラの移動を指示する信号及び／または前記カメラの撮影方向を指示する信号を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記情報処理装置は映像配信部を更に有し、
   前記解析部は、前記保存部に保存された前記撮影映像データから自由視点映像を生成し、
   前記保存部は、前記解析部で生成された自由視点映像を保存し、
   前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを前記視野情報及び／または視点情報を生成する映像受信装置に出力し、
   前記解析部は、映像配信部から出力される映像情報データに死角がある場合には、死角を防止するように指示信号を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 請求項１記載の情報処理装置から出力される指示信号に基づき、移動を行う、及び／または画面に指示内容を表示する
   ことを特徴とするカメラ。
5. 撮影映像データを保存する保存部と、
   前記保存部に保存された前記撮影映像データから、撮影禁止領域を撮影しているか否かを検出し、撮影している場合には撮影を禁止するように通知信号を生成して、前記撮影映像データを生成するカメラに出力する解析部を有する
   ことを特徴とする情報処理装置。
6. 前記解析部は前記通知信号として、前記カメラの撮影禁止を指示する信号及び／または前記カメラの撮影禁止を通知する信号を生成する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 請求項５記載の情報処理装置から出力される通知信号に基づき、撮影を停止する、及び／または画面に通知内容を表示する
   ことを特徴とするカメラ。
8. 撮影映像データを保存する保存部と、
   前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、
   映像情報データを出力する映像配信部と、
   課金を管理する課金管理部を有し、
   前記保存部は、前記解析部で生成された自由視点映像を保存し、
   前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存部から読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、
   前記課金管理部は、前記映像受信装置と同一ユーザのカメラから前記撮影映像データが転送されていたか否かに基づき、前記映像配信部から出力する前記映像情報データの課金管理を行う
   ことを特徴とする情報処理装置。
9. 撮影映像データを保存する保存部と、
   前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、
   前記撮影映像データを生成するカメラのユーザに対するポイントを管理するポイント管理部を有する
   ことを特徴とする情報処理装置。
10. 撮影映像データを保存する保存部と、
    前記保存部に保存された前記撮影映像データを解析する解析部と、
    前記解析部の解析結果に基づき、前記撮影映像データに重畳すべき付加情報を生成して、前記撮影映像データを生成するカメラに出力する付加情報生成部を有する
    ことを特徴とする情報処理装置。
11. 前記付加情報は、広告情報である
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 請求項１０記載の情報処理装置から出力される付加情報を、撮影映像データに重畳して表示する
    ことを特徴とするカメラ。
13. 撮影映像データを保存する保存部と、
    前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、
    映像情報データを出力する過去映像配信部を有し、
    前記保存部は、前記解析部で生成された自由視点映像を保存し、
    前記解析部は、前記保存部に保存された前記撮影映像データを解析し、
    前記過去映像配信部は、前記解析部の解析結果に基づき、過去の映像情報データを前記保存部から読み出して、前記撮影映像データを生成するカメラに出力する
    ことを特徴とする情報処理装置。
14. 請求項１３記載の情報処理装置から出力される過去の映像情報データを表示する
    ことを特徴とするカメラ。
15. 撮影映像データと視点情報を保存する保存部と、
    前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、
    映像情報データを出力する映像配信部を有し、
    前記映像配信部は、前記視点情報に応じた映像情報データを保存部から読み出して、前記撮影映像データと視点情報を生成するカメラに出力する
    ことを特徴とする情報処理装置。
16. 請求項１５記載の情報処理装置から出力される映像情報データを表示する
    ことを特徴とするカメラ。
17. 撮影映像データを保存する保存部と、
    前記保存部に保存された前記撮影映像データを解析する解析部と、
    通信速度を管理する通信速度管理部を有し、
    前記通信速度管理部は、前記解析部の解析結果に基づき、前記撮影映像データを生成するカメラの通信速度を指示する指示信号を生成して、前記カメラに出力する
    ことを特徴とする情報処理装置。
18. 前記情報処理装置は映像配信部を更に有し、
    前記解析部は、前記保存部に保存された前記撮影映像データから自由視点映像を生成し、
    前記保存部は、前記解析部で生成された自由視点映像を保存し、
    前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを保存部から読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、
    前記解析部は、前記視野情報及び／または視点情報に基づき、前記撮影映像データの重要度を判定し、
    前記通信速度管理部は、前記重要度に基づき、前記指示信号を生成する
    ことを特徴とする請求項１７に記載の情報処理装置。
19. 請求項１７記載の情報処理装置から出力される指示信号に基づき、撮影映像データを前記情報処理装置に転送する
    ことを特徴とするカメラ。
20. 撮影映像データを保存する保存部と、
    前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、
    映像情報データを出力する映像配信部を有し、
    前記保存部は、前記解析部で生成された自由視点映像を保存し、
    前記映像配信部は、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存部から読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、
    前記解析部は、前記視野情報及び／または視点情報で示される領域に対して優先的に自由視点映像を生成する
    ことを特徴とする情報処理装置。
21. 請求項２０記載の情報処理装置から出力される映像情報データを表示する
    ことを特徴とする映像受信装置。
22. 撮影映像データを保存する保存部と、
    事前に生成された自由視点映像を保存する事前映像保存部と、
    前記保存部に保存された前記撮影映像データと、前記事前映像保存部に保存された前記自由視点映像から、自由視点映像を更新して生成する解析部を有する
    ことを特徴とする情報処理装置。
23. 撮影映像データを保存する保存部と、
    前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部を有し、
    前記保存部は、前記解析部で生成された自由視点映像を保存し、
    前記解析部は、前記撮影映像データの内、近い時刻のデータのみを用いる、及び／または高画質データのみに限定するか高画質データを優先的に用いる
    ことを特徴とする情報処理装置。
24. 撮影映像データとカメラ属性情報を保存する保存部と、
    前記保存部に保存された前記撮影映像データと前記からカメラ属性情報から自由視点映像を生成する解析部を有し、
    前記カメラ属性情報は、撮影位置、撮影角度、撮影時刻、ズームの内、少なくともいずれか一つである
    ことを特徴とする情報処理装置。
25. 請求項２４記載の情報処理装置が用いるカメラ属性情報を生成する
    ことを特徴とするカメラ。
26. 前記カメラ属性情報として、撮影位置をカメラ起動時にある基準点に合わせる事により生成する
    ことを特徴とする請求項２５に記載のカメラ。
27. 前記カメラ属性情報として、撮影位置をＧＰＳ、ＷｉＦｉ、基地局に関する情報の内、少なくともいずれか一つを用いて生成する
    ことを特徴とする請求項２５に記載のカメラ。
28. 前記カメラ属性情報として、撮影時刻を通信ネットワーク上の時計とカメラ内の時計を同期することにより生成する
    ことを特徴とする請求項２５に記載のカメラ。
29. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データから死角を検出し、死角を防止するように指示信号を生成して、前記撮影映像データを生成するカメラに出力する解析ステップを含む
    ことを特徴とする情報処理方法。
30. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データから、撮影禁止領域を撮影しているか否かを検出し、撮影している場合には撮影を禁止するように通知信号を生成して、前記撮影映像データを生成するカメラに出力する解析ステップを有する
    ことを特徴とする情報処理方法。
31. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、
    映像情報データを出力する映像配信ステップと、
    課金を管理する課金管理ステップを有し、
    前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、
    前記映像配信ステップは、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存ステップから読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、
    前記課金管理ステップは、前記映像受信装置と同一ユーザのカメラから前記撮影映像データが転送されていたか否かに基づき、前記映像配信ステップで出力する前記映像情報データの課金管理を行う
    ことを特徴とする情報処理方法。
32. 撮影映像データを保存する保存ステップと、
    前記保存ステップに保存された前記撮影映像データから自由視点映像を生成する解析ステップと、
    前記撮影映像データを生成するカメラのユーザに対するポイントを管理するポイント管理ステップを有する
    ことを特徴とする情報処理方法。
33. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データを解析する解析ステップと、
    前記解析ステップの解析結果に基づき、前記撮影映像データに重畳すべき付加情報を生成して、前記撮影映像データを生成するカメラに出力する付加情報生成ステップを有する
    ことを特徴とする情報処理方法。
34. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、
    映像情報データを出力する過去映像配信ステップを有し、
    前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、
    前記解析ステップは、前記保存ステップで保存された前記撮影映像データを解析し、
    前記過去映像配信ステップは、前記解析ステップの解析結果に基づき、過去の映像情報データを前記保存ステップから読み出して、前記撮影映像データを生成するカメラに出力する
    ことを特徴とする情報処理方法。
35. 撮影映像データと視点情報を保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、
    映像情報データを出力する映像配信ステップを有し、
    前記映像配信ステップは、前記視点情報に応じた映像情報データを保存ステップから読み出して、前記撮影映像データと視点情報を生成するカメラに出力する
    ことを特徴とする情報処理方法。
36. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データを解析する解析ステップと、
    通信速度を管理する通信速度管理ステップを有し、
    前記通信速度管理ステップは、前記解析ステップの解析結果に基づき、前記撮影映像データを生成するカメラの通信速度を指示する指示信号を生成して、前記カメラに出力する
    ことを特徴とする情報処理方法。
37. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、
    映像情報データを出力する映像配信ステップを有し、
    前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、
    前記映像配信ステップは、入力される視野情報及び／または視点情報に応じた映像情報データを前記保存ステップから読み出して、前記視野情報及び／または視点情報を生成する映像受信装置に出力し、
    前記解析ステップは、前記視野情報及び／または視点情報で示される領域に対して優先的に自由視点映像を生成する
    ことを特徴とする情報処理方法。
38. 撮影映像データを保存する保存ステップと、
    事前に生成された自由視点映像を保存する事前映像保存ステップと、
    前記保存ステップで保存された前記撮影映像データと、前記事前映像保存ステップで保存された前記自由視点映像から、自由視点映像を更新して生成する解析ステップを有する
    ことを特徴とする情報処理方法。
39. 撮影映像データを保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップを有し、
    前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、
    前記解析ステップは、前記撮影映像データの内、近い時刻のデータのみを用いる、及び／または高画質データのみに限定するか高画質データを優先的に用いる
    ことを特徴とする情報処理方法。
40. 撮影映像データとカメラ属性情報を保存する保存ステップと、
    前記保存ステップで保存された前記撮影映像データと前記からカメラ属性情報から自由視点映像を生成する解析ステップを有し、
    前記カメラ属性情報は、撮影位置、撮影角度、撮影時刻、ズームの内、少なくともいずれか一つである
    ことを特徴とする情報処理方法。

Images