JP4587166B2 - 移動体追跡システム、撮影装置及び撮影方法 - Google Patents

Description

本発明は、移動体追跡システム、撮影装置及び撮影方法に関する。

従来、画像処理技術により、単一の撮影装置で移動体を追跡することは可能となっている。しかし、単一の撮影装置だけでは広範囲において移動体を連続的に撮影することは困難であるため、広範囲において移動体の撮影を行うためには、複数の撮影装置が必要となる。複数の撮影装置による移動体追跡システムは、集中制御型と、自律分散型の２種類に分類される。集中制御型の場合、分散しているデータを一括して管理出来るため、システム全体の状態を把握することが可能である。しかし、システムの規模が大きな場合にサーバに対する負荷が大きくなるため、大規模なシステムに適用するには不向きである。さらに、サーバが故障した場合にはシステム全体にその影響が及ぶリスクがある。一方自律分散型は、各々が処理を行うため、システム規模が大きな場合においても、ネットワークへの負荷は少ない。複数の撮影装置の協調動作による移動体追跡システムは、動作の柔軟性、多角的観測結果の統合によるロバスト性など、多くの利点を備えており、広域監視システム、ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）といった応用システムを実現することが可能となる。

例えば、下記の特許文献１に記載の複数カメラを用いた移動体追跡システム及びその方法では、カメラエージェントでは、カメラにて撮影した動画像を各フレーム毎にプロセッサに入力し、プロセッサによりフレーム画像を分析して、画像中の人物領域の抽出及びその特徴量の抽出をする。そして、抽出した特徴量に基づき、時間軸上でフレーム間のマッチングを取ることにより、人物像及び特徴量の抽出を実現する。そして、カメラエージェントが人物を検出するとトラッキングエージェントが生成される。複数のトラッキングエージェントが一つのメインと複数のサブからなるグループを形成し、メインとなったトラッキングエージェントが人物の特徴量を取り纏めることで、協調動作が行われるという方法が開示されている。

特開２００４−７２６２８号公報

しかしながら、各カメラ画像上のピクセル位置を複数カメラで共通の座標系に対応付け（撮影装置キャリブレーション）するために、カメラの設置場所は固定で撮影範囲も固定であり、各々のカメラの撮影範囲を一部重複させなければならないため、広範囲においては多数のカメラを設置しなければならないといった課題がある。

本発明は、このような事情に鑑みてなされたもので、複数の撮影装置が空間中に存在し、撮影装置自身が撮影範囲を変更し、あるいは移動式の物体に取り付けられており、さらには歩行・走行・飛行などをして自由に位置を移動する撮影装置であり、それら複数の撮影装置が協調動作を行うことにより、撮影対象となる移動体を広範囲において追跡して撮影可能なシステムを提供するものである。

本発明の移動体追跡システムは、複数の撮影装置の協調動作により移動体の追跡を行う移動体追跡システムであって、各撮影装置は、移動体を撮影して認識するための撮影手段と、前記撮影手段の撮影範囲を変更するための変更手段と、自己の撮影装置の位置を取得するための位置取得手段と、自己の撮影装置と移動体との間の距離を取得するための距離取得手段と、自己の撮影装置の識別子、自己の撮影装置の位置、移動体の進行方向、及び自己の撮影装置と移動体との間の距離を他の撮影装置に送信し、他の撮影装置の識別子、他の撮影装置の位置、移動体の進行方向、及び他の撮影装置と移動体との間の距離を他の撮影装置から受信するための通信手段と、自己の取得する情報と、他の撮影装置から受信した情報に基づいて、自己の撮影装置が移動するか否かを判断する判断手段とを有し、前記変更手段は、自己の撮影装置が移動すると判断した場合に、自己の撮影装置の位置、移動体の進行方向に基づいて、自己の撮影装置が移動する目的地を設定する設定手段と、前記設定された目的地に移動する移動手段とを有することを特徴とする。

また、本発明の撮影装置は、移動体を撮影して認識するための撮影手段と、前記撮影手段の撮影範囲を変更するための変更手段と、自己の撮影装置の位置を取得するための位置取得手段と、自己の撮影装置と移動体との間の距離を取得するための距離取得手段と、自己の撮影装置の識別子、自己の撮影装置の位置、移動体の進行方向、及び自己の撮影装置と移動体との間の距離を他の撮影装置に送信し、他の撮影装置の識別子、他の撮影装置の位置、移動体の進行方向、及び他の撮影装置と移動体との間の距離を他の撮影装置から受信するための通信手段と、自己の取得する情報と、他の撮影装置から受信した情報に基づいて、自己の撮影装置が移動するか否かを判断する判断手段とを有し、前記変更手段は、自己の撮影装置が移動すると判断した場合に、自己の撮影装置の位置、移動体の進行方向に基づいて、自己の撮影装置が移動する目的地を設定する設定手段と、前記設定された目的地に移動する移動手段とを有することを特徴とする。

また、本発明の撮影方法は、移動体を撮影して認識する撮影ステップと、撮影範囲を変更する変更ステップと、自己の撮影装置の位置を取得する位置取得ステップと、自己の撮影装置と移動体との間の距離を取得する距離取得ステップと、自己の撮影装置の識別子、自己の撮影装置の位置、移動体の進行方向、及び自己の撮影装置と移動体との間の距離を他の撮影装置に送信する通信ステップと、自己の取得する情報と、他の撮影装置から受信した情報に基づいて、自己の撮影装置が移動するか否かを判断する判断ステップとを有し、前記変更ステップは、自己の撮影装置が移動すると判断した場合に、自己の撮影装置の位置、移動体の進行方向に基づいて、自己の撮影装置が移動する目的地を設定する設定ステップと、前記設定された目的地に移動する移動ステップとを有することを特徴とする。

複数の撮影装置が協調動作を行うことにより、撮影対象となる移動体を広範囲において追跡して撮影することができる。

以下、本発明の一実施形態による移動体追跡システムを図面を参照して説明する。図１は本発明の一実施形態である移動体追跡システムの全体構成図である。本実施形態における移動体追跡システムは、地理的に分散した複数台の可動する自律撮影装置１１で構成する。１２は自律撮影装置１１の認識範囲をイメージとして示したものである。撮影対象移動体１がこの認識範囲１２に侵入し、自律撮影装置１１が認識を行うと、撮影をしながら追跡を開始する。アンテナ３０は複数の自律撮影装置１１間同士で通信を行うためのものである。追跡環境内において、撮影対象移動体１を自律撮影装置１１が撮影すると、アンテナ３０を利用して撮影装置１１間同士で電波の送受信を行う。

次に、図２を参照して、図１に示す自律撮影装置１１の詳細な構成を説明する。図２は図１に示す自律撮影装置１１のブロック図である。撮影部２１は撮影対象移動体１を撮影するための画像センサ２２と、撮影対象移動体１が何であるかを認識して判断するための物体認識部２３で構成される。

撮影部２１では、画像センサ２２によって撮影された動画像は、処理を行うプロセッサである物体認識部２３に入力される。そして、入力された動画像の各フレーム画像から撮影対象移動体１の抽出を行う。物体認識部２３では、オプティカルフロー法により撮影対象移動体１の移動方向や速度、及びカメラからの奥行きに関する情報を得ることが可能となる。さらに、色情報などを組み合わせて処理することにより、撮影対象移動体１の領域抽出が可能となる。なお、画像から撮影対象移動体１の抽出を行う処理方法としては、オプティカルフロー法に限らず、フレーム間差分法、背景差分法、テンプレートマッチング法、マーカー検出法等、これらのうちの一つ、もしくはそれらの組み合わせを用いる。

３０は、無線通信によって周囲の自律撮影装置１１と通信を行うためのアンテナである。無線通信部２９では、撮影部２１で撮影対象移動体１を撮影している間、周囲の自律撮影装置１１にデータを無線送信する。無線通信はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、ＨｏｍｅＲＦ、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）といった電波を利用した通信の他に、光を用いた無線通信方式などから適宜用途に合ったものを選択する。

撮影対象移動体１を撮影した自律撮影装置１１の推論部２７では、撮影対象移動体１を追跡して撮影を行うのか、パン・チルト・ズームのみを行い他の自律撮影装置１１に撮影を依頼するのかといった判断を行う。撮影対象移動体１を撮影すると、送受信部２８、通信部２９、アンテナ３０を介して複数の自律撮影装置１１間同士で通信が行われる。撮影対象移動体１を撮影した際の送信データとしては、撮影装置ＩＤ・撮影装置位置・撮影対象移動体１の進行方向・移動体特徴などのデータが送信される。

データを受信した自律撮影装置１１の推論部２７では、撮影対象移動体１を撮影するための方向を向くか、または移動して撮影準備を行うかといった判断を行う。さらに、次に撮影対象移動体１が自己の方に向かってきそうな割合を算出する。そして、その算出した割合を、撮影対象移動体１を撮影している自律撮影装置１１に返信する。

自律撮影装置１１は、撮影対象移動体１を追跡して撮影するために動作部２４を駆動させる。動作部２４は、受信データと自己で取得しているデータから、自律撮影装置１１が推論部２７によって推論された制御量に基づいて、動作制御を行う動作制御部２５と、動作制御部２５から出力される制御信号に基づいて駆動する動作駆動部２６で構成される。そして、動作部２４を駆動した量は推論部２７へ通知される。撮影対象移動体１を追跡して撮影を行う時、例えば動作部２４が車輪の場合、撮影対象移動体１の移動量や速度に応じて、車輪の回転数の制御や方向の制御を行う。動作部２４は、走行（車輪）に限るものではなく歩行や飛行形態をとるものでも良い。また、動作部２４は常に動作する必要がなく状況に応じて動作するものであっても良い。また、動作部２４は、撮影部２１をパン・チルトすることにより、カメラの向きを変えることができる。動作部２４の駆動により、自己の自律撮影装置１１が撮影する向き及び／又は自己の自律撮影装置１１の位置を変えることにより撮影部２１の撮影範囲を変更することができる。

位置取得部３１では、自律撮影装置１１は自由に場所を変更するため、自己の自律撮影装置１１が存在している位置を取得し、取得した結果は推論部２７へ通知される。現在地の情報を得るための手段として、無線ＬＡＮを用いた位置情報検出システムでは、セルＩＤ方式、三角測量方式、確率論方式などによる計算処理により、自律撮影装置１１の自己位置を特定することが出来る。また使用環境に応じて、無線ＬＡＮ、ＧＰＳ、ＰＨＳ、画像、ＲＦＩＤ、超音波などのうちの１つ、もしくはこれらの組み合わせを用いることによって、自己位置を特定することが可能である。

方位取得部３２では、磁気センサなどを用いて自律撮影装置１１の撮影部２１が向いている方位（撮影する向き）を取得し、取得した結果は推論部２７へ通知される。そして、その方位と画像から得た撮影対象移動体１の向きから、撮影対象移動体１の進行方向を推測する。

距離取得部３３では、超音波センサを用いることで、超音波のパルスを送信し、対象物に反射して返ってくるまでの時間を計測することにより、自律撮影装置１１と撮影対象移動体１との間の距離が計測可能となる。なお、対象物との距離を計測する手段として、超音波センサを用いる方法に限らず、複数の画像センサを利用してステレオカメラシステムとして３次元的に撮影対象移動体１との距離の計測を行う。もしくは、フレーム画像における撮影対象移動体１のサイズなどにより距離を計測する。さらに、光や超音波やＲＦなどのうちの１つ、もしくはこれらの組み合わせを使用することで距離計測を行う。またこの距離取得部３３は、自律撮影装置１１が移動動作を行う場合において、撮影対象移動体１との距離を取得する以外に、障害物検知といった用途に利用出来る。また、自律撮影装置１１が飛行形態をとる場合においては、地面との距離を計測し高度の維持を行うことも可能である。距離取得（計測）部３５として画像センサを用いる場合、撮影部２１の画像センサ２２を利用しても良い。推論部２７は、記憶部３４に対して上記の情報をリード／ライトする。

図３は、自律撮影装置１１が撮影対象移動体１を撮影した際のフローチャートである。ステップＳ１で撮影対象移動体１を撮影した際に、撮影部２１から移動体の進行方向、移動体の位置を取得する。そして、距離取得部３３から撮影対象移動体１との距離を取得する。ここで、撮影対象移動体１を撮影している自律撮影装置を１１ａ、周囲の自律撮影装置を１１ｂとして区別する。ステップＳ２で、撮影対象移動体１を撮影するために自律撮影装置１１ａがパン・チルト・ズームをすることにより撮影範囲を変え、あるいは歩行・走行・飛行などを行って位置を変え、撮影対象移動体１の撮影を行うために動作する。ステップＳ３では、撮影対象移動体１を撮影している自律撮影装置１１ａから、周囲の自律撮影装置１１ｂにデータを送信する。その際、自律撮影装置１１ａのＩＤ、自律撮影装置１１ａの位置、撮影対象移動体１の進行方向、撮影対象移動体１の特徴を含むものとし、その他に撮影対象移動体１と自律撮影装置１１ａとの距離、撮影対象移動体１の画角上での位置といったデータを送信する。ステップＳ４では、自律撮影装置１１ａは、周囲の自律撮影装置１１ｂから、ステップＳ３で送信したデータによって算出された、周囲の自律撮影装置１１ｂに対して撮影対象移動体１の向かう割合（自律撮影装置と撮影移動体との関係）を受信する。ステップＳ５では、ステップＳ４で受信したデータの中から、撮影対象移動体１が進む方向に自律撮影装置１１ｂが存在するかどうかの判断を行う。ステップＳ６では、撮影対象移動体１の進行方向に自律撮影装置１１ｂがいることを判断したら、その自律撮影装置１１ｂに対して撮影対象移動体１が向かう事を知らせる。撮影対象移動体１の受け渡しを行うことで、撮影対象移動体１を撮影している自律撮影装置１１ｂが追跡して撮影をする事が不可となったとしても、連続して撮影を行うことが可能となる。ステップＳ５で移動体１の進行方向に自律撮影装置１１ｂが存在しないと判断された場合は、ステップＳ１に戻る。

図４は、周囲の自律撮影装置１１ｂが、撮影対象移動体１を撮影している自律撮影装置１１ａからのデータを受信した際のフローチャートである。ステップＳ１１で、撮影対象移動体１を撮影している自律撮影装置１１ａから、周囲の自律撮影装置１１ｂがデータを受信する。その際、自律撮影装置１１ａのＩＤ、自律撮影装置１１ａの位置、撮影対象移動体１の進行方向、撮影対象移動体１の特徴を含むものとし、その他に撮影対象移動体１と自律撮影装置１１ａとの距離、撮影対象移動体１の画角上での位置といったデータを受信する。ステップＳ１２で、自律撮影装置１１ｂは、受信データと自身で取得するデータから自律撮影装置１１ａに対する距離及び方向を算出する。ステップＳ１３で、上記の自律撮影装置１１ａに対する距離及び方向を基に自律撮影装置１１ｂに対して撮影対象移動体１が向かってくる割合を算出する。ステップＳ１４では、自律撮影装置１１ｂは、Ｓ１３で算出した推論結果を自律撮影装置１１ａに送信する。そしてステップＳ１５では、ステップＳ１１で受信したデータと、ステップＳ１３で算出した結果から自律撮影装置自身の動作を判断する。そして、場所を移動して撮影をすると判断した場合には、ステップＳ１６〜Ｓ１７で目的地を設定して、その目的地に移動する。ステップＳ１５で移動をしないと判断した時に、ステップＳ１８で首振り動作を行って撮影をすると判断した場合、ステップＳ１９で撮影対象移動体１を撮影できるように首振り制御を行う。ステップＳ１８で首振り動作も行わないと判断した場合には何も動作しない。

データ受信時に自律撮影装置１１ｂは、撮影対象移動体１の撮影を行っていた場合、撮影装置位置、移動体進行方向、移動体特徴などを用いることによって、認識した撮影対象移動体１と自律撮影装置１１ａが認識した撮影対象移動体１とが同一の移動体か判断する。撮影している移動体１が同一の移動体１であった場合、自律撮影装置１１ｂは、移動体を撮影している評価値（撮影状況）を算出する。評価値は、撮影対象移動体１を正面から撮影しているか、画角内でのサイズは大きいか、障害物などに遮蔽されずに撮影できているかといったパラメータから算出を行う。そして、その評価値を自律撮影装置１１間で送受信する。次に、評価値の比較を行い、評価値の大きかった方の自律撮影装置１１が撮影対象移動体１の撮影を継続して行う。

図５（ａ）は、本発明の一実施形態に係る複数の自律撮影装置間で情報のやり取りが行われる一例を示す概念図である。ここで、４つの自律撮影装置１１を、それぞれ自律撮影装置１１ａ，１１ｂ，１１ｃ，１１ｄとして区別する。図５（ｂ）は、撮影対象移動体１を撮影するために自律撮影装置１１ａ〜１１ｄが動作する一例を示す概念図である。図５（ａ）では、自律撮影装置１１ａが撮影対象移動体１を撮影して、周囲の自律撮影装置１１ｂ〜１１ｄに追跡して撮影を行っているという情報を送信している。周囲の自律撮影装置１１ｂ〜１１ｄは受信データの中の「撮影装置位置」と自律撮影装置自身が取得している「撮影装置位置」のデータから、撮影装置間の距離や方向といったものを算出する。そして、周囲の自律撮影装置１１ｂ〜１１ｄは、「撮影装置間の方向」と撮影対象移動体１の「移動体進行方向」から、方向の適合度を算出する。例えば図５（ａ）において、自律撮影装置１１ａに対しての自律撮影装置１１ｃの位置する方向と撮影対象移動体１の進行方向は比較的一致しているため、高い適合度を得ることとなる。さらに方向の適合度の他に、撮影装置間の距離を用いることで撮影対象移動体１が自己の方向に向かってくる割合４０ｂ〜４０ｄ（以下、推論結果と呼ぶ）を算出する。つまり、方向の適合度が高く、撮影装置間の距離が近いといった場合において推論結果４０ｂ〜４０ｄは高い値となる。

推論結果４０ｂ〜４０ｄを算出した周囲の自律撮影装置１１ｂ〜１１ｄは、撮影対象移動体１を撮影している自律撮影装置１１ａに対して推論結果４０ｂ〜４０ｄを送信する。そして、次に撮影を行うために、場所を移動して撮影を行うか、もしくは何も動作しないといった判断をする。例えば図５（ａ）において、自律撮影装置１１ｄは撮影対象移動体１を撮影するにはまだ動作する必要がないと判断したので、何も動作しない。自律撮影装置１１ｃのように移動して撮影を行うと判断した場合は、「移動体進行方向」と「撮影装置位置」から「目的地」を設定し、目的地に向けて移動を始める。移動中にも受信データから推論結果４０を算出する。移動を行うことにより推論結果４０は変化し、その値が大きく変化すれば目的地の設定が正しいと判断でき、推論結果４０が小さくなっていけば目的地の設定が悪かったことを判断し、適宜目的地の修正を行いながら移動する。

例えば、図５（ｂ）に示すように、自律撮影装置１１ｃは撮影対象移動体１の方に近付くように移動し、自律撮影装置１１ｂは撮影対象移動体１の方に首を振って向きを変える。これにより、自律撮影装置１１ｂ及び１１ｃの認識範囲１２内に撮影対象移動体１を捕らえることができる。

撮影対象移動体１を撮影している自律撮影装置１１ａは、受信した複数の推論結果４１から、次に撮影対象移動体１が移動する方向に位置する自律撮影装置１１を選択する。推論結果４１は、推論結果４０ｂ〜４０ｄに対応する。例えば図５（ａ）においては、自律撮影装置１１ｃに対して撮影対象移動体１が向かう事を送信する。自律撮影装置１１ａが送信するタイミングとして、推論結果４１の最大値がある一定の閾値を越えたタイミングで受け渡すようにするか、もしくは追跡して撮影が不可となった場合に受け渡す。それにより自律撮影装置１１ａ〜１１ｄの撮影範囲が重複していなくとも、撮影対象移動体１を広範囲において追跡することが出来る。

次に自律撮影装置１１が撮影対象移動体１を撮影した際に周囲に送信する送信データと、そのデータに対して周囲の自律撮影装置１１が返信を行うデータの詳細について説明する。自律撮影装置１１が撮影対象移動体１を撮影した際に周囲に送信する送信データは、「同期・通信制御」、「送信元撮影装置ＩＤ」、「送信先撮影装置ＩＤ」、「撮影装置位置」、「移動体進行方向」、「移動体との距離」、「移動体位置」及び「移動体特徴」とから構成される。このデータは図３におけるステップＳ３に相当する。ここで、「同期・通信制御（信号）」とは、無線通信を行う二台以上の撮影装置のタイミングを, 一定の時間関係に保つ場合において必要な情報である。「送信元撮影装置ＩＤ」とは、自律撮影装置１１に対して一意に付与された識別番号であり、送信を行う送信元の撮影装置のＩＤである。「送信先撮影装置ＩＤ」とは、データを送信したい送信先の撮影装置のＩＤとなる。ここで、「送信先撮影装置ＩＤ」は、特定のＩＤを指定して特定の撮影装置にデータを送信する場合、複数の相手を指定してデータを送信する場合、及び、不特定多数の撮影装置に向かってデータを送信する場合がある。「撮影装置位置」は、自律撮影装置１１の位置取得部３１によって取得されたデータ送信時の撮影装置の位置である。「移動体進行方向」は、自律撮影装置１１の方位取得部３２から得た方位と画像上の撮影対象移動体１の向きから推測した撮影対象移動体１の進行方向である。「移動体との距離」は、自律撮影装置１１の距離取得部３３によって取得された撮影対象移動体１との距離である。「移動体位置」は、撮影対象移動体１の自由空間における３次元的な位置である。「移動体特徴」は、自律撮影装置１１の撮影部２１から得た撮影対象移動体１の特徴である。

次に周囲の自律撮影装置１１が返信を行うデータの詳細について説明する。送信データの中身は、「同期・通信制御」、「送信元撮影装置ＩＤ」、「送信先撮影装置ＩＤ」及び「推論結果」から構成される。このデータは図４におけるステップＳ１４に相当する。「推論結果」とは、自律撮影装置１１の推論部２７で、受信した「撮影装置位置」と「移動体進行方向」と自己の位置などから、次に自己の方向に撮影対象移動体１が向かってくる割合を算出した結果である。

以上のように、本実施形態によれば、カメラ（撮影装置１１）の位置を特定するための位置取得部と、カメラの向いている方向を取得する方位取得部とカメラを動作させる動作部を備えるというシステム構成上の特徴を有する。また、移動体を追跡しているカメラは、送信データとして、カメラＩＤ、カメラ位置、移動体の進行方向、カメラと移動体との距離などを周囲のカメラに送信する。移動体を追跡しているカメラは、自己の検出範囲から移動体が外れそうな時に、周囲のカメラから個々の状況を受信する。これにより、複数のカメラの中から移動体の移動方向にいるカメラを特定することが出来る。

移動体を追跡しているカメラは、移動体の移動方向にいるカメラに対して移動体が向かうことを知らせる。移動体が向かってくるという情報を受信したカメラは移動体を追跡する準備を開始できる。したがって、カメラが固定式に限らず移動式であってもシステム全体で移動体を追跡可能となる。

撮影対象移動体を捕捉している撮影装置と、周囲の撮影装置がお互いの情報をやり取りすることにより、撮影装置の撮影範囲が重複していなくとも、撮影対象移動体を広範囲において追跡することができる。

本実施形態によれば、自由空間に自律撮影装置が分散配置されている場合において、自律撮影装置が撮影対象移動体を撮影した際に周囲の自律撮影装置にデータを送信し、周囲の自律撮影装置は受信データから撮影対象移動体を撮影可能な方向を向くか、もしくは撮影可能な場所に移動するかどうかを判断する。さらに、撮影対象移動体を撮影していない自律撮影装置は次に撮影対象移動体が向かってくる割合を、撮影対象移動体を撮影している自律撮影装置とやり取りすることにより、自律撮影装置の撮影範囲が重複していなくとも、複数の可動する自律撮影装置の協調動作により、車両や人物といった撮影対象移動体を広域にわたり連続して追跡して撮影することが出来る。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態に係る移動体追跡システムの全体構成を示す概念図である。 本発明の実施形態に係る撮影装置の構成を示すブロック図である。 本発明の実施形態に係る撮影装置が撮影対象移動体を撮影している際の処理の流れの一例を示すフローチャートである。 本発明の実施形態に係る撮影対象移動体を撮影している撮影装置からデータを受信した際の処理の流れの一例を示すフローチャートである。 図５（ａ）は本発明の実施形態に係る複数の撮影装置間で情報のやり取りが行われる一例を示す概念図であり、図５（ｂ）は撮影対象移動体を撮影するために撮影装置が動作する一例を示す概念図である。

符号の説明

１ 撮影対象移動体
１１ 撮影装置
１２ 認識範囲
２１ 撮影部
２２ 画像センサ
２３ 物体認識部
２４ 動作部
２５ 動作制御部
２６ 動作駆動部
２７ 推論部
２８ 送受信部
２９ 通信部
３０ アンテナ
３１ 位置取得部
３２ 方位取得部
３３ 距離取得部
３４ 記憶部
４０ 推論結果
４１ 受信した推論結果

Claims (19)

1. 複数の撮影装置の協調動作により移動体の追跡を行う移動体追跡システムであって、
   各撮影装置は、
   移動体を撮影して認識するための撮影手段と、
   前記撮影手段の撮影範囲を変更するための変更手段と、
   自己の撮影装置の位置を取得するための位置取得手段と、
   自己の撮影装置と移動体との間の距離を取得するための距離取得手段と、
   自己の撮影装置の識別子、自己の撮影装置の位置、移動体の進行方向、及び自己の撮影装置と移動体との間の距離を他の撮影装置に送信し、他の撮影装置の識別子、他の撮影装置の位置、移動体の進行方向、及び他の撮影装置と移動体との間の距離を他の撮影装置から受信するための通信手段と、
   自己の取得する情報と、他の撮影装置から受信した情報に基づいて、自己の撮影装置が移動するか否かを判断する判断手段と
   を有し、
   前記変更手段は、
   自己の撮影装置が移動すると判断した場合に、自己の撮影装置の位置、移動体の進行方向に基づいて、自己の撮影装置が移動する目的地を設定する設定手段と、
   前記設定された目的地に移動する移動手段と
   を有することを特徴とする移動体追跡システム。
2. 前記通信手段は、前記移動体の移動体特徴を受信し、
   前記判断手段は、前記受信した移動体の移動体特徴に基づいて、当該移動体と前記撮影手段が撮影した移動体とが同一であるか否かを判断し、自己の撮影装置が移動するか否かを判断することを特徴とする請求項１記載の移動体追跡システム。
3. 前記判断手段は、前記移動体を予め定められた方向から撮影しているか否かを判断し、自己の撮影装置が移動するか否かを判断することを特徴とする請求項１又は２に記載の移動体追跡システム。
4. 前記判断手段は、前記移動体を撮影している撮影範囲内の当該移動体のサイズに基づいて、自己の撮影装置が移動するか否かを判断することを特徴とする請求項１乃至３の何れか１項に記載の移動体追跡システム。
5. 前記判断手段は、前記移動体を障害物に遮蔽されずに撮影できているか否かを判断し、自己の撮影装置が移動するか否かを判断することを特徴とする請求項１乃至４の何れか１項に記載の移動体追跡システム。
6. 前記変更手段は、自己の撮影装置が撮影する向き又は自己の撮影装置の位置を更に変えることにより前記撮影範囲を変更することを特徴とする請求項１乃至５の何れか１項に記載の移動体追跡システム。
7. 前記変更手段は、自己の撮影装置が撮影する向き及び自己の撮影装置の位置を更に変えることができ、
   さらに、自己の撮影装置が撮影する向きを取得するための方位取得手段を有することを特徴とする請求項６記載の移動体追跡システム。
8. 前記複数の撮影装置は第１及び第２の撮影装置を含み、
   前記第１の撮影装置は、移動体を認識したときには前記第１の撮影装置の識別子、前記第１の撮影装置の位置、移動体の進行方向、及び前記第１の撮影装置と移動体との間の距離を前記第２の撮影装置に送信し、
   前記第２の撮影装置は、前記第１の撮影装置から受信した情報を基に前記第２の撮影装置と移動体との関係を前記第１の撮影装置に送信し、
   前記第１の撮影装置は、前記第２の撮影装置から受信した関係を基に移動体が前記第２の撮影装置に向かう旨を前記第２の撮影装置に送信することを特徴とする請求項１乃至７の何れか１項に記載の移動体追跡システム。
9. 前記第２の撮影装置は、前記第１の撮影装置から受信した情報を基に前記第２の撮影装置に移動体が向かっている割合を算出して前記第１の撮影装置に送信し、
   前記第１の撮影装置は、前記第２の撮影装置から受信した割合を基に移動体が前記第２の撮影装置に向かう旨を前記第２の撮影装置に送信することを特徴とする請求項８記載の移動体追跡システム。
10. 前記第２の撮影装置は、前記第１の撮影装置の位置及び前記第２の撮影装置の位置を基に前記第１の撮影装置に対する距離及び方向を算出し、その距離及び方向を基に前記第２の撮影装置に移動体が向かっている割合を算出することを特徴とする請求項９記載の移動体追跡システム。
11. 前記第２の撮影装置は、前記第１の撮影装置の位置、移動体の進行方向、前記第１の撮影装置と移動体との間の距離、及び前記第２の撮影装置に移動体が向かっている割合を基に、前記第２の撮影装置が撮影する向き又は前記第２の撮影装置の位置を変えることにより前記撮影範囲を変更することを特徴とする請求項９又は１０に記載の移動体追跡システム。
12. 前記変更手段は、前記他の撮影装置から受信した前記他の撮影装置の位置、移動体の進行方向、及び他の撮影装置と移動体との間の距離を基に、自己の撮影装置が撮影する向き又は自己の撮影装置の位置を更に変えることにより前記撮影範囲を変更することを特徴とする請求項１乃至１０の何れか１項に記載の移動体追跡システム。
13. 前記複数の撮影装置は第１及び第２の撮影装置を含み、
    前記第１の撮影装置は、移動体を認識したときには前記第１の撮影装置の識別子、前記第１の撮影装置の位置、移動体の進行方向、前記第１の撮影装置と移動体との間の距離、及び移動体の特徴を前記第２の撮影装置に送信し、
    前記第２の撮影装置は、前記第１の撮影装置から受信した情報を基に前記第１の撮影装置が認識した移動体と前記第２の撮影装置が認識した移動体が同一か否かを判断し、同一であれば移動体の撮影状況を前記第１の撮影装置に送信し、
    前記第１の撮影装置は、前記第１の撮影装置の移動体の撮影状況と前記第２の撮影装置の移動体の撮影状況とを比較することを特徴とする請求項１乃至１２の何れか１項に記載の移動体追跡システム。
14. 前記第１の撮影装置は、前記第２の撮影装置から受信した前記移動体の撮影状況と前記第１の撮影装置の移動体の撮影状況とを比較し、その比較結果に応じて撮影を継続することを特徴とする請求項１３記載の移動体追跡システム。
15. 前記移動体の撮影状況は、移動体が正面で撮影されているか否か、移動体の画角内のサイズ又は障害物の有無に応じた移動体の撮影評価値であることを特徴とする請求項１３又は１４に記載の移動体追跡システム。
16. 前記変更手段は、パン、チルト、ズームをすることにより撮影範囲を変える、又は自己の撮影装置の歩行、走行又は飛行により位置を変えることを特徴とする請求項７記載の移動体追跡システム。
17. 前記通信手段は、無線通信を行うことを特徴とする請求項１乃至１６の何れか１項に記載の移動体追跡システム。
18. 移動体を撮影して認識するための撮影手段と、
    前記撮影手段の撮影範囲を変更するための変更手段と、
    自己の撮影装置の位置を取得するための位置取得手段と、
    自己の撮影装置と移動体との間の距離を取得するための距離取得手段と、
    自己の撮影装置の識別子、自己の撮影装置の位置、移動体の進行方向、及び自己の撮影装置と移動体との間の距離を他の撮影装置に送信し、他の撮影装置の識別子、他の撮影装置の位置、移動体の進行方向、及び他の撮影装置と移動体との間の距離を他の撮影装置から受信するための通信手段と、
    自己の取得する情報と、他の撮影装置から受信した情報に基づいて、自己の撮影装置が移動するか否かを判断する判断手段と
    を有し、
    前記変更手段は、
    自己の撮影装置が移動すると判断した場合に、自己の撮影装置の位置、移動体の進行方向に基づいて、自己の撮影装置が移動する目的地を設定する設定手段と、
    前記設定された目的地に移動する移動手段とを有することを特徴とする撮影装置。
19. 移動体を撮影して認識する撮影ステップと、
    撮影範囲を変更する変更ステップと、
    自己の撮影装置の位置を取得する位置取得ステップと、
    自己の撮影装置と移動体との間の距離を取得する距離取得ステップと、
    自己の撮影装置の識別子、自己の撮影装置の位置、移動体の進行方向、及び自己の撮影装置と移動体との間の距離を他の撮影装置に送信する通信ステップと、
    自己の取得する情報と、他の撮影装置から受信した情報に基づいて、自己の撮影装置が移動するか否かを判断する判断ステップと
    を有し、
    前記変更ステップは、
    自己の撮影装置が移動すると判断した場合に、自己の撮影装置の位置、移動体の進行方向に基づいて、自己の撮影装置が移動する目的地を設定する設定ステップと、
    前記設定された目的地に移動する移動ステップと
    を有することを特徴とする撮影方法。

Images