JP4345692B2 - 情報処理システム、情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理装置および方法、並びにプログラムに関し、特に、所定の領域を撮影するとともに、その領域内の動体を正確に撮影できるようにした情報処理システム、情報処理装置および方法、並びにプログラムに関する。

近年、例えば、自動預払機（ATM）を設置している銀行、駐車場、家屋などにおいて、セキュリティの確保のために多地点カメラ監視システム（Multi Camera system）が採用されていることが多い。

このような多地点カメラ監視システムは、複数のビデオカメラと、それらのビデオカメラから取得された画像を記録する記録装置とから構成される。多地点カメラ監視システムにおいては、複数の画像を縮小および合成し、１フレーム画像とする技術が提案されている(例えば、特許文献１参照)。また、複数のビデオカメラからの画像を集めてビデオテープ等の記録媒体に記録することも提案されている（例えば、特許文献２参照）。

図１は、従来の多地点カメラ監視システムの一例を示す外観図である。

図１の多地点カメラ監視システム１は、４台のカメラ１１−１乃至１１−４から構成される。カメラ１１−１乃至１１−４は、撮影方向が固定の固定カメラまたは撮影方向が可変のパンチルトズームカメラである。カメラ１１−１乃至１１−４は、例えば、駐車場内の直径４０ｍの円状の広範囲な領域２１を監視している。

図２は、図１の多地点カメラ監視システム１の構成の一例を示している。

図２のカメラ１１−１乃至１１−４は撮影を行う。カメラ１１−１乃至１１−４は、それぞれ、記録装置４１に接続され、撮影の結果得られる画像のアナログ信号を記録装置４１に供給する。記録装置４１は、カメラ１１−１乃至１１−４から供給される画像のアナログ信号をA/D変換するなどして、その結果得られる画像のデジタル信号である画像データを記録する。また、記録装置４１は、表示装置４２に接続され、画像データに対応する画像を表示装置４２に表示させる。

しかしながら、図２の多地点カメラ監視システム１では、記録装置４１に接続可能なカメラ１１−１乃至１１−４が有限であり、多地点カメラ監視システム１の拡張性に乏しい。

図３は、図１の多地点カメラ監視システム１の構成の他の一例を示している。

図３のカメラ１１−１乃至１１−４は、それぞれネットワーク５１を介して、パーソナルコンピュータ（ＰＣ）５２と接続されている。カメラ１１−１乃至１１−４は、撮影を行い、その結果得られる画像データを、ＩＰ（Internet Protocol）に準拠してネットワーク５１を介してＰＣ５２に送信する。ＰＣ５２は、その画像データを記録したり、画像データに対応する画像を表示させる。

次に、図４を参照して、図２の記録装置４１またはＰＣ５２に記録される画像データを説明する。

図４に示すように、記録装置４１またはＰＣ５２では、カメラ１１−１乃至１１−４で得られる画像データがすべて記録される。従って、多地点カメラ監視システム１で監視を行う場合、画像データが所定の圧縮方式で圧縮された場合であっても、記録装置４１またはＰＣ５２に記録される画像データの容量は非常に大きくなる。

例えば、所定の条件（50KB/フレーム，10フレーム/秒）で、JPEG（Joint Photographic Experts Group）方式にしたがって圧縮した画像データを２４時間記録する場合、４台のカメラ１１−１乃至１１−４から構成される多地点カメラ監視システム１では、記録装置４１またはＰＣ５２に記録される画像データの容量は、約164GBとなる。また、多地点カメラ監視システム１が、８台のカメラから構成される場合、その容量は約328GBとなり、１６台のカメラから構成される場合、その容量は約656GBとなる。

以上のように、多地点カメラ監視システム１では、領域２１を監視するために４台のカメラ１１−１乃至１１−４が必要であり、設置が面倒なうえ、多地点カメラ監視システム１のコストが大きくなる。さらに、高精細な画像を取得する場合、撮影倍率を上げて撮影する必要があるため、より多くのカメラ１１−１乃至１１−４が必要となる。また、高精細な画像を取得するために、カメラ１１−１乃至１１−４の台数を増やさない場合は、すべての領域２１について高精細な画像を取得することが困難であるため、オペレータが常時通常の画像を監視して、所望の領域を指定し、その領域の高精細な画像を取得する必要がある。

そこで、撮影方向を順にシフトさせながら、被写体を撮影し、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、１台のカメラで広範囲の状況を監視することができる監視カメラがある。

特開平１０−１０８１６３号広報 特開２０００−２４３０６２号広報

しかしながら、このような監視カメラは、1枚の全体画像を生成するために、これを構成する全ての単位画像を取得する必要があり、１枚の全体画像を生成するために多くの時間を要する。従って、撮影範囲内において短時間に生じた僅かな状況変化をもれなく捉えることが困難である。

即ち、移動速度の速い動体（移動被写体）が撮影され、全体画像として取得されてから、次に全体画像が取得されるまでの間に、動体が撮影範囲外に移動してしまうことがある。

また、実際には、監視カメラが、動体を撮影する位置に移動するまでの間の画像をも撮影することになるため、再生時には、監視カメラが動体を捕らえている画像よりも、動体を撮影できる位置までの移動中の画像（パンチルトズームといった処理が実行されている間の画像）が増えてしまい、快適に見ることができない画像が再生されてしまうという課題があった。

本発明は、このような状況に鑑みてなされたものであり、特に、所定の領域を撮影するとともに、その領域内の動体を正確に撮影できるようにするものである。

本発明の情報処理システムは、所定の領域を撮影する領域撮影手段と、領域撮影手段により撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知手段と、検知手段により検知された動体を撮影する動体撮影手段と、検知手段により検知された動体毎の画角を計算する計算手段と、計算手段により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納手段と、画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、動体撮影手段の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御手段と、第１の動体撮影制御手段により動体撮影手段の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、第１の動体撮影制御手段よりも十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、動体撮影手段の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御手段とを備えることを特徴とする。

本発明の情報処理装置は、所定の領域が撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知手段と、検知手段により検知された動体毎の画角を計算する計算手段と、計算手段により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納手段と、画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角の情報に基づいて、動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御手段と、第１の動体撮影制御手段により動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、第１の動体撮影制御手段よりも十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御手段とを備えることを特徴とする。

前記画角情報格納手段に格納された少なくとも１以上の動体のそれぞれの画角の情報に、所定の条件に基づいて、優先順位を設定する優先順位設定手段をさらに設けるようにさせることができ、第１の動体撮影制御手段には、画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうち、優先順位設定手段により設定された優先度の高い順に１の動体を選択し、選択した動体の画角の情報に基づいて、動体の撮影を制御させるようにすることができる。

前記所定の条件には、動体の動いた時刻、動体の領域画像中の位置、動体の領域画像中のサイズ、または動体の縦横の比率を含ませるようにすることができる。

前記１の動体の撮影は、１の動体の画角の情報に基づいて、第１の動体撮影制御手段により制御された後に開始させるようにすることができる。

本発明の情報処理方法は、所定の領域が撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知ステップと、検知ステップの処理により検知された動体毎の画角を計算する計算ステップと、計算ステップの処理により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納ステップと、画角情報格納ステップの処理に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御ステップと、第１の動体撮影制御ステップの処理により動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、第１の動体撮影制御手段よりも十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御ステップとを含むことを特徴とする。

本発明のプログラムは、所定の領域が撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知ステップと、検知ステップの処理により検知された動体毎の画角を計算する計算ステップと、計算ステップの処理により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納ステップと、画角情報格納ステップの処理に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御ステップと、第１の動体撮影制御ステップの処理により動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、第１の動体撮影制御ステップの処理よりも十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御ステップとを含む処理をコンピュータ実行させることを特徴とする。

本発明の情報処理システムにおいては、所定の領域が撮影され、撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体が検知され、検知された動体が撮影され、検知された動体毎の画角が計算され、計算された少なくとも１以上の動体のそれぞれの画角の情報が格納され、格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、撮影における水平方向の位置、垂直方向の位置、および望遠倍率が制御され、撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、撮影における水平方向の位置および垂直方向の位置が繰り返し制御される。

本発明の情報処理装置および方法、並びにプログラムにおいては、所定の領域が撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体が検知され、検知された動体毎の画角が計算され、計算された少なくとも１以上の動体のそれぞれの画角の情報が格納され、格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率が制御され、１の動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、１の動体の撮影における水平方向の位置および垂直方向の位置が繰り返し制御される。

本発明の情報処理装置は、独立した装置であっても良いし、情報処理を行うブロックであっても良い。

本発明によれば、特に、撮影領域内に動体を正確に撮影することが可能となる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

従って、本発明の情報処理システムは、所定の領域を撮影する領域撮影手段（例えば、図８のセンサカメラ１２１）と、領域撮影手段により撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知手段（例えば、図８の動体検知モジュール３０３）と、検知手段により検知された動体を撮影する動体撮影手段と、検知手段により検知された動体毎の画角を計算する計算手段（例えば、図８の計算部３０２ａ）と、計算手段により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納手段（例えば、図８の動体追跡順管理ＤＢ３０４）と、画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、動体撮影手段の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御手段（例えば、図８の追跡対象パンチルトズームモジュール３０５）と、第１の動体撮影制御手段により動体撮影手段の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、第１の動体撮影制御手段よりも十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、動体撮影手段の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御手段（例えば、図８の追加追跡対象パンチルトモジュール３０６）とを備えることを特徴とする。

本発明の情報処理装置は、所定の領域が撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知手段（例えば、図８の動体検知モジュール３０３）と、検知手段により検知された動体毎の画角を計算する計算手段（例えば、図８の計算部３０２ａ）と、計算手段により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納手段（例えば、図８の動体追跡順管理ＤＢ３０４）と、画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御手段（例えば、図８の追跡対象パンチルトズームモジュール３０５）と、第１の動体撮影制御手段により動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、第１の動体撮影制御手段よりも十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御手段（例えば、図８の追加追跡対象パンチルトモジュール３０６）とを備えることを特徴とする。

前記画角情報格納手段に格納された少なくとも１以上の動体のそれぞれの画角の情報に、所定の条件に基づいて、優先順位を設定する優先順位設定手段（例えば、図８の順位決定部３０２ｂ）をさらに設けるようにさせることができ、第１の動体撮影制御手段には、画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうち、優先順位設定手段により設定された優先度の高い順に１の動体を選択し、選択した動体の画角の情報に基づいて、動体の撮影を制御させるようにすることができる。

本発明の情報処理方法は、所定の領域が撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知ステップ（例えば、図１２のフローチャートにおけるステップＳ４１の処理）と、検知ステップの処理により検知された動体毎の画角を計算する計算ステップ（例えば、図１１のフローチャートにおけるステップＳ２３の処理）と、計算ステップの処理により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納ステップ（例えば、図１１のフローチャートにおけるステップＳ２５の処理）と、画角情報格納ステップの処理に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御ステップ（例えば、図１３のフローチャートにおけるステップＳ６４，Ｓ６８の処理）と、第１の動体撮影制御ステップの処理により動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、第１の動体撮影制御ステップの処理よりも十分短い所定の時間間隔で所定回数だけ、１の動体の最新の画角の情報に基づいて、動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御ステップ（例えば、図１４のフローチャートにおけるステップＳ８４の処理）とを含むことを特徴とする。

尚、プログラムについては、情報処理方法と同様であるので、その説明は省略する。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図５は、本発明を適用した監視システム１０１の一実施の形態の構成を示している。

図５の監視システム１０１は、カメラユニット１１１から構成される。カメラユニット１１１は、広範囲な領域を撮影するセンサカメラ１２１（後述する図６）と、所定の動体をズーム(拡大)して撮影するズームカメラ１２２とから構成される。センサカメラ１２１が広範囲な領域を撮影し、その結果得られるセンサ画像１２１（後述する図６）から検知される動体を、ズームカメラ１２２がズームして撮影する。これにより、監視システム１０１では、例えば、駐車場内に監視システムを設ける場合、駐車場内の直径約４０ｍの円状の広範囲な領域２１を監視することができる。

その結果、図１に示した多地点カメラ監視システム１に比べて、カメラの台数が少なくて済み、設置が容易であり、コストも削減することができる。

もちろん、図５の監視システム１０１の構成は一例に過ぎず、例えば、ズームカメラ１２２の拡大率などを向上させて、これ以上の範囲を監視するようにしても良いし、また、ズームカメラ１２２だけを増やすようにして、より精細な画像を取得できるようにしても良いことは言うまでもない。

図６は、監視システム１０１の構成例を示している。

図６の監視システム１０１は、センサカメラ１２１とズームカメラ１２２からなるカメラユニット１１１、ネットワーク１３１、およびクライアントPC１３２から構成され、センサカメラ１２１により取得されるセンサ画像１５１と、ズームカメラ１２２による撮影の結果得られるズーム画像１５２を、ネットワーク１３１を介してクライアントPC１３２に記録したり、その記録したセンサ画像１５１とズーム画像１５２を、クライアントPC１３２により再生する。

カメラユニット１１１のセンサカメラ１２１は、パンチルト部１２１Ａとカメラ部１２１Ｂとが一体的に構成されている。パンチルト部１２１Ａは、例えば、パン(水平方向
）とチルト（垂直方向）の２軸について撮影方向を自在に変更するための回転台として構成される。カメラ部１２１Ｂは、パンチルト部１２１Ａを構成する回転台上に配設され、クライアントPC１３２の制御にしたがって、パンチルト部１２１Ａを制御し、撮影方向の水平方向または垂直方向を調整しつつ、撮影画角を変更することにより、撮影倍率を拡大または縮小して広範囲の領域（の被写体）を動画像として撮影する。具体的には、例えば、カメラ部１２１Ｂは、撮影方向を順にシフトさせながら、被写体を撮影することにより、複数の単位画像を取得し、その複数の単位画像から構成されるパノラマ状の画像をセンサ画像１５１とする。従って、センサカメラ１２１は、全方位を撮影できるような撮影機能を備えているものであればよく、例えば、パノラマカメラなどにより代用させることができる。

カメラ部１２１Ｂは、撮影の結果得られるセンサ画像１５１をネットワーク１３１を介してクライアントPC１３２に供給する。図６では、センサカメラ１２１は、動体１６１，１６２を含む広範囲な領域を撮影し、動体１６１，１６２が含まれるセンサ画像１５１を取得している。

ズームカメラ１２２は、センサカメラ１２１と同様に、パンチルト部１２２Ａとカメラ部１２２Ｂとが一体的に構成されている。パンチルト部１２２Ａは、パンチルト部１２１Ａと同様に、例えば、パンとチルトの２軸について撮影方向を自在に変更するための回転台として構成される。カメラ部１２２Ｂは、パンチルト部１２１Ａを構成する回転台上に配設され、クライアントPC１３２の制御にしたがって、パンチルト部１２２Ａを制御し、撮影方向の水平方向または垂直方向を調整しつつ、撮影画角を変更することにより、撮影倍率を拡大または縮小して、所定の動体を動画像としてズーム撮影する。

クライアントPC１３２は、センサカメラ１２１から供給されるセンサ画像１５１に含まれる動体１６１，１６２を検知し、動体１６１または動体１６２を囲む所定の領域（例えば、四角形の領域）を、それぞれ動体枠１７１または動体枠１７２として決定する。

クライアントPC１３２は、例えば、動体枠１７２の４つの頂点Ａ乃至Ｄ（上述した四角形の動体枠の各頂点Ａ乃至Ｄ）のセンサ画像１５１上のＸ軸（図中水平方向の軸）とＹ軸（図中垂直方向の軸）における座標をズームカメラ１２２に供給する。ズームカメラ１２２は、その座標に基づいて、動体１６２（の動体枠１７２）をズーム撮影し、ズーム画像１５２を取得する。なお、以下では、センサ画像１５１とズーム画像１５２は、フレーム単位で取得されるものとする。ズームカメラ１２２は、ズーム画像１５２をネットワーク１３１を介してクライアントPC１３２に供給する。

ネットワーク１３１は、例えば、クライアントPC１３２と電話回線を介して接続されるインターネット網や、TA(Terminal Adapter)やモデムと接続されるISDN(Integrated Services Digital Network)/B(broadband)−ISDN、LAN(Local Area Network)等であり、データの双方向通信を可能とした通信網である。

クライアントPC１３２は、例えば、パーソナルコンピュータなどからなり、ネットワーク１３１を介して、センサカメラ１２１とズームカメラ１２２を制御する。また、クライアントPC１３２は、センサカメラ１２１からのセンサ画像１５１とズームカメラ１２２からのズーム画像１５２を記録したり、記録したセンサ画像１５１やズーム画像１５２を再生して表示させる。

図７は、図６のクライアントPC１３２の構成例を示すブロック図である。

図６に示されるように、CPU(Central Processing Unit)２０１は、バス２０４を介して、ROM（Read Only Memory）２０２およびRAM（Random Access Memory）２０３に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

CPU２０１は、ROM２０２に記憶されているプログラム、またはRAM２０３に記憶されているプログラムにしたがって、各種の処理を実行する。ROM２０２は、各種のプログラムなどを記憶している。RAM２０３には、通信部２０９を介して取得したプログラムが記憶される。また、RAM２０３には、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

入出力インタフェース２０５には、キーボードや、マウス、マイク等で構成される入力部２０６、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０７、ハードディスクなどにより構成される記憶部２０８、ＴＡ、モデムなどより構成される通信部２０９が接続されている。通信部２０９は、図６のネットワーク１３１に接続されており、ネットワーク１３１を介して、センサカメラ１２１およびズームカメラ１２２と通信を行う。

入出力インタフェース２０５にはまた、必要に応じて、ドライブ２１０が適宜装着され、ドライブ２１０に装着されたリムーバブルメディア２１１からプログラムが読み出されて記憶部２０８にインストールされる。CPU２０１は、記憶部２０８にインストールされたプログラムを、例えばRAM２０３にロードして実行する。

図８は、図６のクライアントPC１３２の機能的構成例を示すブロック図である。

なお、図８のクライアントPC１３２のセンサ画像取得モジュール３０１、撮影画角計算モジュール３０２、動体検知モジュール３０３、追跡対象パンチルトズームモジュール３０５、追加追跡対象パンチルトモジュール３０６、ズーム画像取得モジュール３０７、表示結果モジュール３０８、および計時モジュール３０９は、例えば、図７のCPU２０１により実行されるプログラムモジュールである。また、動体追跡順管理ＤＢ３０４は、例えば、図７の記憶部２０８に対応する。

さらに、図８の各ブロックで示されるモジュールは、いずれも、単独の機能を備えたハードウェア（例えば、チップセット）として捉えても良いものである。すなわち、図８は、ソフトウェア機能ブロック図と捉えても良いし、各モジュール毎に機能を備えたハードウェアブロック図と捉えても良いものである。

センサ画像取得モジュール３０１には、ユーザの操作に応じて、入力部２０６からセンサ画像１５１の取得の指令が供給され、その指令に応じて、センサカメラ１２１を制御する。センサカメラ１２１は、センサ画像取得モジュール３０１の制御により、広範囲な領域２１を撮影し、その結果得られるセンサ画像１５１と自分自身を表すセンサカメラ１２１に固有のＩＤ（以下、カメラＩＤという）をセンサ画像取得モジュール３０１に供給する。また、センサ画像取得モジュール３０１は、センサカメラ１２１からのセンサ画像１５１を撮影画角計算モジュール３０２および結果表示モジュール３０８に供給する。

撮影画角計算モジュール３０２は、センサ画像取得モジュール３０１より供給されたセンサ画像１５１を動体検知モジュール３０３に供給し、センサ画像１５１に撮影されている動体の位置と大きさを計算させ、供給させる。

撮影画角計算モジュール３０２の計算部３０２ａは、動体検知モジュール３０３からの情報に基づいて、動体の発生を検知したセンサ画像１５１のフレームの、先頭のフレームからの位置を、その動体に対応するセンサ画像１５１を再生するときの再生開始位置として認識する。さらに、撮影画角計算モジュール３０２は、発生を検知した動体を捉えている、例えば、四角形の動体枠１７２（１７１）を決定し、その動体枠１７２の頂点Ａ乃至Ｄの座標を、動体の発生位置（画角）として計算すると共に、各発生位置に対して画角ＩＤを付与する。また、撮影画角計算モジュール３０２は、計時モジュール３０９から供給される現在の日時を表す日時情報に基づいて、動体の発生日時、消滅日時、発生位置、画角ＩＤ、再生開始位置、およびセンサカメラ１２１から供給されるカメラＩＤから構成される動体情報を生成する。さらに、順位決定部３０２ｂは、動体追跡順管理ＤＢ３０４を読み出して、今生成した情報を含めて、動体追跡順位を決定して動体追跡順管理ＤＢ３０４に登録する（それまでに動体情報がある場合、それまでの動体情報を含めて順序を並べ替えて更新する）。

追跡対象パンチルトズームモジュール３０５は、所定の時間間隔で動体追跡順管理ＤＢ３０４の情報に基づいて、ズームカメラ１２２のパンチルトズームを制御し、未撮影の動体のうち、最も追跡順位の早い画角ＩＤを選択し、選択した発生位置情報に対応する画角で動体をズーム撮影させ、撮影した画像をズーム画像取得モジュール３０７に供給させる処理を繰り返す。

追加追跡対象パンチルトモジュール３０６は、追跡対象パンチルトズームモジュール３０５によりズームカメラ１２２が制御され、撮影が開始された後、追跡対象パンチルトズームモジュール３０５よりも十分に短い所定の時間間隔で、追跡対象パンチルトズームモジュール３０５により選択された画角ＩＤに対応する最新の発生位置情報を取得し、取得した発生位置情報に対応する画角で動体をズーム撮影させるようにズームカメラ１２２を制御し、撮影した画像をズーム画像取得モジュール３０７に供給させる処理を繰り返す。

すなわち、追跡対象パンチルトズームモジュール３０６が、１個の画角ＩＤに対して、１個の画角で（１個の画角ＩＤに対して１回だけ）ズームカメラ１２２のパンチルトズームを制御するのに対して、追加追跡対象パンチルトモジュール３０６は、１個の画角ＩＤに対して、追跡対象パンチルトズームモジュール３０６よりも十分に短い時間間隔で複数個の画角についてズームカメラ１２２のパンチルトを制御する。

ズーム画像取得モジュール３０７は、追跡対象パンチルトズームモジュール３０５および追加追跡対象パンチルトモジュール３０６によりオンオフが制御され、ズームカメラ１２２より供給されるズーム画像を取得し、結果表示モジュール３０８に供給する。

結果表示モジュール３０８は、ズーム画像取得モジュール３０７より供給されてくるズーム画像と、センサ画像取得モジュール３０１より供給されてくるセンサ画像とを取得し、図示せぬディスプレイなどに再生する。

計時モジュール３０９は、現在の日時を計時し、その日時を表す日時情報を、センサ画像取得モジュール３０１、追跡対象パンチルトモズームジュール３０５、および追加追跡対象パンチルトモジュール３０６に供給する。

次に、図９を参照して、図８の動体追跡順管理ＤＢ３０４に登録される動体情報について説明する。

図９に示すように、動体追跡順管理ＤＢ３０４は、（追跡）順位、動体の発生日時、消滅日時、発生位置、画角ＩＤ、再生開始位置、およびカメラＩＤから構成される。動体追跡順管理ＤＢ３０４には、管理時間帯ごとにファイルが作成される。なお、以下では、管理時間帯は、日にちごとに、１日を９時から順に１時間単位で区切ったものであるものとするが、管理時間帯の区切り方はこれに限定されない。

また、図９では、動体追跡順管理ＤＢ３０４の２００４年１月１０日の１０時から１１時という管理時間帯のファイルに登録される動体追跡順管理情報の例を示している。図９に示すように、撮影画角計算モジュール３０２は、２００４年１月１０日の１０時に発生を検知して画角ＩＤ「１」を付与した動体の消滅を同日の１１時に検知する。また、撮影画角計算モジュール３０２は、画角ＩＤが「１」の動体の動体枠（例えば、図６の動体枠１７１や１７２）を決定し、その頂点Ａ乃至Ｄの座標である（１，２）、（１，５）、（２，５）、（２，２）を発生位置として認識している。

さらに、画角ＩＤが「１」の動体の発生が検知されたセンサ画像１５１のフレームは、先頭から１番目のフレームであるフレーム＃１であり、撮影画角計算モジュール３０２は、フレーム＃１を再生開始位置として認識する。なお、以下では、先頭からｌ番目のフレームをフレーム＃ｌという。また、撮影画角計算モジュール３０２は、画角ＩＤが「１」の動体の発生が検知されたセンサ画像１５１を取得したセンサカメラ１２１のカメラＩＤとして、「１」が供給されている。

また、撮影画角計算モジュール３０２は、２００４年１月１０日１０時５分に発生を検知した画角ＩＤ「２」が付与された動体の消滅を、同日の１０時３０分に検知する。撮影画角計算モジュール３０２は、画角ＩＤが「２」の動体の動体枠（例えば、図６の動体枠１７１や１７２）を決定し、その動体枠の頂点Ａ乃至Ｄの座標である（３，５）、（３，９）、（５，９）、（５，５）を発生位置として認識する。

さらに、画角ＩＤが「２」の動体の発生が検知されたセンサ画像１５１のフレームは、フレーム＃２であり、撮影画角計算モジュール３０２は、フレーム＃２を再生開始位置として認識する。また、センサ画像取得モジュール３０１には、画角ＩＤが「２」の動体の発生が検知されたセンサ画像１５１を取得したセンサカメラ１２１のカメラＩＤとして、「１」が供給されている。

さらに、図９においては、画角ＩＤ＝１の動体が、順位決定部３０２ｂにより追跡順位が１位で設定され、画角ＩＤ＝２の動体は、追跡順位が２位に設定されている。

尚、順位決定部３０２ｂは、動体の動いた時刻の前後関係、動体のセンサ画像中の画角の位置（例えば、センサ画像中の上に表示されるものを優先するなど）、動体のセンサ画像中のサイズ（例えば、センサ画像中の上に表示される動体の大きさのうち大きいものを優先するなど）、または動体の縦横の比率といった優先条件に応じて順位を決定する。

すなわち、様々な条件の優先順位にしたがって配置することで、優先的に捉えたい動体を発見し易くすることが可能となる。

例えば、センサ画像中の高い位置にある動体を優先させることで、室内の比較的低い位置(2乃至3m)にカメラを設置した場合、人間の顔は高い位置（上の方）にあるので、人間の顔を捉え易くすることが可能となる。

また、センサ画像中の低い位置にある動体を優先させることで、例えば、屋外のビルの上など、高い位置(10m以上)にカメラを設置した場合、空や、ビルの高いところよりも比較的近くの人間・車などの動きを捉えることが可能となる。

さらに、センサ画像中のサイズの大きい動体を優先させることで、例えば、遠くの動体よりも、近くの動体（近いと、センサカメラ１２２で捉える画像が大きくなる）を優先的に捉えることが可能となる。

また、センサ画像中のサイズが動体を優先させることで、近くの動体の動きよりも、遠くの人間や車などの動きを優先して捉えることが可能となる。

さらに、センサ画像中の縦長の動体を優先させることで、人間を捉えやすくすることが可能となる。すなわち、人間が歩いていて全身が見えている場合、センサカメラ１２２のセンサ画像では、縦長の動体として人間が捉え易くなる。

次に、図１０を参照して、図８のセンサ画像取得モジュール３０１によるセンサ画像取得処理を説明する。このセンサ画像取得処理は、例えば、ユーザが入力部２０６を操作することにより、センサ画像１５１の取得を指令したときに操作される。

ステップＳ１において、センサ画像取得モジュール３０１は、センサカメラ１２１にセンサ画像１５１の取得を要求する。センサカメラ１２１のカメラ部１２２Ａは、パンチルト部１２１Ａを制御し、撮影方向の水平方向または垂直方向を調整しつつ、所定の撮影倍率で広範囲の領域を動画像として撮影する。センサカメラ１２１は、センサ画像取得モジュール３０１からの要求に応じて、センサ画像１５１と、自分自身のカメラＩＤとを、センサ画像取得モジュール３０１に供給する。

ステップＳ１の処理後は、ステップＳ２に進み、センサ画像取得モジュール３０１は、センサカメラ１２１からセンサ画像とカメラＩＤとを取得して、ステップＳ３に進む。ステップＳ３において、センサ画像取得モジュール３０１は、動体検知モジュール３０３に、センサカメラ１２１からのセンサ画像１５１とカメラＩＤを入力し、ステップＳ４に進む。

ステップＳ４において、センサ画像取得モジュール３０１は、センサカメラ１２１のクライアント返却用バッファを更新し、ステップＳ５に進む。ステップＳ５において、センサ画像取得モジュール３０１は、入力部２０６からセンサ画像１５１とズーム画像１５２の取得の終了が要求されたかどうか、即ちユーザが入力部２０６を操作することにより停止が指示されたか否かを判定し、終了が要求されていないと判定した場合、ステップＳ１に戻り、上述した処理を繰り返す。

一方、ステップＳ５において、入力部２０６から終了が要求されたと判定された場合、処理は終了する。

次に、図１１を参照して、撮影画角計算モジュール３０２による撮影画角計算処理について説明する。

ステップＳ２１において、撮影画角計算モジュール３０２は、センサ画像取得モジュール３０１より供給されたセンサ画像を動体検知モジュール３０３に供給する。

このとき、動体検知モジュール３０３は、動体検知処理を実行する。

ここで、図１２のフローチャートを参照して、動体検知モジュール３０３による動体検知処理について説明する。

ステップＳ４１において、動体検知モジュール３０３は、入力されたセンサ画像を元に動体の位置と大きさを算出する。

ステップＳ４２において、動体検知モジュール３０３は、入力されたセンサ画像に基づいて算出した動体の位置と大きさの情報を、呼び出し先である撮影画角計算モジュール３０２に返却する。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ２２において、撮影画角計算モジュール３０２は、動体検知モジュール３０３より供給されてくる全ての動体の位置と大きさの情報を受け取る。

ステップＳ２３において、撮影画角計算モジュール３０２は、計算部３０２ａに動体の位置と大きさの情報に基づいて、動体毎の画角、すなわち、動体毎の動体枠（例えば、図６の動体枠１７１や１７２）の頂点Ａ乃至Ｄの座標を、動体の発生位置（画角）として計算させる。このとき、計算部３０２ａは、センサ画像の中に統合可能な複数の動体については、１の画角を求めるようにしたり、動体追跡順管理ＤＢ３０４に予め登録されている画角ＩＤに対応する動体の画角を求める場合には、登録済みの画角ＩＤを引き継ぐようにして各動体ごとの画角を計算する。

ステップＳ２４において、撮影画角計算モジュール３０２は、動体追跡順管理ＤＢ３０４の情報を読み出し、順位決定部３０２ｂを制御して、今回計算して求められた画角を含めて、追跡順位を決定させる。尚、この追跡順位については、上述したように、予め優先される動体の特徴について設定することが可能であり、動体の動いた時刻の前後関係、動体のセンサ画像中の画角の位置、動体のセンサ画像中のサイズ、または動体の縦横の比率といった条件に適合するように追跡順位が決定される。

ステップＳ２５において、撮影画角計算モジュール３０２は、計算された各動体枠の４の画角を設定する座標に対して、動体の発生位置として画角ＩＤを付与すると共に、計時モジュール３０９から供給される現在の日時を表す日時情報に基づいて、動体の発生日時、消滅日時、発生位置、画角ＩＤ、再生開始位置、およびセンサカメラ１２１から供給されるカメラＩＤから構成される動体情報を生成して、動体追跡順管理ＤＢ３０４に保存させる（既に、蓄積されている場合は、更新する）。

上述したセンサ画像取得モジュール３０１、撮影画角計算モジュール３０２、および動体検知モジュール３０３によるセンサ画像取得処理、撮影画角計算処理、および動体検知処理が、所定の時間間隔で繰り返されることにより、動体追跡順管理ＤＢ３０４には、常に最新の動体情報が蓄積されることになる。尚、センサ画像取得処理、撮影画角計算処理、および動体検知処理が繰り返される所定の時間間隔は、後述する追跡対象パンチルトズーム処理、および追加追跡対象パンチルト処理より短時間で繰り返されることが望ましい。

次に、図１３のフローチャートを参照して、追加対象パンチルトズームモジュール３０５による追加対象パンチルトズーム処理について説明する。

ステップＳ６１において、追跡対象パンチルトズームモジュール３０５は、追跡対象順管理ＤＢ３０４に記憶されている動体情報を読み出し、ステップＳ６２において、動体が存在するか否かを判定する。すなわち、例えば、動体情報のうち、消滅時刻が設定されている画角ＩＤに対応する動体は、センサ画像内に存在しないことになる。このため、動体情報における全ての画角ＩＤの消滅時刻が設定されていた場合、動体が存在しないと判定されることになり、その処理は、ステップＳ７０に進む。

一方、いずれかの画角ＩＤに対応する消滅時刻が設定されていない場合、動体が存在すると判定され、その処理は、ステップＳ６３に進む。

ステップＳ６３において、追跡対象パンチルトズームモジュール３０５は、動体情報のうち、優先順位の最も高い未処理の画角ＩＤに対応する、画角の情報である発生位置の情報に基づいて、ズームカメラ１２２のパンチルトする位置、すなわち、ズームカメラ１２２を制御するための垂直方向の仰角および水平方向の俯角のそれぞれの値（パンチルト値）を計算する。

ステップＳ６４において、追跡対象パンチルトズームモジュール３０５は、ステップＳ６３の処理で求められたパンチルト値に基づいて、ズームカメラ１２２を制御し、パンチルトを要求する。このとき、ズームカメラ１２２のカメラ部１２２Ｂは、その要求に応じて、パンチルト部１２２Ａを制御し、求められた仰角と俯角に設定する。

ステップＳ６５において、追跡対象パンチルトズームモジュール３０５は、ズーム画像取得モジュール３０７の画像更新フラグをONに設定させる。すなわち、ズーム画像取得モジュール３０７は、この処理によりズームカメラ１２２からの画像が取得できる状態となる。

ステップＳ６６において、追跡対象パンチルトズームモジュール３０５は、後述する追加追跡対象パンチルトモジュール３０６を起動させる。

ステップＳ６７において、追跡対象パンチルトズームモジュール３０５は、今現在自らが処理中の画角ＩＤを追加追跡対象パンチルトモジュール３０６に送信する。

ステップＳ６８において、追跡対象パンチルトズームモジュール３０５は、画角ＩＤの画角の情報である発生位置の情報に基づいて、倍率を計算し、ズームカメラ１２２にズーム命令を出す。

ステップＳ６９において、追跡対象パンチルトズームモジュール３０５は、終了が要求されたか否かを判定し、終了が要求されたと判定されていない場合、その処理は、ステップＳ７０に進む。

ステップＳ７０において、追跡対象パンチルトズームモジュール３０５は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで同様の処理を繰り返す。すなわち、所定の時間が経過するまで待機状態となる。そして、ステップＳ７０において、所定の時間が経過したと判定された場合、その処理は、ステップＳ６１に戻り、それ以降の処理が繰り返される。

一方、ステップＳ６９において、終了が指示されたと判定された場合、その処理は、終了する。

以上の処理により、所定の時間間隔で、動体の有無が検出され、動体が存在する限り、優先度の高い動体から順にパンチルト値が設定されて、ズームカメラ１２２により撮影することが可能となる。

次に、図１４のフローチャートを参照して、追加追跡対象パンチルトモジュール３０６による追加追跡対象パンチルト処理について説明する。

ステップＳ８１において、追加追跡対象パンチルトモジュール３０６は、追跡対象パンチルトズームモジュール３０５より起動命令があるか否かを判定し、起動命令があるまで、同様の処理を繰り返し、例えば、図１３のフローチャートにおけるステップＳ６６の処理により、起動命令が送られてきた場合、追加追跡対象パンチルトモジュール３０６は起動し、その処理は、ステップＳ８２に進む。尚、厳密には、追加追跡対象パンチルトモジュール３０６が、ＣＰＵ２０１により実行されるプログラムモジュールであるとすれば、追跡対象パンチルトズームモジュール３０５からの指示に基づいて、ＣＰＵ２０１が追加追跡パンチルトモジュール３０６を起動することになる。また、追加追跡対象パンチルトモジュール３０６がハードウェアにより構成されているモジュールである場合、その動作が開始される。

ステップＳ８２において、追加追跡対象パンチルトモジュール３０６は、例えば、ステップＳ６７の処理により送信されてくる、追跡対象パンチルトズームモジュール３０５より、今現在ズームカメラ１２２に指示している画角の画角ＩＤを取得する。

ステップＳ８３において、追加追跡対象パンチルトモジュール３０６は、追跡対象順管理ＤＢ３０４に記憶されている動体情報のうち、追跡対象パンチルトズームモジュール３０５より供給された画角ＩＤに対応する発生位置の情報を読み出す。

ステップＳ８４において、追加追跡対象パンチルトモジュール３０６は、読み出した画角ＩＤに対応する、画角の情報である発生位置の情報に基づいて、ズームカメラ１２２のパンチルトする位置、すなわち、ズームカメラ１２２を制御するための垂直方向の仰角および水平方向の俯角のそれぞれの値（パンチルト値）を計算する。

ステップＳ８５において、追加追跡対象パンチルトモジュール３０６は、ステップＳ８４の処理で求められたパンチルト値に基づいて、ズームカメラ１２２を制御し、パンチルトを要求する。このとき、ズームカメラ１２２のカメラ部１２２Ｂは、その要求に応じて、パンチルト部１２２Ａを制御し、求められた仰角と俯角に設定する。

ステップＳ８６において、追加追跡対象パンチルトモジュール３０６は、ステップＳ８２乃至Ｓ８５の処理を指定回数繰り返したか否かを判定し、繰り返していないと判定された場合、その処理は、ステップＳ８７に進む。

ステップＳ８７において、追加追跡対象パンチルトモジュール３０６は、所定の時間が経過したか否かを判定し、所定の時間が経過したと判定されるまで、その処理を繰り返す。そして、ステップＳ８７において、所定の時間が経過したと判定された場合、その処理は、ステップＳ８２に戻り、それ以降の処理が繰り返される。尚、ステップＳ８７の処理における所定の時間とは、図１３のフローチャートにおけるステップＳ７０の処理における所定の時間よりも十分に短い時間である。

一方、ステップＳ８６において、指定回数実行されたと判定された場合、ステップＳ８８において、追加追跡対象パンチルトモジュール３０６は、ズーム画像取得モジュール３０７の画像更新フラグをOFFに設定する。

さらに、ステップＳ８９において、追加追跡対象パンチルトモジュール３０６は、終了が要求されたか否かを判定し、終了が要求されていないと判定された場合、その処理は、ステップＳ８１に戻り、それ以降の処理が繰り返される。

一方、ステップＳ８９において、終了が要求されたと判定された場合、その処理、終了する。

以上の処理により、追跡対象パンチルトズームモジュール３０５により優先順位の高い動体の画角ＩＤに基づいた画角でズームカメラ１２２が設定された後も、短い時間の間隔で指定回数だけ動体の画角の変化に追従してズームカメラ１２２を制御することが可能となる。結果として、例えば、追跡対象パンチルトズームモジュール３０５により優先順位の高い動体の画角でズームカメラ１２２が、設定されて、実際にそのパンチルト状態に至るまでの時間に動体が移動してしまっても（例えば、ズームカメラ１２２が、自らを１８０°回転させることにより数秒間経過してしまって、動体がセンサカメラ１２１により捉えられていた位置とは異なる位置に移動してしまっているような状況になっても）、その後の短い時間間隔で、さらに最新の発生位置の情報に基づいて、ズームカメラ１２２のパンチルト値を更新して制御することが可能となるので、ズームが完了するまでの間に正確に動体を捉えることが可能となる。したがって、例えば、ズームをすることにより動体が動体枠から外れて撮影できないといった事態を回避することが可能となる。

次に、図１５のフローチャートを参照して、ズーム画像取得モジュール３０７によるズーム画像取得処理について説明する。

ステップＳ１０１において、ズーム画像取得モジュール３０７は、ズームカメラ１２２に対して画像取得を要求する。このとき、ズームカメラ１２２は、この要求に応じて画像を供給する。

この結果、ステップＳ１０２において、ズーム画像取得モジュール３０７は、ズームカメラ１２２から送信されてくる画像を取得する。

ステップＳ１０３において、ズーム画像取得モジュール３０７は、画像更新フラグがＯＮになっているか否かを判定し、例えば、画像更新フラグが、図１３のフローチャートにおけるステップＳ６５における処理により画像更新フラグがＯＮにされて、図１４のフローチャートにおけるステップＳ８８によりＯＦＦにされていない場合、画像更新フラグがＯＮにされていると判定し、その処理は、ステップＳ１０４に進む。

ステップＳ１０４において、ズーム画像取得モジュール３０７は、取得したズームカメラ１２２より送信されてきた画像で、図示せぬクライアント返却用バッファを更新する。

一方、ステップＳ１０３において、画像更新フラグがＯＦＦにされていると判定された場合、ステップＳ１０４の処理は、スキップされる。

ステップＳ１０５において、ズーム画像取得モジュール３０７は、終了要求があるか否かを判定し、例えば、終了要求がないと判定された場合、その処理は、ステップＳ１０１に戻り、終了要求があると判定された場合、その処理は、終了する。

すなわち、以上の処理により、画像更新フラグがＯＮになっている間は、ズーム画像取得モジュール３０７により取得されたズーム画像によりクライアント返却用バッファが更新されつづけるようにさせることが可能となる。

次に、図１６のフローチャートを参照して、結果表示モジュール３０８による結果表示処理について説明する。

ステップＳ１２１において、結果表示モジュール３０８は、センサ画像取得モジュール３０１の図示せぬバッファに蓄積されたセンサ画像を取得する。

ステップＳ１２２において、結果表示モジュール３０８は、ズーム画像取得モジュール３０７の図示せぬバッファに蓄積されたズーム画像を取得する。

ステップＳ１２３において、結果表示モジュール３０８は、例えば、ディスプレイなどにセンサ画像とズーム画像を表示させる。

以上の処理によりセンサ画像とズーム画像が表示されることにより、動体が検出された場合にのみ、センサ画像とズーム画像を表示させるようにすることができる。尚、動体追跡順管理ＤＢ３０４に保存されている動体情報を読み出し、表示するようにしてもよい。

以上のように説明してきた図５の監視システム１０１の処理をまとめると、図１７のタイミングチャートで示されるようになる。すなわち、センサ画像取得処理（図１０）が所定の時間間隔で繰り返され、撮影画角計算処理（図１１）のステップＳ２１の処理により供給されたセンサ画像に基づいて、動体検知処理（図１２）により、動体が検出されると、撮影画角計算処理により動体の画角が計算され、計算された画角を動体の発生位置として動体情報を生成すると共に、動体の追跡順位が、動体追跡順管理ＤＢ３０４に保存され、この処理が繰り返される。

追跡対象パンチルトズームモジュール３０５は、動体追跡順管理ＤＢ３０４に記憶された動体情報に基づいて、優先順位の高い順に動体の画角ＩＤに対応する発生位置（画角）で、図１７の最上段の時刻ｔ０乃至時刻ｔ１までの間にズームカメラ１２２のパンチルトを制御する（図中のＰＴの範囲）。

さらに、図１７の最上段で示されるように、時刻ｔ１において、追跡対象パンチルトズームモジュール３０５が、ズームカメラ１２２のズームの調整を開始し、図１７の最下段で示されるように、ズームカメラ１２２により撮影されたズーム画像をズーム画像取得モジュール３０７のクライアント返却用バッファに更新させ始めたとき（クライアント返却用バッファをONにしたとき）、追加追跡対象パンチルトモジュール３０６は、図１７の上から１段目の追加追跡パンチルト処理を、所定の短い間隔で、指定された回数だけ繰り返す（図中の追加ＰＴ１の範囲）。尚、図１７の下から２段目で示されるように、追加追跡対象パンチルト処理は、追跡対象パンチルトズームモジュール３０５によりズームが完了した時刻ｔ２からであってもよい（図中の追加ＰＴ２の範囲）。

この結果、結果表示モジュール３０８により表示されるズーム画像においては、図１７で示されるように、追跡対象パンチルトズーム処理によりズームカメラ１２２が大きくパンチルトしているような間は、クライアント返却用バッファがＯＦＦにされているため、ズーム画像が撮影されることがないので、スムーズなパンチルトズーム画像を表示させるようにすることが可能となる。このとき、追跡対象パンチルトズーム処理よりも短い時間間隔で追加追跡対象パンチルト処理が繰り返されることにより、ズームカメラ１２２は、動体が移動しても最新の画角に基づいて、ズームカメラ１２２の設定されるべき画角が更新され続けるので、正確に動体を捉えたズーム画像を撮影することが可能となる。尚、この際にも、パンチルト処理が加えられることになるが、追跡対象パンチルトズーム処理におけるパンチルトの処理により、既に、大筋のパンチルト位置に設定された状態で
、かつ、短い時間間隔で追加追跡パンチルト処理が繰り返されることになるため、大きなパンチルト処理にはならないので、スムーズな画像を再生することが可能となる。

尚、以上においては、追加追跡対象パンチルトモジュール３０６は、追跡対象パンチルトズームモジュール３０５により追跡対象パンチルトズーム処理が繰り返される時間間隔よりも十分に短い時間間隔で、追加追跡対象パンチルト処理を繰り返すことで、追跡対象パンチルトズーム処理によりズームカメラ１２２のパンチルトさせた後のタイミングにおける動体の動きに追従させるようにする例を示してきたが、追跡対象パンチルトズーム処理によりズームカメラ１２２のパンチルトさせた後のタイミングで動体に動きがないこともあるので、例えば、追跡対象パンチルトズーム処理によるパンチルトの動作の後で、動体の動きの有無を検知して、動体に動きがあった場合にのみ、追加で、所定の短い時間間隔で追加追跡対象パンチルト処理を繰り返すようにしてもよい。

また、以上においては、監視すべき領域全体を撮影する手段として、センサカメラ１２１を用いる例について説明してきたが、領域全体が撮影できるものであれば、これに限るものではなく、例えば、図１８で示されるように、図６のセンサカメラ１２１の代わりに、３６０度全方位撮影がリアルタイムに可能な固定カメラ４５１を設けるようにしてもよい。

さらに、図１９で示されるように、ネットワーク１３１に、固定カメラ４７１を設けるようにすることで、クライアントPC１３２の動体検知モジュール３０３が、固定カメラ４７１により撮影された動画像である固定画像内の動体をも検知し、必要に応じて固定画像を表示させるようにしてもよい。尚、図１８，図１９は、それぞれ図６の監視システム１０１のその他の一実施の形態、およびさらにその他の一実施の形態の構成を示しており、図６と同一の構成には、同一の符号を付してある。

また、以上においては、センサカメラ１２１およびズームカメラ１２２は、いずれもパンチルト式の駆動方式を採用したカメラであったが、領域２１内を撮影できるカメラであればこれに限るものではなく、それ以外の駆動方式のカメラであっても良い。

さらに、以上においては、センサカメラ１２１とズームカメラ１２２とからなるカメラユニット１１１を用いる場合について説明してきたが、カメラユニット１１１に代えて、センサカメラ１２１の機能とズームカメラ１２２の機能を兼ね備えた1個のカメラを用いるようにしても良い。

また、以上においては、本発明を監視システムに適用した例を説明してきたが、本発明は、動体を効率良く撮影するためのシステムに適用できるものであって、その適用は監視システムに限定されるものではない。

以上によれば、動体を撮影できる位置までの移動中の画像（パンチルトズームといった処理が実行されている間の画像）を最小限にすることで、所定の領域を撮影するとともに、その領域内の動体を正確に撮影することが可能となる。結果として、撮影された画像を快適に見ることが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

プログラムが記録されている記録媒体は、図７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（MD（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２１１により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている記憶部２０８に含まれるハードディスクなどで構成される。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

従来の多地点カメラ監視システムの一例を示す外観図である。 図１の多地点カメラ監視システムの構成を示す図である。 図１の多地点カメラ監視システム１の構成の他の例を示す図である。 図２の記録装置またはＰＣに記録される画像データを説明する図である。 本発明を適用した監視システムの一実施の形態の構成を示す図である。 図５の監視システムの構成を示す図である。 図６のクライアントPCの構成例を示すブロック図である。 図６のクライアントPCの機能的構成例を示すブロック図である。 図８の動体追跡順管理ＤＢに登録される動体情報について説明する図である。 センサ画像取得処理を説明するフローチャートである。 撮影画角計算処理を説明するフローチャートである。 動体検知処理を説明するフローチャートである。 追加対象パンチルトズームモジュール処理を説明するフローチャートである。 追加追跡対象パンチルト処理を説明するフローチャートである。 ズーム画像取得処理を説明するフローチャートである。 結果表示処理を説明するフローチャートである。 本発明の監視システムの処理を説明するフローチャートである。 図５の監視システムのその他の構成を示す図である。 図５の監視システムのさらにその他の構成を示す図である。

符号の説明

１２１ センサカメラ， １２２ ズームカメラ， １３２ クライアントＰＣ， ３０１ センサ画像取得モジュール， ３０２ 撮影画角計算モジュール， ３０２ａ 計算部， ３０２ｂ 順位決定部， ３０３ 動体検知モジュール， ３０４ 動体追跡順管理ＤＢ， ３０５ 追跡対象パンチルトモジュール， ３０６ 追加追跡対象パンチルトモジュール， ３０７ ズーム画像取得モジュール， ３０８ 結果表示モジュール， ３０９ 計時モジュール

Claims (7)

1. 所定の領域を撮影する領域撮影手段と、
   前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知手段と、
   前記検知手段により検知された動体を撮影する動体撮影手段と、
   前記検知手段により検知された前記動体毎の画角を計算する計算手段と、
   前記計算手段により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納手段と、
   前記画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、前記動体撮影手段の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御手段と、
   前記第１の動体撮影制御手段により前記動体撮影手段の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、前記第１の動体撮影制御手段よりも十分短い所定の時間間隔で所定回数だけ、前記１の動体の最新の画角の情報に基づいて、前記動体撮影手段の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御手段と
   を備えることを特徴とする情報処理システム。
2. 所定の領域が撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知手段と、
   前記検知手段により検知された前記動体毎の画角を計算する計算手段と、
   前記計算手段により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納手段と、
   前記画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角の情報に基づいて、前記動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御手段と、
   前記第１の動体撮影制御手段により前記動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、前記第１の動体撮影制御手段よりも十分短い所定の時間間隔で所定回数だけ、前記１の動体の最新の画角の情報に基づいて、前記動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御手段と
   を備えることを特徴とする情報処理装置。
3. 前記画角情報格納手段に格納された前記少なくとも１以上の動体のそれぞれの画角の情報に、所定の条件に基づいて、優先順位を設定する優先順位設定手段をさらに備え、
   前記第１の動体撮影制御手段は、前記画角情報格納手段に格納された少なくとも１以上の動体の画角の情報のうち、前記優先順位設定手段により設定された優先度の高い順に前記１の動体を選択し、選択した動体の画角の情報に基づいて、前記動体の撮影を制御する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記所定の条件は、前記動体の動いた時刻、前記動体の前記領域画像中の位置、前記動体の前記領域画像中のサイズ、または前記動体の縦横の比率を含む
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記１の動体の撮影は、前記１の動体の画角の情報に基づいて、第１の動体撮影制御手段により制御された後に開始する
   ことを特徴とする請求項２に記載の情報処理装置。
6. 所定の領域が撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知ステップと、
   前記検知ステップの処理により検知された前記動体毎の画角を計算する計算ステップと、
   前記計算ステップの処理により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納ステップと、
   前記画角情報格納ステップの処理に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、前記動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御ステップと、
   前記第１の動体撮影制御ステップの処理により前記動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、前記第１の動体撮影制御ステップの処理よりも十分短い所定の時間間隔で所定回数だけ、前記１の動体の最新の画角の情報に基づいて、前記動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御ステップと
   を含むことを特徴とする情報処理方法。
7. 所定の領域が撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知ステップと、
   前記検知ステップの処理により検知された前記動体毎の画角を計算する計算ステップと、
   前記計算ステップの処理により計算された少なくとも１以上の動体のそれぞれの画角の情報を格納する画角情報格納ステップと、
   前記画角情報格納ステップの処理に格納された少なくとも１以上の動体の画角の情報のうちの１の動体の画角に基づいて、前記動体の撮影における水平方向の位置、垂直方向の位置、および望遠倍率を制御する第１の動体撮影制御ステップと、
   前記第１の動体撮影制御ステップの処理により前記動体の撮影における水平方向の位置および垂直方向の位置、または望遠倍率が制御された後のタイミングにおいて、前記第１の動体撮影制御ステップの処理よりも十分短い所定の時間間隔で所定回数だけ、前記１の動体の最新の画角の情報に基づいて、前記動体の撮影における水平方向の位置および垂直方向の位置を繰り返し制御する第２の動体撮影制御ステップと
   を含む処理をコンピュータ実行させることを特徴とするプログラム。

Images