JP2006333132A - 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム - Google Patents

Abstract

【課題】 昼夜を問わず人等の特定の被写体を背景との関係において広範囲に亘って監視し、赤外線カメラにより撮像して得られる赤外線画像における被写体の背景との関係において相対的位置を明確に特定できるようにする。
【解決手段】 撮影方向を撮影範囲内における所望の方向に制御して被写体を赤外線カメラ８２により撮像して得られる赤外線画像に、予めカラーカメラユニット２により撮像してサーバ５３に管理保管されているパノラマカラー画像内の上記被写体の撮像位置に該当するカラー画像を重ね合わせた合成画像を生成し、合成画像をディスプレイ６で表示する。
【選択図】図２

Description

本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視するための撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システムに関する。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。

このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。

特開平１０−１０８１６３号公報 特開２０００−２４３０６２号公報

ところで、立ち入り禁止区域にこのような監視カメラを設置する場合には、かかる区域への人の侵入のみを高効率かつピンポイントに捉えることが最も重要な課題となる。

しかしながら、上述の如くビデオテープ等の記録媒体に記録した監視映像を利用して、撮影範囲における何らかの変化を検出する場合に、監視員は、１スキャン毎に刻々と入力される監視画像の状況を隅々まで観察しなければならなかった。特に監視員は、細かい画像の変化や、微小な対象物の出現等につき常に識別しなければならず、過大な労力や時間を必要とし、さらには、かかる監視員の眼に依存するシステムであるが故に、かかる状況変化の見落としが生じる危険性もあった。

また、かかる領域につき夜間の監視を行う場合には、監視員は、カメラにより撮像された暗い画像の中から侵入者をくまなく識別しなければならず、特に監視する範囲が広範囲になるほどかかる識別は困難を極めていた。

さらに、カメラにより撮像された画像そのものが暗いため、かかる夜間の侵入者が、どの建物のどの場所から入り込んだのか、或いは進入した後にどの経路で移動したかにつき、より詳細に判別することができないという問題があり、監視する範囲が広範囲になるほど、かかる判別は困難を極めていた。

また、被写体の照度に関係なく撮影することができる赤外線カメラにより得られる映像情報は、白黒画像に変換され外部に出力されるので、特に形状や温度分布の変化に乏しい被写体を撮影した時に、目標物やその周囲の状況確認が困難な場合が多いという問題点があった。

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、昼夜を問わず人等の特定の被写体を背景との関係において広範囲に亘って監視することが可能な撮像装置及び方法、またこれをコンピュータに実行させるためのプログラム、かかるプログラムが記録された記録媒体並びに撮像システムを提供することにある。

本発明に係る撮像装置は、パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するカラー撮像手段と、パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像する赤外線撮像手段と、上記カラー撮像手段によりカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記赤外線撮像手段により赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理手段と、上記赤外線撮像手段による撮影方向を上記撮影範囲内における所望の方向に制御して被写体を撮像した画像に、上記パノラマ画像保存管理手段により保存管理されているパノラマカラー画像内の上記赤外線撮像手段による上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成手段と、上記画像合成手段により重ね合わせ合成された画像を表示する画像表示手段とを備えることを特徴とする。

また、本発明に係る撮像方法は、パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するパノラマカラー画像撮像ステップと、パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像するパノラマ赤外線画像ステップと、上記パノラマカラー画像撮像ステップでカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記パノラマ赤外線画像ステップで赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理ステップと、撮影方向を上記撮影範囲内における所望の方向に制御して被写体を赤外線により撮像する赤外線撮像ステップと、上記赤外線撮像ステップで被写体を赤外線により撮像した赤外線画像に、上記パノラマ画像保存管理ステップで保存管理されているパノラマカラー画像内の上記赤外線撮像ステップにおける上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成ステップと、上記画像合成ステップで重ね合わせ合成された画像を表示する画像表示ステップとを有することを特徴とする。

また、本発明に係るプログラムは、パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するパノラマカラー画像撮像ステップと、パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像するパノラマ赤外線画像ステップと、上記パノラマカラー画像撮像ステップでカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記パノラマ赤外線画像ステップで赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理ステップと、撮影方向を上記撮影範囲内における所望の方向に制御して被写体を赤外線により撮像する赤外線撮像ステップと、上記赤外線撮像ステップで被写体を赤外線により撮像した赤外線画像に、上記パノラマ画像保存管理ステップで保存管理されているパノラマカラー画像内の上記赤外線撮像ステップにおける上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成ステップと、上記画像合成ステップで重ね合わせ合成された画像を表示する画像表示ステップとを有する撮像制御処理をコンピュータに実行させることを特徴とする。

また、本発明に係るプログラム記録媒体は、パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するパノラマカラー画像撮像ステップと、パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像するパノラマ赤外線画像ステップと、上記パノラマカラー画像撮像ステップでカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記パノラマ赤外線画像ステップで赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理ステップと、撮影方向を上記撮影範囲内における所望の方向に制御して被写体を赤外線により撮像する赤外線撮像ステップと、上記赤外線撮像ステップで被写体を赤外線により撮像した赤外線画像に、上記パノラマ画像保存管理ステップで保存管理されているパノラマカラー画像内の上記赤外線撮像ステップにおける上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成ステップと、上記画像合成ステップで重ね合わせ合成された画像を表示する画像表示ステップとを有する撮像制御処理をコンピュータに実行させるためのプログラムが記録されたことを特徴とする。

さらに、本発明に係る撮像システムは、パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するカラー撮像装置と、パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像する赤外線撮像装置と、ネットワークを介して上記カラー撮像装置及び赤外線撮像装置の動作を制御する制御装置からなり、上記制御装置は、上記カラー撮像手段によりカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記赤外線撮像手段により赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理手段と、上記赤外線撮像手段による撮影方向を上記撮影範囲内における所望の方向に制御して被写体を撮像した画像に、上記パノラマ画像保存管理手段により保存管理されているパノラマカラー画像内の上記赤外線撮像手段による上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成手段と、上記画像合成手段により重ね合わせ合成された画像を表示する画像表示手段とを備えることを特徴とする。

本発明では、撮影方向を撮影範囲内における所望の方向に制御して被写体を赤外線により撮像して得られる赤外線画像に、パノラマカラー画像内の上記被写体の撮像位置に該当するカラー画像を重ね合わせた合成画像を生成し、合成画像を表示するので、上記被写体につきその存在領域を夜間においても赤外線画像の輝度分布で表示することができ、合成画像からその背景との関係においても当該存在領域の相対的位置を明確に特定することが可能となる。また、僅かな人の動きについても見落としを防ぐことができるため、より高精度な監視を実現することが可能となる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明は、例えば図１に示すような構成の監視システム１に適用される。

この監視システム１は、被写体を撮像しての画像信号を生成する可視光用のカラーカメラユニット２と、赤外線カメラ８２と、少なくとも上記カメラユニット２から画像信号が伝送される監視装置５と、監視装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、カラーカメラユニット２並びに監視装置５,端末装置９間で双方向通信を実現するためのネットワーク８とを備えている。

この監視システム１におけるカラーカメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。

カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して被写体を撮像する。このカメラ部４を一の監視装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。

監視装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カラーカメラユニット２や赤外線カメラ８２から伝送される画像信号等を記録し、また記録した画像信号等につきディスプレイ６を介してユーザに表示する。またこの監視装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて画像を送信する。なお監視装置５の構成の詳細については、後述する。

ネットワーク８は、例えば監視装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。また、このネットワーク８につきいわゆる光ファイバ通信網で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。

端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して監視装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、監視装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置５に対して送信する。なお端末装置９のブロック構成については、後述する監視装置５の構成を引用し、説明を省略する。

次に、本発明を適用した監視システム１における各構成要素の詳細につき図２を用いて説明をする。

この図２では、共通のコントローラバス２１に対して、カラーカメラユニット２、赤外線カメラ８２、並びに監視装置５の各構成要素が接続されている。

カラーカメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するチルト部３ａ、パン部３ｂとを有する。また、カラーカメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)１３９４インターフェース２５と、カラーカメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。

監視装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、サーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。

さらに、この監視装置５は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。

チルト部３ａ並びにパン部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。

レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。

撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。

ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カラーカメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカラーカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。

なお、赤外線カメラ８２の構成についても、このカラーカメラユニット２と同様であるため、説明を省略する。

ちなみに、赤外線カメラ８２は、例えば人の体表から放射される赤外線を感知するサーマル素子やＩＲＣＣＤイメージセンサを撮像素子として備え、身体の温度分布を示す所謂熱画像すなわち赤外線画像を取得するいわゆるサーモグラフィを利用したサーマルカメラやＩＲＣＣＤカメラである。赤外線カメラ８２では、人の身体から放射された赤外線を上記撮像部２４に相当する図示しない検出器により検出する。また図示しない検出器では検出した赤外線の強さに応じた電気信号に変換し、これを所定レベルに増幅することにより、赤外線画像を構成することが可能となる。以下、かかる赤外線画像を構成する信号を赤外線画像信号という。

なお、この赤外線カメラ８２については、設定された温度範囲内にある被写体像を赤外線画像として撮像するように構成されている。この設定すべき温度範囲を例えば人の体温±３℃程度にしておくことにより、人の身体から放射される赤外線のみをピンポイントで検出することが可能となる。ちなみに、この赤外線カメラ８２における設定温度範囲は、後述するマウス６０等によりユーザ側で任意に設定することが可能となる。

バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号や赤外線画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号や赤外線画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号や赤外線画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号や赤外線画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号や赤外線画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。

サーバ５３は、エンコーダ５２から出力される画像信号や赤外線画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号や赤外線画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号や赤外線画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。

画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。

グラフィックコントローラ５５は、サーバ５３から読み出した画像信号や赤外線画像信号、又は画像圧縮部５４から出力される画像信号や赤外線画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。

ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。

次に本発明を適用した監視システム１における撮像動作について説明をする。

図３は、カラーカメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、チルト部３ａ並びにパン部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。

同様にＣＰＵ５６は、チルト部３ａ並びにパン部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。

カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。

ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚のパノラマ状の全体画像（パノラマ画像）が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となり、サーバ５３によりこれらを保存管理することも可能となる。

図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この監視装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。

ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。

ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。

また表示画面４５上においてマウス６０を介した入力動作をキー７２、７３、７５、７６を介して実行することにより、拡大画像表示部７１に表示されている単位画像につき撮影倍率を拡大又は縮小させ、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御、各種モードの設定を行うことができる。

なお、赤外線カメラ８２についてもこのカラーカメラユニット２と同様の動作を実行することによりパノラマ状の赤外線画像を構成することができる。以下、このパノラマ状の赤外線画像をパノラマ赤外線画像という。

この監視システム１における監視装置５は、カラーカメラユニット２によりカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記赤外線カメラ８２により赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像をサーバ５３で保存管理しており、例えば図５に示すように、上記赤外線カメラ８２による撮影方向を所望の方向に制御して実時間で被写体を撮像した画像ＰＩに、上記サーバ５３で保存管理しているパノラマカラー画像内の上記赤外線カメラ８２による上記被写体の撮像位置に該当するカラー画像ＰＣを重ね合わせ合成し、重ね合わせ合成された画像ＰＩＣをディスプレイ６に表示する。

すなわち、この監視システム１における監視装置５は、ＲＯＭ５７に記憶されて処理プログラムに基づいて図６のフローチャートに示す手順に従った撮像制御処理をＣＰＵ５６が実行する。

この撮像制御処理における前処理１では、図７の（Ａ），（Ｂ）示すようにカラーカメラユニット２と赤外線カメラ８２でそれぞれ全動作範囲を撮像してパノラマ画像ＰＰＣを生成しサーバ５３で保存管理する（ステップＳ１，Ｓ２）。

すなわち、ステップＳ１では、カラーカメラユニット２で全動作範囲を全てカラー撮像した複数の単位画像を取得し、これらを張り合わせて生成されるパノラマカラー画像ＰＰＣを生成してサーバ５３に保存管理する。

次のステップＳ２では、赤外線カメラ８２で全動作範囲を全て赤外線撮像した複数の単位画像を取得し、これらを張り合わせて生成されるパノラマ赤外線撮像画像ＰＰＩを生成してサーバ５３に保存管理する。

そして、この撮像制御処理における前処理２では、図８に示すように２枚のパノラマ画像ＰＰＣ，ＰＰＩの位置あわせを行い、カラーカメラユニット２と赤外線カメラ８２の座標変換情報を得る（ステップＳ３）。

すなわち、ステップＳ３では、上記カラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像と上記赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像の位置合わせを行い、上記パノラマカラー画像の撮像位置と上記パノラマ赤外線画像の撮像位置の座標変換情報を生成する。

ここで、例えば図９に示すように、上記パノラマカラー画像及びパノラマ赤外線画像は歪みのない２次元平面と仮定すると、パノラマカラー画像の撮像位置（Ｘ，Ｙ）と上記パノラマ赤外線画像の撮像位置（ｘ，ｙ）の間には、
Ｘ＝ａｘ＋ｂ
Ｙ＝ｃｙ＋ｄ
成る関係が成立するので、それぞれのパノラマ画像上で同じ対象物を表示している座標を２点Ｐ１，Ｐ２求めれば係数ａ，ｂ，ｃ，ｄを求めることができる。

そして、予め上記前処理１，２（ステップＳ１〜Ｓ３）を行っておき、夜間の監視状態において、次のような通常処理（ステップＳ４〜Ｓ７）を行う。

すなわち、通常処理では、監視装置５は、ステップＳ４において、赤外線カメラ８２の撮影方向を上記撮影範囲内における所望の方向に制御して被写体を赤外線により撮像して、位置情報付きの赤外線画像を取得する。

次のステップＳ５では、上記ステップＳ４で取得した赤外線画像の位置情報に基づいて、上記サーバ５３で保存管理されているパノラマカラー画像内の上記ステップＳ４における上記被写体の撮像位置に該当するカラー画像を抽出する。

次のステップＳ６では、上記被写体の撮像位置に該当するカラー画像を赤外線画像に重ね合わせ合成する。

そして、ステップＳ７では、上記ステップＳ６で重ね合わせ合成された画像をディスプレイ６に表示する。

このように、撮影方向を撮影範囲内における所望の方向に制御して被写体を赤外線により撮像して得られる赤外線画像に、パノラマカラー画像内の上記被写体の撮像位置に該当するカラー画像を重ね合わせた色付きの合成画像を生成し、この合成画像を表示することにより、上記被写体につきその存在領域を夜間においても赤外線画像の輝度分布で表示することができ、合成画像からその背景との関係においても当該存在領域の相対的位置を明確に特定することが可能となる。また、僅かな人の動きについても見落としを防ぐことができるため、より高精度な監視を実現することが可能となる。

更に、この撮像システム１においては、これら合成画像をサーバ５３に格納しておくことにより、監視装置５にネットワーク８を介してアクセスした端末装置９のユーザはかかる合成画像につき端末ディスプレイ１０を介して視認することができる。この端末装置９がネットワーク８を介して複数接続されている場合には、複数のユーザがかかる合成画像を同時に視認することも可能となる。更に、この合成画像をサーバ５３内に順次蓄積しておくことにより、各端末装置９のユーザは、合成画像の詳細につき過去に遡って確認することも可能となる。

本発明を適用した監視システムの構成を示す図である。 カメラユニット,監視装置のブロック構成図である。 カメラユニットにより、黒枠で示される撮影範囲内を撮影画角で撮像する場合について説明するための図である。 ディスプレイ上の表示画面の構成例を示す図である。 ディスプレイを介して表示する合成画像の例を示す図である。 上記監視システムにおける監視装置５により実行される撮像制御処理の手順を示すフローチャートである。 上記撮像制御処理における前処理１の内容を模式的に示す図である。 上記撮像制御処理における前処理２の内容を模式的に示す図である。 上記撮像制御処理における撮像位置の座標変換情報の生成についての説明に供する図である。

符号の説明

１ 監視システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、５ 監視装置、６ ディスプレイ、８ ネットワーク、９ 端末装置、１０ 端末ディスプレイ、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、８２ 赤外線カメラ

Claims (7)

1. パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するカラー撮像手段と、
   パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像する赤外線撮像手段と、
   上記カラー撮像手段によりカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記赤外線撮像手段により赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理手段と、
   上記赤外線撮像手段による撮影方向を上記撮影範囲内における所望の方向に制御して被写体を撮像した画像に、上記パノラマ画像保存管理手段により保存管理されているパノラマカラー画像内の上記赤外線撮像手段による上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成手段と、
   上記画像合成手段により重ね合わせ合成された画像を表示する画像表示手段と
   を備えることを特徴とする撮像装置。
2. 上記パノラマ画像保存管理手段は、予め上記カラー撮像手段によりカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像と上記赤外線撮像手段により赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像の位置あわせを行い、上記カラー撮像手段による撮像位置と上記赤外線撮像手段による撮像位置の変換情報を生成しておき、上記変換情報に基づいて上記赤外線撮像手段による撮像位置に該当するカラー画像を画像合成手段に与えることを特徴とする請求項１記載の撮像装置。
3. パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するパノラマカラー画像撮像ステップと、
   パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像するパノラマ赤外線画像ステップと、
   上記パノラマカラー画像撮像ステップでカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記パノラマ赤外線画像ステップで赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理ステップと、
   撮影方向を上記撮影範囲内における所望の方向に制御して被写体を赤外線により撮像する赤外線撮像ステップと、
   上記赤外線撮像ステップで被写体を赤外線により撮像した赤外線画像に、上記パノラマ画像保存管理ステップで保存管理されているパノラマカラー画像内の上記赤外線撮像ステップにおける上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成ステップと、
   上記画像合成ステップで重ね合わせ合成された画像を表示する画像表示ステップと
   を有することを特徴とする撮像方法。
4. 上記パノラマ画像保存管理ステップでは、上記カラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像と上記赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像の位置合わせを行い、上記パノラマカラー画像の撮像位置と上記パノラマ赤外線画像の撮像位置の変換情報を生成しておき、
   上記画像合成ステップにおいて、上記変換情報に基づいてパノラマカラー画像内の上記赤外線撮像ステップにおける上記被写体の撮像位置に該当するカラー画像を赤外線画像に重ね合わせ合成することを特徴とする請求項３記載の撮像方法。
5. パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するパノラマカラー画像撮像ステップと、
   パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像するパノラマ赤外線画像ステップと、
   上記パノラマカラー画像撮像ステップでカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記パノラマ赤外線画像ステップで赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理ステップと、
   撮影方向を上記撮影範囲内における所望の方向に制御して被写体を赤外線により撮像する赤外線撮像ステップと、
   上記赤外線撮像ステップで被写体を赤外線により撮像した赤外線画像に、上記パノラマ画像保存管理ステップで保存管理されているパノラマカラー画像内の上記赤外線撮像ステップにおける上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成ステップと、
   上記画像合成ステップで重ね合わせ合成された画像を表示する画像表示ステップと
   を有する撮像制御処理をコンピュータに実行させるためのプログラム。
6. パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するパノラマカラー画像撮像ステップと、
   パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像するパノラマ赤外線画像ステップと、
   上記パノラマカラー画像撮像ステップでカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記パノラマ赤外線画像ステップで赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理ステップと、
   撮影方向を上記撮影範囲内における所望の方向に制御して被写体を赤外線により撮像する赤外線撮像ステップと、
   上記赤外線撮像ステップで被写体を赤外線により撮像した赤外線画像に、上記パノラマ画像保存管理ステップで保存管理されているパノラマカラー画像内の上記赤外線撮像ステップにおける上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成ステップと、
   上記画像合成ステップで重ね合わせ合成された画像を表示する画像表示ステップと
   を有する撮像制御処理をコンピュータに実行させるためのプログラムが記録されたプログラム記録媒体。
7. パノラマカラー画像を構成する各単位画像に撮影方向を順次合わせてカラー撮像するカラー撮像装置と、
   パノラマ赤外線画像を構成する各単位画像に撮影方向を順次合わせて赤外線により撮像する赤外線撮像装置と、
   ネットワークを介して上記カラー撮像装置及び赤外線撮像装置の動作を制御する制御装置からなり、
   上記制御装置は、上記カラー撮像手段によりカラー撮像された複数の単位画像を張り合わせて生成されるパノラマカラー画像及び上記赤外線撮像手段により赤外線撮像された複数の単位画像を張り合わせて生成されるパノラマ赤外線画像を保存管理するパノラマ画像保存管理手段と、上記赤外線撮像手段による撮影方向を上記撮影範囲内における所望の方向に制御して被写体を撮像した画像に、上記パノラマ画像保存管理手段により保存管理されているパノラマカラー画像内の上記赤外線撮像手段による上記被写体の撮像位置に該当するカラー画像を重ね合わせ合成する画像合成手段と、上記画像合成手段により重ね合わせ合成された画像を表示する画像表示手段と
   を備えることを特徴とする撮像システム。

Images