JP7099809B2 - 画像監視システム - Google Patents

Description

本発明は、人等の物体が混雑し得る空間を撮影した監視画像から、監視員等が物体について注視すべき度合いを表す情報を生成する画像監視システムに関する。

イベント会場等の混雑が発生し得る空間においては事故防止等のために、混雑が発生している区域に警備員を多く配置するなどの対応が求められる。そこで、会場の各所に監視カメラを配置して撮影画像から群衆密度を推定し、監視範囲の混雑状況を表示することによって監視効率向上が期待できる。

解析した混雑状況の画像表現として、画素ごと或いは画像を区分したブロックごとに混雑度の高さに応じて色分け表示するヒートマップが挙げられる。例えば、下記非特許文献１には、画素ごとに当該画素における群衆密度の推定値に応じた色を設定したヒートマップ（Figure 2(e)）とその元になった撮影画像（Figure 2(a)）とが例示されている。この例では、群衆密度が特に高い領域は赤、人の居ない領域は青で表示され、その中間の群衆密度である領域は橙、黄、緑、水色で表示される。

V. Eiselein, H. Fradi, I. Keller, T. Sikora and J. L. Dugelay, "Enhancing human detection using crowd density measures and an adaptive correction filter," 2013 10th IEEE International Conference on Advanced Video and Signal Based Surveillance, Krakow, 2013, pp. 19-24.

しかしながら、ヒートマップ表示はフレームごとの推定結果をフレームごとに表示していただけであった。そのため、高い群衆密度が推定された各箇所のカメラの画像を都度確認する必要が生じ、必ずしも監視効率が高くなかった。

例えば、ヒートマップ表示を用いて或る瞬間の群衆密度が表示される場合、群衆密度が高い領域であっても次の瞬間に群衆密度が低下した領域、あるいは群衆密度が高い領域であっても人の流れが順調に進んでいる領域などは必ずしも危険な状態とは言えない。逆に、群衆密度が高い状態が長く続いている領域、あるいは人の流れが滞っている領域では不快に感じる人や体調を崩す人が多くなり危険な状態となり易い。よって、同じように群衆密度が高い領域であっても、一時的に群衆密度が高くなった領域よりも長時間群衆密度が高い領域を優先して確認すべきであり、人の流れが順調な領域よりも流れが滞った領域を優先して確認すべきである。従来技術ではこのような優先順位をつけることができず、監視効率が必ずしも高くなかった。

本発明は上記問題を鑑みてなされたものであり、人等の物体が混雑し得る空間を監視員等が効率的に監視可能な画像監視システムを提供することを目的とする。

（１）本発明に係る画像監視システムは、所定の物体が混雑し得る空間を撮影した監視画像から前記物体について注視すべき度合いを表す情報を生成するシステムであって、前記監視画像を順次取得する画像取得手段と、前記監視画像から、前記空間における前記物体の混雑の度合いを表す混雑度を推定する混雑度推定手段と、前記空間に設定した注目領域における前記物体の混雑の継続時間を算出し、前記注目領域について前記混雑度が高いほど高く前記継続時間が長いほど高い監視重要度を算出する監視重要度算出手段と、を備える。

（２）上記（１）に記載する画像監視システムにおいて、前記監視重要度算出手段は、さらに、前記監視画像から前記注目領域における前記物体の動き量を算出し、前記注目領域について前記動き量が少ないほど高い監視重要度を算出する構成とすることができる。

（３）他の本発明に係る画像監視システムは、所定の物体が混雑し得る空間を撮影した監視画像から前記物体について注視すべき度合いを表す情報を生成するシステムであって、前記監視画像を順次取得する画像取得手段と、前記監視画像から、前記空間における前記物体の混雑の度合いを表す混雑度を推定する混雑度推定手段と、前記監視から前記空間に設定した注目領域における前記物体の動き量を算出し、前記注目領域について前記混雑度が高いほど高く前記動き量が少ないほど高い監視重要度を算出する監視重要度算出手段と、備える。

（４）上記（１）～（３）に記載する画像監視システムにおいて、前記画像取得手段は、前記空間内に設定された互いに異なる複数の監視領域それぞれについて前記監視画像を順次取得し、前記各監視領域を前記注目領域とする構成とすることができる。

（５）上記（１）～（３）に記載する画像監視システムにおいて、前記監視画像を区分した複数の画像区画それぞれに映る前記空間を前記注目領域とし、さらに、前記画像区画ごとに前記監視重要度を算出して前記監視画像上での分布を表現した分布画像を生成する分布画像生成手段を備えた構成とすることができる。

本発明によれば、人等の物体が混雑し得る空間を監視員等が効率的に監視可能な画像監視システムを提供することができる。

本発明の実施形態に係る画像監視システムの概略の構成を示すブロック図である。 本発明の実施形態に係る画像監視システムの機能を示す機能ブロック図である。 物体モデル記憶手段が記憶している物体モデルの情報の一例を示す模式図である。 描画設定記憶手段が記憶している、監視重要度や混雑度の表示の仕方についての設定の例を示す模式図である。 分布画像生成手段が生成する分布画像の例を示す模式図である。 本発明の実施形態に係る画像監視システムにおける監視重要度を算出する処理の概略のフロー図である。 表示部に監視重要度を表示する処理の概略のフロー図である。 マルチ表示モードでの表示部の表示例を示す模式図である。

以下、本発明の実施の形態（以下実施形態という）に係る画像監視システム１について、図面に基づいて説明する。

図１は画像監視システム１の概略の構成を示すブロック図である。画像監視システム１は、撮影部２、通信部３、記憶部４、画像処理部５、操作部６、表示制御部７および表示部８からなる。

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、所定の物体が混雑し得る空間（対象空間）を所定の時間間隔で撮影して監視画像を出力する撮影手段である。ここでは、対象空間のうち撮影部２が撮影する部分を監視領域と称する。本実施形態では対象空間には複数の監視領域が設定され、監視領域ごとに撮影部２が割り当てられる。すなわち、撮影部２は複数の撮影部２-1，２-2，…からなり、それら撮影部２は対象空間に設定された互いに異なる複数の監視領域を撮影する。各撮影部２は、当該撮影部２が撮影している監視領域を一意に識別する識別子（エリアＩＤ）を予め付与され、順次出力する監視画像とともにエリアＩＤを画像処理部５に入力する。

例えば、各撮影部２は、イベント会場に設置されたポールに監視領域を俯瞰する視野を有して設置される。その視野は固定されていてもよいし、予めのスケジュール或いは通信部３を介した外部からの指示に従って変更されてもよい。また、例えば、撮影部２は監視領域をフレーム周期１／５秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示制御部７と接続される。通信部３は、撮影部２から監視画像を取得して画像処理部５に入力し、画像処理部５から入力された情報を表示制御部７に出力する。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、また記憶部４から読み出す。また、画像処理部５は、通信部３を介して撮影部２および表示制御部７とも接続され、通信部３経由で撮影部２から取得した監視画像を解析することにより、撮影されている人について注視すべき度合いを表す情報を生成し、生成した情報を通信部３経由で表示制御部７に出力する。

操作部６は表示制御部７に対する入力機器であり、キーボード及びマウス等で構成される。操作部６は表示制御部７に接続され、監視員による指示操作を受け付け、当該指示操作を表示制御部７に出力する。

表示制御部７はＰＣ（Personal Computer）等で構成され、ＲＯＭ、ＲＡＭ等のメモリ装置等で構成される記憶部（不図示）、通信部３が接続されている通信網とのインターフェース回路である通信部（不図示）、および、ＣＰＵ、ＭＣＵ、ＩＣ等の演算装置等で構成される制御部（不図示）を備える。表示制御部７は通信網を介して通信部３に接続されるとともに、操作部６および表示部８と接続される。表示制御部７は画像処理部５からの情報を通信部３から受信して記憶するとともに、監視員による操作指示を操作部６から入力され、記憶した情報のうち操作指示に応じた情報を表示部８に出力する。

表示部８は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３および表示制御部７を介して画像処理部５と接続され、画像処理部５により生成された情報を表示する表示手段である。監視員は表示された情報を視認して混雑の発生等を判断し、必要に応じて人員配置の変更等の対処を行う。

図２は画像監視システム１の機能を示す機能ブロック図である。通信部３は画像取得手段３０および要注視情報出力手段３１等として機能し、記憶部４は密度推定器記憶手段４０、混雑度記憶手段４１、動き量記憶手段４２、物体モデル記憶手段４３および描画設定記憶手段４４等として機能する。画像処理部５は、混雑度推定手段５０、監視重要度算出手段５１、物体領域推定手段５２および分布画像生成手段５３等として機能する。

画像取得手段３０は撮影手段である撮影部２-1，２-2，…から監視画像およびエリアＩＤを順次取得して、取得した監視画像をエリアＩＤとともに、混雑度推定手段５０、監視重要度算出手段５１および物体領域推定手段５２に出力する。

密度推定器記憶手段４０は、所定の密度ごとに当該密度にて物体（人）が存在する空間を撮影した密度画像それぞれの画像特徴を学習した推定密度算出関数であって、画像の特徴量を入力されると当該画像に撮影されている物体の密度の推定値（推定密度）を算出して出力する推定器（密度推定器）を表す情報を予め記憶している。つまり密度推定器記憶手段４０は上記推定密度算出関数の係数等のパラメータを密度推定器の情報として予め記憶している。

混雑度推定手段５０は、対象空間における物体の混雑の度合いを表す混雑度を監視画像に基づいて推定する。混雑度推定手段５０は、画像取得手段３０から入力される監視画像のそれぞれを複数の画像区画に区分して画像区画ごとに物体の混雑の度合いを表す混雑度を推定する。そして、推定した混雑度を、エリアＩＤと対応付けて時系列に混雑度記憶手段４１に記憶させる。画像区画は例えば監視画像の各画素とすることができる。

混雑度推定の処理および密度推定器について具体的に説明する。

混雑度推定手段５０は、監視画像の各画素の位置に窓（推定用抽出窓）を設定し、各推定用抽出窓における監視画像から推定用特徴量を抽出する。推定用特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。

各推定用抽出窓に撮影されている対象空間内の領域は同一サイズであることが望ましい。すなわち、好適には混雑度推定手段５０は撮影部２のカメラパラメータを用いたホモグラフィ変換により、監視画像の任意の画素に撮影されている監視空間内の領域が同一サイズとなるように監視画像を変形してから推定用特徴量を抽出する。なお、後述するように本実施形態ではカメラパラメータは物体モデル記憶手段４３に記憶されており、混雑度推定手段５０はこれを読み出して利用する。

密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ（Support Vector Machine）法で学習した識別関数とすることができる。

密度は、例えば、人が存在しない「背景」クラス、０人／ｍ^２より高く２人／ｍ^２以下である「低密度」クラス、２人／ｍ^２より高く４人／ｍ^２以下である「中密度」クラス、４人／ｍ^２より高い「高密度」クラスの４クラスと定義することができる。

すなわち、密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量に多クラスＳＶＭ法を適用して学習した、各クラスの画像を他のクラスと識別するための識別関数である。この学習により導出された識別関数のパラメータが密度推定器として記憶されている。なお、密度画像の特徴量は推定用特徴量と同種であり、ＧＬＣＭ特徴である。

混雑度推定手段５０は、各画素に対応して抽出した推定用特徴量のそれぞれを密度推定器に入力することによってその出力値である推定密度を取得する。なお、監視画像を変形させて推定用特徴量を抽出した場合、混雑度推定手段５０は、カメラパラメータを用いたホモグラフィ変換により密度分布を元の監視画像の形状に変形させる。

混雑度は推定密度の各クラスに予め付与された値であり、本実施形態では各クラスに対応する値を「背景」、「低混雑度」、「中混雑度」、「高混雑度」と表記する。

混雑度記憶手段４１は、各監視画像と対応する混雑度を当該監視画像のエリアＩＤと対応付けて時系列に記憶する。本実施形態では、各監視画像に対応する混雑度は、当該監視画像の各画素の混雑度からなる。なお、混雑度記憶手段４１は少なくとも、後述する過去の期間τの監視画像から得られた混雑度を記憶する。

監視重要度算出手段５１は、監視画像を基にして、物体について監視員等が注視すべき度合いを表す情報である監視重要度を算出し、算出した監視重要度を分布画像生成手段５３および要注視情報出力手段３１に出力する。

監視重要度の算出は、監視画像の画像区画ごとに行い、さらに監視領域ごと（すなわち撮影部２ごと）に行う。

監視重要度は、混雑度、混雑の継続時間および物体の動き量を基に算出される。すなわち、混雑度が高いほど高く、混雑の継続時間が長いほど高く、物体の動き量が少ないほど高い監視重要度を監視画像の画像区画ごとに算出する。さらに、監視領域ごとに、混雑度が高いほど高く、混雑の継続時間が長いほど高く、物体の動き量が少ないほど高い監視重要度を算出する。

画像区画ごとに監視重要度を算出する例（すなわち対象空間に画像区画それぞれと対応して設定した注目領域ごとに監視重要度を算出する例）を説明する。ここでは、画像区画は画素であるとする。例えば、時刻ｔ＝Ｔの時点での各画素における監視重要度Ｓ_Ｔは、次式（１）～（３）で示すように、当該時刻Ｔから過去に時間τ遡る期間［Ｔ－τ，Ｔ］（つまりＴ－τ≦ｔ≦Ｔ）の当該画素における混雑度の代表値ｄ_ｔの平均値Ｄ_Ｔと、当該期間［Ｔ－τ，Ｔ］の当該画素における動きベクトルの大きさ（速さ）ｖ_ｔの平均値Ｖ_Ｔとの重みづけ和とすることができる。

Ｓ_Ｔ＝α・Ｄ_Ｔ＋β・Ｖ_Ｔ …（１）
Ｄ_Ｔ＝（１／τ）Σ_{Ｔ－τ≦ｔ≦Ｔ} ｄ_ｔ …（２）
Ｖ_Ｔ＝（１／τ）Σ_{Ｔ－τ≦ｔ≦Ｔ} ｖ_ｔ …（３）

ここで、重み係数αおよびβはそれぞれ０よりも大きな定数であり、例えば、事前実験に基づいて予め定められる。

混雑度の代表値は密度で定義することとし、「背景」および「低混雑度」の代表値は０人／ｍ^２、「中混雑度」の代表値は３人／ｍ^２、「高混雑度」の代表値は６人／ｍ^２などとすることができる。なお、「背景」の代表値は０人／ｍ^２とする一方、「低混雑度」の代表値は１人／ｍ^２としてもよい。

τは実験等を通じて予め定める。式（２）で算出されるＤ_Ｔは基本的に、混雑度が高いほど高い値となり、また、期間［Ｔ－τ，Ｔ］内での混雑度の継続時間が長いほど高い値となる。つまり、上述の例では、時間τが監視重要度Ｓ_Ｔに対し影響を及ぼす継続時間の上限を設定しており、τはこの点を考慮して設定することができる。例えばτは１分間とすることができる。

また、後述するように、画像区画ごとに算出した監視重要度の代表値を物体領域ごとに算出することによって、対象空間に物体領域それぞれと対応して設定した注目領域ごとに監視重要度を算出することもできる。

次に監視領域ごとに監視重要度を算出する例（すなわち対象空間に監視領域それぞれと対応して設定した注目領域ごとに監視重要度を算出する例）を説明する。各監視領域の監視重要度は、当該監視領域を撮影した監視画像における画像区画ごとに算出した監視重要度を統合して求めることができ、これにより監視領域ごとの監視重要度が算出される。

ここで、監視領域における監視重要度の統合の仕方として、画像区画ごとの監視重要度を監視画像全体で平均する構成とすることも可能であるが、一方、監視画像の一部の画像区画だけでも監視重要度が高ければ、対応する監視領域の監視重要度を高くして監視員等の注視を促すような構成とすることもでき、当該構成は監視漏れが抑制され易い点で好適である。具体的には、各監視領域に対応する監視画像の画像区画ごとの監視重要度のうち最大値を選出し、選出した最大値を閾値処理により３段階のレベル「低」、「中」、「高」のいずれかに区分して、区分したレベルを当該監視領域の監視重要度と定めることができる。また、各監視領域に対応する画像区画ごとの監視重要度のそれぞれを３段階のレベルに区分してから、複数の画像区画のうちの最大のレベルを当該監視領域の監視重要度と定めてもよい。

上述の式（１）の監視重要度Ｓ_Ｔでは、物体の動き量が動きベクトルにより反映されている。この動き量の基礎情報である動きベクトルはオプティカルフロー分析によって検出することができる。例えば、オプティカルフロー分析によって、現画像と直前画像との間で動きベクトルが算出される。

監視重要度算出手段５１は、現画像および直前画像のうち一方の画像（基準画像）上に複数の注目点を設定するとともに他方の画像（比較画像）において各注目点と画像特徴が最も類似する最類似点を対応点として検出し、注目点と対応点とを結ぶベクトルを動きベクトルとして算出する。ちなみに、注目点および対応点のうち直前画像側が動きベクトルの始点であり、現画像側が終点である。

注目点や対応点は、監視画像を予め定めた複数のブロックに区分してそれらの中央に設定することができる。ブロックの大きさは少なくとも対象物体である人よりも小さく設定する。また、撮影部２から物体までの距離を考慮し、当該距離が遠いほど小さく、当該距離が近いほど大きなブロックとしてもよい。また、画像区画を画素とする場合、ブロックそれぞれについて検出した動きベクトルが当該ブロックに含まれる各画素の動きベクトルとされる。

例えば、監視重要度算出手段５１は、比較画像上で候補点を移動させつつ、注目点との輝度分布の類似度を算出して、類似度が最も高い候補点を対応点に決定する。この探索にはルーカス・カナデ（Lucas-Kanade）法など種々の最急降下法が適用可能である。すなわち、各注目点と同一座標を候補点の初期値とし、輝度の差が小さくなる方向に候補点を順次移動させて探索を行う。

別の方法では、注目点の座標を含む所定の探索範囲の各座標を候補点に設定して探索を行う。この場合、探索範囲は比較画像全体とすることもできるが、物体が１時刻の間に移動し得る画像上の距離を予め見積もっておき、注目点の座標を中心として当該距離を半径とする円内を探索範囲とするのがよい。

なお、動きベクトルとしてゼロベクトルも検出しておく。また、注目点に対して類似度が閾値以下の最類似点しか見つからない場合は、当該注目点に対応する動きベクトルは検出されないとすることができる。

監視重要度算出手段５１は、各監視画像から検出した画像区画ごとの動きベクトルと、各監視画像を動き量記憶手段４２に記憶させる。動きベクトルは少なくとも過去に遡る期間τの分だけ、また監視画像は少なくとも１時刻前のものだけ記憶される。

物体モデル記憶手段４３は、予め物体の形状を近似した物体モデルを記憶し、記憶している物体モデルを物体領域推定手段５２に出力する。

図３は物体モデル記憶手段４３が記憶している物体モデルの情報の一例を示す模式図である。図３の例では物体モデルは、立位の人の頭部、胴部、脚部に対応する３つの回転楕円体から構成される立体モデルである。ちなみに、頭部重心を人の代表位置とする。なお、立体モデルはより単純化して人全体を１つの回転楕円体で表すものとすることもできるし、より詳細に例えば、人の頭部、胴部、両腕、両脚を別々の回転楕円体で表すものとすることもできる。

さらに物体モデル記憶手段４３は、立体モデルと併せて、立体モデルを監視画像の座標系に投影するために撮影部２のカメラパラメータを記憶している。カメラパラメータは、実際の監視空間における撮影部２の設置位置および撮像方向といった外部パラメータ、撮影部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む情報である。

描画設定記憶手段４４は、画像処理部５により生成された情報を表示部８に表示する際における、当該情報に含まれる監視重要度や混雑度の表示の仕方についての設定を予め記憶している。図４は当該設定の例を示す模式図である。

描画設定記憶手段４４は、監視重要度のレベルと対応して、レベルごとに異ならせた図形（アイコン）を予め記憶している。図４（ａ）は当該アイコンの例を示す説明図であり、各レベルと対応して２種類ずつのアイコンが記憶されている。具体的には、２種類のアイコンは、表情の絵柄と、感情を表すイラストである。監視重要度のレベル「低」には、アイコンとして、安全な状態を想起させるものとして、笑顔の表情と、楽しい気分を表す際に漫符などで用いられる八分音符のイラストとが対応付けて記憶される。また、監視重要度のレベル「中」には、注意すべき状態を想起させるものとして、不満顔の表情と、もやもや感を表す際の漫符として知られる螺旋のイラストが対応付けて記憶され、監視重要度のレベル「高」には、危険な状態を想起させるものとして、困窮顔の表情と、漫符の十字型の怒りマークとして知られるイラストが対応付けて記憶されている。

また描画設定記憶手段４４は、混雑度と対応して、混雑度ごとに異ならせた色を予め記憶している。図４（ｂ）は当該色の設定例を示す説明図であり、混雑度「低」、「中」、「高」に対応する色は、表示部８における表示を目視した監視員がそれぞれを識別可能とするために異ならせて設定されている。混雑度が高まるほど危険が高まることを鑑み、混雑度「低」、「中」、「高」に対応してそれぞれ緑、黄、赤が設定されており、描画設定記憶手段４４は混雑度「低」と対応して緑の色コード、混雑度「中」と対応して黄の色コード、混雑度「高」と対応して赤の色コードを記憶する。

物体領域推定手段５２は監視画像から個々の物体の領域（物体領域）を推定し、推定した物体領域を分布画像生成手段５３に出力する。具体的には、物体領域推定手段５２は物体領域として、撮影されている個々の人の領域を推定する。

例えば、物体領域推定手段５２は、撮影部２から得られる監視画像に対し、予め無人時の監視画像などから生成して記憶部４に記憶させてある背景画像を用いて背景差分処理を行い、画素値の差の絶対値が閾値以上である画素を検出し、検出した画素のまとまりを変化領域として抽出する。

続いて、物体領域推定手段５２はエッジ画像生成処理を行う。つまり、変化領域内における各画素の位置にて監視画像にエッジオペレータを適用し、画素ごとにエッジ強度を算出して所定の閾値で２値化することによりエッジ画像を生成する。

続いて、物体領域推定手段５２はモデルマッチングによる人物位置推定処理を行う。つまり、物体領域推定手段５２は物体モデル記憶手段４３に記憶されている立体モデルを監視画像の座標系に投影して人の形状を模した形状モデルを生成し、変化領域内に形状モデルを、複数通りの個数で複数通りに配置して、配置ごとにエッジ画像との一致度を算出し、一致度が最大の配置を特定する。そして、物体領域推定手段５２は、特定した配置における形状モデルの各位置を人物位置と推定する。なお、一致度は形状モデルの輪郭画素とエッジ強度が所定の閾値以上であるエッジ画素との位置の一致割合とすることができる。

その際、物体領域推定手段５２は監視画像に対応する混雑度の２次元情報（混雑度画像）を参照し、混雑度ごとに、当該混雑度が推定された領域において、変化領域内に当該混雑度が示す範囲内の個数の形状モデルを配置することで、形状モデルどうしの過度な重複を防止して人物位置の推定精度を向上させることができる。また、物体領域推定手段５２は混雑度画像を参照し、低混雑度が推定された領域には人の全身の形状を模した形状モデルを配置し、中混雑度が推定された領域には人の上半身の形状を模した形状モデルを配置し、高混雑度が推定された領域には人の頭部から肩までの範囲の形状を模した形状モデルを配置することで、オクルージョンによる一致度低下を防止して人物位置の推定精度を向上させることもできる。

分布画像生成手段５３は、監視重要度算出手段５１から画像区画ごとの監視重要度を入力され、監視画像における監視重要度の分布を表現した分布画像を生成し、要注視情報出力手段３１に出力する。

例えば、分布画像生成手段５３は物体領域推定手段５２から入力された物体領域と、描画設定記憶手段４４に記憶されている色設定およびアイコンとを参照し、混雑度に応じた色で各物体領域を描画するとともに、各物体領域に監視重要度に応じたアイコンを描画する。

その際、分布画像生成手段５３は、物体領域ごとに監視重要度を統合することで物体領域ごとの監視重要度を求める。例えば、各物体領域内に含まれる画像区画ごとの監視重要度の値の最大値を当該物体領域の監視重要度とする。また、各物体領域内に含まれる画像区画ごとの監視重要度のレベルの平均値または最頻値を当該物体領域の監視重要度とすることもできる。

図５は分布画像の例を示す模式図である。分布画像２００において、表現の都合上、緑色の塗り潰しを横線で、黄色の塗り潰しを斜線で、赤色の塗り潰しを網掛けで、それぞれ表している。

分布画像２００においては、混雑度「低」の領域内の人の像それぞれの推定位置に、形状モデル２０１が緑色で塗り潰されて表示される。混雑度「低」の領域では監視重要度は低くなりやすいため、図５の例では、当該領域の監視重要度は「低」であるとしており、形状モデル２０１の顔に相当する位置およびその近傍に、当該監視重要度を表すアイコンとして表情２１１とイラスト２２１とが描かれている。

また、分布画像２００における混雑度「中」の領域内の人の像それぞれの推定位置に、形状モデル２０２が黄色で塗り潰されて表示される。また当該領域について算出された監視重要度を表すアイコンが形状モデル２０２の顔に相当する位置およびその近傍に表示される。図５の例では、当該領域内では監視重要度は「中」であるとしており、これに対応する表情２１２とイラスト２２２とが描かれている。

分布画像２００における混雑度「高」の領域には、人の像それぞれの推定位置に形状モデル２０３が赤色で塗り潰されて表示される。また当該領域について算出された監視重要度を表すアイコンが形状モデル２０３の顔に相当する位置およびその近傍に表示される。図５の例では、当該領域内では監視重要度は「高」であるとしており、これに対応する表情２１３とイラスト２２３とが描かれている。

分布画像２００においては、人の像の各推定位置に対応して人の形状を模し、混雑度に応じた色で塗り潰された形状モデルが描画されることによって、人の像と混雑度の対応関係が直感的に把握し易くなっている。なお、図５の例では、形状モデルは図３に示した３つの回転楕円体からなる立体モデルよりも複雑な立体モデルに基づくものを示している。

また、分布画像２００においては、監視重要度が例えば、アイコンを用いて表示されるため、監視員等による監視効率の向上が図られる。

なお、好適には、分布画像として、図５について上述したような、形状モデルで表される物体領域とアイコンとを描画した画像を監視画像に透過合成したものを生成することができ、これにより、監視画像に基づく監視領域の具体的な状況と併せて混雑度、監視重要度の把握が可能となり、一層の監視効率の向上が図られる。

要注視情報出力手段３１は、監視画像ごとに、当該監視画像から生成した監視重要度の分布画像、および当該監視領域の監視重要度を当該監視画像のエリアＩＤと対応付けた情報を表示制御部７宛に送信する。

次に、画像監視システム１の動作について説明する。図６は監視重要度を算出する処理の概略のフロー図である。

画像監視システム１において通信部３が画像取得手段３０として機能し、複数の撮影部２（２-1，２-2，…）から監視画像を取得する（ステップＳ１００）。画像取得手段３０は撮影部２-1，２-2，…のいずれかから監視画像を取得するたびに、当該監視画像を画像処理部５に入力し、画像処理部５は監視画像を取得するたびにステップＳ１０１～Ｓ１０９の処理を行って当該監視画像から監視重要度を求める。ちなみに、監視画像はエリアＩＤとともに取得され、エリアＩＤから監視画像に撮影されている監視領域が特定される。

監視画像を取得すると、まず、画像処理部５は混雑度推定手段５０として、また記憶部４は密度推定器記憶手段４０および混雑度記憶手段４１としてそれぞれ機能し、画像区画ごとの混雑度の推定と当該混雑度の格納とを行う（ステップＳ１０１）。具体的には、混雑度推定手段５０は密度推定器記憶手段４０から密度推定器を読み出し、ステップＳ１００で取得した現時刻の監視画像の各画素の位置に密度推定器を適用して画素ごとの混雑度を推定し、画素ごとの混雑度を混雑度記憶手段４１に追加記憶させる。

次に、画像処理部５は監視重要度算出手段５１として、また記憶部４は動き量記憶手段４２としてそれぞれ機能し、画像区画ごとの動き量の検出と当該動き量の格納を行う（ステップＳ１０２）。具体的には、監視重要度算出手段５１は、動き量記憶手段４２から現時刻の監視画像とエリアＩＤが同一である１時刻前の監視画像を読み出し、現時刻の監視画像と１時刻前の監視画像との間で画素ごとのオプティカルフローを動き量として検出し、画素ごとの動き量および現時刻の監視画像をエリアＩＤと対応付けて動き量記憶手段４２に追加記憶させる。なお、監視画像にて混雑度が「低」以上の領域が推定されていない場合（つまり背景クラスの密度のみの場合）は、全画素の動き量を０としてもよい。

続いて、監視重要度算出手段５１は画像区画ごとの監視重要度を算出する（ステップＳ１０３）。具体的には、監視重要度算出手段５１は、現時刻から過去の期間τにわたって推定された混雑度を混雑度記憶手段４１から読み出すとともに、当該期間τにわたって検出した動き量を動き量記憶手段４２から読み出し、画素ごとにこれら混雑度ｄ_ｔおよび動き量ｖ_ｔを用いて式（１）～（３）により各画素の位置における監視重要度Ｓ_Ｔを算出する。

続いて、画像処理部５は現時刻の監視画像において混雑度が「低」以上の領域が推定されていれば（ステップＳ１０４にて「ＹＥＳ」の場合）、物体領域推定手段５２として機能し、物体領域の推定を行う（ステップＳ１０５）。その際、記憶部４は物体モデル記憶手段４３として機能する。具体的には、物体領域推定手段５２は、現時刻の監視画像からエッジ画像を生成するとともに、物体モデル記憶手段４３から立体モデルとカメラパラメータとを読み出して、複数の位置に複数通りの位置の組み合わせでエッジ画像上に投影し、各組み合わせの投影像とエッジ画像との一致度を算出して最も一致度の高い組み合わせを特定する。そして、この特定した組み合わせにおいて立体モデルを投影した領域それぞれを物体領域と推定する。物体領域推定手段５２は、推定した物体領域を監視重要度算出手段５１に出力する。

監視重要度算出手段５１は、ステップＳ１０３にて求めた画像区画ごとの監視重要度を、物体領域推定手段５２から入力された物体領域ごとに統合して、物体領域ごとの監視重要度を算出する（ステップＳ１０６）。

なお、混雑度が「低」以上の領域が推定されておらず現時刻の監視画像の全体が背景と推定された場合（ステップＳ１０４にて「ＮＯ」の場合）は、ステップＳ１０５，Ｓ１０６はスキップされる。

ステップＳ１０６までの処理の後、画像処理部５は分布画像生成手段５３として、また記憶部４は描画設定記憶手段４４としてそれぞれ機能し、分布画像の生成を行う（ステップＳ１０７）。具体的には、分布画像生成手段５３は、物体領域ごとの監視重要度が算出された場合は、各物体領域内の混雑度の最頻値を当該物体領域における混雑度として求め、物体領域ごとに当該物体領域の混雑度に応じた色コードを描画設定記憶手段４４から読み出して各物体領域を色コードが示す色で描画する。また、各物体領域ごとに、当該物体領域の監視重要度を閾値処理してレベルを判定し、描画設定記憶手段４４からレベルに応じたアイコンを読み出して当該物体領域内に描画する。

分布画像生成手段５３は、物体領域ごとの監視重要度が算出されなかった場合は、「低」以上の混雑度が推定された画素について、各画素の混雑度に応じた色コードを描画設定記憶手段４４から読み出して各画素を色コードが示す色で描画する。また、「低」以上の監視重要度が算出された画素について、監視重要度が同一である隣接画素をまとめて統合領域とし、統合領域ごとに監視重要度を閾値処理してレベルを判定し、描画設定記憶手段４４からレベルに応じたアイコンを読み出して当該統合領域内に描画する。

分布画像生成手段５３は、上述の描画結果を現時刻の監視画像に透過合成して分布画像を生成し、生成した分布画像をエリアＩＤとともに通信部３に出力する。

一方、監視重要度算出手段５１は、監視領域ごとの監視重要度を算出する（ステップＳ１０８）。具体的には、監視重要度算出手段５１は、ステップＳ１０３にて現時刻の監視画像の画素ごとに算出した監視重要度のうちの最大値を、当該監視画像のエリアＩＤが示す監視領域の監視重要度として算出する。監視重要度算出手段５１は、算出した監視重要度をエリアＩＤとともに通信部３に出力する。

分布画像生成手段５３から分布画像とエリアＩＤを入力され、監視重要度算出手段５１から監視領域の監視重要度とエリアＩＤを入力された通信部３は、要注視情報出力手段３１として機能し、入力された分布画像、監視重要度およびエリアＩＤを表示制御部７に出力する（ステップＳ１０９）。

画像監視システム１はステップＳ１００にて取得した監視画像について、監視重要度を求め、ステップＳ１０９にて表示制御部７に出力すると、ステップＳ１００に戻り、次に取得される監視画像についてステップＳ１００～Ｓ１０９の処理を繰り返す。

図７は監視重要度を表示する処理の概略のフロー図である。

表示制御部７が有する記憶部には表示モードと、表示エリアと、過去に入力された監視重要度の情報とが格納されている。

表示モードは、１つの監視領域について表示するシングル表示モードと、複数の監視領域について表示するマルチ表示モードとのいずれかである。表示モードはこれらに予め設定されたモード識別子で特定され、記憶部には表示モードとしてモード識別子が記憶されている。

表示エリアは、シングル表示モードであればエリアＩＤで特定され、マルチ表示モードであれば予め複数のエリアＩＤの組み合わせに対して設定されたグループＩＤで特定される。記憶部には、表示エリアの設定として、シングル表示モード用のエリアＩＤとマルチ表示モード用のグループＩＤとが記憶されている。なお、操作部６からの入力は表示モードと表示エリアのいずれかであるとする。

通常時、操作部６による監視員からの操作入力の有無の確認（ステップＳ２００）と、表示制御部７による通信部３からの監視重要度の情報の入力の有無の確認（ステップＳ２０１）とが繰り返されており、表示制御部７は操作入力が無く、かつ監視重要度の情報の入力が無い場合（ステップＳ２００およびＳ２０１にて「ＮＯ」の場合）は、表示処理を行わない待機状態である。

監視員による操作入力が行われると（ステップＳ２００にて「ＹＥＳ」の場合）、表示制御部７は入力内容が表示モードであるか表示エリアであるかを確認する（ステップＳ２０２）。

表示モードの入力であれば（ステップＳ２０２にて「ＹＥＳ」の場合）、表示制御部７は記憶部に記憶されているモード識別子を、入力された値に更新し（ステップＳ２０３）、処理をステップＳ２０６に進める。

一方、表示エリアの入力であれば（ステップＳ２０２にて「ＮＯ」の場合）、表示制御部７は記憶部に記憶されているエリアＩＤまたはグループＩＤを、入力された値に更新し（ステップＳ２０４）、処理をステップＳ２０６に進める。

また、通信部３からの監視重要度の情報の入力があった場合は（ステップＳ２０１にて「ＹＥＳ」の場合）、表示制御部７は入力された監視重要度の情報を記憶部に格納し（ステップＳ２０５）、処理をステップＳ２０６に進める。

こうして待機状態が解除されると、表示制御部７は記憶部の設定を確認し（ステップＳ２０６）、表示モードがマルチ表示モードである場合は（ステップＳ２０６にて「ＹＥＳ」の場合）、表示エリアの設定が示すグループＩＤに対応付けられている複数の監視領域の分布画像をそれらの監視重要度とともに表示部８に表示させる（ステップＳ２０７）。

図８はマルチ表示モードでの表示部８の表示例を示す模式図である。図８において、グループＩＤを構成するエリアＩＤは１～４であり、表示部８の画面にはそれら４つのエリアＩＤそれぞれについて分布画像とともに、監視境域の監視重要度を示すアイコンが表示される。「エリア１」、「エリア３」については監視領域の監視重要度が「低」である表情のアイコンが表示され、「エリア２」については監視重要度が「中」であるアイコンが表示され、「エリア４」については監視重要度が「高」であるアイコンが表示されている。この表示から、監視員は「エリア４」、「エリア２」の順に対処を行うべきであることを迅速に把握できる。

他方、表示モードがシングル表示モードである場合は（ステップＳ２０６にて「ＮＯ」の場合）、表示エリアの設定が示すエリアＩＤに対応付けられている監視領域の分布画像を表示部８に表示させる（ステップＳ２０８）。監視員は表示している監視領域について分布画像から詳細な状況を確認でき、当該監視領域内のいずれの場所に警備員を急行させるか等を判断して対処できる。

こうして表示を更新すると、処理は再びステップＳ２００に戻され、待機状態となる。

［変形例］
（１）上述の実施形態およびその変形例においては、監視重要度算出手段５１が、監視画像の画像区画ごとに監視重要度を算出し、さらに監視領域ごとに監視重要度を算出する例を示したが、いずれか一方の監視重要度を算出してもよい。

ここで、上述したように、混雑度推定手段５０は、対象空間に複数設定した注目領域ごとに、物体の混雑の度合いを表す混雑度を監視画像に基づいて推定するが、監視領域ごとの監視重要度のみを算出する場合、当該監視領域が注目領域となる。

監視領域ごとの監視重要度のみを算出する場合、混雑度推定手段５０は、密度推定器を用いて混雑度を推定する代わりに、監視画像の縁部（監視画像が矩形なら四辺）に注目して監視領域に入った人数と監視領域から出た人数を計測し、入った人数から出た人数を減じた数から混雑度を推定することもできる。

（２）監視重要度算出手段５１は式（２），（３）に代えて次式（４），（５）を用い、逐次的にＤ_ＴおよびＶ_Ｔを算出してもよい。なお、式（４），（５）では、監視画像の撮影周期で時刻および期間を定義しており、時刻ｔ＝Ｔは現画像が撮影された時刻であり、時刻ｔ＝Ｔ－１は直前画像が撮影された時刻を表す。また、期間τは監視画像の撮影回数で表される。

Ｄ_Ｔ＝（τ－１）／τ・Ｄ_Ｔ－１＋１／τ・ｄ_Ｔ …（４）
Ｖ_Ｔ＝（τ－１）／τ・Ｖ_Ｔ－１＋１／τ・ｖ_Ｔ …（５）

この場合、混雑度記憶手段４１はＤ_Ｔ－１だけを記憶できればよく、また、動き量記憶手段４２はＶ_Ｔ－１、およびｖ_Ｔの算出に必要な過去の監視画像だけを記憶できればよく、よって記憶部４の容量を減じることができる。

（３）監視重要度算出手段５１は、時間τを固定値とせずに、時刻Ｔから過去に向かって高密度クラスまたは中密度クラスが連続して推定された時間τを検出し、検出した時間τを式（２），（３）に適用してＤ_ＴおよびＶ_Ｔを算出し、または検出した時間τを式（４），（５）に適用してＤ_ＴおよびＶ_Ｔを算出することもできる。

（４）監視重要度算出手段５１は、処理を単純化した態様として、時刻Ｔから過去に向かって高密度クラスまたは中密度クラスが連続して推定された時間τを求め、式（１）にてＤ_Ｔに代えて当該時間の長さτを用いて監視重要度Ｓ_Ｔを算出してもよい。この態様は、混雑度の代表値ｄ_ｔを、混雑度が中密度未満か中密度以上かによって２値化した値で定義することに相当し、当該態様でも混雑度が高いほど高い監視重要度Ｓ_Ｔが算出される。同様に、時刻Ｔから過去に向かって高密度クラスが連続して推定された時間τの長さそのものを式（１）にてＤ_Ｔに代えて用いてもよい。

（５）上述の実施形態およびその変形例においては、監視重要度算出手段５１が、混雑度、混雑の継続時間および物体の動き量を基に監視重要度を算出する例を示したが、監視重要度算出手段５１は、動き量を省略して混雑度と混雑の継続時間とから監視重要度を算出してもよいし、継続時間を省略して混雑度と物体の動き量とから監視重要度を算出してもよい。

（６）上述の実施形態およびその変形例においては、監視重要度算出手段５１がオプティカルフロー分析によって動きベクトルを検出する例を示したが、混雑度が所定以上である領域（例えば高密度クラスが推定された領域）については、所定時間長に亘り順次撮影された監視画像からなる時系列画像に対する時空間セグメンテーションを行い、各セグメントにおける動きベクトルを検出することもできる。

ここで時空間セグメンテーションは、時系列画像が形成する時空間にて隣接・近傍関係にあり且つ互いに画素値（色または濃度）が類似する画素のまとまりである時空間セグメントを生成する処理である。ちなみに、時系列画像は、それを構成する各時刻の２次元画像（空間画像）の座標軸（ｘ軸、ｙ軸とする）と、時間軸（ｔ軸とする）とで座標（ｘ，ｙ，ｔ）を定義される時空間における３次元画像と考えることができ、画素の隣接・近傍関係は、ｘ軸、ｙ軸方向に関する空間的な画素の位置関係と、ｔ軸方向に関する時間的な画素の位置関係との両面から把握される。

時空間セグメンテーションは、時刻が連続する空間画像間での移動物体の像の重なりを要するため、移動物体の動きが少ない領域に適用するのが好適であり、この点から、ここでは高混雑度の領域に適用することとしている。

時空間セグメンテーションを行う時系列画像の時間軸方向の範囲（分析区間）は処理負荷の観点から基本的に有限とし、その時間長（分析区間長）は予め設定される。例えば、時空間セグメンテーションを利用して高混雑領域における動きベクトルを算出する場合、分析区間長は５時刻とすることができ、この場合、監視重要度算出手段５１は、記憶部４から過去４時刻（ｔ＝Ｔ－４～Ｔ－１）の監視画像を読み出し、それらと現時刻（ｔ＝Ｔ）の監視画像を時刻順に並べた時空間画像の高混雑領域において、画素位置および撮影時刻が隣接する画素間にて画素値の相違度を算出し、相違度が小さければ同一セグメントとして結合させる、という処理を繰り返すことで、複数の時空間セグメントに分割する。

そして、各時空間セグメントに含まれる画素のうち時刻が同じ画素のまとまりを切片と呼ぶことにすると、監視重要度算出手段５１は例えば、各時空間セグメントにおける５時刻分の切片それぞれの重心を求め、時空間セグメントごとに重心位置の時間変化を直線近似して動きベクトルを算出する。

このように時間方向の隣接画素もまとめる時空間セグメンテーションを用いることで、照明変動による画素値の時間的揺らぎを原因とする動きベクトルの算出誤差を低減できる。

（７）上述の実施形態およびその変形例においては、分布画像生成手段５３が物体領域ごとに監視重要度を統合して分布画像を生成する例を示したが、画像区画ごとの監視重要度そのものを示す分布画像を生成してもよい。その場合、例えば、監視重要度が同一で互いに隣接する画像区画を連結して、連結領域の重心にマークを重畳する、或いは連結領域内に等間隔にマークを重畳することができる。

（８）上述の実施形態およびその変形例においては、画像区画を各画素とし画素ごとに混雑度を推定する例を示したが、複数の画素からなる画像区画としてもよい。例えば、監視画像を複数のブロックに分割して各ブロックを画像区画とする。この場合、ブロックは推定用抽出窓よりも小さく予め定めるのが好適であり、混雑度推定手段５０は、各ブロックの重心位置に推定用抽出窓を設定して画像区画ごとの混雑度を推定する。例えば、画像区画として３×３画素のブロックを設定し、３画素おきに推定用抽出窓を設定して推定用特徴量を抽出する。

（９）上記各実施形態およびその変形例においては、検出対象の物体を人とする例を示したが、これに限らず、検出対象の物体を車両、牛や羊等の動物等とすることもできる。

（１０）上記各実施形態およびその各変形例においては、多クラスＳＶＭ法にて学習した密度推定器を例示したが、多クラスＳＶＭ法に代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器とすることができる。

或いは識別型のＣＮＮ（Convolutional Neural Network）を用いた密度推定器とすることもできる。

（１１）上記各実施形態およびその各変形例においては、密度推定器が推定する背景以外の密度のクラスを３クラスとしたが、より細かくクラスを分けてもよい。

（１２）上記各実施形態およびその各変形例においては、多クラスに分類する密度推定器を例示したがこれに代えて、特徴量から密度の値（推定密度）を回帰する回帰型の密度推定器とすることもできる。すなわち、リッジ回帰法、サポートベクターリグレッション法、回帰木型のランダムフォレスト法またはガウス過程回帰（Gaussian Process Regression）などによって、特徴量から推定密度を求めるための回帰関数のパラメータを学習した密度推定器とすることができる。

或いは回帰型のＣＮＮを用いた密度推定器とすることもできる。

（１３）上記各実施形態およびその各変形例においては、密度推定器が学習する特徴量および推定用特徴量としてＧＬＣＭ特徴を例示したが、これらはＧＬＣＭ特徴に代えて、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、ＨＯＧ特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＧＬＣＭ特徴とこれらのうちの複数を組み合わせた特徴量とすることもできる。

１ 画像監視システム、２ 撮影部、３ 通信部、４ 記憶部、５ 画像処理部、６ 操作部、７ 表示制御部、８ 表示部、３０ 画像取得手段、３１ 要注視情報出力手段、４０ 密度推定器記憶手段、４１ 混雑度記憶手段、４２ 動き量記憶手段、４３ 物体モデル記憶手段、４４ 描画設定記憶手段、５０ 混雑度推定手段、５１ 監視重要度算出手段、５２ 物体領域推定手段、５３ 分布画像生成手段。

Claims (3)

1. 所定の物体が混雑し得る空間を撮影した監視画像から前記物体について注視すべき度合いを表す情報を生成する画像監視システムであって、
   前記監視画像を順次取得する画像取得手段と、
   前記監視画像の各画像区画における前記物体の密度である混雑度を推定する混雑度推定手段と、
   前記各画像区画における前記物体の前記密度の値が０以上である所定値より大きいときの継続時間に関する値を算出し、該値に基づき、各画像区画について前記混雑度が高いほど高く前記継続時間が長いほど高い監視重要度を算出する監視重要度算出手段と、
   前記監視重要度に基づいて前記空間における前記監視重要度の分布を示す分布画像を生成する分布画像生成手段と、を備え、
   前記分布画像を表示部に表示させることを特徴とする画像監視システム。
2. 所定の物体が混雑し得る空間を撮影した監視画像から前記物体について注視すべき度合いを表す情報を生成する画像監視システムであって、
   前記空間のうち複数の撮影部のそれぞれにより撮影される複数の監視領域についてそれぞれ前記監視画像を順次取得する画像取得手段と、
   前記各監視画像の各画像区画において前記物体の密度である混雑度を推定する混雑度推定手段と、
   前記各画像区画における前記物体の前記密度の値が０以上である所定値より大きいときの継続時間に関する値を算出し、該値に基づき、前記各画像区画について前記混雑度が高いほど高く前記継続時間が長いほど高い監視重要度を算出するとともに、前記監視領域ごとに１の前記監視重要度の代表値を算出する監視重要度算出手段と、
   前記各監視領域における前記監視重要度の分布を示すとともに、該監視領域の前記監視重要度の前記代表値を示す分布画像を生成する分布画像生成手段と、を備え、
   前記分布画像を表示部に表示させることを特徴とする画像監視システム。
3. 前記監視重要度算出手段は、さらに、前記監視画像から前記各画像区画における前記物体の動き量を算出し、前記各画像区画について前記動き量が少ないほど高い監視重要度を算出することを特徴とする請求項１又は２に記載の画像監視システム。

Images