JP4628712B2 - 画像上移動物体認識方法及び装置 - Google Patents

Description

本発明は、時系列画像を処理して画像中の移動物体（車、自転車、動物等の移動可能なもの）を認識する画像上移動物体認識方法及び装置に関する。

ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を認識し追跡することにより、交通状態や交通事故の検出、駐車場の車の出入り分析、店舗内の客の移動分析等を自動的に行うことができる。

画像上の移動物体を認識し追跡する方法として、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（例えば下記特許文献１〜３）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。

このような方法では、フレーム画像内の複数の移動物体をリアルタイムで追跡処理する必要があるので、処理を高速化する必要がある。特に、移動物体の速度を計測する場合には、計測精度を高めるためフレーム３０フレーム／秒の全てのフレーム画像が処理されるので、より高速化が要求される。

この要求に応えるために、モノクロ画像を用いると、移動物体とその影とを区別することが困難となる。また、模様の無い移動物体が多く、特に移動物体の中間部のブロックの特徴量が少ないため、モノクロ画像では移動物体の中間部が背景と区別できない場合が生じ、この場合、同一移動物体でありながら前部と後部が異なる移動物体と認識される。逆に、濃度が類似している２つの移動物体が重なっている場合、１つの移動物体と認識される場合がある。

このような問題を解決するため、高解像度のカラー画像を処理すると、フレームを間引かなければリアルタイム処理ができなくなり、移動物体の位置や速度等の物理量の計測精度が低くなる。すなわち、処理の高速化と移動物体認識の正確化は、トレードオフの関係にある。

下記特許文献４では、画像上で抽出すべき領域を大まかに位置指定するだけで対象画像を自動的に切り出すために、画像中の一次特徴データを高速に抽出し、その分布に基づいて画像の領域分割を行うことにより、抽出可能性のある画像領域を概略的に抽出し、次に候補領域を核とする二次特徴量（一次特徴と種別、属性などが異なる特徴量）に基づく領域成長を行うことにより、より精細な抽出を行う方法が開示されている。一次特徴としては低解像度データ（例えば画像を間引き処理または平均化などにより低解像化した後、動きベクトルを検出するか、または画像データをサイズの大きいブロックに分割して各ブロックごとの動きベクトルを算出する。）を用い、二次特徴は色成分または同じ種別の高解像度データを用いる。動きベクトル均質度の評価から領域成長核の設までは低解像度で行い、領域成長は高解像度で行うことにより精細な切り出しを行う。領域成長は、均質度に基づく部分領域の併合または分離処理を意味する。

しかし、二次特徴量を具体的にどのように処理するのか開示されていない。画像上の複数の移動物体を切り出してより高精度で位置や速度等を計測するには、効率よく画像処理する必要があるが、この要求を満たす具体的な方法が特許文献４には開示されていない。
特開２００２−１３３４２１号公報 特開２００３−００６６５５号公報 特開２００３−２６３６２６号公報 特開平０９−１８５７２０号公報

本発明の目的は、上記問題点に鑑み、移動物体を高速かつより正確に認識することができる画像上移動物体認識方法及び装置を提供することにある。

本発明による画像上移動物体認識方法では、時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、第１段階で移動物体領域の概略をブロック単位で高速に認識し、第２段階で該領域のみについてブロック単位で修正することにより、移動物体を高速かつより正確に認識する。

本発明の第１態様では、
（ａ）該基準値を第１の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
（ｂ）該基準値を該第１の値より大きい第２の値にし、該領域内において移動物体の存否をブロック単位で判定すことにより、ステップ（ａ）で移動物体と判定された影の領域をステップ（ｂ）により狭くする。

本発明による画像上移動物体認識方法の第２態様では、
（ａ）該ブロックのサイズを第１の値にして該非類似度に基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
（ｂ）該領域の周縁部のブロックを、該第１の値より小さい第２の値のサイズのブロックに分割し、該分割された各ブロックにつき該非類似度に基づいて移動物体存否を判定する。

本発明による画像上移動物体認識方法の第３態様では、
（ａ）該基準値を第１の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
（ｂ）２つの該領域が所定値以上接近し、かつ、該２つの領域の動きベクトルの差が所定値以下であれば、該２つの領域が内接する矩形を求め、
（ｃ）該矩形内の各ブロックについて該非類似度が、該第１の値より小さい第２の値以上であれば移動物体が該ブロックに存在すると判定する。

本発明による画像上移動物体認識方法の第４態様では、移動物体が存在するブロックが連なった第１及び第２の領域について、該第１の領域のブロック数が所定値以下であり、かつ、該第２の領域が該第１の領域から所定距離内に存在すれば、該第１及び第２の領域と両者の間の領域にも移動物体が存在するとみなし、該第１及び第２の領域と該両者の間の領域に同一移動物体が存在するとみなす。

本発明による画像上移動物体認識方法第５態様では、
（ａ）輝度成分を用いて該方法によりブロック単位で移動物体存否を仮判定し、移動物体が存在すると仮判定したブロックが連なった領域を認識し、
（ｂ）該領域について、色成分も用いて該方法によりブロック単位で移動物体存否を本判定する。

上記第１〜５態様の構成によれば、第１段階で認識された移動物体存在領域に関してのみ第２段階で修正処理されるので、処理が高速になる。

上記第１態様の構成によれば、非類似度の比較基準値を第１段階よりも大きくするので、第１段階で移動物体の影を移動物体と認識されても、第２段階でその一部又は全部が移動物体と認識されず、また、第２段階で新たな移動物体不存在ブロックが該領域の縁部を除く内側に生成されても、これらを同一移動物体みなして処理することが可能であるので、処理時間の増大を抑制するとともに、移動物体認識の正確化を図ることができる。

上記第２態様の構成によれば、第１段階で認識された移動物体領域の内側のブロックについては再分割されないので、該領域の周縁部形状が従来よりも高速かつ正確に求められ、また、第２段階で新たな移動物体不存在ブロックが該領域の内側に生成されないので、それを移動物体存在ブロックで埋める処理をする必要がない。

上記第３又は第４態様の構成によれば、例え上記第１又は第２態様の第１段階で同一移動物体が異なる移動物体として分離認識されても、これらを同一移動物体と認識することが可能となる。

上記第５態様の構成によれば、第１段階で認識された移動物体領域の画像とその背景画像との非類似度が、実際に移動物体が存在するブロックについて第２段階で大きくなるので、第２段階では、第１段階で移動物体と認識された影のブロックを除去したり、第１段階で移動物体の一部であるのに移動物体でないと判定されたブロックを移動物体存在ブロックと判定することが可能となる。このため、２つの移動物体の一方の影に他の移動物体が重なっていて、該２つの移動物体と該影とが１つの移動物体と認識されても、これら２つの移動物体を分離して認識することが可能となる。

本発明の他の目的、構成及び効果は以下の説明から明らかになる。

以下、図面に基づいて本発明の実施例を説明する。図中、同一又は類似の要素には、同一又は類似の符号を付している。

図１は、ビデオカメラ（例えばＩＴＶカメラ）１０で撮像された画像を処理して移動物体を追跡する移動物体追跡装置２０の概略機能ブロック図である。ビデオカメラ１０は、例えば交差点付近に配置されており、図２はこのビデオカメラ１０で撮像された概略フレーム画像を示す。

移動物体追跡装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。

ビデオカメラ１０で撮影された時系列画像は、例えば３０フレーム／秒のレートで、画像メモリ２１に複数フレーム格納され、最も古いフレームが新しいフレーム画像で書き換えられる。

本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２６により、リアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。

また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２６で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後逆フーリエ変換したもの（変換画像）を、構成要素２３〜２６で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。

背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の値とする画像を、背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。

ここで、図２に示す如くフレーム３０内には、交差点への４つの入口及び交差点からの４つの出口にそれぞれ入口スリットＥＮ１〜ＥＮ４及び出口スリットＥＸ１〜ＥＸ４が配置される。ＩＤ生成／消滅部２３には、フレーム３０内の入口スリットＥＮ１〜ＥＮ４及び出口スリットＥＸ１〜ＥＸ４の位置及びサイズのデータが、予め設定されている。ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これら入口スリット内に移動物体が存在するかどうかを上述のブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、ブロック非類似度ＮＳが基準値ＲＶ１以上であるかどうかにより判定する。ブロック非類似度ＮＳは例えば、ブロック内の各画素と背景画像の対応する画素との差の絶対値の総和である。

ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図２中の入口スリットＥＮ１内のブロックにはＩＤ＝１が付与される。以下、ＩＤが付与されたブロックの塊をクラスタと称する。

ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップ記憶部２４は、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグＦと、ＩＤが付与されていることを示している場合にはＩＤ及びブロックの動きベクトルＭＶを含む。なお、該フラグを用いずに又は用いるとともに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングで動きベクトルＭＶが求まらないブロックの動きベクトルＭＶは例えば、その回りの同一ＩＤのブロックの動きベクトルＭＶの平均値に等しくする。

入口スリットを通過したクラスタに対しては、移動物体認識部２５により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（時刻は例えばフレームのシリアルナンバー）での動きベクトルＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックの動きベクトルＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１での動きベクトルＭＶで予測して定められる。各ブロックのＩＤと動きベクトルＭＶは、評価関数を用いて同時に決定することもできる（例えば上記特許文献３）。ＩＤ及び動きベクトルＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。

移動物体認識部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。

ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリットＥＸ１〜ＥＸ４内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。例えば図２中の出口スリットＥＸ１内のブロックにＩＤ＝３が付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。

次に、本実施例１が解決しようとする問題点を説明する。

基準値ＲＶ１が大きすぎると、図５（Ａ）に示す如く同一移動物体が複数のクラスタとなって、異なる移動物体と認識される。これを避けるために基準値ＲＶ１を小さくすると、図４（Ａ）に示す如く移動物体３１の影３２も移動物体と認識されてしまう。様々な輝度の移動物体が存在するので、両問題が生じないように基準値ＲＶ１を定めるのは困難である。

そこで、各ブロックの移動物体存否判定にその周囲のブロック画像まで考慮したり、カラー画像を用いたりすると、処理が遅くなる。これを避けるためには、フレームレートを下げたり、あるいは高性能の高価なハードウェアを用いなければならない。

本実施例１は、このような問題を解決するため、図１において、ＩＤ生成／消滅部２３及び移動物体認識部２５により記憶部２４に生成されたオブジェクトマップに対し、移動物体認識修正部２６により各クラスタ内の移動物体を以下のようにしてより正確に認識する。

移動物体認識修正部２６はまず、ＩＤのオブジェクトマップ上の各クラスタついて、図４（Ａ）に示す如く、クラスタが内接する矩形３３を求める。これは、ＩＤのオブジェクトマップをスキャンして、各ＩＤｊ、ｊ＝１〜ＮにつきそのブロックのＸ座標の最小値Ｘ０ｊ及び最大値Ｘｍｊ、並びにＹ座標の最小値Ｙ０ｊ及び最大値Ｙｍｊを求めることにより、
ＩＤ１，（Ｘ０１，Ｙ０１），（Ｘｍ１，Ｙｍ１）
ＩＤ２，（Ｘ０２，Ｙ０２），（Ｘｍ２，Ｙｍ２）
・・・・・・・・・・・・・・・・・・・・・・
ＩＤＮ，（Ｘ０Ｎ，Ｙ０Ｎ），（ＸｍＮ，ＹｍＮ）
として得られる。これら矩形のＩＤ１〜ＩＤＮは、その矩形内の移動物体ブロックに付与されているＩＤと同一である。

図３は、任意の１つのクラスタが内接する矩形に対する移動物体認識修正部２６の処理を示す概略フローチャートである。

この矩形３３の対角点座標を（Ｘ０，Ｙ０）及び（Ｘｍ，Ｙｍ）、ブロック（Ｘ，Ｙ）のＩＤ及び非類似度ＮＳをそれぞれＩＤ（Ｘ，Ｙ）及び非類似度ＮＳ（Ｘ，Ｙ）と表記する。

（Ｓ０）Ｘ及びＹにそれぞれ初期値Ｘ０及びＹ０を代入する。

（Ｓ１）ＩＤ（Ｘ，Ｙ）≠０であれば、すなわちブロック（Ｘ，Ｙ）に移動物体が存在すれば、ステップＳ２へ進み、そうでなければステップＳ４へ進む。

（Ｓ２）ＮＳ（Ｘ，Ｙ）≦ＲＶ２であればステップＳ３へ進み、そうでなければステップＳ４へ進む。

基準値ＲＶ２は、移動物体認識部２５で用いる基準値ＲＶ１よりも大きく、移動物体のみを移動物体と認識しその影３２を移動物体でないと認識するためのものである。基準値ＲＶ２は、移動物体追跡処理前に予め設定されている。

この設定は、図１において、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、移動物体認識修正部２６に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。

基準値ＲＶ２は例えば、画面上で選択した移動物体を拡大表示させ、各ブロックの非類似度ＮＳをこの画像上に重ねて表示させ、その分布から操作者が決定する。この場合、非類似度ＮＳのヒストグラムを作成して画面に表示させるようにしてもよい。ヒトグラム上で影に対応したピークが現れるので、このピーク又はその裾側のボトムの非類似度ＮＳに基づいて、基準値ＲＶ２を自動的に決定する構成であってもよい。

（Ｓ３）ＩＤ（Ｘ，Ｙ）に０を代入する。

（Ｓ４）矩形３３内のブロック座標（Ｘ，Ｙ）を更新する。

（Ｓ５）更新した座標が矩形３３内であれば、ステップＳ１へ戻り、そうでなければステップＳ６へ進む。

以上のような処理により、図４（Ａ）に示すような矩形３３内のＩＤ分布は、図４（Ｂ）に示す如くなって、影の一部または全部が移動物体でないと判定される。

（Ｓ６、Ｓ７）移動物体の輝度が背景の輝度に接近しているために、以上の処理により図５（Ａ）に示す如くクラスタが分離したり、移動物体ブロックが欠落する場合があるので、次のようにして移動物体ブロックを補う。

すなわち、矩形３３内の各行についてＸ方向へ走査し、同一行内において、移動物体が存在するブロックから存在しないブロックに移り、再度移動物体が存在するブロックに移った場合には、この間の移動物体不存在ブロック（隙間）に、矩形に付与された移動物体のＩＤを付与する。これにより、図５（Ｂ）に示す如く、クラスタ間の隙間が埋まって１つの移動物体クラスタが得られる。すなわち、クラスタが２つ以上に分離したり、分離していないが隙間がある場合には、これら隙間が同一ＩＤの移動物体ブロックで埋められる。

基準値を最初からＲＶ２にすると、同一移動物体が複数のクラスタに分離する確率が大きくなり、分離したクラスタをまとめて１つの移動物体と認識するのは容易でなく、また、その処理時間が長くなる。

本実施例１では、非類似度の基準値を比較的小さなＲＶ１にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、各領域内において、基準値をＲＶ１より大きいＲＶ２にして移動物体の存否をブロック単位で判定するので、処理時間の増大を抑制するとともに、移動物体の影の一部又は全部を移動物体でないと判定して移動物体認識の正確化を図ることができる。

図６は、ビデオカメラ１０で撮像された画像を処理して移動物体を追跡する、本発明の実施例２に係る移動物体追跡装置２０Ａの概略機能ブロック図である。

実施例１と異なる点は、ブロックサイズを大きくし、例えば、図８（Ａ）に示すようにブロックの一辺の長さを２倍にして、ＩＤ生成／消滅部２３及び移動物体認識部２５での処理時間を短縮するとともに、移動物体認識修正部２６Ａにおいて、オブジェクトマップ上の各移動物体領域の周縁部につき、画像メモリ２１及び背景画像生成部２２のデータを用い移動物体を、以下のようにしてより正確に認識する点である。

ブロックサイズを大きくすることにより１ブロックに含まれる情報量が増えるので、図５（Ａ）に示すようにブロックに移動物体が存在するにも関わらず存在しないと誤判定される確率を低減することができる。

しかしながら、ブロックサイズが大きいので、移動物体と判定される領域が広くなりすぎる。

移動物体をより正確に認識するために、移動物体と判定された全領域のブロックサイズを小さくすると、１ブロックに含まれる情報量が減少するので、上述の隙間が生じ、１つの移動物体が複数のクラスタに分離したりし、その修正処理に時間を要する。

そこで、移動物体認識修正部２６Ａは、実施例１で述べたように、まず、クラスタが内接する矩形３３を求め、次に、各矩形について図７に示す処理を行う。

この矩形３３の対角点座標を（Ｘ０，Ｙ０）及び（Ｘｍ，Ｙｍ）、ブロック（Ｘ，Ｙ）の移動物体存否フラグをＦ（Ｘ，Ｙ）と表記する。

（Ｓ１０）Ｘ及びＹにそれぞれ初期値Ｘ０及びＹ０を代入する。

（Ｓ１１）Ｆ（Ｘ，Ｙ）＝１であれば、すなわちブロック（Ｘ，Ｙ）に移動物体が存在すれば、ステップＳ１２へ進み、そうでなければステップＳ１５へ進む。

（Ｓ１２）着目ブロック（Ｘ，Ｙ）を中心とする３×３ブロックのフラグＦの値を加算し、これをｎとする。矩形３３の外側のフラグＦは無視する。

（Ｓ１３）ｎ≦６であれば、すなわち着目ブロックの周囲８ブロックのうち３ブロック以上に移動物体が存在しなければ、ステップＳ１４へ進み、そうでなければステップＳ１５へ進む。例えば、ブロックＢＬ１、ＢＬ２はそれぞれｎ＝４、ｎ＝７である。

（Ｓ１４）図８（Ｂ）に示すように、ブロック（Ｘ，Ｙ）を４分割し、その各々について非類似度ＮＳを求め基準値と比較して移動物体存否を判定し、存在すると判定されたブロックのみに、上記矩形３３のＩＤを付与する。

（Ｓ１５）矩形３３内のブロック座標（Ｘ，Ｙ）を更新する。

（Ｓ１６）更新した座標が矩形３３内であれば、ステップＳ１１へ戻り、そうでなければ処理を終了する。

本実施例２では、ブロックサイズを比較的大きな第１の値にして非類似度ＮＳに基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を短時間、例えば従来の約１／４の時間で認識し、該領域の周縁部のブロックを、該第１の値より小さい第２の値のサイズのブロックに分割し、該分割された各ブロックにつき非類似度ＮＳに基づいて移動物体存否を判定するので、図８（Ｂ）に示すように周縁部の形状がより正確に求められ、また、移動物体の内側のブロックについては分割されないので新たに隙間が形成されず、それを埋める処理をする必要がない。

また、着目ブロックに接する移動物体不存在ブロックの数が所定数以上である該着目ブロックを上記周縁部のブロックと判定するので、簡単な処理で分割が必要なブロックのみ分割することが可能となり、短時間で移動物体を正確に認識することが可能となる。

なお、ステップＳ１１又はステップＳ１３からステップＳ１５へ進む場合に、ステップ１５へ移る前に着目ブロック（Ｘ，Ｙ）を分割し、その各々に分割前のＩＤ（移動物体が存在しないブロックのＩＤは０）を付与してもよい。このようにすれば、図７の処理により図９に示すような結果が得られ、矩形３３内のデータ構造が簡単になるので、矩形３３内に対する他の処理が容易になる。

また、図７の処理の後に、図２のステップＳ６及びＳ７の処理を行ってもよい。

実施例１又は２において、基準値ＲＶ１を比較的小さな値にし又はブロックサイズを大きくしても、移動物体によっては背景と輝度が類似しているために、図１１（Ａ）に示す如く、１つの移動物体が２つのクラスタとして認識される場合がある。

本実施例３ではこの問題を解決するため、図１の移動物体認識修正部２６は、クラスタが内接する複数の矩形のうち隣り合う矩形対に対し、図１０に示す処理を行う。

（Ｓ２０）矩形３４、３５間のＸ方向距離ΔＸ及びＹ方向距離ΔＹ（矩形間が接する場合は０、重なり合う場合は負）を求める。図１１（Ａ）の場合、ΔＸ＞０、ΔＹ＜０である。

（Ｓ２１ａ、Ｓ２１ｂ）ΔＸ≦Ｄ１かつΔＹ≦Ｄ２であればステップＳ２１ｃへ進み、そうでなければ処理を終了する。Ｄ１及びＤ２はいずれも正の値であり、本実施例３の効果が得られるように経験的に定められ、上述の設定手段により予め設定されている。

（Ｓ２１ｃ）それぞれの矩形内のブロックの動きベクトル代表値、例えば平均値Ｍ１及びＭ２を求め、両者の差ΔＭ＝｜Ｍ１−Ｍ２｜を求める。ΔＭ≦Ｄ３であればステップＳ２２へ進み、そうでなければ処理を終了する。このＤ３についても上記Ｄ１及びＤ２と同様に定められ、予め設定されている。

（Ｓ２２）図１１（Ｂ）に示すように、両矩形が内接する矩形３６を求める。また、矩形３６内の移動物体ブロックのＩＤを、いずれか一方の値ＩＤｊに統一し、ＩＤｊを矩形３６に付与する。

（Ｓ２３）ＲＶ１−Δを新たな基準値ＲＶ３とする。Δは正の値であり、上述のＤ１〜Ｄ３と同様に定められ、上述の設定手段で予め設定されている。基準値ＲＶ１は、オブジェクトマップ作成のために移動物体認識部２５で用いられた値である。また、Ｘ及びＹにそれぞれ矩形の一方の対角点座標Ｘ０及びＹ０を代入する。

（Ｓ２４）ＩＤ（Ｘ，Ｙ）＝０であればステップＳ２５へ進み、そうでなければステップＳ２７へ進む。

（Ｓ２５）ＮＳ（Ｘ，Ｙ）≧ＲＶ３であればこのブロックに移動物体が存在すると判定してステップＳ２６へ進み、そうでなければステップＳ２７へ進む。

（Ｓ２６）ＩＤ（Ｘ，Ｙ）に、矩形に付与されているＩＤｊを代入する。

（Ｓ２７）矩形３６内のブロック座標（Ｘ，Ｙ）を更新する。

（Ｓ２８）更新した座標が矩形３６内であれば、ステップＳ２４へ戻り、そうでなければステップＳ２９へ進む。

以上の処理により、図１１（Ｂ）に示すようなＩＤのオブジェクトマップが得られる。

（Ｓ２９、２９Ａ）図３のステップＳ６及びＳ７と同じ処理を行う。

本実施例３によれば、以上の処理により、図１２に示すようなＩＤのオブジェクトマップが得られ、移動物体をより正確に認識することが可能となる。

なお、１つの移動物体が３以上のクラスタに分離して認識されている場合には、その２つのクラスタについて以上の処理を行い、これを繰り返すことにより、１つの移動物体と認識される。

上記いずれかの実施例において、移動物体認識部２５により生成されたＩＤのオブジェクトマップが図１４（Ａ）に示すように、周囲に移動物体ブロックが存在しない孤立移動物体ブロック３７（斜線部）が存在する場合がある。このような小さな移動物体が独立して存在する確率は、一般的に小さい。また、孤立移動物体ブロック３７は、その近くの移動物体ブロックと同じ移動物体に属する確率が大きい。

そこで、本発明の実施例３では、このような孤立移動物体ブロック３７が存在する場合、移動物体認識修正部２６又は２６Ａにおいて、各孤立移動物体ブロック毎に図１３に示す処理を行う。

（Ｓ３０）矩形３６内に孤立移動物体ブロックが存在するかどうかを調べる。存在すればステップＳ３１へ進み、そうでなければ処理を終了する。

（Ｓ３１）孤立移動物体ブロックから距離ｄ内に他の移動物体ブロックが存在するかどうかを調べる。ｄの単位は１ブロック幅であり、例えばｄ＝２の場合、図１４（Ａ）に太線で示す３×３の局所領域３８に、辺または頂点が接している移動物体ブロックが存在するかどうかを調べる。ｄの値は、上述の設定手段で同様に予め設定される
（Ｓ３２）この孤立移動物体ブロックと上記接している移動物体ブロックの間にある移動物体不存在ブロックを、移動物体存在ブロックとみなす。連なった移動物体ブロックが同一ＩＤになるようにＩＤを付与又は変更する。これにより、ＩＤのオブジェクトマップは図１４（Ｂ）に示す如くなる。

（Ｓ３３）このような処理を行っても、隙間ブロックが存在する場合があるので、矩形３６内の移動物体不存在ブロックの各々について、これと辺又は頂点が接するブロックに同一ＩＤの移動物体ブロックがｍ個以上あるかどうかを判定し、あればこの移動物体不存在ブロックに、該同一ＩＤを付与する。ｍは例えば５である。

図１３の処理は、例えば、図３のステップＳ５とＳ６の間において行われる。この場合、図１３のステップＳ３３を省略して、図３のステップＳ６及びＳ７の処理により隙間を埋めるようにしてもよい。

また、ｋ個以下の移動物体ブロックからなるクラスタを孤立クラスタとし、以上の孤立移動物体ブロックに対する処理と同様の処理を行っても、同様の効果が得られる。ｋの値は、画像上の移動物体の平均サイズ及びブロックサイズに基づいて経験的に定められる。

本実施例４では、移動物体が存在するブロックが連なった第１及び第２の領域について、該第１の領域のブロック数が所定値以下であり、かつ、該第２の領域が該第１の領域から所定距離内に存在すれば、該第１及び第２の領域と両者の間の領域に移動物体が存在するとみなし、これにより連なった領域を１つの移動物体とみなすので、移動物体をより正確に認識することができる。

本発明の実施例５では、図６のビデオカメラ１０としてカラービデオカメラを用いる。簡単化のために、ビデオカメラ１０の出力信号は輝度信号Ｙと色差信号Ｉ及びＱであるとする。

処理高速化のため、ＩＤ生成／消滅部２３及び移動物体認識部２５は輝度信号Ｙの画像（Ｙ画像）のみを用いてオブジェクトマップを作成する。この際、Ｙ画像についてのブロック毎の非類似度ＮＳｙを記憶部２４に格納しておく。

移動物体認識修正部２６Ａは、作成されたオブジェクトマップ上の各クラスタを含む矩形領域に対してのみ、画像メモリ２１及び背景画像生成部２２に格納されている色差信号Ｉ及びＱの画像（Ｉ画像及びＱ画像）を用いる。移動物体認識修正部２６Ａは、矩形領域内の各ブロックで、Ｉ画像及びＱ画像の各々に関し上述の非類似度ＮＳｉ及びＮＳｑ求め、すでに求められているＹ画像の非類似度ＮＳｙにこれらの非類似度ＮＳｉ及びＮＳｑを加算したものをブロックの非類似度ＮＳとし、これを基準値と比較して移動物体存否を判定する。

これにより、背景画像との差が大きくなるので、すなわち非類似度ＮＳが大きくなるので、クラスタから移動物体の影のブロックを除去したり、図５（Ａ）に示すような隙間を埋めることが可能となる。また、移動物体の影に他の移動物体が重なっているため、上記Ｙ画像処理のみではこれらが１つの移動物体と認識された場合、上記Ｉ画像及びＱ画像処理により影の領域に移動物体が存在しないと判定されて、２つの分離した移動物体と認識される。

なお、移動物体が存在すると判定されたブロックの連なった領域について、隣接ブロック間のカラー画像非類似度が所定値以上であり、かつ、該隣接ブロック間の動きベクトルの差が所定範囲以上であれば、両ブロックが異なる移動物体であると判定することにより、画像上で重なった移動物体を異なる移動物体と認識する構成であってもよい。

なお、本発明には外にも種々の変形例が含まれる。

例えば上記実施例１〜４ではモノクロ画像を用いる場合を説明したが、カラー画像にも適用できることは勿論である。特に、図７のステップＳ１４でカラー画像を用いれば、移動物体をより正確に認識することができる。また、実施例４をカラー画像で行い、これを実施例５と組み合わせた構成であってもよい。

本発明の実施例１に係る、画像を処理して移動物体を追跡する移動物体追跡装置の概略機能ブロック図である。 設定された入口スリット及び出口スリットを示すための概略フレーム画像を示す図である。 図１中の移動物体認識修正部による処理を示す概略フローチャートである。 図３の処理を説明するための図である。 図３の処理を説明するための図である。 本発明の実施例１に係る、画像を処理して移動物体を追跡する移動物体追跡装置の概略機能ブロック図である。 図６中の移動物体認識修正部による処理を示す概略フローチャートである。 図７の処理を説明するための図である。 図７の処理を説明するための図である。 本発明の実施例３に係る移動物体認識修正部による処理を示す概略フローチャートである。 図１０の処理を説明するための図である。 図１０の処理を説明するための図である。 本発明の実施例３に係る移動物体認識修正部による処理を示す概略フローチャートである。 図１３の処理を説明するための図である。

符号の説明

１０ ビデオカメラ
３０ フレーム
３１ 移動物体
３２ 影
３３〜３６ 矩形
３７ 孤立移動物体ブロック
３８ 局所領域
２０、２０Ａ 移動物体追跡装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体認識部
２６、２６Ａ 移動物体認識修正部
ＥＮ１〜ＥＮ４ 入口スリット
ＥＸ１〜ＥＸ４ 出口スリット
ＲＶ、ＲＶ１〜ＲＶ３ 基準値
ＮＳ 非類似度
ＭＶ 動きベクトル

Claims (2)

1. コンピュータが、時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、該コンピュータが、
   （ａ）該基準値を第１の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
   （ｂ）該基準値を該第１の値より大きい第２の値にし、該領域内において移動物体の存否をブロック単位で判定し、
   （ｃ）該領域内のブロックの各行について行方向に走査し、この走査で、ステップ（ｂ）で移動物体が存在すると判定されたブロックからステップ（ｂ）で移動物体が存在しないと判定されたブロックに移り、再度、ステップ（ｂ）で移動物体が存在すると判定されたブロックに移った場合、この間の移動物体が存在しないと判定されているブロックを、移動物体が存在すると判定し、移動物体が存在すると判定されているブロックが連なった領域を、同一移動物体と認識する、
   ことを特徴とする画像上移動物体認識方法。
2. 時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識装置において、
   該基準値の第１の値及び該第１の値より小さい第２の値を設定する設定手段と、
   該基準値を該第１の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識する第１認識手段と、
   該基準値を該第２の値にし、該領域内において移動物体の存否をブロック単位で判定する第２認識手段と、
   該領域内のブロックの各行について行方向に走査し、この走査において、該第２認識手段で移動物体が存在すると判定されたブロックから該第２認識手段で移動物体が存在しないと判定されたブロックに移り、再度、該第２認識手段で移動物体が存在すると判定されたブロックに移った場合、この間の移動物体が存在しないと判定されているブロックを、移動物体が存在すると判定し、移動物体が存在すると判定されているブロックが連なった領域を、同一移動物体と認識する一体的認識手段と、
   を有することを特徴とする画像上移動物体認識装置。