JPH10512694A - 連続画像内での物体の移動を検知する方法及び装置 - Google Patents

Abstract

(57)【要約】 連続画面内の移動物体を検出する連続画像の処理方法及び装置。とりわけ、その方法は以下の工程を備える。(a)一連の画面の供給、(b)一連の画面に表される光景中の静止物体に関する情報を含む参照画像の初期化、(c)一連の画面に時間的に後続する次の画面の供給、(d)次の画面を参照画像と比較し、その光景中の物体の動きに関する運動情報を表す運動画像の作成、(e)光景内の静止物体を表す次の画像内の情報による参照画像の更新、(f)供給される次の画像のそれぞれに対する(c)、(d)、(e)工程の繰り返し。この方法は、画像処理装置により実行される。この方法及び装置の具体的な実施例として、交通監視システムがあり、それは、明るさが変動しても車両を認識でき、影やヘッドライトのような光景中の非物質的な動きを誤って認識することがない。

Description

【発明の詳細な説明】 発明の名称 連続画像内での物体の移動を検知する方法及び装置 発明の背景 １．産業上の利用分野 この発明は、画像処理システム、特に、光景を撮影するビデオカメラにより得 られた一連の画面（連続画像）の画素をデジタル処理するシステム、例えば、連 続画像内の物体の移動を検出するシステムに関する。本発明の具体的な一実施形 態として、車両の交通監視システムがある。 ２．背景技術の説明 画像処理を利用する車両監視システムには種々の形式のものが従来技術として 知られており、それらの例は米国特許公報4,433,325号、4,847,772号、5,161,107 号、5,313,295号に開示されている。しかし、処理効率が良い確固とした車両監 視システムが要求されておりまた安価に実現できるものが要求されている。 さらに、本発明は、９月８日にアンダーソンその他に特許された米国特許4,69 2,806号で開示されたピラミッド演算の教示を利用しており、また、1992年春季 に開催されたコンピューター・ビジョンに関するヨーロッパ会議報告に掲載され たベルゲンその他による「階層モデルに基づく動きの評価」という論文で開示さ れた画像処理フローに関する教示を利用している。これらの教示の双方とも参考 文献とすることでここに取り込まれる。 発明の概要 本発明は、所定の視野を有し、その視野内の道路交通の連続画面を記録するビ デオカメラを有する車両交通監視システムに適用される改良されたデジタル画像 処理方法に関する。デジタル画像処理手段は、連続画面のそれぞれにより 定められた画像情報に応じて動作する。 即ち、デジタル画像処理技術は、連続画面の初期列に応じて視野内での静止物 体のみを規定する蓄積初期参照画像を導出し、その後、初期列より後に記録され た画面から、初期列及びその後に記録された画面が記録された時の照明条件によ り決定されるそれぞれの参照画像のそれぞれの画素のデジタル振幅レベルにより 導出された参照画像で蓄積初期参照画像を更新する第一の手段と、現在の画面と 蓄積された参照画像のうちの各画素のデジタル振幅レベルを補正し、更に、実質 的に相互に等しい静止物体を規定するそれらに対応する画素を作成して蓄積する 第二の手段と、連続画面の継続的に発生する画像と蓄積参照画像とのそれぞれ対 応する画素のデジタル振幅レベルの差に応じて視野内での移動物体のみを規定す る連続画像を導出する第三の手段と、継続的に発生する画像の継続的に発生する 画面の各々において、実質的に相対位置が固定し続ける移動対象と、継続的に発 生する画像の継続的に発生する画面の各々において、実質的に相対位置が変化す る移動対象とを識別する第四の手段と、実質的に相対位置が固定し続けるそれら 対象の画素のデジタル振幅レベルの変動に応じて、物質的な移動対象を示すそれ らの相対位置が実質的に固定している移動対象から、物質的な移動対象によって 投射された影やヘッドライトの反射のような非物質的移動対象を規定するそれら の相対位置が固定している対象を識別し、除去する第五の手段と、を備える。 図面の簡単な説明 図1a及び1bは、ビデオカメラと交通監視画像処理装置をリアルタイム及びノン リアルタイムのいずれかで接続する方法を示しており、 図2a、2b及び2cは、複数の道路レーンを撮影するビデオカメラの視野に関する ものであり、 図3は、本発明のデジタル画像処理装置の前処理部分の機能ブロック図であり 、 図4は、本発明のデジタル画像処理装置の検出・追跡部の機能ブロック図であ り、 図5及び5aは、道路レーンの2D輪郭ゾーンの画素を1Dの帯に統合する手法を図 示したものであり、 図6は、参照画像を更新する処理のフロー図を示しており、 図7は、参照画像を補正する処理のフロー図を示しており、 図8は、2Dから1Dへ変換するブロック図を示しており、 図9は、別の画像フィルタを示したものである。 好適な実施形態の記載 本発明は、道路の交通状況の連続画面を撮影する少なくとも一つのビデオカメ ラと、その連続画面の画素をデジタル処理する一つの交通監視画像処理装置とで 構成される。図1aに示されるように、ビデオカメラ100の出力は、交通監視画像 処理装置102に直接入力され、リアルタイムで連続画面の画素のデジタル処理を 行う。あるいは、図1bに示されるように、ビデオカメラ100の出力は、まず、ビ デオカセットレコーダ(VCR)104、あるいは、他の形式の画像記録装置により記録 されてもよい。次いで、後刻、その連続画面の画素はVCRから読み出されて交通 監視画像処理装置102に入力され、連続画面の画素のデジタル処理を行う。 ビデオカメラ100は、電荷結合デバイス(CCD)カメラ、赤外線カメラ、あるいは 、他の連続画像を生成するセンサである。本発明の交通監視システムの実施形態 では、カメラは道路上の所定の高さに配置され、道路の所定長さ区画について所 定の視界を有する。図2aと2bに示されるように、ビデオカメラ100は、例えば、 道路上30フィートの高さに設置され、路上に投影したビデオカメラ100の位置に 対して50フィートから300フィート先の道路の長さ区画の60フィートの幅(5レー ン)を撮影するのに充分な62°の視角を有する。図2cは、ビデオカメラ100により 得られたその視野内の道路部分の640×480画素の画像を示している。説明を明確 にするために、道路のこの長さ区画に通常存在する車両は、図2cから省いてある 。 計画された交通監視システムにおいて、ビデオカメラ100は、四台の時分割カ メラグループの一台であり、そのそれぞれの走査速度は7.5コマ/秒である。 本発明の主たる目的は、撮影される道路の所定の長さ区画において進行する車 両交通を従来よりもより正確に検出し、計数し、追跡できる計算効率の高いデジ タル交通監視画像処理装置を提供することである。例えば、検知、追跡のエラー を引き起こしたり、計算効率を劣化させる傾向のあるものとして以下の４つの要 因が考えられる。 １．低コントラスト 車両は、背景となる路面に対するそのコントラストに基づいて検出される。も し、車からの反射光の強さが道路からの反射光と同じ位であれば、このコントラ ストは低くなる。検出エラーは薄明りの条件下や、薄暗い、曇りの日に最も起こ りやすい。システムは、車両検出をいくつか誤るか、あるいは、検出閾値が低い 場合には、道路標識のようないくかつの背景パターンを車両と間違える可能性も ある。 ２．影とヘッドライトの反射 昼間の特定の時間帯には、車両は影を投影し、あるいは、ヘッドライトの反射 を起こし、これらが隣のレーンを横切る。これらの影やヘッドライトの反射は、 しばしば車両自体より大きなコントラストを有する。従来技術型の交通監視シス テムでは、影を追加の車両と解釈し、交通量を過剰に計数する結果となっていた 。トラックの様な大型の車両の影は、小さい車やオートバイと完全に重なり、そ の結果、影に入った車両は計数されない。樹木、建物、雲など道路内にない物体 からもまた影が投影される。そして、他の道路を別の方向に向かって走る車の影 も投影されうる。さらに、そのような影を車両と間違える可能性がある。 ３．カメラの揺動 電柱上に設置されたカメラは、風で電柱が揺れると動いてしまう。高速道路の 架橋上に設置されたカメラは、その架橋をトラックが通ると振動する。どちらの 場合でも、カメラの動きは画像の動きを引き起こし、検出・追跡エラーを生じさ せる。例えば、カメラの揺動は、検出処理で道路レーンを他のレーンと混同した り、停止中の車両を動いていると認識させたりする問題を生じさせる。 ４．計算効率 車両の走行はレーンによって制限され、走行方向は、通常、レーンに沿った一 次元なので、車両交通を検出・追跡するのに、二次元の画像処理を使用すること は効率的ではない。 本発明は、これら四つの問題点のうち一つあるいは複数を克服する手段を含む 交通監視システムに組み込まれる画像処理装置に向けられたものである。 図3を参照すると、デジタル交通監視画像処理装置102の前処理の機能的ブロッ ク図が示されている。図3に示されているのは、アナログ/デジタル(A/D)変換器3 00、ピラミッド手段302、安定化手段304、参照画像導出及び更新手段306、画面 蓄積部308、参照画像補正手段310と減算器312である。 カメラ100またはVCR104からのアナログビデオ信号入力は、A/D変換器300でデ ジタル化された後、ピラミッド手段302により、画素密度と画像の解像度を減ら すために、ガウスピラミッドレベルの特定数に分解される。ピラミッド手段302 は不可欠なものではなく、車両交通システムがビデオカメラ100によって生成さ れる画素密度の解像度(例えば640×480画素)で操作される場合が該当する。しか し、この解像度は、本交通監視システムの下流側で必要な解像度より高いのでピ ラミッド手段302を使用することにより本システムの計算効率が増加する。ピラ ミッドの総てのレベルが各計算で使用されるとは限らない。さらに、ピラミッド の総てのレベルが計算中蓄積されている必要はなく、高レベルの値は常に低レベ ルの値から計算可能である。しかしながら、説明を簡単にするため、以下に説明 する下流側での計算では、総てのガウスピラミッドレベルの特定数が利用できる ものとする。 これらの下流側計算の第一は、安定化手段304により、行われる。安定化手段3 04は、SVHS用カメラ防振装置(EIS:Electronic Image Stabilization)を用いて、 風やトラックの通過によって引き起こされたカメラの揺動の問題を補償する。カ メラの揺動は、画像中の画素の移動を引き起こす。カメラの揺動を補償しない従 来技術の車両交通システムは、カメラが動くと路面標識や隣接するレーンの車の 画像が検出ゾーンと重なって、誤った検出を行う。安定化手段304は、カメ ラの視線方向に垂直な軸の回りを回転することによるフレーム間の画像移行を補 償する。その補償は、現在の画像である行列の整数をシフトすることで行われる 。その結果、カメラが揺動しても、手段306から導出された参照画像と画面蓄積 部308中に保存された参照画像の一つの画素は整列されて固定されたままとなる 。必要なシフトは、各画面中の２つの既知の特徴的な目印の位置により定められ る。この操作は適合したフィルタを介して行われる。 低コントラストの問題は、参照画像導出及び更新手段306、画面蓄積部308、及 び、参照画像補正手段310の連係動作により克服される。手段306は、最初に発生 した画面i₀を手段304からの入力に大きなガウスフィルターを適用することによ り単純にぼかして、最初の参照画像r₀を生成する(その結果、参照画像r₀は、よ り高いピラミッドレベルを備える)。その後、参照画像r₀は、画面蓄積部308に蓄 積される。これに続いて、画面蓄積部308に保存された画像は、参照画像導出及 び更新手段306により、最初の初期化段階中に更新される。すなわち、参照画像 導出及び更新手段306は、手段304から入力された一連の安定化させた画面中の最 初の少数の画面のそれぞれの対応する画素について、再帰的な一時フィルタ操作 を実行する。ただし、参照画像と現在の画像の差が大きすぎる場合には、参照画 像はその画素については更新されない。数式で表すと、 ここで、r_tは、t番目の画面後の参照画像を表し、i_tは、安定化手段304からの入 力画面列のt番目の画面を表す。定数γは、その形成処理の「応答性」を決定す る。 図6は、実際のシステム中で式1を実行する実例としての処理600のフロー図を 示している。言い換えれば、図6は前述の図3の手段306の動作を図示したもので ある。すなわち、連続したうちの参照画像と次の画像は、ステップ602において 手段306に入力される。参照画像は、予め生成されている、つまり、これが初期 の参照画像の場合には、その連続画像における最初画面をのぼかしたものである 。ステップ604で、参照画像r_t-l(x,y)から一画素が選択され、また、次の画像i_t (x,y)から一画素が選択される。ついで、ステップ606で、参照画像の画素値が、 次の画像の画素値から減算されて、差要素DIFF=i_t(x,y)−r_t-l(x,y)を生成する 。処理工程は、ステップ608で、差要素の絶対値｜DIFF｜を計算する。ステップ6 10で、差要素の絶対値が閾値Dと比較される。この処理工程は、差要素の絶対値 が閾値より小さいかを調べる。もし、Noであれば、処理は、ステップ614に進む 。もし、Yesであれば、処理は、ステップ612に移行する。ステップ612では、選 択した参照画像の画素の値を、選択した参照画像の画素値に更新係数Ｕを乗じた 画素値で更新する。更新係数は差要素に定数γを乗じたものである。ステップ61 4では、画像内の全画素が処理されたかどうかを確認する。もし、そうでないな らば、処理は、ステップ604に復帰する。もし、全画素が処理されたならば、処 理は、ステップ616で終了する。 「応答性」γの設定は、通行物体、例えば移動車両や交通渋滞で停止中の車両 すら参照画像から除去できるよう十分遅いものでなければならない。従って、手 段306に入力する最初の初期化段階を構成する最初の少数の画面中の最後におけ る画像蓄積部308内の蓄積参照画像は、カメラ100で撮影されたうちの静止背景物 体のみで構成される。この様な「応答性」γの設定法は、参照画像に対して明る さの変化(雲の通過や、カメラ100の自動絞りなどによる)を加えるのに充分なだ け早くr_tを調整可能である。この問題は、初期化段階の終わりに、参照画像補正 手段310（照度/AGC 補償を備える）と手段306及び画面蓄積部308との連係更新動 作により解決される。特に、初期化段階(図6参照)が終了したときには、次式2（ 前記式1ではなく）に従って動作するその初期化段階は、第二の通常動作段階に 置き換えられる。その相は、次式２により操作される。 ここでk_tとC_tは、参照画像r_tと手段310により計算された現在の画像i_t間の推定 利得とオフセットである。手段310は、ｘ軸が参照画像中の階調レベル強度をｙ 軸が現在の画像の階調レベル強度を表す2D空間中に、各点の集合をプロットして 、この集合に直線を合わせることでこの利得とオフセットを計算する。この 集合は、全画像位置x、yに対する点（r_i-1(x、y),i_t(x、y)）のセットである。こ のアプローチは、照度の変化を示す利得とオフセットを計算するいかなる方法を 用いても行える。例えば、利得は、現在の画像と参照画像のヒストグラムを比較 することにより推定できる。また、特定の更新ルールでは、前述の絶対閾値Dを 使用する必要はない。その代わりに、更新は、｜i_t(x、y)−r_t-1(x、y)｜の関数 により重み付けされる。 図7は、実際のシステムで式2を実行する実例としての処理700のフロー図を示 す。言い換えれば、図7は、図3の手段310の動作を図示したものである。連続し た中の参照画面と次の画像がステップ702で入力される。手段310が最初に使用さ れた場合は、その参照画像は、手段306で生成された最後の参照画像である。そ の他の場合、手段310で生成された直前の参照画像である。ステップ704では、参 照画像r_t-1(x,y)から一画素が選択され、また、次の画像i_t(x,y)から一画素が選 択される。次いで、ステップ706では、参照画像の画素値が、次の画像の画素値 から減算されて、差要素DIFF=i_t(x,y)−r_t-1(x,y)を生成する。それからステッ プ708で、その差要素の絶対値｜DIFF｜を計算する。ステップ710で、差要素の絶 対値が、閾値Dと比較される。処理工程は、差要素の絶対値が閾値より小さいか を調べる。もし、否定的な回答が得られれば、処理はステップ714に進む。ステ ップφ714で、選択された参照画像の画素値に利得k_tを乗じてオフセットc_tを加 算した値に等しい画素値で選択された参照画像の画素値が補正される。肯定的な 回答が得られた場合は、処理はステップ712に進む。ステップφ712では、その処 理は、選択した参照画像の画素値に補正要素Mを乗じた値に等しい画素値で選択 した参照画像の画素値を補正する。を使用して実行される。この補正要素Mは、 差要素に定数γを乗じたものである。処理工程が一旦画素値を修正したら、その 処理工程は、ステップφ716で、画像中のすべての画素が処理されたかどうかを 調べる。もし、そうでないならば、処理工程はステップφ704に復帰する。もし 、全画素が処理されたならば、処理工程はステップφ716で終了する。 上述のアプローチにより、急激な照度変化を参照画像に追加することが可能 となる一方、走行物体が追加されるのを防ぐことができる。それは所定の連係手 段によって新しい参照画像の画素値が現在の画像の画素値の関数として計算され るべきか、あるいは、単に現在の参照画像に利得とオフセットを適用することで 計算でされるべきかを決定するという柔軟性がある。現在の参照画像に利得とオ フセットを適用することにより、走行物体が参照画面に現れてしまう危険なしに 、照度変化を模擬できる。 図3に戻って、手段310の出力（静止している背景を表す画素と移動物体(すな わち、車両交通)の画素の両者を含む）として発生する照度補償した現在の画像 の静止している背景を表す画素の振幅は常に、画面蓄積部308の出力とてけ発生 する参照画像の静止している背景を表す画素（静止している背景を表す画素のみ を含む）の振幅に本質的に等しい。従って、減算器312、手段310と手段304から これに入力された、対応画素の振幅間の差を計算する、は、一連の2D画面の各々 の移動物体(すなわち、車両交通)のみを表す有意な値の画素からなる出力を発す る。減算器312の出力は、図4に示される交通監視画像処理装置102の検知・追跡 部分に転送される。 図4を参照すると、2D/ID変換器400、車両断片検出器402、画像フロー推算器40 4、単一画面遅延装置406、画素振幅平方手段408、車両仮想生成器410、及び、影 及び反射ヘッドライトフィルタ412が示されている。 2D/ID変換器400は、図3で得られ、第１の入力として加えられる2D画像情報を ユーザーが第二の入力として加えた制御情報に従って、1D画像情報に変換する。 この点に関して、図5、5aを参照して説明する。図5は、カメラ100のイメージフ レーム500を示しており、直線状の5レーンの道路502が映され、左から二番目の レーン506上を、車504-1と504-2が走行している。車504-1と504-2は変換器400へ の第二の入力として適用される前述のユーザ制御情報により、輪郭付けされた画 像領域508内に位置している。 画像領域内の画素の振幅を水平方向に積分し、領域508の中心に沿って、垂直 方向に並んだ積分画素振幅をサブサンプリングすることにより、1Dの帯510が変 換器400により計算される。道路は直線状である必要はない。図5aに示される ように、曲がった道路レーン512は、変換器400により中央帯518の計算を可能に するユーザが輪郭づけしたレーン境界線516により設定されたゾーン512を含む。 図5と5aの両方で、ユーザはレーンを定義する帯を使用でき、その帯は、画像中 でユーザが輪郭づけした境界を定義するのに役立つ目印として存在する。 さらに詳細には、変換器400による計算は、積分ウインドウを定めるために、 それぞれの画素の位置(x,y)を使用する。例えば、そのようなウインドウは、(a) 輪郭付けされたレーンの範囲内にある行ｙ上のすべての画像画素、(b)輪郭付け されたレーンの範囲内にある列ｘ上のすべての画像画素、(c)位置(x,y)上の中央 帯518の接線に垂直な直線上のすべての画像画素、のいずれかである。他の積分 ウインドウも利用可能であるがここでは述べない。図8に、2D/ID変換器φ400の ブロック図を示す。変換器φ400は、領域定義ブロックφ802を備える。このブロ ックφ802は、積分器φ804に直結され、積分器φ804は、画像のサブサンプラー φ806に直列接続されている。2D画像中の領域を定義するユーザ入力は、領域定 義ブロックφ802に入力される。 図4に戻って、変換器400からの1D出力は、検出器φ402へ入力され、画像フロ ー推算器404、単一画面遅延装置406、そして、手段φ410を介してフィルタφ412 に送られる。これらの要素により実行される検出、追跡、フィルタ機能は、それ ぞれ、これらの要素が1D、2Dのいずれで動作するかに依存しないが、1D動作の方 が必要とする計算能力をかなり削減できるので好ましい。従って、変換器400の 設置は、好ましいことではあるが、これらの検出、追跡、フィルタリング機能を 実行するのに必要不可欠なものではない。以下の記載では、変換器が存在するも のとする。 検出器402は、図3から得られた一連の画面の1D帯中の車両断片の存在及び空間 位置を検出する粗密動作を行うため、できれば、多レベルのピラミッド演算を利 用することが好ましい。断片は、どのピラミッドレベルにおいても互いに接続さ れた有意な値の画素のグループとして定義される。検出器402は、各車両が単一 の断片を発生する機会が最大になるように調整される。しかし、実際には、これ を達成するのは不可能であり、各車両は多数の断片(例えば、同一車両 のフード、屋根、ヘッドライトに対応する分離した断片)を発生する。さらに、 二台以上の車両の画素が単一断片に連結されることもある。 各帯の画素位置における物体検出技術の一つは、その画素位置を中心とした積 分ウインドウ内の画像強度値のヒストグラムを計算することである。このヒスト グラムの属性(例えば、何らかの単数あるいは複数の閾値を超える画素の数また は比率)に基づいて、その帯の画素を「検出」または「背景」のいずれかに分類 する。各帯画素においてこの操作を実行することで、各画素の位置に対して、「 検出」または「背景」の符丁を含む一次元行列を生成することができる。この配 列内で接続構成分析を実行することにより、隣接した「検出」画素は、「断片」 にグループ化される。 遅延装置406と連動する画像フロー推算器404は、上記Bergenらの参考文献の開 示内容を用いており、物体を時間経過に沿って追跡することが可能となる。結局 、この場合は、各画素位置では、積分ウインドウ内に含まれる平均値を計算し、 蓄積する保存することを含む。各帯の画素についてこの操作を行うことにより、 平均輝度値の一次元行列が生成される。時刻t-1と時刻tで採取された画像に対し て、二つの対応する行列が与えられると、一つの行列と他の行列の画素の対応を 表す一次元画像「フロー」が計算される。この計算は、一次元の最小自乗法また はパッチ式相関法により計算される。このフロー情報は、一連の画面の各組の間 で、物体を追跡するのに使用される。 検出器402と推算器404の各出力は、車両仮想生成器410へ入力される。近くの 断片は、それらが同じように動き、充分に近い場合には、同一物体（すなわち、 車両）の一部としてまとめられる。もし、一連の連続画面中で多数の断片間の相 対位置が固定されたままならば、それらの断片は、単一車両を表すものとみなさ れる。しかし、もし、断片の位置が、画面ごとに変化するならば別の車両を表す ものとみなす。さらに、もしある画面での単一の断片が、別の画面に移行したと きに、多数の断片に別れるか、その形状が長さ方向にかなり伸長するとしたなら 、別の車両を表すものとみなす。 夜間は、車両の存在は、そのヘッドライトのみにより表される。ヘッドライ トは、路上にヘッドライトの反射を引き起こしやすい。夜間、昼間を問わず路上 の照明条件によっては、路上に車両の影が発生しやすくなる。このような路上の 影及びヘッドライトの反射は、結果的に、生成器410で追加車両として現れる検 知断片を生成する。このため、生成器410からの出力中に誤った正のエラーが生 成される。真の車両により生成された断片と、影や反射ヘッドライトにより生成 された断片を識別する影及び反射ヘッドライトフィルター412は、このような誤 った正のエラーを除去する。 画素−振幅平方手段408からの出力は、変換器400からの一連のそれぞれの画面 の帯出力の各ピラミッドレベル画素における相対エネルギーを表す。フィルター 412は、手段408からのこれらのエネルギー表示画素の相対的振幅の分析に基づい て、真の車両により生成された断片と、影や反射ヘッドライトにより生成された 断片を識別する。影や反射ヘッドライトの断片のエネルギー画素振幅(画素の輝 度)の偏差が、真の車両の断片より小さいという事実が識別に利用できる。 図4には示されていないが、別のフィルタリング方法として、背景で調節した 参照画像を利用して、物体と影を変換器400により識別する方法がある。図9には 、この別のフィルターのブロック図を示す。各画素位置で以下の情報が積分ウイ ンドウ上で計算される。 (a)積分ウインドウ内のすべての画像画素について、閾値pよりも大きい輝度値 を持った画素の数(要素φ904)。 (b)積分ウインドウ内のすべての画像画素のうちの最大絶対値(要素φ906)。 (c)積分ウインドウ内の隣接画素(x₁,y₁)と(x₂,y₂)のうち、差の絶対値｜I(x₁, y₁)−I(x₂,y₂)｜が閾値を超えた画素の組み合わせの数(要素908)。この情報は背 景を調節した参照画像を用いて物体と影を識別するのにフィルタφ902によって 使用される。 前述のようにして抽出された断片は、これらあるいは他の性質に基づいて、物 体または影に分類される。例えば、もし尺度(a)の値が、断片内のすべての帯画 素について合計されて、ある閾値を超えた場合、その断片は、影ではない(図4 から、変換器400に入力された画像中で、影は正の輝度値を持ち得ないからであ る)。尺度(c)を用いた同様の加算は、断片内の構造の総量を評価する別のテスト を提供し、この断片もまた物体か影かを識別するために閾値評価される。フィル タ412への入力はすべての仮想車両の位置を決定するが、その出力は、照合され た車両の位置のみを定義する。フィルタ412からの出力は、車両の数を計数し、 それらの速度、長さを計算するような機能を有する利用手段(図示していない)に 送られる。 車両断片検出器402、画像フロー推算器404、車両仮想生成器410は、その動作 中、予め定められたカメラの較正情報を使用できる。さらに、前述した本発明の 種々の技術は、他の形式の画像システムにおいても、ここで開示した車両交通監 視システムと同様有効に使用することができる。

Claims (1)

1. 【特許請求の範囲】 １． (a)第一の連続画面を供給する工程と、 (b)前記第一の連続画面により表された光景内の静止物体に関する画像情 報を含む参照画像を初期化する工程と、 (c)前記第一の連続画面に時間的に後続する次の画面を供給する工程と、 (d)前記次の画面と前記参照画像を比較して、光景内での物体の移動に関 する移動情報を表す２次元の移動画像を生成する工程と、 (e)前記次の画面中の光景内の静止物体のみを表し、光景内の移動物体及 び一時的な静止物体を実質的に無視している情報により前記参照画像を更新する 工程と、 (f)供給される次の画面のそれぞれに対して、前記工程(c)、(d)、(e)を繰 り返す工程と、 を備える画像処理方法。 ２． 前記更新工程は、 前記参照画像における画素値と、この画素と同じ画素位置を有する前記次の画 面中の画素値とを選択する工程と、 次の画面中の前記選択画素値と参照画像中の前記画素値との差の絶対値に等し い差要素を計算する工程と、 この差の値を第一の閾値と比較する工程と、 前記差の値が前記第一の閾値より小さい場合は、更新係数により変更した選択 参照画像画素値に等しい更新参照画素値により参照画像中の画素値を置き換える 工程と、 前記差の値が前記第一の閾値以上の場合は、前記参照画像中の画素値を同じま まに留める工程と、 を備えている請求項１記載の方法。 ３． 前記更新係数は、次の画像中の前記選択画素値と参照画像中の前記画素値 との差に応答係数を乗じた値であり、前記応答係数は、更新参照画像が光景内で の静止物体を表す前記次の画面内の情報に関する情報のみを含むことが確実にな るよう更新量を制限する請求項２記載の方法。 ４． 光景の照度変化に関する前記次の画面の画像情報を使用して、前記参照画 像を補正する工程をさらに備える請求項３記載の方法。 ５． 前記補正工程は、 参照画像中の画素値と、これと同じ画素位置を有する次の画面中の画素値を選 択する工程と、 次の画面中の前記選択画素値と参照画像中の前記画素値との差の絶対値に等し い差要素を計算する工程と、 この差の値を第二の閾値と比較する工程と、 前記差の値が前記第二の閾値より小さい場合は、補正係数により変更した選択 参照画像画素値に等しい補正参照画素値で参照画像中の画素値を置き換える工程 と、 前記差の値が前記第二の閾値以上の場合は、重み付けと増減を行った選択参照 画像画素値に等しい新参照画像画素値により、選択参照画像画素値を置き換える 工程と、 を備える請求項４記載の方法。 ６． 前記補正係数は、前記次の画面の選択画素値と前記参照画像の選択画素値 との差を応答係数で乗じた値であって、前記応答係数は、補正参照画像が、光景 中の静止物体を表す前記次の画像中の情報に関する情報のみを含むことを確実に するため補正量を制限し、前記重み付けと増減が行われた選択参照画像画素値は 前記光景内の照度変化を表す請求項５記載の方法。 ７． 光景を表す連続した一連の画面を供給する撮像手段(100)と、 前記撮像手段に接続され、光景中の静止物体に関する画像情報を含む参照画像 を初期化する参照画像初期化手段(306)と、 前記撮像手段と前記参照画像初期化手段に接続され、前記撮像手段によって供 給された画面と前記参照画像を比較し、光景内の物体の動きに関する運動情報を 表す２次元運動画像を生成する比較手段(312)と、 前記参照画像を前記画面中の情報で更新し、前記参照画像の更新に用いられる 情報は、光景内の静止物体のみを表し、光景内の移動物体及び一時的な静止物体 を実質的に無視している手段(306)と、 を備える画像処理装置。 ８． 光景の照度変化に関する前記画面中の画像情報を使用して、前記参照画像 を補正する手段(310)をさらに備える請求項７記載の装置。 ９． 所定の視野角を有し、視野内の道路交通の連続画面を記録するビデオカメ ラ(100)と、及び、前記連続画面のそれぞれによって規定された画素情報に応じ るデジタル画像処理手段とを有する車両交通監視システムにおいて、前記デジタ ル画像処理手段は、 前記連続画面の初期列に応じて、前記視野内の静止物体のみを規定する蓄積初 期参照画像を導出し、その後前記蓄積初期参照画像を前記初期列の後刻記録され た画面から得られた参照画像で更新するとともに、前記参照画像の各々の各画素 のデジタル振幅レベルは、前記初期列及び前記後刻記録された画面が記録された ときの照明条件によって定められている第一の手段(306)と、 現在の画面と前記保存参照参照画像の内の一つの各画素のデジタル振幅レベル を補正して、実質的に互いに等しい静止物体を規定するそれぞれ対応する画素を 作成して保存する第二の手段(310)と、 蓄積参照画像と前記連続画面のうち継続的に生成されるそれぞれの中の対応す る各画素間のデジタル振幅レベル差に応じて、前記視野内の移動対象のみを 定義する連続画像を導出する第三の手段(404)と、 前記継続的に生成される画像の各々において、その相対位置が実質的に固定し たままの移動対象と、前記継続的に生成される画像の各々において、その相対位 置が実質的に変化する移動対象とを識別する第四の手段(402、410)と、 その相対位置が実質的に固定されたままの前記対象の画素のデジタル振幅レベ ルの偏差に対応して、その相対位置が固定したままの非物質的移動対象、例えば 、物質的な移動対象から投影された影やヘッドライト反射のような対象を表す前 記移動対象を、その相対位置が固定したままの物質的移動対象を表す前記移動対 象から識別し、非物質的な移動対象を表す前記移動対象を除去する第五の手段(4 12)と、 を備える。 １０． 前記第一及び第二の手段は、前記一連の画面の前記初期列が発生する間 、以下の第一の式に従って連係し、 その後、前記第一及び第二の手段は、以下の第二の式に従って連係して動作し、 このうち、(x、y)は、ある画面中の各画素の座標を表し、r₁は画面t後の参照画 像を表し、i_tは一連の画面のt番目の画面を表し、Ｄはi_tとr_tの対応画素の各組 の振幅レベル間の所定の差を表し、ｋとc_tは、それぞれ、i_tとr_tのうち一つの中 の画素に対する振幅レベルの推定利得とオフセット値の一対を表しており、i_tと r_tの対応画素間の振幅レベルのそれぞれの差の中の統計的誤差を減少させるもの であり、ｇは、前記一連の画面の初期列生成時及びその後の間の両方において前 記第一及び第二の手段の連係の応答性を決定する定数である請求項９記載の車両 交通監視システム。 １１． ｋとc_tは、それぞれi_tとr_tの対応する画素間の振幅レベルのそれぞれの 差における統計的誤差を最小にするi_tとr_tのうちの一つの中の画素の振幅レベル の推定利得とオフセットの単一の組を表している請求項１０記載の車両交通監視 システム。