JP4539348B2 - 衝突時間算出装置および障害物検出装置 - Google Patents

Description

本発明は、カメラにより撮像した画像に基づいて、画像上の障害物が移動体に衝突するまでの時間を算出する衝突時間算出装置、および、衝突時間算出装置により算出された衝突時間に基づいて、障害物を検出する障害物検出装置に関する。

従来、車載カメラによって撮影した画像に基づいて障害物を検出し、検出した障害物が自車両に衝突するまでの時間を算出する技術が知られている（特許文献１参照）。この従来の技術では、画像上に、消失点を原点とする座標系を設定し、設定した座標系において、ある特徴点のオプティカルフローを求めることにより、衝突時間を算出している。

特開平１１−３５３５６５号公報

しかしながら、従来の技術では、ピッチングやヨーイング等の車両挙動によって、消失点が変動するため、衝突時間に誤差が生じる場合があるという問題があった。

本発明による衝突時間算出装置は、撮像画像上の同一対象物に属する任意の２点を評価点として抽出し、画像上に設定された任意の座標軸を基準として、抽出された２点の座標値の差分の絶対値と、２点の座標値の差分の絶対値の時間微分値とに基づいて、評価点を含む対象物が移動体と衝突するのに要する時間を算出し、撮像手段により撮像された画像上の消失点を原点とする画像の横方向の座標軸を基準として、評価候補点の座標値の消失点を原点とする横軸方向のオプティカルフロー値を算出し、評価候補点の座標値を消失点を原点とする横軸方向のオプティカルフロー値で除算した評価指標値を算出し、この評価指標値に基づいて、前記評価点を抽出することを特徴とする。

本発明による衝突時間算出装置によれば、ピッチングやヨーイング等の車両挙動の影響を受けることなく、正確な衝突時間を算出することができ、さらに、撮像画像上の同一対象物に属する２点を簡易な方法により抽出することができる。

−第１の実施の形態−
図１は、本発明による衝突時間算出装置の第１の実施の形態における構成を示す図である。第１の実施の形態における衝突時間算出装置は、車両に搭載されて使用されるものであって、カメラ１と、演算装置２と、メモリ３と、警報装置４とを備える。

カメラ１は、例えば、ビデオカメラであり、車内の天井前方の中心部に取り付けられて、車両前方を撮像する。カメラ１により撮像された画像は、演算装置２に入力される。演算装置２は、カメラ１により撮像された画像に基づいて、画像上に存在する対象物が自車両と衝突するまでの時間を算出する。警報装置４は、演算装置２で算出された衝突時間に基づいて、ドライバに対して、警報を発する。

図２は、第１の実施の形態における衝突時間算出装置により行われる処理内容を示すフローチャートである。車両の図示しないキースイッチがオンされると、演算装置２は、ステップＳ１０の処理を開始する。ステップＳ１０では、カメラ１により撮像された画像を取得して、ステップＳ２０に進む。

ステップＳ２０では、ステップＳ１０で取得した画像に基づいて、同一対象物に属する任意の２点の座標値を求める。図３は、カメラ１により撮像された画像の一例であり、図３（ａ）は、時刻ｔにおいて撮像された画像Ｇ_tを、図３（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像Ｇ_t+Δtをそれぞれ示している。演算装置２は、まず、画像上に存在する同一対象物に属する任意の２点を検出する。画像上の同一対象物に属する任意の２点を検出する方法としては、任意の既知の方法を用いることができる。検出した２点は、後述する衝突時間Ｔttcを求めるための評価点である。

次に、演算装置２は、検出された２点の座標値を求める。ここでは、図３（ａ）に示すように、画像の水平方向の軸をｐ軸、垂直方向の軸をｑ軸とし、任意の２点ｎ1およびｎ2の座標をそれぞれ、（ｐn1，ｑn1）および（ｐn2，ｑn2）とする。同一対象物に属する２点の座標値を求めると、ステップＳ３０に進む。

ステップＳ３０では、ステップＳ２０で検出した２点のｑ軸方向の距離Ｗn（＝｜ｑn1−ｑn2｜）をまず求め、（ｄＷn(t)／ｄｔ）／Ｗn(t)を演算する。ここで、Ｗn(t)の微分値ｄＷn(t)／ｄｔは、時刻ｔにおいて撮像された画像Ｇ_tと、時刻ｔ＋Δｔにおいて撮像された画像Ｇ_t+Δtとを用いて演算することができる。例えば、図３（ｂ）に示す画像Ｇ_t+Δtにおいて、画像Ｇ_t上の評価点ｎ1およびｎ2にそれぞれ対応する点ｎ1'およびｎ2'を検出し、２点ｎ1'およびｎ2'のｑ軸方向の距離Ｗn（ｔ＋Δｔ）を求め、次式（１）から、ｄＷn(t)／ｄｔを求める。
ｄＷn(t)／ｄｔ＝｛Ｗn（ｔ＋Δｔ）−Ｗn(t)｝／Δｔ （Δｔ→０） （１）

ステップＳ３０に続くステップＳ４０では、ステップＳ３０で算出した（ｄＷn(t)／ｄｔ）／Ｗn(t)の逆数を、衝突時間Ｔttcn（ｔ）として算出する（次式（２）参照）。
Ｔttcn（ｔ）＝Ｗn(t)／（ｄＷn(t)／ｄｔ） （２）

式（２）によって、障害物が車両と衝突するまでの時間Ｔttcn（ｔ）が求められる理由を、図４を用いて説明する。図４において、２１は、ある時刻ｔにおけるカメラ１の撮像面の位置である。ここでは、図を見やすくするために、レンズ２２を中心として、実際の撮像面の位置を視軸方向に反転させた位置に描いている。２２は、ある時刻ｔにおけるカメラ１のレンズの位置である。撮像面２１とレンズ２２との間の距離、すなわち、カメラ１の焦点距離をｆとする。

２３は、ある時刻ｔにおいて、レンズ２２の中心を原点とする極座標系であり、ここでは、カメラ座標系と呼ぶ。カメラ座標系２３の原点は、グローバル座標系４０において、座標値Ｏcam（ｔ）＝（ｘ（ｔ），ｙ（ｔ））の位置に存在する。このカメラ座標系２３のＺ軸は、撮像面２１上の消失点とレンズ２２の中心とを結んだ直線であり、Ｘ軸は、Ｚ軸と垂直な方向の軸である。なお、グローバル座標系４０は、任意の位置を原点とするｘ−ｙ座標系であり、ｘ軸はカメラ座標系２３のＸ軸と平行であり、ｙ軸は、カメラ座標系２４のＺ軸と平行である。

２８は、ある時刻ｔにおいて、ある障害物が存在する位置を示している。この障害物に含まれる２点２４および２５を評価点とする。２４は、障害物２８に含まれる撮像対象点Ａの、時刻ｔにおける位置を示している。カメラ座標系２３における撮像対象点Ａの座標値を、Ｐobj_A（ｔ）＝（Ｘobj_A（ｔ），Ｚobj_A（ｔ））とする。２５は、障害物２８に含まれる撮像対象点Ｂの、時刻ｔにおける位置を示している。カメラ座標系２３における撮像対象点Ｂの座標値を、Ｐobj_B（ｔ）＝（Ｘobj_B（ｔ），Ｚobj_B（ｔ））とする。

２６は、２４の位置に示す撮像対象点Ａが撮像面２１上において結像された位置である。カメラ座標系２３における撮像対象点Ａの結像位置の座標値を、Ｐimg_A（ｔ）＝（Ｘimg_A（ｔ），Ｚimg_A（ｔ））とする。ただし、Ｚimg_A（ｔ）＝ｆである。２７は、２５の位置に示す撮像対象点Ｂが撮像面２１上において結像された位置である。カメラ座標系２３における撮像対象点Ｂの結像位置の座標値を、Ｐimg_B（ｔ）＝（Ｘimg_B（ｔ），Ｚimg_B（ｔ））とする。ただし、Ｚimg_B（ｔ）＝ｆである。

３１は、ある時刻ｔ＋Δｔにおけるカメラ１の撮像面の位置である。ここでも、図を見やすくするために、レンズ２２を中心として、実際の撮像面の位置を視軸方向に反転させた位置に描いている。３２は、ある時刻ｔ＋Δｔにおけるカメラ１のレンズの位置である。３３は、ある時刻ｔ＋Δｔにおいて、レンズ３２の中心を原点とする極座標系であり、時刻ｔにおけるカメラ座標系２３が移動したものである。カメラ座標系３３の原点は、グローバル座標系４０において、座標値Ｏcam（ｔ＋Δｔ）＝（ｘ（ｔ＋Δｔ），ｙ（ｔ＋Δｔ））の位置に存在する。

３８は、時刻ｔにおいて、２８の位置に存在した障害物が、時刻ｔ＋Δｔにおいて、存在する位置を示している。３４は、ある時刻ｔ＋Δｔにおける撮像対象点Ａであり、時刻ｔにおける撮像対象点Ａが移動したものである。カメラ座標系３３において、時刻ｔ＋Δｔにおける撮像対象点Ａの座標値を、Ｐobj_A（ｔ＋Δｔ）＝（Ｘobj_A（ｔ＋Δｔ），Ｚobj_A（ｔ＋Δｔ））とする。３５は、ある時刻ｔ＋Δｔにおける撮像対象点Ｂの位置を示しており、時刻ｔにおける撮像対象点Ｂが移動したものである。カメラ座標系３３において、時刻ｔ＋Δｔにおける撮像対象点Ｂの座標値を、Ｐobj_B（ｔ＋Δｔ）＝（Ｘobj_B（ｔ＋Δｔ），Ｚobj_B（ｔ＋Δｔ））とする。

３６は、時刻ｔ＋Δｔにおいて、３４の位置に示す撮像対象点Ａが撮像面２１上において結像された位置である。時刻ｔ＋Δｔにおいて、カメラ座標系３３における撮像対象点Ａの結像位置の座標値を、Ｐimg_A（ｔ＋Δｔ）＝（Ｘimg_A（ｔ＋Δｔ），Ｚimg_A（ｔ＋Δｔ））とする。ただし、Ｚimg_A（ｔ＋Δｔ）＝ｆである。３７は、時刻ｔ＋Δｔにおいて、３５の位置に示す撮像対象点Ｂが撮像面２１上において結像された位置である。時刻ｔ＋Δｔにおいて、カメラ座標系３３における撮像対象点Ｂの結像位置の座標値を、Ｐimg_B（ｔ＋Δｔ）＝（Ｘimg_B（ｔ＋Δｔ），Ｚimg_B（ｔ＋Δｔ））とする。ただし、Ｚimg_B（ｔ＋Δｔ）＝ｆである。

ここで、Ｚimg_A（ｔ）＝Ｚimg_B（ｔ）＝ｆの関係が成り立つことから、ある時刻ｔにおいて、撮像対象点Ａおよび撮像対象点Ｂについて、それぞれ次式（３）および（４）の関係が成り立つ。
Ｘobj_A（ｔ）／Ｚobj_A（ｔ）＝Ｘimg_A（ｔ）／ｆ （３）
Ｘobj_B（ｔ）／Ｚobj_B（ｔ）＝Ｘimg_B（ｔ）／ｆ （４）

ここで、時刻ｔにおいて、撮像対象点ＡおよびＢの実空間（グローバル座標系）上のｘ軸方向の座標値の差分をＷobj（ｔ）、撮像面２１上のｘ軸方向の座標値の差分をＷimg（ｔ）とすると、式（３），（４）より、次式（６）が導かれる。ただし、撮像対象点ＡおよびＢは、カメラ座標系２３のＺ軸方向において、レンズ２２から同じ距離に存在するので（図４参照）、
Ｄ（ｔ）＝Ｚobj_A（ｔ）＝Ｚobj_B（ｔ） （５）
とする。
Ｗobj（ｔ）＝Ｗimg（ｔ）×Ｄ（ｔ）／ｆ （６）
ただし、
Ｗobj（ｔ）＝｜Ｘobj_B（ｔ）−Ｘobj_A（ｔ）｜ （７）
Ｗimg（ｔ）＝｜Ｘimg_B（ｔ）−Ｘimg_A（ｔ）｜ （８）

時刻ｔ＋Δｔにおいても、式（６）と同様に、式（９）が成り立つ。
Ｗobj（ｔ＋Δｔ）＝Ｗimg（ｔ＋Δｔ）×Ｄ（ｔ＋Δｔ）／ｆ （９）
ただし、
Ｗobj（ｔ＋Δｔ）＝｜Ｘobj_B（ｔ＋Δｔ）−Ｘobj_A（ｔ＋Δｔ）｜ （１０）
Ｗimg（ｔ＋Δｔ）＝｜Ｘimg_B（ｔ＋Δｔ）−Ｘimg_A（ｔ＋Δｔ）｜ （１１）
Ｄ（ｔ＋Δｔ）＝Ｚobj_A（ｔ＋Δｔ）＝Ｚobj_B（ｔ＋Δｔ） （１２）

ここで、撮像対象点ＡおよびＢは、同一物体上の点であり、２点の実空間上における位置関係は不変であるので、次式（１３）の関係が成立する。
Ｗobj（ｔ＋Δｔ）＝Ｗobj（ｔ） （１３）
式（６），式（９）および式（１３）から、次式（１４）が導かれる。
Ｄ（ｔ＋Δｔ）／｛（Ｄ（ｔ＋Δｔ）−Ｄ（ｔ））／Δｔ｝＝Ｗimg（ｔ）／｛（Ｗimg（ｔ＋Δｔ）−Ｗimg（ｔ））／Δｔ｝ （１４）

図４に示すように、実空間上において、時間Δｔの間に撮像面が移動した距離をΔＬcam、対象物が移動した距離をΔＬobjとすると、次式（１５）の関係が成り立つ。
Ｄ（ｔ＋Δｔ）−Ｄ（ｔ）＝ΔＬcam＋ΔＬobj （１５）
すなわち、式（１４）において、左辺の分母は、Ｚ軸方向における撮像面と対象物との相対距離の単位時間あたりの変位を意味している。ここで、式（１４）において、Δｔ→０とすると、次式（１６）が得られる。
Ｄ（ｔ）／（ｄＤ（ｔ）／ｄｔ）＝Ｗimg（ｔ）／（ｄＷimg（ｔ）／ｄｔ） （１６）

式（１６）において、左辺の分母は、撮像面と対象物との間の相対速度を表している。従って、撮像面と対象物との間の距離Ｄ（ｔ）を相対速度で除算している式（１６）の左辺は、対象物が撮像面に衝突するまでに要する時間を意味している。すなわち、ある時刻ｔにおける撮像面と対象物との衝突時間Ｔttc（ｔ）は、次式（１７）にて表される。
Ｔttc（ｔ）＝Ｗimg（ｔ）／（ｄＷimg（ｔ）／ｄｔ） （１７）

なお、式（５）および式（１２）が成立しない場合、すなわち、点Ａおよび点Ｂがカメラ１の撮像面から異なる距離に存在する場合には、式（１７）に基づいて算出される値は、点Ａおよび点Ｂの中間点の衝突時間となる。すなわち、式（１６）におけるＤ（ｔ）は、次式（１８）で表される。
Ｄ（ｔ）＝（Ｚobj_A（ｔ）＋Ｚobj_B（ｔ））／２ （１８）

以上のように、式（１７）から、対象物がカメラ１の撮像面、すなわち、自車両と衝突するまでの時間Ｔttc（ｔ）を求めることができる。図２に示すフローチャートのステップＳ４０において、衝突時間Ｔttc（ｔ）を求めると、ステップＳ５０に進む。ステップＳ５０では、ステップＳ４０で算出した衝突時間Ｔttc（ｔ）が所定のしきい値Ｔ1より小さいか否かを判定する。Ｔttc（ｔ）＜Ｔ1が成り立つと判定するとステップＳ６０に進む。ステップＳ６０において、演算装置２は、警報装置４に対して警報指令を出す。警報指令を受けた警報装置４は、ドライバに対して、警報を発する。

一方、ステップＳ５０において、衝突時間Ｔttc（ｔ）が所定のしきい値Ｔ1以上であると判定すると、ドライバに対して警報を発する必要はないと判断して、ステップＳ１０に戻り、撮像画像上に存在する他の対象物に対して、衝突時間Ｔttc（ｔ）を算出する処理を行う。

第１の実施の形態における衝突時間算出装置によれば、カメラ１により撮像された画像上に存在する同一対象物に属する任意の２点を検出し、検出した２点の座標値の差分の絶対値Ｗimg（ｔ）を算出するとともに、Ｗimg（ｔ）の時間微分値（ｄＷimg（ｔ）／ｄｔ）を算出し、Ｗimg（ｔ）を（ｄＷimg（ｔ）／ｄｔ）で除算することにより、演算対象の２点を含む対象物が車両（カメラ１の撮像面）と衝突する時間を算出するので、対象物が車両と衝突する時間を正確に算出することができる。すなわち、消失点を原点とする座標系を導入して、衝突時間を算出する方法では、車両挙動によって消失点の位置を誤検出してしまう場合があり、その場合には、衝突時間を正確に算出できなくなるという問題があったが、第１の実施の形態における衝突時間算出装置によれば、衝突時間を算出する際に、画像上の消失点を求める必要がないので、衝突時間を正確に算出することができる。

また、第１の実施の形態における衝突時間算出装置によれば、画像上に存在する同一対象物に属する任意の２点を評価点として検出し、この２点の相対的な位置関係に基づいて、衝突時間を算出しているので、対象物が撮像面上のいずれの位置に存在する場合でも、衝突時間を正確に算出することができる。さらに、第１の実施の形態における衝突時間算出装置によれば、対象物が自車両の進行方向を横切る方向に移動している場合、すなわち、画像上において、消失点を横切る方向の移動ベクトルを有している場合でも、正確に衝突時間を算出することができる。

また、衝突時間を正確に算出することができるので、算出した衝突時間に基づいて、自車両と衝突する危険性のある障害物を検出して、ドライバに対して警報を発することができる。

−第２の実施の形態−
第１の実施の形態における衝突時間算出装置では、カメラ１により撮像した画像上の対象物が自車両に衝突するまでの時間Ｔttc（ｔ）を算出し、算出した衝突時間Ｔttc（ｔ）に基づいて、ドライバに対して警報を発した。例えば、図５に示すように、カメラ１を搭載した車両１０の前を、歩行者１１や他車両１２が横切る場合、および、建物１３が自車両１０の前に存在している場合には、車両１０がこれらの障害物１１〜１３に衝突する可能性があるため、ドライバに対して警報を発する必要がある。しかし、第１の実施の形態における衝突時間算出装置では、撮像画像上の対象物が実際に自車両と接触する可能性があるのか、自車両の横を通り抜けるだけなのかを判断することはできなかった。このことを図６を用いて説明する。

図６において、カメラ１を搭載した車両１０の前方には、３つの障害物５１，５２，５３が存在している。３つの障害物５１〜５３と、車両１０との距離は、図６に示すように、Ｌとする。また、車両１０は、図６の矢印の方向に向かって進むものとし、車両の進行方向における、障害物５１〜５３と車両１０との間の相対速度は、いずれもＶであるとする。この場合、各障害物５１〜５３と車両１０との間の距離Ｌ、および、相対速度Ｖに基づいて算出される衝突時間ＴＴＣは、いずれも、ＴＴＣ＝Ｌ／Ｖとなり、等しくなる。この場合、障害物５２は、車両１０の進行方向に存在するため、車両１０が直進し続けると衝突するが、障害物５３は、車両１０が直進しても衝突することはなく、車両１０の側方を通り抜けるだけである。従って、障害物５３については、車両１０にとって危険性がないため、警報を発する必要がない。一方、障害物５１は、図６の矢印で示すように、障害物５２の方向に移動している物体であるため、車両１０と衝突する可能性があり、警報を発する必要がある。

第２の実施の形態における衝突時間算出装置では、撮像画像上における対象物と自車両との衝突可能性を考慮しつつ、ドライバに対して警報を発する。なお、第２の実施の形態における衝突時間算出装置の構成は、図１に示す第１の実施の形態における衝突時間算出装置の構成と同じである。

図７は、第２の実施の形態における衝突時間算出装置により行われる処理内容を示すフローチャートである。車両の図示しないキースイッチがオンされると、演算装置２は、ステップＳ１００の処理を開始する。ステップＳ１００では、カメラ１により撮像された画像を取得して、ステップＳ１１０に進む。

ステップＳ１１０では、ステップＳ１００で取得した画像上の消失点を検出する。消失点の検出は、任意の既知の方法を用いることができる。図８は、カメラ１により撮像された画像の一例である。図８において、７１の位置に消失点が検出されたとする。演算装置２は、符号７２で示す画面固定のｐｑ座標系における消失点７２の座標値（ｐfoe，ｑfoe）をメモリ３に保存して、ステップＳ１２０に進む。

ステップＳ１２０では、ステップＳ１１０で取得した画像から、オプティカルフローの算出が可能な特徴点の位置を抽出する。ここでは、撮像画像上の縦エッジを検出し、検出した縦エッジの中間点を特徴点として抽出する。図８に示す画像では、点７６〜８１が特徴点として抽出されている。これらの特徴点は、同一対象物に属する２点（評価点）を抽出するための候補点となるため、各特徴点に対して、識別番号ｎ｛ｎ＝０，１，…，Ｎ｝を与える。なお、Ｎは抽出された特徴点（評価候補点）の数である。符号７２で示す画面固定の座標系における特徴点の座標値（ｐn，ｑn）｛ｎ＝０，１，…，Ｎ｝をメモリ３に保存すると、ステップＳ１３０に進む。

ステップＳ１３０では、ステップＳ１２０で抽出した特徴点のオプティカルフローを算出する。オプティカルフローの算出は、勾配法や、特徴点のトラッキングに基づいた方法等の既知の方法を用いることができる。以下では、画像の横方向、すなわち、画面固定のｐｑ座標系７２のｐ軸方向の動きに基づいて処理を行うので、ここでは、各特徴点のｐ軸方向のオプティカルフロー値（ｄｐn／ｄｔ）｛ｎ＝０，１，…，Ｎ｝を求める。各特徴点のｐ軸方向のオプティカルフロー値（ｄｐn／ｄｔ）を求めて、メモリ３に保存すると、ステップＳ１４０に進む。

ステップＳ１４０では、各特徴点７６〜８１の評価量Ｅ−ＴＴＣを求める。ここでは、評価量Ｅ−ＴＴＣを次式（１９）で表す。
Ｅ−ＴＴＣn＝Ｘimg_n／（ｄＸimg_n／ｄｔ） ｛ｎ＝０，１，…，Ｎ｝ （１９）
ここで、Ｘimg_nは、図８において、消失点７１を原点とする座標系におけるＸimg軸上の特徴点の座標値であり、次式（２０）で表される。上述したように、ｐnは、ある特徴点のｐ軸方向の座標値であり、ｐfoeは、消失点７１のｐ軸方向の座標値である。
Ｘimg_n＝ｐn−ｐfoe ｛ｎ＝０，１，…，Ｎ｝ （２０）

Ｘimg軸は、図８に示すように、符号７２で示す画面固定の座標系におけるｐ軸方向と平行に設定するので、消失点を原点とする座標系において設定される座標値の時間微分値と、画面固定の座標系において設定される座標値の時間微分値は、同じ値となる（次式（２１）参照）。
ｄＸimg_n／ｄｔ＝ｄｐimg_n／ｄｔ （２１）

ステップＳ１２０に抽出した全ての特徴点の評価量Ｅ−ＴＴＣを求めて、メモリ３に保存すると、ステップＳ１５０に進む。ステップＳ１５０では、ステップＳ１４０で算出した評価量Ｅ−ＴＴＣに基づいて、各特徴点７６〜８１の中から、２点のペアを形成するグルーピング処理を行う。具体的には、特徴点ごとに算出した評価量Ｅ−ＴＴＣが同一の値となる特徴点の組をペアとする。例えば、各特徴点７６〜８１の識別番号をｎ₇₆，ｎ₇₇，ｎ₇₈，ｎ₇₉，ｎ₈₀，ｎ₈₁とした時に、次式（２２）が成立すると仮定すると、ｍ１：｛７６，７７｝，ｍ２：｛７８，７９｝，ｍ３：｛７９，８０｝，ｍ４：｛８０，８１｝の４組のペアが成立する。なお、ｍ１〜ｍ４は、ペア番号とする。
Ｅ−ＴＴＣｎ₇₆＝Ｅ−ＴＴＣｎ₇₇，
Ｅ−ＴＴＣｎ₇₈＝Ｅ−ＴＴＣｎ₇₉＝Ｅ−ＴＴＣｎ₈₀＝Ｅ−ＴＴＣｎ₈₁ （２２）

ここで、上記４組のペアのうち、図８に示す画像上の対象物７３，７４，７５は、それぞれ別の物体であるため、ペア番号ｍ３のペアに属する２点７９，８０は、同一の対象物に属していない。同一の対象物に属していない特徴点が１組のペアと判定された理由について説明する。Ｅ−ＴＴＣは、対象物の動き成分が撮像面の進行方向（車両の進行方向）、すなわち、カメラ１のレンズの中心から消失点の方向と平行な動き成分しか有していない場合には、対象物がカメラ１の撮像面に衝突するまでの真の衝突時間として算出される。しかしながら、対象物の動き成分が撮像面の進行方向と交わる方向の動き成分を有する場合には、実際の衝突時間とは異なる値が算出されてしまう。このため、ペア番号ｍ３のように、真の衝突時間が異なる対象であっても、ある時刻ｔにおいて算出されるＥ−ＴＴＣ値が等しくなることがある。

評価量Ｅ−ＴＴＣに基づいて、グルーピング処理を行うと、各ペアの番号、および、各ペアに属する特徴点の番号をメモリ３に保存して、ステップＳ１６０に進む。ステップＳ１６０では、ステップＳ１５０で求めた各ペアが、同一の対象物に属するペアであるか否かを判定する。まず、メモリ３に保存されている、過去の処理時刻ｔ−Δｔにおける特徴点の座標値（ｐn'(ｔ−Δｔ)，ｑn'(ｔ−Δｔ)）｛ｎ'＝０，１，…，Ｎ'｝（Ｎ'は時刻ｔ−Δｔにおける特徴点の数）を参照し、現在の処理時刻ｔにおける各特徴点（ｐn，ｑn）｛ｎ＝０，１，…，Ｎ｝に対応する特徴点を求める。ここで、処理時刻ｔにおける識別番号ｎの特徴点に対応する、時刻ｔ−Δｔの特徴点の識別番号をｒ（ｎ）とする。対応点の求め方は、正規化相関によるマッチング等の任意の既知の方法を用いることができる。

次に、時刻ｔ−Δｔにおける識別番号ｒ（ｎ）の特徴点の評価量Ｅ−ＴＴＣr(n)を、メモリ３から読み込んで、時刻ｔにおいて求めた各ペアを対象として、ペアに属する２点のＥ−ＴＴＣr(n)が等しいか否かを判定する。２点のＥ−ＴＴＣr(n)が等しい場合には、その２点は同一の対象物に属していると判断する。一方、２点のＥ−ＴＴＣr(n)が異なる値であれば、その２点は、それぞれ別の対象物に属していると判断して、その２点のペアをメモリ３から削除する。

上述した例において、ペア番号ｍ３に属する特徴点７９，８０に対応する、時刻ｔ−Δｔの特徴点の識別番号がそれぞれｒ（ｎ₇₉），ｒ（ｎ₈₀）で与えられた場合に、Ｅ−ＴＴＣ_{ｒ（ｎ79）}≠Ｅ−ＴＴＣ_{ｒ（ｎ80）}が成り立てば、特徴点７９および８０は、それぞれ別の対象物に属していると判断して、ペア番号ｍ３のペアをメモリ３から削除する。

処理時刻ｔにおいて求めた各ペアが同一の対象物に属するペアであるのかを判定するために、時刻ｔとは異なる時刻ｔ−Δｔにおける特徴点の評価量Ｅ−ＴＴＣr(n)を用いる理由について説明する。同一の対象物に属する特徴点は、時刻が変わっても評価量Ｅ−ＴＴＣの値は常に等しい。一方、異なる対象物にそれぞれ属する特徴点は、上述したように、瞬間的に、評価量Ｅ−ＴＴＣが同じ値になることはあるが、時刻が変わっても、評価量Ｅ−ＴＴＣが同じ値をとり続けるということはない。従って、ある時刻ｔにおいて、評価量Ｅ−ＴＴＣが同じ値となる２点において、過去の時刻ｔ−ΔｔにおいてもＥ−ＴＴＣが同じ値となれば、同一の対象物に属していると判断し、過去の時刻ｔ−Δｔにおいて、Ｅ−ＴＴＣが異なる値となれば、異なる対象物に属していると判断する。

ステップＳ１６０に続くステップＳ１７０では、ステップＳ１６０において同一の対象物に属すると判定されたペアを対象として、衝突時間を算出する。衝突時間Ｗ−ＴＴＣは、次式（２３）で表される。
Ｗ−ＴＴＣ_m＝Ｗ_m／（ｄＷ_m／ｄｔ） （２３）
ここで、あるペアに属する２点の識別番号をｎma，ｎmbとすると、Ｗ_mは、次式（２４）で表される。
Ｗ_m＝｜ｐ_ｎmb−ｐ_ｎma｜ （２４）

また、式（２３）の右辺の分母は、Ｗ_mの時間微分値であり、次式（２５）で表される。
ｄＷ_m／ｄｔ＝ｄ（ｐ_ｎmb−ｐ_ｎma）／ｄｔ＝（ｄｐ_ｎmb／ｄｔ）−（ｄｐ_ｎma／ｄｔ） （２５）
ただし、ｐ_ｎma＜ｐ_ｎmbであるとする。

ステップＳ１７０に続くステップＳ１８０では、ステップＳ１７０で算出した衝突時間Ｗ−ＴＴＣが所定のしきい値Ｔ2より小さいか否かを判定する。Ｗ−ＴＴＣ＜Ｔ2が成り立つと判定するとステップＳ１９０に進み、Ｗ−ＴＴＣ＜Ｔ2が成り立たないと判定すると、ステップＳ１７０に戻って、別のペアを対象として、衝突時間Ｗ−ＴＴＣを算出する。すなわち、ステップＳ１８０において、Ｗ−ＴＴＣ＜Ｔ2が成り立たないと判定された場合には、全てのペアを対象として衝突時間Ｗ−ＴＴＣを算出するまで、ステップＳ１７０およびステップＳ１８０の処理を繰り返し行う。

ステップＳ１９０では、ステップＳ１８０でＷ−ＴＴＣ＜Ｔ2の関係が成り立ったペアの２点が属する対象物が自車両の進行方向に存在するか否かを判定する。消失点を原点とするｘ軸方向において、Ｗ−ＴＴＣ＜Ｔ2の関係が成り立ったペアの２点のｘ座標の正負が異なる場合には、自車両が進行する軌跡上に存在すると判定する。すなわち、図８に示すｐ軸の原点を消失点７１に設定した場合の２点の座標ｐ_ｎmaおよびｐ_ｎmbにおいて、ｐ_ｎma×ｐ_ｎmb＜０が成り立つ場合には、２点を含む障害物が自車両の進行方向に存在すると判定する。

例えば、図８において、２点７６および７７は、消失点を挟んでおり、ｐ_ｎ76×ｐ_ｎ77＜０が成り立つので、障害物７３は、自車両の進行方向に存在すると判断する。ステップＳ１９０において、対象物が自車両の進行方向に存在すると判定するとステップＳ２１０に進み、自車両の進行方向には存在しないと判定すると、ステップＳ２００に進む。

ステップＳ２００では、ステップＳ１４０で算出したＥ−ＴＴＣと、ステップＳ１７０で算出したＷ−ＴＴＣとに基づいて、ペアとなっている２点を含む障害物が自車両の進行方向には存在しないが、自車両の進行方向に飛び出してくる障害物であるか否かを判定する。例えば、ペアｍに属する２点について、次式（２６）または（２７）が成り立つ場合には、ペアｍに属する障害物は、自車両の進行方向に飛び出してくる障害物であると判定する。
Ｗ−ＴＴＣm＜Ｅ−ＴＴＣ_ｎma （２６）
Ｗ−ＴＴＣm＜Ｅ−ＴＴＣ_ｎma （２７）

式（２６）または（２７）が成り立つ場合に、ペアｍに属する障害物は、自車両の進行方向に飛び出してくる障害物であると判定する理由について説明する。

Ｗ−ＴＴＣmは、第１の実施の形態における衝突時間算出装置で説明したように、対象物の移動ベクトルが撮像面の進行ベクトルと交わる場合でも、真の衝突時間として算出される。これに対し、Ｅ−ＴＴＣnは、Ｅ−ＴＴＣn＝Ｘimg_n／（ｄＸimg_n／ｄｔ）で表されていることからも分かるように（式（１９）参照）、対象物が撮像面の進行方向に向かう場合には、画像上の特徴点の動き、すなわち、ｄＸimg_n／ｄｔの絶対値は、対象物が静止物である場合に比べて小さくなる。逆に、対象物が撮像面の進行方向から離れていく場合には、ｄＸimg_n／ｄｔの絶対値は、対象物が静止物である場合に比べて大きくなる。このことを図９を用いて説明する。

ある時刻ｔにおいて、９１の位置に存在するカメラ１のレンズが、時刻ｔ＋Δｔにおいて、９２の位置に移動したとする。また、時刻ｔにおいて、９３の位置に存在する障害物が、時刻ｔ＋Δｔにおいて、９４の位置に移動したとする。この場合、時刻ｔにおいて、カメラ１の撮像面上の障害物の位置は９５の位置となり、時刻ｔ＋Δｔにおける撮像面上の障害物の位置は９６の位置となる。

ここで、時刻ｔ＋Δｔにおいても、障害物が９３の位置で静止していたと仮定すると、時刻ｔ＋Δｔにおける撮像面上の障害物の位置は、９７の位置となる。障害物が自車両の進行方向に接近してくる場合には（９３→９４）、図９に示すように、撮像面上における障害物の移動量、すなわち、ｄＸimg_n／ｄｔの絶対値は、障害物が静止物である場合に比べて、小さくなる。すなわち、障害物が自車両の進行方向に接近してくる場合には、評価量Ｅ−ＴＴＣの分母が小さくなるために、Ｅ−ＴＴＣの値は大きくなる。このような原理に基づいて、式（２６）または（２７）を用いて、障害物が自車両の前に飛び出してくるか否かを判定することができる。

ステップＳ２００において、演算対象となっているペアの２点を含む障害物が、自車両の進行方向に飛び出してくる障害物であると判定するとステップＳ２１０に進む。一方、ペアとなっている２点を含む障害物が、自車両の進行方向に飛び出してくる障害物ではないと判定すると、ステップＳ１７０に戻り、ステップＳ１７０以下の処理を行っていないペアを対象として、上述した処理を行う。

ステップＳ２００において、演算装置２は、警報装置４に対して警報指令を出す。警報指令を受けた警報装置４は、ドライバに対して、警報を発する。

第２の実施の形態における衝突時間算出装置によれば、画像上の消失点を原点とする座標軸を基準として、同一対象物に属する評価点の候補となる評価候補点の座標値を求めるとともに、評価候補点の座標値のオプティカルフロー値を算出し、評価候補点の座標値を、評価候補点の座標値のオプティカルフロー値で除算した評価量Ｅ−ＴＴＣを算出して、算出した評価量Ｅ−ＴＴＣに基づいて、評価点を抽出する。これにより、撮像画像上の同一対象物に属する２点を簡易な方法により抽出することができる。また、異なるタイミングにて、評価量Ｅ−ＴＴＣを少なくとも２回算出し、いずれのタイミングで演算された評価量Ｅ−ＴＴＣを比較しても、両者の値が同一となる２つの評価候補点を評価点として抽出するので、より正確に、撮像画像上の同一対象物に属する２点を抽出することができる。

また、第２の実施の形態における衝突時間算出装置によれば、評価量Ｅ−ＴＴＣと、衝突時間Ｗ−ＴＴＣとに基づいて、評価点を含む対象物がカメラ１の前を横切る物体であるか否かを判定するので、カメラ１の前を横切る物体を対象として、警報を発することができる。すなわち、障害物が車両（カメラ１の撮像面）に衝突するまでの時間に基づいて、警報を発する際に、衝突する可能性の無い障害物を対象として、警報が発せられるのを防ぐことができる。

−第３の実施の形態−
図１０は、本発明による衝突時間算出装置の第３の実施の形態における構成を示す図である。第３の実施の形態における衝突時間算出装置は、カメラ１Ｂと、演算装置２Ｂと、メモリ３Ｂと、エアバッグ展開制御装置４１と、エアバッグ４２とを備える。カメラ１Ｂは、例えば、赤外線カメラであり、車室内のドライバの顔を撮像できる位置に設置する。図１１は、ドライバ２２の顔を撮像するために、車両２３のダッシュボードの中央にカメラ１Ｂを設置した例を示す図である。

演算装置２Ｂは、カメラ１Ｂによって撮像された画像に基づいて、車両の衝突時等において、カメラ１Ｂが設置されているダッシュボードにドライバが衝突するまでの時間を算出する。エアバッグ展開制御装置４１は、演算装置２Ｂで算出された衝突時間に基づいて、エアバッグ４２の展開を制御する。

図１２は、第３の実施の形態における衝突時間算出装置により行われる処理内容を示すフローチャートである。車両の図示しないキースイッチがオンされると、演算装置２Ｂは、ステップＳ３００の処理を開始する。ステップＳ３００では、カメラ１Ｂにより撮像された画像を取得して、ステップＳ３１０に進む。

ステップＳ３１０では、ステップＳ３００で取得した画像に基づいて、ドライバの顔が写っている画素領域を抽出する処理を行う。人物の顔が写っている領域を抽出する処理は、任意の既知の方法を採用することができる。撮像画像の中から、ドライバの顔が写っている領域（以下、顔領域）を抽出する処理を行うと、ステップＳ３２０に進む。

ステップＳ３２０では、ステップＳ３１０で行った処理の結果、撮像画像の中に、顔領域が存在するか否かを判定する。ドライバの顔が写っている領域が存在しないと判定すると、ステップＳ３３０に進む。ステップＳ３３０では、メモリ３Ｂに格納されている追尾フラグをオフにして、ステップＳ３００に戻る。一方、撮像画像の中に、顔領域が存在すると判定すると、ステップＳ３４０に進む。

ステップＳ３４０では、撮像画像中の顔領域の主軸および中心を、例えば、主成分分析を用いることによって求める。主成分分析手法は、既知の方法であるため、ここでは、詳しい説明は省略する。ステップＳ３４０に続くステップＳ３５０では、メモリ３Ｂに格納されている追尾フラグがオフであるか否かを判定する。なお、キースイッチのオン時、すなわち、車両の起動時には、追尾フラグはオフとなっている。追尾フラグがオフであると判定するとステップＳ３６０に進み、オンであると判定すると、ステップＳ３９０に進む。

ステップＳ３６０では、追尾フラグをオンにして、ステップＳ３７０に進む。ステップＳ３７０では、抽出された顔領域の中から、基準点Ｐ（ｔ）および基準角θを設定する。基準点Ｐ（ｔ）および基準角θの設定方法を図１３を用いて説明する。図１３（ａ）は、ある時刻ｔにおいて、カメラ１Ｂによって撮像された画像の一例を示す図であり、図１３（ｂ）は、図１３（ａ）が撮像された時刻ｔからΔｔだけ後に撮像された画像の一例を示す図である。基準点Ｐ（ｔ）は、顔領域１３０の主軸１３１上であって、顔領域１３０の中心１３２から距離Ｌopの位置に設定する。距離Ｌopは、顔領域１３０内の主軸１３１の長さＬaに、所定の比率Ｒ１を乗じた値（Ｌa×Ｒ１）とする。

基準角θは、車体に対する水平方向の軸と主軸との間の角度とする。これは、一般的に、車両が前後方向で衝突した場合には、乗員が前後方向に動き、また、その回転は車体に対して垂直方向に最も大きくなるため、対象の幅の変化から衝突時間を算出する本実施の形態では、回転方向とは垂直の方向、すなわち、カメラ１Ｂの撮像面に対して常に同じ角度を維持する水平方向を基準とすることが望ましいからである。

ステップＳ３７０において、基準点Ｐ（ｔ）と基準角θを設定すると、ステップＳ３８０に進む。ステップＳ３８０では、顔領域１３０において、基準点Ｐ（ｔ）を通り、主軸１３１に対して基準角θの傾き方向の幅Ｗ（ｔ）を求める（図１３（ａ）参照）。幅Ｗ（ｔ）を求めると、ステップＳ３００に戻り、ステップＳ３００以降の処理を再び行う。

ステップＳ３５０において追尾フラグがオンであると判定した後に進むステップＳ３９０では、前回の処理（ステップＳ３７０）において求めた基準点に対応する基準点を、今回撮像した画像の中から求める。ここでは、ステップＳ３００の処理が行われる間隔をΔｔとし、前回の処理において求めた基準点をＰ（ｔ−Δｔ）、今回撮像された画像のうち、Ｐ（ｔ−Δｔ）に対応する基準点をＰ（ｔ）と表す。すなわち、ステップＳ３７０の際にパラメータＲ１を用いて、Ｌop（ｔ−Δｔ）＝Ｌa（ｔ−Δｔ）×Ｒ１となるように、基準点Ｐ（ｔ−Δｔ）を求めたとすると、今回の時刻において、Ｌop（ｔ）＝Ｌa（ｔ）×Ｒ１となる主軸上の点を、対応する基準点として求める。

ステップＳ３９０に続くステップＳ４００では、今回撮像された画像内の顔領域において、ステップＳ３９０で求めた基準点Ｐ（ｔ）を通り、顔領域の主軸に対して基準角θの傾き方向の幅Ｗ（ｔ）を求める。幅Ｗ（ｔ）を求めると、ステップＳ４１０に進む。

ステップＳ４１０では、次式（２８）に基づいて、カメラ１Ｂにて撮像された画像内の顔、すなわち、ドライバの顔（頭部）が、カメラ１Ｂが設置されているダッシュボードと衝突するまでの時間ＴＴＣを算出する。
ＴＴＣ＝Ｗ（ｔ）／｛（Ｗ（ｔ）−Ｗ（ｔ−Δｔ））／Δｔ｝ （２８）
なお、Ｗ（ｔ−Δｔ）は、前回の処理（ステップＳ３８０）において求められた幅であり、Ｗ（ｔ）は、今回の処理（ステップＳ４００）において求められた幅である。

ステップＳ４１０において、衝突時間ＴＴＣを求めると、ステップＳ４２０に進む。ステップＳ４２０では、ステップＳ４１０で算出した衝突時間ＴＴＣが所定のしきい値Ｔ３より小さいか否かを判定する。衝突時間ＴＴＣが所定のしきい値Ｔ３以上であると判定すると、ステップＳ３００に戻り、所定のしきい値Ｔ３より小さいと判定すると、ステップＳ４３０に進む。

ステップＳ４３０では、エアバッグ制御装置２０に対して、衝突時間ＴＴＣに応じた展開速度でエアバック２１を展開させるための指示を出す。すなわち、衝突時間ＴＴＣが短いほど、エアバッグ４２が早く開くようにし、衝突時間ＴＴＣが長いほど、エアバッグ４２がゆっくり開くようにする。これにより、車両の衝突時に展開するエアバッグ４２によって、ドライバが必要以上の衝撃を受けないようにすることができる。衝突時間ＴＴＣに応じたエアバッグの展開制御を行うと、図１２に示すフローチャートの処理を終了する。

第３の実施の形態における衝突時間算出装置によれば、乗員の顔を撮像して、撮像画像の中から顔領域を抽出し、抽出した顔領域において、基準点を通り、基本軸に対して基準角θの傾き方向の幅Ｗ（ｔ）を求め、求めた幅Ｗ（ｔ）に基づいて、カメラ１Ｂが設置されているダッシュボード等にドライバの顔（頭部）が衝突するまでの算出する。この衝突時間に基づいて、エアバッグ４２の展開を制御するので、エアバッグ４２を適切な展開速度で展開させることができる。すなわち、衝突時間が短いほど、エアバッグ４２が早く開くようにし、衝突時間が長いほど、エアバッグ４２がゆっくり開くようにするので、車両の衝突時に展開するエアバッグ４２によって、ドライバが必要以上の衝撃を受けないようにすることができる。

−第４の実施の形態−
第４の実施の形態における衝突時間算出装置の構成は、図１０に示す第３の実施の形態における衝突時間算出装置の構成と同じである。図１４は、第４の実施の形態における衝突時間算出装置によって行われる処理内容を示すフローチャートである。図１２に示すフローチャートの処理と同じ処理を行うステップについては、同一の符号を付して、詳しい説明は省略する。

ステップＳ３００〜ステップＳ３６０までの処理は、図１２に示すフローチャートのステップＳ３００〜ステップＳ３６０までの処理と同一である。ステップＳ３６０に続くステップＳ５００では、複数の基準点Ｐｍ（ｔ）｛ｍ＝１，２，…，Ｍ｝および複数の基準角θmn｛ｎ＝１，２，…，Ｎm｝を設定する。基準点Ｐｍ（ｔ）は、第３の実施の形態における基準点Ｐ（ｔ）の設定方法と同じ方法を用いて設定することができる。すなわち、基準点Ｐｍ（ｔ）は、顔領域１３０の主軸１３１上であって、顔領域１３０の中心１３２から距離Ｌop_mの位置に設定する。距離Ｌop_mは、顔領域１３０内の主軸１３１の長さＬaに、所定の比率Ｒｍを乗じた値（Ｌa×Ｒｍ）とする。図１５は、顔領域１３０の主軸１３１上に設定された複数の基準点Ｐｍ（ｔ）を示す図であり、図１５（ａ）は、時刻ｔにおいて撮像された画像、図１５（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像をそれぞれ示している。

基準角θmnは、各基準点Ｐｍ（ｔ）に対して、複数のＮm個の異なる方向に設定する。図１６は、Ｎm個の基準角θmnの設定例を示す図であり、図１６（ａ）は、時刻ｔにおいて撮像された画像、図１６（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像をそれぞれ示している。基準角は、車体に対して水平方向付近の複数の方向に設定することが好ましいが、必ずしも水平方向付近に限定されることはない。複数の基準点Ｐｍ（ｔ）｛ｍ＝１，２，…，Ｍ｝を設定するとともに、各基準点Ｐｍ（ｔ）に対して、複数の基準角θmn｛ｎ＝１，２，…，Ｎm｝を設定すると、ステップＳ５１０に進む。

ステップＳ５１０では、顔領域において、基準点Ｐｍ（ｔ）を通り、主軸１３１に対して基準角θmnの傾き方向の幅Ｗmn（ｔ）を求める。図１６（ａ）および（ｂ）には、基準点Ｐｍ（ｔ）に対して、複数の基準角θmnに対応するＮm個の幅Ｗmn（ｔ）も示している。このステップＳ５１０では、全ての基準点Ｐｍ（ｔ）｛ｍ＝１，２，…，Ｍ｝を対象として、幅Ｗmn（ｔ）を求める。全ての基準点Ｐｍ（ｔ）｛ｍ＝１，２，…，Ｍ｝を対象として、それぞれＮm個の基準角θmnに対応する幅Ｗmn（ｔ）を求めると、ステップＳ３００に戻る。

一方、ステップＳ３５０において、メモリ３Ｂに格納されている追尾フラグがオンになっていると判定すると、ステップＳ５２０に進む。ステップＳ５２０では、前回の処理（ステップＳ５００）において求めた基準点に対応する基準点を、今回撮像した画像の中から求める。第３の実施の形態で説明したように、ステップＳ３００の処理が行われる間隔をΔｔとし、前回の処理において求めた基準点をＰｍ（ｔ−Δｔ）、今回撮像された画像のうち、Ｐｍ（ｔ−Δｔ）に対応する基準点をＰｍ（ｔ）と表す。前回の処理（ステップＳ５００）において求めた基準点Ｐｍ（ｔ−Δｔ）に対応する基準点Ｐｍ（ｔ）を求めると、ステップＳ５３０に進む。基準点Ｐｍ（ｔ）は、ステップＳ５００の際に、パラメータＲｍを用いて、Ｌop_m（ｔ−Δｔ）＝Ｌa（ｔ−Δｔ）×Ｒｍとなるように、Ｐｍ（ｔ−Δｔ）を求めたとすると、今回の時刻において、Ｌop_m（ｔ）＝Ｌa（ｔ）×Ｒｍとなる主軸上の点を、対応する基準点として求める。

ステップＳ５３０では、今回撮像された画像内の顔領域において、ステップＳ５２０で求めた基準点Ｐｍ（ｔ）を通り、顔領域の主軸に対して基準角θmnの傾き方向の幅Ｗmn（ｔ）を求める。ここでは、ステップＳ５１０の処理と同様に、全ての基準点Ｐｍ（ｔ）｛ｍ＝１，２，…，Ｍ｝を対象として、複数の基準角θmnに対応する幅Ｗmn（ｔ）を求める。全ての基準点Ｐｍ（ｔ）｛ｍ＝１，２，…，Ｍ｝を対象として、全ての基準角θmnに対応する幅Ｗmn（ｔ）を求めると、ステップＳ５４０に進む。

ステップＳ５４０では、カメラ１Ｂにて撮像された画像内の顔、すなわち、ドライバの顔（頭部）が、カメラ１Ｂが設置されているダッシュボードと衝突するまでの時間ＴＴＣmnを算出する。ここでは、次式（２９）に基づいて、全ての基準点Ｐｍ（ｔ）を対象として、全ての幅Ｗmn（ｔ）について、衝突時間ＴＴＣmnを求める。
ＴＴＣmn＝Ｗmn（ｔ）／｛（Ｗmn（ｔ）−Ｗmn（ｔ−Δｔ））／Δｔ｝ （２９）
なお、Ｗmn（ｔ−Δｔ）は、前回の処理（ステップＳ５１０）において求められた幅であり、Ｗ（ｔ）は、今回の処理（ステップＳ５３０）において求められた幅である。

ステップＳ５４０において、衝突時間ＴＴＣmnを求めると、ステップＳ５５０に進む。ステップＳ５５０では、ステップＳ５４０で算出した衝突時間ＴＴＣmn｛ｍ＝１，２，…，Ｍ；ｎ＝１，２，…，Ｎm｝のうち、はずれ値を除去するとともに、はずれ値以外の値に基づいて、平均値ＴＴＣaveを算出する。ここでは、全てのＴＴＣmnの中の最大値および最小値を求めて、この最大値および最小値をはずれ値とする。なお、平均値ＴＴＣaveは、次式（３０）で表すことができる。
ＴＴＣave＝（Σ_m=1,2,…,MΣ_n=1,2,…,Nm δmn×ＴＴＣmn）／（Σ_m=1,2,…,MΣ_n=1,2,…,Nm δmn）
（３０）
ただし、δmnは、ＴＴＣmnがはずれ値の時にδmn＝０であり、はずれ値以外の値の時には、δmn＝１である。

ステップＳ５５０において、衝突時間の平均値ＴＴＣaveを算出すると、ステップＳ５６０に進む。ステップＳ５６０では、ステップＳ５５０で算出した衝突時間の平均値ＴＴＣaveが所定のしきい値Ｔ４より小さいか否かを判定する。衝突時間の平均値ＴＴＣaveが所定のしきい値Ｔ４より小さいと判定すると、ステップＳ３００に戻り、所定のしきい値Ｔ４以上であると判定すると、ステップＳ４３０に進む。ステップＳ４３０では、エアバッグ制御装置２０に対して、衝突時間の平均値ＴＴＣaveに応じた展開速度でエアバック２１を展開させるための指示を出す。衝突時間の平均値ＴＴＣaveに応じたエアバッグの展開制御を行うと、図１４に示すフローチャートの処理を終了する。

第４の実施の形態における衝突時間算出装置によれば、第３の実施の形態における衝突時間算出装置と同様に、車両の衝突時に、乗員がカメラ１Ｂの設置されているダッシュボード等に衝突するまでの時間に基づいて、エアバッグの展開制御を行うことができる。また、複数の基準点および複数の基準角を設定することにより、衝突時間をより正確に算出することができるので、衝突時間に基づいたエアバッグの展開制御をより正確に行うことができる。

また、第４の実施の形態における衝突時間算出装置によれば、複数の基準点および複数の基準角に基づいて算出される衝突時間のうち、最大値および最小値を除いた値を用いて、衝突時間の平均値を算出するので、ノイズ等の影響を除去した正確な衝突時間を算出することができる。

−第５の実施の形態−
図１７は、第５の実施の形態における衝突時間算出装置の構成を示す図である。第５の実施の形態における衝突時間算出装置は、カメラ１Ｂと、演算装置２Ｃと、メモリ３Ｃと、シートベルト制御装置４３とを備える。シートベルト制御装置４３は、演算装置２Ｃによって求められる衝突時間に基づいて、図示しないシートベルトの巻き取り処理を行う。図１８は、第５の実施の形態における衝突時間算出装置によって行われる処理内容を示すフローチャートである。図１２に示すフローチャートの処理と同じ処理を行うステップについては、同一の符号を付して、詳しい説明は省略する。

ステップＳ３００〜ステップＳ３６０までの処理は、図１２に示すフローチャートのステップＳ３００〜ステップＳ３６０までの処理と同一である。ステップＳ３６０に続くステップＳ６００では、撮像画像の顔領域の主軸上に、２つの基準点Ｐ_upper（ｔ）およびＰ_lower（ｔ）を設定する。図１９は、顔領域の主軸上に設定した２つの基準点Ｐ_upper（ｔ）およびＰ_lower（ｔ）を示す図であり、図１９（ａ）は、時刻ｔにおいて撮像された画像、図１９（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像をそれぞれ示している。２つの基準点は、第３の実施の形態における基準点Ｐ（ｔ）の設定方法と同じ方法を用いて設定することができ、２点の間隔は、任意の値に設定することができる。ここでは、基準点Ｐ_upper（ｔ）を顔領域の中心より上部に設定し、基準点Ｐ_lower（ｔ）を顔領域の中心より下部に設定する。

ステップＳ６００に続くステップＳ６１０では、顔領域において、基準点Ｐ_upper（ｔ），Ｐ_lower（ｔ）をそれぞれ通り、主軸１３１に対して垂直方向の幅Ｗ_upper（ｔ），Ｗ_lower（ｔ）を求める（図１９（ａ）参照）。幅Ｗ_upper（ｔ）およびＷ_lower（ｔ）をそれぞれ求めると、ステップＳ３００に戻る。

一方、ステップＳ３５０において、メモリ３Ｂに格納されている追尾フラグがオンになっていると判定すると、ステップＳ６２０に進む。ステップＳ６２０では、前回の処理（ステップＳ６００）において求めた基準点に対応する基準点を、今回撮像した画像の中から求める。対応する基準点は、図１２に示すフローチャートのステップＳ３７０の処理で説明した方法と同様の方法を用いて求めることができる。第３の実施の形態で説明したように、ステップＳ３００の処理が行われる間隔をΔｔとし、前回の処理において求めた基準点をＰ_upper（ｔ−Δｔ），Ｐ_lower（ｔ−Δｔ）、今回撮像された画像のうち、Ｐ_upper（ｔ−Δｔ），Ｐ_lower（ｔ−Δｔ）にそれぞれ対応する基準点をＰ_upper（ｔ），Ｐ_lower（ｔ）と表す。前回の処理（ステップＳ６００）において求めた基準点Ｐ_upper（ｔ−Δｔ），Ｐ_lower（ｔ−Δｔ）に対応する基準点Ｐ_upper（ｔ），Ｐ_lower（ｔ）をそれぞれ求めると、ステップＳ６３０に進む。

ステップＳ６３０では、今回撮像された画像内の顔領域において、ステップＳ６２０で求めた基準点Ｐ_upper（ｔ），Ｐ_lower（ｔ）をそれぞれ通り、顔領域の主軸に対して垂直方向の幅Ｗ_upper（ｔ），Ｗ_lower（ｔ）を求める。幅Ｗ_upper（ｔ），Ｗ_lower（ｔ）をそれぞれ求めると、ステップＳ６４０に進む。

ステップＳ６４０では、カメラ１Ｂにて撮像された画像内の顔、すなわち、ドライバの顔（頭部）が、カメラ１Ｂの設置されているダッシュボード等と衝突するまでの時間ＴＴＣ_upper（ｔ），ＴＴＣ_lower（ｔ）を算出する。ここでは、次式（３１）より、基準点Ｐ_upper（ｔ）およびＰ_lower（ｔ）にそれぞれ対応する幅Ｗ_upper（ｔ）およびＷ_lower（ｔ）に基づいて、衝突時間ＴＴＣ_upper（ｔ），ＴＴＣ_lower（ｔ）を求める。
ＴＴＣ_upper（ｔ）＝Ｗ_upper（ｔ）／｛（Ｗ_upper（ｔ）−Ｗ_upper（ｔ−Δｔ））／Δｔ｝，
ＴＴＣ_lower（ｔ）＝Ｗ_lower（ｔ）／｛（Ｗ_lower（ｔ）−Ｗ_lower（ｔ−Δｔ））／Δｔ｝ （３１）
なお、Ｗ_upper（ｔ−Δｔ），Ｗ_lower（ｔ−Δｔ）は、前回の処理（ステップＳ６１０）において求められた幅であり、Ｗ_upper（ｔ），Ｗ_lower（ｔ）は、今回の処理（ステップＳ６３０）において求められた幅である。

ステップＳ６４０に続くステップＳ６５０では、次式（３２）より、回転指標Ｒ（ｔ）を求める。この回転指標Ｒ（ｔ）は、シートベルトの巻き取り制御を行う際の判断指標として用いられる。
Ｒ（ｔ）＝ＴＴＣ_lower（ｔ）−ＴＴＣ_upper（ｔ） （３２）

ステップＳ６５０に続くステップＳ６６０では、ステップＳ６５０で求めた回転指標Ｒ（ｔ）が所定のしきい値Ｒ１より小さく、かつ、衝突時間ＴＴＣ_upper（ｔ）が所定のしきい値Ｔ５より小さいか否かを判定する。Ｒ（ｔ）＜Ｒ１、かつ、ＴＴＣ_upper（ｔ）＜Ｔ５が成り立つと判定するとステップＳ６７０に進み、成り立たないと判定すると、ステップＳ３００に戻る。ステップＳ６７０では、シートベルトの巻き取り処理を行い、図１８に示すフローチャートの処理を終了する。

ステップＳ６６０における判定手法について説明しておく。基準点Ｐ_upper（ｔ）に対応する衝突時間ＴＴＣ_upper（ｔ）は、車両の衝突時や急制動時に、ドライバの頭部がフロントダッシュボード、または、フロントダッシュボード付近の物に衝突するまでの時間であり、値が小さいほど、衝突するまでの時間が短いことを表している。ドライバがシートベルトを適切に着用している場合、ドライバの胴体部の動きは制約されるために、車両の衝突時に、首を回転軸とする前方方向への回転が大きく発生し、顔領域の首に近い箇所Ｐ_lower（ｔ）よりも頭部付近のＰ_upper（ｔ）の衝突時間が短くなる。従って、回転指標Ｒ（ｔ）の値は大きくなる。

これに対して、シートベルトが緩んでいる場合には、ドライバの胴体部の動きが制約されないために、急制動時において、体全体が前方に投げ出され、首を回転軸とする前方方向への回転は少なくなる。従って、顔領域の首に近い箇所Ｐ_lower（ｔ）に対応する衝突時間ＴＴＣ_lower（ｔ）と、頭部付近のＰ_upper（ｔ）に対応する衝突時間ＴＴＣ_upper（ｔ）との差が小さくなり、回転指標Ｒ（ｔ）の値は小さくなる。

従って、衝突時間ＴＴＣ_upper（ｔ）が所定のしきい値Ｔ５より小さく、かつ、回転指標Ｒ（ｔ）が所定のしきい値Ｒ１より小さい場合には、車両の急制動が発生し、かつ、シートベルトが緩んでいると判断して、シートベルトを巻き取る処理を行う。

第５の実施の形態における衝突時間算出装置によれば、顔領域の頭部に近い位置の基準点Ｐ_upper（ｔ）に対応する衝突時間ＴＴＣ_upper（ｔ）と、首に近い箇所の基準点Ｐ_lower（ｔ）に対応する衝突時間ＴＴＣ_lower（ｔ）とをそれぞれ求め、求めたＴＴＣ_upper（ｔ）およびＴＴＣ_lower（ｔ）に基づいて、シートベルトの締まり具合を確認して、シートベルトの締結を制御する。すなわち、ＴＴＣ_upper（ｔ）およびＴＴＣ_lower（ｔ）に基づいて、回転指標Ｒ（ｔ）を求め、求めた回転指標Ｒ（ｔ）が所定のしきい値Ｒ１より小さく、かつ、衝突時間ＴＴＣ_upper（ｔ）が所定のしきい値Ｔ５より小さい場合には、シートベルトを巻き取る処理を行うので、乗員の安全性をさらに向上させることができる。

−第６の実施の形態−
第６の実施の形態における衝突時間算出装置の構成は、図１に示す第１の実施の形態における衝突時間算出装置の構成と同じである。図２０は、第６の実施の形態における衝突時間算出装置によって行われる処理内容を示すフローチャートである。図１２に示すフローチャートの処理と同じ処理を行うステップについては、同一の符号を付して、詳しい説明は省略する。

図２０に示すフローチャートの処理が、図１２に示すフローチャートの処理と異なるのは、ステップＳ３１０Ａ、Ｓ７００およびＳ７１０である。従って、以下では、ステップＳ３１０Ａ、Ｓ７００およびＳ７１０の処理内容についてのみ説明する。

ステップＳ３００において、車両進行方向を撮像した画像を取得すると、ステップＳ３１０Ａに進む。ステップＳ３１０Ａでは、ステップＳ３００で取得した画像の中から、車両の進行方向における領域を対象領域として抽出する処理を行う。対象領域を抽出する処理を行うと、ステップＳ７００に進む。ステップＳ７００では、ステップＳ３１０Ａで行った処理の結果、撮像画像中に対象領域が存在するか否かを判定する。ここでは、車両の進行方向、すなわち、車両がこれから走行する経路上に物体が存在する場合に、対象領域が存在すると判定する。対象領域が存在すると判定するとステップＳ３４０に進み、存在しないと判定すると、ステップＳ３３０に進む。

続いて、ステップＳ７１０の処理について説明する。ステップＳ４２０において衝突時間ＴＴＣが所定のしきい値Ｔ３より小さいと判定された後に進むステップＳ７１０では、警報装置４に対して警報指令を出す。警報指令を受けた警報装置４は、ドライバに対して、警報を発する。

第６の実施の形態における衝突時間算出装置によれば、第１の実施の形態における衝突時間算出装置と同様に、対象物が撮像面上のいずれの位置に存在する場合でも、衝突時間を正確に算出することができる。

本発明は、上述した各実施の形態に限定されることはない。例えば、図２に示すフローチャートのステップＳ３０では、評価点の座標値の差分の絶対値Ｗnを算出する際に、ｑ軸方向の座標値の差を算出したが、ｐ軸方向の座標値の差を算出してもよいし、ｐｑ座標系ではなく、他の任意の座標系を設定して、その座標系における座標値の差分を算出するようにしてもよい。

図７に示すフローチャートのステップＳ１２０では、撮像画像上の縦エッジを検出し、検出した縦エッジの中間点を特徴点（評価候補点）として検出したが、他の点を評価候補点として検出してもよい。

第３の実施の形態では、撮像画像中の顔領域の主軸および中心を求める方法として、主成分分析を利用する方法を一例に挙げたが、他の方法を用いて求めてもよい。例えば、顔領域に外接する矩形領域を求め、領域重心を中心とし、中心を通り、外接矩形の長軸方向の傾きを持つ線分を主軸とすることができる。

また、顔領域の基準点を設定する方法も上述した方法に限定されることはない。例えば、顔領域の中心を基準点に設定してもよいし、顔領域の中心軸から外れた位置に基準点を設定してもよい。すなわち、前回の処理において求めた基準点と対応する基準点が、次の処理で撮像した画像内で一意に求められるのであれば、基準点Ｐｍ（ｔ）は、任意の位置に設定することができる。また、基準角θも上述した設定方法に限定されることはなく、任意の方法で設定することができる。

図１２に示すフローチャートの処理は、図示しないキースイッチがオンされた時に開始するものとして説明したが、図示しない衝突センサが車両の衝突を検知した時に開始することもできるし、車両の急制動を検知した時に開始することもできる。

上述した第３〜第５の実施の形態では、カメラ１Ｂの設置されているダッシュボードにドライバの顔（頭部）が衝突するまでの時間を求めたが、頭部とともに、ドライバの胴体部の衝突時間を求めて、頭部および胴体部の衝突時間に基づいて、エアバッグの展開を制御することもできる。また、ドライバだけでなく、助手席の乗員の顔を撮像して、助手席の顔（頭部）の衝突時間を求めることもできる。この場合にも、求めた衝突時間に基づいて、助手席側のエアバッグの展開を制御することができる。

上述した第３〜第５の実施の形態では、衝突時間に基づいて、フロントエアバッグの展開を制御する例について説明したが、サイドエアバッグの展開制御にも適用することができる。図２１は、ドライバが車体側面と衝突するまでの時間を求めるために、車体側面にカメラ１Ｃを設置した例を示す図である。

第４の実施の形態における衝突時間算出装置では、複数の基準点および複数の基準角を設定することにより、複数の衝突時間を算出したが、第５および第６の実施の形態における衝突時間算出装置においても、複数の基準点および複数の基準角を設定して、複数の衝突時間を算出することができる。

特許請求の範囲の構成要素と各実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ１，１Ｂ，１Ｃが撮影手段を、演算装置２，２Ｂ，２Ｃが評価点抽出手段、第１の算出手段、第２の算出手段、衝突時間算出手段、消失点検出手段、オプティカルフロー算出手段、評価指標値算出手段、判定手段、障害物検出手段、領域抽出手段、設定手段、領域幅取得手段およびシートベルト確認手段を、警報装置４が警報手段を、エアバッグ展開制御装置４１がエアバッグ展開制御手段を、シートベルト制御装置４３がシートベルト制御手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。

本発明による衝突時間算出装置の第１の実施の形態における構成を示す図 第１の実施の形態における衝突時間算出装置により行われる処理内容を示すフローチャート 図３は、カメラ１により撮像された画像の一例であり、図３（ａ）は、時刻ｔにおいて撮像された画像を、図３（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像をそれぞれ示している。 時刻ｔにおけるカメラおよび障害物の位置、および、時刻ｔ＋Δｔにおけるカメラおよび障害物の位置を示す図 自車両に衝突する可能性のある障害物を示す図 自車両と衝突する可能性のある障害物および衝突する可能性のない障害物を示す図 第２の実施の形態における衝突時間算出装置により行われる処理内容を示すフローチャート カメラにより撮像された画像の一例 撮像面の進行方向に向かう対象物の画像上の特徴点の動きが、静止物である対象物の画像上の特徴点の動きに比べて小さくなることを説明するための図 第３の実施の形態における衝突時間算出装置の構成を示す図 第３の実施の形態における衝突時間算出装置において、カメラの設置位置の一例を示す図 第３の実施の形態における衝突時間算出装置により行われる処理内容を示すフローチャート 図１３（ａ）は、ある時刻ｔにおいて撮像された画像の一例を示す図であり、図１３（ｂ）は、図１３（ａ）が撮像された時刻ｔからΔｔだけ後に撮像された画像の一例を示す図 第４の実施の形態における衝突時間算出装置によって行われる処理内容を示すフローチャート 複数の基準点の設定例を示す図であり、図１５（ａ）は、時刻ｔにおいて撮像された画像を、図１５（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像をそれぞれ示している。 複数の基準角の設定例を示す図であり、図１６（ａ）は、時刻ｔにおいて撮像された画像を、図１６（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像をそれぞれ示している。 第５の実施の形態における衝突時間算出装置の構成を示す図 第５の実施の形態における衝突時間算出装置によって行われる処理内容を示すフローチャート 顔領域の主軸上に設定した２つの基準点を示す図であり、図１９（ａ）は、時刻ｔにおいて撮像された画像、図１９（ｂ）は、時刻ｔ＋Δｔにおいて撮像された画像をそれぞれ示している。 第６の実施の形態における衝突時間算出装置によって行われる処理内容を示すフローチャート カメラを車体側面に設置した例を示す図

符号の説明

１…カメラ、２…演算装置、３…メモリ、４…警報装置、１０…自車両、１１…歩行者、１２…他車両、１３…障害物、２０…エアバッグ展開制御装置、２１…エアバッグ、２２…シートベルト制御装置、５１〜５３…障害物、７１…消失点、７２…ｐｑ座標系、７３〜７５…障害物、７６〜８１…特徴点

Claims (8)

1. 移動体に搭載される撮像手段と、
   前記撮像手段により撮像された画像上の同一対象物に属する任意の２点を評価点として抽出する評価点抽出手段と、
   前記画像上に設定された任意の座標軸を基準として、前記評価点抽出手段により抽出された２点の座標値の差分の絶対値を算出する第１の算出手段と、
   前記撮像手段により撮像された少なくとも２つの画像に基づいて、前記第１の算出手段により算出された２点の座標値の差分の絶対値の時間微分値を求める第２の算出手段と、
   前記第１の算出手段により算出された２点の座標値の差分の絶対値と、前記第２の算出手段により算出された２点の座標値の差分の絶対値の時間微分値とに基づいて、前記評価点抽出手段により抽出された２点を含む対象物が前記移動体と衝突するのに要する時間（以下、衝突時間と呼ぶ）を算出する衝突時間算出手段と、
   前記撮像手段により撮像された画像上の消失点を検出する消失点検出手段と、
   前記消失点検出手段により検出した消失点を原点とする画像の横方向の座標軸を基準として、前記評価点の候補となる評価候補点の座標値の消失点を原点とする画像の横軸方向のオプティカルフロー値を算出するオプティカルフロー算出手段と、
   前記評価候補点の座標値を、前記オプティカルフロー算出手段により算出した前記消失点を原点とする画像の横軸方向のオプティカルフロー値で除算した評価指標値を算出する評価指標値算出手段とを備え、
   前記評価点抽出手段は、前記評価指標値算出手段により算出された評価指標値に基づいて、前記評価点を抽出することを特徴とする衝突時間算出装置。
2. 請求項１に記載の衝突時間算出装置において、
   前記衝突時間算出手段は、前記第１の算出手段により算出された２点の座標値の差分の絶対値を、前記第２の算出手段により算出された２点の座標値の差分の絶対値の時間微分値で除算した値を前記衝突時間として算出することを特徴とする衝突時間算出装置。
3. 請求項１に記載の衝突時間算出装置において、
   前記評価点抽出手段は、前記評価指標値算出手段により算出された評価指標値が同一となる２つの評価候補点を前記評価点として抽出することを特徴とする衝突時間算出装置。
4. 請求項１または３に記載の衝突時間算出装置において、
   前記評価指標値算出手段は、異なるタイミングにて、前記評価指標値を少なくとも２回算出し、
   前記評価点抽出手段は、いずれのタイミングにおいて演算された評価指標値を比較しても、評価指標値が同一となる２つの評価候補点を前記評価点として抽出することを特徴とする衝突時間算出装置。
5. 請求項１または４に記載の衝突時間算出装置において、
   前記評価指標値算出手段により算出された評価指標値と、前記衝突時間算出手段により算出された衝突時間とに基づいて、前記評価点を含む対象物が前記撮像手段の前を横切る物体であるか否かを判定する判定手段とを備えることを特徴とする衝突時間算出装置。
6. 請求項５に記載の衝突時間算出装置において、
   前記判定手段は、前記評価点に含まれる２点のうちのいずれか一方の点において、前記評価指標値算出手段により算出された評価指標値が前記衝突時間算出手段により算出された衝突時間より小さい場合に、前記評価点を含む対象物が前記撮像手段の前を横切る物体であると判定することを特徴とする衝突時間算出装置。
7. 請求項５または６に記載の衝突時間算出装置において、
   前記判定手段によって、前記評価点を含む対象物が前記撮像手段の前を横切る物体であると判定された対象物の衝突時間に基づいて、警報を発する警報手段をさらに備えることを特徴とする衝突時間算出装置。
8. 請求項１〜７のいずれかに記載の衝突時間算出装置と、
   前記衝突時間算出装置により算出された衝突時間に基づいて、障害物を検出する障害物検出手段をさらに備えることを特徴とする障害物検出装置。
   

Images