JP2003172780A - 前方車両の認識装置及び認識方法 - Google Patents
前方車両の認識装置及び認識方法Info
- Publication number
- JP2003172780A JP2003172780A JP2001372196A JP2001372196A JP2003172780A JP 2003172780 A JP2003172780 A JP 2003172780A JP 2001372196 A JP2001372196 A JP 2001372196A JP 2001372196 A JP2001372196 A JP 2001372196A JP 2003172780 A JP2003172780 A JP 2003172780A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- reflection
- rectangular area
- height
- recognizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】前方車両がレーザレーダの検知範囲の一部にし
か入っていない場合でも、精度よく前方車両を認識する
ことが可能な認識装置及び認識方法を提供する。 【解決手段】レーザレーダモジュールによる各反射点を
車高相当分だけ高さ方向に２次元的に伸張、投影して反
射線ＲＬを形成し、形成した各反射線ＲＬの画像処理に
よる矩形領域Ｓに対応する位置での長さ、及び、その反
射線ＲＬの位置での矩形領域Ｓの高さのばらつきを評価
し、そのばらつきが予め定めた所定値以下となる反射線
ＲＬを車両候補群として選択し、選択した車両候補群の
反射線ＲＬと矩形領域Ｓとを照合することにより、より
精度の高い認識結果を得ることができる。
か入っていない場合でも、精度よく前方車両を認識する
ことが可能な認識装置及び認識方法を提供する。 【解決手段】レーザレーダモジュールによる各反射点を
車高相当分だけ高さ方向に２次元的に伸張、投影して反
射線ＲＬを形成し、形成した各反射線ＲＬの画像処理に
よる矩形領域Ｓに対応する位置での長さ、及び、その反
射線ＲＬの位置での矩形領域Ｓの高さのばらつきを評価
し、そのばらつきが予め定めた所定値以下となる反射線
ＲＬを車両候補群として選択し、選択した車両候補群の
反射線ＲＬと矩形領域Ｓとを照合することにより、より
精度の高い認識結果を得ることができる。
Description
【０００１】
【発明の属する技術分野】この発明は、自車の前方を走
行する車両を認識する前方車両の認識装置及び認識方法
に関する。
行する車両を認識する前方車両の認識装置及び認識方法
に関する。
【０００２】
【従来の技術】近年、例えば高速道路における追従走行
機能や操舵アシスト機能といった、より高度でより快適
な運転支援システムを搭載した車両が提案され、そのひ
とつにスキャンレーザレーダを用いて自車前方の車両を
認識する認識装置がある。
機能や操舵アシスト機能といった、より高度でより快適
な運転支援システムを搭載した車両が提案され、そのひ
とつにスキャンレーザレーダを用いて自車前方の車両を
認識する認識装置がある。
【０００３】この種スキャンレーザレーダを用いた従来
の認識装置では、レーザ光を照射してから反射光を観測
するまでの時間を計測することで、反射点までの距離を
検出でき、スキャニング機構を設けることにより、１０
数゜の水平視野を確保し、遠距離の車両であれば、図６
に示すように車両後端面の両端に装備されているリフレ
クタ（反射板）からの反射が２点観測され、中近距離で
あれば車両のボディからの反射も多数観測できるため、
反射点の数は３点以上の多数に及ぶ。図６（ａ）は自車
に搭載したレーザレーダからレーザ光を照射する様子を
表わし、同図（ｂ）中の●は反射点を示しており、図中
のＺR は自車の進行方向、ＸR はこれに直交する方向で
ある。
の認識装置では、レーザ光を照射してから反射光を観測
するまでの時間を計測することで、反射点までの距離を
検出でき、スキャニング機構を設けることにより、１０
数゜の水平視野を確保し、遠距離の車両であれば、図６
に示すように車両後端面の両端に装備されているリフレ
クタ（反射板）からの反射が２点観測され、中近距離で
あれば車両のボディからの反射も多数観測できるため、
反射点の数は３点以上の多数に及ぶ。図６（ａ）は自車
に搭載したレーザレーダからレーザ光を照射する様子を
表わし、同図（ｂ）中の●は反射点を示しており、図中
のＺR は自車の進行方向、ＸR はこれに直交する方向で
ある。
【０００４】ところが、この場合、車体の同じ部位から
一定して反射があるわけではなく、車両の向き、形状、
位置関係等で時々刻々反射位置が変化し、分布も一様で
はない。
一定して反射があるわけではなく、車両の向き、形状、
位置関係等で時々刻々反射位置が変化し、分布も一様で
はない。
【０００５】そこで、得られた反射点群に対してファジ
ィ手法等によるクラスタリングをすることで先行車両を
認識する手法が提案されている。その具体例として、自
動車技術会学術講演会前刷集９３１，Ｎｏ．９３０１７
１９，ｐｐ５３−５６（１９９３−５）（「レーザレー
ダによる先行車認識アルゴリズム開発」）に記載の手
法、或いは、本件出願人の出願にかかる特開平６−３０
９６００号公報に記載の手法等がある。
ィ手法等によるクラスタリングをすることで先行車両を
認識する手法が提案されている。その具体例として、自
動車技術会学術講演会前刷集９３１，Ｎｏ．９３０１７
１９，ｐｐ５３−５６（１９９３−５）（「レーザレー
ダによる先行車認識アルゴリズム開発」）に記載の手
法、或いは、本件出願人の出願にかかる特開平６−３０
９６００号公報に記載の手法等がある。
【０００６】
【発明が解決しようとする課題】しかし、これら従来の
手法は、高速道路のように車両どうしの間隔や車両と路
側構造物との間隔が広い場合にはほとんど問題はない
が、これを一般道路に拡張しようとすると次のような課
題が生じる。つまり、第１の課題として、前方車両の近
傍の走行車両または駐停車車両からの反射を、前方車両
からの反射に含めて処理してしまい、前方車両の距離計
測値に誤差が生じる、第２の課題として、路側物からの
反射を、前方車両からの反射に含めて処理してしまい、
前方車両の距離計測値に誤差が生じる、第３の課題とし
て、一般的にレーダの水平視野は狭いため、近距離での
割り込み車両等の検出が遅れる、という課題がある。
手法は、高速道路のように車両どうしの間隔や車両と路
側構造物との間隔が広い場合にはほとんど問題はない
が、これを一般道路に拡張しようとすると次のような課
題が生じる。つまり、第１の課題として、前方車両の近
傍の走行車両または駐停車車両からの反射を、前方車両
からの反射に含めて処理してしまい、前方車両の距離計
測値に誤差が生じる、第２の課題として、路側物からの
反射を、前方車両からの反射に含めて処理してしまい、
前方車両の距離計測値に誤差が生じる、第３の課題とし
て、一般的にレーダの水平視野は狭いため、近距離での
割り込み車両等の検出が遅れる、という課題がある。
【０００７】また、レーザレーダの場合、車両が存在し
ないときに、ガードレールの反射板や看板等の路側構造
物からの反射も観測され、これらを駐停車車両や前方車
両として誤認識したり、隣接車線を走行する前方車両を
観測車と同じ車線を走行する車両と判定したり、路面の
水を前方車両がはね上げることでレーザ光が減衰し、前
方車両を認識できなくなったりするが、これらはレーザ
レーダ特有の課題や、その他の非常に高度な認識処理を
要する課題であって、今回、本発明が解決しようとする
課題ではない。
ないときに、ガードレールの反射板や看板等の路側構造
物からの反射も観測され、これらを駐停車車両や前方車
両として誤認識したり、隣接車線を走行する前方車両を
観測車と同じ車線を走行する車両と判定したり、路面の
水を前方車両がはね上げることでレーザ光が減衰し、前
方車両を認識できなくなったりするが、これらはレーザ
レーダ特有の課題や、その他の非常に高度な認識処理を
要する課題であって、今回、本発明が解決しようとする
課題ではない。
【０００８】そこで、上記した第１ないし第３の課題を
解決するために、自動車技術会学術講演会前刷集９５
２，ｐｐ２３９−２４２（１９９５）（「画像処理とレ
ーザレーダの融合による走行環境認識方法の検討」）に
記載のように、レーザレーダを用いて車両認識を行う場
合に、撮像手段による画像を処理した結果を融合するこ
とで、前方車両以外の車両や路側物等からの反射を排除
して前方車両の認識精度の向上を図れるようにすること
が従来から考えられている。
解決するために、自動車技術会学術講演会前刷集９５
２，ｐｐ２３９−２４２（１９９５）（「画像処理とレ
ーザレーダの融合による走行環境認識方法の検討」）に
記載のように、レーザレーダを用いて車両認識を行う場
合に、撮像手段による画像を処理した結果を融合するこ
とで、前方車両以外の車両や路側物等からの反射を排除
して前方車両の認識精度の向上を図れるようにすること
が従来から考えられている。
【０００９】ところが、このような融合の場合、特に図
７に示すように、レーザレーダの検知範囲Ｌの一部にし
か前方車両が入っていない状況では、撮像手段による撮
像画像から前方車両の後端面画像を含む所定の矩形領域
を抽出したときに、その矩形領域の中心と、レーザレー
ダの検知範囲Ｌの中心とが一致せず、レーザレーダが検
知している領域は車両ではないと判断され、撮像手段の
画像から得られる矩形領域は車両と認識されないことが
あり、このような状況では、レーザレーダと撮像手段を
照合しても前方車両を精度よく検出することができない
という問題点があった。
７に示すように、レーザレーダの検知範囲Ｌの一部にし
か前方車両が入っていない状況では、撮像手段による撮
像画像から前方車両の後端面画像を含む所定の矩形領域
を抽出したときに、その矩形領域の中心と、レーザレー
ダの検知範囲Ｌの中心とが一致せず、レーザレーダが検
知している領域は車両ではないと判断され、撮像手段の
画像から得られる矩形領域は車両と認識されないことが
あり、このような状況では、レーザレーダと撮像手段を
照合しても前方車両を精度よく検出することができない
という問題点があった。
【００１０】本発明が解決しようとする課題は、レーザ
レーダの検知範囲の一部にしか入っていない前方車両で
あっても、精度よくこれを認識することが可能な認識装
置及び認識方法を提供することを目的とする。
レーダの検知範囲の一部にしか入っていない前方車両で
あっても、精度よくこれを認識することが可能な認識装
置及び認識方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】上記した目的を達成する
ために、請求項１に記載の発明にかかる前方車両の認識
装置は、自車の前方を走行する車両を認識する前方車両
の認識装置において、自車前方にレーザ光を水平方向に
スキャンしつつ照射すると共に反射点からの反射光を受
光し複数個の前記反射点の位置を特定するレーザレーダ
と、自車前方を撮像する撮像部と、前記撮像部による撮
像画像から前方車両の後端面画像を含む所定の矩形領域
を抽出する画像処理部と、前記レーザレーダにより特定
された前記各反射点を車高相当分だけの高さ方向に２次
元的に伸張、投影して前記各反射点それぞれに対応する
反射線を形成する形成部と、前記形成部より形成される
前記各反射線の前記矩形領域に対応する位置での長さと
前記矩形領域の高さとに基づき前方車両を認識する認識
部とを備えていることを特徴としている。
ために、請求項１に記載の発明にかかる前方車両の認識
装置は、自車の前方を走行する車両を認識する前方車両
の認識装置において、自車前方にレーザ光を水平方向に
スキャンしつつ照射すると共に反射点からの反射光を受
光し複数個の前記反射点の位置を特定するレーザレーダ
と、自車前方を撮像する撮像部と、前記撮像部による撮
像画像から前方車両の後端面画像を含む所定の矩形領域
を抽出する画像処理部と、前記レーザレーダにより特定
された前記各反射点を車高相当分だけの高さ方向に２次
元的に伸張、投影して前記各反射点それぞれに対応する
反射線を形成する形成部と、前記形成部より形成される
前記各反射線の前記矩形領域に対応する位置での長さと
前記矩形領域の高さとに基づき前方車両を認識する認識
部とを備えていることを特徴としている。
【００１２】このような構成によれば、レーザレーダに
より特定された各反射点を車高相当分だけの高さ方向に
２次元的に伸張、投影して前記各反射点それぞれに対応
する反射線が形成され、これら各反射線の画像処理によ
って得られる矩形領域に対応する位置での長さと、矩形
領域の高さとに基づき前方車両かどうかの判断が行われ
る。
より特定された各反射点を車高相当分だけの高さ方向に
２次元的に伸張、投影して前記各反射点それぞれに対応
する反射線が形成され、これら各反射線の画像処理によ
って得られる矩形領域に対応する位置での長さと、矩形
領域の高さとに基づき前方車両かどうかの判断が行われ
る。
【００１３】このとき、各反射点を車高相当分だけ高さ
方向に２次元的に伸張、投影して反射線を形成したとき
に、画像処理によって得られる矩形領域に対応する位置
での各反射線の長さが各々の反射点までの距離に比例す
ることから、矩形領域に対応する位置での各反射線の長
さが、矩形領域の高さから大きくずれている反射線は前
方車両からの反射点に対応するものではなく、矩形領域
の高さと近似する反射線は前方車両からの反射点に対応
するものと判断することができる。
方向に２次元的に伸張、投影して反射線を形成したとき
に、画像処理によって得られる矩形領域に対応する位置
での各反射線の長さが各々の反射点までの距離に比例す
ることから、矩形領域に対応する位置での各反射線の長
さが、矩形領域の高さから大きくずれている反射線は前
方車両からの反射点に対応するものではなく、矩形領域
の高さと近似する反射線は前方車両からの反射点に対応
するものと判断することができる。
【００１４】従って、矩形領域に対応する位置での各反
射線の長さが矩形領域の高さと近似する反射線に対応す
る反射点のみを選択し、これら選択した反射点による反
射点群は車両候補群と判断できるため、レーザレーダを
用いた車両認識に、撮像部による画像処理の結果を融合
する場合に、レーザレーダの検知範囲の一部にしか入っ
ていない前方車両を精度よく認識することができる。
射線の長さが矩形領域の高さと近似する反射線に対応す
る反射点のみを選択し、これら選択した反射点による反
射点群は車両候補群と判断できるため、レーザレーダを
用いた車両認識に、撮像部による画像処理の結果を融合
する場合に、レーザレーダの検知範囲の一部にしか入っ
ていない前方車両を精度よく認識することができる。
【００１５】また、請求項２に記載の発明にかかる前方
車両の認識装置は、前記認識部が、前記各反射線の前記
矩形領域に対応する位置での長さ、及び、その反射線の
位置での前記矩形領域の高さを照合してそのばらつきを
評価し、前記ばらつきが所定値以下であるときに前記矩
形領域が前方車両であると判断することを特徴としてい
る。
車両の認識装置は、前記認識部が、前記各反射線の前記
矩形領域に対応する位置での長さ、及び、その反射線の
位置での前記矩形領域の高さを照合してそのばらつきを
評価し、前記ばらつきが所定値以下であるときに前記矩
形領域が前方車両であると判断することを特徴としてい
る。
【００１６】このような構成によれば、各反射点を車高
相当分だけ高さ方向に２次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例するため、矩形領域に対応する位置での各
反射線の長さが、矩形領域の高さから大きくずれている
反射線は前方車両からの反射点に対応するものではな
く、矩形領域の高さと近似する反射線は前方車両からの
反射点に対応するものと判断することができる。
相当分だけ高さ方向に２次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例するため、矩形領域に対応する位置での各
反射線の長さが、矩形領域の高さから大きくずれている
反射線は前方車両からの反射点に対応するものではな
く、矩形領域の高さと近似する反射線は前方車両からの
反射点に対応するものと判断することができる。
【００１７】そのため、各反射線の矩形領域に対応する
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線を選択することにより、前方車両
がレーザレーダの検知範囲の一部にしか入っていない場
合であっても、前方車両からの反射点に対応する反射線
のみを車両候補として選択することができる。
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線を選択することにより、前方車両
がレーザレーダの検知範囲の一部にしか入っていない場
合であっても、前方車両からの反射点に対応する反射線
のみを車両候補として選択することができる。
【００１８】また、請求項３に記載の発明にかかる前方
車両の認識装置は、前記認識部が、前記各反射線の前記
矩形領域に対応する位置での長さ、及び、その反射線の
位置での前記矩形領域の高さのばらつきが規定値以下と
なる前記反射線を車両候補群とし、この車両候補群を画
像処理の座標系に座標変換して前記矩形領域と照合する
照合部と、座標変換後の前記車両候補群が前記矩形領域
の少なくとも一部とほぼ一致するときにその車両候補群
及び前記矩形領域を前方車両と判断する判断部とを備え
ていることを特徴としている。
車両の認識装置は、前記認識部が、前記各反射線の前記
矩形領域に対応する位置での長さ、及び、その反射線の
位置での前記矩形領域の高さのばらつきが規定値以下と
なる前記反射線を車両候補群とし、この車両候補群を画
像処理の座標系に座標変換して前記矩形領域と照合する
照合部と、座標変換後の前記車両候補群が前記矩形領域
の少なくとも一部とほぼ一致するときにその車両候補群
及び前記矩形領域を前方車両と判断する判断部とを備え
ていることを特徴としている。
【００１９】このような構成によれば、照合部により、
各反射線の矩形領域に対応する位置での長さ、及び、そ
の反射線の位置での矩形領域の高さのばらつきが所定値
以下となる反射線が車両候補群として選択されるため、
前方車両がレーザレーダの検知範囲の一部にしか入って
いない場合であっても、前方車両からの反射点に対応す
る反射線のみを車両候補群として選択することができ
る。
各反射線の矩形領域に対応する位置での長さ、及び、そ
の反射線の位置での矩形領域の高さのばらつきが所定値
以下となる反射線が車両候補群として選択されるため、
前方車両がレーザレーダの検知範囲の一部にしか入って
いない場合であっても、前方車両からの反射点に対応す
る反射線のみを車両候補群として選択することができ
る。
【００２０】更に、照合部により、この車両候補群が画
像センサの座標系に座標変換されて矩形領域と照合さ
れ、判断部により、座標変換後の車両候補点群が矩形領
域の少なくとも一部とほぼ一致すれば、その車両候補群
及び矩形領域が前方車両と判断されるため、どのような
状況下でも前方車両を精度よく検出することができる。
像センサの座標系に座標変換されて矩形領域と照合さ
れ、判断部により、座標変換後の車両候補点群が矩形領
域の少なくとも一部とほぼ一致すれば、その車両候補群
及び矩形領域が前方車両と判断されるため、どのような
状況下でも前方車両を精度よく検出することができる。
【００２１】また、請求項４に記載の発明にかかる前方
車両の認識装置は、前記画像処理部が、前記画像センサ
による撮像画像に対して所定の注視領域を設定しその注
視領域における各画素の濃淡からＸ方向へのエッジヒス
トグラム、これに直交するＹ方向へのエッジヒストグラ
ム、及び両方向へのエッジヒストグラムの積を演算して
その極大点を導出することで車両候補としての前記矩形
領域を抽出することを特徴としている。
車両の認識装置は、前記画像処理部が、前記画像センサ
による撮像画像に対して所定の注視領域を設定しその注
視領域における各画素の濃淡からＸ方向へのエッジヒス
トグラム、これに直交するＹ方向へのエッジヒストグラ
ム、及び両方向へのエッジヒストグラムの積を演算して
その極大点を導出することで車両候補としての前記矩形
領域を抽出することを特徴としている。
【００２２】このような構成によれば、エッジヒストグ
ラムから車両候補としての矩形領域を抽出するときに、
車両以外を排除することができ、車両候補としての矩形
領域を精度よく抽出することができる。
ラムから車両候補としての矩形領域を抽出するときに、
車両以外を排除することができ、車両候補としての矩形
領域を精度よく抽出することができる。
【００２３】また、請求項５に記載の発明にかかる前方
車両の認識方法は、レーザレーダにより、自車前方にレ
ーザ光を水平方向にスキャンしつつ照射すると共に反射
点からの反射光を受光し複数個の前記反射点までの距離
を検出して前記各反射点の位置を特定する測距工程と、
撮像部により自車前方を撮像する撮像工程と、前記撮像
工程による撮像画像を画像処理して前方車両の後端面画
像を含む所定の矩形領域を抽出する抽出工程と、前記レ
ーザレーダにより特定された前記各反射点を車高相当分
だけの高さ方向に２次元的に投影して前記各反射点それ
ぞれに対応する反射線を形成する形成工程と、前記形成
工程により形成された前記各反射線の前記矩形領域に対
応する位置での長さと前記矩形領域の高さとに基づき前
方車両を認識する認識工程とを備えていることを特徴と
している。
車両の認識方法は、レーザレーダにより、自車前方にレ
ーザ光を水平方向にスキャンしつつ照射すると共に反射
点からの反射光を受光し複数個の前記反射点までの距離
を検出して前記各反射点の位置を特定する測距工程と、
撮像部により自車前方を撮像する撮像工程と、前記撮像
工程による撮像画像を画像処理して前方車両の後端面画
像を含む所定の矩形領域を抽出する抽出工程と、前記レ
ーザレーダにより特定された前記各反射点を車高相当分
だけの高さ方向に２次元的に投影して前記各反射点それ
ぞれに対応する反射線を形成する形成工程と、前記形成
工程により形成された前記各反射線の前記矩形領域に対
応する位置での長さと前記矩形領域の高さとに基づき前
方車両を認識する認識工程とを備えていることを特徴と
している。
【００２４】このような構成によれば、各反射点を車高
相当分だけ高さ方向に２次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例することから、矩形領域に対応する位置で
の各反射線の長さが、矩形領域の高さから大きくずれて
いる反射線は前方車両からの反射点に対応するものでは
なく、矩形領域の高さと近似する反射線は前方車両から
の反射点に対応するものと判断することができる。
相当分だけ高さ方向に２次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例することから、矩形領域に対応する位置で
の各反射線の長さが、矩形領域の高さから大きくずれて
いる反射線は前方車両からの反射点に対応するものでは
なく、矩形領域の高さと近似する反射線は前方車両から
の反射点に対応するものと判断することができる。
【００２５】従って、レーザレーダにより特定された各
反射点を車高相当分だけの高さ方向に２次元的に伸張、
投影して前記各反射点それぞれに対応する反射線を形成
し、これら各反射線の画像処理によって得られる矩形領
域に対応する位置での長さと、矩形領域の高さとに基づ
き、矩形領域に対応する位置での各反射線の長さが矩形
領域の高さと近似する反射線に対応する反射点のみを選
択し、これら選択した反射点は車両候補群と判断できる
ため、レーザレーダを用いた車両認識に、撮像部による
画像処理の結果を融合する場合に、前方車両がレーザレ
ーダの検知範囲の一部にしか入っていない状況下でも、
精度よく前方車両を認識することができる。
反射点を車高相当分だけの高さ方向に２次元的に伸張、
投影して前記各反射点それぞれに対応する反射線を形成
し、これら各反射線の画像処理によって得られる矩形領
域に対応する位置での長さと、矩形領域の高さとに基づ
き、矩形領域に対応する位置での各反射線の長さが矩形
領域の高さと近似する反射線に対応する反射点のみを選
択し、これら選択した反射点は車両候補群と判断できる
ため、レーザレーダを用いた車両認識に、撮像部による
画像処理の結果を融合する場合に、前方車両がレーザレ
ーダの検知範囲の一部にしか入っていない状況下でも、
精度よく前方車両を認識することができる。
【００２６】また、請求項６に記載の発明にかかる前方
車両の認識方法は、前記認識工程が、前記各反射線の前
記矩形領域に対応する位置での長さ、及び、その反射線
の位置での前記矩形領域の高さを照合してそのばらつき
を評価し、前記ばらつきが所定値以下であるときに前記
矩形領域が前方車両であると判断する工程を含むことを
特徴としている。
車両の認識方法は、前記認識工程が、前記各反射線の前
記矩形領域に対応する位置での長さ、及び、その反射線
の位置での前記矩形領域の高さを照合してそのばらつき
を評価し、前記ばらつきが所定値以下であるときに前記
矩形領域が前方車両であると判断する工程を含むことを
特徴としている。
【００２７】このような構成によれば、各反射点を車高
相当分だけ高さ方向に２次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例するため、矩形領域に対応する位置での各
反射線の長さが、矩形領域の高さから大きくずれている
反射線は前方車両からの反射点に対応するものではな
く、矩形領域の高さと近似する反射線は前方車両からの
反射点に対応するものと判断することができる。
相当分だけ高さ方向に２次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例するため、矩形領域に対応する位置での各
反射線の長さが、矩形領域の高さから大きくずれている
反射線は前方車両からの反射点に対応するものではな
く、矩形領域の高さと近似する反射線は前方車両からの
反射点に対応するものと判断することができる。
【００２８】そのため、各反射線の矩形領域に対応する
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線を選択することにより、前方車両
がレーザレーダの検知範囲の一部にしか入っていない場
合であっても、前方車両からの反射点に対応する反射線
のみを車両候補群として選択することができる。
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線を選択することにより、前方車両
がレーザレーダの検知範囲の一部にしか入っていない場
合であっても、前方車両からの反射点に対応する反射線
のみを車両候補群として選択することができる。
【００２９】また、請求項７に記載の発明にかかる前方
車両の認識方法は、前記認識工程が、前記各反射線の前
記矩形領域に対応する位置での長さ、及び、その反射線
の位置での前記矩形領域の高さのばらつきが規定値以下
となる前記反射線を車両候補群とし、この車両候補群を
画像処理の座標系に座標変換して前記矩形領域と照合す
る照合工程と、座標変換後の前記車両候補群が前記矩形
領域の少なくとも一部とほぼ一致するときにその車両候
補群及び前記矩形領域を前方車両と判断する判断工程と
を含むことを特徴としている。
車両の認識方法は、前記認識工程が、前記各反射線の前
記矩形領域に対応する位置での長さ、及び、その反射線
の位置での前記矩形領域の高さのばらつきが規定値以下
となる前記反射線を車両候補群とし、この車両候補群を
画像処理の座標系に座標変換して前記矩形領域と照合す
る照合工程と、座標変換後の前記車両候補群が前記矩形
領域の少なくとも一部とほぼ一致するときにその車両候
補群及び前記矩形領域を前方車両と判断する判断工程と
を含むことを特徴としている。
【００３０】このような構成によれば、各反射線の矩形
領域に対応する位置での長さ、及び、その反射線の位置
での矩形領域の高さのばらつきが所定値以下となる反射
線に対応する反射点を車両候補点群として選択すること
で、前方車両がレーザレーダの検知範囲の一部にしか入
っていない場合であっても、前方車両からの反射点に対
応する反射線のみを車両候補群として選択でき、この選
択した車両候補群を画像処理の座標系に座標変換して矩
形領域と照合することにより、座標変換後の車両候補群
が矩形領域の少なくとも一部とほぼ一致するときに、そ
の車両候補群及び矩形領域を前方車両と判断できるた
め、どのような状況下でも前方車両を精度よく検出する
ことができる。
領域に対応する位置での長さ、及び、その反射線の位置
での矩形領域の高さのばらつきが所定値以下となる反射
線に対応する反射点を車両候補点群として選択すること
で、前方車両がレーザレーダの検知範囲の一部にしか入
っていない場合であっても、前方車両からの反射点に対
応する反射線のみを車両候補群として選択でき、この選
択した車両候補群を画像処理の座標系に座標変換して矩
形領域と照合することにより、座標変換後の車両候補群
が矩形領域の少なくとも一部とほぼ一致するときに、そ
の車両候補群及び矩形領域を前方車両と判断できるた
め、どのような状況下でも前方車両を精度よく検出する
ことができる。
【００３１】
【発明の実施の形態】この発明の一実施形態について図
１ないし図５を参照して説明する。但し、図１はブロッ
ク図、図２ないし図５は動作説明図である。
１ないし図５を参照して説明する。但し、図１はブロッ
ク図、図２ないし図５は動作説明図である。
【００３２】図１に示すように、スキャンレーザレー
ダ、そのスキャニング機構及び受光器から成るレーザレ
ーダモジュール１、及び、撮像部である単眼ＣＣＤカメ
ラから成る画像処理部としてのＣＣＤカメラモジュール
２が自車に搭載され、レーザレーダモジュール１によ
り、自車前方にレーザ光が水平方向にスキャンされつつ
照射され、反射点からの反射光が受光されて複数個の反
射点までの距離が測定されて各々の位置が特定され、カ
メラモジュール２により自車の前方が撮像され、レーザ
レーダモジュール１により特定された反射点データ、及
び、カメラモジュール２により得られた撮像画像がＣＰ
Ｕ３によりＲＡＭ等から成るメモリ４に保存される。
尚、他のメモリを設けておき、レーザレーダモジュール
１によるデータと、カメラモジュール２によるデータを
各々異なるメモリに保存してもよい。
ダ、そのスキャニング機構及び受光器から成るレーザレ
ーダモジュール１、及び、撮像部である単眼ＣＣＤカメ
ラから成る画像処理部としてのＣＣＤカメラモジュール
２が自車に搭載され、レーザレーダモジュール１によ
り、自車前方にレーザ光が水平方向にスキャンされつつ
照射され、反射点からの反射光が受光されて複数個の反
射点までの距離が測定されて各々の位置が特定され、カ
メラモジュール２により自車の前方が撮像され、レーザ
レーダモジュール１により特定された反射点データ、及
び、カメラモジュール２により得られた撮像画像がＣＰ
Ｕ３によりＲＡＭ等から成るメモリ４に保存される。
尚、他のメモリを設けておき、レーザレーダモジュール
１によるデータと、カメラモジュール２によるデータを
各々異なるメモリに保存してもよい。
【００３３】このとき、レーザレーダモジュール１及び
カメラモジュール２の座標系の関係は、例えば図２に示
すように設定する。つまり、図２に示すように、カメラ
座標系は、レンズ中心を原点としてカメラ光軸をＺ軸に
とり、画像面上でのｘ軸、ｙ軸に平行にＸ軸、Ｙ軸をと
る。ここで、焦点距離ｆは既知である。
カメラモジュール２の座標系の関係は、例えば図２に示
すように設定する。つまり、図２に示すように、カメラ
座標系は、レンズ中心を原点としてカメラ光軸をＺ軸に
とり、画像面上でのｘ軸、ｙ軸に平行にＸ軸、Ｙ軸をと
る。ここで、焦点距離ｆは既知である。
【００３４】また、レーザレーダ座標系は、受光器を原
点、レーザ光軸をＺR 軸にとり、鉛直方向にＹR 軸、水
平方向にＸR 軸を設定する。ＸR ＹR ＺR 座標系からＸ
ＹＺ座標系へは、回転ベクトルＲ、並進ベクトルＴの合
成行列ＲＴによって変換可能であり、後述するように、
本発明ではレーザレーダモジュール１により特定される
反射点の座標をカメラ座標に変換して照合する。但し、
合成行列ＲＴは予めキャリブレーションを行っており、
既知である。
点、レーザ光軸をＺR 軸にとり、鉛直方向にＹR 軸、水
平方向にＸR 軸を設定する。ＸR ＹR ＺR 座標系からＸ
ＹＺ座標系へは、回転ベクトルＲ、並進ベクトルＴの合
成行列ＲＴによって変換可能であり、後述するように、
本発明ではレーザレーダモジュール１により特定される
反射点の座標をカメラ座標に変換して照合する。但し、
合成行列ＲＴは予めキャリブレーションを行っており、
既知である。
【００３５】ところで、レーザレーダモジュール１は、
自車の前方にレーザ光を照射し、その際スキャニング機
構により所定角度（例えば０．１゜）ずつレーザ光が水
平方向にスキャンされ、自車前方の対象物からの反射光
が受光器により受光されてレーザ光の照射から反射光の
受光までの時間から、自車と同一車線を走行する先行車
との車間距離が検出されるようになっている。このよう
な１回の車間距離の検出処理に要する時間は、約１００
ｍｓ程度の短い時間であり、この検出動作が一定時間毎
に繰り返される。
自車の前方にレーザ光を照射し、その際スキャニング機
構により所定角度（例えば０．１゜）ずつレーザ光が水
平方向にスキャンされ、自車前方の対象物からの反射光
が受光器により受光されてレーザ光の照射から反射光の
受光までの時間から、自車と同一車線を走行する先行車
との車間距離が検出されるようになっている。このよう
な１回の車間距離の検出処理に要する時間は、約１００
ｍｓ程度の短い時間であり、この検出動作が一定時間毎
に繰り返される。
【００３６】そして、このような動作によりレーザレー
ダモジュール１により検出対象上の複数の反射点が特定
されると、ＣＰＵ３により、各反射点を車高相当（約２
ｍ）分だけ高さ方向に２次元的に伸張、投影されて反射
線が形成される。このようなＣＰＵ３による形成処理が
形成部に相当する。
ダモジュール１により検出対象上の複数の反射点が特定
されると、ＣＰＵ３により、各反射点を車高相当（約２
ｍ）分だけ高さ方向に２次元的に伸張、投影されて反射
線が形成される。このようなＣＰＵ３による形成処理が
形成部に相当する。
【００３７】一方、カメラモジュール２により撮像され
た自車前方の画像がＣＰＵ３により処理され、図３に示
すように、撮像画像に対して水平方向に長い矩形の垂直
注視領域Ｖが設定され、垂直注視領域Ｖの濃度が垂直方
向に投影されて垂直線分が抽出され、その中で対称性を
示す極大点の組が選ばれ、それが車両の両端候補とされ
る。更に、極大点の組の中央に位置する座標に水平注視
領域Ｈが設定され、同様にして水平線分が抽出され、多
数観測されればそれが車両候補としての矩形領域とされ
る。
た自車前方の画像がＣＰＵ３により処理され、図３に示
すように、撮像画像に対して水平方向に長い矩形の垂直
注視領域Ｖが設定され、垂直注視領域Ｖの濃度が垂直方
向に投影されて垂直線分が抽出され、その中で対称性を
示す極大点の組が選ばれ、それが車両の両端候補とされ
る。更に、極大点の組の中央に位置する座標に水平注視
領域Ｈが設定され、同様にして水平線分が抽出され、多
数観測されればそれが車両候補としての矩形領域とされ
る。
【００３８】そして、ＣＰＵ３により、上記したように
して形成された各反射線の画像処理による矩形領域に対
応する位置での長さ、及び、それら反射線の位置での矩
形領域の高さのばらつきが評価され、そのばらつきが予
め定めた所定値以下となる反射線が車両候補群として選
択される。
して形成された各反射線の画像処理による矩形領域に対
応する位置での長さ、及び、それら反射線の位置での矩
形領域の高さのばらつきが評価され、そのばらつきが予
め定めた所定値以下となる反射線が車両候補群として選
択される。
【００３９】このとき、各反射点を車高相当分だけ高さ
方向に２次元的に伸張、投影して反射線を形成したとき
に、画像処理によって得られる矩形領域に対応する位置
での各反射線の長さが各々の反射点までの距離に比例す
るため、矩形領域に対応する位置での各反射線の長さ
が、矩形領域の高さから大きくずれている反射線は前方
車両からの反射点に対応するものではなく、矩形領域の
高さと近似する反射線は前方車両からの反射点に対応す
るものと判断することができ、選択された車両候補群の
反射線と矩形領域とを照合することにより、より精度の
高い認識結果を得ることができるのである。このような
ＣＰＵ３による認識処理が認識部に相当する。
方向に２次元的に伸張、投影して反射線を形成したとき
に、画像処理によって得られる矩形領域に対応する位置
での各反射線の長さが各々の反射点までの距離に比例す
るため、矩形領域に対応する位置での各反射線の長さ
が、矩形領域の高さから大きくずれている反射線は前方
車両からの反射点に対応するものではなく、矩形領域の
高さと近似する反射線は前方車両からの反射点に対応す
るものと判断することができ、選択された車両候補群の
反射線と矩形領域とを照合することにより、より精度の
高い認識結果を得ることができるのである。このような
ＣＰＵ３による認識処理が認識部に相当する。
【００４０】具体的には、図４（ａ）に示すように、画
像処理による矩形領域Ｓを得ると、この矩形領域Ｓの高
さと近似する同図（ｂ）に示すような反射線ＲＬのみ
が、前方車両からの反射点に対応する車両候補群として
選択される。そして、図５に示すように、矩形領域Ｓと
選択された車両候補群としての反射線ＲＬとが照合され
る。ここで、矩形領域Ｓの高さをＨｉ、車両候補群の反
射線ＲＬの長さをＨｌ、ｎをデータ数として、Ｖａｌ＝
Σ{ｍｉｎ（Ｈｉ，Ｈｌ）／ｍａｘ（Ｈｉ，Ｈｌ）}／ｎ
…（１）と表わされる評価関数Ｖａｌにより融合結果を
評価することができ、この評価関数の値が所定値である
１に近いほど、矩形領域Ｓと選択された各反射線ＲＬの
両者の一致度が高く、前方車両である確度が高くなる。
ここで、（１）式の評価関数Ｖａｌは、ＨｉとＨｌのう
ち小さい方（ｍｉｎ）と大きい方（ｍａｘ）の比を累積
したものの平均値を表わしている。
像処理による矩形領域Ｓを得ると、この矩形領域Ｓの高
さと近似する同図（ｂ）に示すような反射線ＲＬのみ
が、前方車両からの反射点に対応する車両候補群として
選択される。そして、図５に示すように、矩形領域Ｓと
選択された車両候補群としての反射線ＲＬとが照合され
る。ここで、矩形領域Ｓの高さをＨｉ、車両候補群の反
射線ＲＬの長さをＨｌ、ｎをデータ数として、Ｖａｌ＝
Σ{ｍｉｎ（Ｈｉ，Ｈｌ）／ｍａｘ（Ｈｉ，Ｈｌ）}／ｎ
…（１）と表わされる評価関数Ｖａｌにより融合結果を
評価することができ、この評価関数の値が所定値である
１に近いほど、矩形領域Ｓと選択された各反射線ＲＬの
両者の一致度が高く、前方車両である確度が高くなる。
ここで、（１）式の評価関数Ｖａｌは、ＨｉとＨｌのう
ち小さい方（ｍｉｎ）と大きい方（ｍａｘ）の比を累積
したものの平均値を表わしている。
【００４１】そのため、図７に示すように、レーザレー
ダモジュール１の検知範囲Ｌの一部にした前方車両が入
っていないときであっても、前方車両からの反射点に対
応する反射線ＲＬを選択し、選択した反射線ＲＬと画像
処理による矩形領域Ｓとの照合を行うことにより、前方
車両かどうか判断することができるのである。
ダモジュール１の検知範囲Ｌの一部にした前方車両が入
っていないときであっても、前方車両からの反射点に対
応する反射線ＲＬを選択し、選択した反射線ＲＬと画像
処理による矩形領域Ｓとの照合を行うことにより、前方
車両かどうか判断することができるのである。
【００４２】従って、上記した実施形態によれば、レー
ザレーダモジュール１により特定された各反射点を車高
相当分だけの高さ方向に２次元的に伸張、投影して各反
射点それぞれに対応する反射線を形成し、これら各反射
線の画像処理によって得られる矩形領域に対応する位置
での長さと、矩形領域の高さとに基づき、矩形領域に対
応する位置での各反射線の長さが矩形領域の高さと近似
する反射線のみを選択すると、これら選択した反射線は
車両候補群であると判断できるため、レーザレーダモジ
ュール１を用いた車両認識に、ＣＣＤカメラモジュール
２による画像処理の結果を融合して照合する場合に、レ
ーザレーダモジュール１の検知範囲の一部にしか入って
いない前方車両であっても、精度よくこれを認識するこ
とができる。
ザレーダモジュール１により特定された各反射点を車高
相当分だけの高さ方向に２次元的に伸張、投影して各反
射点それぞれに対応する反射線を形成し、これら各反射
線の画像処理によって得られる矩形領域に対応する位置
での長さと、矩形領域の高さとに基づき、矩形領域に対
応する位置での各反射線の長さが矩形領域の高さと近似
する反射線のみを選択すると、これら選択した反射線は
車両候補群であると判断できるため、レーザレーダモジ
ュール１を用いた車両認識に、ＣＣＤカメラモジュール
２による画像処理の結果を融合して照合する場合に、レ
ーザレーダモジュール１の検知範囲の一部にしか入って
いない前方車両であっても、精度よくこれを認識するこ
とができる。
【００４３】また、レーザレーダモジュール１は距離測
定に優れ、ＣＣＤカメラモジュール２は車両とそれ以外
を精度よく識別できるため、ＣＣＤカメラモジュール２
による車両認識を、レーザレーダモジュール１による車
両認識に融合することにより、従来のように前方車両以
外の車両や路側物等からの反射を前方車両からの反射に
含めてしまうことを防止できるのは勿論である。
定に優れ、ＣＣＤカメラモジュール２は車両とそれ以外
を精度よく識別できるため、ＣＣＤカメラモジュール２
による車両認識を、レーザレーダモジュール１による車
両認識に融合することにより、従来のように前方車両以
外の車両や路側物等からの反射を前方車両からの反射に
含めてしまうことを防止できるのは勿論である。
【００４４】なお、上記した実施形態では、評価関数Ｖ
ａｌを用いて融合結果を評価するようにした場合につい
て説明したが、融合結果の評価手法はこのような評価関
数に限定されるものではない。例えば、ＣＰＵ３によ
り、選択した車両候補群の反射線（或いはこれらに対応
する反射点）をＣＣＤカメラモジュール２の画像処理に
おける座標系に座標変換して、ＣＣＤカメラモジュール
２による撮像画像を処理して得られる矩形領域と照合
し、座標変換後の車両候補群が前記矩形領域の少なくと
も一部とほぼ一致するときにその車両候補群及び矩形領
域を前方車両と判断するようにしても構わない。この場
合、ＣＰＵ３による照合処理が照合部に相当し、判断処
理が判断部に相当する。
ａｌを用いて融合結果を評価するようにした場合につい
て説明したが、融合結果の評価手法はこのような評価関
数に限定されるものではない。例えば、ＣＰＵ３によ
り、選択した車両候補群の反射線（或いはこれらに対応
する反射点）をＣＣＤカメラモジュール２の画像処理に
おける座標系に座標変換して、ＣＣＤカメラモジュール
２による撮像画像を処理して得られる矩形領域と照合
し、座標変換後の車両候補群が前記矩形領域の少なくと
も一部とほぼ一致するときにその車両候補群及び矩形領
域を前方車両と判断するようにしても構わない。この場
合、ＣＰＵ３による照合処理が照合部に相当し、判断処
理が判断部に相当する。
【００４５】更に、上記した実施形態では、撮像手段と
して単眼ＣＣＤカメラを用いた場合について説明した
が、撮像手段は上記した単眼ＣＣＤカメラに限定される
ものでないのはいうまでもない。
して単眼ＣＣＤカメラを用いた場合について説明した
が、撮像手段は上記した単眼ＣＣＤカメラに限定される
ものでないのはいうまでもない。
【００４６】また、本発明は上記した実施形態に限定さ
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。
【００４７】
【発明の効果】以上のように、請求項１、５に記載の発
明によれば、レーザレーダは距離測定に優れ、画像セン
サは車両とそれ以外を精度よく識別できるため、画像セ
ンサによる車両認識を、レーザレーダによる車両認識に
融合することにより、従来のように前方車両以外の車両
や路側物等からの反射を前方車両からの反射に含めてし
まうことを防止できる。
明によれば、レーザレーダは距離測定に優れ、画像セン
サは車両とそれ以外を精度よく識別できるため、画像セ
ンサによる車両認識を、レーザレーダによる車両認識に
融合することにより、従来のように前方車両以外の車両
や路側物等からの反射を前方車両からの反射に含めてし
まうことを防止できる。
【００４８】更に、レーザレーダにより特定された各反
射点を車高相当分だけの高さ方向に２次元的に伸張、投
影して前記各反射点それぞれに対応する反射線を形成
し、これら各反射線の画像処理によって得られる矩形領
域に対応する位置での長さと、矩形領域の高さとに基づ
き、矩形領域に対応する位置での各反射線の長さが矩形
領域の高さと近似する反射線のみを選択し、これら選択
した反射線は車両候補群であると判断できるため、レー
ザレーダを用いた車両認識に、撮像部による画像処理の
結果を融合する場合に、レーザレーダの検知範囲の一部
にしか入っていない前方車両を精度よく認識することが
でき、より高度でより快適な運転支援システムの提供が
可能になる。
射点を車高相当分だけの高さ方向に２次元的に伸張、投
影して前記各反射点それぞれに対応する反射線を形成
し、これら各反射線の画像処理によって得られる矩形領
域に対応する位置での長さと、矩形領域の高さとに基づ
き、矩形領域に対応する位置での各反射線の長さが矩形
領域の高さと近似する反射線のみを選択し、これら選択
した反射線は車両候補群であると判断できるため、レー
ザレーダを用いた車両認識に、撮像部による画像処理の
結果を融合する場合に、レーザレーダの検知範囲の一部
にしか入っていない前方車両を精度よく認識することが
でき、より高度でより快適な運転支援システムの提供が
可能になる。
【００４９】また、請求項２、６に記載の発明によれ
ば、各反射点を車高相当分だけ高さ方向に２次元的に伸
張、投影して反射線を形成したときに、画像処理によっ
て得られる矩形領域に対応する位置での各反射線の長さ
が各々の反射点までの距離に比例するため、矩形領域に
対応する位置での各反射線の長さが、矩形領域の高さか
ら大きくずれている反射線は前方車両からの反射点に対
応するものではなく、矩形領域の高さと近似する反射線
は前方車両からの反射点に対応するものと判断すること
ができる。
ば、各反射点を車高相当分だけ高さ方向に２次元的に伸
張、投影して反射線を形成したときに、画像処理によっ
て得られる矩形領域に対応する位置での各反射線の長さ
が各々の反射点までの距離に比例するため、矩形領域に
対応する位置での各反射線の長さが、矩形領域の高さか
ら大きくずれている反射線は前方車両からの反射点に対
応するものではなく、矩形領域の高さと近似する反射線
は前方車両からの反射点に対応するものと判断すること
ができる。
【００５０】そのため、各反射線の矩形領域に対応する
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線に対応する反射点を選択すること
により、前方車両がレーザレーダの検知範囲の一部にし
か入っていない場合であっても、前方車両からの反射点
のみを車両候補として選択することが可能になる。
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線に対応する反射点を選択すること
により、前方車両がレーザレーダの検知範囲の一部にし
か入っていない場合であっても、前方車両からの反射点
のみを車両候補として選択することが可能になる。
【００５１】また、請求項３、７に記載の発明によれ
ば、各反射線の矩形領域に対応する位置での長さ、及
び、その反射線の位置での矩形領域の高さのばらつきが
規定値以下となる反射線を車両候補群として選択するこ
とで、前方車両がレーザレーダの検知範囲の一部にしか
入っていない場合であっても、前方車両からの反射点に
対応する反射線のみを車両候補群として選択でき、この
選択した車両候補群を画像処理の座標系に座標変換して
矩形領域と照合することにより、座標変換後の車両候補
群が矩形領域の少なくとも一部とほぼ一致するときに、
その車両候補群及び矩形領域を前方車両と判断できるた
め、どのような状況下でも前方車両を精度よく検出する
ことが可能になる。
ば、各反射線の矩形領域に対応する位置での長さ、及
び、その反射線の位置での矩形領域の高さのばらつきが
規定値以下となる反射線を車両候補群として選択するこ
とで、前方車両がレーザレーダの検知範囲の一部にしか
入っていない場合であっても、前方車両からの反射点に
対応する反射線のみを車両候補群として選択でき、この
選択した車両候補群を画像処理の座標系に座標変換して
矩形領域と照合することにより、座標変換後の車両候補
群が矩形領域の少なくとも一部とほぼ一致するときに、
その車両候補群及び矩形領域を前方車両と判断できるた
め、どのような状況下でも前方車両を精度よく検出する
ことが可能になる。
【００５２】また、請求項４に記載の発明によれば、エ
ッジヒストグラムから車両候補としての矩形領域を抽出
するときに、車両以外を排除することができ、車両候補
としての矩形領域を精度よく抽出することが可能にな
る。
ッジヒストグラムから車両候補としての矩形領域を抽出
するときに、車両以外を排除することができ、車両候補
としての矩形領域を精度よく抽出することが可能にな
る。
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明図である。
【図３】この発明の一実施形態の動作説明図である。
【図４】この発明の一実施形態の動作説明図である。
【図５】この発明の一実施形態の動作説明図である。
【図６】この発明の背景となるスキャンレーザレーダに
よる車両認識の動作説明図である。
よる車両認識の動作説明図である。
【図７】この発明の背景となるスキャンレーザレーダに
よる車両認識の動作説明図である。
よる車両認識の動作説明図である。
１ レーザレーダモジュール
２ ＣＣＤカメラモジュール（画像処理部）
３ ＣＰＵ（形成部、認識部、照合部、判断部）
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０１Ｂ 11/00 Ｇ０６Ｔ 1/00 ３３０Ｂ
Ｇ０６Ｔ 1/00 ３３０ 5/40
5/40 7/00 １５０
7/00 １５０ ３００Ｆ
３００ ３００Ｇ
Ｇ０８Ｇ 1/16 Ｃ
Ｇ０８Ｇ 1/16 Ｇ０１Ｓ 17/88 Ａ
Ｆターム(参考） 2F065 AA06 AA22 AA24 BB05 BB15
CC11 FF04 FF11 GG04 JJ03
JJ26 MM13 MM23 MM28 PP22
QQ31
5B057 AA16 BA24 CA08 CA12 CB08
CB12 DA08 DB02 DB09 DC16
DC19 DC32
5H180 AA01 CC03 CC04 CC14 LL01
LL04 LL11
5J084 AA05 AB01 AC02 AD01 BA03
CA32 DA01 EA07
5L096 AA06 BA04 CA02 FA06 FA35
FA66 FA69 JA20
Claims (7)
- 【請求項１】 自車の前方を走行する車両を認識する前
方車両の認識装置において、 自車前方にレーザ光を水平方向にスキャンしつつ照射す
ると共に反射点からの反射光を受光し複数個の前記反射
点の位置を特定するレーザレーダと、 自車前方を撮像する撮像部と、 前記撮像部による撮像画像から前方車両の後端面画像を
含む所定の矩形領域を抽出する画像処理部と、 前記レーザレーダにより特定された前記各反射点を車高
相当分だけの高さ方向に２次元的に伸張、投影して前記
各反射点それぞれに対応する反射線を形成する形成部
と、 前記形成部より形成される前記各反射線の前記矩形領域
に対応する位置での長さと前記矩形領域の高さとに基づ
き前方車両を認識する認識部とを備えていることを特徴
とする前方車両の認識装置。 - 【請求項２】 前記認識部が、前記各反射線の前記矩形
領域に対応する位置での長さ、及び、その反射線の位置
での前記矩形領域の高さを照合してそのばらつきを評価
し、前記ばらつきが所定値以下であるときに前記矩形領
域が前方車両であると判断することを特徴とする請求項
１に記載の前方車両の認識装置。 - 【請求項３】 前記認識部が、前記各反射線の前記矩形
領域に対応する位置での長さ、及び、その反射線の位置
での前記矩形領域の高さのばらつきが規定値以下となる
前記反射線を車両候補群とし、この車両候補群を画像処
理の座標系に座標変換して前記矩形領域と照合する照合
部と、座標変換後の前記車両候補群が前記矩形領域の少
なくとも一部とほぼ一致するときにその車両候補群及び
前記矩形領域を前方車両と判断する判断部とを備えてい
ることを特徴とする請求項２に記載の前方車両の認識装
置。 - 【請求項４】 前記画像処理部が、前記画像センサによ
る撮像画像に対して所定の注視領域を設定しその注視領
域における各画素の濃淡からＸ方向へのエッジヒストグ
ラム、これに直交するＹ方向へのエッジヒストグラム、
及び両方向へのエッジヒストグラムの積を演算してその
極大点を導出することで車両候補としての前記矩形領域
を抽出することを特徴とする請求項１ないし３のいずれ
かに記載の前方車両の認識装置。 - 【請求項５】 自車の前方を走行する車両を認識する前
方車両の認識方法において、 レーザレーダにより、自車前方にレーザ光を水平方向に
スキャンしつつ照射すると共に反射点からの反射光を受
光し複数個の前記反射点までの距離を検出して前記各反
射点の位置を特定する測距工程と、 撮像部により自車前方を撮像する撮像工程と、 前記撮像工程による撮像画像を画像処理して前方車両の
後端面画像を含む所定の矩形領域を抽出する抽出工程
と、 前記レーザレーダにより特定された前記各反射点を車高
相当分だけの高さ方向に２次元的に伸張、投影して前記
各反射点それぞれに対応する反射線を形成する形成工程
と、 前記形成工程により形成された前記各反射線の前記矩形
領域に対応する位置での長さと前記矩形領域の高さとに
基づき前方車両を認識する認識工程とを備えていること
を特徴とする前方車両の認識方法。 - 【請求項６】 前記認識工程が、前記各反射線の前記矩
形領域に対応する位置での長さ、及び、その反射線の位
置での前記矩形領域の高さを照合してそのばらつきを評
価し、前記ばらつきが所定値以下であるときに前記矩形
領域が前方車両であると判断する工程を含むことを特徴
とする請求項５に記載の前方車両の認識方法。 - 【請求項７】 前記認識工程が、前記各反射線の前記矩
形領域に対応する位置での長さ、及び、その反射線の位
置での前記矩形領域の高さのばらつきが規定値以下とな
る前記反射線を車両候補群とし、この車両候補群を画像
処理の座標系に座標変換して前記矩形領域と照合する照
合工程と、座標変換後の前記車両候補群が前記矩形領域
の少なくとも一部とほぼ一致するときにその車両候補群
及び前記矩形領域を前方車両と判断する判断工程とを含
むことを特徴とする請求項６に記載の前方車両の認識方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001372196A JP2003172780A (ja) | 2001-12-06 | 2001-12-06 | 前方車両の認識装置及び認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001372196A JP2003172780A (ja) | 2001-12-06 | 2001-12-06 | 前方車両の認識装置及び認識方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003172780A true JP2003172780A (ja) | 2003-06-20 |
Family
ID=19181128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001372196A Pending JP2003172780A (ja) | 2001-12-06 | 2001-12-06 | 前方車両の認識装置及び認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003172780A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003315458A (ja) * | 2002-04-23 | 2003-11-06 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| JP2005291805A (ja) * | 2004-03-31 | 2005-10-20 | Daihatsu Motor Co Ltd | 障害物検出方法及び障害物検出装置 |
| JP2008298543A (ja) * | 2007-05-30 | 2008-12-11 | Toyota Motor Corp | 物体検出装置、及び車両用制御装置 |
| US7542825B2 (en) | 2003-11-28 | 2009-06-02 | Denso Corporation | Sensor fusion system and vehicle control system therewith |
| JP2013117475A (ja) * | 2011-12-05 | 2013-06-13 | Toyota Motor Corp | 障害物検出装置 |
| WO2014051362A1 (ko) * | 2012-09-26 | 2014-04-03 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법 |
| JP2014150583A (ja) * | 2014-04-28 | 2014-08-21 | Rohm Co Ltd | 車両用監視装置 |
| WO2015174178A1 (ja) * | 2014-05-15 | 2015-11-19 | 本田技研工業株式会社 | 移動支援装置 |
| US9751528B2 (en) | 2013-08-26 | 2017-09-05 | Toyota Jidosha Kabushiki Kaisha | In-vehicle control device |
| KR20200040141A (ko) * | 2018-10-08 | 2020-04-17 | 주식회사 만도 | 데이터 처리 방법, 데이터 처리 장치 및 차량 제어 시스템 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08156723A (ja) * | 1994-12-06 | 1996-06-18 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
| JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
| JPH0991595A (ja) * | 1995-09-25 | 1997-04-04 | Mitsubishi Motors Corp | 障害物認識装置 |
| JPH09145833A (ja) * | 1995-11-24 | 1997-06-06 | Toyota Motor Corp | 車載用走査レーダ装置 |
| JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
| JP2002116255A (ja) * | 2000-10-06 | 2002-04-19 | Nissan Motor Co Ltd | 車間距離設定装置 |
| JP2003084064A (ja) * | 2001-09-12 | 2003-03-19 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| JP2003099762A (ja) * | 2001-09-25 | 2003-04-04 | Daihatsu Motor Co Ltd | 前方車両認識装置及び認識方法 |
-
2001
- 2001-12-06 JP JP2001372196A patent/JP2003172780A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08156723A (ja) * | 1994-12-06 | 1996-06-18 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
| JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
| JPH0991595A (ja) * | 1995-09-25 | 1997-04-04 | Mitsubishi Motors Corp | 障害物認識装置 |
| JPH09145833A (ja) * | 1995-11-24 | 1997-06-06 | Toyota Motor Corp | 車載用走査レーダ装置 |
| JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
| JP2002116255A (ja) * | 2000-10-06 | 2002-04-19 | Nissan Motor Co Ltd | 車間距離設定装置 |
| JP2003084064A (ja) * | 2001-09-12 | 2003-03-19 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| JP2003099762A (ja) * | 2001-09-25 | 2003-04-04 | Daihatsu Motor Co Ltd | 前方車両認識装置及び認識方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003315458A (ja) * | 2002-04-23 | 2003-11-06 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| US7542825B2 (en) | 2003-11-28 | 2009-06-02 | Denso Corporation | Sensor fusion system and vehicle control system therewith |
| JP2005291805A (ja) * | 2004-03-31 | 2005-10-20 | Daihatsu Motor Co Ltd | 障害物検出方法及び障害物検出装置 |
| JP2008298543A (ja) * | 2007-05-30 | 2008-12-11 | Toyota Motor Corp | 物体検出装置、及び車両用制御装置 |
| JP2013117475A (ja) * | 2011-12-05 | 2013-06-13 | Toyota Motor Corp | 障害物検出装置 |
| WO2014051362A1 (ko) * | 2012-09-26 | 2014-04-03 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법 |
| US9921310B2 (en) | 2012-09-26 | 2018-03-20 | Samsung Electronics Co., Ltd. | Proximity sensor and proximity sensing method using event-based vision sensor |
| US9751528B2 (en) | 2013-08-26 | 2017-09-05 | Toyota Jidosha Kabushiki Kaisha | In-vehicle control device |
| JP2014150583A (ja) * | 2014-04-28 | 2014-08-21 | Rohm Co Ltd | 車両用監視装置 |
| JPWO2015174178A1 (ja) * | 2014-05-15 | 2017-04-20 | 本田技研工業株式会社 | 移動支援装置 |
| WO2015174178A1 (ja) * | 2014-05-15 | 2015-11-19 | 本田技研工業株式会社 | 移動支援装置 |
| KR20200040141A (ko) * | 2018-10-08 | 2020-04-17 | 주식회사 만도 | 데이터 처리 방법, 데이터 처리 장치 및 차량 제어 시스템 |
| KR102206223B1 (ko) * | 2018-10-08 | 2021-01-22 | 주식회사 만도 | 데이터 처리 방법, 데이터 처리 장치 및 차량 제어 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
| US7376247B2 (en) | Target detection system using radar and image processing | |
| US6670912B2 (en) | Method for detecting stationary object located above road | |
| JP3367170B2 (ja) | 障害物検出装置 | |
| JPH09142236A (ja) | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 | |
| JP4070437B2 (ja) | 前方車両認識装置及び認識方法 | |
| US7321669B2 (en) | Method and apparatus for refining target position and size estimates using image and depth data | |
| EP1641653A2 (en) | Method and apparatus for pedestrian detection | |
| JP2001004368A (ja) | 物体認識装置 | |
| CN110889974B (zh) | 一种智能泊车车位识别方法及装置、汽车 | |
| US11110923B2 (en) | Adaptive cruise control device | |
| JP5098563B2 (ja) | 物体検出装置 | |
| JP2003172780A (ja) | 前方車両の認識装置及び認識方法 | |
| US7466860B2 (en) | Method and apparatus for classifying an object | |
| JP2002303671A (ja) | 物体種別判別装置 | |
| JP2006258497A (ja) | 車両用物体認識装置 | |
| WO2019149213A1 (zh) | 基于影像识别路锥的方法、装置、存储介质以及车辆 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP2002183737A (ja) | 対象物認識装置 | |
| JP4102885B2 (ja) | 駐車車両検知方法及び駐車車両検知システム | |
| JP2003044995A (ja) | 物体種別判別装置及び物体種別判別方法 | |
| CN114467111B (zh) | 物体识别方法及物体识别装置 | |
| JP3740531B2 (ja) | 駐車車両検知方法、検知システム及び駐車車両検出装置 | |
| JP3969984B2 (ja) | 移動物体の認識方法 | |
| JPH11259792A (ja) | 車輌認識方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060502 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060905 |