JP2006040029A - 障害物認識方法及び障害物認識装置 - Google Patents

Abstract

【課題】撮像装置の自車前方の撮影画像から、自車の走行状態による誤認識なく、しかも、ＦＯＥを用いた画像処理を行なうことなく、自車前方の停止中の先行車等の静止状態の障害物を精度よく確実に認識する。
【解決手段】自車１に搭載された単眼カメラ２の自車前方の撮影画像の垂直エッジにつき、車幅方向のヒストグラムの各ピーク点のトラッキング画像を形成し、自車１の直進走行状態を検出したときに、トラッキング画像の全部または一部の２ピーク点の間隔の時間変化から各撮影画像側幅拡大率を算出し、自車速を時間積分した自車の走行距離と、自車から自車前方の静止状態の障害物までの間隔距離としての各候補距離それぞれとに基く演算から、候補距離毎に演算側幅拡大率を算出し、誤差が最小になる組み合わせの演算側幅拡大率の候補距離を前記間隔距離の測定距離に決定して障害物を認識する。
【選択図】図１

Description

本発明は、自車に搭載された撮像装置の自車前方の撮影画像から、自車前方の停止中の先行車等の静止状態の障害物を認識し、さらには、その衝突可能性に基いて障害物接近を警報する障害物認識方法及び障害物認識装置に関するものである。

一般に、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を搭載した車両においては、自車前方の先行車等の障害物への接近を警報したり、いわゆる被害軽減自動ブレーキ機能等を実現するため、単体のセンサとして、或いは、スキャン式レーダと組み合わせたセンサフュージョンの自車前方検出センサとして、車両（自車）に撮像装置が搭載される。

なお、センサフュージョンのスキャン式レーダは、通常、レーザレーダ或いはミリ波レーダからなる。

そして、前記撮像装置の時系列の撮影画像のエッジ画像につき、オプティカルフローを検出し、先行車等の自車前方の障害物を認識することが提案されている（例えば、特許文献１参照。）。

また、前記のセンサフュージョンの場合、スキャン式レーダの探査及び撮像装置の撮影により自車前方の情報を得て衝突の可能性がある先行車等の自車前方の障害物を認識することが提案されている（例えば、特許文献２参照。）。

なお、このセンサーフュージョンの障害物認識について、本出願人は、例えばレーザレーダの探査結果の反射点の位置と撮像装置の撮影画像のエッジ画像の矩形領域との照合から、自車前方の先行車を認識する認識方法を、既に出願している（特許文献３参照。）。

そして、障害物への接近警報や被害軽減自動ブレーキの障害物認識等にあっては、安全性の向上を図る等の観点から、とくに、信号待ち等の何らかの理由で停止中の先行車等の自車前方の静止状態の障害物を確実に認識することが重要である。

特開平１１−３５３５６５号公報（段落［００２２］−［００２５］、［００４８］、図１） 特開平７−１８２４８４号公報（段落［０００６］−［００１０］、図１） 特開２００３−８４０６４号公報（段落［００２５］、［００４６］、図１）

前記従来の撮像装置の撮影結果からの障害物認識の場合、自車が直進走行するものとして衝突の可能性を判断するため、カーブ路の走行や右左折、進路変更等によって自車が旋回運動するときに、自車前方の障害物の誤認識が生じ易く、この誤認識に基づき、不用意に自動ブレーキが動作してドライバ等に不快感を与える等の問題がある。

一方、前記従来のセンサフュージョンの障害物認識の場合、スキャン式レーダがレーザレーダであれば、先行車等の障害物の後部左右両端のリフレクタが泥等で覆われていたりすると、障害物に接近してもレーザレーダが反射波を受信しなくなり、このとき、撮像装置が正常であっても、レーザレーダの探査結果が得られないことから、障害物を認識することができない。また、レーザレーダに代えてミリ波レーダを用いたとしても、何らかの原因でミリ波レーダが故障等すると、同様に探査結果が得られず、障害物を認識できない。

つぎに、撮像装置の撮影結果から自車前方の障害物を認識する場合、いわゆる画像中心座標（画像中央の画像中心座標（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を用いると、撮像装置の位置ずれ等に基づく座標のずれが認識精度を左右し、そのキャリブレーションが必要になるため、この種の障害物認識にあっては、ＦＯＥを用いる画像処理は極力行なわないことが好ましい。なお、ＦＯＥは画像内の無限遠点または消失点である。

本発明は、撮像装置の自車前方の撮影画像から、自車の走行状態による誤認識なく、しかも、ＦＯＥを用いた画像処理を行なうことなく、自車前方の停止中の先行車等の静止状態の障害物を精度よく確実に認識し、さらには、その衝突可能性に基いて障害物接近を警報することを目的とする。

上記した目的を達成するために、本発明の障害物認識方法は、自車に搭載された撮像装置により自車前方を撮影し、前記撮像装置の撮影画像の垂直エッジにつき、車幅方向のヒストグラムの各ピーク点を検出して該各ピーク点の軌跡のトラッキング画像を形成し、自車の旋回半径から自車の直進走行状態を検出したときに、前記トラッキング画像の全部または一部の２ピーク点の間隔の時間変化から、前記２ピーク点毎に撮影画像側幅拡大率を算出し、前記直進走行状態の検出により、自車速を時間積分して測定した自車の走行距離と
、自車から自車前方の静止状態の障害物までの間隔距離として設定された複数個の候補距離それぞれとに基く演算から、前記候補距離毎に演算側幅拡大率を算出し、前記撮影画像側幅拡大率と前記演算側幅拡大率との誤差が最小になる組み合わせから、前記誤差が最小になる前記演算側幅拡大率を検出し、検出した前記演算側幅拡大率の前記候補距離を前記間隔距離の測定距離に決定して前記障害物を認識することを特徴としている（請求項１）。

また、本発明の障害物認識方法は、誤差が最小になる撮影画像側幅拡大率と演算側幅拡大率との組み合わせが、設定時間連続してしきい値以下の最小の誤差になる同じ２ピーク点、候補距離の前記両幅拡大率の組合せであることを特徴とし（請求項２）、候補距離の自車速別の距離範囲を保持し、自車速に応じた距離範囲の各候補距離を選択して設定することも特徴とし（請求項３）、撮影画像の各２ピーク点間の水平エッジ含有率の多少から前記各２ピーク点間の障害物の有無を判別し、前記水平エッジ含有率が少ない２ピーク点を撮影画像側幅拡大率の計算から除外することも特徴としている（請求項４）。

さらに、本発明の障害物認識方法は、決定した測定距離と自車速とから衝突予測時間を算出して自車前方の認識した障害物の衝突可能性を判定し、該判定に基いて障害物接近警報を指令することを特徴とし（請求項５）、撮像装置が単眼カメラであることも特徴としている（請求項６）。

つぎに、本発明の障害物認識装置は、自車に搭載されて自車前方を撮影する撮像装置と、該撮像装置の撮影画像を処理して自車前方の静止状態の障害物を認識する画像処理認識部とを備え、前記画像処理認識部に、前記撮像装置の撮影画像の垂直エッジの車幅方向のヒストグラムを算出し、該ヒストグラムの各ピーク点を検出するエッジピーク点検出手段と、前記各ピーク点の軌跡のトラッキング画像を形成するトラッキング画像形成手段と、自車の旋回半径から自車の直進走行状態を検出する走行状態検出手段と、前記走行状態検出手段が前記直進走行状態を検出したときに、前記トラッキング画像の全部または一部の２ピーク点の間隔の時間変化から、前記２ピーク点毎に撮影画像側幅拡大率を算出する撮影画像側幅拡大率算出手段と、前記走行状態検出手段の前記直進走行状態の検出により、自車速を時間積分して測定した自車の走行距離と、自車から前記障害物までの間隔距離として設定された複数個の候補距離それぞれとに基く演算から、前記候補距離毎に演算側幅拡大率を算出する演算側幅拡大率算出手段と、前記撮影画像側幅拡大率と前記演算側幅拡大率との誤差が最小になる組み合わせから、前記誤差が最小になる前記演算側幅拡大率を検出する幅拡大率検出手段と、前記幅拡大率検出手段の検出に基き、前記誤差が最小になる前記演算側幅拡大率の前記候補距離を前記間隔距離の測定距離に決定して前記障害物を認識する距離決定認識手段とを設けたことを特徴としている（請求項７）。

また、本発明の障害物認識装置は、幅拡大率検出手段の誤差が最小になる撮影画像側幅拡大率と演算側幅拡大率との組み合わせが、設定時間連続してしきい値以下の最小の誤差になる同じ２ピーク点、候補距離の前記両幅拡大率の組合せであることを特徴とし（請求項８）、演算側幅拡大率算出手段が、候補距離の自車速別の距離範囲を保持し、自車速に応じた距離範囲の各候補距離を選択して設定する候補距離設定機能を備えたことも特徴とし（請求項９）、撮影画像側幅拡大率算出手段が、撮影画像の各２ピーク点間の水平エッジ含有率の多少から前記各２ピーク点間の障害物の有無を判別し、前記水平エッジ含有率が少ない２ピーク点を撮影画像側幅拡大率の計算から除外するエラー処理機能を備えたことも特徴としている（請求項１０）。

さらに、本発明の障害物認識装置は、距離決定認識手段により決定された測定距離と自車速とから衝突予測時間を算出して自車前方の認識した障害物の衝突可能性を判定し、該判定に基いて障害物接近警報を指令する衝突判定警報手段を備えたことを特徴とし（請求項１１）、撮像装置が単眼カメラであることも特徴としている（請求項１２）。

まず、請求項１、７の構成によれば、撮像装置の撮影画像につき、垂直エッジの車幅方向（水平方向）のヒストグラムの各ピーク点の時間変化の軌跡のトラッキング画像が形成され、このとき、先行車等の自車前方の障害物の垂直エッジのヒストグラムのピーク点の軌跡であれば、自車が障害物に近づくことによって撮影画像中の障害物が大きくなることから、そのピーク点の軌跡は車幅方向に広がる。

つぎに、自車の旋回半径から自車が直進走行状態であって走行状態が認識に影響しないときに、前記トラッキング画像の全部または一部の２ピーク点の軌跡の車幅方向の広がりの時間変化から、自車前方の障害物が静止状態であるとして、２ピーク点毎に、障害物と自車との相対的な接近に基く障害物の横幅の拡大率が、撮影画像側幅拡大率として算出される。

一方、障害物と自車との相対的な接近に基く障害物の横幅の拡大率は、撮像装置の被写体距離と、焦点距離とに基く幾何光学的な倍率演算からも求めることができ、被写体距離の変化に基く倍率変化が障害物の横幅の演算側拡大率である。

そして、前記の被写体距離が自車から障害物までの間隔距離であるが、この距離が撮影画像からは分からないため、前記間隔距離としての複数個の候補距離が予め用意され、自車速を時間積分して測定した自車の走行距離と、前記の各候補距離それぞれとの組み合わせにより、候補距離毎に、候補距離と候補距離より測定した自車走行距離短い距離とをそれぞれ前記の間隔距離として、撮影倍率の変化が演算されて撮影画像の拡大率が求められ、この拡大率が演算側幅拡大率として算出される。

このとき、算出した各撮影画像側幅拡大率と各演算側幅拡大率との誤差は、障害物の撮影画像側幅拡大率と、前記の間隔距離に最も近い候補距離の演算側幅拡大率との組合せのときに最小になる。

そして、誤差が最小になる撮影画像側幅拡大率と演算側幅拡大率との組み合わせの検出に基き、その組合せの検出された演算側幅拡大率の候補距離が自車と障害物との間隔距離として検出され、この候補距離が前記の間隔距離の測定距離として決定されることにより、撮像装置の撮影画像、自車から静止状態の障害物までの距離が測定されて障害物が認識される。

この場合、自車が直進走行状態であって走行状態が認識に影響しないときに限り、撮像措置の自車前方の撮影画像を画像処理して障害物の認識が行なわれ、その際、画像処理に撮影画像のＦＯＥは用られず、撮像装置の位置ずれ等に基づく座標のキャリブレーション精度が認識に影響することもなく、撮像装置の自車前方の撮影画像から、先行車等の自車前方の障害物を精度よく確実に認識することができる。

また、請求項２、８の構成によれば、設定時間連続してしきい値以下の最小の誤差になる同じ２ピーク点、候補距離の撮影画像側幅拡大率と演算側幅拡大率との組合せが出現し、その組合せの演算側幅拡大率の候補距離前方に障害物が存在するときにのみ、その組合せの演算側幅拡大率の候補距離が前記間隔距離の測定距離に決定され、障害物以外の認識対象外のものを確実に除外して、自車前方の障害物についてのみ自車からの距離を測定して認識することができ、認識精度が一層向上する。

さらに、請求項３、９の構成によれば、候補距離の範囲を、自車速に応じて可変設定したため、とくに自車速が高速になっても候補距離の個数が増加せず、認識処理の高速化を図ることができ、しかも、候補距離を保持するメモリ等が小容量のものでよく、安価かつ小型の構成にすることができる。

さらに、請求項４、１０の構成によれば、撮影画像の水平エッジ含有率が少ない２ピーク点を撮影画像側幅拡大率の計算から除外したため、撮影画像の認識対象外のものを障害物として誤認識するおそれがほとんどなく、認識精度が一層向上する。

さらに、請求項５、１１の構成によれば、検出した演算側幅拡大率の候補距離を自車と障害物との間隔距離の測定距離に決定して障害物を認識したときに、決定した測定距離と自車速とから算出した衝突予測時間に基き、認識した障害物の衝突可能性が判定され、この判定に基き、衝突可能性が高ければ、障害物接近警報を指令して発生することができ、自車のドライバ等に、精度よく確実に衝突予測の注意喚起をすることができる。

つぎに、請求項６、１２の構成によれば、撮像装置を単眼カメラとしたため、いわゆるステレオカメラを搭載する場合等に比して小型かつ安価になり、一層小型かつ安価な構成で障害物の認識が行なえる利点がある。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図１０にしたがって詳述する。

図１は自車１に搭載された障害物認識装置のブロック図、図２は撮影画像、垂直エッジヒストグラムの時間変化の説明図、図３、図４はトラッキング画像の一例、他の例の説明図である。

また、図５〜図７は演算側幅拡大率の算出の説明図、図８は演算側幅拡大率の算出の説明図、図９は演算側幅拡大率及び真の幅拡大率の時間変化の１例の特性図、図１０は図１の処理説明用のフローチャートである。

＜構成＞
そして、図１の障害物認識装置は、撮像装置として、小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ２を備え、この単眼カメラ２は自車１の車内前方に一定距離自車前方の路面を撮影するように取り付けられている。

また、この障害物認識装置は、自車速を検出する車輪速センサ構成の車速センサ３及び、自車１の旋回状態を検出するためのヨーレートセンサ４、舵角センサ５等の自車状態検出用の各種センサ等も備える。

そして、自車１のエンジン始動後、単眼カメラ２が自車前方を連続的に撮像して撮影画像の信号を画像処理認識部としてのマイクロコンピュータ構成の制御ＥＣＵ６に出力する。

この制御ＥＣＵ６はメモリユニット７等に予め設定された障害物認識プログラムに基づき、単眼カメラ２の撮影画像に基づく自車前方の障害物の認識処理を実行し、画像処理認識部に設けられたつぎの（ａ）〜（ｉ）の各手段を形成する。

（ａ）エッジピーク点検出手段
この手段は、単眼カメラ２の毎フレームの撮影画像の垂直エッジの車幅方向（水平方向）のヒストグラムを算出し、このヒストグラムの各ピーク点を検出し、最新の一定期間の検出結果をメモリユニット７に書き換え自在に蓄積保持する。

（ｂ）トラッキング画像形成手段
この手段は、メモリーユニット７に保持された時系列のピーク点の検出結果に基き、各時刻のピーク点をプロットして、前記のヒストグラムの各ピーク点の軌跡のトラッキング画像を形成する。

なお、自車走行環境において、自車前方の障害物やガードレール、道路標識等の非障害物に複数個の垂直エッジが存在することから、通常、垂直エッジのヒストグラムのピーク点及びその軌跡は複数個であり、また、障害物、非障害物の走行の有無等にしたがって軌跡の長さや方向（向き）等が異なる。

（ｃ）走行状態検出手段
この手段は、車速センサ３の自車速の検出及び、ヨーレートセンサ４、舵角センサ５のヨーレート、舵角の検出に基いて、時々刻々の自車１の推定自車旋回半径を演算して検出監視し、その旋回半径が予め設定された所定値以上であるときに自車１の直進走行状態を検出する。

（ｄ）撮影画像側幅拡大率算出手段
この手段は、走行状態検出手段が自車１の直進走行状態を検出し、自車１の走行状態が認識に影響を与えない状態であることを検出したときに、トラッキング画像の全部または一部の２ピーク点の間隔の時間変化から、２ピーク点毎に撮影画像側幅拡大率を算出する。

そして、この実施形態の場合、算出の信頼性を向上するため、撮影画像側幅拡大率算出手段は、単眼カメラ２の毎フレームの撮影画像の各２ピーク点間の水平エッジ含有率の多少から、各２ピーク点間の障害物の有無を判別し、水平エッジ含有率が少ない２ピーク点を撮影画像側幅拡大率の計算から除外するエラー処理機能を備える。

（ｅ）演算側幅拡大率算出手段
この手段は、走行状態検出手段の直進走行状態の検出により、自車速を時間積分して測定した自車の走行距離と、自車から障害物までの間隔距離として設定された複数個の候補距離それぞれとに基く演算から、候補距離毎に演算側幅拡大率を算出する。

そして、候補距離を予想される全車間距離範囲、例えば１０〜５０［ｍ］の１［ｍ］間隔の４１個の各距離として、それらの距離毎に演算側幅拡大率を算出してもよいが、この実施形態の場合、処理の高速化及びメモリユニット７のメモリ容量の低減等を図るため、演算側幅拡大率算出手段は、自車速別の距離範囲の候補距離を保持し、前記の全車間距離範囲のうちの自車速に応じた範囲の各候補距離を選択して可変設定する候補距離設定機能を備え、選択した候補距離についてのみ演算側幅拡大率を算出する。

具体的には、候補距離のパラメータをＺ１＊とすると、自車速別の距離範囲として、例えば、２０［ｋｍ／ｈ］の自車速に対してＺ１＊＝２０〜３０［ｍ］、４０［ｋｍ／ｈ］の自車速に対してＺ１＊＝４０〜５０［ｍ］、…をメモリユニット７に保持し、自車速が２０［ｋｍ／ｈ］のときにはＺ１＊＝２０〜３０［ｍ］の距離範囲の選択に基き、例えば１［ｍ］間隔のＺ１＊＝２０［ｍ］、２１［ｍ］、２２［ｍ］、…、３０［ｍ］の候補距離を設定し、同様に、自車速が４０［ｋｍ／ｈ］のときにはＺ１＊＝４０〜５０［ｍ］の距離範囲の選択に基き、例えば１［ｍ］間隔のＺ１＊＝４０［ｍ］、４１［ｍ］、４２［ｍ］、…、５０［ｍ］の候補距離を設定し、自車速の高速、低速にかかわらず、自車速に応じた１１個の候補距離を設定する。

この場合、例えば自車速が４０［ｋｍ／ｈ］のときに、候補距離の距離範囲を、１０〜５０［ｍ］でなく４０〜５０［ｍ］とし、自車速に応じた候補距離の個数を２０［ｋｍ／ｈ］のときと同様の１１個に低減することができる。

（ｆ）幅拡大率検出手段
この手段は、撮影画像側幅拡大率と演算側幅拡大率との誤差が最小になる組み合わせから、この誤差が最小になる演算側幅拡大率を検出する。

そして、この実施形態においては、検出精度を向上するため、幅拡大率検出手段の誤差が最小になる撮影画像側幅拡大率と演算側幅拡大率との組み合わせを、例えば１秒程度の設定時間連続してしきい値以下の最小の誤差になる同じ２ピーク点、候補距離についての組合せとし、突発的な変動等による誤認識を排除する。

（ｇ）距離決定認識手段
この手段は、幅拡大率検出手段の検出に基き、前記誤差が最小になる演算側幅拡大率の候補距離を、自車１から障害物までの間隔距離（車間距離）の測定距離に決定して障害物を認識する。

（ｈ）衝突判定警報手段
この手段は、距離決定認識手段により決定された測定距離と自車速とから衝突予測時間を算出して自車前方の認識した障害物の衝突可能性を判定し、この判定に基いて障害物接近警報を、図１の警報ユニット８に指令する。

（ｉ）自動ブレーキ制御手段
この手段は、自車１に自動ブレーキ制御を備える場合に設けられる手段であり、前記の障害物接近警報の指令に基き、図１のブレーキユニット９を自動ブレーキ制御する。

このとき、警報ユニット８はブザー音やランプ点灯或いは音声出力やメッセージ表示等で障害物接近警報を発すると共に、自動ブレーキがかかったことをドライバ等に警報する。

＜処理（動作）＞
つぎに、上記各手段による障害物認識の具体的な処理について説明する。

まず、自車１の走行中に単眼カメラ２の毎フィールードの撮影画像Ｐｉが例えば図２に示すように時間変化し、自車１の走行によって、障害物である停止中の先行車１０が相対的に自車１に接近するにしたがって撮影画像Ｐｉの先行車１０が次第に大きくなる。

なお、図２のｔ−６、ｔ−５、ｔ−４、ｔ−３、ｔ−２、ｔ−１、ｔは撮影時刻を示し、Ｗは撮影画像のほぼ中央部分に予め設定された所定の大きさのＲＯＩ領域を示す。

そして、各時刻の撮影画像Ｐｉの少なくともＲＯＩ領域Ｗの部分がエッジピーク点検出手段により加工され、この加工により、各撮影画像Ｐｉは輝度の垂直成分のエッジピーク点が検出されて微分二値化され、この微分二値化で形成された垂直成分の各ピーク点が車幅方向（水平方向）に加算されて図２の各ピーク点ｐの垂直ヒストグラムＧが算出される。

このとき、先行車１０については車幅方向（水平方向）の両端部等の特徴部分に垂直の大きなピーク点ｐが発生し、しかも、それらのピーク点ｐの発生位置は、自車１が先行車１０に接近することにより、時間経過にしたがって広がる方向に移動する。

そして、トラッキング画像形成手段が各時刻のヒストグラムＧの各ピーク点ｐを重ね、例えば、図３に示す各ピーク点ｐの軌跡のトラッキング画像Ｐｔを形成する。

図３は各ピーク点ｐを白色で示したトラッキング画像Ｐｔの一例を示し、説明を簡単にするため、画像Ｐｔはほぼ先行車１０の左右両側端部のピーク点ｐの軌跡ａ、ｂのみを含み、両軌跡ａ、ｂは、間の経過にしたがって、換言すれば、先行車１０が相対的に接近するにしたがって、ほぼ「ハ」の字状に車幅方向に広がるという特徴的な時間変化特性を示す。

なお、時間軸を上向きにとれば、前記の「ハ」の字を上下逆さまにした状態で車幅方向に広がる軌跡になる。

そして、実際には、先行車１０の左右端部以外の各位所に垂直エッジのピーク点ｐが発生し、先行車１０以外の路側の電信柱等にも同様の垂直エッジのピーク点が発生するため、トラッキング画像Ｐｔは、例えば図４に白線状に示す多数のエッジピークの軌跡を含む。

一方、走行状態検出手段が、センサ３〜５の検出に基いて算出した自車１の旋回半径（推定自車旋回半径）から、自車１がカーブ路の走行や右左折、進路変更等を行なっておらず、自車１の走行状態が認識に悪影響を及ぼさない直進走行状態であることを検出すると、この検出に基づいて撮影画像側幅拡大率算出手段、演算側幅拡大率算出手段が動作する。

そして、撮影画像側幅拡大率算出手段は、つぎに説明するように動作する。

すなわち、説明を簡単にするため、図５に示すように時刻Ｔの垂直エッジのエッジヒストグラムＧ（Ｔ）のピーク点ｐ１（Ｔ）、…、ｐ４（Ｔ）が、時刻Ｔ＋１に垂直エッジのヒストグラムＧ（Ｔ＋１）のピーク点ｐ１（Ｔ＋１）、…、ｐ４（Ｔ＋１）として検出され、これらの検出に基く図６の各ピーク点ｐ１（Ｔ）〜ｐ４（Ｔ＋１）のトラッキングにより、図７に示すピーク点ｐ１（ｐ１（Ｔ）、ｐ１（Ｔ＋１））、…、ｐ４（ｐ４（Ｔ）、ｐ４（Ｔ＋１））のトラッキング画像Ｐｔが得られたとすると、撮影画像側幅拡大率算出手段は、トラッキング画像Ｐｔの各２ピーク点ｐ１とｐ２、ｐ１とｐ３、ｐ１とｐ４、ｐ２とｐ３、ｐ２とｐ４、ｐ３とｐ４につき、例えば、全ての組合せの時刻Ｔにおける間隔Ｗ１２（Ｔ）、Ｗ１３（Ｔ）、Ｗ１４（Ｔ）、Ｗ２３（Ｔ）、Ｗ２４（Ｔ）、Ｗ３４（Ｔ）と、時刻Ｔ＋１における間隔Ｗ１２（Ｔ＋１）、Ｗ１３（Ｔ＋１）、Ｗ１４（Ｔ＋１）、Ｗ２３（Ｔ＋１）、Ｗ２４（Ｔ＋１）、Ｗ３４（Ｔ＋１）との比Ｗ１２（Ｔ＋１）／Ｗ１２（Ｔ）、〜、Ｗ３４（Ｔ＋１）／Ｗ３４（Ｔ）から、２ピーク点ｐ１とｐ２、〜、ｐ３とｐ４毎に時刻Ｔ、Ｔ＋１間の撮影画像側幅拡大率Ｋｉｍｇを算出し、これらの処理を撮影画像Ｐｉが得られてトラッキング画像Ｐｔが更新される毎にくり返す。

ところで、この実施形態にあっては、先行車１０等の障害物の画像は水平エッジも多く含み、路側の電柱等の障害物でないものの画像は水平エッジが少ないことから、エッジピーク点検出手段により撮影画像Ｐｉの水平エッジの垂直（縦）方向のヒストグラムのピーク点も検出し、撮影画像側幅拡大率算出手段にエラー処理機能を備える。

そして、撮影画像側幅拡大率Ｋｉｍｇを算出する際、前記エラー処理機能により、各２ピーク点ｐ１とｐ２、〜、ｐ３とｐ４間の水平エッジ含有率の多少から各２ピーク点ｐ１とｐ２、〜、ｐ３とｐ４間の先行車１０等の障害物の有無を判別し、水平エッジ含有率が少なく、障害物が存在しないと考えられる２ピーク点を撮影画像側幅拡大率Ｋｉｍｇの計算から除外し、処理の迅速化等を図る。

なお、処理の一層の迅速化等を図るため、認識精度上問題がなければ、トラッキング画像Ｐｔの各２ピーク点ｐ１とｐ２、〜、ｐ３とｐ４につき、全部の組合せについて撮影画像側幅拡大率Ｋｉｍｇを算出するのでなく、設定した選択条件等にしたがって選択した１組以上の一部の組合せについてのみ、撮影画像側幅拡大率Ｋｉｍｇを算出するようにしてもよい。

つぎに、演算側幅拡大率算出手段は、つぎに説明する幾何光学的演算から演算側拡大率Ｋｃａｌを算出する。

図８は自車１が左から右に直進走行して停止中の先行車１０に接近するときの時刻Ｔ、Ｔ＋１の撮影光学状態を示す模式図であり、自車１の走行を上から見た平面図に相当する。

そして、単眼カメラ２のレンズ位置を自車位置＜ｏ＞、この位置＜ｏ＞から微小な一定距離（焦点距離）ｆ後方の撮影画像Ｐｉが得られる位置を撮像面位置＜ｆ＞、自車前方の先行車１０の後部の各ピークエッジｐが発生する位置を障害物停止位置＜ａ＞とすると、前後する時刻Ｔ、Ｔ＋１の撮影により、図５の矢印線の撮影光路等からも明らかなように、撮影の距離や画像の大きさが自車１の走行にしたがって変化する。

なお、撮像面位置＜ｆ＞の点ｑ及び障害物停止位置＜ａ＞の点Ｑを通る線分が単眼カメラ２の光軸である。また、自車位置＜ｏ＞、撮像面位置＜ｆ＞は時間変化するが、障害物停止位置＜ａ＞は時間変化しない固定位置である。

つぎに、自車１の走行方向をＺ軸方向、車幅方向（水平方向）をＸ軸方向、高さ方向をＹ軸方向とする３次元ＸＹＺのワールド座標系において、時刻Ｔの自車位置＜ｏ＞と障害物停止位置＜ａ＞との距離をＺ、時刻Ｔ＋１の自車位置＜ｏ＞と障害物停止位置＜ａ＞との距離をＺ１とすると、距離Ｚ、Ｚ１は時刻Ｔ、Ｔ＋１のいわゆる車間距離であり、その差ΔＺ（＝Ｚ−Ｚ１）が時刻Ｔから時刻Ｔ＋１の間の自車１の走行距離である。

また、撮像面位置＜ｆ＞の撮影座標系は、水平方向をｘ軸方向、高さ方向をｙ軸方向とする二次元のｘｙ座標系であり、前記の各２ピーク点ｐ１とｐ２、〜、ｐ３とｐ４に相当する障害物停止位置＜ａ＞の２ピーク点ｐ間の車幅方向（水平方向）の間隔Ｘが、車間距離Ｚの時刻Ｔに撮像面位置＜ｆ＞に間隔ｘとして撮像され、それから微小時間後の車間距離Ｚ１の時刻Ｔ＋１に撮像面位置＜ｆ＞に間隔ｘ１として撮像されたとすると、図８からも明らかなように、時刻Ｔの間隔Ｘ、ｘにつき、つぎの（１）式が成り立つ。

ｘ＝ｆ（Ｘ／Ｚ） （１）式

同様に、時刻Ｔ＋１の間隔Ｘ１、ｘ１につき、つぎの（２）式が成り立つ。

ｘ１＝ｆ（Ｘ１／Ｚ１） （２）式

さらに、停止している先行車１０に自車１が直進走行して接近する場合、Ｘ＝Ｘ１、Ｚ＝Ｚ１＋ΔＺであるから、撮影画面上での時刻Ｔ、Ｔ＋１の先行車１０の論理上の幅拡大率、すなわち演算側幅拡大率Ｋｃａｌ＝ｘ１／ｘは、時刻Ｔ〜時刻Ｔ＋１の自車１の走行距離ΔＺ及び時刻Ｔ＋１の車間距離Ｚ１が分かれば、つぎの数１の（３）式から算出して求めることができる。

そして、走行距離ΔＺは車速センサ３が検出する自車速を時間積分して測定することができるが、車間距離Ｚ１は撮影画像上からは検出できないため、演算側幅拡大率算出手段は、車速センサ３が検出する自車速を時間積分して時刻Ｔ〜時刻Ｔ＋１の自車１の走行距離ΔＺを測定し、また、候補距離設定機能により、メモリユニット７に保持された候補距離の自車速別の距離範囲から、時刻Ｔ＋１の自車速に応じた車間距離Ｚ１の候補距離Ｚ１＊１の距離範囲、例えば、２０〜３０［ｍ］を選択して可変設定し、例えば１ｍ間隔の候補距離Ｚ１＊＝２０〜３０［ｍ］毎に、（３）式のΔＺ、Ｚ１を、測定した走行距離ΔＺ、候補距離Ｚ１＊として、前記（３）式から演算側幅拡大率Ｋｃａｌを算出し、この算出を撮影画像Ｐｉが得られてトラッキング画像Ｐｔが更新される毎にくり返す。

このとき、自車速に応じた車間距離Ｚ１の候補距離Ｚ１＊の距離範囲を選択し、この距離範囲の候補距離Ｚ１＊についてのみ演算側幅拡大率Ｋｃａｌを算出するため、全ての候補距離Ｚ１＊について算出する場合より短時間に迅速に算出が終了する。

つぎに、実際の幅拡大率（真の幅拡大率）Ｋｔｒｕｅ、各候補距離Ｚ１＊の演算側幅拡大率Ｋｃａｌは、例えば図９に示すように時間変化し、図中の実線ｔｒｕｅは真の幅拡大率の時間変化特性線であり、実線ａ、ｂ、ｃ、ｄは、短い距離から順の選択された各時刻の候補距離Ｚ１＊＝Ａ［ｍ］、Ａ＋１［ｍ］、Ａ＋２［ｍ］、Ａ＋３［ｍ］（Ａは１０、２０、…の変数）を結んだ時間変化特性線である。

そして、撮影画像側幅拡大率Ｋｉｍｇはほぼ真の幅拡大率Ｋｔｒｕｅに等しく、撮影画像側幅拡大率Ｋｉｍｇとの誤差が最も小さくなる演算側幅拡大率Ｋｃａｌの候補距離Ｚ１＊から車間距離Ｚ１が求まる。

そこで、幅拡大率検出手段により、例えば時刻Ｔ＋１の各候補距離Ｚ１＊の演算側幅拡大率Ｋｃａｌにつき、誤差が最小になる撮影画像側幅拡大率Ｋｉｍｇと演算側幅拡大率Ｋｃａｌの組合せを検出し、距離決定認識手段により、その組合せの演算側幅拡大率Ｋｃａｌの候補距離Ｚ１＊を車間距離Ｚ１の測定距離に決定し、この決定をくり返すことにより、時々刻々変化する車間距離Ｚ１を測定して先行車１０を認識する。

このとき、誤差が最小になる撮影画像側幅拡大率Ｋｉｍｇと演算側幅拡大率Ｋｃａｌの組合せを過渡変動等による誤検出を防止して精度よく検出するため、この実施形態においては、前記幅拡大率検出手段により、予め前記誤差の検出のしきい値Ｅｒｒを設定し、例えば１〜数秒の設定期間連続してしきい値Ｅｒｒ以下の最小値になる同じ２ピーク点ｐ、候補距離Ｚ１＊の撮影画像側幅拡大率Ｋｉｍｇと演算側幅拡大率Ｋｃａｌの組合せの誤差のみを、最小の誤差として検出し、距離決定認識手段により、その組合せの演算側幅拡大率Ｋｃａｌの候補距離Ｚ１＊を車間距離Ｚ１の測定距離に決定して先行車１０を精度よく認識する。

つぎに、距離決定認識手段の決定された測定距離と自車速とから、衝突判定警報手段により、自車１の先行車１０に対する衝突予測時間を算出し、その衝突予測時間が設定した報知判定時間以下か否かによって衝突可能性を判定し、この判定に基き、衝突予測時間が設定した報知判定時間以下のときに障害物接近警報を警報ユニット８に指令し、この指令に基き、警報ユニット８によりブザー音、ランプ点灯或いは音声出力、メッセージ表示等によって自車１のドライバに障害物接近を警報する。

また、自動ブレーキ制御手段を備えるこの実施形態の場合、算出した衝突予測時間と制御基準時間との比較結果に基く制御指令又は障害物接近警報に基き、前記の障害物接近の警報と同時にブレーキユニット９を自動ブレーキ制御し、自車１を減速停止する。

そして、以上の処理は、制御ＥＣＵ６により、例えば図１０のステップＳ１〜Ｓ９のフローチャートに示す手順で行なわれる。

すなわち、自車１の走行中に図１０のステップＳ１において、走行状態判別手段により自車１が直進走行中か否かを判断し、直進走行状態のときに限りつぎのステップＳ２に進み、撮影画像Ｐｉが得られると、ステップＳ３に移行し、エッジピーク点検出手段により、その垂直、水平のエッジヒストグラム、ピーク点等を検出し、ステップＳ４により、トラッキング画像形成手段によって最新のトラッキング画像Ｐｔを形成する。

さらに、ステップＳ５に移行し、撮影画像側幅拡大率算出手段によって各２ピーク点ｐ１とｐ２、〜、ｐ３とｐ４毎に撮影画像側幅拡大率Ｋｉｍｇを算出し、ステップＳ６により、演算側幅拡大率算出手段によって候補距離Ｚ１＊毎に演算側幅拡大率Ｋｃａｌを算出し、ステップＳ７により、幅拡大率検出手段によって誤差が最小になる撮影画像側幅拡大率Ｋｉｍｇと演算側幅拡大率Ｋｃａｌの組合せを検出する。

つぎに、ステップＳ８に移行し、距離決定認識手段により、前記誤差が最小になる組合せの演算側幅拡大率Ｋｃａｌの候補距離Ｚ１＊を車間距離Ｚ１の測定距離に決定して車間距離Ｚ１を測定し、先行車１０を認識し、ステップＳ９により、衝突判定警報手段、自動ブレーキ制御手段によって障害物接近の警報、自動ブレーキ制御を行なう。

したがってこの実施形態の場合、自車１の走行状態による誤認識なく、しかも、ＦＯＥを用いた画像処理を行なうことなく、撮像装置としての安価で小型の単眼カメラ２の自車前方の撮影画像Ｐｉから、撮影画像側幅拡大率Ｋｉｍｇ、演算側幅拡大率Ｋｃａｌを算出し、単眼カメラ２の位置ずれ等に基づく座標のキャリブレーション精度の影響等なく、撮像装置の自車前方の撮影画像から、自車前方の停止中の先行車１０等の静止状態の障害物を精度よく確実に認識することができ、さらに、その衝突可能性に基いて障害物接近を警報し、自車１のドライバ等に、誤警報を防止して、精度よく確実に衝突予測の注意喚起をすることができる。

また、この警報の発生と同時に自動ブレーキ制御によって自車１を自動的に制動停止し、安全性を向上することができる。

さらに、設定時間連続してしきい値以下の最小の誤差になる同じ２ピーク点、候補距離の撮影画像側幅拡大率Ｋｉｍｇと演算側幅拡大率Ｋｃａｌとの組合せを検出し、その組合せの演算側幅拡大率Ｋｃａｌの候補距離Ｚ１＊前方に障害物が存在するときにのみ、その候補距離Ｚ１＊を自車１から先行車１０等の障害物までの前記間隔距離の測定距離に決定したため、障害物以外の認識対象外のものを確実に除外し、自車前方の障害物についてのみ自車１からの距離を測定して認識することができ、認識精度が一層向上する。

また、候補距離Ｚ１＊の範囲を、自車速に応じて可変設定したため、とくに自車速が高速になっても候補距離の個数が増加せず、認識処理の高速化を図ることができ、しかも、候補距離Ｚ１＊を保持するメモリユニット７等が小容量のものでよく、安価かつ小型の構成にすることができる。

その上、撮影画像Ｐｉの水平エッジ含有率が少ない２ピーク点を撮影画像側幅拡大率Ｋｉｍｇの計算から除外したため、撮影画像Ｐｉの認識対象外のものを障害物として誤認識するおそれがほとんどなく、認識精度を一層向上することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記実施形態では、自車１に自車前方検出センサとして単眼カメラ２のみを備え、このカメラ２の自車前方の撮影画像Ｐｉの画像処理のみによって先行車１０等の障害物を認識する場合に適用したが、自車１に自車前方検出センサとして単眼カメラ２とレーサレーダ等のスキャン式レーダを備え、通常は、その両方の検出結果に基く前記のセンサフュージョンによって先行車１０等の障害物を認識し、先行車等の障害物の後部左右両端のリフレクタが泥等で覆われていたりしてスキャン式レーダの検出が行なえないときに、単眼カメラ２の自車前方の撮影画像Ｐｉの画像処理のみによって先行車１０等の障害物を認識するようにした場合に適用することもできる。

この場合、単眼カメラ２の自車前方の撮影画像Ｐｉの画像処理のみによって先行車１０等の障害物を認識するように切り換わったときに、前記実施形態と同様にして自車前方の障害物を認識等することにより、前記実施形態の場合と同様の効果を奏する。

また、自車速に対する候補距離Ｚ１＊の範囲や個数等は、実験等によって適当に設定してよいのは勿論である。

さらに、制御ＥＣＵ６の各手段の構成、処理手順等が前記実施形態と異なっていてもよく、撮像装置は、ＣＣＤの単眼カメラに限られるものではなく、場合によっては、ステレオカメラであってもよい。

そして、本発明の認識結果を、自動ブレーキ制御以外の車両の種々の走行制御に用いることができるのは勿論である。

ところで、自車１の装備部品数を少なくするため、例えば図１の単眼カメラ２を追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。

この発明の実施形態のブロック図である。 図１の撮影画像、垂直エッジヒストグラムの時間変化の説明図である。 図１のトラッキング画像の一例の説明図である。 図１のトラッキング画像の他の例の説明図である。 図１の垂直エッジヒストグラムの各ピーク点の時間変化の説明図である。 図５の各ピーク点のトラッキングの説明図である。 図６の各ピーク点の間隔の時間変化の説明図である。 図１の演算側幅拡大率の算出の説明図である。 図１の演算側幅拡大率及び真の幅拡大率の時間変化の１例の特性図である。 図１の処理説明用のフローチャートである。

符号の説明

１ 自車
２ 単眼カメラ
６ 制御ＥＣＵ
１０ 先行車
Ｐｉ 撮影画像
Ｐｔ トラッキング画像
Ｇ ヒストグラム
ｐ ピーク点

Claims (12)

1. 自車に搭載された撮像装置により自車前方を撮影し、
   前記撮像装置の撮影画像の垂直エッジにつき、車幅方向のヒストグラムの各ピーク点を検出して該各ピーク点の軌跡のトラッキング画像を形成し、
   自車の旋回半径から自車の直進走行状態を検出したときに、前記トラッキング画像の全部または一部の２ピーク点の間隔の時間変化から、前記２ピーク点毎に撮影画像側幅拡大率を算出し、
   前記直進走行状態の検出により、自車速を時間積分して測定した自車の走行距離と、自車から自車前方の静止状態の障害物までの間隔距離として設定された複数個の候補距離それぞれとに基く演算から、前記候補距離毎に演算側幅拡大率を算出し、
   誤差が最小になる前記撮影画像側幅拡大率と前記演算側幅拡大率との組み合わせを検出し、
   検出した組合せの前記演算側幅拡大率の前記候補距離を前記間隔距離の測定距離に決定して前記障害物を認識することを特徴とする障害物認識方法。
2. 誤差が最小になる撮影画像側幅拡大率と演算側幅拡大率との組み合わせが、設定時間連続してしきい値以下の最小の誤差になる同じ２ピーク点、候補距離の前記両幅拡大率の組合せであることを特徴とする請求項１記載の障害物認識方法。
3. 候補距離の自車速別の距離範囲を保持し、自車速に応じた距離範囲の各候補距離を選択して設定することを特徴とする請求項１または２に記載の障害物認識方法。
4. 撮影画像の各２ピーク点間の水平エッジ含有率の多少から前記各２ピーク点間の障害物の有無を判別し、前記水平エッジ含有率が少ない２ピーク点を撮影画像側幅拡大率の計算から除外することを特徴とする請求項１〜３のいずれかに記載の障害物認識方法。
5. 決定した測定距離と自車速とから衝突予測時間を算出して自車前方の認識した障害物の衝突可能性を判定し、該判定に基いて障害物接近警報を指令することを特徴とする請求項１〜４のいずれかに記載の障害物認識方法。
6. 撮像装置が単眼カメラであることを特徴とする請求項１〜５のいずれかに記載の障害物認識方法。
7. 自車に搭載されて自車前方を撮影する撮像装置と、該撮像装置の撮影画像を処理して自車前方の静止状態の障害物を認識する画像処理認識部とを備え、
   前記画像処理認識部に、
   前記撮像装置の撮影画像の垂直エッジの車幅方向のヒストグラムを算出し、該ヒストグラムの各ピーク点を検出するエッジピーク点検出手段と、
   前記各ピーク点の軌跡のトラッキング画像を形成するトラッキング画像形成手段と、
   自車の旋回半径から自車の直進走行状態を検出する走行状態検出手段と、
   前記走行状態検出手段が前記直進走行状態を検出したときに、前記トラッキング画像の全部または一部の２ピーク点の間隔の時間変化から、前記２ピーク点毎に撮影画像側幅拡大率を算出する撮影画像側幅拡大率算出手段と、
   前記走行状態検出手段の前記直進走行状態の検出により、自車速を時間積分して測定した自車の走行距離と、自車から前記障害物までの間隔距離として設定された複数個の候補距離それぞれとに基く演算から、前記候補距離毎に演算側幅拡大率を算出する演算側幅拡大率算出手段と、
   前記撮影画像側幅拡大率と前記演算側幅拡大率との誤差が最小になる組み合わせから、前記誤差が最小になる前記演算側幅拡大率を検出する幅拡大率検出手段と、
   前記幅拡大率検出手段の検出に基き、前記誤差が最小になる前記演算側幅拡大率の前記候補距離を前記間隔距離の測定距離に決定して前記障害物を認識する距離決定認識手段とを設けたことを特徴とする障害物認識装置。
8. 幅拡大率検出手段の誤差が最小になる撮影画像側幅拡大率と演算側幅拡大率との組み合わせが、設定時間連続してしきい値以下の最小の誤差になる同じ２ピーク点、候補距離の前記両幅拡大率の組合せであることを特徴とする請求項７記載の障害物認識装置。
9. 演算側幅拡大率算出手段が、候補距離の自車速別の距離範囲を保持し、自車速に応じた距離範囲の各候補距離を選択して設定する候補距離設定機能を備えたことを特徴とする請求項７または８に記載の障害物認識装置。
10. 撮影画像側幅拡大率算出手段が、撮影画像の各２ピーク点間の水平エッジ含有率の多少から前記各２ピーク点間の障害物の有無を判別し、前記水平エッジ含有率が少ない２ピーク点を撮影画像側幅拡大率の計算から除外するエラー処理機能を備えたことを特徴とする請求項７〜９のいずれかに記載の障害物認識装置。
11. 距離決定認識手段により決定された測定距離と自車速とから衝突予測時間を算出して自車前方の認識した障害物の衝突可能性を判定し、該判定に基いて障害物接近警報を指令する衝突判定警報手段を備えたことを特徴とする請求項７〜１０のいずれかに記載の障害物認識装置。
12. 撮像装置が単眼カメラであることを特徴とする請求項７〜１１のいずれかに記載の障害物認識装置。