JP3925285B2 - 走行路環境検出装置 - Google Patents
走行路環境検出装置 Download PDFInfo
- Publication number
- JP3925285B2 JP3925285B2 JP2002115233A JP2002115233A JP3925285B2 JP 3925285 B2 JP3925285 B2 JP 3925285B2 JP 2002115233 A JP2002115233 A JP 2002115233A JP 2002115233 A JP2002115233 A JP 2002115233A JP 3925285 B2 JP3925285 B2 JP 3925285B2
- Authority
- JP
- Japan
- Prior art keywords
- correspondence information
- detected
- extracted
- extraction
- scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、自車両周辺の走行路環境を検出する走行路環境検出装置に関し、特に、検出された自車両周辺の物体が、自車両の走行車線内にあるか否かを判定するのに好適なものである。
【０００２】
【従来の技術】
従来より、例えば、特開平２００１−１３４７６９号公報に示すように、カメラ等の撮像手段によって撮像した撮像画像において道路白線を検出し、さらに、レーダ等の測距手段の測距信号に基づいて検知した自車両前方の物体の位置を前記撮像画像上の座標系に変換し、この変換した前記物体の撮像画像上における位置を含む所定領域を画像処理することにより、前記測距信号に基づく測距による注目物体に相当する物体を前記所定領域から抽出し、前記撮像画像上における道路白線位置と、前記所定領域から抽出した注目物体との位置を比較することによって、注目物体が、自車両の走行レーン内にあるか否かを検出する外界認識系が提案されている。
【０００３】
また、例えば特開平９−１７８８５５号公報に示すように、遠方の道路白線ほど、その検知精度が低下することから、これを考慮して、注目物体が自車両の走行レーン内にあるか否かの判断を行うようにした方法等も提案されている。
【０００４】
【発明が解決しようとする課題】
前記特開２００１−１３４７６９号公報に示すような外界認識系にあっては、測距手段で捕捉した物体の位置を、撮像画像の座標系上の位置に変換し、この領域から捕捉した物体に相当する物体のみを抽出するといった一連の画像処理が正しく行われていることを前提としている。
【０００５】
しかしながら、一般に、レーザレーダや、ミリ波レーダといった、アクティブセンサにあっては、自ら発信した電磁波を受信することで測距を行うが、撮像手段としてのカメラ等にあっては、太陽光を受光するだけのパッシブセンサであるため、当然、レーダ等の測距手段の方が、カメラ等の撮像手段よりも信頼性が高い。つまり、レーダで捕捉している物体をカメラ等の撮像画像により注視したい場合であっても、光環境や走行状況、また、自車両前方の物体が車両である場合にはその車種の形状等の影響から、画像処理による物体抽出が高精度に行われない場合があり、このため、物体が自車両の走行レーン内にあるか否かの判断を行うレーン内外判断を高精度に行うことができないという問題がある。
【０００６】
また、特開平９−１７８８５５号公報に記載された公報にあっては、遠方ほど道路白線の検出精度が低下することを考慮して白線抽出を行うようにしている。この場合、レーダが測距する物体を撮像画像上から抽出することはできる。しかしながら、この場合も、レーダが測距する物体については検出精度の低下を考慮していないため、この場合も同様に、走行路内にあるか否かの判断を高精度に行うことができないという問題がある。
【０００７】
前記物体のレーン内外判断を行うためには、自車両前方の物体の検出と道路白線の検出とが共に正しく行われることが重要であるが、道路白線の検出に比較して、撮像画像から物体を抽出する方がより困難である。このため、この外界認識系は、物体抽出に対する対策を施すことが、レーン内外判断の精度の向上に有効である。
【０００８】
また、特開平９−１７８８５５号公報に記載されているように、仮に、遠方の道路白線の白線検知の精度低下を考慮したとしても、磁気マーカ等を用いた場合は別であるが、道路白線はカメラ等の撮像手段を用いなければ検知することができないため、白線検知の精度低下を考慮しても、レーン内外判断の判断精度を向上させることには寄与しない。
【０００９】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、車両周辺の物体が自車両の走行レーン内にあるか否かの判断を高精度に行うことの可能な走行路環境検出装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る走行路環境検出装置は、自車両周辺の走行路環境を撮像する撮像手段と、当該撮像手段の撮像画像において自車両の走行路を検知する走行路検知手段と、自車両周辺の物体と自車両との間の距離を測定する測距手段と、当該測距手段で検出した検出物体の自車両を基準とした測距位置に相当する前記撮像画像上の位置に処理領域を設定する処理領域設定手段と、前記撮像画像上の処理領域から前記測距手段で検出した検出物体に相当する物体を抽出する物体抽出手段と、当該物体抽出手段で抽出した抽出物体の前記撮像画像上の位置情報と、前記走行路検知手段の検知結果とから前記測距手段による検出物体が自車両の走行路内にあるか否かを判断する走行路内外判断手段と、を備えた走行路環境検出装置において、前記測距手段が物体を捕捉し且つ前記物体抽出手段で物体を抽出したときに、前記物体抽出手段で抽出した抽出物体の前記位置情報に基づき、自車両を基準とした前記抽出物体の実際の横位置及び前記抽出物体の実際の幅を推測すると共に、この推測した前記抽出物体の実際の横位置と前記測距手段の検出物体の測距位置との偏差を演算し、前記抽出物体の実際の幅及び前記偏差を、前記抽出物体と前記測距手段の検出物体との対応を表す対応情報として記憶する対応情報算出手段と、当該対応情報算出手段で記憶する最新の対応情報をもとに前記測距手段による検出物体の測距位置を補正する測距情報補正手段と、を備え、前記走行路内外判断手段は、前記測距手段が物体を捕捉し且つ前記物体抽出手段で物体を抽出することができないときには、前記測距情報補正手段で前記最新の対応情報を用いて補正した測距補正情報と前記走行路検知手段の検知結果とに基づき前記判断を行うことを特徴としている。
【００１１】
また、請求項２に係る走行路環境検出装置は、前記物体抽出手段は、前記抽出物体の抽出結果の確からしさを採点する抽出結果採点手段を備え、前記対応情報算出手段は、前記抽出結果採点手段での採点結果を考慮して前記対応情報を算出することを特徴としている。
また、請求項３に係る走行路環境検出装置は、前記対応情報算出手段は、前記抽出結果採点手段の採点結果がしきい値以下であるときには、これに対応する抽出物体に基づく前記対応情報の算出を行わないことを特徴としている。
【００１２】
また、請求項４に係る走行路環境検出装置は、前記対応情報算出手段は、最新のものから複数分の前記対応情報を記憶し、当該記憶した対応情報のうち最新のものから所定数分の対応情報を平滑化処理し、この平滑化処理した対応情報を前記測距情報補正手段での補正に用いる対応情報として算出し、前記抽出結果採点手段での採点の結果、抽出結果の確からしさが小さいときほど、より多くの対応情報を用いて前記平滑化処理を行うことを特徴としている。
また、請求項５に係る走行路環境検出装置は、前記対応情報算出手段は、前記対応情報の算出時点以前の所定の参照時間における前記対応情報のバラツキを求めると共に前記抽出結果採点手段の採点結果が高いときほど前記参照時間を短い値に設定し、前記対応情報のバラツキがしきい値を越えるときには当該対応情報を新たな対応情報として更新しないことを特徴としている。
【００１３】
さらに、請求項６に係る走行路環境検出装置は、前記物体抽出手段は、前記処理領域においてエッジ検出処理を行って前記抽出物体の抽出を行い、前記抽出結果採点手段は、前記エッジ検出処理において検出したエッジのエッジ長さと前記処理領域の大きさとの比率に応じて前記採点を行うことを特徴としている。
【００１４】
【発明の効果】
本発明の請求項１に係る走行路環境検出装置は、撮像手段により自車両周辺の走行路環境を撮像し、この撮像画像において自車両の走行路を検知し、また、測距手段によって自車両周辺の物体と自車両との間の距離を測定し、測距手段で検出した検出物体の測距位置に相当する、撮像画像上の位置に処理領域を設定する。そして、この処理領域から測距手段で検出した検出物体に相当する物体を抽出し、抽出物体の前記撮像画像上の位置情報と、走行路検知手段で検知した自車両の走行路の位置とから、測距手段による検出物体が自車両の走行路内にあるか否かを判断する。
【００１５】
このとき、測距手段が物体を捕捉し且つ物体抽出手段で物体を抽出したときに、物体抽出手段で抽出した抽出物体の位置情報に基づき、自車両を基準とした抽出物体の実際の横位置及び抽出物体の実際の幅を推測し、この推測した抽出物体の実際の横位置と測距手段の検出物体の測距位置との偏差を演算し、この偏差と抽出物体の実際の幅とを抽出物体と測距手段の検出物体との対応を表す対応情報として記憶しておき、測距手段が物体を捕捉しているが、物体抽出手段で物体を抽出できないときには、算出した対応情報をもとに測距手段による測距位置を補正し、補正した測距補正情報と走行路検知手段の検知結果とに基づき測距手段による検出物体が自車両の走行路内にあるか否かを判断するようにしたから、撮像画像により抽出物体の位置情報を検出することができない場合、つまり、抽出物体の位置や大きさ等を検出することができない場合であっても、検出物体が走行路内にあるか否かの判断を高精度に行うことができる。
【００１６】
また、請求項２及び請求項３に係る走行路環境検出装置によれば、物体抽出手段は、抽出物体の抽出結果の確からしさを採点する抽出結果採点手段を備え、対応情報算出手段では、抽出結果採点手段での採点結果を考慮して対応情報を算出するようにしたから、例えば、採点結果が低い場合には、対応情報を算出しない等といった対処を行うことによって、対応情報の精度が低下することを回避し、この対応情報に基づき補正された測距補正情報の精度が低下することに起因して走行路内外判断手段での判断精度が低下することを回避することができる。
【００１７】
また、請求項４に係る走行路環境検出装置によれば、対応情報算出手段は、所定数分の対応情報を平滑化処理しこれを前記測距情報補正手段での補正に用いる対応情報として算出し、このとき、抽出結果採点手段での採点の結果、抽出結果の確からしさが小さいときほど、より多くの対応情報を用いて平滑化処理を行うから、ローパスフィルタ効果によってノイズ除去を行うことができると共に、採点結果に応じて、対応情報算出までの処理時間を効果的に短縮することができる。
【００１８】
また、請求項５に係る走行路環境検出装置によれば、対応情報算出手段は、対応情報の算出時点以前の所定の参照期間における前記対応情報のバラツキを求めると共に抽出結果採点手段の採点結果が高いほど参照期間を短く設定し、対応情報のバラツキがしきい値を超えるときには対応情報を新たな対応情報として更新しないようにしたから、対応情報のバラツキを考慮して対応情報の更新を行うことができると共に、抽出結果採点手段の採点結果に応じてバラツキの算出に要する処理時間を効果的に短縮することができる。
【００１９】
さらに、請求項６に係る走行路環境検出装置によれば、物体抽出手段は、処理領域においてエッジ検出処理を行って抽出物体の抽出を行い、抽出結果採点手段は、エッジ検出処理において検出したエッジのエッジ長さと、処理領域の大きさとの比率に応じて採点を行うようにしたから、撮像画像上における抽出物体の大きさに応じて、エッジと背景との比であるＳ／Ｎ比を適切な比率に保つことができ、抽出結果の採点を、測距手段による測距距離に依存せずに的確に行うことができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明の走行路環境検出装置を適用した先行車両追従走行装置付き車両の一実施形態を示すシステム構成図である。外界認識部１には、スキャニング式レーザレーダ２で走査した結果から、自車両前方の物体を検出するレーダ処理装置３が接続されている。このレーダ処理装置３は、検出された１又は複数の物体に対して自車両を原点とする二次元座標値、すなわち、検出物体の位置を算出する機能が付加されている。
【００２１】
また、前記外界認識部１には、ＣＣＤカメラ４で撮像された自車両前方の画像から自車両の走行レーンの道路白線を検出する画像処理部５が接続されている。前記ＣＣＤカメラ４は、自車両前方の状況を広角且つ高速に把握することの可能なプログレッシブスキャン式のものであり、また、前記画像処理部５には、前記レーダ処理装置３で検出された検出物体の左右のエッジ端を検出する機能が付加されている。
【００２２】
さらに、前記外界認識部１には、自車両の走行状態を検出するための車速検出装置６及び操舵角検出装置７が接続されている。前記車速検出装置６は、従動輪である後輪の回転速度から自車両の走行速度ＶSPを検出するものである。また、前記操舵角検出装置７は、ステアリングホイールの操舵角θを検出するものである。
【００２３】
そして、前記外界認識部１では、前記検出物体が、自車両の走行レーン内にあるか否かを判定し、自車両の走行レーン内にあると判定された場合にはこれを自動ブレーキ制御装置８に通知する。また、前記検出物体が、自車両にとって障害物であるか否かを判定し、障害物であるときには自動ブレーキ制御装置８に対してこれを通知する。また、前記検出物体が、障害物ではなく、自車両と同等の速度で走行する先行車両であると判断された場合には、図示されない先行車両追従走行制御装置に判断結果を出力し、この先行車両追従走行制御装置は、前記車速検出装置６及び操舵角検出装置７の検出信号に基づいて、エンジンの出力と各車輪への制動力とを制御して先行車両に追従走行する制御を行う。
【００２４】
前記自動ブレーキ制御装置８は、前記外界認識部１から検出物体が障害物であることが通知されたときには、前記車速検出装置６及び操舵角検出装置７の検出信号に基づいて必要に応じて負圧ブレーキブースタ９を作動し、各車輪に制動力を付与して検出物体との接触を回避する。また、外界認識装置１で、前記検出物体が障害物であり且つ自車両の走行レーン内にあると判断された場合には、より大きな制動力を各車輪に付与する。
【００２５】
そして、前記外界認識部１及び画像処理部５によって外界認識装置１０を構成しており、これら外界認識装置１０、レーダ処理装置３、自動ブレーキ制御装置８等は、それぞれマイクロコンピュータとその周辺機器、並びに、各アクチュエータを駆動するための駆動回路等を備えており、互いに通信回路を介して情報を送受信できるようになっている。
【００２６】
図２は、本発明の走行路環境検出装置の機能構成を示すブロック図である。
この走行路環境検出装置は、撮像手段２１この場合ＣＣＤカメラ４と、この撮像手段２１の撮像画像をもとに自車両の走行レーンの道路白線を検知する自車線検知手段２２と、測距手段２３この場合レーザレーダ２と、この測距手段２３で検出した検出物体の二次元座標値に基づき座標変換を行い、撮像画像上に前記二次元座標値に相当する絞り込み領域を設定する座標変換手段２４と、この座標変換手段２４で設定した撮像画像上の絞り込み領域から検出物体に相当する物体を抽出する物体抽出手段２５と、物体抽出手段２５で物体抽出が的確に行われたときの抽出物体の自車両との相対位置と、測距手段２３で検出した検出物体の自車両との相対位置とをもとに、前記物体抽出手段２５による抽出物体と前記測距手段２３での検出物体とを対応付ける対応値を算出する対応値算出手段２６と、前記測距手段２３で検出した検出物体の自車両との相対位置を前記対応値算出手段２６で算出した対応値をもとに補正する測距結果補正手段２７と、物体抽出手段２５で抽出した物体の位置又は、前記測距結果補正手段２７で補正した測距手段２３による検出物体の位置と、自車線検知手段２２で検知した道路白線とをもとに、検出物体が自車両の走行レーン内にあるか否かを判断する車線内外判断手段２８とを備えている。また、自車線検知手段２２で検知した自車線情報に基づいてレーン逸脱警報を発生する手段３１、検出物体が障害物であるかを判断し、検出物体が障害物であると判断されたとき強制的に制動力を発生させると共に、車線内外判断手段２８でこの検出物体が自車線内にあると判定されたときにはより制動力を発生させる障害物判断手段３２、測距手段で２３で検出した検出物体が先行車両であるときこれに追従して走行するよう駆動力及び制動力の制御を行う先行車追従処理手段３３等を備えている。
【００２７】
次に、前記外界認識装置１０で行われるレーン内外判断処理について、図３のフローチャートを用いて説明する。このレーン内外判断処理は、例えば（３０Hz）をサンプリング周期ΔＴとして、このサンプリング周期ΔＴ毎にタイマ割り込み処理される。なお、このフローチャートでは、特に、通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は、随時記憶装置に記憶され、また、必要な情報は随時記憶装置から読み出される。
【００２８】
このレーン内外判断処理では、まず、ステップＳ１で、ＣＣＤカメラ４で撮像した自車両前方の撮像情報を読み込み、次いでステップＳ２に移行して、ＣＣＤカメラ４の撮像画像において、白線検出処理を行う。この白線検出処理は、公知の手順で行われる。
つまり、例えば特開平１１−２９６６６０号公報に記載されているように、入力された撮像画像に対し、ｓｏｂｅｌフィルタ処理等を行って微分画像を生成する。そして、予め設定した白線候補点検出領域毎に、所定値以上の濃度を有する画素数が最も多い線分を検出しこの線分上の点つまり画素を、白線候補点とする。そして各白線候補点検出領域毎に検出した白線候補点を補間し、例えば、次式（１）に示すような、道路形状や車両挙動を表す道路パラメータを用いて表される、道路白線モデルを検出する。なお、式中の、ａは、レーン内の自車両の横変移量、ｂは道路の曲率、ｃは、自車両（ＣＣＤカメラ４の光軸）の道路に対するヨー角、ｄは自車両（カメラの光軸）の道路に対するピッチ角、ｅは道路の車線幅を表す。
【００２９】
ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ ……（１）
そして、この道路白線モデルで特定される、左側の白線を表す画素群をWL-Lとし、右側の白線を表す画素群をWL-Rとする。
これにより、ＣＣＤカメラ４の撮像画像（例えば横６４０画素×縦４８０画素）において、どの画素が白線であるかを把握することができる。
【００３０】
例えば、撮像画像上の道路白線の消失点を撮像画像の中央、つまり、（３２０、２４０）とすると、左右の白線WL-L及びWL-Rは、共に、２４０個の画素の配列となり、仮に、零を無限遠方とし、２４０を最近方とすると、これら間の撮像画像の縦方向、つまり、車間距離方向における左右の白線の座標値を求めることができる。なお、最近方の具体的な距離は、画角から決まり、例えば２８ｄｅｇでは、自車両位置から約８ｍ弱となる。したがって、例えば、４０ｍの遠方に存在する物体は、前記撮像画像上では、後述の透視変換を行うことによって、約６０番目の縦座標となる。したがって、前記道路白線モデルから、左右の道路白線の横座標値を求めることができる。
【００３１】
次いで、ステップＳ３に移行し、レーザレーダ２の検出信号に基づき検出した測距結果をレーダ処理装置３から読み込む。なお、この読み込み処理は、レーザレーダ２の更新周期毎に実施される。
次いで、ステップＳ４に移行し、レーダ処理装置３の測距結果に基づき判定を行い、レーザレーダ２において物体を捕捉している場合にはステップＳ５に移行し、捕捉していない場合には後述のステップＳ１３に移行する。
【００３２】
前記ステップＳ５では、前記ステップＳ３で検出した自車両前方の検出物体の測距結果つまり位置情報に基づき座標変換を行い、前記ＣＣＤカメラ４で撮像した撮像画像上の前記測距結果に相当する位置近傍に絞り込み領域を設定する。
具体的には、例えば、次式（２）に基づいて、レーザレーダ２で検出した自車両前方の検出物体付近の位置を、座標変換することによって、検出物体の存在する画面上の領域への絞り込みを行う。なお、式（２）中のdoＹＡは、絞り込み領域の上辺座標、doＹＢは絞り込み領域の下辺座標、doＸＬは絞り込み領域の左辺座標、doＸＲは絞り込み領域の右辺座標である。
【００３３】
また、ｙ０は、ＣＣＤカメラ４による撮像画像上の道路白線の消失点の縦座標（車間距離方向）〔ｐｉｘ〕、ｘ０は消失点の横座標（車幅方向）〔ｐｉｘ〕を表す。なお、この消失点の横及び縦座標（ｘ０，ｙ０）は、ＣＣＤカメラ４の取り付け位置及びその向きとで決まるパラメータであって、例えば、撮像画像の画像中心点に設定される。例えば、横６４０×縦４８０画素からなる撮像画像の場合には、前記消失点の座標は（３２０，２４０）に設定される。
【００３４】
また、ｆＶは、画素換算したＣＣＤカメラ４の鉛直方向の焦点距離〔ｐｉｘ〕、ｆＨは画素換算したＣＣＤカメラ４の水平方向の焦点距離〔ｐｉｘ〕である。これら焦点距離ｆＶ及びｆＨは、画角と解像度とで決まるパラメータであって、受光面が正方格子である場合には、ｆＶ＝ｆＨとなる。
また、ojＸ及びojＹは、レーダ処理装置３からの測距結果であって、自車両を基準とする、検出物体までの縦距離（車間距離方向）〔ｍ〕と横距離（車幅方向）〔ｍ〕である。
【００３５】
また、ＣＡＭｈはＣＣＤカメラ４の取り付け高さ〔ｍ〕、ＣＡＭｈ２は、ＣＡＭｈから、予め設定した障害物候補として考慮すべき物体の高さojＨ（例えば１〔ｍ〕）を減算した値、ｗｉｄｅは、レーザレーダ２の横方向位置の検知精度（標準偏差〔ｍ〕）と予め設定した障害物として考慮すべき物体の幅の最大値との和で決まる幅〔ｍ〕の半分の値を画素換算した値〔ｐｉｘ〕である。
【００３６】
doＹＡ＝〔ｙ０＋（ｆＶ×ＣＡＭｈ２／ojＹ）〕
doＹＢ＝〔ｙ０＋（ｆＶ×ＣＡＭｈ／ojＹ）〕
doＸＬ＝〔ｘ０＋（ｆＨ／ojＹ）＊ojＸ〕−（ｆＨ＊ｗｉｄｅ／ojＹ）
doＸＲ＝〔ｘ０＋（ｆＨ／ojＹ）＊ojＸ〕＋（ｆＨ＊ｗｉｄｅ／ojＹ）……（２）
つまり、例えば、図４に示すように、自車両Ｍ１の前方左寄りに前方車両Ｍ２が存在する場合には、この前方車両Ｍ２が、レーザレーダ２によって捕捉され、このレーザレーダ２により検出された前方車両Ｍ２の測距位置に基づき、撮像画像ＤＰ上における前記前方車両Ｍ２の測距位置に相当する位置を近傍に絞り込み領域ＡＲが設定される。
【００３７】
次いで、ステップＳ６に移行し、図５に示すように、撮像画像ＤＰのうち、ステップＳ５で設定した絞り込み領域ＡＲに着目し、この絞り込み領域ＡＲにおいて、例えば隣接する画素どうしの輝度変化を求める演算処理を行う公知のｓｏｂｅｌフィルタ処理等を行って、前記絞り込み領域の微分画像を検出する。
そして、例えば算出した微分画像の輝度に関する平均値と分散値とを用いて設定される閾値で２値化する。つまり、例えば輝度変化が閾値以下であり輝度変化が弱い場合には白色、輝度変化が閾値以上であり輝度変化が強い場合には黒色として２色に離散化する。
【００３８】
そして、このように２値化して得た、図６に示すようなエッジ画像を投影処理し、エッジペアを検出し、検出物体の撮像画像内における位置を検出する。つまり輝度変化の強い黒色の画素の数を、撮像画像の水平及び垂直方向にそれぞれカウントする。撮像画像内に物体が存在する場合には、背景と物体との輝度変化が強いため、黒色の画素が他の場所よりも多くカウントされることになり、この黒色の画素数が所定値以上である画素は、物体が存在することを表すから、黒色の画素数が所定値以上であり、且つその隣の列が黒色の画素数が所定値以上であるとき、この位置が検出物体のエッジであると認識することができ、横方向における検出物体の位置を推定することができる。
【００３９】
ここで、検出したエッジペアの撮像画像上における位置座標のうち、左側のエッジ座標をＳＬ、右側エッジ座標をＳＲとする。また、左側のエッジ座標ＳＬにおける黒色の画素数が所定値以上である画素の画素数を左側エッジ長さＥＬ、右側のエッジ座標ＳＲにおける黒色の画素数が所定値以上である画素の画素数を右側エッジ長さＥＲとする。これら間には、次式（３）が成り立つ。なお、ＥＷは、エッジペアの間隔〔ｐｉｘ〕である。
【００４０】
ＥＷ＝ＳＲ−ＳＬ ……（３）
なお、ここでは、エッジペアとして縦方向のエッジ、すなわち、検出物体の左右端に相当するエッジのみを検知し、そのエッジペアの間隔ｗｉｄｅに基づいて、自車両と検出物体との相対位置を算出するようにしているが、前記ステップＳ２で検出した道路白線に対する、検出物体との横方向に関する相対位置を求めることで、レーン内外判断が行われるため、横エッジつまり、検出物体の上下端に相当するエッジを検出する必要はない。
【００４１】
次いで、ステップＳ７に移行し、前記ステップＳ６の処理で、検出物体を的確に抽出することができたか否かを判断する。そして、的確に抽出することができたと判定される場合にはステップＳ８に移行し、的確に抽出することができないと判定されるときにはステップＳ１０に移行する。
前記検出物体を的確に抽出することができたか否かの判定は、例えば、次式（４）から算出される抽出結果の点数Ｓceを判断値とし、この判断値Ｓceが、所定値よりも大きいかどうかに基づいて判定する。ここでは、例えば、判断値Ｓceが次式（５）を満足するかどうかに基づいて判定し、判定結果に基づいて抽出フラグＦokを設定する。
【００４２】
Ｓce＝０．５＊（ＥＬ＋ＥＲ）／（doＹＢ−doＹＡ） ……（４）
ｉｆ（Ｓce＞０．６） Ｆok＝１；ｅｌｓｅ Ｆok＝０ ……（５）
なお、式（５）において、ｉｆ（ｅｘｐｒ１） ｅｘｐｒ２；ｅｌｓｅ ｅｘｐｒ３とは、ｅｘｐｒ１が真の場合にはｅｘｐｒ２を実施し、偽の場合にはｅｘｐｒ３を実施する関数である。
【００４３】
つまり、前記（５）式では、抽出した左右のエッジ長さＥＬ及びＥＲの平均値が画像処理した領域、つまり絞り込み領域の高さの６０％以上であれば、検出物体の抽出が的確に行われたと判定することを意味している。
そして、前記ステップＳ８では、レーザレーダ２で検出した検出物体までの縦距離ojＹと、ステップＳ６で算出したエッジペアの間隔ＥＷと、ＣＣＤカメラ４の水平方向の焦点距離ｆＨとに基づいて次式（６）から、検出物体の実際の幅ＲＷを算出する。
【００４４】
ＲＷ＝ＥＷ＊ojＹ／ｆＨ ……（６）
また、次式（７）から、自車両と検出物体との実際の横位置 CamＹ〔ｍ〕を算出し、次式（８）から、撮像画像に基づく自車両を基準とする抽出物体の横位置 CamＹ〔ｍ〕と、レーザレーダ２の測距結果に基づく自車両を基準とする検出物体の横位置ojＸとの差 difＲＣを算出する。
【００４５】
CamＹ＝（（（ＳＲ＋ＳＬ）／２）−ｘ０）＊ojＹ／ｆＨ ……（７）
difＲＣ＝ojＸ− CamＹ ……（８）
つまり、図７に示すように、撮像画像上において、前方車両Ｍ２の右端及び左端がエッジペア（ＳＬ、ＳＲ）として検出され、これらの間隔が物体の幅ｗを表し、これは、前記（６）式で算出される検出物体の実際幅ＲＷに対応する。
【００４６】
また、前記（８）式から算出される横位置の差 difＲＣが、図７中の、レーザレーダ２による測距位置Ｐと、撮像画像に基づく抽出物体の中心位置つまりエッジペアの中心位置との差ｄに対応する。
そして、このようにして前記（６）式及び（８）式から算出した検出物体の実際幅ＲＷ及び横位置の差 difＲＣに対して、次式（９）の伝達関数で表されるローパスフィルタにより平滑化を行う。なお、Ｚは進み演算子である。
【００４７】
Ｇ（Ｚ）＝（ｂ・Ｚ）／（Ｚ−ａ） ……（９）
ｂ＝Ｓce
ａ＝１−ｂ
次いで、ステップＳ９に移行し、ステップＳ８で算出した対応値が的確に算出された状態にあるか否かを判定する。具体的には、前記ステップＳ７で設定した、検出物体を正しく抽出することができたかどうかを表す抽出フラグＦokがＦok＝１に設定されているならば、対応値フラグＦcrc を１に設定し、レーザレーダ２がこの検出物体をロストするまで、つまり、検出物体が視野角から消えるまで、対応値フラグＦcrc をＦcrc ＝１に保持し、新規に物体をレーザレーダ２が捕捉した場合には、これら抽出フラグＦok及びＦcrc を共に零に設定する。
【００４８】
一方、前記ステップＳ７で、絞り込み領域からの検出物体の抽出が的確に行われない場合には、ステップＳ１０に移行し、対応値が的確に算出された状態にあるか否かを表す対応値フラグＦcrc がＦcrc ＝１であるか否かを判定し、Ｆcrc ＝１であるときにはステップＳ１１に移行し、Ｆcrc ＝１でないときには後述のステップＳ１３に移行する。
【００４９】
前記ステップＳ１１では、撮像画像からの検出物体の抽出は失敗したが、ステップＳ８で算出された横位置の差 difＲＣの前回値を用いて、次式（１０）に基づいてレーザレーダ２の測距結果の横位置ojＸを補正し、これを撮像画像による検出物体との横位置 CamＹ〔ｍ〕とする。
CamＹ＝ojＸ− difＲＣ ……（１０）
そして、レーン内外判断用の物体の左右端に相当する撮像画像上の座標値を次式（１１）から算出する。
【００５０】
ＳＬ＝ＬＣｅｎ−０．５＊ＥＷ
ＳＲ＝ＬＣｅｎ＋０．５＊ＥＷ
ＬＣｅｎ＝（ CamＹ＊ｆＨ）／ojＹ＋ｘ０
ＥＷ＝ＲＷ＊ｆＨ／ojＹ ……（１１）
なお、ojＸ、ojＹはレーザレーダ２の測距結果、ＲＷは、ステップＳ８の処理で算出されている検出物体の幅ＲＷの前回値である。
【００５１】
次いで、ステップＳ１２に移行し、前記ステップＳ２で検出した道路白線の撮像画像上の位置座標WL-L及びWL-Rと、ステップＳ６又はステップＳ１１で算出した、検出物体の左右端の座標値ＳＬ及びＳＲとが次式（１２）を満足するか否かを判定し、満足するときには検出物体が自車両の走行レーン内にはないと判断し、前記（１２）式を満足しないときには検出物体が自車両の走行レーン内にあると判断する。
【００５２】
WL-L［doＹＢ−ｙ０］＞ＳＬ又は
WL-R［doＹＢ−ｙ０］＞ＳＲ ……（１２）
次いで、ステップＳ１３に移行し、フィルタ処理時に過去値として用いる値等、所定の値を所定の記憶領域に更新記憶した後、割り込み処理を終了する。
次に、上記実施の形態の動作を説明する。
【００５３】
外界認識装置１０は、ＣＣＤカメラ４で撮像した自車両前方の撮像情報を入力し（ステップＳ１）、この撮像画像において道路白線の検出を行う（ステップＳ２）。また、レーダ処理装置３から、レーザレーダ２による測距結果を入力し（ステップＳ３）、自車両前方に物体を検出していない場合には（ステップＳ４）、検出した道路白線の位置座標等所定の変数を所定の領域に更新記憶する（ステップＳ１３）。
【００５４】
この状態から、例えば、図４に示すように、レーザレーダ２によって、自車両の前方左寄りに先行車両が捕捉されると、ステップＳ４からステップＳ５に移行し、レーダ処理装置３からの測距結果、つまり、検出物体までの縦距離（車間距離方向）ojＸ〔ｍ〕及び横距離（車幅方向）ojＹ〔ｍ〕をもとに、前記（２）式にしたがって座標変換を行い、撮像画像ＤＰ上に前記測距結果位置に応じた絞り込み領域ＡＲを設定する。
【００５５】
そして、この絞り込み領域ＡＲ内についてエッジ検出処理を行い、物体の左右端を検出する（ステップＳ６）。
このとき、ＣＤＤカメラ４によって、先行車両が撮像されている場合には、図４に示すように、撮像画像ＤＰの左寄りに先行車両に相当する物体が存在する。したがって、この先行車両に相当する物体の左右端が検出されることになる。
【００５６】
そして、エッジ長さの平均値の、絞り込み領域ＡＲの縦方向の長さに対する比率に基づき、物体抽出が的確に行われたかを判定し（ステップＳ７）、的確に物体抽出が行われたと判断された場合にはステップＳ８に移行し、対応値として、前記（６）及び（８）式に基づいて、ステップＳ７で抽出した抽出物体のエッジ幅から検出物体の実際幅ＲＷつまり自車両前方の物体の幅と、自車両を基準とする撮像画像ＤＰからの抽出物体の横位置及び、レーザレーダ２による測距位置Ｐつまりレーザレーダ２の検出物体の自車両を基準とする横位置との差 difＲＣとを算出する。これによって、図７に示す、撮像画像ＤＰにおける抽出物体のｗに相当する実際幅ＲＷと、エッジペアの中心位置とレーダ測距位置Ｐとの差ｄに相当する実際値である横位置の差 difＲＣが算出されることになる。
【００５７】
そして、この算出した検出物体の実際幅ＲＷ及び横位置の差 difＲＣに対し、前記（９）式の伝達関数を用いてローパスフィルタ処理が行われ、さらに、算出された対応値ＲＷ及び difＲＣが的確に算出された値であるかどうかが判断される（ステップＳ９）。この場合、ステップＳ７の処理において、物体抽出が的確に行われたと判断されているから、対応値は的確な状態であるとして対応値フラグＦcrc はＦcrc ＝１に設定される。
【００５８】
そして、ステップＳ１２に移行し、前記ステップＳ２で検出した撮像画像上の道路白線の位置座標ＷL-L 及びWL-Rと、ステップＳ６で算出した撮像画像ＤＰからの抽出物体の左右のエッジ端ＳＬ及びＳＲとを前記（１２）式に基づいて比較する。この場合、図４に示すように抽出物体は、左側の道路白線上に位置するから、ＷL-L ［doＹＢ−ｙ０］＜ＳＬとなり、前記（１２）式を満足しないから、抽出物体は自車両の走行レーン内に位置すると判定される。
【００５９】
そして、外界認識装置１０では、車両前方の物体が自車両にとって障害物であるか否かを判定し、障害物であるときには、前記抽出物体が走行レーン内に存在するか否かの判定結果と共に、これを自動ブレーキ制御装置８に通知する。これをうけて自動ブレーキ制御装置８では、自車両の走行レーン内に障害物が位置することから、この障害物との接触を回避するための制動力を発生させると共に、この場合、前記抽出物体が走行レーン内に位置すると判定されているから、より強い制動力を発生させる。
【００６０】
このとき、前記抽出物体が障害物ではなく、自車両と同等の速度で走行する先行車両であると判断された場合には、図示されない先行車両追従走行制御装置にこれを通知し、この先行車両追従走行制御装置は、エンジンの出力と各車輪への制動力とを制御して先行車両に追従走行する制御を行う。
この状態から、太陽光の影響等によってＣＣＤカメラ４による撮像が的確に行うことができず、撮像画像ＤＰから物体抽出を行った際に、充分な左右端のエッジ長さを検出することができなかった場合には、ステップＳ７からステップＳ１０に移行する。この場合、前回処理実行時に的確に対応値が算出されており、対応値フラグＦcrc はＦcrc ＝１に設定されているから、ステップＳ１０からステップＳ１１に移行し、画像処理による物体の抽出は失敗したが、前回処理実行時にステップＳ８で対応値として算出した横位置の差 difＲＣを用いて前記（１０）式から、撮像画像による検出物体との横位置 CamＹ〔ｍ〕を推測し、この撮像画像による検出物体との横位置 CamＹ、前回処理実行時に対応値として算出した実際幅ＲＷ、及びレーザレーダ２による測距結果を用いて前記（１１）式から、撮像画像における左右のエッジ端を推測する。
【００６１】
そして、推定した左右のエッジ端に基づいてレーン内外判断処理を行う（ステップＳ１２）。
ここで、撮像画像に基づく検出物体との横位置 CamＹ〔ｍ〕と、レーザレーダ２の測距結果に基づく検出物体との横位置ojＸとの差 difＲＣ及び検出物体の実際幅ＲＷは、前回処理実行時に的確に算出された値であるから、これらを用いて検出物体の左右のエッジ端を推測することによって、高精度に推測することができる。
【００６２】
そして、ＣＣＤカメラ４による撮像画像から物体抽出を的確に行うことができない間は、ステップＳ７からステップＳ１０に移行し、的確に物体抽出を行うことができているときに検出し所定の記憶領域に格納している対応値 difＲＣ及びＲＷに基づいてレーン内外の判断を行う。そして、この状態からＣＣＤカメラ４による撮像画像から的確に物体を抽出することができるような状態に復帰すると、ステップＳ６からステップＳ７を経てステップＳ８に移行するから、新たに検出した抽出物体の左右のエッジ端に基づいて対応値が算出され、これに基づきレーン内外判断が行われる。
【００６３】
そして、この状態から先行車両がレーザレーダ２の視野角外に移動することによって、レーザレーダ２が先行車両をロストすると、ステップＳ４からステップＳ１３に移行し、レーン内外の判断処理は行わない。
一方、例えばレーザレーダ２においては先行車両を捕捉しているが、ＣＣＤカメラ４の撮像画像から的確に物体を抽出することができず、対応値を算出することができない状態である場合には、ステップＳ７からステップＳ１０に移行するが、対応値を的確に算出することができず抽出フラグＦokはＦok＝０を維持することから、対応値フラグＦcrc はＦcrc ＝０を維持する。
【００６４】
したがって、そのままステップＳ１３に移行し、レーン内外判断処理は実行されない。
そして、この状態から、撮像画像から的確に物体抽出を行うことができた場合には、ステップＳ７からステップＳ８に移行して前記対応値が算出されるから、ステップＳ９を経てステップＳ１２に移行し、レーン内外判断処理が開始される。
【００６５】
このように、レーザレーダ２で捕捉する物体の位置をもとに、これに該当するＣＣＤカメラ４の撮像画像上の該当する位置に絞り込み領域を設定し、この絞り込み領域から物体のみを抽出することによって、レーザレーダ２による物体の測距値とＣＣＤカメラ４の撮像画像からの抽出物体の位置との対応値ＲＷ及び difＲＣを取得しておき、レーザレーダ２により物体を捕捉中にＣＣＤカメラ４によって物体を的確に抽出することができない場合には、予め取得している対応値に基づいてレーザレーダ２の測距結果を補正して検出物体のエッジ端を推定し、これに基づいてレーン内外判断処理を行うようにしたから、ＣＣＤカメラ４によって的確に物体抽出を行うことができない場合でも、レーン内外判断処理を的確に行うことができる。
【００６６】
また、例えばレーザレーダ２のようなリフレクタ反射タイプのレーダの場合には、物体の位置だけでなく、物体の大きさも得ることができる。しかし、車両後部の両サイドにあるリフレクタの片側が汚れで見えない場合（例えばトラック等）には、物体の位置及び大きさ共に不正確になる。
しかしながら、上記実施の形態においては、予め画像処理を行って物体を抽出し、これに基づいて、物体の位置ズレ量と大きさとを対応値として共に把握することができるから、画像処理による物体抽出が一時的にロストしたような場合であっても、画像処理による物体抽出が正常に行われたときの対応値に基づいて、レーン内外判断を行うことによって、高精度に判断を行うことができる。
【００６７】
また、経時変換等によってレーザレーダ２の光軸がずれた場合には、測距結果に誤差が含まれることになる。例えば、取り付けヨー角が１〔ｄｅｇ〕ずれた場合には、５０〔ｍ〕前方の物体の横位置のずれは、実際には０．９〔ｍ〕弱のずれとなり、レーン内外判断において誤判断する原因となる。しかしながら、上述のように、撮像カメラ４の撮像画像に基づく物体の位置とレーザレーダ２の測距結果に基づく物体の位置のずれ量、つまり、横位置の差 difＲＣを把握することができるから、レーザレーダ２の光軸の経時変化の影響を受けることなく、レーン内外判断処理を行うことができる。
【００６８】
また、撮像画像ＤＰから抽出した抽出物体の確からしさを検出するようにし、抽出物体の確からしさが低い場合には、対応値の算出を行わないようにしているから、信頼性の低い情報に基づいて対応値が算出され、対応値の精度が低下することを回避することができる。
また、上記実施の形態においては、抽出物体のエッジ長さと、このエッジ長さ方向に対応する絞り込み領域の大きさとの比率に基づいて、前記判断値Ｓceを設定するようにしているから、確からしさの尺度として、遠方から最近方までの撮像画像上の物体の大きさに応じて適切なＳ（エッジ）／Ｎ（背景）比に保つことができる。したがって、レーザレーダ２の検知距離に依存せずに抽出結果の確からしさを判断することができる。
【００６９】
なお、上記実施の形態においては、レーザレーダ２が捕捉中の物体をロストした場合には、図３に示すように、ステップＳ４からステップＳ１３に移行し、レーン内外判断処理を行わないようにしているが、これに限るものではない。例えば、物体をロストする直前までにレーザレーダ２で捕捉中の物体を、撮像画像から抽出物体として抽出している場合には、このときの絞り込み領域付近に、画像抽出のための領域を設定し、この領域内において前記ステップＳ６の処理と同様にして物体を抽出し、これに基づき物体の左右のエッジ端を検出し、これに基づいてレーン内外判断処理を行うようにしてもよい。
【００７０】
前記画像抽出のための領域は、例えば、次式（１３）に基づいて設定すればよい。
doＹＡ＝ロスト直前の絞り込み領域のdoＹＡ
doＹＢ＝ロスト直前の絞り込み領域のdoＹＢ
doＸＬ＝ロスト直前の抽出画像のＳＬ
doＸＲ＝ロスト直前の抽出画像のＳＲ ……（１３）
このようにすることによって、レーザレーダ２によって、例えば一時的に捕捉中の物体をロストしたような場合であっても継続してレーン内外判断処理を行うことができる。
【００７１】
また、上記実施の形態においては、対応値が算出されていない状態では、ステップＳ１０からステップＳ１３に移行し、レーン内外判断処理を行わないようにし、レーン内外判断の判断精度を向上させるようにしているが、例えば、対応値が算出されていない場合には、初期値として difＲＣ＝０、物体の幅は１．７〔ｍ〕程度として設定しておき、この初期値に基づいてレーン内外判断処理を行うようにしてもよい。
【００７２】
また、上記実施の形態においては、物体抽出を的確に行うことができたかを判断する際に、抽出物体の左右のエッジ長さの平均値が絞り込み領域における高さの６０％以上であるときに良好な抽出が行われたと判断するようにした場合について説明したが、必ずしも６０％以上である必要はなく、ＣＣＤカメラ４の性能等に基づいて任意に設定することができる。
【００７３】
また、上記実施の形態においては、対応値として検出物体の実際幅ＲＷと、レーザレーダ２に基づく検出物体とＣＣＤカメラ４による撮像画像における抽出物体との横位置の差 difＲＣとを検出するようにした場合について説明したが、これに限るものではなく、例えば、図７に示すように、レーザレーダ２による測距中心座標値Ｐから物体の左右端までの距離ｄ１及びｄ２を算出するようにしてもよい。
【００７４】
この場合、撮像画像から物体抽出を的確に行うことができなかった場合には、レーザレーダ２の測距中心位置Ｐの位置座標と物体の左右端までの距離ｄ１及びｄ２に基づいて、物体の左右端の位置を推定するようにすればよい。
また、上記実施の形態においては、物体抽出が的確に行うことができたと判断されたときには、このときの抽出物体に基づく対応値を有効とし、これをもとにレーザレーダ２の測距結果の補正を行うようにしているが、このとき、前記対応値ＲＷ及び difＲＣの標準偏差σを算出し、この標準偏差σが予め設定したしきい値以上のときには、このときの対応値を無効とするようにしてもよい。
【００７５】
具体的には、前記（８）式から算出した検出物体の横位置の差 difＲＣに対して、次式（１４）により、移動平均Ａを算出し、標準偏差σを算出する。
なお、式中のｎは、移動平均を算出する際のデータ数であって、次式（１５）で設定される。
【００７６】
ｎ＝（２−Ｓce）／ＲＳｔｉｍｅ ……（１５）
前記式（１５）において、ＲＳｔｉｍｅは、ＣＣＤカメラ４よりも更新周期の長い、レーザレーダ２のデータ更新周期〔ｓ〕であって、本実施の形態では１００〔ｍｓ〕であるから、この場合ｎは、ｎ∈［１０，２０］、つまり最小でも１０、最大でも２０までの値となる。
【００７７】
そして、算出した標準偏差σが、しきい値以上、例えば０．５〔ｍ〕以上であるときには、物体抽出は的確に行われている場合でも、対応値は無効とし、この対応値に基づいてレーザレーダ２の測距結果の補正を行わないようにしてもよい。
このようにすることによって、算出した標準偏差σが大きいときつまり対応値のばらつきが大きいときには、この対応値に誤差が含まれることを意味するから、このように誤差を含んだ対応値に基づきレーン内外判断を行うことによって、誤判断されることを回避することができる。
【００７８】
また、前記標準偏差σを算出する際に、移動平均を演算する際の母数の数ｎを、前記判断値Ｓceが大きくなるほど小さくなるようにしているから、標準偏差σの算出に要する処理時間を、物体抽出の確からしさが大きくなるほど短縮することができる。
なお、この場合、対応値の標準偏差σに基づいてばらつきを判断するようにした場合について説明したが、これに限るものではなく、例えば、レーザレーダ２による横方向の検知結果ojＸの標準偏差や分散を算出しこれに基づき対応値の信頼性を判断するようにしてもよい。
【００７９】
例えば、標準偏差を算出する場合には、次式（１６）に基づいて算出すればよい。
このようにすることによって、次のような効果を得ることができる。例えば、原理的に比較的精度の悪いレーザレーダ等により横方向の検知結果がばらついている場合には、いくら画像の横位置情報が正しくても、その対応値は信頼性が低い。したがって、対応値の信頼性が高い場合にのみこの対応値に基づきレーン内外判断を行うことによって、その判断精度を向上させることができる。
【００８０】
また、上記実施の形態においては、前記（９）式の伝達関数で表されるローパスフィルタにより平滑化を行うようにした場合について説明したが、前記平滑化を行う際の母数を、前記判定値Ｓceに基づいて変化させ、前記判定値Ｓceが高い場合には対応値を積極的に算出し、前記判定値Ｓceが低い場合には対応値を保守的に算出するようにしてもよい。
【００８１】
具体的には、前述の前記検出物体を正しく抽出することができたかどうかを表す抽出フラグＦokが、Ｆok＝１であるときには、point ＝point ＋（Ｓce）4 を算出する。また、Ｆok＝０であるときには、point を零に設定する。そして、抽出フラグＦok＝１の状態が連続しこれによって前記point が“１”を超えたとき、対応値フラグＦcrc をＦcrc ＝１に設定し、レーザレーダ２がこの検出物体をロストするまで、つまり視野角から消え去るまで対応値フラグはＦcrc ＝１を保持し、レーザレーダ２が新規に物体を捕捉したとき、抽出フラグＦok、対応値フラグＦcrc 、point を零に設定する。
【００８２】
つまり、判断値Ｓceが基準値０．６を僅かに超えた状態で物体抽出が正しく行われたと判断された場合には、前記point は８回目で“１”を超えるから、８回の母数、つまり８回分の対応値データに基づいて平滑化を行って最終的な対応値を算出する。一方、判断値Ｓceが基準値０．６よりもはるかに大きい場合には、８回よりも低い回数目で“１”を超えることになる。したがって、前記判断値Ｓceに応じて対応値が積極的に算出されたり、保守的に算出されたりすることになる。
【００８３】
このようにすることによって、ローパスフィルタ効果によって、対応値におけるノイズ除去が可能となり、且つ、撮像画像ＤＰからの物体抽出が的確に行われた場合には、対応値を取得するために要する時間を短縮することができる。
また、上記実施の形態においては、測距手段としてレーザレーダ２を用いた場合について説明したが、これに限るものではなく、例えば、ミリ波レーダ等であっても適用することができる。このミリ波レーダのようなボディ反射タイプのレーダの場合、電波の反射中心位置だけが得られ、物体の大きさを検出することはできない。しかしながら、上記実施の形態によれば、画像処理により、物体の大きさを把握することができるから、画像処理による抽出物体が一時的にロストした場合等であっても、前回把握している大きさを用いることによって、レーン内外判断を的確に行うことができる。
【００８４】
ここで、上記実施の形態において、ＣＣＤカメラ４が撮像手段に対応し、レーザレーダ２が測距手段に対応し、図３においてステップＳ２の処理が走行路検知手段に対応し、ステップＳ５の処理が処理領域設定手段に対応し、ステップＳ６の処理が物体抽出手段に対応し、ステップＳ１２の処理が走行路内外判断手段に対応し、ステップＳ８の処理が対応情報算出手段に対応し、ステップＳ１１の処理が測距情報補正手段に対応し、ステップＳ７の処理で判断値Ｓceを算出する処理が抽出結果採点手段に対応している。
【図面の簡単な説明】
【図１】本発明の走行路環境検出装置を適用した先行車両追従走行装置付き車両の一例を示す車両構成図である。
【図２】走行路環境検出装置の機能構成を示すブロック図である。
【図３】レーン内外判断処理の処理手順の一例を示すフローチャートである。
【図４】本発明の動作説明に供する説明図である。
【図５】本発明の動作説明に供する説明図である。
【図６】本発明の動作説明に供する説明図である。
【図７】本発明の動作説明に供する説明図である。
【符号の説明】
１ 外界認識部
２ レーザレーダ
３ レーダ処理装置
４ ＣＣＤカメラ
５ 画像処理部
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースタ
１０ 外界認識装置
【発明の属する技術分野】
この発明は、自車両周辺の走行路環境を検出する走行路環境検出装置に関し、特に、検出された自車両周辺の物体が、自車両の走行車線内にあるか否かを判定するのに好適なものである。
【０００２】
【従来の技術】
従来より、例えば、特開平２００１−１３４７６９号公報に示すように、カメラ等の撮像手段によって撮像した撮像画像において道路白線を検出し、さらに、レーダ等の測距手段の測距信号に基づいて検知した自車両前方の物体の位置を前記撮像画像上の座標系に変換し、この変換した前記物体の撮像画像上における位置を含む所定領域を画像処理することにより、前記測距信号に基づく測距による注目物体に相当する物体を前記所定領域から抽出し、前記撮像画像上における道路白線位置と、前記所定領域から抽出した注目物体との位置を比較することによって、注目物体が、自車両の走行レーン内にあるか否かを検出する外界認識系が提案されている。
【０００３】
また、例えば特開平９−１７８８５５号公報に示すように、遠方の道路白線ほど、その検知精度が低下することから、これを考慮して、注目物体が自車両の走行レーン内にあるか否かの判断を行うようにした方法等も提案されている。
【０００４】
【発明が解決しようとする課題】
前記特開２００１−１３４７６９号公報に示すような外界認識系にあっては、測距手段で捕捉した物体の位置を、撮像画像の座標系上の位置に変換し、この領域から捕捉した物体に相当する物体のみを抽出するといった一連の画像処理が正しく行われていることを前提としている。
【０００５】
しかしながら、一般に、レーザレーダや、ミリ波レーダといった、アクティブセンサにあっては、自ら発信した電磁波を受信することで測距を行うが、撮像手段としてのカメラ等にあっては、太陽光を受光するだけのパッシブセンサであるため、当然、レーダ等の測距手段の方が、カメラ等の撮像手段よりも信頼性が高い。つまり、レーダで捕捉している物体をカメラ等の撮像画像により注視したい場合であっても、光環境や走行状況、また、自車両前方の物体が車両である場合にはその車種の形状等の影響から、画像処理による物体抽出が高精度に行われない場合があり、このため、物体が自車両の走行レーン内にあるか否かの判断を行うレーン内外判断を高精度に行うことができないという問題がある。
【０００６】
また、特開平９−１７８８５５号公報に記載された公報にあっては、遠方ほど道路白線の検出精度が低下することを考慮して白線抽出を行うようにしている。この場合、レーダが測距する物体を撮像画像上から抽出することはできる。しかしながら、この場合も、レーダが測距する物体については検出精度の低下を考慮していないため、この場合も同様に、走行路内にあるか否かの判断を高精度に行うことができないという問題がある。
【０００７】
前記物体のレーン内外判断を行うためには、自車両前方の物体の検出と道路白線の検出とが共に正しく行われることが重要であるが、道路白線の検出に比較して、撮像画像から物体を抽出する方がより困難である。このため、この外界認識系は、物体抽出に対する対策を施すことが、レーン内外判断の精度の向上に有効である。
【０００８】
また、特開平９−１７８８５５号公報に記載されているように、仮に、遠方の道路白線の白線検知の精度低下を考慮したとしても、磁気マーカ等を用いた場合は別であるが、道路白線はカメラ等の撮像手段を用いなければ検知することができないため、白線検知の精度低下を考慮しても、レーン内外判断の判断精度を向上させることには寄与しない。
【０００９】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、車両周辺の物体が自車両の走行レーン内にあるか否かの判断を高精度に行うことの可能な走行路環境検出装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る走行路環境検出装置は、自車両周辺の走行路環境を撮像する撮像手段と、当該撮像手段の撮像画像において自車両の走行路を検知する走行路検知手段と、自車両周辺の物体と自車両との間の距離を測定する測距手段と、当該測距手段で検出した検出物体の自車両を基準とした測距位置に相当する前記撮像画像上の位置に処理領域を設定する処理領域設定手段と、前記撮像画像上の処理領域から前記測距手段で検出した検出物体に相当する物体を抽出する物体抽出手段と、当該物体抽出手段で抽出した抽出物体の前記撮像画像上の位置情報と、前記走行路検知手段の検知結果とから前記測距手段による検出物体が自車両の走行路内にあるか否かを判断する走行路内外判断手段と、を備えた走行路環境検出装置において、前記測距手段が物体を捕捉し且つ前記物体抽出手段で物体を抽出したときに、前記物体抽出手段で抽出した抽出物体の前記位置情報に基づき、自車両を基準とした前記抽出物体の実際の横位置及び前記抽出物体の実際の幅を推測すると共に、この推測した前記抽出物体の実際の横位置と前記測距手段の検出物体の測距位置との偏差を演算し、前記抽出物体の実際の幅及び前記偏差を、前記抽出物体と前記測距手段の検出物体との対応を表す対応情報として記憶する対応情報算出手段と、当該対応情報算出手段で記憶する最新の対応情報をもとに前記測距手段による検出物体の測距位置を補正する測距情報補正手段と、を備え、前記走行路内外判断手段は、前記測距手段が物体を捕捉し且つ前記物体抽出手段で物体を抽出することができないときには、前記測距情報補正手段で前記最新の対応情報を用いて補正した測距補正情報と前記走行路検知手段の検知結果とに基づき前記判断を行うことを特徴としている。
【００１１】
また、請求項２に係る走行路環境検出装置は、前記物体抽出手段は、前記抽出物体の抽出結果の確からしさを採点する抽出結果採点手段を備え、前記対応情報算出手段は、前記抽出結果採点手段での採点結果を考慮して前記対応情報を算出することを特徴としている。
また、請求項３に係る走行路環境検出装置は、前記対応情報算出手段は、前記抽出結果採点手段の採点結果がしきい値以下であるときには、これに対応する抽出物体に基づく前記対応情報の算出を行わないことを特徴としている。
【００１２】
また、請求項４に係る走行路環境検出装置は、前記対応情報算出手段は、最新のものから複数分の前記対応情報を記憶し、当該記憶した対応情報のうち最新のものから所定数分の対応情報を平滑化処理し、この平滑化処理した対応情報を前記測距情報補正手段での補正に用いる対応情報として算出し、前記抽出結果採点手段での採点の結果、抽出結果の確からしさが小さいときほど、より多くの対応情報を用いて前記平滑化処理を行うことを特徴としている。
また、請求項５に係る走行路環境検出装置は、前記対応情報算出手段は、前記対応情報の算出時点以前の所定の参照時間における前記対応情報のバラツキを求めると共に前記抽出結果採点手段の採点結果が高いときほど前記参照時間を短い値に設定し、前記対応情報のバラツキがしきい値を越えるときには当該対応情報を新たな対応情報として更新しないことを特徴としている。
【００１３】
さらに、請求項６に係る走行路環境検出装置は、前記物体抽出手段は、前記処理領域においてエッジ検出処理を行って前記抽出物体の抽出を行い、前記抽出結果採点手段は、前記エッジ検出処理において検出したエッジのエッジ長さと前記処理領域の大きさとの比率に応じて前記採点を行うことを特徴としている。
【００１４】
【発明の効果】
本発明の請求項１に係る走行路環境検出装置は、撮像手段により自車両周辺の走行路環境を撮像し、この撮像画像において自車両の走行路を検知し、また、測距手段によって自車両周辺の物体と自車両との間の距離を測定し、測距手段で検出した検出物体の測距位置に相当する、撮像画像上の位置に処理領域を設定する。そして、この処理領域から測距手段で検出した検出物体に相当する物体を抽出し、抽出物体の前記撮像画像上の位置情報と、走行路検知手段で検知した自車両の走行路の位置とから、測距手段による検出物体が自車両の走行路内にあるか否かを判断する。
【００１５】
このとき、測距手段が物体を捕捉し且つ物体抽出手段で物体を抽出したときに、物体抽出手段で抽出した抽出物体の位置情報に基づき、自車両を基準とした抽出物体の実際の横位置及び抽出物体の実際の幅を推測し、この推測した抽出物体の実際の横位置と測距手段の検出物体の測距位置との偏差を演算し、この偏差と抽出物体の実際の幅とを抽出物体と測距手段の検出物体との対応を表す対応情報として記憶しておき、測距手段が物体を捕捉しているが、物体抽出手段で物体を抽出できないときには、算出した対応情報をもとに測距手段による測距位置を補正し、補正した測距補正情報と走行路検知手段の検知結果とに基づき測距手段による検出物体が自車両の走行路内にあるか否かを判断するようにしたから、撮像画像により抽出物体の位置情報を検出することができない場合、つまり、抽出物体の位置や大きさ等を検出することができない場合であっても、検出物体が走行路内にあるか否かの判断を高精度に行うことができる。
【００１６】
また、請求項２及び請求項３に係る走行路環境検出装置によれば、物体抽出手段は、抽出物体の抽出結果の確からしさを採点する抽出結果採点手段を備え、対応情報算出手段では、抽出結果採点手段での採点結果を考慮して対応情報を算出するようにしたから、例えば、採点結果が低い場合には、対応情報を算出しない等といった対処を行うことによって、対応情報の精度が低下することを回避し、この対応情報に基づき補正された測距補正情報の精度が低下することに起因して走行路内外判断手段での判断精度が低下することを回避することができる。
【００１７】
また、請求項４に係る走行路環境検出装置によれば、対応情報算出手段は、所定数分の対応情報を平滑化処理しこれを前記測距情報補正手段での補正に用いる対応情報として算出し、このとき、抽出結果採点手段での採点の結果、抽出結果の確からしさが小さいときほど、より多くの対応情報を用いて平滑化処理を行うから、ローパスフィルタ効果によってノイズ除去を行うことができると共に、採点結果に応じて、対応情報算出までの処理時間を効果的に短縮することができる。
【００１８】
また、請求項５に係る走行路環境検出装置によれば、対応情報算出手段は、対応情報の算出時点以前の所定の参照期間における前記対応情報のバラツキを求めると共に抽出結果採点手段の採点結果が高いほど参照期間を短く設定し、対応情報のバラツキがしきい値を超えるときには対応情報を新たな対応情報として更新しないようにしたから、対応情報のバラツキを考慮して対応情報の更新を行うことができると共に、抽出結果採点手段の採点結果に応じてバラツキの算出に要する処理時間を効果的に短縮することができる。
【００１９】
さらに、請求項６に係る走行路環境検出装置によれば、物体抽出手段は、処理領域においてエッジ検出処理を行って抽出物体の抽出を行い、抽出結果採点手段は、エッジ検出処理において検出したエッジのエッジ長さと、処理領域の大きさとの比率に応じて採点を行うようにしたから、撮像画像上における抽出物体の大きさに応じて、エッジと背景との比であるＳ／Ｎ比を適切な比率に保つことができ、抽出結果の採点を、測距手段による測距距離に依存せずに的確に行うことができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明の走行路環境検出装置を適用した先行車両追従走行装置付き車両の一実施形態を示すシステム構成図である。外界認識部１には、スキャニング式レーザレーダ２で走査した結果から、自車両前方の物体を検出するレーダ処理装置３が接続されている。このレーダ処理装置３は、検出された１又は複数の物体に対して自車両を原点とする二次元座標値、すなわち、検出物体の位置を算出する機能が付加されている。
【００２１】
また、前記外界認識部１には、ＣＣＤカメラ４で撮像された自車両前方の画像から自車両の走行レーンの道路白線を検出する画像処理部５が接続されている。前記ＣＣＤカメラ４は、自車両前方の状況を広角且つ高速に把握することの可能なプログレッシブスキャン式のものであり、また、前記画像処理部５には、前記レーダ処理装置３で検出された検出物体の左右のエッジ端を検出する機能が付加されている。
【００２２】
さらに、前記外界認識部１には、自車両の走行状態を検出するための車速検出装置６及び操舵角検出装置７が接続されている。前記車速検出装置６は、従動輪である後輪の回転速度から自車両の走行速度ＶSPを検出するものである。また、前記操舵角検出装置７は、ステアリングホイールの操舵角θを検出するものである。
【００２３】
そして、前記外界認識部１では、前記検出物体が、自車両の走行レーン内にあるか否かを判定し、自車両の走行レーン内にあると判定された場合にはこれを自動ブレーキ制御装置８に通知する。また、前記検出物体が、自車両にとって障害物であるか否かを判定し、障害物であるときには自動ブレーキ制御装置８に対してこれを通知する。また、前記検出物体が、障害物ではなく、自車両と同等の速度で走行する先行車両であると判断された場合には、図示されない先行車両追従走行制御装置に判断結果を出力し、この先行車両追従走行制御装置は、前記車速検出装置６及び操舵角検出装置７の検出信号に基づいて、エンジンの出力と各車輪への制動力とを制御して先行車両に追従走行する制御を行う。
【００２４】
前記自動ブレーキ制御装置８は、前記外界認識部１から検出物体が障害物であることが通知されたときには、前記車速検出装置６及び操舵角検出装置７の検出信号に基づいて必要に応じて負圧ブレーキブースタ９を作動し、各車輪に制動力を付与して検出物体との接触を回避する。また、外界認識装置１で、前記検出物体が障害物であり且つ自車両の走行レーン内にあると判断された場合には、より大きな制動力を各車輪に付与する。
【００２５】
そして、前記外界認識部１及び画像処理部５によって外界認識装置１０を構成しており、これら外界認識装置１０、レーダ処理装置３、自動ブレーキ制御装置８等は、それぞれマイクロコンピュータとその周辺機器、並びに、各アクチュエータを駆動するための駆動回路等を備えており、互いに通信回路を介して情報を送受信できるようになっている。
【００２６】
図２は、本発明の走行路環境検出装置の機能構成を示すブロック図である。
この走行路環境検出装置は、撮像手段２１この場合ＣＣＤカメラ４と、この撮像手段２１の撮像画像をもとに自車両の走行レーンの道路白線を検知する自車線検知手段２２と、測距手段２３この場合レーザレーダ２と、この測距手段２３で検出した検出物体の二次元座標値に基づき座標変換を行い、撮像画像上に前記二次元座標値に相当する絞り込み領域を設定する座標変換手段２４と、この座標変換手段２４で設定した撮像画像上の絞り込み領域から検出物体に相当する物体を抽出する物体抽出手段２５と、物体抽出手段２５で物体抽出が的確に行われたときの抽出物体の自車両との相対位置と、測距手段２３で検出した検出物体の自車両との相対位置とをもとに、前記物体抽出手段２５による抽出物体と前記測距手段２３での検出物体とを対応付ける対応値を算出する対応値算出手段２６と、前記測距手段２３で検出した検出物体の自車両との相対位置を前記対応値算出手段２６で算出した対応値をもとに補正する測距結果補正手段２７と、物体抽出手段２５で抽出した物体の位置又は、前記測距結果補正手段２７で補正した測距手段２３による検出物体の位置と、自車線検知手段２２で検知した道路白線とをもとに、検出物体が自車両の走行レーン内にあるか否かを判断する車線内外判断手段２８とを備えている。また、自車線検知手段２２で検知した自車線情報に基づいてレーン逸脱警報を発生する手段３１、検出物体が障害物であるかを判断し、検出物体が障害物であると判断されたとき強制的に制動力を発生させると共に、車線内外判断手段２８でこの検出物体が自車線内にあると判定されたときにはより制動力を発生させる障害物判断手段３２、測距手段で２３で検出した検出物体が先行車両であるときこれに追従して走行するよう駆動力及び制動力の制御を行う先行車追従処理手段３３等を備えている。
【００２７】
次に、前記外界認識装置１０で行われるレーン内外判断処理について、図３のフローチャートを用いて説明する。このレーン内外判断処理は、例えば（３０Hz）をサンプリング周期ΔＴとして、このサンプリング周期ΔＴ毎にタイマ割り込み処理される。なお、このフローチャートでは、特に、通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は、随時記憶装置に記憶され、また、必要な情報は随時記憶装置から読み出される。
【００２８】
このレーン内外判断処理では、まず、ステップＳ１で、ＣＣＤカメラ４で撮像した自車両前方の撮像情報を読み込み、次いでステップＳ２に移行して、ＣＣＤカメラ４の撮像画像において、白線検出処理を行う。この白線検出処理は、公知の手順で行われる。
つまり、例えば特開平１１−２９６６６０号公報に記載されているように、入力された撮像画像に対し、ｓｏｂｅｌフィルタ処理等を行って微分画像を生成する。そして、予め設定した白線候補点検出領域毎に、所定値以上の濃度を有する画素数が最も多い線分を検出しこの線分上の点つまり画素を、白線候補点とする。そして各白線候補点検出領域毎に検出した白線候補点を補間し、例えば、次式（１）に示すような、道路形状や車両挙動を表す道路パラメータを用いて表される、道路白線モデルを検出する。なお、式中の、ａは、レーン内の自車両の横変移量、ｂは道路の曲率、ｃは、自車両（ＣＣＤカメラ４の光軸）の道路に対するヨー角、ｄは自車両（カメラの光軸）の道路に対するピッチ角、ｅは道路の車線幅を表す。
【００２９】
ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ ……（１）
そして、この道路白線モデルで特定される、左側の白線を表す画素群をWL-Lとし、右側の白線を表す画素群をWL-Rとする。
これにより、ＣＣＤカメラ４の撮像画像（例えば横６４０画素×縦４８０画素）において、どの画素が白線であるかを把握することができる。
【００３０】
例えば、撮像画像上の道路白線の消失点を撮像画像の中央、つまり、（３２０、２４０）とすると、左右の白線WL-L及びWL-Rは、共に、２４０個の画素の配列となり、仮に、零を無限遠方とし、２４０を最近方とすると、これら間の撮像画像の縦方向、つまり、車間距離方向における左右の白線の座標値を求めることができる。なお、最近方の具体的な距離は、画角から決まり、例えば２８ｄｅｇでは、自車両位置から約８ｍ弱となる。したがって、例えば、４０ｍの遠方に存在する物体は、前記撮像画像上では、後述の透視変換を行うことによって、約６０番目の縦座標となる。したがって、前記道路白線モデルから、左右の道路白線の横座標値を求めることができる。
【００３１】
次いで、ステップＳ３に移行し、レーザレーダ２の検出信号に基づき検出した測距結果をレーダ処理装置３から読み込む。なお、この読み込み処理は、レーザレーダ２の更新周期毎に実施される。
次いで、ステップＳ４に移行し、レーダ処理装置３の測距結果に基づき判定を行い、レーザレーダ２において物体を捕捉している場合にはステップＳ５に移行し、捕捉していない場合には後述のステップＳ１３に移行する。
【００３２】
前記ステップＳ５では、前記ステップＳ３で検出した自車両前方の検出物体の測距結果つまり位置情報に基づき座標変換を行い、前記ＣＣＤカメラ４で撮像した撮像画像上の前記測距結果に相当する位置近傍に絞り込み領域を設定する。
具体的には、例えば、次式（２）に基づいて、レーザレーダ２で検出した自車両前方の検出物体付近の位置を、座標変換することによって、検出物体の存在する画面上の領域への絞り込みを行う。なお、式（２）中のdoＹＡは、絞り込み領域の上辺座標、doＹＢは絞り込み領域の下辺座標、doＸＬは絞り込み領域の左辺座標、doＸＲは絞り込み領域の右辺座標である。
【００３３】
また、ｙ０は、ＣＣＤカメラ４による撮像画像上の道路白線の消失点の縦座標（車間距離方向）〔ｐｉｘ〕、ｘ０は消失点の横座標（車幅方向）〔ｐｉｘ〕を表す。なお、この消失点の横及び縦座標（ｘ０，ｙ０）は、ＣＣＤカメラ４の取り付け位置及びその向きとで決まるパラメータであって、例えば、撮像画像の画像中心点に設定される。例えば、横６４０×縦４８０画素からなる撮像画像の場合には、前記消失点の座標は（３２０，２４０）に設定される。
【００３４】
また、ｆＶは、画素換算したＣＣＤカメラ４の鉛直方向の焦点距離〔ｐｉｘ〕、ｆＨは画素換算したＣＣＤカメラ４の水平方向の焦点距離〔ｐｉｘ〕である。これら焦点距離ｆＶ及びｆＨは、画角と解像度とで決まるパラメータであって、受光面が正方格子である場合には、ｆＶ＝ｆＨとなる。
また、ojＸ及びojＹは、レーダ処理装置３からの測距結果であって、自車両を基準とする、検出物体までの縦距離（車間距離方向）〔ｍ〕と横距離（車幅方向）〔ｍ〕である。
【００３５】
また、ＣＡＭｈはＣＣＤカメラ４の取り付け高さ〔ｍ〕、ＣＡＭｈ２は、ＣＡＭｈから、予め設定した障害物候補として考慮すべき物体の高さojＨ（例えば１〔ｍ〕）を減算した値、ｗｉｄｅは、レーザレーダ２の横方向位置の検知精度（標準偏差〔ｍ〕）と予め設定した障害物として考慮すべき物体の幅の最大値との和で決まる幅〔ｍ〕の半分の値を画素換算した値〔ｐｉｘ〕である。
【００３６】
doＹＡ＝〔ｙ０＋（ｆＶ×ＣＡＭｈ２／ojＹ）〕
doＹＢ＝〔ｙ０＋（ｆＶ×ＣＡＭｈ／ojＹ）〕
doＸＬ＝〔ｘ０＋（ｆＨ／ojＹ）＊ojＸ〕−（ｆＨ＊ｗｉｄｅ／ojＹ）
doＸＲ＝〔ｘ０＋（ｆＨ／ojＹ）＊ojＸ〕＋（ｆＨ＊ｗｉｄｅ／ojＹ）……（２）
つまり、例えば、図４に示すように、自車両Ｍ１の前方左寄りに前方車両Ｍ２が存在する場合には、この前方車両Ｍ２が、レーザレーダ２によって捕捉され、このレーザレーダ２により検出された前方車両Ｍ２の測距位置に基づき、撮像画像ＤＰ上における前記前方車両Ｍ２の測距位置に相当する位置を近傍に絞り込み領域ＡＲが設定される。
【００３７】
次いで、ステップＳ６に移行し、図５に示すように、撮像画像ＤＰのうち、ステップＳ５で設定した絞り込み領域ＡＲに着目し、この絞り込み領域ＡＲにおいて、例えば隣接する画素どうしの輝度変化を求める演算処理を行う公知のｓｏｂｅｌフィルタ処理等を行って、前記絞り込み領域の微分画像を検出する。
そして、例えば算出した微分画像の輝度に関する平均値と分散値とを用いて設定される閾値で２値化する。つまり、例えば輝度変化が閾値以下であり輝度変化が弱い場合には白色、輝度変化が閾値以上であり輝度変化が強い場合には黒色として２色に離散化する。
【００３８】
そして、このように２値化して得た、図６に示すようなエッジ画像を投影処理し、エッジペアを検出し、検出物体の撮像画像内における位置を検出する。つまり輝度変化の強い黒色の画素の数を、撮像画像の水平及び垂直方向にそれぞれカウントする。撮像画像内に物体が存在する場合には、背景と物体との輝度変化が強いため、黒色の画素が他の場所よりも多くカウントされることになり、この黒色の画素数が所定値以上である画素は、物体が存在することを表すから、黒色の画素数が所定値以上であり、且つその隣の列が黒色の画素数が所定値以上であるとき、この位置が検出物体のエッジであると認識することができ、横方向における検出物体の位置を推定することができる。
【００３９】
ここで、検出したエッジペアの撮像画像上における位置座標のうち、左側のエッジ座標をＳＬ、右側エッジ座標をＳＲとする。また、左側のエッジ座標ＳＬにおける黒色の画素数が所定値以上である画素の画素数を左側エッジ長さＥＬ、右側のエッジ座標ＳＲにおける黒色の画素数が所定値以上である画素の画素数を右側エッジ長さＥＲとする。これら間には、次式（３）が成り立つ。なお、ＥＷは、エッジペアの間隔〔ｐｉｘ〕である。
【００４０】
ＥＷ＝ＳＲ−ＳＬ ……（３）
なお、ここでは、エッジペアとして縦方向のエッジ、すなわち、検出物体の左右端に相当するエッジのみを検知し、そのエッジペアの間隔ｗｉｄｅに基づいて、自車両と検出物体との相対位置を算出するようにしているが、前記ステップＳ２で検出した道路白線に対する、検出物体との横方向に関する相対位置を求めることで、レーン内外判断が行われるため、横エッジつまり、検出物体の上下端に相当するエッジを検出する必要はない。
【００４１】
次いで、ステップＳ７に移行し、前記ステップＳ６の処理で、検出物体を的確に抽出することができたか否かを判断する。そして、的確に抽出することができたと判定される場合にはステップＳ８に移行し、的確に抽出することができないと判定されるときにはステップＳ１０に移行する。
前記検出物体を的確に抽出することができたか否かの判定は、例えば、次式（４）から算出される抽出結果の点数Ｓceを判断値とし、この判断値Ｓceが、所定値よりも大きいかどうかに基づいて判定する。ここでは、例えば、判断値Ｓceが次式（５）を満足するかどうかに基づいて判定し、判定結果に基づいて抽出フラグＦokを設定する。
【００４２】
Ｓce＝０．５＊（ＥＬ＋ＥＲ）／（doＹＢ−doＹＡ） ……（４）
ｉｆ（Ｓce＞０．６） Ｆok＝１；ｅｌｓｅ Ｆok＝０ ……（５）
なお、式（５）において、ｉｆ（ｅｘｐｒ１） ｅｘｐｒ２；ｅｌｓｅ ｅｘｐｒ３とは、ｅｘｐｒ１が真の場合にはｅｘｐｒ２を実施し、偽の場合にはｅｘｐｒ３を実施する関数である。
【００４３】
つまり、前記（５）式では、抽出した左右のエッジ長さＥＬ及びＥＲの平均値が画像処理した領域、つまり絞り込み領域の高さの６０％以上であれば、検出物体の抽出が的確に行われたと判定することを意味している。
そして、前記ステップＳ８では、レーザレーダ２で検出した検出物体までの縦距離ojＹと、ステップＳ６で算出したエッジペアの間隔ＥＷと、ＣＣＤカメラ４の水平方向の焦点距離ｆＨとに基づいて次式（６）から、検出物体の実際の幅ＲＷを算出する。
【００４４】
ＲＷ＝ＥＷ＊ojＹ／ｆＨ ……（６）
また、次式（７）から、自車両と検出物体との実際の横位置 CamＹ〔ｍ〕を算出し、次式（８）から、撮像画像に基づく自車両を基準とする抽出物体の横位置 CamＹ〔ｍ〕と、レーザレーダ２の測距結果に基づく自車両を基準とする検出物体の横位置ojＸとの差 difＲＣを算出する。
【００４５】
CamＹ＝（（（ＳＲ＋ＳＬ）／２）−ｘ０）＊ojＹ／ｆＨ ……（７）
difＲＣ＝ojＸ− CamＹ ……（８）
つまり、図７に示すように、撮像画像上において、前方車両Ｍ２の右端及び左端がエッジペア（ＳＬ、ＳＲ）として検出され、これらの間隔が物体の幅ｗを表し、これは、前記（６）式で算出される検出物体の実際幅ＲＷに対応する。
【００４６】
また、前記（８）式から算出される横位置の差 difＲＣが、図７中の、レーザレーダ２による測距位置Ｐと、撮像画像に基づく抽出物体の中心位置つまりエッジペアの中心位置との差ｄに対応する。
そして、このようにして前記（６）式及び（８）式から算出した検出物体の実際幅ＲＷ及び横位置の差 difＲＣに対して、次式（９）の伝達関数で表されるローパスフィルタにより平滑化を行う。なお、Ｚは進み演算子である。
【００４７】
Ｇ（Ｚ）＝（ｂ・Ｚ）／（Ｚ−ａ） ……（９）
ｂ＝Ｓce
ａ＝１−ｂ
次いで、ステップＳ９に移行し、ステップＳ８で算出した対応値が的確に算出された状態にあるか否かを判定する。具体的には、前記ステップＳ７で設定した、検出物体を正しく抽出することができたかどうかを表す抽出フラグＦokがＦok＝１に設定されているならば、対応値フラグＦcrc を１に設定し、レーザレーダ２がこの検出物体をロストするまで、つまり、検出物体が視野角から消えるまで、対応値フラグＦcrc をＦcrc ＝１に保持し、新規に物体をレーザレーダ２が捕捉した場合には、これら抽出フラグＦok及びＦcrc を共に零に設定する。
【００４８】
一方、前記ステップＳ７で、絞り込み領域からの検出物体の抽出が的確に行われない場合には、ステップＳ１０に移行し、対応値が的確に算出された状態にあるか否かを表す対応値フラグＦcrc がＦcrc ＝１であるか否かを判定し、Ｆcrc ＝１であるときにはステップＳ１１に移行し、Ｆcrc ＝１でないときには後述のステップＳ１３に移行する。
【００４９】
前記ステップＳ１１では、撮像画像からの検出物体の抽出は失敗したが、ステップＳ８で算出された横位置の差 difＲＣの前回値を用いて、次式（１０）に基づいてレーザレーダ２の測距結果の横位置ojＸを補正し、これを撮像画像による検出物体との横位置 CamＹ〔ｍ〕とする。
CamＹ＝ojＸ− difＲＣ ……（１０）
そして、レーン内外判断用の物体の左右端に相当する撮像画像上の座標値を次式（１１）から算出する。
【００５０】
ＳＬ＝ＬＣｅｎ−０．５＊ＥＷ
ＳＲ＝ＬＣｅｎ＋０．５＊ＥＷ
ＬＣｅｎ＝（ CamＹ＊ｆＨ）／ojＹ＋ｘ０
ＥＷ＝ＲＷ＊ｆＨ／ojＹ ……（１１）
なお、ojＸ、ojＹはレーザレーダ２の測距結果、ＲＷは、ステップＳ８の処理で算出されている検出物体の幅ＲＷの前回値である。
【００５１】
次いで、ステップＳ１２に移行し、前記ステップＳ２で検出した道路白線の撮像画像上の位置座標WL-L及びWL-Rと、ステップＳ６又はステップＳ１１で算出した、検出物体の左右端の座標値ＳＬ及びＳＲとが次式（１２）を満足するか否かを判定し、満足するときには検出物体が自車両の走行レーン内にはないと判断し、前記（１２）式を満足しないときには検出物体が自車両の走行レーン内にあると判断する。
【００５２】
WL-L［doＹＢ−ｙ０］＞ＳＬ又は
WL-R［doＹＢ−ｙ０］＞ＳＲ ……（１２）
次いで、ステップＳ１３に移行し、フィルタ処理時に過去値として用いる値等、所定の値を所定の記憶領域に更新記憶した後、割り込み処理を終了する。
次に、上記実施の形態の動作を説明する。
【００５３】
外界認識装置１０は、ＣＣＤカメラ４で撮像した自車両前方の撮像情報を入力し（ステップＳ１）、この撮像画像において道路白線の検出を行う（ステップＳ２）。また、レーダ処理装置３から、レーザレーダ２による測距結果を入力し（ステップＳ３）、自車両前方に物体を検出していない場合には（ステップＳ４）、検出した道路白線の位置座標等所定の変数を所定の領域に更新記憶する（ステップＳ１３）。
【００５４】
この状態から、例えば、図４に示すように、レーザレーダ２によって、自車両の前方左寄りに先行車両が捕捉されると、ステップＳ４からステップＳ５に移行し、レーダ処理装置３からの測距結果、つまり、検出物体までの縦距離（車間距離方向）ojＸ〔ｍ〕及び横距離（車幅方向）ojＹ〔ｍ〕をもとに、前記（２）式にしたがって座標変換を行い、撮像画像ＤＰ上に前記測距結果位置に応じた絞り込み領域ＡＲを設定する。
【００５５】
そして、この絞り込み領域ＡＲ内についてエッジ検出処理を行い、物体の左右端を検出する（ステップＳ６）。
このとき、ＣＤＤカメラ４によって、先行車両が撮像されている場合には、図４に示すように、撮像画像ＤＰの左寄りに先行車両に相当する物体が存在する。したがって、この先行車両に相当する物体の左右端が検出されることになる。
【００５６】
そして、エッジ長さの平均値の、絞り込み領域ＡＲの縦方向の長さに対する比率に基づき、物体抽出が的確に行われたかを判定し（ステップＳ７）、的確に物体抽出が行われたと判断された場合にはステップＳ８に移行し、対応値として、前記（６）及び（８）式に基づいて、ステップＳ７で抽出した抽出物体のエッジ幅から検出物体の実際幅ＲＷつまり自車両前方の物体の幅と、自車両を基準とする撮像画像ＤＰからの抽出物体の横位置及び、レーザレーダ２による測距位置Ｐつまりレーザレーダ２の検出物体の自車両を基準とする横位置との差 difＲＣとを算出する。これによって、図７に示す、撮像画像ＤＰにおける抽出物体のｗに相当する実際幅ＲＷと、エッジペアの中心位置とレーダ測距位置Ｐとの差ｄに相当する実際値である横位置の差 difＲＣが算出されることになる。
【００５７】
そして、この算出した検出物体の実際幅ＲＷ及び横位置の差 difＲＣに対し、前記（９）式の伝達関数を用いてローパスフィルタ処理が行われ、さらに、算出された対応値ＲＷ及び difＲＣが的確に算出された値であるかどうかが判断される（ステップＳ９）。この場合、ステップＳ７の処理において、物体抽出が的確に行われたと判断されているから、対応値は的確な状態であるとして対応値フラグＦcrc はＦcrc ＝１に設定される。
【００５８】
そして、ステップＳ１２に移行し、前記ステップＳ２で検出した撮像画像上の道路白線の位置座標ＷL-L 及びWL-Rと、ステップＳ６で算出した撮像画像ＤＰからの抽出物体の左右のエッジ端ＳＬ及びＳＲとを前記（１２）式に基づいて比較する。この場合、図４に示すように抽出物体は、左側の道路白線上に位置するから、ＷL-L ［doＹＢ−ｙ０］＜ＳＬとなり、前記（１２）式を満足しないから、抽出物体は自車両の走行レーン内に位置すると判定される。
【００５９】
そして、外界認識装置１０では、車両前方の物体が自車両にとって障害物であるか否かを判定し、障害物であるときには、前記抽出物体が走行レーン内に存在するか否かの判定結果と共に、これを自動ブレーキ制御装置８に通知する。これをうけて自動ブレーキ制御装置８では、自車両の走行レーン内に障害物が位置することから、この障害物との接触を回避するための制動力を発生させると共に、この場合、前記抽出物体が走行レーン内に位置すると判定されているから、より強い制動力を発生させる。
【００６０】
このとき、前記抽出物体が障害物ではなく、自車両と同等の速度で走行する先行車両であると判断された場合には、図示されない先行車両追従走行制御装置にこれを通知し、この先行車両追従走行制御装置は、エンジンの出力と各車輪への制動力とを制御して先行車両に追従走行する制御を行う。
この状態から、太陽光の影響等によってＣＣＤカメラ４による撮像が的確に行うことができず、撮像画像ＤＰから物体抽出を行った際に、充分な左右端のエッジ長さを検出することができなかった場合には、ステップＳ７からステップＳ１０に移行する。この場合、前回処理実行時に的確に対応値が算出されており、対応値フラグＦcrc はＦcrc ＝１に設定されているから、ステップＳ１０からステップＳ１１に移行し、画像処理による物体の抽出は失敗したが、前回処理実行時にステップＳ８で対応値として算出した横位置の差 difＲＣを用いて前記（１０）式から、撮像画像による検出物体との横位置 CamＹ〔ｍ〕を推測し、この撮像画像による検出物体との横位置 CamＹ、前回処理実行時に対応値として算出した実際幅ＲＷ、及びレーザレーダ２による測距結果を用いて前記（１１）式から、撮像画像における左右のエッジ端を推測する。
【００６１】
そして、推定した左右のエッジ端に基づいてレーン内外判断処理を行う（ステップＳ１２）。
ここで、撮像画像に基づく検出物体との横位置 CamＹ〔ｍ〕と、レーザレーダ２の測距結果に基づく検出物体との横位置ojＸとの差 difＲＣ及び検出物体の実際幅ＲＷは、前回処理実行時に的確に算出された値であるから、これらを用いて検出物体の左右のエッジ端を推測することによって、高精度に推測することができる。
【００６２】
そして、ＣＣＤカメラ４による撮像画像から物体抽出を的確に行うことができない間は、ステップＳ７からステップＳ１０に移行し、的確に物体抽出を行うことができているときに検出し所定の記憶領域に格納している対応値 difＲＣ及びＲＷに基づいてレーン内外の判断を行う。そして、この状態からＣＣＤカメラ４による撮像画像から的確に物体を抽出することができるような状態に復帰すると、ステップＳ６からステップＳ７を経てステップＳ８に移行するから、新たに検出した抽出物体の左右のエッジ端に基づいて対応値が算出され、これに基づきレーン内外判断が行われる。
【００６３】
そして、この状態から先行車両がレーザレーダ２の視野角外に移動することによって、レーザレーダ２が先行車両をロストすると、ステップＳ４からステップＳ１３に移行し、レーン内外の判断処理は行わない。
一方、例えばレーザレーダ２においては先行車両を捕捉しているが、ＣＣＤカメラ４の撮像画像から的確に物体を抽出することができず、対応値を算出することができない状態である場合には、ステップＳ７からステップＳ１０に移行するが、対応値を的確に算出することができず抽出フラグＦokはＦok＝０を維持することから、対応値フラグＦcrc はＦcrc ＝０を維持する。
【００６４】
したがって、そのままステップＳ１３に移行し、レーン内外判断処理は実行されない。
そして、この状態から、撮像画像から的確に物体抽出を行うことができた場合には、ステップＳ７からステップＳ８に移行して前記対応値が算出されるから、ステップＳ９を経てステップＳ１２に移行し、レーン内外判断処理が開始される。
【００６５】
このように、レーザレーダ２で捕捉する物体の位置をもとに、これに該当するＣＣＤカメラ４の撮像画像上の該当する位置に絞り込み領域を設定し、この絞り込み領域から物体のみを抽出することによって、レーザレーダ２による物体の測距値とＣＣＤカメラ４の撮像画像からの抽出物体の位置との対応値ＲＷ及び difＲＣを取得しておき、レーザレーダ２により物体を捕捉中にＣＣＤカメラ４によって物体を的確に抽出することができない場合には、予め取得している対応値に基づいてレーザレーダ２の測距結果を補正して検出物体のエッジ端を推定し、これに基づいてレーン内外判断処理を行うようにしたから、ＣＣＤカメラ４によって的確に物体抽出を行うことができない場合でも、レーン内外判断処理を的確に行うことができる。
【００６６】
また、例えばレーザレーダ２のようなリフレクタ反射タイプのレーダの場合には、物体の位置だけでなく、物体の大きさも得ることができる。しかし、車両後部の両サイドにあるリフレクタの片側が汚れで見えない場合（例えばトラック等）には、物体の位置及び大きさ共に不正確になる。
しかしながら、上記実施の形態においては、予め画像処理を行って物体を抽出し、これに基づいて、物体の位置ズレ量と大きさとを対応値として共に把握することができるから、画像処理による物体抽出が一時的にロストしたような場合であっても、画像処理による物体抽出が正常に行われたときの対応値に基づいて、レーン内外判断を行うことによって、高精度に判断を行うことができる。
【００６７】
また、経時変換等によってレーザレーダ２の光軸がずれた場合には、測距結果に誤差が含まれることになる。例えば、取り付けヨー角が１〔ｄｅｇ〕ずれた場合には、５０〔ｍ〕前方の物体の横位置のずれは、実際には０．９〔ｍ〕弱のずれとなり、レーン内外判断において誤判断する原因となる。しかしながら、上述のように、撮像カメラ４の撮像画像に基づく物体の位置とレーザレーダ２の測距結果に基づく物体の位置のずれ量、つまり、横位置の差 difＲＣを把握することができるから、レーザレーダ２の光軸の経時変化の影響を受けることなく、レーン内外判断処理を行うことができる。
【００６８】
また、撮像画像ＤＰから抽出した抽出物体の確からしさを検出するようにし、抽出物体の確からしさが低い場合には、対応値の算出を行わないようにしているから、信頼性の低い情報に基づいて対応値が算出され、対応値の精度が低下することを回避することができる。
また、上記実施の形態においては、抽出物体のエッジ長さと、このエッジ長さ方向に対応する絞り込み領域の大きさとの比率に基づいて、前記判断値Ｓceを設定するようにしているから、確からしさの尺度として、遠方から最近方までの撮像画像上の物体の大きさに応じて適切なＳ（エッジ）／Ｎ（背景）比に保つことができる。したがって、レーザレーダ２の検知距離に依存せずに抽出結果の確からしさを判断することができる。
【００６９】
なお、上記実施の形態においては、レーザレーダ２が捕捉中の物体をロストした場合には、図３に示すように、ステップＳ４からステップＳ１３に移行し、レーン内外判断処理を行わないようにしているが、これに限るものではない。例えば、物体をロストする直前までにレーザレーダ２で捕捉中の物体を、撮像画像から抽出物体として抽出している場合には、このときの絞り込み領域付近に、画像抽出のための領域を設定し、この領域内において前記ステップＳ６の処理と同様にして物体を抽出し、これに基づき物体の左右のエッジ端を検出し、これに基づいてレーン内外判断処理を行うようにしてもよい。
【００７０】
前記画像抽出のための領域は、例えば、次式（１３）に基づいて設定すればよい。
doＹＡ＝ロスト直前の絞り込み領域のdoＹＡ
doＹＢ＝ロスト直前の絞り込み領域のdoＹＢ
doＸＬ＝ロスト直前の抽出画像のＳＬ
doＸＲ＝ロスト直前の抽出画像のＳＲ ……（１３）
このようにすることによって、レーザレーダ２によって、例えば一時的に捕捉中の物体をロストしたような場合であっても継続してレーン内外判断処理を行うことができる。
【００７１】
また、上記実施の形態においては、対応値が算出されていない状態では、ステップＳ１０からステップＳ１３に移行し、レーン内外判断処理を行わないようにし、レーン内外判断の判断精度を向上させるようにしているが、例えば、対応値が算出されていない場合には、初期値として difＲＣ＝０、物体の幅は１．７〔ｍ〕程度として設定しておき、この初期値に基づいてレーン内外判断処理を行うようにしてもよい。
【００７２】
また、上記実施の形態においては、物体抽出を的確に行うことができたかを判断する際に、抽出物体の左右のエッジ長さの平均値が絞り込み領域における高さの６０％以上であるときに良好な抽出が行われたと判断するようにした場合について説明したが、必ずしも６０％以上である必要はなく、ＣＣＤカメラ４の性能等に基づいて任意に設定することができる。
【００７３】
また、上記実施の形態においては、対応値として検出物体の実際幅ＲＷと、レーザレーダ２に基づく検出物体とＣＣＤカメラ４による撮像画像における抽出物体との横位置の差 difＲＣとを検出するようにした場合について説明したが、これに限るものではなく、例えば、図７に示すように、レーザレーダ２による測距中心座標値Ｐから物体の左右端までの距離ｄ１及びｄ２を算出するようにしてもよい。
【００７４】
この場合、撮像画像から物体抽出を的確に行うことができなかった場合には、レーザレーダ２の測距中心位置Ｐの位置座標と物体の左右端までの距離ｄ１及びｄ２に基づいて、物体の左右端の位置を推定するようにすればよい。
また、上記実施の形態においては、物体抽出が的確に行うことができたと判断されたときには、このときの抽出物体に基づく対応値を有効とし、これをもとにレーザレーダ２の測距結果の補正を行うようにしているが、このとき、前記対応値ＲＷ及び difＲＣの標準偏差σを算出し、この標準偏差σが予め設定したしきい値以上のときには、このときの対応値を無効とするようにしてもよい。
【００７５】
具体的には、前記（８）式から算出した検出物体の横位置の差 difＲＣに対して、次式（１４）により、移動平均Ａを算出し、標準偏差σを算出する。
【００７６】
ｎ＝（２−Ｓce）／ＲＳｔｉｍｅ ……（１５）
前記式（１５）において、ＲＳｔｉｍｅは、ＣＣＤカメラ４よりも更新周期の長い、レーザレーダ２のデータ更新周期〔ｓ〕であって、本実施の形態では１００〔ｍｓ〕であるから、この場合ｎは、ｎ∈［１０，２０］、つまり最小でも１０、最大でも２０までの値となる。
【００７７】
そして、算出した標準偏差σが、しきい値以上、例えば０．５〔ｍ〕以上であるときには、物体抽出は的確に行われている場合でも、対応値は無効とし、この対応値に基づいてレーザレーダ２の測距結果の補正を行わないようにしてもよい。
このようにすることによって、算出した標準偏差σが大きいときつまり対応値のばらつきが大きいときには、この対応値に誤差が含まれることを意味するから、このように誤差を含んだ対応値に基づきレーン内外判断を行うことによって、誤判断されることを回避することができる。
【００７８】
また、前記標準偏差σを算出する際に、移動平均を演算する際の母数の数ｎを、前記判断値Ｓceが大きくなるほど小さくなるようにしているから、標準偏差σの算出に要する処理時間を、物体抽出の確からしさが大きくなるほど短縮することができる。
なお、この場合、対応値の標準偏差σに基づいてばらつきを判断するようにした場合について説明したが、これに限るものではなく、例えば、レーザレーダ２による横方向の検知結果ojＸの標準偏差や分散を算出しこれに基づき対応値の信頼性を判断するようにしてもよい。
【００７９】
例えば、標準偏差を算出する場合には、次式（１６）に基づいて算出すればよい。
【００８０】
また、上記実施の形態においては、前記（９）式の伝達関数で表されるローパスフィルタにより平滑化を行うようにした場合について説明したが、前記平滑化を行う際の母数を、前記判定値Ｓceに基づいて変化させ、前記判定値Ｓceが高い場合には対応値を積極的に算出し、前記判定値Ｓceが低い場合には対応値を保守的に算出するようにしてもよい。
【００８１】
具体的には、前述の前記検出物体を正しく抽出することができたかどうかを表す抽出フラグＦokが、Ｆok＝１であるときには、point ＝point ＋（Ｓce）4 を算出する。また、Ｆok＝０であるときには、point を零に設定する。そして、抽出フラグＦok＝１の状態が連続しこれによって前記point が“１”を超えたとき、対応値フラグＦcrc をＦcrc ＝１に設定し、レーザレーダ２がこの検出物体をロストするまで、つまり視野角から消え去るまで対応値フラグはＦcrc ＝１を保持し、レーザレーダ２が新規に物体を捕捉したとき、抽出フラグＦok、対応値フラグＦcrc 、point を零に設定する。
【００８２】
つまり、判断値Ｓceが基準値０．６を僅かに超えた状態で物体抽出が正しく行われたと判断された場合には、前記point は８回目で“１”を超えるから、８回の母数、つまり８回分の対応値データに基づいて平滑化を行って最終的な対応値を算出する。一方、判断値Ｓceが基準値０．６よりもはるかに大きい場合には、８回よりも低い回数目で“１”を超えることになる。したがって、前記判断値Ｓceに応じて対応値が積極的に算出されたり、保守的に算出されたりすることになる。
【００８３】
このようにすることによって、ローパスフィルタ効果によって、対応値におけるノイズ除去が可能となり、且つ、撮像画像ＤＰからの物体抽出が的確に行われた場合には、対応値を取得するために要する時間を短縮することができる。
また、上記実施の形態においては、測距手段としてレーザレーダ２を用いた場合について説明したが、これに限るものではなく、例えば、ミリ波レーダ等であっても適用することができる。このミリ波レーダのようなボディ反射タイプのレーダの場合、電波の反射中心位置だけが得られ、物体の大きさを検出することはできない。しかしながら、上記実施の形態によれば、画像処理により、物体の大きさを把握することができるから、画像処理による抽出物体が一時的にロストした場合等であっても、前回把握している大きさを用いることによって、レーン内外判断を的確に行うことができる。
【００８４】
ここで、上記実施の形態において、ＣＣＤカメラ４が撮像手段に対応し、レーザレーダ２が測距手段に対応し、図３においてステップＳ２の処理が走行路検知手段に対応し、ステップＳ５の処理が処理領域設定手段に対応し、ステップＳ６の処理が物体抽出手段に対応し、ステップＳ１２の処理が走行路内外判断手段に対応し、ステップＳ８の処理が対応情報算出手段に対応し、ステップＳ１１の処理が測距情報補正手段に対応し、ステップＳ７の処理で判断値Ｓceを算出する処理が抽出結果採点手段に対応している。
【図面の簡単な説明】
【図１】本発明の走行路環境検出装置を適用した先行車両追従走行装置付き車両の一例を示す車両構成図である。
【図２】走行路環境検出装置の機能構成を示すブロック図である。
【図３】レーン内外判断処理の処理手順の一例を示すフローチャートである。
【図４】本発明の動作説明に供する説明図である。
【図５】本発明の動作説明に供する説明図である。
【図６】本発明の動作説明に供する説明図である。
【図７】本発明の動作説明に供する説明図である。
【符号の説明】
１ 外界認識部
２ レーザレーダ
３ レーダ処理装置
４ ＣＣＤカメラ
５ 画像処理部
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースタ
１０ 外界認識装置
Claims (6)
- 自車両周辺の走行路環境を撮像する撮像手段と、
当該撮像手段の撮像画像において自車両の走行路を検知する走行路検知手段と、
自車両周辺の物体と自車両との間の距離を測定する測距手段と、
当該測距手段で検出した検出物体の自車両を基準とした測距位置に相当する前記撮像画像上の位置に処理領域を設定する処理領域設定手段と、
前記撮像画像上の処理領域から前記測距手段で検出した検出物体に相当する物体を抽出する物体抽出手段と、
当該物体抽出手段で抽出した抽出物体の前記撮像画像上の位置情報と、前記走行路検知手段の検知結果とから前記測距手段による検出物体が自車両の走行路内にあるか否かを判断する走行路内外判断手段と、を備えた走行路環境検出装置において、
前記測距手段が物体を捕捉し且つ前記物体抽出手段で物体を抽出したときに、前記物体抽出手段で抽出した抽出物体の前記位置情報に基づき、自車両を基準とした前記抽出物体の実際の横位置及び前記抽出物体の実際の幅を推測すると共に、この推測した前記抽出物体の実際の横位置と前記測距手段の検出物体の測距位置との偏差を演算し、前記抽出物体の実際の幅及び前記偏差を、前記抽出物体と前記測距手段の検出物体との対応を表す対応情報として記憶する対応情報算出手段と、
当該対応情報算出手段で記憶する最新の対応情報をもとに前記測距手段による検出物体の測距位置を補正する測距情報補正手段と、を備え、
前記走行路内外判断手段は、前記測距手段が物体を捕捉し且つ前記物体抽出手段で物体を抽出することができないときには、前記測距情報補正手段で前記最新の対応情報を用いて補正した測距補正情報と前記走行路検知手段の検知結果とに基づき前記判断を行うことを特徴とする走行路環境検出装置。 - 前記物体抽出手段は、前記抽出物体の抽出結果の確からしさを採点する抽出結果採点手段を備え、
前記対応情報算出手段は、前記抽出結果採点手段での採点結果を考慮して前記対応情報を算出することを特徴とする請求項１記載の走行路環境検出装置。 - 前記対応情報算出手段は、前記抽出結果採点手段の採点結果がしきい値以下であるときには、これに対応する抽出物体に基づく前記対応情報の算出を行わないことを特徴とする請求項２記載の走行路環境検出装置。
- 前記対応情報算出手段は、最新のものから複数分の前記対応情報を記憶し、当該記憶した対応情報のうち最新のものから所定数分の対応情報を平滑化処理し、この平滑化処理した対応情報を前記測距情報補正手段での補正に用いる対応情報として算出し、
前記抽出結果採点手段での採点の結果、抽出結果の確からしさが小さいときほど、より多くの対応情報を用いて前記平滑化処理を行うことを特徴とする請求項２又は請求項３記載の走行路環境検出装置。 - 前記対応情報算出手段は、前記対応情報の算出時点以前の所定の参照時間における前記対応情報のバラツキを求めると共に前記抽出結果採点手段の採点結果が高いときほど前記参照時間を短い値に設定し、
前記対応情報のバラツキがしきい値を越えるときには当該対応情報を新たな対応情報として更新しないことを特徴とする請求項２から請求項４の何れか１項に記載の走行路環境検出装置。 - 前記物体抽出手段は、前記処理領域においてエッジ検出処理を行って前記抽出物体の抽出を行い、前記抽出結果採点手段は、前記エッジ検出処理において検出したエッジのエッジ長さと前記処理領域の大きさとの比率に応じて前記採点を行うことを特徴とする請求項２から請求項５の何れか１項に記載の走行路環境検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002115233A JP3925285B2 (ja) | 2002-04-17 | 2002-04-17 | 走行路環境検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002115233A JP3925285B2 (ja) | 2002-04-17 | 2002-04-17 | 走行路環境検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003308599A JP2003308599A (ja) | 2003-10-31 |
| JP3925285B2 true JP3925285B2 (ja) | 2007-06-06 |
Family
ID=29396672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002115233A Expired - Fee Related JP3925285B2 (ja) | 2002-04-17 | 2002-04-17 | 走行路環境検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3925285B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4530827B2 (ja) * | 2004-12-08 | 2010-08-25 | ダイハツ工業株式会社 | 画像処理方法及び画像処理装置 |
| JP4518978B2 (ja) * | 2005-03-02 | 2010-08-04 | ダイハツ工業株式会社 | 車両の物体認識装置及び物体認識方法 |
| JP4534846B2 (ja) * | 2005-04-13 | 2010-09-01 | トヨタ自動車株式会社 | 物体検出装置 |
| JP4557041B2 (ja) * | 2008-04-18 | 2010-10-06 | 株式会社デンソー | 車両用画像処理装置 |
| JP5594956B2 (ja) * | 2008-12-12 | 2014-09-24 | 三菱重工業株式会社 | 監視装置及び監視方法 |
| WO2014033958A1 (ja) * | 2012-09-03 | 2014-03-06 | トヨタ自動車株式会社 | 衝突判定装置及び衝突判定方法 |
| DE112014006876T5 (de) | 2014-08-21 | 2017-05-18 | Mitsubishi Electric Corporation | Fahrassistenzvorrichtung, Fahrassistenzverfahren und Programm |
| DE112015007054B4 (de) | 2015-11-20 | 2019-11-28 | Mitsubishi Electric Corp. | Fahrunterstützungsvorrichtung, fahrunterstützungssystem, fahrunterstützungsverfahren und fahrunterstützungsprogramm |
| JP7414782B2 (ja) * | 2021-10-12 | 2024-01-16 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| JP7376547B2 (ja) * | 2021-10-12 | 2023-11-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| JP7324819B2 (ja) * | 2021-10-12 | 2023-08-10 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| JP7340579B2 (ja) * | 2021-10-12 | 2023-09-07 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
-
2002
- 2002-04-17 JP JP2002115233A patent/JP3925285B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003308599A (ja) | 2003-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2422320B1 (en) | Object detection device | |
| JP5747482B2 (ja) | 車両用環境認識装置 | |
| JP3630100B2 (ja) | 車線検出装置 | |
| JP3750512B2 (ja) | 車両用周辺障害物検出装置 | |
| JP5664787B2 (ja) | 移動体検出装置及び移動体検出方法 | |
| US7542835B2 (en) | Vehicle image processing device | |
| JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
| US10457283B2 (en) | Vehicle driving assist apparatus | |
| JP2002197444A (ja) | 車両の走行路認識装置 | |
| US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
| JP3925285B2 (ja) | 走行路環境検出装置 | |
| JP2008117073A (ja) | 割り込み車両検出装置 | |
| WO2019065970A1 (ja) | 車両用外界認識装置 | |
| JP4052291B2 (ja) | 車両用画像処理装置 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JP4719996B2 (ja) | 物体検知装置 | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| JP3600314B2 (ja) | 車両の外部環境認識装置 | |
| JP7404173B2 (ja) | 画像処理装置 | |
| JP2001082954A (ja) | 画像処理装置及び画像処理測距方法 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| CN112400094B (zh) | 物体探测装置 | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| JP5533323B2 (ja) | 移動量推定装置及び移動量推定方法 | |
| EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050328 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |