JP2004153627A

JP2004153627A - 車両用外界認識装置

Info

Publication number: JP2004153627A
Application number: JP2002317474A
Authority: JP
Inventors: Migaku Takahama; 琢高浜; Takeshi Kimura; 健木村; Motohira Naitou; 原平内藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-10-31
Filing date: 2002-10-31
Publication date: 2004-05-27
Anticipated expiration: 2022-10-31
Also published as: JP4175087B2

Abstract

【課題】レーダ視野角の左右端付近に検知したい物体が存在し、レーダが検知物体の横位置を誤検知する場合であっても、画像処理を継続することが可能な車両用外界認識装置を提供すること。
【解決手段】自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、自車周辺の状況を撮像する撮像手段と、前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から画像処理を行う画像処理手段とを備えた車両用外界認識装置において、前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、該測距状況把握手段の出力に応じて前記画像処理手段の処理を変更する画像処理変更手段とを設けた。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、レーザなどの電磁波を用いてスキャニングすることにより、物体との相対位置を検知する装置と、カメラ等の撮像結果から画像処理を行う装置とをフュージョンする技術に関する。
【０００２】
【従来の技術】
レーザの照射範囲を複数の検知エリアに区切り、各検知エリアの受信強度から物体の存在を判定する物体検知装置が提案されている（特許文献１参照）。この装置では、各検知エリアの受信強度の加算値と閾値との比較を行うため、物体との相対距離に関わらず確実に物体を検知することが可能となるものである。
【０００３】
【特許文献１】
特開２０００−２８７１８号公報（第４〜６頁）
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１に記載のような装置では、レーダからの電磁波を反射する反射物が、その全体で完全に電磁波を反射できないとき（物体の一部が検知範囲から外れる等により物体の本当の大きさに対する反射可能エリアが異なる場合）には、正しい相対横位置が検出できない場合が生じる。これについて図７〜図９を用いて説明する。時刻ｔ０において停止車両の全体がレーダ視野角内に存在している。このとき、反射可能エリアを検知し、検知リフレクタ群の左端と右端の中心位置を車両の横位置として認識する。時刻ｔ１において停止車両の一部がレーダ視野角外に出るため、図８の実線で示す位置に停止車両が位置し、右端側のみのリフレクタによって横位置を認識することになる。その後、時刻ｔ２において車両全体が視野角外に出る。図９は物体検知装置が認識している停止車両の横位置と物体の幅（車幅）との関係を表すタイムチャートである。図９の横位置のタイムチャートに示すように、一方のリフレクタのみによって車両を認識すると車幅が大きく変化する。これにより、実際の横位置に対してレーダ出力の相対横位置との間に段差が生じる。
【０００５】
ところで、レーダで検知した物体Ａを単眼カメラ画像からも冗長的に検知するフュージョンシステム（ピッチング変動などでのレーダの一時的なロストに備え、レーダと同一の物体Ａを単眼の画像で捕捉するシステム）では、画像単体での外界認識と比べて、処理時間の短縮や信頼性の向上を実現するものである。例として、フュージョンシステムによる代表的な処理シーケンスを図１０に示す。処理１において、物体を発見すると、処理２において、レーダで検知した位置結果に基づき、撮像結果から注目領域を決める。そして、処理３において、単眼の画像から所定の特徴をもった領域Ωを抽出し、その単眼画像における領域Ωが如何ほどの距離を有するものであるかのキャリブレーションを行う。その後、処理４において、画像だけを用いてトラッキングする処理（パターンマッチングやエッジ検出など）により物体Ａを追跡し、追跡結果とキャリブレーション結果に基づき物体Ａの位置を算出する。
【０００６】
一般に、カメラによる物体検知はレーダの物体検知より信頼性が低い。そこで、確実性を増すため、｛レーダ検知位置と画像処理による検知位置とを比較して、その差が小さいときが所定期間τ以上連続した場合＝これを処理εとする｝から、現在の走行状況におけるカメラ画像処理は信頼性が高いかどうかを判断する処理５を行う。
【０００７】
画像で物体をトラッキングする際、トラッキング期間が長くなると、物体を画像から正しく検知・追跡できなくなることがある。これは、トラッキング中に、ターゲットとする物体に背景などが入ってしまうことが原因となる。このため、レーダと画像で捕らえているものが同じ物体であるか否かの判断は、定常的に行うことが一般的である。これにより、レーダと画像の双方が別々の動きを行った場合に、どっちを信じて良いか分からなくなるという問題を回避している。特に、割り込み車両などの急な出現を除けば、単眼カメラでレーダ検知物をトラッキングする時間が長いため、上記の処理εにより、画像での検知結果の信頼性の高さを定常的に判断する。
【０００８】
そして、処理６において、信頼性が低いと判断されたときには、処理１から再度実行する初期画像処理状態（再度カメラ画像の特徴領域Ωをレーダ検知位置に基づき決め、画像とレーダとのキャリブレーションを行う処理）に戻す。
逆に信頼性が高いと判断されたときには、画像処理だけで物体位置のトラッキングを継続し、信頼性の低い場合とはタイミングや大きさの異なる制動や警報を行う。
【０００９】
このようなフュージョンシステムにおいて、図７〜９のようなレーダ位置変化が生じた場合には、レーダ検知位置と画像検知位置の差が大きいと判断され、次の問題が発生する。
・所定期間τ未満（信頼性が高くなる以前）：信頼性が高くなるまでの期間がさらに遅くなる。
・所定期間τ以降（信頼性が高くなった後）：キャリブレ状態（信頼性の低い初期状態）に戻される。
【００１０】
本発明は、上述の課題に鑑み、レーダ視野角の左右端付近に検知したい物体が存在し、レーダが検知物体の横位置を誤検知する場合であっても、画像処理を継続することが可能な車両用外界認識装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本願発明では、自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、自車周辺の状況を撮像する撮像手段と、前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から画像処理を行う画像処理手段と、を備えた車両用外界認識装置において、前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、該測距状況把握手段の出力に応じて前記画像処理手段の処理を変更する画像処理変更手段とを設けたことで、上記課題を解決するに至った。
【００１２】
【発明の効果】
本願発明にあっては、スキャニングにより検知した各物体について、その検知状況を把握する。そして、検知状況の把握結果から、画像処理の変更の必要性に応じて、画像の処理内容を一時的に変更する。つまり、レーダ検知位置に段差が生じ、本来の物体位置と画像処理による検知位置との差異が生じても、画像による物体トラッキングに支障をきたすことなく、物体を正確に検知することができる。
【００１３】
【発明の実施の形態】
以下、本発明における車両用外界認識装置の実施形態について実施例をもとに説明するが、本発明は実施例に限定されるものではない。
【００１４】
（第１実施例）
図１は、この発明の第１実施例を示す図である。まず構成を説明すると、車両の先頭にはスキャニング式のレーザレーダ１が設けられている。このレーザレーダ１には、走査した結果から障害物候補を抽出するレーダ処理装置２が接続され、このレーダ処理装置２では一つ又は複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と、障害物候補の幅（大きさ）の算出が実施される。
【００１５】
また、自車前方の状況を高速に把握するプログレッシブスキャン式の３ＣＣＤカメラ３が搭載されている。この３ＣＣＤカメラ３の撮像結果が画像処理装置４に接続されている。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１６】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続されている。この外界認識装置５には、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７が接続されている。
【００１７】
上述のようなハード構成から、本発明の測距状況把握手段と後段の処理（相対速度算出処理や障害物判断処理）変更手段等の演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１８】
外界認識装置５では、レーダ処理装置で検知した各物体が自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に出力される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。
【００１９】
これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００２０】
図２は、第１実施例における車両用外界認識装置の制御構成を表すブロック図である。まず構成を説明すると、図中の１０１は物体との相対位置を出力するスキャニング式測距手段、１０２は自車周辺状況を撮像する撮像手段、１０３はスキャニング式測距手段の測距結果に基づき撮像手段１０２の撮像結果におけるパターンマッチング処理を行う画像処理手段、１０４はスキャニング式測距手段１０１で検知した物体の測距状況を把握する測距状況把握手段、１０５は測距状況把握手段１０４の出力をトリガーとして画像処理手段１０３の画像処理を変更する画像処理変更手段である。
【００２１】
図３は第１実施例における物体検知制御を表すフローチャートである。この実施例は、請求項１，３，４，５，７項に対応するものであり、自車前方の状況を把握するスキャニング式レーザレーダの走査結果（位置の変化や幅の変化）から、検知物体の測距状況を把握し、画像処理に関する処理内容を一時的に変更することで信頼性の高い画像処理を行う場合である。尚、本制御は１００［ｍｓ］毎に実施されるものとする。
【００２２】
ステップ２０１では、スキャニング式レーザレーダ１の検知した各物体の位置ベクトル（横方向：Ｐｘ＿ｚ_０，縦方向Ｐｙ＿ｚ_０），および、物体の幅（大きさ：Ｗ＿ｚ_０）を読み込む。更に、カメラ撮像結果も取り込む。なお、添え字のｚ_０とは今回の値を、ｚ_１は１サンプリング（１００ｍｓ）過去の値を、ｚ_ｎはｎサンプリング過去の値を、それぞれ意味する。
【００２３】
ステップ２０２では、ステップ２０１で読み込んだ検知物体の縦位置と横位置から、次式（１）を算出する。
α ＝ｆｕｎｃ１［ａｂｓ｛ａｔａｎ（Ｐｘ＿ｚ０／Ｐｙ＿ｚ０）｝ − Ｋ１Ｔｈ＿Ｒ］・・・（１）
ここで、ｆｕｎｃ１（Ａ）とは図４のような特性を有する関数であって、ｆｕｎｃ１∈［０，１］の範囲をとる。ａｔａｎ（Ａ）とは、Ａ（引数ａｒｇｕｍｅｎｔの頭文字）の逆正接値を出力する関数であり、ａｂｓ（Ａ）とは、Ａの絶対値を出力する関数である。Ｋ１は１未満の正数であり、Ｔｈ＿ＬとＴｈ＿Ｒはスキャニングレーザレーダの視野角における左右端の角度を表すものである。例えば、視野角１２ｄｅｇのスキャニング式レーザレーダで自車の進行方向右側をプラスとした場合、自車正面を中心（ゼロｄｅｇ）として、Ｔｈ＿Ｌ＝ −６［ｄｅｇ］，Ｔｈ＿Ｒ＝＋６［ｄｅｇ］となる。
【００２４】
ステップ２０３では、ステップ２０１で読み込んだ検知物体の幅から、次式（２）を算出する。
β＝ｆｕｎｃ２｛Ｗ＿ｚ０ − Ｔｈ＿Ｗ｝・・・（２）
ここで、Ｔｈ＿Ｗとは、警報や制御する対象として扱う物体の幅から決まる閾値である。ｆｕｎｃ２（Ａ）とは図５のような特性を有する関数であって、ｆｕｎｃ２∈［０，１］の範囲をとる。
【００２５】
ステップ２０４では、後述する初回画像処理終了フラグ：ＩＰ＿Ｓｔａｔｅが次式（３）を満たしている場合（初回処理が終了の場合）にはステップ２０８へ、そうでない場合にはステップ２０５へ進む。
ＩＰ＿Ｓｔａｔｅ＞０・・・（３）
【００２６】
ステップ２０５では、画像処理領域を、レーダの視野角外側方向に広げて透視変換を行い、画像処理する注目領域を決める。
ｄｉｓｐ＿ｏｂｊ＿ＹＡ＝（ｙ_ｏ＋（ｆｏｃｕｓＶ＊ＣＡＭ＿ｈ２／Ｐｙ＿ｚ_０））
ｄｉｓｐ＿ｏｂｊ＿ＹＢ＝（ｙ_ｏ＋（ｆｏｃｕｓＶ＊ＣＡＭ＿ｈ／Ｐｙ＿ｚ_０））・・・（４）
ｄｉｓｐ＿ｏｂｊ＿ＸＬ＝（ｘ_ｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ_０＊Ｐｘ＿ｚ_０））−（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ_０）
ｄｉｓｐ＿ｏｂｊ＿ＸＲ＝（ｘ_ｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ_０＊Ｐｘ＿ｚ_０））＋（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ_０）
ここで、ｄｉｓｐ＿ｏｂｊ＿＊＊とは画像処理を行う矩形領域の端っこの座標値であって、ｄｉｓｐ＿ｏｂｊ＿ＹＡは矩形の上側、ｄｉｓｐ＿ｏｂｊ＿ＹＢは矩形の下側、ｄｉｓｐ＿ｏｂｊ＿ＸＬは矩形の左側、ｄｉｓｐ＿ｏｂｊ＿ＸＲは矩形の右側の画像座標を表している。また、ｙ_ｏは消失点の縦座標［ｐｉｘ］を、ｘ_ｏは消失点の横座標［ｐｉｘ］を（ｙ_ｏ，ｘ_ｏはカメラ取り付け位置と向きで決まるパラメータ）、ｆｏｃｕｓＶは画素換算したカメラの鉛直方向の焦点距離［ｐｉｘ］であり、ｆｏｃｕｓＨ画素換算したカメラの水平方向の焦点距離［ｐｉｘ］であり、受光面が正方格子である場合にはｆｏｃｕｓＶ＝ｆｏｃｕｓＨである（ｆｏｃｕｓＶとｆｏｃｕｓＨはカメラ画角と受光素子の解像度で決まるパラメータ）。そして、ＣＡＭ＿ｈはカメラの取り付け高さ［ｍ］で、ＣＡＭ＿ｈ２はＣＡＭ＿ｈから障害物候補として考慮すべき物体の高さ：ｏｂｊ＿Ｈ［ｍ］を減算した値であり、ｗｉｄｅはレーザレーダの横方向位置の検知精度（標準偏差［ｍ］）と障害物として考慮すべき物体の最大値との和で決まる幅［ｍ］の半分の値を画素換算した値［ｐｉｘ］である。
【００２７】
ステップ２０６では、ステップ２０５の上式（４）で限定した注目領域に対して、次の要領で初回特徴検出処理を行う。
▲１▼注目領域の微分画像をｓｏｂｅｌフィルターなどにより求める。ここで、ｓｏｂｅｌフィルターとは、ある画素に隣接する画素同士の輝度変化を求める演算である。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で２値化する。ここで、２値化とは、各画素の輝度（＝ここでは微分画像の輝度）が閾値以下の弱い場合には黒色、閾値以上の強い場合には白色と、２色に離散化する処理である。
▲３▼２値化した画像の投影処理を行う。具体的には、輝度変化の強い白色の画素の数を画面の水平・垂直方向にそれぞれ加算するようにカウントする。すると、レーダ検知車両の左右端や上下端付近では、背景と車両の輝度変化が強いため、白色の画素が他の場所より多くカウントされることとなる。
▲４▼投影結果から、２値画像におけるレーダ検知車両の四隅に相当する領域は、他の領域より投影量が多いため、車両のエッジを検出する。本実施例では、車両の左右端に相当する１対の縦方向のエッジペアを検出し、画面内座標を求める。ここで、求めたエッジペアの画像上の位置（水平方向座標値）をそれぞれＳｉｄｅＥｄｇｅ＿ＲとＳｉｄｅＥｄｇｅ＿Ｌとする。
▲５▼レーダ検知車両の画像上の幅：ＥｄｇｅＷｉｄｔｈは投影処理により検出したエッジペアの間隔［ｐｉｘ］から求められる（ＥｄｇｅＷｉｄｔｈ＝ＳｉｄｅＥｄｇｅ＿Ｒ−ＳｉｄｅＥｄｇｅ＿Ｌ）。
▲６▼投影結果における、ＳｉｄｅＥｄｇｅ＿ＲとＳｉｄｅＥｄｇｅ＿Ｌの間に横方向のエッジが存在するかを調べる。
▲７▼撮像結果の注目領域から、厳密な特徴（▲４▼の縦エッジペアと▲６▼の横エッジの組み合わせからなるＨ型のエッジ）を検出できた場合には、初回特徴検出処理を終了するためＩＰ＿Ｓｔａｔｅ＝１に設定し、そうでない場合には、初回特徴検出処理が失敗＝画像のロストを意味するようにＳｉｄｅＥｄｇｅ＿Ｒ＝０，ＳｉｄｅＥｄｇｅ＿Ｌ＝０，ＥｄｇｅＷｉｄｔｈ＝０，ＩＰ＿Ｓｔａｔｅ＝０と設定する。
【００２８】
ステップ２０７では、次式（５）〜（７）で、レーダ検知物の位置を画像からの位置［ｍ］として算出して、ステップ２１３へ進む。
ＣａｍＴａｔｅ＝Ｐｙ＿ｚ_０・・・（５）
ＣａｍＹｏｋｏ
＝（（（（ＳｉｄｅＥｄｇｅ＿Ｒ＋ＳｉｄｅＥｄｇｅ＿Ｌ）／２）−ｘ_ｏ）＊Ｐｙ＿ｚ_０）／ｆｏｃｕｓＨ・・・（６）
ＲｅａｌＷｉｄｔｈ＝ＥｄｇｅＷｉｄｔｈ＊Ｐｙ＿ｚ_０／ｆｏｃｕｓＨ・・・（７）
ここで、ＳｉｄｅＥｄｇｅ＿Ｒ＝０，ＳｉｄｅＥｄｇｅ＿Ｌ＝０の場合には、画像でのロストを意味する出力値としてＣａｍＴａｔｅとＣａｍＹｏｋｏを設定する。例えば、ＣａｍＴａｔｅ＝ＣａｍＹｏｋｏ＝２５６［ｍ］とする。また、レーダと画像との照合時間を表すカウンタ：ＬＲ＿ＩＰ＿Ｃｎｔをゼロにクリアする。
【００２９】
ステップ２０８では、注目領域に対して次の要領で特徴追跡処理を行う。
▲１▼注目領域の微分画像をｓｏｂｅｌフィルターなどにより求める。具体的には、撮像結果の全体から微分画像を求めても良いし、前回のサンプリングにおけるＳｉｄｅＥｄｇｅ＿ＲとＳｉｄｅＥｄｇｅ＿Ｌが含まれる領域より少し広めの領域だけに絞って微分画像を求めても良い。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で２値化する。
▲３▼２値化した画像から、前回のサンプリングで求めたＳｉｄｅＥｄｇｅ＿ＲとＳｉｄｅＥｄｇｅ＿Ｌ付近だけの２つ小領域を求める。
▲４▼２つの小領域のそれぞれに対して、投影処理を行う。
▲５▼２つの投影処理結果から、最も多くカウントされる（長い）エッジを、それぞれの小領域から１つずつ求める。ここで求めた２つの縦エッジを、今回のサンプリングにおけるＳｉｄｅＥｄｇｅ＿ＲとＳｉｄｅＥｄｇｅ＿Ｌとする。
▲６▼レーダ検知車両の画像上の幅：ＥｄｇｅＷｉｄｔｈをエッジペアの間隔［ｐｉｘ］から求める。
▲７▼撮像結果の注目領域から、簡素化した特徴（▲５▼の縦エッジペア）を検出できた場合には、特徴追跡処理の成功を意味するＩＰ＿Ｓｔａｔｅ＝１に設定し、そうでない場合には、特徴追跡処理が失敗＝画像のロストを意味するようにＳｉｄｅＥｄｇｅ＿Ｒ＝０，ＳｉｄｅＥｄｇｅ＿Ｌ＝０，ＥｄｇｅＷｉｄｔｈ＝０，ＩＰ＿Ｓｔａｔｅ＝０と設定する。
【００３０】
ステップ２０９では、次式（８）〜（１０）で、レーダ検知物の位置を画像からの位置として算出する。
ＣａｍＴａｔｅ＝（ｆｏｃｕｓＶ＊ＲｅａｌＷｉｄｔｈ）／（ＥｄｇｅＷｉｄｔｈ）・・・（８）
ＣａｍＹｏｋｏ
＝（（（（ＳｉｄｅＥｄｇｅ＿Ｒ＋ＳｉｄｅＥｄｇｅ＿Ｌ）／２）−ｘｏ）＊ＣａｍＴａｔｅ）／ｆｏｃｕｓＨ・・・（９）
ＲｅａｌＷｉｄｔｈ＝ＥｄｇｅＷｉｄｔｈ＊ＣａｍＴａｔｅ／ｆｏｃｕｓＨ・・・（１０）
ここで、ＳｉｄｅＥｄｇｅ＿Ｒ＝０，ＳｉｄｅＥｄｇｅ＿Ｌ＝０の場合には、画像でのロストを意味する出力値としてＣａｍＴａｔｅとＣａｍＹｏｋｏを設定する。例えば、ＣａｍＴａｔｅ＝ＣａｍＹｏｋｏ＝２５６［ｍ］とする。
【００３１】
ステップ２１０では、ステップ２０２とステップ２０３で求めたαとβが、次式（１１）を満足すればステップ２１２へ、そうでなければステップ２１１へ、それぞれ進む。
α＋β ＞Ｔｈ＿Ｃｒｉｔ１・・・（１１）
ここで、Ｔｈ＿Ｃｒｉｔ１とは画像における一時的な処理変更を実施する頻度に関する正の閾値であり、２未満の数値をとる。すなわち、初回画像処理が終了し、その後、検知物体がレーダ視野角の左右端に存在する度合いが高い場合には、レーダ検知位置との照合を行わず、画像検知位置を重視することで、画像による物体トラッキングを実施中の場合でも、誤った判断により、初期画像処理状態に戻されることが無く、トラッキングを継続することができる（請求項５に対応）。
【００３２】
ステップ２１１では、ステップ２０１で読み込んだレーダ検知位置とステップ２０７もしくは２０９で算出した画像での検知位置とを次式（１２）から比較して、照合時間を表すカウンタ：ＬＲ＿ＩＰ＿Ｃｎｔを変更する。
ｉｆ（ａｂｓ（ＣａｍＴａｔｅ−Ｐｙ＿ｚ０）＋ａｂｓ（ＣａｍＹｏｋｏ−Ｐｘ＿ｚ０）＞Ｔｈ＿Ｄ）ＬＲ＿ＩＰ＿Ｃｎｔ＝ＬＲ＿ＩＰ＿Ｃｎｔ＋１
ｅｌｓｅＩＰ＿Ｓｔａｔｅ＝０，ＬＲ＿ＩＰ＿Ｃｎｔ＝０・・・（１２）
ここで、ｉｆ（ｅｘｐｒｅｓｓｉｏｎ）ｓｔａｔｅｍｅｎｔ１ｅｌｓｅｓｔａｔｅｍｅｎｔ２とは、ｅｘｐｒｅｓｓｉｏｎを満たす場合にｓｔａｔｅｍｅｎｔ１を実施し、ｅｘｐｒｅｓｓｉｏｎを満たさない場合にはｓｔａｔｅｍｅｎｔ２を実施する関数である。また、Ｔｈ＿Ｄとはレーダと画像との位置ズレの許容範囲を意味する正の閾値［ｍ］である。
【００３３】
ステップ２１２では、画像処理の信頼性を把握する。次式（１３）を満足すればステップ２１３へ、そうでない場合にはステップ２１４へ、それぞれ進む。
ＬＲ＿ＩＰ＿Ｃｎｔ＜Ｔｈ＿Ｃｎｔ・・・（１３）
ここで、Ｔｈ＿Ｃｎｔは動作サンプリング周期で決まる正の整数の閾値であり、この閾値以下の場合には画像の信頼性が低いものとする。
【００３４】
ステップ２１３では、後段へ出力する画像とレーダとの統合位置を出力する際、画像の信頼性が低いためレーダ検知位置を重視し、次式として設定してステップ２１７へ進む。
ｉｎｔｅｇｒａｔｅｄＰｘ＝Ｐｘ＿ｚ_０・・・（１４）
ｉｎｔｅｇｒａｔｅｄＰｙ＝Ｐｙ＿ｚ_０・・・（１５）
【００３５】
ステップ２１４では、後段へ出力する画像とレーダとの統合位置を求める。
ここで、統合して求められた横位置をｉｎｔｅｇｒａｔｅｄＰｘ、縦位置をｉｎｔｅｇｒａｔｅｄＰｙとする。
【００３６】
ステップ２１５では、次式（１６）によるレーダの検知状況から、画像での検知結果を重視するか否かを判断する。式（１６）を満足する場合にはステップ２１６へ、そうでない場合にはステップ２１７へ、それぞれ進む。
α＋β ＞Ｔｈ＿Ｃｒｉｔ２・・・（１６）
ここで、Ｔｈ＿Ｃｒｉｔ２とは、レーダ検知位置の精度が悪くなることを判断するための正の閾値であり、２未満の数値をとる。すなわち、検知物体がレーダ視野角の左右端に存在するときは、レーダ検知位置の精度が悪い虞があるためである。
【００３７】
ステップ２１６では、後段へ出力する画像とレーダとの統合位置において、画像処理の位置を重視するように、次式による統合位置の修正を行う。
ｉｎｔｅｇｒａｔｅｄＰｘ＝ＣａｍＴａｔｅ・・・（１７）
ｉｎｔｅｇｒａｔｅｄＰｙ＝ＣａｍＹｏｋｏ・・・（１８）
すなわち、画像とレーダとの位置を統合する際に、レーダ視野角の左右端に検知物体が存在するときは、図９に示すように横位置に段差が発生する場合があり、レーダが物体を誤検知する場合がある。よって、画像処理からの物体検知位置を重視することで、検知位置と画像検知位置の差が大きい場合であっても、画像による物体トラッキングを実施中の場合でも、誤った判断により、初期画像処理状態に戻されることが無く、トラッキングを継続することができる。尚、第１実施例では、画像処理の位置のみを用いたが、レーダによる検知位置に第１確信度を乗じ、画像処理による検知位置に第２確信度を乗じ、各確信度を乗じた検知位置を統合する構成としても良い。このとき、第２確信度を大きくするよう変更することで統合位置を求めても良い（請求項７に対応）。
【００３８】
ステップ２１７では、レーダ検知位置と画像からの検知位置を統合した位置を後段へ出力し、過去値の更新を行い、終了する。
【００３９】
次に、上記画像処理制御について図７〜図９を用いて状況別に説明する。
（前方に停止車両が存在し、その車両がレーダ視野角の左右端に存在するとき）
前方に停止車両が存在するとき（時刻ｔ０〜ｔ１）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０５→ステップ２０６→ステップ２０７→ステップ２１２へと進み、画像検知位置の信頼性を確認する。そして、画像検知位置の信頼性が高いときは、ステップ２１４→ステップ２１５→ステップ２１７へと進み、レーダ検知位置と画像検知位置を統合して統合位置を出力するとともに、過去値を更新する。画像検知の信頼性が低いときは、ステップ２１３へ進み、統合位置としてレーダ検知位置を出力する。一旦初回画像処理が終了すると、その後は、ステップ２０４→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１１へと進み、画像のトラッキングを継続しつつレーダ検知位置と照合することで、画像の信頼性を確認しつつ検知物体の位置を出力する。
【００４０】
（前方に停止車両が存在し、その車両がレーダ視野角の左右端から更にレーダ視野角外に出て行く状態）
前方に停止車両が存在し、その車両がレーダ視野角の左右端から更に自車から離れる側に移動したとき（時刻ｔ１〜ｔ２）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１０へと進む。すなわち、検知物体がレーダ視野角の左右端に存在するときは検知物体の幅が小さいが、徐々に自車から離れる側に移動しレーダ視野角外に出ると、右側のみのリフレクタを認識するため検知物体の幅が急激に小さくなる（図７〜９参照）。このときは、レーダ検知位置の誤差が大きいにも関わらず、画像検知位置とのずれが大きくなるため、画像処理の信頼性が低いと判断し、再度信頼性の低い初期状態に戻されてしまうという問題や、信頼性が高くなるまでの期間が遅くなるという問題がある。そこで、検知車両がレーダ視野角の左右端に存在するときは、レーダ検知位置と画像検知位置との照合を行わないことで、画像処理の信頼性が低いと認識することがなく、画像による物体トラッキングに支障をきたすことがない。
【００４１】
以上説明したように、第１実施例にあっては、画像処理で長期トラッキング中には、そのトラッキング状態の良否の判断としてレーダとの差異を把握する処理において、レーダ検知位置に段差や誤差が生じそうな場合では、レーダと画像との位置照合での画像失敗判断を行わない。さらに、レーダと画像との位置を統合する際には画像を重視する。このように、画像処理を一時的に変更することにより、レーダの検知精度が悪いときに誤って画像側にミスがあるものと勘違いすることがなくなるため、画像によるトラッキング性能が向上することや、後段での障害物判断処理の正確さを向上することができる。
【００４２】
（第２実施例）
次に第２実施例について説明する。基本的なハード構成は第１実施例と同様であるため、異なる点についてのみ説明する。この第２実施例は、請求項１，２，３，６項に対応するものであり、第１の実施例はレーザレーダ視野角付近では画像処理の失敗判断を行わずに画像検知位置を重視するものであるが、第２実施例では、レーダ横位置段差に対して画像処理で用いる横位置を一時的に補正するように変更することにより、より正確なフュージョン処理を行う場合である。
【００４３】
図４は第２実施例における相対速度算出制御及び障害物判断制御を表すフローチャートである。本実施例も１００ｍｓ毎に実施され、ステップ３０１は第１実施例のステップ２０１と同様なので省略する。
【００４４】
ステップ３０２は、ステップ２０２と同様であるが、次式（１９）を満足する場合には３０５へ、そうでない場合には３０３へ進む。
Ｋ１Ｔｈ＿Ｌ＜ａｔａｎ（Ｐｘ＿ｚ_０／Ｐｙ＿ｚ_０）＜Ｋ１Ｔｈ＿Ｒ・・・（１９）
ここで、式１９を満足しない場合には検知物はレーダ視野角の左右端付近に存在する微妙な測距状態であることが分かる（請求項２に対応）。
【００４５】
ステップ３０３では、ステップ２０１で読み込んだ検知物体の横位置とその過去値が、次式（２０）を満足する場合にはステップ３０４へ、そうでない場合にはステップ３０６へ進む。
ａｂｓ（Ｐｘ＿ｚ_０ − Ｐｘ＿ｚ_１）＞Ｔｈ＿Ｐｘ・・・（２０）
ここで、Ｔｈ＿Ｐｘとは横位置の変化に関する正の閾値であり、通常は障害物とする物体の大きさよりも小さい値とする。すなわち、式２０を満足すれば、検知位置の急激な変化を意味しており、車両のリフレクタの一方がレーダ視野角外に出ることで変化したことが分かる（請求項３に対応）。
【００４６】
ステップ３０４では、後に用いる物体横位置の補正量を算出する。
ｃｍｐＰｘ＝Ｐｘ＿ｚ_０ − Ｐｘ＿ｚ_１・・・（２１）
【００４７】
ステップ３０５では、後に用いる物体横位置の補正量をリセットする。
ｃｍｐＰｘ＝０・・・（２２）
【００４８】
ステップ３０６では、第１実施例におけるステップ２０４と同様なので省略する。
【００４９】
ステップ３０７では、第１実施例におけるステップ２０５と同様であるが、上式（２１）、（２２）の補正を考慮して式（２３）から、注目領域を算出する。ｄｉｓｐ＿ｏｂｊ＿ＹＡ＝（ｙ_ｏ＋（ｆｏｃｕｓＶ＊ＣＡＭ＿ｈ２／Ｐｙ＿ｚ_０））
ｄｉｓｐ＿ｏｂｊ＿ＹＢ＝（ｙ_ｏ＋（ｆｏｃｕｓＶ＊ＣＡＭ＿ｈ／Ｐｙ＿ｚ_０））・・・（２３）
ｄｉｓｐ＿ｏｂｊ＿ＸＬ＝（ｘ_ｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ_０＊（Ｐｘ＿ｚ_０−ｃｍｐＰｘ）））−（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ_０）
ｄｉｓｐ＿ｏｂｊ＿ＸＲ＝（ｘ_ｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ_０＊（Ｐｘ＿ｚ_０−ｃｍｐＰｘ）））＋（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ_０）
このように、レーダの検知位置を補正し、この補正した値に基づいて画像の注目領域を決定することで、画像処理による物体トラッキング性能が向上する（請求項６に相当）。
【００５０】
ステップ３０８からステップ３１１は、第１実施例におけるステップ２０６からステップ２０９と同様なので省略する。
【００５１】
ステップ３１２は、第１実施例におけるステップ２１１と同様であるが、式（２１）、（２２）の補正を考慮して次式（２４）のように、レーダと画像の位置を比較する。
ｉｆ（ａｂｓ（ＣａｍＴａｔｅ−Ｐｙ＿ｚ_０）＋ａｂｓ（ＣａｍＹｏｋｏ−（Ｐｘ＿ｚ_０−ｃｍｐＰｘ））＞Ｔｈ＿Ｄ）ＬＲ＿ＩＰ＿Ｃｎｔ＝ＬＲ＿ＩＰ＿Ｃｎｔ＋１
ｅｌｓｅＩＰ＿Ｓｔａｔｅ＝０，ＬＲ＿ＩＰ＿Ｃｎｔ＝０・・・（２４）
このように、補正したレーダ検知位置と画像検知位置との照合を行うことで、画像処理の信頼性が高いにも関わらずレーダ検知位置と画像検知位置が大きくずれることが無い。尚、レーダ検知位置の横位置を急変前の値として保持し、レーダ検知位置の縦位置のみ更新し、このレーダ検知位置と画像検知位置とを照合しても良い（請求項６に相当）。
【００５２】
ステップ３１３は、第１実施例におけるステップ２１２と同様なので省略する。
【００５３】
ステップ３１４は、第１実施例におけるステップ２１３と同様であるが、式（２１）、（２２）の補正を考慮して次式（２５）のように、統合位置における横位置を補正する。（縦位置は式１５と同じため、省略。）そして、ステップ３１６へ進む。
ｉｎｔｅｇｒａｔｅｄＰｘ＝Ｐｘ＿ｚ_０−ｃｍｐＰｘ・・・（２５）
【００５４】
ステップ３１５は、第１実施例におけるステップ２１４と同様のため、省略する。
【００５５】
ステップ３１６は、第１実施例におけるステップ２１７と同様のため、省略する。
【００５６】
次に、上記画像処理制御について図７〜図９を用いて状況別に説明する。
（前方に停止車両が存在し、その車両がレーダ視野角の左右端に存在するとき）
前方に停止車両が存在するとき（時刻ｔ０〜ｔ１）は、ステップ３０１→ステップ３０２→ステップ３０３→ステップ３０６→ステップ３０７→ステップ３０８→ステップ３０９へと進み、画像検知位置の信頼性を確認する。そして、画像検知位置の信頼性が高いときは、ステップ３１５→ステップ３１６へと進み、レーダ検知位置と画像検知位置を統合して統合位置を出力するとともに、過去値を更新する。画像検知の信頼性が低いときは、ステップ３１４へ進み、統合位置としてレーダ検知位置を出力する。一旦初回画像処理が終了すると、その後は、ステップ３０６→ステップ３１０→ステップ３１１→ステップ３１２へと進み、画像のトラッキングを継続しつつレーダ検知位置と照合することで、画像の信頼性を確認しつつ検知物体の位置を出力する。尚、この段階では、検知車両の左右リフレクタが両方とも検知されているため、レーダ視野角の左右端であっても特に横位置の補正は行われない。
【００５７】
（前方に停止車両が存在し、その車両がレーダ視野角の左右端から更にレーダ視野角外に出て行く状態）
前方に停止車両が存在し、その車両がレーダ視野角の左右端から更に自車から離れる側に移動したとき（時刻ｔ１〜ｔ２）は、ステップ３０１→ステップ３０２→ステップ３０３→ステップ３０４→ステップ３０６→ステップ３１０→ステップ３１１→ステップ３１２へと進む。すなわち、検知物体がレーダ視野角の左右端に存在していたとしても、左右のリフレクタを検知しているときは検知物体の幅が大きい。しかし、徐々に自車から離れる側に移動しレーダ視野角外に出ると、一方（例えば右側）のみのリフレクタを認識するため検知物体の幅が急激に小さくなり、更に、検知物体の中心位置が自車両側に急激に近づく方向に変化する。（図７〜９参照）。このときは、レーダ検知位置の誤差が大きいにも関わらず、画像検知位置とのずれが大きくなるため、画像処理の信頼性が低いと判断し、再度信頼性の低い初期状態に戻されてしまうことがないように、検知車両がレーダ視野角の左右端に存在し、レーダ検知位置が急激に変化したときは、横位置の変化量を補正することで、レーダ検知位置と画像検知位置との照合を行ったとしても、画像処理の信頼性が低いと認識することがなく、画像による物体トラッキングに支障をきたすことがない。
【００５８】
以上説明したように、第２実施例にあっては、画像処理で長期トラッキング中には、そのトラッキング状態の良否の判断としてレーダとの差異を把握する処理において、レーダ検知位置に段差や誤差が生じた場合では、レーダ位置に補正を行う。このように、画像処理を一時的に変更することにより、レーダの視野角左右端における検知精度の悪化に対しても適切に画像処理で対応することができるため、画像によるトラッキング性能が向上することや、後段での障害物判断処理の正確さが向上することができる。
【図面の簡単な説明】
【図１】第１実施例における基本構成を示す概略図である。
【図２】第１実施例における、外界認識装置の制御構成を表すブロック図である。
【図３】第１実施例における、画像処理制御を表すフローチャートである。
【図４】第１実施例における、関数ｆａｎｃ１の特性を表すマップである。
【図５】第１実施例における、関数ｆａｎｃ２の特性を表すマップである。
【図６】第２実施例における、外界認識装置の制御構成を表すブロック図である。
【図７】停止車両を検知した場合の測距状況を表す概略図である。
【図８】停止車両を検知した場合のリフレクタと車両中心の関係を表す図である。
【図９】停止車両を検知した場合の横位置及び車幅の関係を表す図である。
【図１０】画像処理シーケンスを表す図である。
【符号の説明】
１レーザレーダ
２レーダ処理装置
３ＣＣＤカメラ
４画像処理装置
５外界認識装置
６車速検出装置
７操舵角検出装置
８自動ブレーキ制御装置
９負圧ブレーキブースタ

Claims

自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から画像処理を行う画像処理手段と、
を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段の処理を変更する画像処理変更手段と、
を設けたことを特徴とする車両用外界認識装置。
請求項１に記載の車両用外界認識装置において、
前記測距状況把握手段は、前記スキャニング式測距手段における視野角の左右端付近に物体を検知したときに、前記画像処理変更手段に対し処理を変更する情報を出力することを特徴とする車両用外界認識装置。
請求項１または２に記載の車両用外界認識装置において、
前記測距状況把握手段は、前記スキャニング式測距手段の出力から、検知物体の幅が小さいときに、前記画像処理変更手段に対し処理を変更する情報を出力することを特徴とする車両用外界認識装置。
請求項１ないし３いずれか１つに記載の車両用外界認識装置において、
前記測距状況把握手段は、前記スキャニング式測距手段の出力から検知物体の横方向（車両にあっては車幅方向）の位置が自車へ接近する方向に急変したとき、或いは検知物体の大きさが急減したときに、前記画像処理変更手段に処理の変更を知らせる情報を出力することを特徴とする車両用外界認識装置。
請求項１ないし４いずれか１つに記載の車両用外界認識装置において、
前記画像処理変更手段は、前記画像処理手段による物体検知結果と前記スキャニング式測距手段による物体検知結果を比較し、物体検知結果に差異があるときは、画像処理が失敗したと判断する画像処理信頼度判断部を有し、
該画像処理信頼度判断部は、前記測距状況判断手段の出力から変更を知らせる情報が出力されると、前記画像処理手段による物体検知結果と前記スキャニング式測距手段による物体検知結果に差異が生じても、画像処理が失敗したと判断しないことを特徴とする車両用外界認識装置。
請求項１ないし５いずれか１つに記載の車両用外界認識装置において、
前記画像処理変更手段は、前記測距状況判断手段の出力から変更を知らせる情報が出力されると、前記スキャニング式測距手段の横方向の位置出力を使用しない、或いは、前記スキャニング式測距手段の変更を知らせる情報の前後の横方向のレーダ検知幅の変化から、画像処理領域を補正するように画像処理を変更することを特徴とする車両用外界認識装置。
請求項１ないし６いずれか１つに記載の車両用外界認識装置において、
前記車両用外界認識装置は、前記スキャニング式測距手段により検知した物体位置の確信度を第１確信度とし、前記画像処理手段により検知した物体位置の確信度を第２確信度とし、前記第１確信度及び第２確信度に基づいて１つの位置として統合することで検知物体の位置を検知する装置とし、
前記画像処理変更手段は、前記測距状況判断手段の出力から変更を知らせる情報が出力されると、前記第２確信度を高くすることを特徴とする車両用外界認識装置。