JP4763250B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に関するものである。

従来、レーダを用いた画像処理システムが提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている画像処理システムによれば、例えば、レーダで検出した物体の距離や位置に基づいて画像中の物体の存在しそうな領域を限定して、画像処理を施す。

この画像処理システムの場合、レーダでの距離や位置の測定結果が欠落した場合に機能しなくなるため、レーダでの測定結果が欠落した場合であっても機能する先行車両検出装置が提案されている（例えば、特許文献２参照。）。この特許文献２に開示されている先行車両検出装置によれば、例えば、レーザレーダによる距離測定データが存在する時のテンプレート画像を記憶しておき、距離測定データがなくなった時に、記憶したテンプレート画像に最も近い画像領域を探索し、その中心の先行車両推定点から先行車両との車間距離を算出する。
特開平９−２６４９５４号公報 特開平１１−４４５３３号公報

上述した、従来の先行車両検出装置において、自車両にピッチングが発生する時には、そのピッチングに伴って画像中の先行車両の位置が上下し、先行車両推定点も上下する。従って、画像中の先行車両推定点の位置から車間距離を算出すると、正確な車間距離が得られない。また、距離測定データが欠落している間に先行車両との車間距離が変化すると、画像中の先行車両の大きさが変化するため、車間距離の精度が低下してしまう。

本発明は、かかる問題を鑑みてなされたもので、レーダで物体までの距離が測定できない場合でも、画像単独で高い距離精度を得ることができる物体検出装置を提供することを目的とする。

請求項１に記載の物体検出装置は、物体までの距離を検出する検出手段と、物体を含む画像を撮影する撮像手段と、検出手段の検出した物体までの距離と、距離を検出したときの撮像手段の撮影した画像とを対応付けて記憶する記憶手段と、検出手段が物体までの距離を検出しているか否かを判定する判定手段と、判定手段によって検出手段が検出していないと判定される場合に、撮像手段が現在撮影した現在画像と記憶手段が記憶した画像とに含まれる同一物体のサイズ比を算出し、この算出したサイズ比と記憶手段が記憶した距離とから現在の物体までの距離を算出する物体距離算出手段と、撮像手段の撮影した画像から、物体の物体画像を抽出する物体画像抽出手段とを備え、
記憶手段は、物体までの距離と物体画像とを対応付けて記憶し、物体画像抽出手段は、検出手段の検出した物体までの距離に基づいて、抽出すべき物体画像の大きさ、及び抽出対象の画像領域の少なくとも一方を限定して、物体画像を抽出し、物体距離算出手段は、物体画像のサイズを拡大・縮小したうえで、その拡大・縮小した物体画像に適合する現在画像における画像領域を探索する画像領域探索手段を備え、画像領域探索手段によって物体画像に適合する画像領域が探索できた場合に、現在の物体までの距離を算出し、検出手段は、物体との相対速度をさらに検出し、撮像手段は、一定時間毎に画像を撮影し、物体までの距離と相対速度とを用いて、撮像手段が次回に撮影した場合の物体までの推定距離を算出する推定距離算出手段をさらに備え、
画像領域探索手段は、推定距離から、現在画像における物体画像の仮想サイズ、又は／及び現在画像における物体画像の仮想位置を算出する仮想サイズ・位置算出手段を備え、仮想サイズ・位置算出手段の算出した仮想サイズを用いて物体画像のサイズの拡大・縮小率を設定し、その設定した拡大・縮小率で物体画像のサイズを拡大・縮小する、又は／及び、仮想サイズ・位置算出手段の算出した仮想位置を用いて、現在画像の上下方向における探索対象の画像領域を限定し、その限定した画像領域から物体画像に適合する画像領域を探索することを特徴とする。

これにより、撮影手段が自動車等の車両に搭載され、自車両にピッチングが発生する場合であっても、画像における物体の位置は上下するものの、その画像における物体のサイズ（大きさ）は変わらないため、同一物体のサイズ比に基づいて物体までの正確な距離を得ることができる。

また、物体までの距離とその距離を検出したときの撮像手段の撮影した画像とを対応付けて記憶するため、検出手段が検出していない間に物体までの距離が変化する場合であっても、距離の精度を向上することができる。その結果、画像単独で高い距離精度を得ることが可能となる。
また、例えば、電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵したＣＣＤカメラ等の撮像手段が自動車等の車両に搭載され、自車両の進行方向に存在する先行車両等の移動物体を含む画像を撮影する場合、画像の水平方向の画角を４０度、撮像素子の画素サイズを７μｍ×７μｍ、画像解像度ＶＧＡ（６４０×４８０）である場合、画像に写し出される先行車両の画素数は、次式で示される。
（数１）
（先行車両の画素数）＝（先行車両の実際の大きさ）×８７９／（先行車両までの距離）
従って、例えば、先行車両の実際の大きさを１．２〜２．５ｍと仮定すると、先行車両までの距離が５０ｍである場合、画像に写し出される先行車両の画素数は、２１〜４４となる。このことから、物体までの距離に基づいて、抽出すべき物体画像の大きさを限定することができるため、限定した大きさの物体画像を抽出することで、物体画像の抽出に要する時間の短縮と抽出精度の向上を図ることができる。
また、先行車両の写し出される領域は、一般に、先行車両までの距離が短い場合には広く、先行車両までの距離が長くなるに従って狭くなる。このことから、例えば、撮像手段が道路に対して水平な状態で撮影する場合、先行車両までの距離に応じて画像の上下方向における抽出対象の画像領域が限定できるため、この限定した画像領域から物体画像を抽出することで、画像全体を抽出対象の画像領域として物体画像を抽出する場合に比べ、物体画像の抽出に要する時間を短縮することができる。
なお、道路勾配の変動によって、画像に写し出される先行車両の位置も異なるため、道路勾配の変動を踏まえて抽出対象の画像領域を限定するとよい。
また、拡大・縮小した物体画像に適合する画像領域を探索することで、撮像手段の撮影範囲内の物体が検出手段の検出可能範囲から外れている間に物体までの距離が変化して、その物体画像のサイズが変化する場合であっても、物体画像に適合する画像領域を探索することができる。
また、推定距離から算出した仮想サイズを用いて物体画像のサイズの拡大・縮小率を設定し、この設定した拡大・縮小率の付近で物体画像を拡大・縮小することで、無作為に物体画像のサイズを拡大・縮小して探索する場合に比べ、物体画像に適合する領域の探索に要する時間を短縮することができる。
また、推定距離から算出した仮想位置を用いて現在画像の上下方向における探索対象の画像領域を限定し、この限定した画像領域から物体画像に適合する領域を探索することで、探索対象の画像領域を限定せずに探索する場合に比べ、探索に要する時間を短縮することができる。

請求項２に記載の物体検出装置によれば、撮像手段は、検出手段の検出可能範囲よりも広く、かつ、検出可能範囲を含む撮影範囲の画像を撮影するものであって、判定手段は、撮影範囲内の物体が検出可能範囲から外れたときに、検出手段が検出していないと判定するものであることを特徴とする。

これにより、一旦、検出手段で検出した物体が検出手段の検出可能範囲から外れても、その後、撮像手段の撮影範囲から外れない限り、判定手段によって検出手段が検出していないと判定し続けることができる。その結果、物体までの距離を継続して算出することができる。

請求項３に記載の物体検出装置によれば、物体画像抽出手段は、物体までの距離に基づいて、物体画像を抽出する際の画像の上下方向における抽出対象の画像領域を限定し、その限定した画像領域から物体画像を抽出することを特徴とする。これにより、抽出対象の画像領域が限定できるため、物体画像の抽出に要する時間の短縮を図ることができる。

請求項４に記載の物体検出装置によれば、検出手段は、検出手段の検出可能範囲の中心位置に対する横ずれ位置をさらに検出するものであって、物体画像抽出手段は、横ずれ位置に基づいて、物体画像を抽出する際の画像の左右方向における抽出対象の画像領域をさらに限定し、その限定した画像領域から物体画像を抽出することを特徴とする。

このように、画像の左右方向における抽出対象の画像領域を限定して物体画像を抽出することで、画像全体を抽出対象の画像領域として物体画像を抽出する場合に比べ、物体画像の抽出に要する時間を短縮することができる。

請求項５に記載の物体検出装置は、物体画像抽出手段の抽出した物体画像から、画像における物体の中心位置を算出する中心位置算出手段を備え、画像領域探索手段は、中心位置算出手段の算出した中心位置を用いて、現在画像の左右方向における探索対象の画像領域を限定し、その限定した画像領域から物体画像に適合する画像領域を探索することを特徴とする。

これにより、現在画像の左右方向における探索対象の画像領域が限定されるため、探索対象の画像領域を限定せずに探索する場合に比べ、探索に要する時間を短縮することができる。

請求項６に記載の物体検出装置は、判定手段によって検出手段が検出していないと判定される場合に、物体距離算出手段の算出した現在の物体までの距離、記憶手段の記憶した距離、及び相対速度を用いて、現在の物体との相対速度を算出する相対速度算出手段を備え、推定距離算出手段は、物体距離算出手段の算出した現在の物体までの距離と相対速度算出手段の算出した相対速度とを用いて推定距離を算出することを特徴とする。

これにより、検出手段が検出していない場合であっても、物体との相対速度を得ることができる。また、この相対速度に基づいて、撮影手段が次回に撮影した場合の物体までの推定距離を算出することが可能となる。

請求項７に記載の物体検出装置によれば、記憶手段は、判定手段によって検出手段が検出していないと判定される場合、物体距離算出手段の算出した現在の物体までの距離と現在画像とを対応付けて記憶することを特徴とする。

例えば、撮影手段の撮影する画像全体の明るさの程度（画素値）が著しく変化するような場合、同じ先行車両であっても、その画素値が著しく変化し、画像領域の探索を行う前に画素値の大幅な調整が必要となる。また、例えば、先行車両のみが自車両前方のカーブ路に進入した場合、撮影手段に写し出される先行車両の形状が直線路を走行している場合に写し出される先行車両の形状と異なる（すなわち、先行車両の後部だけでなく側部まで写し出されるようになる）。

従って、検出手段が継続して検出していない場合であっても、撮影手段によって撮影された最新の画像と、その最新の画像に対応する物体距離算出手段の算出した現在の物体までの距離を継続して記憶することで、撮影手段の撮影する画像全体の明るさの程度（画素値）が著しく変化する場合であっても、画素値の大幅な調整をすることなく、画像領域探索手段による物体画像に適合する画像領域の探索を行うことができる。また、道路形状に左右されることがなくなる。

以下、本発明の物体検出装置の実施形態について、図面を参照して説明する。なお、本実施形態では、自動車等の車両に搭載され、自車両と先行車両との車間距離を一定に保持したり、衝突を回避したりするように、自車両の駆動系、制動系、及び操舵系の各種アクチュエータの駆動を制御して自車両の運転者の運転操作を支援する運転支援システムの一機能として、本発明の物体検出装置を採用した場合の一例について説明する。

図１に、本実施形態の運転支援システムの全体構成のブロック図を示す。同図に示すように、本実施形態の運転支援システム１００は、レーダ１０、カメラ２０、画像処理装置３０、及び車両制御装置４０によって構成される。

レーダ１０は、図２に示すように、自車両の前部付近に搭載されるもので、例えば、レーザ光を用いたレーザレーダや、ミリ波等の電波を用いたミリ波レーダ等が採用される。レーダ１０は、図示しない送信部から自車両の前方に向けて送信波を照射し、その反射波を図示しない受信部にて検出し、この検出した反射波に基づいて、自車両前方の先行車両等の物体を検出する。このレーダ１０は、図４に示すように、水平（左右）方向に２０度程度の検出可能範囲内の物体を検出する。

そして、レーダ１０は、この検出した先行車両までの距離（Ｚ）、自車両と先行車両との相対速度（Ｖｚ）、及び、横位置（横ずれ位置：Ｘ）からなる物体データを画像処理装置３０、及び車両制御装置４０へ所定時間毎（例えば、１００ミリ秒毎）に送信する。なお、距離（Ｚ）、及び横位置（Ｘ）は、図３に示すように、レーダ１０の検出可能範囲の中心位置と一致する自車両の前部のバンパ中心位置を原点ＯとするＸ−Ｚ座標系におけるＸ軸、及びＺ軸からの長さを示すものである。

カメラ２０は、例えば、電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵したＣＣＤカメラ等であり、図２に示すように自車両の前方を撮影することができる位置に搭載される。このカメラ２０は、図４に示すように、レーダ１０の検出可能範囲を含む水平（左右）方向に４０度程度の撮影範囲の画像を撮影する。従って、レーダ１０では検出できないもののカメラ２０で撮影できる領域が存在する。

すなわち、一般に、レーザレーダやミリ波レーダ等のレーダ１０の検出可能範囲に比べカメラ２０の撮影範囲の方が広いため、カメラ２０でのみ撮影できる領域が存在する。従って、この領域に先行車両が存在する場合には、レーダ１０による先行車両の検出ができない。

このカメラ２０は、図示しない内蔵された制御部からの指示に応じて、シャッタースピード、フレームレート、及び、画像処理装置３０へ出力するデジタル信号のゲイン等を調整することが可能に構成されている。カメラ２０は、撮影した画像の画素毎の明るさの程度（画素値）を示す画像データのデジタル信号を画像の水平・垂直同期信号とともに画像処理装置３０へ出力する。

画像処理装置３０は、レーダ１０からの物体データとカメラ２０からの画像データに基づいて、先行車両までの距離、相対速度、横位置、横幅からなる先行車データを算出して、車両制御装置４０に所定時間毎（例えば、１００ミリ秒毎）に送信する。

車両制御装置４０では、レーダ１０からの物体データや画像処理装置３０からの先行車データに基づいて、先行車両との車間距離を一定に保持したり、衝突を回避したりするように自車両の駆動系、制動系、及び操舵系の各種アクチュエータの駆動を制御する。

このような構成を有する本実施形態の運転支援システム１００は、例えば、レーダ１０で検出していた先行車両がレーダ１０の検出可能範囲から外れてカメラ２０の撮影範囲内に移動した場合や、レーダ１０の不具合の発生等によってレーダ１０で検出していた先行車両ができなくなった場合等によって、画像処理装置３０や車両制御装置４０へ送信していた物体データが欠落した場合であっても、カメラ２０の撮影する画像単独で高い距離精度を得ることを目的としている。

次に、本実施形態の運転支援システム１００の画像処理装置３０における処理について、図７、及び図８に示すフローチャートを用いて説明する。先ず、ステップ（以下、Ｓと記す）１０では、レーダ１０からの物体データ（距離Ｚ、相対速度Ｖｚ、横位置Ｘ）を取得する。Ｓ２０では、カメラ２０から画像データを取得する。Ｓ３０では、レーダ１０からの物体データの有無（すなわち、レーダ１０が先行車両を検出しているか否か）を判定する。ここで、肯定判定される場合にはＳ１００へ処理を進め、否定判定される場合にはＳ２００へ処理を進める。

このＳ３０の判定処理は、上述したように、レーダ１０で検出していた先行車両がレーダ１０の検出可能範囲から外れてカメラ２０の撮影範囲内に移動したか否か、或いは、レーダ１０の不具合の発生等によってレーダ１０で検出していた先行車両ができなくなったか否かを判定している。

この判定処理により、一旦、レーダ１０で検出した先行車両がレーダ１０の検出可能範囲から外れても、その後、カメラ２０の撮影範囲から外れない限り、このＳ３０において、レーダ１０が先行車両を検出していないと判定し続け、そして、後述する処理によって、その先行車両までの距離を画像単独で継続して算出できるようになる。

Ｓ１００では、図５に示すように、カメラ２０で撮影した画像から先行車両の写し出された先行車画像を抽出する。この先行車画像の抽出方法としては、例えば、エッジ検出やパターン認識を使った一般的な方法を用いれば良いため、その詳細は省略する。

なお、Ｓ１００では、レーダ１０の物体データに含まれる距離（Ｚ）、横位置（Ｘ）に基づいて、先行車画像の抽出の際の画像の上下、左右方向における抽出対象の画像領域を限定して、その限定した画像領域から先行車画像を抽出するとよい。

すなわち、先行車両が写し出される領域は、一般に、先行車両までの距離が短い場合には広く、先行車両までの距離が長くなるに従って狭くなる。例えば、図５に示す先行車画像の場合、先行車は、カメラ２０が道路に対して水平な状態（道路勾配が殆どない状態）で撮影している限り、先行車両までの距離が長くなるに従って、画像中心部付近に小さく写し出されることになる。また、図４に示したように、レーダ１０の検出可能範囲とカメラ２０の撮影範囲の中心を通る軸（Ｚ軸）は同一であるため、先行車両が写し出される領域は、横位置に応じた左右方向の位置となる。

このことから、カメラ２０が道路に対して水平な状態で撮影する場合、物体データの距離（Ｚ）や横位置（Ｘ）に基づいて、画像の上下、及び左右方向における抽出対象の画像領域が限定できるため、この限定した画像領域から先行車画像を抽出することで、画像全体を抽出対象の画像領域として先行車画像を抽出する場合に比べ、先行車画像の抽出に要する時間を短縮することができる。

なお、道路勾配の変動によって、画像に写し出される先行車両の位置も異なるため、道路勾配の変動を踏まえて抽出対象の画像領域を限定するとよい。

また、さらに、Ｓ１００において、レーダ１０の物体データに含まれる距離（Ｚ）に基づいて、抽出すべき先行車画像の大きさを限定し、その限定した大きさの先行車画像を抽出するようにしてもよい。

例えば、図４に示したように、カメラ２０の水平方向の画角（撮影範囲）を４０度、撮像素子の画素サイズを７μｍ×７μｍ、画像解像度ＶＧＡ（６４０×４８０）である場合、画像に写し出される先行車両の画素数は、次式で示される。

（数２）
（先行車両の画素数）＝（先行車両の実際の大きさ）×８７９／（先行車両までの距離）
従って、例えば、先行車両の実際の大きさを１．２〜２．５ｍと仮定すると、先行車両までの距離が５０ｍである場合、画像に写し出される先行車両の画素数は、２１〜４４となる。このことから、距離（Ｚ）に基づいて、抽出すべき先行車画像の大きさを限定することができるため、限定した大きさの先行車画像を抽出することで、先行車画像の抽出に要する時間の短縮と抽出精度の向上を図ることができる。

Ｓ１１０では、レーダ１０からの物体データの距離（Ｚ）を車両制御装置４０へ送信する先行車データの先行車距離（Ｚｄ）として設定し、Ｓ１２０では、レーダ１０からの物体データの相対速度（Ｖｚ）を先行車データの先行車相対速度（Ｖｚｄ）として設定する。

Ｓ１３０では、図６に示すように、Ｓ１００で抽出した先行車画像（先行車記憶画像）とレーダ１０からの物体データの距離（Ｚ）（先行車記憶距離Ｚ０）とを対応付けて記憶する。ここで記憶される先行車記憶画像は、レーダ１０が同一の先行車両を検出し続ける限り最新の画像となる。

図８に示すＳ４００では、数式３に示すように、先行車データの先行車距離（Ｚｄ）と先行車相対速度（Ｖｚｄ）を用いて、カメラ２０が次回（例えば、ΔＴ＝１００ミリ秒後）に先行車両を撮影した場合の先行車両までの推定距離（次回距離推定値、Ｚｎ）を算出する。

（数３）
次回距離推定値（Ｚｎ）＝先行車距離（Ｚｄ）＋｛先行車相対速度（Ｖｚｄ）×ΔＴ｝
Ｓ４１０では、抽出した先行車画像から、実空間（すなわち、Ｘ−Ｚ座標系）における先行車両の中心位置（Ｘｄ）と先行車両の横幅（Ｗｄ）を算出する。Ｓ５００では、先行車データ｛先行車距離（Ｚｄ）、横位置（Ｘｄ）（＝先行車両の中心位置）、先行車両の横幅（Ｗｄ）、先行車相対速度（Ｖｚｄ）｝を車両制御装置４０へ送信する。

Ｓ３０において、レーダ１０で検出していた先行車両がレーダ１０の検出可能範囲から外れてカメラ２０の撮影範囲内に移動した、或いは、レーダ１０の不具合の発生等によってレーダ１０で検出していた先行車両ができなくなったために、レーダ１０からの物体データが無いと判定された場合、Ｓ２００では、Ｓ１３０にて記憶した先行車記憶画像のサイズを拡大・縮小し、その拡大・縮小した先行車記憶画像の位置をＳ２０にて取得した現在撮影した現在画像上で変化させたときに、両者が最も適合する画像領域を探索する。

例えば、このＳ２００では、現在画像と先行車記憶画像の画素毎の画素値の差を取り、その差分の絶対値を先行車記憶画像の画素分だけ足し合わせたときの和（以下、差分絶対値和と呼ぶ）が最も小さい値を示したときの画像領域を探索する。

このように、拡大・縮小した先行車記憶画像に適合する現在画像における画像領域を探索することで、カメラ２０の撮影範囲内の先行車両がレーダ１０の検出可能範囲から外れている間に先行車両までの距離が変化して、その先行車両の画像におけるサイズが変化する場合であっても、先行車記憶画像に適合する画像領域を探索することができる。

なお、Ｓ２００における画像領域の探索では、Ｓ４００にて算出した次回距離推定値（Ｚｎ）から、現在画像における先行車画像の仮想サイズ、又は／及び仮想位置を算出し、この仮想サイズを用いて先行車記憶画像のサイズの拡大・縮小率を設定し、この設定した拡大・縮小率の付近で先行車記憶画像のサイズを拡大・縮小するとよい。これにより、無作為に先行車記憶画像のサイズを拡大・縮小して探索する場合に比べ、先行車記憶画像に適合する画像領域の探索に要する時間を短縮することができる。

また、算出した先行車画像の仮想位置と、前回撮影した画像における先行車記憶画像の中心位置を用いて、現在画像の上下・左右方向における探索対象の画像領域を限定し、この限定した画像領域から先行車記憶画像に最も適合する画像領域を探索するとよい。これにより、現在画像の上下、及び左右方向における探索対象の画像領域が限定されるため、探索対象の画像領域を限定せずに探索する場合に比べ、探索に要する時間を短縮することができる。

Ｓ２１０では、Ｓ２００で探索した差分絶対値和の最小値が所定の閾値よりも小さいか否かを判定する。ここで、肯定判定された場合にはＳ２２０へ処理を進め、否定判定される場合にはＳ３００へ処理を移行する。Ｓ３００は、Ｓ２１０の判定によって、先行車記憶画像に対応する領域が存在しなかった（すなわち、先行車両がカメラ２０の撮影範囲から外れた）ということになるため、先行車データをクリアする。そして、Ｓ５００にて、先行車両が存在しない旨を示す先行車データを車両制御装置４０へ送信する。

Ｓ２２０では、図６に示すように、Ｓ２００において現在画像から探索した、先行車記憶画像に最も適合した画像領域に写し出される先行車現在画像と先行車記憶画像とのサイズ比を算出する。例えば、同図に示すように、先行車記憶画像の画像上の横幅（Ｗｄ０）と先行車現在画像の画像上の横幅（Ｗｄ１）との横幅の比（Ｗｄ０／Ｗｄ１）をサイズ比として求める。

Ｓ２３０では、先行車記憶画像に対応付けて記憶した先行車記憶距離（Ｚ０）にＳ２２０にて算出したサイズ比を乗じて先行車距離（Ｚｄ）を求める。Ｓ２４０では、Ｓ２３０で算出した先行車距離（Ｚｄ）、前回の先行車距離、前回の先行車相対速度から、今回の先行車相対速度（Ｖｚｄ）を算出する。これにより、レーダ１０が先行車両を検出していない場合であっても、先行車両との相対速度を得ることができる。

Ｓ４００では、Ｓ２２０で算出した先行車データの先行車距離（Ｚｄ）とＳ２３０で算出した先行車相対速度（Ｖｚｄ）を用いて次回距離推定値（Ｚｎ）を算出する。これにより、レーダ１０が先行車両を検出していない場合であっても、カメラ２０が次回に撮影した場合の先行車両までの次回距離推定値（Ｚｎ）を算出することができる。

このように、本実施形態の運転支援システム１００における画像処理装置３０は、レーダ１０で検出した先行車両までの距離｛先行車記憶距離（Ｚ０）｝と、その距離を検出したときの先行車両の画像（先行車記憶画像）とを対応付けて記憶し、レーダ１０が検出できなくなった場合には、カメラ２０が現在撮影した現在画像に写し出される先行車両の画像と先行車記憶画像とのサイズ比を算出し、この算出したサイズ比を先行車記憶距離（Ｚ０）に乗じることで、現在の先行車両までの距離を算出する。

これにより、自車両にピッチングが発生する場合であっても、カメラ２０によって撮影された画像における先行車両の位置は上下するものの、その画像における先行車両のサイズ（大きさ）は変わらないため、現在画像に映し出される先行車両の画像と先行車記憶画像とのサイズ比に基づいて先行車両までの正確な距離を得ることができる。

また、先行車記憶距離と、その距離を検出したときの先行車記憶画像とを対応付けて記憶しているため、レーダ１０が検出していない間に先行車両までの距離が変化する場合であっても、距離の精度を向上することができる。その結果、画像単独で高い距離精度を得ることが可能となる。

（変形例）
本実施形態では、Ｓ２００における画像領域の探索において、レーダ１０が先行車両を検出している際に撮影した先行車記憶画像を用いて探索するものであるが、例えば、カメラ２０の撮影する画像全体の明るさの程度（画素値）が著しく変化するような場合、同じ先行車両であっても、その画素値が著しく変化し、画像領域の探索を行う前に画素値の大幅な調整が必要となる。また、例えば、先行車両に自車両が追従して直線路を走行しているときに、先行車両のみが自車両前方のカーブ路に進入した場合、カメラ２０によって写し出される先行車両の形状が直線路を走行している場合に写し出される先行車両の形状と異なる。（すなわち、先行車両の後部だけでなく側部まで写し出されるようになる）。

そのため、例えば、Ｓ２１０にて肯定判定された場合には、現在画像に写し出される先行車両の画像を先行車記憶画像として、Ｓ２３０にて算出した先行車距離と対応付けて記憶し、それ以降の処理に用いるようにしてもよい。

これにより、レーダ１０が継続して先行車両を検出していない場合であっても、カメラ２０によって撮影された最新の先行車の画像と、その最新の先行車の画像に対応する現在の先行車両までの距離が継続して記憶されるため、例えば、カメラ２０の撮影する画像全体の明るさの程度（画素値）が著しく変化する場合であっても、画素値の大幅な調整をすることなく、Ｓ２００において、先行車記憶画像に適合する画像領域の探索を行うことができる。また、道路形状に左右されることがなくなる。

本発明の実施形態に係わる、運転支援システム１００の全体構成を示すブロック図である。 レーダ１０、及びカメラ２０の自車両における搭載位置を示す図である。 自車両のバンパ中心を原点ＯとするＸ−Ｚ座標系を示す図である。 レーダ１０の検出可能範囲とカメラ２０の撮影範囲を示す図である。 抽出した先行車画像を示した図である。 記憶画像と現在画像とのサイズ比から現在の距離Ｚを求める例を示した図である。 本発明の実施形態に係わる、画像処理装置３０おける処理の前半部分の流れを示すフローチャートである。 本発明の実施形態に係わる、画像処理装置３０おける処理の後半部分の流れを示すフローチャートである。

符号の説明

１０ レーダ
２０ カメラ
３０ 画像処理装置
４０ 車両制御装置
１００ 運転支援システム

Claims (7)

1. 物体までの距離を検出する検出手段と、
   前記物体を含む画像を撮影する撮像手段と、
   前記検出手段の検出した物体までの距離と、該距離を検出したときの前記撮像手段の撮影した画像とを対応付けて記憶する記憶手段と、
   前記検出手段が前記物体までの距離を検出しているか否かを判定する判定手段と、
   前記判定手段によって前記検出手段が検出していないと判定される場合に、前記撮像手段が現在撮影した現在画像と前記記憶手段が記憶した画像とに含まれる同一物体のサイズ比を算出し、この算出したサイズ比と前記記憶手段が記憶した距離とから現在の前記物体までの距離を算出する物体距離算出手段と、
   前記撮像手段の撮影した画像から、前記物体の物体画像を抽出する物体画像抽出手段とを備え、
   前記記憶手段は、前記物体までの距離と前記物体画像とを対応付けて記憶し、
   前記物体画像抽出手段は、前記検出手段の検出した物体までの距離に基づいて、抽出すべき物体画像の大きさ、及び抽出対象の画像領域の少なくとも一方を限定して、前記物体画像を抽出し、
   前記物体距離算出手段は、前記物体画像のサイズを拡大・縮小したうえで、その拡大・縮小した物体画像に適合する前記現在画像における画像領域を探索する画像領域探索手段を備え、前記画像領域探索手段によって前記物体画像に適合する画像領域が探索できた場合に、前記現在の物体までの距離を算出し、
   前記検出手段は、前記物体との相対速度をさらに検出し、
   前記撮像手段は、一定時間毎に前記画像を撮影し、
   前記物体までの距離と相対速度とを用いて、前記撮像手段が次回に撮影した場合の前記物体までの推定距離を算出する推定距離算出手段をさらに備え、
   前記画像領域探索手段は、
   前記推定距離から、前記現在画像における物体画像の仮想サイズ、又は／及び前記現在画像における物体画像の仮想位置を算出する仮想サイズ・位置算出手段を備え、
   前記仮想サイズ・位置算出手段の算出した仮想サイズを用いて前記物体画像のサイズの拡大・縮小率を設定し、その設定した拡大・縮小率で前記物体画像のサイズを拡大・縮小する、又は／及び、
   前記仮想サイズ・位置算出手段の算出した仮想位置を用いて、前記現在画像の上下方向における探索対象の画像領域を限定し、その限定した画像領域から前記物体画像に適合する画像領域を探索することを特徴とする物体検出装置。
2. 前記撮像手段は、前記検出手段の検出可能範囲よりも広く、かつ、前記検出可能範囲を含む撮影範囲の画像を撮影するものであって、
   前記判定手段は、前記撮影範囲内の物体が前記検出可能範囲から外れたときに、前記検出手段が検出していないと判定するものであることを特徴とする請求項１記載の物体検出装置。
3. 前記物体画像抽出手段は、前記物体までの距離に基づいて、前記物体画像を抽出する際の前記画像の上下方向における抽出対象の画像領域を限定し、その限定した画像領域から前記物体画像を抽出することを特徴とする請求項１又は２記載の物体検出装置。
4. 前記検出手段は、前記検出手段の検出可能範囲の中心位置に対する横ずれ位置をさらに検出するものであって、
   前記物体画像抽出手段は、前記横ずれ位置に基づいて、前記物体画像を抽出する際の前記画像の左右方向における抽出対象の画像領域をさらに限定し、その限定した画像領域から前記物体画像を抽出することを特徴とする請求項１〜３の何れか１項に記載の物体検出装置。
5. 前記物体画像抽出手段の抽出した物体画像から、前記画像における前記物体の中心位置を算出する中心位置算出手段を備え、
   前記画像領域探索手段は、前記中心位置算出手段の算出した中心位置を用いて、前記現在画像の左右方向における探索対象の画像領域を限定し、その限定した画像領域から前記物体画像に適合する画像領域を探索することを特徴とする請求項１〜４の何れか１項に記載の物体検出装置。
6. 前記判定手段によって前記検出手段が検出していないと判定される場合に、前記物体距離算出手段の算出した前記現在の物体までの距離、前記記憶手段の記憶した距離、及び相対速度を用いて、前記現在の物体との相対速度を算出する相対速度算出手段を備え、
   前記推定距離算出手段は、前記物体距離算出手段の算出した前記現在の物体までの距離と前記相対速度算出手段の算出した相対速度とを用いて前記推定距離を算出することを特徴とする請求項１〜５の何れか１項に記載の物体検出装置。
7. 前記記憶手段は、前記判定手段によって前記検出手段が検出していないと判定される場合、前記物体距離算出手段の算出した前記現在の物体までの距離と前記現在画像とを対応付けて記憶することを特徴とする請求項１〜６の何れか１項に記載の物体検出装置。

Images