JP4193703B2 - 物体検出装置 - Google Patents

Description

本発明は、車両の周囲の障害物を検出する物体検出装置に関し、特に、レーダと画像認識という方式の異なる２種類の物体検出手段を備え、それらの検出結果を融合して障害物検出を行う物体検出装置に関する。

より快適な車両運行を実現するため、各種の走行支援システムが提案されている。その中で、追従走行や障害物警報を行うためには、車両の進路上の先行車両や障害物を正確に認識する技術が必要とされる。特許文献１は、こうした前方車両の認識技術の一例であり、レーザレーダを用いて車両認識を行う場合に、画像センサによる車両認識を融合することで、前方車両以外の車両や路側物等からの反射による認識結果を排除して、精度の高い認識を行おうとするものである。
特開２００３−８４０６４号公報

ところで、レーザレーダのような反射波を用いた物体検出と、画像センサからの画像認識を用いた物体検出は、それぞれ原理が異なるため、全ての障害物等を双方で検出できるとは限らない。そのため、両者を組み合わせる場合には、それぞれの特徴に応じて認識結果の融合を行う必要があると考えられるが、特許文献１の技術は、先行車のみを対象としており、このような特徴に応じた認識結果の融合については開示されていない。

そこで本発明は、レーダによる物体検出と、画像認識による物体検出の双方を用いた物体検出装置において、それぞれの特徴に応じた認識結果の融合を行う物体検出装置を提供することを課題とする。

上記課題を解決するため、本発明に係る物体検出装置は、レーダによって周囲の物体を検出する第１の物体検出手段と、取得した周囲の画像から画像認識によって周囲の物体を検出する第２の物体検出手段と、を備えている車載用の物体検出装置において、第１および第２の物体検出手段の検出結果を融合して周囲の障害物を特定する物体判定手段であって、（１）第１の物体検出手段のみが検出した物体については、その移動速度の絶対値が第１の所定値以上の場合にのみ障害物として特定し、（２）第２の物体検出手段のみが検出した物体については、その移動速度の絶対値が第２の所定値以下で、かつ、大きさが所定範囲内である場合にのみ障害物として特定し、（３）第１の物体検出手段と第２の物体検出手段の双方で検出した物体については、障害物として特定する物体判定手段をさらに備えていることを特徴とする。

ここで、第１の物体検出手段のみが検出した物体の移動速度の絶対値が第１の所定値以上である（１）の場合には、その物体を移動車両と判定するとよい。

また、第２の物体検出手段のみが検出した物体の移動速度の絶対値が第２の所定値以下で、かつ、大きさが所定範囲内である（２）の場合は、その物体を歩行者と判定するとよい。

レーダシステムは、金属物体を検出しやすいため車両の検出が得意である。反面、金属物体である空き缶や工事用の鉄板等、走行に支障はないので検出してほしくないものも同様に検出することがある。レーダシステムが静止物を検出した場合、システムから見れば不要な検出である可能性があるが、ある程度の速度を持った物体を検出した場合は車両である可能性が高いのでそれ自体で有用な情報といえる。そこで、移動速度（絶対速度）が第１の所定値以上と比較的高速の場合には、レーダシステムで検出されれば画像認識の結果に関わらずに対向車／先行車に類する障害物と判定する。

また、レーダシステムは反射の弱い歩行者などの検出は不得意であり、検出しない場合が多い。一方画像は物体の材質によらず、大きさを持った物体の検出が得意である。そこで、移動速度が第２の所定値以下と比較的低速で、かつ、大きさが所定範囲内にある場合には、画像認識により検出されれば、レーダシステムの認識結果に関わらずに、歩行者に類すると判定する。

それ以外の移動速度が第１の所定値未満の障害物については、画像認識とレーダシステムの双方で検出された場合にのみ障害物と判定する。言い換えれば、レーダシステムで検出した静止物のうち、ある大きさを持ったもののみを選択している。そうすることで、システムからみた場合の不要な検出を防止することが可能である。

障害物の特性と検出装置の特性を考慮して障害物の判定を行うので、対象物を正確に判定することができる。対向車／先行車のように比較的速度の高い物体はレーダの認識結果を用いることで、雨天や霧等で視界が悪い状態でも遠方からこれらを判別することができる。静止物（低速移動物を含む。）についてはレーダと画像認識双方で認識した物体のみを障害物と判定することで、システムからみた不要検出を防止する。歩行者については、レーダで検出することが難しいことから、画像認識結果を用いて判定することで検出が行えるようにする。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明に係る車載用の物体検出装置を用いた車両制御装置２を搭載した車両を示す概略構成図であり、図２は、この車両制御装置２のブロック構成図である。車両１に搭載されている車両制御装置２は、装置全体の制御を行う制御ＥＣＵ２０と、車両前方を電波によりスキャンして障害物を検出する第１の物体検出手段であるミリ波レーダ２１と、前方画像を取得して画像認識によって障害物を検出する第２の物体検出手段である画像認識手段２２と、衝突時における乗員への危険を軽減する危険軽減手段としてのシートベルト装置２３、エアバッグ装置２４、ブレーキ装置２５、自動操舵装置２６、歩行者保護装置２７を備えている。

ここで、図１は、右ハンドル車の例であり、シートベルト装置２３としては、運転席用のシートベルト装置２３ｂと助手席用シートベルト装置２３ａのみを示し、エアバッグ装置２４としては、助手席用のエアバッグ装置のみを示している。

画像認識手段２２は、車両前方の画像（映像）を取得する撮像手段であるカメラ２２１と取得した画像から画像認識によって障害物を取得する画像処理ＥＣＵ２２２からなる。ここで、カメラ２２１は、ステレオカメラであることが好ましい。画像処理ＥＣＵ２２２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成される。

シートベルト装置２３ａ、２３ｂは、それぞれシートベルト本体２３１ａ、２３１ｂとシートベルト巻取装置２３０ａ、２３０ｂからなる。以下、ａ、ｂの符号は特に区別する必要がある場合を除いて省略する。エアバッグ装置２４は、エアバッグ本体２４１と図示していない着座センサ等を含むエアバッグ制御装置２４０からなる。ブレーキ装置２５は、各車輪に取り付けられた図示していないディスクブレーキあるいはドラムブレーキと各ブレーキを作動させる油圧式のホイールシリンダ２５１と各ホイールシリンダ２５１へ付与される油圧を制御するブレーキアクチュエータ２５０からなる。自動操舵装置２６は、操舵系の作動を制御するステアリング制御装置２６０と、操舵系に接続されて操舵力を付与する電動式のアシストモータ２６１とを有している。

ミリ波レーダ２１と、画像処理ＥＣＵ２２２の出力は制御手段である制御ＥＣＵ２０の障害物判定部２０１に入力されており、制御ＥＣＵ２０は、エアバッグ制御装置２４０、シートベルト巻取装置２３０、ブレーキアクチュエータ２５０の作動を制御する。制御ＥＣＵ２０には、さらに、ヨーレートセンサ５１、Ｇセンサ５２、車速センサ５３、ブレーキスイッチ５４等から車両の各種状態量が入力されるほか、スロットル６１、変速手段６２等の作動も制御する。制御ＥＣＵ２０も画像処理ＥＣＵ２２２と同様にＣＰＵ、ＲＯＭ、ＲＡＭ等から構成される。なお、画像処理ＥＣＵ２２２と、制御ＥＣＵ２０とは、ハード的に一体化または一部を共有する構成とされていてもよく、ソフトウェア的にそれぞれの処理内容を実現する構成としてもよい。また、制御ＥＣＵ２０の障害物判定部２０１は、独立のハードウェアとして構成されていてもよく、あるいは、画像処理ＥＣＵ２２２と一体化されていてもよい。

本発明に係る物体検出装置３は、ミリ波レーダ２１と、画像認識手段２２と、障害物判定部２０１によって構成され、ミリ波レーダ２１の障害物検出結果と、画像認識手段２２の障害物検出結果を障害物判定部２０１で融合することで、障害物を特定し、制御ＥＣＵ２０は特定した障害物情報を基にして障害物衝突判定を行い、追従制御や障害物との衝突回避、衝突衝撃軽減制御等を行う。

図３は、この車両制御装置２の障害物の判定動作を説明するフローチャートである。この制御は、車両の電源がオンにされてから、オフにされるまでの間、制御ＥＣＵ２０によって所定のタイミングで繰り返し実行される。

まず、ミリ波レーダ２１による障害物候補の検出結果と、画像認識手段２２による障害物候補の検出結果をそれぞれ読み込む（ステップＳ１、Ｓ３）。ミリ波レーダ２１は、電波を水平方向にスキャンしながら車両１の前方へと照射し、前方車両等の障害物表面で反射された電波を受信し、受信信号の周波数変化から障害物候補の有無、障害物候補との方位・距離、相対速度等を求め、検出結果として出力する。画像認識手段２２は、画像処理ＥＣＵ２２２がカメラ２２１が撮像した画像内からエッジ抽出やパターン認識処理等によって障害物候補を抽出する。カメラ２２１にステレオカメラを採用した場合は、左右の取得画像中における対象物位置の違いを基にして三角測量方式により障害物候補との距離および方位（または空間位置）を求め、前のフレーム時に求めた距離に対する変化量から相対速度を求める。ステレオカメラを採用しない場合、画像中の対象物の位置を基にして距離または空間位置推定を行うとよい。

障害物判定部２０１は、ミリ波レーダ２１による障害物候補の検出結果と、画像認識手段２２による障害物候補の検出結果を照合する（ステップＳ５）。すなわち、ミリ波レーダ２１のみで検出された障害物候補である単独ミリ波物標（個数ｎ１）と、画像認識手段２２のみで検出された障害物候補である単独画像物標（個数ｎ２）と、両方で共通して検出された障害物候補であるフュージョン物標（個数ｎ３）とに区分する。以下、全物票の数をｎallで表す（ここで、ｎall＝ｎ１＋ｎ２＋ｎ３である）。各物標は、判定した順に１〜ｎallとナンバリングして、その位置・距離・速度・大きさの情報とともに配列に格納される。

次に、ｎallの数が０より大きいか否かを判定する（ステップＳ７）。判定結果がＮＯとなるのは、ｎall＝ｎ１＝ｎ２＝ｎ３＝０、つまり、障害物候補が存在しない場合でなるため、その後の処理をスキップして処理を終了する。障害物が１個でも存在する場合には、変数ｎに１をセットして（ステップＳ９）、各障害物についての判別処理を行うループ処理に入る。

まず、ｎ番の物標が単独ミリ波物標、単独画像物標、フュージョン物標のいずれであるかを判定する（ステップＳ１１）。ｎ番の物標はフュージョン物標と判定した場合には、ステップＳ１３へと移行して、障害物として有効と判定し、障害物の位置・距離・速度の情報を格納する配列内に情報をコピーした後、ｎとｎallとを比較する（ステップＳ１５）、ｎがｎallより小さい場合には、ｎに１を加算して（ステップＳ１７）、ステップＳ１１へと戻り、ｎがｎallに達した場合には、ループ処理を終了する。

ステップＳ１１で、ｎ番の物標は単独ミリ波物標と判定した場合には、ステップＳ１９へと移行して、物標自体の移動速度を判定する。物標の移動速度の絶対値がしきい値Ｖth（例えば、５km/h）を超えている場合には、ステップＳ２１へと移行し、物標の移動速度の絶対値がしきい値Ｖth未満の場合には、ステップＳ２３へと移行する。

ステップＳ２１へと移行する場合は、物標は比較的高速の移動体であり、かつ、ミリ波に対する表面の反射率が良好な物体であると考えられる。ミリ波は、気象条件（雨天、霧等）や周囲の明るさ等の環境条件に左右されにくく、高反射性の物体については遠方からでも検知することが可能である。そして、対向車／先行車等の車両は、ミリ波に対する反射率が良好な物体で前面または背面が形成されているため、遠方からでもミリ波レーダ２１による捕捉が可能である。さらに、衝突検知の場合には、静止している障害物より自車に向かって移動している障害物については、より遠方から捕捉する必要があり、追従制御の場合には、自車の前方を走行中の先行車を適正車間距離以上に離れた位置から捕捉する必要がある。いずれも比較的高速で移動中の車両である。そこで、比較的高速の移動体であり、かつ、ミリ波に対する表面の反射率が良好な物体であると考えられる単独ミリ波物標については、対向車／先行車であると判定して、物標の位置・距離・速度の情報を障害物情報を格納する配列内にコピーする。

ステップＳ２３へと移行する場合は、物標は静止物（移動速度が比較的低速のものを含む。）であり、かつ、ミリ波に対する表面の反射率が良好な物体であると考えられる。静止物については、各種の物体が存在するため、システムから見た場合、不要なものである可能性がある。また、障害物として車両の運行上考慮する必要がある静止物は、ある程度の大きさを持った物体であり、このような物体については、画像認識によっても識別可能と考えられる。そこで、静止物に対しては基本的にミリ波でも画像でも捕捉できた物標のみを障害物と判定することとし、ミリ波のみで捕捉した静止物については障害物として取り扱わない。

ステップＳ１１で、ｎ番の物標は単独画像物標と判定した場合には、ステップＳ２５へと移行して、物標自体の移動速度と物標の大きさを判定する。物標の移動速度の絶対値がしきい値Ｖth２（歩行速度を基準として、例えば、１０ｋｍ／ｈに設定される。）未満で、かつ、物標の大きさが所定範囲（歩行者として考えうる物体の大きさから設定され、例えば、高さ５０〜２５０cm、幅５０cm以下に設定される。）内の場合には、ステップＳ２７へと移行し、物標の移動速度の絶対値がしきい値Ｖth２以上の場合と、物標の大きさが所定範囲から外れている場合には、ステップＳ２９へと移行する。

ステップＳ２７へと移行する場合は、物標は歩行者の可能性がある。歩行者、特に人体、着衣等はミリ波に対する反射特性が望ましいとはいえず、ミリ波レーダ２１では、安定して検出することが難しい。一方、画像認識手段２２では安定して検出することが可能であるため、歩行者の可能性がある場合には、画像認識手段２２の検出結果を優先して判定を行う。すなわち、単独画像物標が歩行者の可能性がある物標である場合には、物標の位置・距離・速度の情報を障害物情報を格納する配列内にコピーする。このとき、歩行者である可能性があることを意味するフラグをセットしておくとよい。

ステップＳ２９へと移行する場合は、物標は歩行者ではない可能性が高い。前述したように、静止物に対しては基本的にミリ波でも画像でも捕捉できた物標のみを障害物と判定する。画像のみで捕捉した比較的高速で移動する物体についても、ミリ波で検出できない場合には、先行車や対向車のような車両とは考えられないため、物標捕捉の信頼性を優先することとする。すなわち、歩行者の可能性が低い対象物（高速で移動しているか大きさが歩行者として考えうる大きさにない対象物）の場合には、画像のみで検出した場合には障害物として取り扱わない。

ステップＳ２１、Ｓ２３、Ｓ２７、Ｓ２９終了後は、ステップＳ１５へと移行し、上述と同様の処理を行う。

障害物判定の結果、障害物を検出した場合は、検出した障害物に応じた処理を実行する。例えば、追従制御モードがオンになっている場合は、認識結果から先行車を判定し、別に検出した車線情報を基にして、スロットル６１、変速手段６２、ブレーキアクチュエータ２５０を制御することで先行車との車間距離を一定距離に維持しつつ、所定速度での先行車への追従走行を行う。車線情報は画像認識手段２２によって白線を認識して走行レーンを認識する手法のほか、路線情報を蓄積しておき、それを読み出したり、通信手段によって走行中の路線情報を取得したり、道路に埋設したマーカー等を検出して走行レーン情報を取得するとよい。

また、障害物の位置・速度情報とヨーレートセンサ５１、Ｇセンサ５２、車速センサ５３の出力から予想される自車の推定進路とから、自車と障害物が接触・衝突する可能性ありと判定した場合には、図示していない表示装置やスピーカー等を用いて、映像・音声により運転者に対して障害物との接触・衝突を回避するよう警報を行う。

さらに、回避行動をとっても障害物との衝突が不可避であると判定した場合には、各衝突衝撃軽減手段を制御して所定の衝突衝撃軽減動作を行わせることで、乗員および歩行者・衝突車両の乗員の衝突による衝撃を低減する。障害物との衝突が不可避か否かは、障害物との距離をその障害物との相対速度で除して求めた衝突予想時間が、衝突回避行動をとるのに必要なしきい値以下であるか否かにより判定する。

衝突衝撃軽減制御としては、まず、ブレーキ装置２５の制御として、ブレーキアクチュエータ２５０を作動させて各ホイールシリンダ２５１へ制動油圧を付与して自動的に制動を行い、減速する自動制動制御がある。あるいは、ブレーキスイッチ５４がオンになったら、通常の場合よりもアシスト油圧を大きく設定することにより、運転者のブレーキペダル踏み込みに対する応答特性を向上させ、より速やかな減速を可能とするプリクラッシュブレーキアシスト制御を行ってもよい。これにより、衝突時の自車の速度を低下させることで、衝突衝撃を低減させる。

シートベルト装置２３においては、シートベルト巻取装置２３０により予めシートベルト２３１を巻き取ることで、衝突前に乗員を座席に拘束して、衝突時における乗員の移動を抑制し、衝突時の被害を軽減する。また、乗員に拘束によって衝突の危険が迫っていることを警告できるため、万一衝突する場合でも、乗員が衝突に備えることができ、危険軽減に効果的である。

エアバッグ装置２４においては、エアバッグ制御装置２４０が乗員の姿勢、体格、衝突方向、衝突時期を基に最も適切な時期、状態でエアバッグ２４１が作動するよう制御する。シートベルト制御と合わせてエアバッグ制御を行うことで、乗員を確実に座席に拘束するとともに、エアバッグ作動による乗員へのショックを和らげ、衝突時の被害を効果的に軽減する。

自動操舵装置２６においては、適切な操舵により障害物との衝突回避・軽減が可能であると判定した場合には、ステアリング制御装置２６０がアシストモータ２６１を制御して、必要な操舵力を付与して障害物との衝突を回避もしくは軽減する方向へと舵を切り、障害物との衝突を回避または衝突のショックを軽減する。

また、衝突する対象が歩行者と推定される場合には、歩行者への衝突衝撃を緩和するため、バンパ制御装置２７０がアクティブバンパ２７１の突出量を変更して、歩行者への衝突時の衝撃を吸収する。これにより、万一衝突した場合でも歩行者への衝撃を吸収して特に脚部に及ぼす障害を軽減する。

本発明によれば、ミリ波レーダと画像認識手段のそれぞれの特性に応じて両者のうちいずれかのみで検出された単独検出物標の処理を設定しているので、精度よく対象物を判定することができる。特に、ミリ波レーダの単独検出物標が比較的高速で移動している物体の場合には、対向車／先行車と判定することで、ミリ波レーダで精度よく検出することが可能な対向車／先行車を遠方から捕捉することができる。逆に、ミリ波レーダでは正確な捕捉が困難な歩行者については、画像認識手段の検出結果を優先することで精度よく検出を行うことができる。その他の物体については、両者で検出された物体のみを障害物とすることで、誤検出を抑制する。

ここでは、第１の物体検出手段としてミリ波レーダを利用して進路上の障害物を検出する例を説明したが、赤外線や超音波、電波等を用いたレーダ装置により障害物を検出してもよい。また、第２の物体検出手段は、可視画像に限られるものではなく、赤外線画像等を用いたものでもよい。

車両制御装置としては、追従走行装置と衝突衝撃軽減制御装置の両方を備える場合を説明したが、単に衝突警報装置を備える場合など認識結果を利用するいずれかの装置が含まれていればよい。また、衝突衝撃軽減装置としては、上述した装置全てを搭載する必要はなく、また、上述した装置に限られるものでもない。

本発明に係る車載用の物体検出装置を用いた車両制御装置２を搭載した車両を示す概略構成図である。 図１の車両制御装置２のブロック構成図である。 図２の車両制御装置２の障害物の判定動作を説明するフローチャートである。

符号の説明

１…車両、２…車両制御装置、３…物体検出装置、２０…制御ＥＣＵ、２１…ミリ波レーダ、２２…画像認識手段、２３…シートベルト装置、２４…エアバッグ装置、２５…ブレーキ装置、２６…自動操舵装置、２７…歩行者保護装置、５１…ヨーレートセンサ、５２…Ｇセンサ、５３…車速センサ、５４…ブレーキスイッチ、６１…スロットル、６２…変速手段、２０１…障害物判定部、２２２…画像処理ＥＣＵ、２２１…カメラ、２３０…シートベルト巻取装置、２３１…シートベルト、２４０…エアバッグ制御装置、２４１…エアバッグ、２５０…ブレーキアクチュエータ、２５１…ホイールシリンダ、２６０…ステアリング制御装置、２６１…アシストモータ、２７０…バンパ制御装置、２７１…アクティブバンパ。

Claims (3)

1. レーダによって周囲の物体を検出する第１の物体検出手段と、取得した周囲の画像から画像認識によって周囲の物体を検出する第２の物体検出手段と、を備えている車載用の物体検出装置において、
   前記第１および第２の物体検出手段の検出結果を融合して周囲の障害物を特定する物体判定手段であって、
   前記第１の物体検出手段のみが検出した物体については、その移動速度の絶対値が第１の所定値以上の場合にのみ障害物として特定し、
   前記第２の物体検出手段のみが検出した物体については、その移動速度の絶対値が第２の所定値以下で、かつ、大きさが所定範囲内である場合にのみ障害物として特定し、
   前記第１の物体検出手段と前記第２の物体検出手段の双方で検出した物体については、障害物として特定する物体判定手段をさらに備えていることを特徴とする物体検出装置。
2. 前記第１の物体検出手段のみが検出して障害物と特定した物体を移動車両と判定することを特徴とする請求項１記載の物体検出装置。
3. 前記第２の物体検出手段のみが検出して障害物と特定した物体を歩行者と判定することを特徴とする請求項１記載の物体検出装置。

Images