JP2009277021A - 接近物検出装置および接近物検出方法 - Google Patents

Abstract

【課題】新たにセンサなどのハードウエアを追加することなく、車両の旋回を検出することにより、接近物の誤検出を防止する。
【解決手段】接近物検出装置１において、オプティカルフロー算出部２３は、車両の前端部に設けられた側方カメラ４により撮影された車両の前部側方の動画像についてのオプティカルフローを算出する。旋回検出部２４は、その算出されたオプティカルフローについて、前記動画像の遠景部分の広い領域に車両の走行方向と同じ方向のオプティカルフローが現れたことを検出することにより、車両の旋回を検出する。また、接近物検出部２５は、旋回検出部２４により車両の旋回が検出されなかったとき、前記算出されたオプティカルフローに基づき接近物を検出し、車両の旋回が検出されたとき、接近物の検出動作を停止する。
【選択図】図１

Description

本発明は、車両の前部側方から接近する接近物を検出する接近物検出装置および接近物検出方法に関する。

近年、道路を走行する乗用車などの車両においては、しばしば、車両の前端部にカメラが設けられ、そのカメラにより取得される左右側方の映像が車内の表示装置に表示され、ドライバが交差点などにおいて左右側方から接近する接近物（車両、自転車、人など）を容易に確認できるようにされている。特許文献１には、その映像（動画像）の中から、接近物を自動的に検出する接近物検出装置が開示されている。

その接近物検出装置では、動画像中における接近物検出の基礎技術としてオプティカルフローが用いられている。オプティカルフローとは、動画像の中で移動する物体の見かけの移動速度をベクトルとして表したものである。例えば、動画像における移動物体上に固定した点Ｐが、ある時刻（つまり、あるフレーム）で画素位置（ｘ１，ｙ１）にあり、単位時間後の時刻（例えば、次のフレーム）に画素位置（ｘ２，ｙ２）に移動したとすれば、画素位置（ｘ１，ｙ１）におけるオプティカルフローは、（ｘ２−ｘ１，ｙ２−ｙ１）なるベクトルで表すことができる。

一般に、車両が走行しているとき、車両の前部側方の動画像の広い領域には、車両の進行方向と反対方向の成分を有するオプティカルフローが現れる。そこで、特許文献１に記載の接近物検出装置では、そのオプティカルフローが現れた広い領域の中にあって、車両の走行方向と同じ方向成分を有するオプティカルフローの小領域が現れた場合には、その小領域部分に自車両に接近する接近物があると判断する。このようにして、前部側方の動画像から得られるオプティカルフローにより接近物を検出することができる。

しかしながら、車両が交差点などで旋回（右折または左折）する場合には、その動画像に現れるオプティカルフローの状況が大きく変化するために、オプティカルフローからだけでは接近物を検出することができなくなり、接近物を誤検出（検出漏れを含む）するようになる。そこで、特許文献１に記載された接近物検出装置では、操舵角検出手段を設け、その操舵角検出手段により車両の旋回を検出したときには、オプティカルフローによる接近物の検出を停止させ、接近物の誤検出を防止するとしている。
特開２００５−２７６０５６号公報

特許文献１に記載された接近物検出装置の場合には、旋回を検出するための操舵角検出手段として操舵角センサやジャイロ装置などが必要となる。また、接近物検出装置には、操舵角センサやジャイロ装置などからの信号を受けるためのコネクタやインタフェース回路が必要となる。そのため、接近物検出装置の部品数が多くなり、その分、接近物検出装置が大型化したり、その製造コストが増加したりする。

そこで、本発明の目的は、ハードウエアを増加させることなく、車両の旋回を検出し、適切に接近物を検出することが可能な接近物検出装置および接近物検出方法を提供することにある。

本発明の接近物検出装置は、車両の前端部に設けられたカメラにより撮影された車両の前部側方の動画像に基づきオプティカルフローを算出するオプティカルフロー算出部と、そのオプティカルフローに基づき車両の旋回を検出する旋回検出部と、車両の前部側方から接近する接近物を検出する接近物検出部と、を備え、前記旋回検出部は、前記車両の前部側方の動画像の所定の部分に車両の走行方向と同じ方向のオプティカルフローが広い領域にわたって現れたとき、車両が旋回していると判定し、前記接近物検出部による接近物検出動作を停止させる。

通常、カメラにより取得される動画像において、遠景の地物はあまり変化しないので、オプティカルフローが現れにくい。それに対し、車両が旋回する場合には、遠景部分の地物は、車両が旋回する方向とは反対方向に大きく移動する。すなわち、遠景部分には、車両が旋回する方向とは反対方向のオプティカルフローが広く現れる。旋回検出部は、この現象を利用することにより、遠景部分に現れるオプティカルフローを監視し、車両の旋回を検出する。

なお、本明細書では、オプティカルフローとは、オプティカルフローベクトルの水平方向成分のベクトルを指すものとする。オプティカルフローは、一般には、２次元のベクトルであるが、本明細書では、その水平方向（左右方向）成分のみを対象とし、オプティカルフローの水平方向成分のベクトルを、単に、オプティカルフローと呼ぶ。従って、オプティカルフローの上下方向成分は無視され、上下方向のオプティカルフローが現れても、オプティカルフローが現れるとはいわない。

本発明によれば、ハードウエアを増加させることなく、車両の旋回を検出し、適切に接近物を検出することが可能な接近物検出装置および接近物検出方法が提供される。

以下、図面を参照して本発明の実施形態について詳しく説明する。

まず、図１および図２を参照して、本発明の実施形態に係る接近物検出装置を構成する機能ブロックについて説明する。ここで、図１は、本発明の実施形態に係る接近物検出装置の機能ブロックの構成の例を示した図、図２は、接近物検出装置を搭載した車両における側方カメラの設置位置およびその側方カメラの撮影範囲の例を示した図である。

図１に示すように、接近物検出装置１は、２つの側方カメラ４（４ａ，４ｂ）、画像処理装置２、汎用データ処理装置３、表示装置５、音声出力装置６などの機能ブロックを含んで構成される。

ここで、側方カメラ４は、例えば、ＣＣＤ（Charge Coupled Device）カメラなどにより構成され、図２に示すように、車両７の左右の前端部に設けられる。そして、車両７の前部側方の映像を動画像で撮影し、その撮影した動画像を、例えば、アナログまたはディジタルのビデオ信号として画像処理装置２へ送信する。

さらに、図２に示すように、車両７が交差点に差し掛かったとき、車両７が走行中の道路に交差する道路の左右方向は、側方カメラ４の撮影範囲内に含まれる。そこで、画像処理装置２および汎用データ処理装置３は、側方カメラ４により撮影された左右の道路の動画像を取得し、その動画像を表示装置５などに表示するとともに、その動画像の中から車両７（自車）側に接近する接近物を検出する。

図１に示したように、画像処理装置２は、画像取得部２１、画像記憶部２２、オプティカルフロー算出部２３、旋回検出部２４、接近物検出部２５などの機能ブロックを含んで構成される。

図１において、画像取得部２１は、側方カメラ４から入力されるビデオ信号などを受信し、そのビデオ信号の１フレームのフレーム画像から画素ごとのＲＧＢの輝度信号のディジタル値（以下、単に、画像データという）を生成し、画像記憶部２２に格納する。

画像記憶部２２は、ＲＡＭ（Random Access Memory）などからなり、画像取得部２１を介して側方カメラ４から取得された左右の動画像の画像データを一時記憶する。その場合、画像記憶部２２は、所定フレーム数（最小で２フレーム）のフレーム画像を一時記憶する記憶容量を有し、最新のフレーム画像が記憶されるたびに、過去のフレーム画像は古い順に廃棄される。

オプティカルフロー算出部２３は、画像記憶部２２に記憶された少なくとも２フレーム画像分の画像データに基づき、それぞれの画素についてオプティカルフローを算出する。オプティカルフローは、例えば、２つのフレーム画像を比較し、２つのフレーム画像のそれぞれに含まれる同じ物体について、それぞれ対応する点を同定することによって算出することができる。オプティカルフローの算出方法は、すでに確立された公知技術が存在するので、その説明を割愛する。

旋回検出部２４は、オプティカルフロー算出部２３によって算出された各画素のオプティカルフローに基づき、車両の旋回を検出する。その検出の方法については、別途、図を用いて詳しく説明する。

接近物検出部２５は、オプティカルフロー算出部２３によって算出された各画素のオプティカルフローに基づき、車両７の前部側方から接近する接近物を検出する。その検出は、例えば、特許文献１などに記載された公知技術に従って行うことができるが、原理的には、車両７の直進走行によって現れる走行方向と反対方向のオプティカルフローの中に、走行方向と同じ方向のオプティカルフローを有する領域が現れた場合に、その領域を接近物として検出する。

なお、オプティカルフロー算出部２３、旋回検出部２４および接近物検出部２５は、例えば、ＦＰＧＡ（Field Programmable Gate Array）などを用いた専用の処理回路で構成してもよく、また、汎用の信号処理プロセッサやマイクロプロセッサなどを用いたプログラムによる制御回路で構成してもよい。

汎用データ処理装置３は、少なくともＣＰＵ（Central Processing Unit）とメモリとを含んで構成され、画像処理装置２から車両前部側方の動画像、旋回検出部２４による車両７の旋回の検出結果、接近物検出部２５による接近物の検出結果などを取得し、その取得した情報を、適宜、処理して、表示装置５や音声出力装置６へ出力する。ここで、表示装置５は、ＬＣＤ（Liquid Crystal Display）などによって構成され、また、音声出力装置６は、スピーカなどにより構成される。

本実施形態では、汎用データ処理装置３、表示装置５および音声出力装置６は、それぞれ、カーナビゲーション装置のデータ処理装置、表示装置および音声出力装置であることを想定しているが、カーナビゲーション装置とは、独立したものであってもよい。

また、汎用データ処理装置３をカーナビゲーション装置などから独立した形態で設けた場合には、その処理能力に余裕が生じるので、画像処理装置２におけるオプティカルフロー算出部２３、旋回検出部２４および接近物検出部２５の機能を汎用データ処理装置３により実現してもよい。

続いて、図３および図４を参照して、オプティカルフローを用いて車両７の旋回を検出する原理について説明する。図３は、車両の運動の相違によるオプティカルフローの現れ方の相違の例を示した図、また、図４は、交差点を車両が右折する際に右側の側方カメラ４ｂにより撮影される動画像に現れるオプティカルフローの例を示した図である。なお、図３および図４では、オプティカルフローの向きを矢印の向きで表し、オプティカルフローの大きさを矢印の長さで表している。

一般に、車両７が直進走行をしている場合、側方カメラ４によって撮影される動画像中では、近景の地物は、車両７の走行方向と反対方向に移動するが、遠景の地物は、あまり移動しない。なお、本実施形態の場合、車両７の走行方向は、右側の側方カメラ４ｂによって得られる動画像では、右から左への方向であり、左側の側方カメラ４ａによって得られる動画像では、左から右への方向である。

従って、車両７が図３（ａ）に示すような交差点を直進走行する場合、側方カメラ４ｂによって撮影される動画像には、図３（ｂ）に示すように、ビルなどの近景の地物部分には車両７の走行方向と反対方向（左から右への方向）の大きなオプティカルフローが現れる。また、道路の向こう側の家並みなどの遠景の地物部分にも、車両７の走行方向と反対方向（左から右への方向）のオプティカルフローが現れるが、そのオプティカルフローの大きさは、遠景に行くほど小さくなる。これは、車両７（つまり、側方カメラ４ｂ）が直進運動する場合に現れるオプティカルフローの大きさが、地物までの距離に反比例するからである。

これに対し、車両７が旋回する場合には、側方カメラ４によって撮影される動画像中では、近景の地物だけでなく、遠景の地物も、車両７の旋回方向と反対方向に同じように大きく移動する。

従って、車両７が図３（ａ）に示すような交差点で右へ旋回する場合（ただし、ここでは、車両７が停止した状態で旋回する場合を考える）、側方カメラ４ｂによって撮影される動画像には、図３（ｃ）に示すように、ビルなどの近景の地物部分にも、また、道路の向こう側の家並みなどの遠景の地物部分にも、車両７の旋回方向と反対方向（右から左への方向）のオプティカルフローが現れ、そのオプティカルフローの大きさは、近景部分、遠景部分にかかわらず、ほぼ同じである。これは、車両７（つまり、側方カメラ４ｂ）が旋回運動する場合に現れるオプティカルフローは、側方カメラ４から地物までの距離に関係なく、ほぼ同じ大きさになるからである。

次に、車両７が交差点を右折または左折する場合、つまり、車両７が交差点を走行しつつ旋回する場合を考える。このような車両７の右折または左折走行には、旋回運動とともに直進運動が含まれている。

従って、車両７が図４（ａ）に示すような交差点を右折する場合、側方カメラ４ｂによって撮影される動画像には、図４（ｂ）に示すように、図３（ｂ）に示した直進運動によって現れるオプティカルフローと、図３（ｃ）に示した旋回運動によって現れるオプティカルフローと、を重ね合わせたオプティカルフローが現れる。

すなわち、直進運動によって現れるオプティカルフローが旋回運動によって現れるオプティカルフローよりも大きいビルなどの近景の地物部分には、車両７の走行方向と反対方向（左から右への方向）のオプティカルフローが現れる。それに対し、直進運動によって現れるオプティカルフローが旋回運動によって現れるオプティカルフローよりも小さい、道路の向こう側の家並みなどの遠景の地物部分には、車両７の旋回方向と反対方向（右から左への方向）のオプティカルフローが現れる。

以上のように、車両７が右折する場合には、側方カメラ４ｂによって撮影される動画像の遠景の地物部分には、車両７の旋回方向と反対方向のオプティカルフローが現れ、近景の地物部分には、車両７の走行方向と反対方向のオプティカルフローが現れる。このとき、撮影された動画上で遠景部分に現れるオプティカルフローの方向は、車両７の旋回方向と反対方向で、右から左の方向であり、これは車両７の走行方向と一致する。画像処理装置２は、このことを利用して車両７の旋回を検出する。

すなわち、画像処理装置２は、車両７が直進走行をしているときには、近景部分には走行方向と反対方向のオプティカルフローを検出し、遠景部分には、オプティカルフローを検出しないが、そういう状態が継続しているとき、遠景部分と推定される領域の広い範囲に、走行方向と同じ方向のオプティカルフローを検出したとすれば、そのオプティカルフローは、車両７の旋回により生じたものと判断される。

言い換えると、画像処理装置２は、側方カメラ４ｂによって撮影された動画像の遠景部分と推定される領域の広い範囲に、走行方向と同じ方向のオプティカルフローを検出したとき、車両７が旋回、つまり、右折しつつあると判定する。

なお、以上の説明において、近景および遠景の境界となる距離は、車両７の直進走行の速度と旋回の速度とによって定まる値であり、必ずしもある値に定めることはできない。ただ、車両７が、交差点で減速して、例えば、時速１０ｋｍ程度の速度で右折または左折した場合には、おおむね３０〜４０ｍよりも遠い距離にある地物は、遠景ということができる。

また、以上の説明では、車両７が交差点を右折する場合、側方カメラ４ｂによって撮影された動画像について説明したが、車両７が交差点を左折する場合について、以下に補足する。

車両７が図４（ａ）に示すような交差点を左折する場合には、側方カメラ４ｂによって撮影される動画像には、旋回運動によって現れるオプティカルフローと直進運動によって現れるオプティカルフローが同じ方向になる（いずれも、左から右への方向）。従って、近景の地物部分にも遠景の地物部分にも同じ方向の大きなオプティカルフローが現れる。この場合、その方向は異なるものの、遠景の地物部分に（所定の大きさよりも大きな）オプティカルフローが現れることについては、車両７が右折する場合と変わりがない。

従って、車両７が交差点を左折する場合であっても、画像処理装置２の旋回検出部２４は、側方カメラ４ｂから取得された動画像の遠景部分の広い範囲に車両の進行方向と同じ方向のオプティカルフローが現れたことを検出することにより、車両７の旋回を検出することができる。

さらに、補足すれば、以上の説明は、側方カメラ４ｂによって撮影された動画像について説明したものであるが、側方カメラ４ａによって撮影された動画像についても、例えば、その説明で「右」を「左」と言い換え、図３および図４の図を左右対称に描き直すだけで全く同様に適用することができる。

本実施形態では、以上のようなオプティカルフローによる車両７の旋回の検出をより容易にかつ確実に行えるようにするために、側方カメラ４から取得される動画像の中に、遠景部分になり得る部分を、あらかじめ、遠景領域として設定しておく。ここで、遠景領域とは、例えば、図４（ｂ）で太線で囲む領域として示すように、側方カメラ４から取得される動画像において、その動画像の消失点と高さが略々同じ領域とその領域に連続する上部の領域とを併せた領域をいうものとする。

なお、動画像の中における消失点の位置や旋回検出のための領域（前記の遠景領域：図４（ｂ）参照）は、通常、接近物検出装置１を設計する段階で設定される。その場合、消失点の位置の設定には、各カメラの消失点方向を表すマークが記入されたテストチャート板を利用する。すなわち、テストチャート板が設けられた位置から所定の距離離間した位置に、所定の方向を向いた車両７を設置し、その車両７の所定の位置に搭載された側方カメラ４によって撮影される画像の中の消失点が、テストチャートの中の消失点方向を表すマークと一致するように、側方カメラ４の設置方向を調整する。

以上のようにして、側方カメラ４の設置位置および設置方向が定められると、その動画像における消失点の高さは、極端に急な坂道でもない限り、常に、略々同じ高さ位置になると考えてよい。従って、消失点の高さ位置は、略々定数とみなすことができ、そのため、図４（ｂ）に示したように、遠景領域をあらかじめ固定した領域として設定することができる。

なお、本実施形態では、遠景領域は、図４（ｂ）に示したように、側方カメラ４から取得される動画像の最上部（例えば、空などの部分）を含んでいないが、遠景領域がその最上部部分も含むとしても構わない。その場合、遠景領域は、消失点と高さが略々同じ領域およびその上部のすべての領域とを併せた領域ということになる。

続いて、画像処理装置２における車両７の旋回の検出動作について、具体的に説明する。旋回検出部２４は、側方カメラ４から取得された動画像中の「遠景領域」に、車両７の走行方向と同じ方向のオプティカルフローが広く現れたか否かを判定することにより車両７の旋回を検出する。すなわち、旋回検出部２４は、「遠景領域」に現れた車両７の走行方向と同じ方向のオプティカルフローが占める領域の面積が、所定の面積以上になったか否かを判定し、所定の面積以上であった場合には、車両７が右折または左折しているものと判定し、車両７の旋回を検出する。

ここで、図４からも分かるように、車両７が直進走行している場合には、あらかじめ定めた「遠景領域」であっても、近くにビルなど大きな地物があったときには、そのビルの部分には、車両７の走行方向と反対方向のオプティカルフローが現れる。従って、「遠景領域」にオプティカルフローが現れた場合、そのオプティカルフローが車両７の旋回によって現れたものであるか、または、直進走行時の近くの大きな地物によって現れたものであるかを識別する必要がある。

その識別は、左右の側方カメラ４ａ，４ｂのそれぞれから取得される動画像に基づき得られるオプティカルフローそれぞれについて、そのオプティカルフローの方向を判定することによって可能となる。

ちなみに、車両７が右折するときには、図４（ｂ）に示したように、右の側方カメラ４ｂから取得される動画像の遠景領域には、左向きのオプティカルフローが広く現れ、近くの地物部分には、右向きのオプティカルフローが現れる。また、車両７が左折するときには、左の側方カメラ４ａから取得される動画像の遠景領域には、右向きのオプティカルフローが広く現れ、近くの地物部分には、左向きのオプティカルフローが現れる。なお、この遠景領域に広く現れるオプティカルフローの方向は、車両７が旋回する方向とは反対方向に対応している。

すなわち、上記の場合には、車両７の旋回によって現れるオプティカルフローと、直進走行によって現れるオプティカルフローとで、その方向が互いに逆向きになるため、車両７の旋回によって現れるオプティカルフローの領域を確定させることができる。

従って、旋回検出部２４は、右の側方カメラ４ｂから取得される動画像の遠景領域において、左向きのオプティカルフローが占める領域の面積が所定の面積以上になったときには、車両７が右折していると判定する。また、左の側方カメラ４ａから取得される動画像の遠景領域において、右向きのオプティカルフローが占める領域の面積が所定の面積以上になったときには、車両７が右折していると判定する。

なお、車両７が右折する場合、左の側方カメラ４ａから取得される動画像の遠景領域には、車両７が直進走行する場合に近くの地物部分に現れるオプティカルフローの方向と同じ方向（右向き）のオプティカルフローが現れる。また、車両７が左折する場合、右の側方カメラ４ｂから取得される動画像の遠景領域には、車両７が直進走行する場合に近くの地物部分に現れるオプティカルフローの方向と同じ方向（左向き）のオプティカルフローが現れる。

従って、右の側方カメラ４ｂから取得される動画像のオプティカルフローに基づき、左折を判定することはできないし、また、左の側方カメラ４ａから取得される動画像のオプティカルフローに基づき、右折を判定することはできない。従って、本実施形態では、旋回検出部２４は、右の側方カメラ４ｂから取得される動画像のオプティカルフローからは、車両７の右折のみを判定し、左の側方カメラ４ａから取得される動画像のオプティカルフローからは、車両７の左折のみを判定するものとする。

旋回検出部２４は、以上のようにして、側方カメラ４ｂおよび４ａから取得された動画像から、車両７の右折または左折の判定をそれぞれ独立して行い、そのいずれかの一方により、車両７の右折または左折が判定されたとき、車両７の旋回を検出する。

続いて、本発明の実施形態に係る接近物検出装置１において実行される接近物検出の手順について説明する。図５は、本発明の実施形態に係る接近物検出装置１の画像処理装置２における接近物検出の処理手順の例を示した図である。なお、この図５に示した処理手順は、側方カメラ４により車両７の前部側方の動画像が１フレーム撮影されるたびに実行される。

図５に示すように、画像処理装置２は、画像取得部２１の処理として、まず、側方カメラ４から１フレームのフレーム画像を取得し（ステップＳ１）、その取得したフレーム画像を画像記憶部２２に格納する。次に、画像処理装置２は、画像記憶部２２に、ステップＳ１で取得したフレーム画像の前のフレームのフレーム画像（以下、前フレーム画像という）が存在するか否かを判定し（ステップＳ２）、前フレーム画像が存在しなかった場合には（ステップＳ２でＮｏ）、ステップＳ１へ戻り、再度、側方カメラ４から最新のフレーム画像を取得する。

一方、前フレーム画像が存在した場合には（ステップＳ２でＹｅｓ）、画像処理装置２は、オプティカルフロー算出部２３の処理として、前フレーム画像とステップＳ１で取得したフレーム画像とに基づき、オプティカルフローを算出する（ステップＳ３）。

次に、画像処理装置２は、旋回検出部２４の処理として、オプティカルフロー算出部２３により算出されたオプティカルフローに基づき、所定の遠景領域に現れたオプティカルフローが占める領域の面積を算出し（ステップＳ４）、その算出された面積に基づき、車両７の旋回を判定する（ステップＳ５）。

ここで、所定の遠景領域に現れたオプティカルフローとは、車両７の走行方向と同じ方向のオプティカルフローを指すものとする。すなわち、左の側方カメラ４ａから取得される動画像から得られるオプティカルフローにあっては、右向きのオプティカルフローであり、右の側方カメラ４ｂから取得される動画像から得られるオプティカルフローにあっては、左向きのオプティカルフローである。

次に、ステップＳ５における判定の結果、前記のオプティカルフローが占める領域の面積が所定の閾値よりも大きい場合には（ステップＳ６でＹｅｓ）、画像処理装置２は、車両７が旋回していると判定し、接近物の検出などステップＳ７以降の処理を行わず、ステップＳ１の処理へ戻る。

一方、車両７の走行方向と同じ方向のオプティカルフローが占める領域の面積が所定の閾値に達しなかった場合には（ステップＳ６でＮｏ）、車両７が旋回しているとは判定されない。その場合には、画像処理装置２は、接近物検出部２５の処理として、オプティカルフロー算出部２３により算出されたオプティカルフローに基づき、車両７に接近する接近物を検出する（ステップＳ７）。

ステップＳ７では、画像処理装置２は、車両７の直進走行に伴い現れる車両７の走行方向と反対方向のオプティカルフローの中に、車両７の走行方向と同じ方向のオプティカルフローの小面積の領域が現れた場合に、その領域を接近物として検出する。なお、このような検出方法によれば、画像処理装置２は、車両７が交差点に差し掛かったとき、その車両７が走行する道路に交差する両側の道路において当該交差点に接近する接近物（車両など）を検出することができる。

次に、画像処理装置２は、ステップＳ７での判定により接近物を検出した場合には（ステップＳ８でＹｅｓ）、汎用データ処理装置３を介して表示装置５および音声出力装置６の少なくとも一方に、接近物ありの警報を出力し（ステップＳ９）、さらに、側方カメラ４により撮影され、画像記憶部２２に記憶されている当該フレームのフレーム画像を、汎用データ処理装置３を介して表示装置５に表示する（ステップＳ１０）。

一方、ステップＳ７での判定により、接近物を検出しなかった場合には（ステップＳ８でＮｏ）、画像処理装置２は、接近物ありの警報を出力せずに、側方カメラ４により撮影され、画像記憶部２２に記憶されている当該フレームのフレーム画像を、汎用データ処理装置３を介して表示装置５に表示する（ステップＳ１０）。なお、この場合、接近物が検出されていないので、ステップＳ１０をもスキップし、側方カメラ４により撮影されたフレーム画像を表示装置５に表示しないとしてもよい。

なお、以上に説明した接近物検出の処理手順においては、画像処理装置２が車両７の旋回を判定するとき、車両７の走行方向と同じ方向のオプティカルフローが占める領域の面積に基づき、車両７の旋回を判定している（ステップＳ５）が、面積そのものではなく、その面積の増加率に基づき、車両７の旋回を判定してもよい。すなわち、ステップＳ６では、その面積の増加率が所定の閾値よりも大きくなった場合、車両７が旋回し始めたと判定するとしてもよい。面積の増加率に基づき車両７の旋回を判定した場合には、面積そのものによる旋回の判定よりも、通常、早く車両７の旋回を検出することができる。

なお、面積の増加率に基づき車両７の旋回を判定する場合には、車両７が旋回し続けていることを判定することができない。従って、この場合には、面積そのものによる旋回の判定も併せて行う必要がある。

以上、本実施形態によれば、接近物検出装置１は、側方カメラ４から得られる動画像に基づくオプティカルフローにより、車両７の旋回を検出することができ、車両７へ接近する接近物を検出することができ、さらには、車両７の旋回を検出したときには、接近物の検出動作を停止することができる。従って、本実施形態に係る接近物検出装置１においては、車両７の旋回に伴う接近物の誤検出を防止することができる。

また、本実施形態に係る接近物検出装置１においては、車両７の旋回に伴う接近物の誤検出を防止するに当たって、車両７の旋回を検出するための操舵角センサやジャイロ装置などからの信号を受信するためのコネクタなども含めたインタフェース回路を必要としない。従って、接近物検出装置１を小型化したり、その製造コストを低減したりすることができる。

とくに、自律航法を有さない安価なカーナビゲーション装置に接近物検出装置１を後付けするような場合には、操舵角センサやジャイロ装置などからの信号を受信するためのコネクタなどが不要であることは、カーナビゲーション装置のハードウエアに改造を加える必要がないことを意味するので、接近物検出装置１の製造コストを低減する上で、大きなメリットとなる。

次に、図６を参照して、本実施形態の変形例について説明する。図６は、車両の前端部に広角カメラを設けた場合のその広角カメラによる撮影範囲の例を示した図である。

図６に示すように、車両７ａには、その前端部の中央に広角カメラ４ｃが設けられている。広角カメラ４ｃの撮影範囲は、１８０度を超えるものであり、ここでは、広角カメラ４ｃから、周辺の画像歪みがディジタル画像処理により補正された画像が出力されるものとする。

接近物検出装置１の画像取得部２１は、その広角カメラ４ｃから出力される動画像を取得し、その１フレームごとのフレーム画像について、左側および右側の画像を切り出すことによって、側方カメラ４からそれぞれ取得されるフレーム画像と実質的に同等の画像を生成する。こうすることによって、それ以降の接近物検出装置１における接近物検出の処理手順は、図５に示した処理手順と同じにすることができる。

従って、本実施形態の変形例においても、前記した実施形態の効果と同じ効果を得ることができる。

本発明の実施形態に係る接近物検出装置の機能ブロックの構成の例を示した図。 本発明の実施形態に係る接近物検出装置を搭載した車両における側方カメラの設置位置およびその側方カメラの撮影範囲の例を示した図。 車両の運動の相違によるオプティカルフローの現れ方の相違の例を示した図。 交差点を車両が右折する際に右側の側方カメラにより撮影される動画像に現れるオプティカルフローの例を示した図。 本発明の実施形態に係る接近物検出装置の画像処理装置における接近物検出の処理手順の例を示した図。 車両の前端部に広角カメラを設けた場合のその広角カメラによる撮影範囲の例を示した図。

符号の説明

１ 接近物検出装置
２ 画像処理装置
３ 汎用データ処理装置
４，４ａ，４ｂ 側方カメラ
４ｃ 広角カメラ
５ 表示装置
６ 音声出力装置
７，７ａ 車両
２１ 画像取得部
２２ 画像記憶部
２３ オプティカルフロー算出部
２４ 旋回検出部
２５ 接近物検出部

Claims (8)

1. 車両の前端部に設けられたカメラにより撮影された前記車両の前部側方の動画像に基づき、前記車両の前部側方から接近する接近物を検出する接近物検出装置であって、
   前記カメラから前記車両の前部側方の動画像を取得する画像取得部と、
   前記取得した動画像を記憶する画像記憶部と、
   前記画像記憶部に記憶した動画像に基づき、オプティカルフローを算出するオプティカルフロー算出部と、
   前記算出したオプティカルフローの所定部分のオプティカルフローに基づき、前記車両の旋回を検出する旋回検出部と、
   前記算出したオプティカルフローに基づき、前記車両の前部側方から接近する接近物を検出する接近物検出部と、
   を備え、
   前記旋回検出部が前記車両の旋回を検出したときには、前記接近物検出部による接近物の検出動作を停止すること
   を特徴とする接近物検出装置。
2. 前記所定部分は、前記動画像において、その動画像の消失点と高さが略々同じとなる領域に、さらに、その領域に接する上部の領域を併せた領域であること
   を特徴とする請求項１に記載の接近物検出装置。
3. 前記旋回検出部は、前記所定部分に前記車両の走行方向と同じ方向のオプティカルフローが現れた部分の領域の面積を算出し、その面積が所定の閾値より大きくなった場合に、前記車両の旋回を検出すること
   を特徴とする請求項１または請求項２に記載の接近物検出装置。
4. 前記画像取得部が、前記カメラから前記車両の左前部側方の動画像と右前部側方の動画像とを取得し、前記オプティカルフロー算出部が、前記取得した左前部側方の動画像と右前部側方の動画像とについてそれぞれオプティカルフローを算出した場合には、前記旋回検出部は、少なくともその一方の動画像のオプティカルフローによる前記車両の旋回検出結果に基づき、前記車両の旋回を検出すること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の接近物検出装置。
5. 車両の前端部に設けられたカメラにより撮影された前記車両の前部側方の動画像に基づき、前記車両の前部側方から接近する接近物を検出する接近物検出装置による接近物検出方法であって、
   前記接近物検出装置が、
   前記カメラから前記車両の前部側方の動画像を取得し、
   前記取得した動画像を所定の画像メモリに記憶し、
   前記画像メモリに記憶した動画像に基づき、オプティカルフローを算出し、
   前記算出したオプティカルフローの所定部分のオプティカルフローに基づき、前記車両の旋回を検出し、
   前記車両の旋回を検出していないとき、前記算出したオプティカルフローに基づき、前記車両の前部側方から接近する接近物を検出し、前記車両の旋回を検出したとき、前記接近物の検出を停止すること
   を特徴とする接近物検出方法。
6. 前記所定部分は、前記動画像において、その動画像の消失点と高さが略々同じとなる領域に、さらに、その領域に接する上部の領域を併せた領域であること
   を特徴とする請求項５に記載の接近物検出方法。
7. 前記接近物検出装置は、
   前記所定部分に前記車両の走行方向と同じ方向のオプティカルフローが現れた部分の領域の面積を算出し、その面積が所定の閾値より大きくなった場合に、前記車両の旋回を検出すること
   を特徴とする請求項５または請求項６に記載の接近物検出方法。
8. 前記接近物検出装置は、
   前記カメラから前記車両の左前部側方の動画像と右前部側方の動画像とを取得し、その取得した左前部側方の動画像と右前部側方の動画像とについてそれぞれオプティカルフローを算出した場合には、少なくともその一方の動画像のオプティカルフローによる前記車両の旋回検出結果に基づき、前記車両の旋回を検出すること
   を特徴とする請求項５ないし請求項７のいずれか１項に記載の接近物検出方法。
   

Images