JP4575315B2 - 物体検出装置及びその方法 - Google Patents

Description

本発明は、自動車などの移動体に後向きに取り付けられた画像撮影装置によって撮影された画像から接近する物体を検出する物体検出装置及びその方法に関するものである。

従来、自動車などの移動物体周辺の障害物を検出する方法として、１台のビデオカメラを用いる方法が提案されている。一台のビデオカメラを用いた方法では、複数台のビデオカメラを利用する方法と比較して自動車等への設置が容易であり、また生産コストも低く抑えることができるという利点がある。

単一のビデオカメラを用いる方法としては、自動車に設置されたカメラによって撮影された画像中の水平エッジを前方車両の接地線と判断することで前方車両を検出する方法が提案されている（特許文献１参照）。

また、ビデオカメラによって撮影した時系列の画像からオプティカルフローを検出し、車速度センサからの自車速度情報を用いて、各フローの路面からの高さを推定し、路面から一定の高さを持つ物体のみを検出する方法が提案されている（特許文献２参照）。

さらに、道路面を含まないような追跡領域を設定し、その追跡領域内だけで、立体物等の障害物を検出する方法も提案されている（特許文献３参照）。
特開平７−２８０５１７号公報 特開２０００−１２３１８３号公報 特開平８−１４７５９９号公報

しかしながら、特許文献１の水平エッジを検出する方法では、道路面上の標識やアスファルトの継ぎ目等を、先行車両の接地位置と判断し、誤った物体検出がなされる可能性がある。

また、特許文献２の画像中のオプティカルフローを検出する方法においては、道路面内のフローは全て静止していると仮定しているため、追跡領域内を通過する他車両の影を障害物として誤検出してしまうという問題がある。

特許文献１及び２の問題は、物体の追跡領域が道路面を含んでいることに起因する。この場合、検出した水平線や、オプティカルフローが道路面なのか、立体物なのかを区別する必要があり、失敗した場合は誤検出ということになる。

これに対して、特許文献３の道路面を含まないような追跡領域を設定する方法においては、予め設定した消失線（無限遠線）近傍のみの動き情報から、立体物を検出している。消失線近傍では、道路模様や影などのカメラ位置より下に位置する特徴量は検出されないため、道路面を含む追跡領域を設定する方法で生じる誤検出を抑制することができる。しかし、この方法においては、消失線近傍の水平方向動きベクトルのみから物体の左端及び右端を推定し、この両端の動きベクトルのみから物体が近づいているのか遠ざかっているのか判断しているため、物体の両端がうまく切り出せないような、背景が複雑なシーンにおいては、安定して障害物を検出することが難しい。

本発明は上記に鑑みてなされたものであって、一台の画像撮影装置により撮影された画像であってもより確実に物体を検出することができる物体検出装置及びその方法を提案することを目的とする。

本発明は、面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像を入力する画像入力手段と、前記画像内の消失線に沿った追跡領域内で特定の方向成分を持った線分を抽出し、前記線分の周辺を探索することにより物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を特定する物体候補追跡手段と、前記物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで計算する拡大率計算手段と、第１の閾値を超える前記拡大率を持つ前記物体候補を、前記移動体に接近する物体として検出する物体検出手段と、を有することを特徴とする物体検出装置である。
また、本発明は、面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像を入力する画像入力手段と、前記画像内の消失線に沿った追跡領域内で物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を特定する物体候補追跡手段と、前記画像内の消失点から沸き出す方向の移動ベクトルを持つ物体候補のみを選択し、前記選択された物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで計算する拡大率計算手段と、第１の閾値を超える前記拡大率を持つ前記物体候補を、前記移動体に接近する物体として検出する物体検出手段と、を有することを特徴とする物体検出装置である。

本発明によれば、物体候補の拡大率を調べることによって、接近する物体であるか否かを判断することが可能となる。

以下、本発明の実施形態の物体検出装置１０について説明する。

本実施形態では後側方監視、すなわち自車両１の隣接レーンを走行する追い越し車両の検出を例にして述べる。図２、図３に示すようにＴＶカメラ２は路面が画像中では下になり、光軸は路面及び進行方向に一定の角度をもってサイドミラー付近、もしくはサイドミラー内に後向きに取り付けられているものとする。これ以外の設置方法についても同様の方法が適用できる。ＴＶカメラ２がロール方向に回転している場合には、道路面の無限遠線（消失線）が画像内で水平になるように補正することで全く同様の方法を適用可能である。以下では画像内の垂直方向が実空間の垂直方向と一致するものとし、画像内における道路面の無限遠線を単に「消失線」と呼ぶ。

図１に本実施形態の物体検出装置１０の構成例を示す。

物体検出装置１０は、画像入力部１２、物体候補追跡部１４、拡大率計算部１６、物体検出部１８からなる。各部１２〜１８の各機能は、コンピュータに記憶されたプログラムによって実現する。

（１）画像入力部１２
まず、画像入力部１２でＴＶカメラ２によって時系列画像を取得する。この場合、本実施形態においては、図４に示すような画像が得られる。

（２）物体候補追跡部１４
物体候補追跡部１４では、図４に示すような消失線近傍に所定の高さを持つ物体候補の追跡領域を設定する。図４からもわかるように、ＴＶカメラ２の設置位置以上の高さを持つ物体は必ずこの追跡領域内で水平方向の動きを持ち、白線等の道路標識や、他車両の影はこの領域に動きを持つことはなく、道路面上の動きと立体物の動きを容易に分離可能である。

物体候補追跡部１４では追跡領域内で垂直線分を追跡する。追跡領域内の動きは水平方向の動きが支配的であるため、これらを正確に追跡するためには垂直線分を検出し、追跡する。

（２−１）垂直線分の検出
垂直線分を検出する方法として様々な方法が適用可能であるが、本実施形態の方法について説明する。

まず、追跡領域内に垂直方向のソーベルフィルタを適用して画像内の点（ｘ，ｙ）における垂直エッジｄｖ（ｘ，ｙ）を得る。

次に、追跡領域内で次の式を用いてｙ方向に垂直エッジを足しこみ加算エッジｓｖ（ｘ）を得る。

ｓｖ（ｘ）＝Σｄｖ（ｘ，ｙ）

ｄｖ（ｘ，ｙ）を加算する垂直方向の範囲は物体候補追跡領域の高さ分とし、水平方向の範囲は注目ｘ座標の±１ピクセル程度とする。これにより検出する垂直線分の方向にある程度自由度を持たせることが可能である。

次に、加算エッジｓｖ（ｘ）のピークを探索し、ピークの存在するｘ座標に垂直線分を設定する。

この垂直線分は毎フレーム物体候補追跡領域内で求めておき、今後物体候補をフレーム間で対応をとる時に、探索領域として使用する。

図５に検出される垂直線分を示す。図５中の物体候補追跡領域内の垂直線が検出される垂直線分を表す。なお、図中右端の車両側面のようにＴＶカメラ２の設置方向によっては自車両が写りこむため、物体候補追跡領域内で自車両部分の全て処理を行わないものとする。

（２−２）矩形領域の設定
以上にように求めた垂直線分の周辺に所定の幅と高さ持った矩形領域を設定し、これを物体候補とする。

物体候補の大きさは適宜好適な値を設定すべきであるが、本実施形態では物体候補追跡領域の高さを基準にして、幅はその半分程度とする。

（２−３）物体候補のトラッキング
次に、物体候補を時系列でトラッキング（追跡処理）を行い、物体候補の水平方向の動きを得る。

トラッキングには様々な方法が存在するが、本実施形態では、検出した物体候補を先ほど求めたｄｖ（ｘ，ｙ）上でトラッキングを行う。トラッキングは１フレーム前の物体候補の矩形領域をテンプレートして、現在フレームで検出した水平線分のｘ座標周辺のみテンプレートマッチングを行う。本実施形態では垂直エッジｄｖ（ｘ，ｙ）の前後フレームでのＳＡＤ（Sum of Absolute Difference）を計算し、ＳＡＤが最も小さくなるｘ座標を現フレームでの物体候補のｘ座標に更新する。以上によって得られる物体候補を図６に示す。

（２−４）移動ベクトルの計算
物体候補追跡部１４ではフレーム毎の物体候補の位置を一定時間保持し、適宜、その動きベクトルを計算できるようにしておく。図６の移動ベクトルからもわかるように、背景は消失点に収束するような動きを持ち、追い越し車両は消失点から湧き出す動きを持つ。つまり、消失点から湧き出す動きをもつ物体候補は追い越し車両である可能性が高い。

（２−５）カーブ走行の場合
しかし、図７に示すような、カーブを走行する場合、背景が追い越し車両と同様に消失点から湧き出す動きを持つため、水平方向の動きのみでは追い越し車両と、背景を分離することは困難であるため、拡大率計算部１６にて物体候補毎の垂直方向の拡大率を計算し、物体検出部１８にて、物体候補が接近しているのか、遠ざかっているのかの判定を行う。

（２−６）変更例
物体候補追跡部１４における、垂直線分の抽出、及びトラッキング方法は本実施形態に限定されるものではない。

例えば、「岡田、小野口、``低速車間制御のための単眼画像処理システム、``PRMU2002-140、pp．〜69-74，2002」で提案されている方法における水平線分の抽出及び追跡方法を、本実施形態の垂直線分の抽出及び追跡に用いることにより、安定かつ高速に垂直線分を抽出し追跡することが可能である。

（３）拡大率計算部１６
拡大率計算部１６では、物体候補追跡部１４において追跡中の物体候補毎に垂直方向の拡大率を計算する。物体候補が垂直方向に拡大する場合は追い越し車両であり、縮小する場合は背景、もしくは、自車両から遠ざかる車両とであると判断することができる。

（３−１）拡大率の計算方法
本実施形態の拡大率を計算する方法を説明する。

まず、本実施形態では、物体候補を含み画像下端から上端に伸びる図８に示すような拡大率計算領域を設定する。

次に、図８に示すように時刻ｔの拡大率計算領域内で水平エッジを計算し、物体候補追跡部１４と同様に水平エッジのピークを計算し、水平線分を抽出する。

次に、時刻ｔ＋１の拡大率計算領域内において時刻ｔで求めた水平線分のｙ座標近傍でトラッキングを行い、時刻ｔと時刻ｔ＋１の垂直方向の対応点を求める。トラッキングは水平エッジ画像上で行う。図８の拡大率計算領域内の複数の水平線が拡大率計算部１６にて抽出した水平線分を表し、時刻ｔと時刻ｔ＋１の拡大率計算領域間の複数の矢印が、抽出した水平線分のフレーム間の対応関係を表している。

次に、対応が取れた水平線分に対して、二本の水平線分を選択し、時刻ｔと時刻ｔ＋１の垂直方向の距離を計算し、時刻ｔ＋１の距離ｄｔ＋１を時刻ｔの距離ｄｔで割ることによりその拡大率を計算する。

なお、対応が取れた水平線分に関しては物体候補追跡と同様に各時刻でのｙ座標を保持し、適宜その履歴を参照できるようにしておく。

これにより、１フレームで水平線分間の距離が変化しない場合でも、任意の過去の時刻に遡って拡大率を計算することができる。図８のように複数の水平線分が検出され、追跡を行った場合、二本の水平線の拡大率もその選び方により複数算出される。本実施形態では一つの物体候補に対して、複数の拡大率が計算された場合、その平均値を計算し、物体候補の拡大率として決定する。

拡大率を計算せずに、単に、物体候補内の水平線分が画像下方向の動きを持つ時に、その物体候補が追い越し車両に属すると判断することも可能であるが、自車両のピッチング方向の振動により物体候補の全ての水平線分が下方向の動きを持ち、並走状態であるにも関わらず接近しているといった誤った判断をする可能性がある。拡大率はピッチング方向の振動成分に対して不変であるので、そのような誤った判断をすることはない。

（３−２）変更例１
一つの拡大率計算領域内に、追い越し車両等の立体物による水平線分と、道路面の標識による水平線分が、複数含まれる場合がある。この時、全ての拡大率の平均をとってしまうと正しい拡大率を計算することができない。

そこで、拡大率計算領域内で、同一方向の移動成分をもつ水平線分のみをグルーピングし、同一のグループに属する水平線分のみから拡大率を計算し、その平均をとることによって、より正確な拡大率を計算することが可能である。

この場合、複数のグループ（立体物に属するもの、道路面に属するもの）が存在することになるが、画像上部に位置するグループの拡大率を、その物体候補の拡大率として決定する。移動物体に属するグループの方が、道路面に属するグループよりも画像上部に観測されるからである。

（３−３）変更例２
本実施形態では拡大率計算領域画像下端から上端に伸びる矩形領域としているが、例えば、消失線から所定の長さに拡大率計算領域を限定することも可能である。

これにより、拡大率計算領域に入る、複数物体の水平線分の数を削減することができ、より安定して拡大率を計算することができ、拡大率計算の計算コストを削減することも可能である。

（３−４）変更例３
拡大率の計算は先にあげたような複数の水平線分をトラッキングする方法の他にも様々方法を適用可能である。

例えば、図中の時刻ｔの拡大率計算領域をテンプレートとして、消失線を中心に複数の拡大率で垂直方向に引き伸ばした伸縮画像を生成する。

次に、生成した伸縮画像と、時刻ｔ＋１の拡大率計算領域の類似度を計算し、最も高い類似度を持つ伸縮画像の拡大率を、現在注目している物体候補の拡大率とすることも可能である。類似度の計算には、例えば二つの領域間のSADを用いることが考えられる。

（３−５）変更例４
拡大率の計算は全ての物体候補に対して行う必要はない。例えば、追い越し車両のみを検出したいのであれば、消失点から湧き出す動きを持つ物体候補に対してのみ拡大率を計算することによって、より高速な処理が可能である。

（４）物体検出部１８
物体検出部１８では、物体候補追跡部１４で検出した物体候補の動きと、拡大率計算部１６で算出した物体候補の拡大率を基に、物体候補から自車両に接近する物体のみを抽出する。

（４−１）物体検出方法
物体検出の流れを図９に示す。

まず、物体候補追跡部１４で追跡中の物体候補から消失点から湧き出す動きをもつ物体候補のみを抽出する。先に述べたように、物体候補の水平方向の動き情報だけでは、接近車両なのか、カーブ時の背景なのかの区別ができない。

次に、抽出した物体候補における拡大率が１より大きい場合は拡大していると判断し、追い越し車両と判定する。

次に、１より小さい場合は縮小している判断し、自車両から遠ざかる背景、もしくは、停車車両と判断する。

以上どちらにも該当しない場合は、抽出した物体候補は自車両進行方向に対して等速度で移動する並走車両と判断する。

（４−２）変更例
以上は一フレーム毎に拡大率を計算し、物体候補から接近車両を検出する方法について述べたが、物体検出部１８はこれに限定されるものではない。

例えば、フレーム毎に計算した拡大率を累積評価値として時系列で足し込み、累積評価値が閾値を超えたフレームにおいてのみ追い越し車両として判定することもできる。

これにより、水平線分のトラッキングが不安定な場合においても、安定して追い越し車両のみを物体候補から抽出することが可能である。

なお、本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

本発明の第１の実施形態に係わる物体検出装置の構成を示すブロック図。 前記物体検出装置が設置される自動車への画像撮影装置の取り付け位置を説明するための図。 前記撮影装置による撮影領域を説明するための図である。 前記撮影装置による撮影され、前記物体検出装置に入力される画像の一例を示す図である。 前記物体候補追跡部によって物体候補追跡領域内に設定された垂直線分を示す図である。 前記物体候補追跡部によって検出された物体候補と、その動きベクトルを示す図である。 前記物体候補追跡部によって検出された物体候補の動きベクトルのカーブ走行時の様子を示す図である。 前記拡大率計算部における拡大率計算領域を示す図である。 前記物体検出部における物体の判定方法を示すブロック図である。

符号の説明

１０ 物体検出装置
１２ 画像入力部
１４ 物体候補追跡部
１６ 拡大率計算部
１８ 物体検出部

Claims (13)

1. 面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像を入力する画像入力手段と、
   前記画像内の消失線に沿った追跡領域内で特定の方向成分を持った線分を抽出し、前記線分の周辺を探索することにより物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を特定する物体候補追跡手段と、
   前記物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで計算する拡大率計算手段と、
   第１の閾値を超える前記拡大率を持つ前記物体候補を、前記移動体に接近する物体として検出する物体検出手段と、
   を有することを特徴とする物体検出装置。
2. 面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像を入力する画像入力手段と、
   前記画像内の消失線に沿った追跡領域内で物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を特定する物体候補追跡手段と、
   前記画像内の消失点から沸き出す方向の移動ベクトルを持つ物体候補のみを選択し、前記選択された物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで計算する拡大率計算手段と、
   第１の閾値を超える前記拡大率を持つ前記物体候補を、前記移動体に接近する物体として検出する物体検出手段と、
   を有することを特徴とする物体検出装置。
3. 前記拡大率計算手段は、
   前記物体候補を含み、かつ、前記画像の上部から下部に伸びる矩形領域を前記拡大率計算領域として設定し、
   前記拡大率計算領域を用いて前記物体候補の垂直方向の拡大率を計算する
   ことを特徴とする請求項１記載の物体検出装置。
4. 前記物体検出手段は、第２の閾値より小さい前記拡大率を持つ前記物体候補を、前記移動体から遠ざかる動きを持つ背景または物体であると判断する
   ことを特徴とする請求項１又は２記載の物体検出装置。
5. 前記物体検出手段は、前記第１の閾値と前記第２の閾値との間の前記拡大率を持つ前記物体候補を、前記移動体と並走している物体であると判断する
   ことを特徴とする請求項１又は２記載の物体検出装置。
6. コンピュータに、
   面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像を入力する画像入力機能と、
   前記画像内の消失線に沿った追跡領域内で特定の方向成分を持った線分を抽出し、前記線分の周辺を探索することにより物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を特定する物体候補追跡機能と、
   前記物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで計算する拡大率計算機能と、
   第１の閾値を超える前記拡大率を持つ前記物体候補を、前記移動体に接近する物体として検出する物体検出機能と、
   を実現させるための物体検出プログラム。
7. コンピュータに、
   面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像を入力する画像入力機能と、
   前記画像内の消失線に沿った追跡領域内で物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を特定する物体候補追跡機能と、
   前記画像内の消失点から沸き出す方向の移動ベクトルを持つ物体候補のみを選択し、前記選択された物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで計算する拡大率計算機能と、
   第１の閾値を超える前記拡大率を持つ前記物体候補を、前記移動体に接近する物体として検出する物体検出機能と、
   を実現させるための物体検出プログラム。
8. 前記拡大率計算機能は、
   前記物体候補を含み、かつ、前記画像の上部から下部に伸びる矩形領域を前記拡大率計算領域として設定し、
   前記拡大率計算領域を用いて前記物体候補の垂直方向の拡大率を計算する
   ことを特徴とする請求項６記載の物体検出プログラム。
9. 前記物体検出機能は、前記拡大率が第２の閾値より小さいときは、前記物体候補は前記移動体から遠ざかる動きを持つ背景または物体であると判断する
   ことを特徴とする請求項６又は７記載の物体検出プログラム。
10. 前記物体検出機能は、前記拡大率が前記第１の閾値と前記第２の閾値の間にあるときは、前記物体候補が前記移動体と並走している物体であると判断する
    ことを特徴とする請求項６又は７記載の物体検出プログラム。
11. 面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像をコンピュータによって入力し、
    前記画像内の消失線に沿った追跡領域内で特定の方向成分を持った線分を抽出し、前記線分の周辺を探索することにより物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を前記コンピュータによって特定し、
    前記物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで前記コンピュータによって計算し、
    前記拡大率が第１の閾値以上のときに前記物体候補が、前記移動体に接近する物体であると前記コンピュータによって判断する
    ことを特徴とする物体検出方法。
12. 面上を移動する移動体に後向きに取り付けられた撮影装置によって取得される時系列画像をコンピュータによって入力し、
    前記画像内の消失線に沿った追跡領域内で物体候補を設定し、前記時系列画像のフレーム毎に前記物体候補の位置を前記コンピュータによって特定し、
    前記画像内の消失点から沸き出す方向の移動ベクトルを持つ物体候補のみを選択し、前記選択された物体候補を含み且つ前記消失線に対して垂直方向に沿った拡大率計算領域を用いて、前記物体候補の拡大率を少なくとも前後１フレームで前記コンピュータによって計算し、
    前記拡大率が第１の閾値以上のときに前記物体候補が、前記移動体に接近する物体であると前記コンピュータによって判断する
    ことを特徴とする物体検出方法。
13. 前記コンピュータによって前記拡大率を計算するときは、
    前記物体候補を含み、かつ、前記画像の上部から下部に伸びる矩形領域を前記拡大率計算領域として設定し、
    前記拡大率計算領域を用いて前記物体候補の垂直方向の拡大率を計算する
    ことを特徴とする請求項１１記載の物体検出方法。

Images