JP5407898B2 - 対象物検出装置及びプログラム - Google Patents

Description

本発明は、対象物検出装置及びプログラムに係り、特に、撮影画像から対象物を検出する対象物検出装置及びプログラムに関する。

従来、カメラで所定の撮像範囲で自車の周辺の画像を撮影し、撮影した画像及び自車の速度に基づいて、撮像範囲に存在する静止車両を検出する物体検出装置が提案されている（例えば、特許文献１参照）。特許文献１の物体検出装置では、静止車両における自車に近い側の端に、撮像範囲よりも小さい処理領域を設定し、処理領域内で撮影された物体が歩行者であるか否かを判断している。

また、判別対象となり得る物体までの距離毎に複数のテンプレートを記憶しておき、画像内から判別の対象となる物体を背景差分法あるいは顕著性算出法により検出して、その物体までの距離を検出し、その距離に対応したテンプレートを選択して、判別対象として画像内から検出された物体に対して、選択したテンプレートをあてはめて物体判別を行う物体判別装置が提案されている（例えば、特許文献２参照）。

特開２００８−２４２５７１号公報 特開２００７−７２６６５号公報

しかしながら、特許文献１の技術では、歩行者を検出するための探索範囲を画像上の静止車両における自車に近い側の端として設定しているが、歩行者等の対象物が飛び出す可能性のある死角を作り出す要因は静止車両に限らないため、適切に探索範囲を設定しているとはいえない、という問題がある。

また、特許文献１及び２の技術では、検出及び判別対象の物体を歩行者としているが、死角から飛び出す対象物は歩行者に限らず、車両や二輪車等の可能性もある。これらを画像で認識するためには、それぞれの対象物に応じたテンプレート等を予め用意しておいて、いずれのテンプレートとの一致度が高いか等を判断する必要があり、計算コストが増大する、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、計算コストを削減して対象物を早期に検出することができる対象物検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の対象物検出装置は、移動体の周辺に存在する物体の位置を検出する物体位置検出手段と、前記物体位置検出手段により検出された物体の位置に基づいて、前記物体位置検出手段の死角領域の位置、大きさ、及び前記死角領域の検出可能領域との境界を示す境界線であって、前記物体の端部から奥行き方向に伸びる境界線の長さを推定する死角領域推定手段と、前記死角領域推定手段により推定された前記死角領域の位置、大きさ、及び前記境界線の長さに基づいて、前記死角領域から出現する可能性のある対象物の種類を推定する対象物推定手段と、前記死角領域推定手段により推定された前記死角領域の位置に基づいて、前記移動体の周辺を撮影した撮影画像から前記対象物を検出するために探索する探索範囲を設定する探索範囲設定手段と、前記撮影画像の前記探索範囲が設定された領域から抽出された抽出画像と、予め対象物を識別するために生成され、かつ推定された前記対象物の種類に応じた識別モデルとに基づいて、対象物を識別する対象物識別手段と、を含んで構成されている。

本発明の対象物検出装置によれば、物体位置検出手段により、移動体の周辺に存在する物体の位置を検出し、死角領域推定手段が、物体位置検出手段により検出された物体の位置に基づいて、物体位置検出手段の死角領域の位置、大きさ、及び死角領域の検出可能領域との境界を示す境界線であって、物体の端部から奥行き方向に伸びる境界線の長さを推定する。死角領域からは、歩行者、二輪車、車両等が出現する可能性があり、それらの対象物を検出対象とする。そして、対象物推定手段が、死角領域推定手段により推定された死角領域の位置、大きさ、及び境界線の長さに基づいて、死角領域から出現する可能性のある対象物の種類を推定する。死角領域の位置、大きさにより、その位置に存在する可能性のある対象物を推定することができる。また、死角領域の検出可能領域との境界を示す境界線であって、物体の端部から奥行き方向に伸びる境界線の長さが短い場合には、その死角領域の境界線部分から車両が出現する可能性はないなど、対象物を推定することができる。

また、探索範囲設定手段が、死角領域推定手段により推定された死角領域の位置に基づいて、移動体の周辺を撮影した撮影画像から対象物を検出するために探索する探索範囲を設定する。撮影画像の全領域を探索するよりも探索の重要度の高い領域を設定して探索するため、計算コストを削減できる。そして、対象物識別手段が、撮影画像の探索範囲が設定された領域から抽出された抽出画像と、予め対象物を識別するために生成され、かつ推定された対象物の種類に応じた識別モデルとに基づいて、対象物を識別する。

このように、物体位置検出手段により検出された物体の位置を用いて死角領域を推定し、推定された死角領域に基づいて、死角領域から出現する可能性のある対象物を推定すると共に、死角領域に基づいて、撮影画像から対象物を検出するために探索する探索範囲を設定するため、計算コストを削減して対象物を早期に検出することができる。

また、本発明の対象物検出装置は、前記物体位置検出手段により検出された物体の位置と、過去に検出された物体の位置とを対応させて、前記物体が移動している物体か静止している物体かを判定する物体判定手段を含み、前記対象物推定手段は、前記死角領域の位置、大きさ、前記境界線の長さ、及び前記物体判定手段の判定結果に基づいて、前記死角領域から出現する可能性のある対象物の種類を推定し、前記探索範囲設定手段は、前記死角領域の位置、及び前記物体判定手段の判定結果に基づいて、前記探索範囲を設定するようにすることができる。死角領域を形成する障害物が移動物か静止物かの情報は、死角領域から対象物が出現するか否か、またその対象物の種類は何かを推定するために重要な情報となるため、対象物の推定精度が向上すると共に、適切な探索範囲を設定することができる。

また、前記探索範囲設定手段は、前記探索範囲が複数存在する場合には、前記死角領域の位置、隣り合う前記死角領域の間の距離、前記物体判定手段の判定結果、及び推定された前記対象物の種類に基づいて、前記探索範囲に優先度を設定するようにすることができる。これにより、計算コストに制限がある場合でも、重要度の高い探索範囲を優先的に探索することができる。

また、本発明の対象物検出装置は、前記撮影画像を画像認識して白線を認識する白線認識手段と、前記移動体の周辺の建物情報及び交差点情報を含む地図情報を取得する地図情報取得手段と、を含み、前記死角領域推定手段は、前記地図情報取得手段で取得した地図情報も用いて、前記死角領域の位置、大きさ、及び前記境界線の長さを推定し、前記対象物推定手段は、前記白線認識手段の認識結果も用いて、前記死角領域から出現する可能性のある対象物の種類を推定するようにすることができる。白線は、対象物の推定の際に重要な情報となり、また、地図情報は、死角領域を推定するために重要な情報となるため、白線及び地図情報を用いることで、死角領域及び対象物の推定精度を向上させることができる。

また、前記探索範囲設定手段は、前記探索範囲が複数存在する場合には、前記白線認識手段の認識結果、及び前記地図情報取得手段で取得した地図情報に基づいて、前記探索範囲に優先度を設定するようにすることができる。

また、本発明の対象物検出装置は、前記物体位置検出手段により検出された物体の大きさ及び形状に基づいて、前記物体の種類を識別して、検出すべき対象物の候補として抽出する対象物候補抽出手段を含み、前記探索範囲設定手段は、前記対象物候補抽出手段で抽出された対象物の候補の近傍を探索範囲として設定するようにすることができる。撮影画像を画像処理して対象物候補を抽出するのではなく、物体位置検出手段により検出された障害物から対象物候補を抽出するため、画像処理の計算コストを削減することができる。

また、前記対象物候補抽出手段は、前記対象物識別手段の識別結果に基づいて、抽出する前記対象物候補を限定するようにすることができる。これにより、無駄な対象物候補が抽出されなくなり、計算コストを削減することができる。

また、前記対象物識別手段は、前記移動体から前記探索範囲が設定された画像上の位置に対応する位置までの距離に応じて、前記撮影画像の拡縮率を変更するようにすることができる。これにより、遠くの対象物についての認識精度を劣化させることなく、近くの対象物を認識する際の計算コストを削減することができる。

また、前記物体位置検出手段を、レーザレーダまたはステレオカメラとすることができる。このような距離の測定に信頼度の高い装置を用いることにより、より精度よく死角領域を推定することができる。

また、上記目的を達成するために本発明の対象物検出プログラムは、コンピュータを、移動体の周辺に存在する物体の位置を検出する物体位置検出手段、前記物体位置検出手段により検出された物体の位置に基づいて、前記物体位置検出手段の死角領域の位置、大きさ、及び前記死角領域の検出可能領域との境界を示す境界線であって、前記物体の端部から奥行き方向に伸びる境界線の長さを推定する死角領域推定手段、前記死角領域推定手段により推定された前記死角領域の位置、大きさ、及び前記境界線の長さに基づいて、前記死角領域から出現する可能性のある対象物の種類を推定する対象物推定手段、前記死角領域推定手段により推定された前記死角領域の位置に基づいて、前記移動体の周辺を撮影した撮影画像から前記対象物を検出するために探索する探索範囲を設定する探索範囲設定手段、及び前記撮影画像の前記探索範囲が設定された領域から抽出された抽出画像と、予め対象物を識別するために生成され、かつ推定された前記対象物の種類に応じた識別モデルとに基づいて、対象物を識別する対象物識別手段として機能させるためのプログラムである。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明の対象物検出装置及びプログラムによれば、物体位置検出手段により検出された物体の位置を用いて死角領域を推定し、推定された死角領域に基づいて、死角領域から出現する可能性のある対象物を推定すると共に、死角領域に基づいて、撮影画像から対象物を検出するために探索する探索範囲を設定するため、計算コストを削減して対象物を早期に検出することができる、という効果が得られる。

第１の実施の形態に係る対象物検出装置を示すブロック図である。 レーザレーダによる検出された物体の２次元位置を示すイメージ図である。 ２次元グリッド地図の一例を示すイメージ図である。 （ａ）走行環境の一例を示すイメージ図、及び（ｂ）（ａ）に示す走行環境の２次元グリッド地図の一例を簡易に示すイメージ図である。 距離に応じた撮影画像の拡縮率を説明するための図である。 第１の実施の形態に係る対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。 第１の実施の形態に係る対象物検出装置における探索範囲設定処理ルーチンの内容を示すフローチャートである。 第１の実施の形態に係る対象物検出装置における対象物識別処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る対象物検出装置を示すブロック図である。 第２の実施の形態に係る対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。 第３の実施の形態に係る対象物検出装置を示すブロック図である。 第３の実施の形態に係る対象物検出装置における探索範囲設定処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載された対象物検出装置に、本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る対象物検出装置１０は、自車両の前方に対してレーザを１次元（水平方向）に走査しながら照射し、レーザの反射によりレーザが照射された物体の２次元位置を検出するレーザレーダ１２と、自車両の車速を検出する車速センサ及び自車両のハンドル操舵角を検出するハンドル角センサを含む車両センサ１４と、車両周辺を撮影するＣＣＤカメラ等で構成され、撮影された画像の画像データを出力する撮影装置１６と、検出結果を表示するための表示装置１８と、撮影装置１６で撮影された画像から対象物を検出する処理を実行するコンピュータ２０と、を備えている。

レーザレーダ１２は、車両前方に設置され、車両の進行方向を中心とした視野角で周辺環境を観測し、装置を基準とする車両前方に存在する物体の方位及び距離を検出する装置である。レーザレーダ１２は、出力するレーザを水平方向に走査することで、レーザの反射により自車両前方に存在する複数の物体表面上の複数の位置を検出することができる。レーザレーダ１２による検出結果は、図２に示すように、自車両前方に存在する物体表面のある点の位置を表す２次元座標の集合である。レーザレーダ１２による検出処理は一定サイクルで実行され、レーザレーダ１２は、各時点での自車両前方に存在する物体表面の複数の点の２次元位置を示す観測データをコンピュータ２０に出力する。

撮影装置１６は、車両前方に設置され、車両の進行方向を中心とした視野角で、レーザレーダ１２と共通の観測領域を撮影して、画像データをコンピュータ２０に出力する。撮影装置１６が出力する画像データは、カラー画像であってもよいし、モノクロ画像であってもよい。また、レーザレーダ１２と撮影装置１６とは、検出したい範囲の視野角を有すればよく、センサの数や視野角は特に制限されない。さらに、レーザレーダ１２及び撮影装置１６の設置位置や角度は既知であるため、レーザレーダ１２で観測された物体の位置と、撮影装置１６で撮影された撮影画像内での物体の位置とは対応付けができる。

コンピュータ２０は、ＣＰＵ、後述する探索範囲設定処理ルーチン及び対象物識別処理ルーチンを含む対象物検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭ、データ等を一時的に記憶するＲＡＭ、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。

このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、レーザレーダ１２により観測された観測データ、及び車両センサ１４の検出値に基づいて、障害物を検出すると共に、障害物の種類を推定する障害物推定部２２と、検出された障害物により形成される死角領域の位置、大きさ、及び死角領域のフリースペースとの境界を示す境界線であって、障害物の端部から奥行き方向に伸びる境界線（以下、死角領域境界線という）の長さを推定する死角領域推定部２４と、死角領域の位置、大きさ、及び死角領域境界線の長さに基づいて、死角領域から出現する可能性のある対象物の種類を推定する対象物推定部２６と、死角領域に基づいて、対象物の探索範囲を設定する探索範囲設定部２８と、探索範囲が複数存在する場合に、優先度を設定する優先度設定部３０と、死角領域の位置、大きさ、死角領域境界線の長さ、及び自車両から探索範囲が設定された画像上の位置に対応する位置までの距離に基づいて、探索密度、拡縮率等の探索条件を設定する探索条件設定部３２と、予め生成された対象物の種類毎の識別モデルが記憶された識別モデル記憶部３４と、撮影画像の探索範囲から抽出されたウインドウ画像と識別モデルとを照合して、ウインドウ画像が対象物か否かを識別する対象物識別部３６と、を備えた構成で表すことができる。なお、障害物推定部２２が、本発明の物体判定手段の機能を実現するための構成の一例である。

障害物推定部２２は、レーザレーダ１２による観測が行われると、レーザレーダ１２により検出された障害物の２次元位置を取得する。また、レーザレーダ１２による前回の観測時から現在までの間における、車両センサ１４の車速センサにより検出された車速、及び車両センサ１４のハンドル角センサにより検出されたハンドル操舵角を取得し、レーザレーダ１２による前回の観測時から現在までの自車両の運動を推定する。そして、推定された自車両の運動も加味して、レーザレーダ１２による前回の観測データと現在の観測データとの位置合せを行う。前回の観測データと略同位置に存在する現在の観測データを、静止している物体（以下、静止物という）を示す観測データ、前回の観測データと推定された自車両の運動に応じた距離分ずれた位置に存在する現在の観測データを、移動している物体（以下、移動物という）を示す観測データであると判定する。

さらに、障害物推定部２２は、移動物及び静止物と判定された観測データのそれぞれについて、距離の近い観測データ同士をクラスタリングすることにより、１つの障害物を示す観測データ群にグループ化する。そして、観測データ群の大きさ、配置、形状、及び移動物か静止物かの判定結果に基づいて、その観測データ群が示す障害物の種類を推定する。例えば、観測データ群の形状がＬ字で、かつ移動物の場合には、その観測データ群が示す障害物を走行車両であると推定したり、観測データ群の形状がＬ字で、かつ静止物の場合であって、自車両の走行路面上または走行路面との距離が近い位置に配置されているときには、その観測データ群が示す障害物を駐車車両であると推定したり、自車両の走行路面との距離が遠い位置に配置されているときには、その観測データ群が示す障害物を建物であると推定したり、観測データ群に含まれる観測データが不規則に点在し、かつ観測データ群の大きさが小さい場合には、その観測データ群が示す障害物を歩行者であると推定したりすることができる。

死角領域推定部２４は、図３に示すように、前回の観測データに基づいて生成または更新された２次元グリッド地図における自車両の位置を更新すると共に、障害物推定部２２で推定された観測データに基づく空間情報を、２次元グリッド地図に投票及び蓄積する。例えば、図４（ａ）に示すような走行環境の場合には、同図（ｂ）に示すような２次元グリッド地図に更新される。なお、同図（ｂ）は、２次元グリッド地図を簡易的に表している。同図（ｂ）において太線は観測データ群を示しており、そこに障害物があることを示している。死角領域推定部２４では、この２次元グリッド地図に基づいて、レーザレーダ１２のレーザ光が障害物によって遮られる領域、すなわちレーザレーダ１２から見て障害物の背後に相当する領域を死角領域であると推定する。具体的には、障害物を示す線（図中の太線）と、障害物を示す線の端部とレーザレーダ１２の位置とを通り、障害物を示す線の端部から奥行き方向に伸びる線（図中の２点鎖線）とで囲まれた領域を死角領域として推定する。レーザレーダ１２と障害物との間の空間は、障害物のないフリースペースであると推定する。また、死角領域の境界線のうち、フリースペースとの境界線を示す部分が死角領域境界線であり、この死角領域境界線の箇所が、対象物が出現する可能性のある箇所となる。

なお、同図（ｂ）で示す矢印は、障害物が移動物である場合の移動方向及び速度を示す移動ベクトルである。

対象物推定部２６は、２次元グリッド地図上で推定された死角領域の位置、大きさ、死角領域境界線の長さ、及び死角領域を形成する障害物が移動物か静止物かの判定結果に基づいて、死角領域から出現する可能性のある対象物の種類を推定する。例えば、死角領域境界線の長さが一般的な車両幅より狭い場合には、その箇所から出現する可能性のある対象物は、歩行者または二輪車であると推定することができる。また、図４（ｂ）の（４）の箇所から出現する可能性のある対象物は、死角領域の大きさ及び建物と推定された障害物の配置から、車両、二輪車、歩行者であると推定される。

探索範囲設定部２８は、２次元グリッド地図上で推定された死角領域に基づいて、対象物が出現する可能性のある箇所を、撮影画像上から対象物を検出するために探索する探索範囲として設定する。具体的には、死角領域境界線のフリースペース側の所定範囲を探索範囲として設定する。なお、所定範囲は、自車両と探索範囲に対応する位置との距離や推定された対象物の種類等に応じて、適切な範囲を設定すればよい。

また、探索範囲設定部２８は、死角領域の位置、大きさ、死角領域境界線の長さ、及び死角領域を形成する障害物が移動物か静止物かの判定結果に基づいて、探索する必要のない箇所を探索範囲から除外する。例えば、図４（ｂ）に示す２次元グリッド地図の場合には、（１）〜（８）で示した箇所が探索範囲の候補となるが、計算コストを考慮して、これらの探索範囲の候補の中で、死角領域から対象物が出現した場合に、自車両と衝突する可能性のある箇所を探索範囲として選択し、他の探索範囲の候補は除外する。例えば、同図（ｂ）の（１）、（２）、（３）及び（７）から出現する対象物は、現在の自車両の位置及び速度との関係で衝突する可能性がないため、探索範囲の候補から除外することができる。また、（６）は、移動物と移動物との間の死角領域であるため、連なって走行する車両間から対象物が出現する可能性は低いと判断することができるため、候補から除外することができる。（８）から出現する対象物は、自車両の進路上に移動する前に、対向車両と推定される移動物に遮られて、自車両と衝突する可能性は低いと判断することができるため、候補から除外することができる。従って、（４）及び（５）の箇所が探索範囲として設定される。なお、計算コストに余裕がある場合には、すべての対象箇所を探索範囲として設定してもよい。

優先度設定部３０は、探索範囲設定部２８で設定された探索範囲が複数ある場合に、探索範囲に対して対象物を検出する順番を示す優先度を設定する。優先度は、自車両からの距離、隣り合う死角領域の間の距離、出現する可能性のある対象物の種類、死角領域を形成している障害物の種類等に応じて定めることができる。例えば、上記の図４（ｂ）の例で、探索範囲として（４）及び（５）が設定された場合には、自車両からの距離が近い（４）の優先度を（５）より高く設定することができる。また、出現する可能性のある対象物の種類に応じて、重みを変えてもよい。

探索条件設定部３２は、死角領域の位置、大きさ、死角領域境界線の長さ、及び自車両から探索範囲が設定された画像上の位置に対応する位置までの距離に基づいて、探索密度、拡縮率等の探索条件を設定する。自車両からの距離は、レーザレーダ１２の観測データを用いる。拡縮率は、図５に示すように、撮影装置１６の最大解像度で取得された撮影画像を最大サイズとして、探索範囲が設定された画像上の位置に対応する位置までの距離が遠いほど、撮影画像のサイズを縦横比は変化させずに最大解像度に近いサイズとし、距離が近いほど、撮影画像のサイズを縮小率の大きなサイズとする。これにより、解像度の高い撮影装置１６を用いれば、遠くの物体に対する認識性能を劣化させることなく、近くの物体を認識する場合の計算コストを効果的に抑えることができる。また、探索密度とは、撮影画像上の探索範囲として設定された領域から後述するウインドウ画像を抽出する際の探索ウインドウの移動量である。選択された画像のサイズ及び推定された対象物の種類に応じて、適切な移動量を設定する。

識別モデル記憶部３４には、撮影画像から対象物を識別するために、識別の手法に応じて予め生成された対象物の種類毎の識別モデルが記憶されている。識別の手法としては公知の手法を用いることができ、例えば、テンプレートマッチングやＳＶＭ（サポートベクターマシン）等を用いることができる。テンプレートマッチングの場合には、マスターテンプレートを識別モデルとして記憶しておき、ＳＶＭの場合には、ＳＶＭの手法で学習することにより生成した識別モデルを記憶しておく。

対象物識別部３６は、撮影画像の探索範囲が設定された領域に対して、予め定めたサイズの探索ウインドウを設定し、探索ウインドウを探索条件設定部３２により設定された探索密度で探索範囲内を走査しながら、探索ウインドウ内のウインドウ画像を抽出する。抽出されたウインドウ画像と対象物推定部２６で推定された対象物の種類に対応した識別モデルとを、上記のような公知の手法により照合することにより、ウインドウ画像が対象物か否かを識別する。

次に、本実施の形態に係る対象物検出装置１０の作用について説明する。

まず、レーザレーダ１２によって、レーザが自車両の前方を水平方向に走査されて、走査方向に並んだレーザ照射位置としての物体の２次元位置の各々までの距離が計測され、自車両の前方に存在する物体の２次元位置が検出される。レーザレーダ１２によって検出される２次元位置は、レーザを走査する毎に得られる。

そして、コンピュータ２０によって、図６に示す対象物検出処理ルーチンが実行される。

ステップ１００で、レーザレーダ１２によってレーザが走査されると、レーザレーダ１２から、前方に存在する物体の２次元位置（走査方向に並んだ各２次元位置までの計測距離）を示す観測データを取得する。また、前回のレーザの走査から現在までの車両センサ１４の車速センサにより検出された車速及び車両センサ１４のハンドル角センサにより検出されたハンドル操舵角を取得する。さらに、レーザレーダ１２による走査タイミングと同期したタイミングで撮影装置１６により撮影された撮影画像の画像データを取得する。

次に、ステップ１０２で、上記ステップ１００で取得したレーザレーダ１２の観測データ、及び車両センサの検出値に基づいて、撮影画像から対象物を検出するために探索する探索範囲を設定する探索範囲設定処理を実行する。

ここで、図７を参照して、探索範囲設定処理ルーチンについて詳細に説明する。

ステップ１２０で、レーザレーダ１２による前回の観測時から現在までの自車両の運動を推定し、推定された自車両の運動も加味して、レーザレーダ１２による前回の観測データと現在の観測データとの位置合せを行う。そして、前回の観測データと略同位置に存在する現在の観測データを、静止物を示す観測データ、前回の観測データと推定された自車両の運動に応じた距離分ずれた位置に存在する現在の観測データを、移動物を示す観測データであると判定する。

次に、ステップ１２２で、移動物及び静止物と判定された観測データのそれぞれについて、距離の近い観測データ同士をクラスタリングすることにより、１つの障害物を示す観測データ群にグループ化する。そして、観測データ群の大きさ、配置、形状、及び移動物か静止物かの判定結果に基づいて、その観測データ群が示す障害物の種類（建物、歩行者、駐車車両、対向車等）を推定する。

次に、ステップ１２４で、２次元グリッド地図における自車両の位置を更新すると共に、上記ステップ１２２で推定された観測データに基づく空間情報（障害物の配置、種類等）を、２次元グリッド地図に投票及び蓄積する。そして、この２次元グリッド地図に基づいて、死角領域を推定する。

次に、ステップ１２６で、上記ステップ１２４で推定された死角領域の位置、大きさ、死角領域境界線の長さ、及び死角領域を形成する障害物が移動物か静止物かの判定結果に基づいて、死角領域から出現する可能性のある対象物の種類を推定する。

次に、ステップ１２８で、上記ステップ１２４で推定された死角領域に基づいて、対象物が出現する可能性のある箇所を、撮影画像から対象物を検出するために探索する探索範囲として識別する。その際、死角領域の位置、大きさ、死角領域境界線の長さ、及び死角領域を形成する障害物が移動物か静止物かの判定結果に基づいて、探索する必要のない箇所を探索範囲から除外する。

次に、ステップ１３０で、上記ステップ１２８で探索範囲であると識別された箇所が複数ある場合には、探索範囲の各々に優先度を設定して、探索範囲を設定して、リターンする。

図６のステップ１０４に戻ると、上記ステップ１０２の処理により、探索範囲が設定されたか否かを判定する。探索範囲が設定されている場合には、ステップ１０６へ移行して対象物識別処理を実行する。探索範囲が設定されていない場合には、ステップ１０６をスキップして、ステップ１０８へ移行する。

ここで、図８を参照して、対象物識別処理ルーチンについて詳細に説明する。

ステップ１４０で、死角領域の位置、大きさ、死角領域境界線、及び自車両から探索範囲が設定された画像上の位置に対応する位置までの距離に基づいて、探索密度、拡縮率等の探索条件を設定する。

次に、ステップ１４２で、探索範囲設定処理（図７）で設定された探索範囲を、上記ステップ１００で取得した撮影画像に適用する。このときの撮影画像は、上記ステップ１４０で設定された拡縮率に応じたサイズに変更する。なお、サイズを変更した複数枚の画像を予め用意しておき、探索範囲に対応する位置までの距離に応じたサイズの画像に切り替えるようにしてもよい。また、それぞれの解像度にあわせた識別モデルを用意しておいてもよい。

そして、探索範囲のうち、探索範囲設定処理（図７）のステップ１３０で設定された優先度の最も高い探索範囲を選択して、選択された探索範囲が適用された撮影画像の領域に対して、予め定めたサイズの探索ウインドウを設定し、探索ウインドウ内のウインドウ画像を抽出し、識別モデルに対応した所定サイズに正規化する。

次に、ステップ１４４で、探索範囲設定処理（図７）のステップ１２６で推定された対象物の種類に応じた識別モデルを識別モデル記憶部３４から読み出し、上記ステップ１４２で抽出されたウインドウ画像と読み出した識別モデルとを照合する。

次に、ステップ１４６で、上記ステップ１４４での照合の結果、ウインドウ画像が対象物であるか否かを判定する。この判定は、例えば、識別の手法に応じた評価値、例えば、ウインドウ画像と識別モデルとの一致度を示す評価値を算出し、この評価値が閾値以上の場合には、ウインドウ画像が対象物であると判定し、評価値が閾値より小さい場合には、ウインドウ画像は対象物ではないと判定する。ウインドウ画像が対象物であると判定された場合には、ステップ１４８へ進み、探索ウインドウの位置及び大きさ等の情報をリストとしてＲＡＭに保存して、次のステップ１５０へ進む。一方、ウインドウ画像は対象物ではないと判定された場合には、ステップ１４８をスキップして、ステップ１５０へ進む。

ステップ１５０では、撮影画像の探索範囲が設定された領域全体について探索ウインドウを走査して探索が終了したか否かを判定する。終了していない場合は、ステップ１５２へ進み、探索ウインドウの位置を上記ステップ１４０で設定された探索密度に応じて１ステップ移動させて、ステップ１４２に戻り、ステップ１４２〜ステップ１５０の処理を繰り返す。探索範囲全体の探索が終了すると、ステップ１５４へ進む。

ステップ１５４では、撮影画像内の全ての探索範囲について処理が終了したか否かを判定する。未処理の探索範囲が存在する場合には、ステップ１４２へ戻って、次に優先度の高い探索範囲を選択して、ステップ１４２〜ステップ１５４の処理を繰り返す。全ての探索範囲について処理が終了した場合には、リターンする。なお、探索ウインドウのサイズを複数用意しておき、全てのサイズの探索ウインドウの各々で探索するようにしてもよい。

図６のステップ１０８へ戻って、上記ステップ１４８で、リストに保存した情報に基づいて、前回以前の処理で検出された対象物との対応をとって追跡処理すると共に、撮影画像に対して、検出された対象物がウインドウで囲まれて表示されるように表示装置１８を制御して、処理を終了する。なお、上記ステップ１０６をスキップして、本ステップへ移行した場合には、追跡処理のみにより対象物を検出するようにすればよい。

以上説明したように、第１の実施の形態の対象物検出装置によれば、レーザレーダの観測データを用いて死角領域を推定し、推定された死角領域に基づいて、死角領域から出現する可能性のある対象物を推定すると共に、死角領域に基づいて、撮影画像から対象物を検出するために探索する探索範囲を設定するため、計算コストを削減して対象物を早期に検出することができる。

また、レーザレーダの観測データを過去の観測データと位置合せして、検出した障害物が移動物か静止物かを判定し、この判定結果も加味して対象物の推定及び探索範囲の設定を行うため、対象物及び死角領域の推定精度を向上させることができる。

また、レーザレーダの観測データを用いて探索範囲を設定するため、探索範囲に対応する位置までの距離を精度よく把握することができる。また、この距離に応じて、撮影画像の拡縮率を変更するため、遠くの対象物の検出精度を劣化させることなく、近くの対象物の検出の計算コストを削減することができる。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一の符号を付して説明を省略する。

第２の実施の形態では、自車両が走行する路面上の白線、及び地図情報も用いて死角領域や対象物を推定する点が、第１の実施の形態と異なっている。

図９に示すように、第２の実施の形態に係る対象物検出装置２１０のコンピュータ２２０は、障害物推定部２２と、死角領域推定部２２４と、対象物推定部２２６と、探索範囲設定部２８と、優先度設定部２３０と、探索条件設定部３２と、識別モデル記憶部３４と、対象物識別部３６と、撮影画像から自車両が走行する路面上の白線を認識する白線認識部３８と、カーナビゲーション装置等から建物情報及び交差点情報を含む地図情報を取得する地図情報取得部４０とを備えた構成で表すことができる。

白線認識部３８は、撮影画像を取得して画像処理することにより、自車両が走行する路面上のレーンや、歩行者や自転車が通行する可能性の高い横断歩道を認識する。この白線情報は、対象物を推定するために重要な情報である。

地図情報取得部４０は、カーナビゲーション装置等から、周辺建物の情報、道路の幅や形状、交差点の形状等を取得して、２次元グリッド地図に反映させる。また、レーザレーダ１２の観測データから推定された静止物の情報を、道路情報と共に記憶しておき、この情報を地図情報として取得するようにしてもよい。また、車車間通信によって他車両から地図情報を取得したり、無線通信で他の装置から地図情報を取得したりするようにしてもよい。

死角領域推定部２２４は、地図情報取得部４０で取得された地図情報も２次元グリッド地図に反映する。地図情報を把握することができれば、死角領域をより正確に推定することができ、死角領域から出現する可能性のある対象物をより正確に推定することができる。

対象物推定部２２６は、白線認識部３８での認識結果も用いて、死角領域から出現する可能性のある対象物の種類を推定する。

優先度設定部２３０は、第１の実施の形態で述べた優先度の基準に加え、白線認識部３８での認識結果、及び地図情報取得部４０で取得された地図情報も用いて優先度を設定する。死角領域がレーンや横断歩道にかかる箇所では、対象物が出現する可能性、及び衝突の可能性が高くなるため、探索範囲として設定する重要性が高まる。例えば、地図情報から予測される自車両の進路に近いほど優先度を高くしたり、レーンと探索範囲との位置関係で、探索範囲の位置がレーンの内側であるほど優先度を高くしたり、レーンの外側では、レーンまでの距離が近いほど優先度を高くしたりすることができる。

次に、図１０を参照して、第２の実施の形態の対象物検出装置２１０のコンピュータ２２０で実行される対象物検出処理ルーチンについて説明する。なお、第１の実施の形態の対象物検出処理ルーチンと同様の処理については、同一の符号を付して説明を省略する。

ステップ２４０で、レーザレーダ１２の観測データ、車両センサ１４で検出された検出値、撮影装置１６で撮影された撮影画像の画像データ、及びカーナビゲーション装置等から地図情報を取得する。

次に、ステップ２４２で、上記ステップ２４０で取得された撮影画像を画像処理して、レーンや横断歩道等の白線を認識する。

そして、ステップ１０２〜１０８で、第１の実施の形態と同様の処理により、対象物を検出する。なお、ステップ１０２で実行される探索範囲設定処理（図７）のステップ１２４の死角領域を推定する処理では、上記ステップ２４０で取得された地図情報も用い、ステップ１２６の対象物の種類を推定する処理では、上記ステップ２４２で認識された白線の情報も用い、ステップ１３０の探索範囲に優先順位を設定する処理では、地図情報及び白線の情報も用いる。

以上説明したように、第２の実施の形態の対象物検出装置によれば、撮影画像から認識された白線及び地図情報も用いて死角領域を推定するため、死角領域の位置、大きさ、死角領域境界線の長さがより正確に推定でき、死角領域から出現する可能性のある対象物もより正確に推定することができる。

また、探索範囲の優先度の設定にも白線情報及び地図情報を用いることで、探索すべき重要度の高い探索範囲に、高い優先度を適切に設定することができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一の符号を付して説明を省略する。

第３の実施の形態では、レーザレーダ１２で検出された障害物を検出すべき対象物候補として抽出する点が、第１の実施の形態と異なっている。

図１１に示すように、第３の実施の形態に係る対象物検出装置３１０のコンピュータ３２０は、障害物推定部２２と、死角領域推定部２４と、対象物推定部２６と、探索範囲設定部３２８と、優先度設定部３０と、探索条件設定部３２と、識別モデル記憶部３４と、対象物識別部３３６と、レーザレーダ１２で検出された障害物を検出すべき対象物候補として抽出する対象物候補抽出部４２とを備えた構成で表すことができる。なお、対象物推定部２２及び対象物候補抽出部４２が、本発明の対象物候補抽出手段の機能を実現するための構成の一例である。

対象物候補抽出部４２は、障害物推定部２２により推定された障害物の種類が、検出対象の対象物の種類に該当する場合には、その障害物を対象物候補として抽出する。

探索範囲設定部３２８は、死角領域近傍を探索範囲として設定すると共に、対象物候補抽出部４２で抽出された対象物候補を含むその近傍領域を探索範囲として設定する。

対象物識別部３３６は、識別結果を対象物候補抽出部４２へフィードバックする。例えば、対象物が歩行者の場合、対象物候補抽出部４２では、電柱やポールや標識等の大きさが歩行者程度の静止物も、対象物候補として抽出される可能性がある。しかし、対象物識別部３３６で、その対象物候補近傍に設定された探索範囲から抽出されたウインドウ画像が「歩行者ではない」と評価された場合には、再度、同一の障害物を対象物候補として抽出することは計算コストの無駄である。そこで、識別結果をフィードバックして、対象物ではないと評価された対象物候補が再度抽出されないように、その対象物候補を対象物候補から除外するための除外情報を付与する。

次に、図１２を参照して、第３の実施の形態の対象物検出装置３１０のコンピュータ３２０で実行される探索範囲設定処理ルーチンについて説明する。なお、第１の実施の形態の探索範囲設定処理ルーチンと同様の処理については、同一の符号を付して説明を省略する。

ステップ１２０及びステップ１２２で、レーザレーダ１２の観測データに基づいて、障害物を検出すると共に、障害物の種類を推定する。

次に、ステップ３４０で、上記ステップ１２２で推定された障害物の種類に基づいて、検出対象の対象物の種類に該当する障害物を対象物候補として抽出する。

次に、ステップ３４２で、上記ステップ３４０で抽出された対象物候補に対して、対象物識別結果のフィードバックによる除外情報が付与されているか否かを確認し、除外情報がある場合には、その対象物候補を除外する。

そして、ステップ１２４〜ステップ１２８で、第１の実施の形態と同様に、対象物の種類及び死角領域を推定する。

次に、ステップ３４４で、死角領域近傍だけでなく、上記ステップ３４０及びステップ３４２で抽出された対象物候補を含むその近傍領域を探索範囲として設定して、リターンする。

以上説明したように、第３の実施の形態の対象物検出装置によれば、死角領域とあわせて、レーザレーダで検出された障害物も対象物候補として抽出するため、画像処理の負担を軽減することができる。

また、対象物候補を抽出する際に、対象物の識別結果をフィードバックした情報を用いるため、無駄な対象物候補を抽出することを防止して、計算コストを抑えることができる。

なお、第３の実施の形態においても、第２の実施の形態と同様に、白線情報及び地図情報も用いて死角領域や対象物を推定するようにしてもよい。

また、上記実施の形態では、レーザレーダを水平方向のみに走査する場合について説明したが、レーザレーダを垂直方向にも走査して障害物の高さも検出するようにしてもよい。この場合、死角領域として高さ情報も有することになり、死角領域から出現する可能性のある対象物が歩行者である場合に、さらにその歩行者が大人か子供かということまで推定することができる。

また、上記実施の形態では、探索候補を優先度順に探索する場合について説明したが、設定された探索範囲のうち、優先度の高い所定個の探索範囲のみから探索するようにしてもよい。これにより、計算コストが限られている場合であっても、検出すべき重要度の高い探索範囲を探索することができる。

また、上記実施の形態では、レーザレーダの検出結果や車速センサ及びハンドル角センサの検出結果を用いて、自車両の運動を推定する場合を例に説明したが、これに限定されるものではなく、例えば、ＧＰＳセンサによる自車位置の検出結果を用いて自車両の運動を推定するようにしてもよい。また、レーザレーダ、車速センサ、ハンドル角センサ、及びＧＰＳセンサの検出結果を組み合わせて、自車両の運動を推定するようにしてもよいし、レーザレーダの観測データのみから推定するようにしてもよい。

また、上記実施の形態では、レーザレーダによりレーザを前方に走査して物体の位置を検出する場合を例に説明したが、これに限定されるものではなく、ミリ波などの電磁波を前方に走査して物体の位置を検出するようにしてもよい。

また、上記実施の形態では、レーザレーダによって自車両前方の物体の位置を検出する場合を例に説明したが、これに限定されるものではなく、例えば、ステレオカメラによって撮影された前方画像から、自車両前方の物体の位置を検出するようにしてもよい。

また、上記実施の形態では、対象物の検出結果を表示装置に表示する場合について説明したが、これに限定されるものではなく、検出結果に応じて注意喚起のための警報を発するようにしたり、検出結果を操舵制御や制動制御等の車両運動制御装置に出力したりするようにしてもよい。

１０、２１０、３１０ 対象物検出装置
１２ レーザレーダ
１４ 車両センサ
１６ 撮影装置
１８ 表示装置
２０、２２０、３２０ コンピュータ
２２ 障害物推定部
２４、２２４ 死角領域推定部
２６、２２６ 対象物推定部
２８、３２８ 探索範囲設定部
３０、２３０ 優先度設定部
３２ 探索条件設定部
３４ 識別モデル記憶部
３６、３３６ 対象物識別部
３８ 白線認識部
４０ 地図情報取得部
４２ 対象物候補抽出部

Claims (11)

1. 移動体の周辺に存在する物体の位置を検出する物体位置検出手段と、
   前記物体位置検出手段により検出された物体の位置に基づいて、前記物体位置検出手段の死角領域の位置、大きさ、及び前記死角領域の検出可能領域との境界を示す境界線であって、前記物体の端部から奥行き方向に伸びる境界線の長さを推定する死角領域推定手段と、
   前記死角領域推定手段により推定された前記死角領域の位置、大きさ、及び前記境界線の長さに基づいて、前記死角領域から出現する可能性のある対象物の種類を推定する対象物推定手段と、
   前記死角領域推定手段により推定された前記死角領域の位置に基づいて、前記移動体の周辺を撮影した撮影画像から前記対象物を検出するために探索する探索範囲を設定する探索範囲設定手段と、
   前記撮影画像の前記探索範囲が設定された領域から抽出された抽出画像と、予め対象物を識別するために生成され、かつ推定された前記対象物の種類に応じた識別モデルとに基づいて、対象物を識別する対象物識別手段と、
   を含む対象物検出装置。
2. 前記物体位置検出手段により検出された物体の位置と、過去に検出された物体の位置とを対応させて、前記物体が移動している物体か静止している物体かを判定する物体判定手段を含み、
   前記対象物推定手段は、前記死角領域の位置、大きさ、前記境界線の長さ、及び前記物体判定手段の判定結果に基づいて、前記死角領域から出現する可能性のある対象物の種類を推定し、
   前記探索範囲設定手段は、前記死角領域の位置、及び前記物体判定手段の判定結果に基づいて、前記探索範囲を設定する
   請求項１記載の対象物検出装置。
3. 前記探索範囲設定手段は、前記探索範囲が複数存在する場合には、前記死角領域の位置、隣り合う前記死角領域の間の距離、前記物体判定手段の判定結果、及び推定された前記対象物の種類に基づいて、前記探索範囲に優先度を設定する請求項２記載の対象物検出装置。
4. 前記撮影画像を画像認識して白線を認識する白線認識手段と、
   前記移動体の周辺の建物情報及び交差点情報を含む地図情報を取得する地図情報取得手段と、を含み、
   前記死角領域推定手段は、前記地図情報取得手段で取得した地図情報も用いて、前記死角領域の位置、大きさ、及び前記境界線の長さを推定し、
   前記対象物推定手段は、前記白線認識手段の認識結果も用いて、前記死角領域から出現する可能性のある対象物の種類を推定する
   請求項１〜請求項３のいずれか１項記載の対象物検出装置。
5. 前記探索範囲設定手段は、前記探索範囲が複数存在する場合には、前記白線認識手段の認識結果、及び前記地図情報取得手段で取得した地図情報に基づいて、前記探索範囲に優先度を設定する請求項１〜請求項４のいずれか１項記載の対象物検出装置。
6. 前記物体位置検出手段により検出された物体の大きさ及び形状に基づいて、前記物体の種類を識別して、検出すべき対象物の候補として抽出する対象物候補抽出手段を含み、
   前記探索範囲設定手段は、前記対象物候補抽出手段で抽出された対象物の候補の近傍を探索範囲として設定する
   請求項１〜請求項５のいずれか１項記載の対象物検出装置。
7. 前記対象物候補抽出手段は、前記対象物識別手段の識別結果に基づいて、抽出する前記対象物の候補を限定する請求項６記載の対象物検出装置。
8. 前記対象物識別手段は、前記移動体から前記探索範囲が設定された画像上の位置に対応する位置までの距離に応じて、前記撮影画像の拡縮率を変更する請求項１〜請求項７のいずれか１項記載の対象物検出装置。
9. 前記物体位置検出手段を、レーザレーダまたはステレオカメラとした請求項１〜請求項８のいずれか１項記載の対象物検出装置。
10. コンピュータを、
    移動体の周辺に存在する物体の位置を検出する物体位置検出手段、
    前記物体位置検出手段により検出された物体の位置に基づいて、前記物体位置検出手段の死角領域の位置、大きさ、及び前記死角領域の検出可能領域との境界を示す境界線であって、前記物体の端部から奥行き方向に伸びる境界線の長さを推定する死角領域推定手段、
    前記死角領域推定手段により推定された前記死角領域の位置、大きさ、及び前記境界線の長さに基づいて、前記死角領域から出現する可能性のある対象物の種類を推定する対象物推定手段、
    前記死角領域推定手段により推定された前記死角領域の位置に基づいて、前記移動体の周辺を撮影した撮影画像から前記対象物を検出するために探索する探索範囲を設定する探索範囲設定手段、及び
    前記撮影画像の前記探索範囲が設定された領域から抽出された抽出画像と、予め対象物を識別するために生成され、かつ推定された前記対象物の種類に応じた識別モデルとに基づいて、対象物を識別する対象物識別手段
    として機能させるための対象物検出プログラム。
11. コンピュータを、請求項１〜請求項９のいずれか１項記載の対象物検出装置を構成する各手段として機能させるための対象物検出プログラム。

Images