JP3988657B2 - 対象物検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電子式のカメラにより撮像された映像から対象物を検出する対象物検出装置に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平１１−４４５３３号公報
【特許文献２】
特開２００２−９８７６４号公報。
【０００３】
例えば車両に搭載され、車両走行時の自車両の挙動計画に影響を及ぼす先行車や歩行者などの対象物の検出に関する技術に関して、レーザレーダ等の測距センサと、可視カメラ等の画像センサとを備えた対象物検出装置で、測距センサによる測距データに基づいて、対象物の存在位置を仮決めして、仮決めした領域で可視画像中から対象物を検出することで、検出処理時の計算負荷を減少させるという研究が広く行われている。
例えばレーダとカメラとを備え、カメラが捉えた画像から、自動制動などのために前方車両との車間距離を推定する装置に関するものとして、上記特許文献１、２に記載されるものがある。これらの装置は、レーザレーダが前方車両までの車間距離を検出している間に、当該前方車両の一部をテンプレートとして記憶し、レーザレーダが前方車両までの車間距離を検出できなくなったら、ＣＣＤカメラで捉えた画像の中に、テンプレートに最も類似する画像領域を相関処理によって求め、その中心の位置までの距離を車間距離として推定するものである。これらの装置に共通していることは、レーザレーダが前方車両までの車間距離を検出できなくなる前の測距データに応じて、ＣＣＤカメラで捉えた画像中に前方車両を検出する領域を設定して、その領域内をテンプレートマッチング等の手法を用いて探索し、前方車両の詳細な位置を検出するというものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、測距を目的としたレーザレーダ等のアクティブセンサを用いた場合には、路側に設けられたデリニエータ（反射板。図５（ａ）の符号２２参照）等が存在する場合、これらのデリニエータも測距されてしまうので、本来不要な領域であるデリニエータに相当する候補領域も処理対象領域として設定されてしまうため、パターンマッチングなどの検出処理量が増えてしまう。
本発明の目的は、対象物の検出に用いるテンプレートマッチングでの処理量を低減できる対象物検出装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明の対象物検出装置は、熱画像取得手段と、可視画像取得手段と、熱画像の温度情報に基づいて候補領域を抽出する候補領域抽出手段と、候補領域の位置に基づいて可視画像に検出領域を設定する候補領域設定手段と、候補領域の温度情報に基づいて温度情報を付加したテンプレートの中から最適なテンプレートを選択するテンプレート選択手段と、検出領域に対してテンプレートを用いてテンプレートマッチングを行うことにより対象物を検出する対象物検出手段とを備える構成になっている。
【０００６】
【発明の効果】
本発明によれば、対象物の検出に用いるテンプレートマッチングでの処理量を低減できる対象物検出装置を提供することができる。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態について図面に基づいて詳細に説明する。
図１は本発明の一実施の形態の対象物検出装置の構成ブロック図、図２は図１の対象物検出装置の機能ブロック図、図３（ａ）、（ｂ）は本実施の形態に係る熱画像取得手段および可視画像取得手段の取付け位置を示す平面図および側面図、図４は本実施の形態における処理の流れを示すフローチャート、図５（ａ）〜（ｃ）は本実施の形態において取得された可視画像の一例を示す図、図６は本実施の形態のテンプレート選択処理の流れを示すフローチャートである。
【０００８】
本実施の形態の対象物検出装置は、図１に示すように赤外線カメラ１、可視カメラ２、マイクロコンピュータ３から構成され、外部出力装置として車両制御装置４、警報装置５、ディスプレイ６が接続されている。
人体温度に代表される波長領域に感度のある赤外線カメラ１は、図３に示すように車幅方向中央の、車両のバンパまたはグリル内に、レンズの光軸と車両中心線とのパン角、チルト角がパン角１、チルト角１となるように取り付けられ、車両進行方向前方の道路を撮像する。また、ＣＣＤやＣＭＯＳなどの撮像素子を用いたカメラに代表される可視カメラ２は、車幅方向中央の、車室内のフロントウィンドウ上部に、レンズの光軸と車両中心線とのパン角、チルト角がパン角２、チルト角２となるように取り付けられ、車両進行方向前方の道路を撮像する。この場合、赤外線カメラ１と可視カメラ２の取付け角度であるパン角とチルト角は、パン角１＝パン角２＝０、チルト角１＝チルト角２となるように設置することが望ましい。
【０００９】
図１に示すように、マイクロコンピュータ３は、赤外線カメラ１により撮像された熱画像（温度情報を有する）から候補領域として、該熱画像内における高温領域および中温領域の位置とこれら候補領域の代表温度を抽出する。そして、抽出された候補領域の位置に基づいて、可視カメラ２により撮像された可視画像、すなわち濃淡画像または色画像（カラー画像）内に検出対象物を探索する検出領域を設定し、抽出された候補領域の温度に応じてテンプレートを選択して、設定された検出領域内で対象物の有無とその詳細な位置を検出する。
車両制御装置４は、マイクロコンピュータ３からの出力結果に基づいて、ステアリングやアクセルやブレーキ等の制御を行うものである。また、警報装置５は、マイクロコンピュータ３からの出力信号に基づいて、歩行者の有無や衝突危険性などの警報を発する装置である。さらに、ディスプレイ６は、検出結果の先行車や歩行者の位置を表示するための表示装置である。
【００１０】
なお、図２は本実施の形態の対象物検出装置を機能的に表現した図であり、図２の機能ブロックと、図１に示すハードウェアとして表現したものとを対比させると、赤外線カメラ１が熱画像取得手段１１、可視カメラ２が可視画像取得手段１２、マイクロコンピュータ３が候補領域抽出手段１３、候補領域設定手段１４、テンプレート選択手段１５および対象物検出手段１６にそれぞれ相当する。また、テンプレート選択手段１５は、テンプレート候補選択手段１５１、特徴量抽出手段１５２、およびテンプレート決定手段１５３から構成される。これらの詳細は後述する。
【００１１】
次に、図４に基づきマイクロコンピュータ３による手順を説明する。
まず、ステップ１（Ｓ１）において、処理に必要なパラメータの初期設定を行う。
次に、ステップ２（Ｓ２）において、赤外線カメラ１（図１参照。以下同様）により車両進行方向前方を撮像して、熱画像を処理領域に取り込む。ここで、赤外線カメラ１は、検出対象物として人体を含めて考える場合には、８〜１２μｍの遠赤外線波長域に感度を有するものであれば良い。
そして、ステップ３（Ｓ３）において、可視カメラ２により車両進行方向前方を撮像して、可視画像を処理領域に取り込む。ここで、可視カメラ２は、撮像素子としてＣＣＤやＣＭＯＳを用いているもので良く、また、白黒カメラでもカラーカメラでも構わない。可視画像は、白黒カメラを使う場合は濃淡画像、カラーカメラを使う場合は色画像である。本実施の形態では、可視カメラ２として、色情報が取得できるカラーカメラを用いた場合について説明する。なお、ステップ２（Ｓ２）およびステップ３（Ｓ３）の順序は、ステップ間の間隔が短ければ、どちらが先でも構わない。また、場合によっては両方を並列に処理してしまうことも可能である。
【００１２】
次に、ステップ４（Ｓ４）では、ステップ２（Ｓ２）で得られた熱画像から候補領域を抽出する。すなわち、対象物の特徴を表す温度領域を塊として抽出する。本実施の形態においては、検出対象物を先行車および歩行者（人物）として説明するものとする。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。まず、先行車の場合は、マフラー領域が100℃程度の高温になることを利用して、熱画像中から例えば80℃以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。一方、歩行者の場合は、露出している顔の表面温度が30℃程度の中温になることを利用して、熱画像中から例えば30℃程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては例えば塊の平均温度とすればよい。 そして、ステップ５（Ｓ５）では、ステップ４（Ｓ４）で得られた各領域の位置情報と温度情報を対応付けした位置および温度リストを作成して以降の処理に進む。
次に、ステップ６（Ｓ６）では、ステップ５（Ｓ５）で作成したリストに基づいて、検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているかどうかを判定する。リスト内に対象物の候補が一つも抽出されていない場合には、今回の赤外線カメラ１による撮像画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次回の処理のためにステップ２（Ｓ２）に戻る。一方、リスト内に対象物の候補が一つ以上抽出されている場合には次のステップ（Ｓ７）に進んで、可視画像中からの対象物の検出を行う。
そして、ステップ７（Ｓ７）では、ステップ５（Ｓ５）で作成したリストに基づいて、対象物の検出処理を行う検出領域を可視画像中に設定する。可視カメラ２により取得された可視画像の一例を図５（ａ）に示す。この例は、自車両が道路上に引かれた白線２１で区画された走行車線を走行している場面である。対象物になり得るものとしてデリニエータ２２、歩行者２３および先行車２４が撮像されている。そして、ステップ４（Ｓ４）およびステップ５（Ｓ５）で抽出された候補領域が、図５（ｂ）に示すように高温領域３０および中温領域３１であれば、本ステップでは、候補領域の位置をリストの位置情報から、候補領域の大きさをリストの温度情報から判断して、可視画像中にそれぞれ設定する。このようにして、先行車存在候補領域２６および歩行者存在候補領域２７を検出領域としてそれぞれ設定する。
【００１３】
次に、ステップ８（Ｓ８）では、ステップ７（Ｓ７）で設定した検出領域について、テンプレートマッチング処理に用いるテンプレートを選択する。このテンプレート選択処理について、図６を用いて説明する。
まず、ステップ８０１（Ｓ８０１）において、図４のステップ５（Ｓ５）で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを一つの候補領域内での対象物検出に用いるテンプレート候補とするものである。図５（ｂ）に示す高温領域３０の平均温度が例えば100℃、中温領域３１の平均温度が例えば28℃、所定値であるΔＴを例えば3℃であるとする。先行車存在候補領域２６に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が100±3℃となる。ただし、高温部分については、通常の走行環境内では特殊な存在であるため、あらかじめ例えば80℃以上の領域をテンプレートとして選択しても良い。一方、歩行者存在候補領域２７に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が28±3℃となる。高温部分については、外気温の影響を受けること等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、今回の例では中温情報を有する対象物を歩行者としているが、例えば動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
次に、ステップ８０２（Ｓ８０２）において、ステップ７（Ｓ７）で設定された検出領域毎に、可視画像から特徴量として濃度情報（濃淡情報）および色情報を抽出する。例えば白黒カメラの場合は、濃度情報のみになるが、濃度情報から平均濃度値や濃度ヒストグラムのピークを有する濃度値、またはエッジ情報を利用して、検出領域内の対象物の大きさや種類を推定できる特徴量を抽出するようにすればよい。また、例えばカラーカメラの場合は、濃度情報に加えて色情報が得られるので、検出領域内に先行車のテールランプに相当する赤い領域が存在するかどうか等を抽出するようにすればよい。
そして、ステップ８０３（Ｓ８０３）において、ステップ８０１（Ｓ８０１）およびステップ８０２（Ｓ８０２）の結果に基づいて、可視画像中に設定された検出領域毎に最適なテンプレートを決定する。本ステップにより、図５（ｃ）に示すように、先行車存在候補領域２６については車両テンプレート２８が選択され、歩行者存在候補領域２７については人テンプレート２９が選択され、以降の処理でこの選択されたテンプレートを用いて、可視画像中でテンプレートマッチング処理を行う。
【００１４】
すなわち、図４のステップ９（Ｓ９）では、ステップ８（Ｓ８）で選択されたテンプレートを用いて、可視画像中でテンプレートマッチング処理を行い、各検出領域内での最終的な対象物の有無およびその位置を検出する。ステップ８（Ｓ８）において、図５（ｃ）に示すように、前述のごとく先行車存在候補領域２６については車両テンプレート２８が選択され、歩行者存在候補領域２７については人テンプレート２９が選択されている。本ステップでは、先行車存在候補領域２６から先行車２４を検出する場合には、車両テンプレート２８を用いて、先行車存在候補領域２６と車両テンプレート２８での濃度値（濃淡値）の相関演算によって先行車の有無とその詳細な位置を検出する。また、歩行者存在候補領域２７から歩行者２３を検出する場合には、歩行者存在候補領域２７と人テンプレート２９での濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。本実施の形態では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本発明はこれに限定するものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしても構わない。
【００１５】
次に、ステップ１０（Ｓ１０）では、ステップ５（Ｓ５）で作成されたリストにある領域の全てに対して検出処理が行われたかどうかを判定する。リストにある領域全ての処理が終了していなければ、処理領域を切り替えるために、ステップ７（Ｓ７）に戻り、検出領域の設定を行う。リストにある領域全ての処理が終了していれば、それまでの処理結果を出力するために次のステップへ進む。
最後に、ステップ１１（Ｓ１１）では、外部に接続されている機器に対して検出結果を出力して、次回以降の処理を行うためにステップ２（Ｓ２）へ戻る。具体的には、例えばステアリングやアクセルやブレーキ等の制御を行うために、本処理の検出結果を図１の車両制御装置４に出力する。また、例えば歩行者の有無や衝突危険性などの警報を発するため、本処理の検出結果を警報装置５に出力する。さらに、例えば検出結果の先行車や歩行者の位置を表示するために、本処理の検出結果をディスプレイ６に出力する。
【００１６】
以上のように、本実施の形態では、撮像された映像から対象物を検出する対象物検出装置において、図１、図２に示したように、熱画像を取得する赤外線カメラ１等の熱画像取得手段１１と、可視画像を取得する可視カメラ２等の可視画像取得手段１２と、熱画像取得手段１１により取得された熱画像の温度情報に基づいて、温度情報と位置情報を有する高温領域である候補領域を抽出する候補領域抽出手段１３と、候補領域抽出手段１３により抽出された候補領域の位置に基づいて、可視画像取得手段１２により取得された可視画像に検出領域を設定する候補領域設定手段１４と、候補領域抽出手段１３により抽出された候補領域の温度情報に基づいて、温度情報を付加したテンプレートの中から最適なテンプレートを選択するテンプレート選択手段１５と、候補領域設定手段１４により設定された検出領域に対して、テンプレート選択手段１５により選択されたテンプレートを用いてテンプレートマッチングを行うことにより対象物を検出する対象物検出手段１６とを備えるという構成になっている。
このような構成によれば、熱画像から検出対象物が存在する場所を仮決めして、熱源が存在する領域に限定して可視画像からの検出処理を行うので、測距センサを用いた場合の測距データに基づいた場合に比べて、道路構造物であるデリニエータ等の影響を排除することができる。そのため、可視画像でのパターンマッチング処理に有する処理量を低減することが可能である。また、温度情報を利用することにより可視画像に設定された検出領域内に存在する対象物の種類を特定できるため、同じ領域に対して複数のパターンを用いたパターンマッチング処理を行う必要がなくなるので、処理時間を大幅に低減することが可能である。すなわち、温度情報によって対象物が存在する領域と対象物の種類を簡単な方法で特定できるものであり、自車両の行動計画に影響を与える障害物である対象物、特に先行車や歩行者等の検出の際に、対象物が有する特徴量である熱情報を利用することでデリニエータ等の道路構造物等の不要な対象を可視画像からの検出対象領域に設定してしまうことを回避できるため、可視画像からの処理に要する処理量を低減することが可能な対象物検出装置を提供することができる。
つまり、前述のごとく、従来の装置では、測距を目的としたレーザレーダ等のアクティブセンサを用いた場合には、デリニエータ等の道路構造物が存在する場合、これらの物も測距されてしまうので、本来不要な領域であるデリニエータに相当する候補領域も処理対象領域として設定されてしまうため、パターンマッチングなどの検出処理量が増えてしまう。また、距離データだけでは障害物の種類までは特定できないため、各候補領域に対して、異なるテンプレートを合わせてみる必要があるため、処理量が増えてしまうという問題があったが、本実施の形態の装置では、これらの問題を解決することができる。
【００１７】
また、本実施の形態では、図２に示したように、テンプレート選択手段１５は、候補領域抽出手段１３により抽出された候補領域の温度情報に基づいて、温度情報が予め決めた所定の範囲内であるテンプレートをテンプレート候補として選択するテンプレート候補選択手段１５１と、候補領域設定手段１４により設定された検出領域において、可視画像取得手段１２により取得された可視画像から、濃度情報や色情報等の特徴量を抽出する特徴量抽出手段１５２と、特徴量抽出手段１５２により抽出された特徴量に基づいて、テンプレート候補選択手段１５１により選択されたテンプレート候補から特定のテンプレートを決定するテンプレート決定手段１５３とを備えるという構成になっている。
このような構成によれば、熱情報だけでなく可視領域で得られる濃度情報や色情報等の特徴量を利用するようにしているので、似たような熱情報を有するテンプレート候補、例えば人と犬等の中から、設定された検出領域毎に最適なテンプレートを選び出すことが可能な対象物検出装置を提供することができる。
【００１８】
また、本実施の形態では、熱画像取得手段１１である赤外線カメラ１および可視画像取得手段１２である可視カメラ２は、図３に示したように、車両の進行方向前方を撮像し、光軸を同じ方向に合わせて車両に搭載されているという構成になっている。
このような構成によれば、異なる撮像系間の位置関係の対応付けが簡単にできるため、位置合わせ時の計算を簡略化することが可能な対象物検出装置を提供することができる。
【００１９】
また、本実施の形態では、可視画像取得手段１２は、熱画像取得手段１１により撮像する領域の少なくとも一部分の領域を撮像するという構成になっている。
このような構成によれば、検出領域を設定するための基準となる空間が、最終的に対象物の有無とその位置を検出する可視画像よりも広いため、可視画像全体を無駄なく検出対象とすることが可能な対象物検出装置を提供することができる。
つまり、本実施の形態では、上記のような効果があるので、先行車や歩行者の存在を検出する際の計算量を大幅に低減させることが可能となる対象物検出装置を提供することができる。
以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の一実施の形態の対象物検出装置のシステム構成を示す図である。
【図２】本発明の一実施の形態の機能ブロック図である。
【図３】本発明の一実施の形態の熱画像取得手段および可視画像取得手段の取付け位置を示す平面図および側面図である。
【図４】本発明の一実施の形態の処理の流れを示すフローチャートである。
【図５】本発明の一実施の形態の処理状態の一例を示す図である。
【図６】本発明の一実施の形態のテンプレート選択処理の流れを示すフローチャートである。
【符号の説明】
１…赤外線カメラ
２…可視カメラ
３…マイクロコンピュータ
４…車両制御装置
５…警報装置
６…ディスプレイ
１１…熱画像取得手段
１２…可視画像取得手段
１３…候補領域抽出手段
１４…候補領域設定手段
１５…テンプレート選択手段
１６…対象物検出手段
２１…白線
２２…デリニエータ
２３…歩行者
２４…先行車
２６…先行車存在候補領域
２７…歩行者存在候補領域
２８…車両テンプレート
２９…人テンプレート
３０…高温領域
３１…中温領域
１５１…テンプレート候補選択手段
１５２…特徴量抽出手段
１５３…テンプレート決定手段

Claims (4)

1. 撮像された映像から対象物を検出する対象物検出装置において、
   熱画像を取得する熱画像取得手段と、
   可視画像を取得する可視画像取得手段と、
   前記熱画像取得手段により取得された前記熱画像の温度情報に基づいて、候補領域を抽出する候補領域抽出手段と、
   前記候補領域抽出手段により抽出された前記候補領域の位置に基づいて、前記可視画像取得手段により取得された前記可視画像に検出領域を設定する候補領域設定手段と、
   前記候補領域抽出手段により抽出された前記候補領域の温度情報に基づいて、温度情報を付加したテンプレートの中から最適なテンプレートを選択するテンプレート選択手段と、
   前記候補領域設定手段により設定された前記検出領域に対して、前記テンプレート選択手段により選択されたテンプレートを用いてテンプレートマッチングを行うことにより対象物を検出する対象物検出手段と
   を備えることを特徴とする対象物検出装置。
2. 前記テンプレート選択手段は、
   前記候補領域抽出手段により抽出された前記候補領域の温度情報に基づいて、温度情報が予め決めた所定の範囲内であるテンプレートをテンプレート候補として選択するテンプレート候補選択手段と、
   前記候補領域設定手段により設定された前記検出領域において、前記可視画像取得手段により取得された前記可視画像から、特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出された特徴量に基づいて、前記テンプレート候補選択手段により選択された前記テンプレート候補から特定のテンプレートを決定するテンプレート決定手段と
   を備えることを特徴とする請求項１に記載の対象物検出装置。
3. 前記熱画像取得手段および前記可視画像取得手段は、
   車両の進行方向前方を撮像し、
   光軸を同じ方向に合わせて前記車両に搭載されていることを特徴とする請求項１または請求項２に記載の対象物検出装置。
4. 前記可視画像取得手段は、
   前記熱画像取得手段により撮像する領域の少なくとも一部分の領域を撮像することを特徴とする請求項１乃至請求項３のいずれかに記載の対象物検出装置。

Images