JP2004192080A

JP2004192080A - 物体認識装置及び認識方法

Info

Publication number: JP2004192080A
Application number: JP2002356160A
Authority: JP
Inventors: Toshio Ito; 敏夫伊東; Hitoomi Takizawa; 仁臣滝澤
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2002-12-09
Filing date: 2002-12-09
Publication date: 2004-07-08

Abstract

【課題】自車前方の車両や歩行者等を簡単かつ確実に認識可能にする物体認識装置及び認識方法を提供する。
【解決手段】ＣＣＤカメラにより自車前方のフレーム画像が取得され（Ｓ１）、このフレーム画像から前方の車両等の画像を含む物体候補領域が抽出され（Ｓ２）、切出平面が自車進行方向であるＺ軸に沿って順次移動されてそのときの物体候補領域と切出平面との重合領域が導出され（Ｓ３）、この重合領域及びメモリの各参照画像に基づき、マッチング距離が算出され（Ｓ４）、マッチング距離が極小値になるときの切出平面のＺ軸における位置が求められ、そのときのＺ軸位置が切り出しの最適位置として設定され（Ｓ５）、最適位置で切り出される物体候補領域と各参照画像との照合の結果、マッチング距離が極小値をとるか否かにより、その物体候補が車両か非車両かの判断がなされる（Ｓ６）。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
この発明は、画像を処理して自車前方の車両、歩行者、道路構造物等の物体を認識する物体認識装置及び認識方法に関する。
【０００２】
【従来の技術】
一般に、自車の走行中に、自車に搭載した撮像手段により前方を撮像して得られる画像を処理し、画像処理の結果、自車前方の物体が車両、歩行者、道路構造物等のうちいずれであるかを認識する手法に、従来、１９８８年にＫａｓｓらにより提案された画像中の対象物の輪郭抽出方法であるｓｎａｋｅｓと称される動的輪郭モデルを利用する手法や、全ての候補領域を予め作成した識別辞書と照合する手法がある。
【０００３】
車載用ではないが、前者のｓｎａｋｅｓの応用例としては、非特許文献１に記載のものがある。一方、後者の類似応用例として、識別辞書が車両等の画像ではなく地図情報で道路形状を求めるものはあるが、特許文献１に記載のようなものがある。
【０００４】
【非特許文献１】
湯浅真由美、渡邉睦ほか「動的輪郭モデルによるＭＲ画像における左室内腔自動輪郭抽出法の開発とその評価−輪郭形状の主成分分析を利用した初期値設定」，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．１２，ｐｐ．２３４５−２３５４，１９９９年１２月
【特許文献１】
特開２００１−３３１７８７号公報（段落［０００２］〜［０００４］）
【０００５】
【発明が解決しようとする課題】
しかし、前者のｓｎａｋｅｓを利用する場合、きれいな閉輪郭線が得られなければ対象物体の切り出しに失敗することが多く、走行中の車両に搭載した撮像手段による画像を処理するような場合には、特に閉輪郭線を得にくいという問題がある。
【０００６】
一方、後者の識別辞書との照合の場合、識別辞書を形成するために、車両の場合すべての車種について予め取得しておく必要があり、歩行者の場合には年齢や性別の異なる複数の歩行者について、同様に、道路構造物の場合には道路標識や信号灯、ガードレールといった各種の道路構造物について、参照画像（テンプレート）を予め多数取得して記憶しておかなければならず、記憶するためのメモリとして容量が非常に大きくなり、照合の演算に長時間を要し、無駄が多いという問題がある。
【０００７】
いずれにしても、従来の手法では、走行中の自車前方に存在する車両や歩行者等の対象物体を認識するには適していない。
【０００８】
そこで、本発明は、自車前方の車両、歩行者等を簡単かつ確実に認識可能にする物体認識装置及び認識方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記した目的を達成するために、本発明にかかる物体認識装置は、画像を処理して自車前方の車両、歩行者、道路構造物等の物体を認識する物体認識装置において、撮像部により自車前方を撮像し、各種の車両、年齢や性別の異なる複数の歩行者、各種の道路構造物等の標準対象物体を前記撮像部により後方から撮像した画像に基づく複数の参照画像を予め格納部に格納しておき、処理部により、前記撮像部により撮像されるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域を抽出し、自車の進行方向をひとつの座標軸とする車両座標空間で、フレーム全幅にわたる所定高さの切出平面を前記座標軸に沿って順次移動させたときの前記物体候補領域と前記切出平面とが重なる前記所定高さの重合領域を導出し、前記重合領域及び前記各参照画像に基づきマッチング距離を演算し、前記マッチング距離が極小値になるときの前記切出平面の前記座標軸における位置を前記物体候補領域の判断処理を行うための最適位置として設定することを特徴としている（請求項１）。
【００１０】
このような構成によれば、撮像部によるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域が抽出され、フレーム全幅にわたる所定高さの切出平面を車両座標空間における自車進行方向である座標軸に沿って順次移動させたときの物体候補領域と切出平面との重合領域が導出され、この重合領域及び各参照画像に基づきマッチング距離が演算され、マッチング距離が極小値になるときの切出平面の位置が最適位置として設定される。
【００１１】
そのため、最適位置で物体候補領域を切り出して参照画像との照合等を行うことができ、自車前方の車両、歩行者、道路構造物といった対象物体を簡単かつ確実に認識することができる。
【００１２】
また、本発明にかかる物体認識装置は、画像を処理して自車前方の車両、歩行者、道路構造物等の物体を認識する物体認識装置において、自車前方を撮像する撮像部と、各種の車両、年齢や性別の異なる複数の歩行者、各種の道路構造物等の標準対象物体を前記撮像部により後方から撮像した画像に基づく複数の参照画像を予め格納する格納部と、前記撮像部により撮像されるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域を抽出する抽出部と、自車の進行方向をひとつの座標軸とする車両座標系で、フレーム全幅にわたる所定高さの切出平面を前記座標軸に沿って順次移動させたときの前記物体候補領域と前記切出平面とが重なる前記所定高さの重合領域を導出する導出部と、前記重合領域及び前記各参照画像に基づきユークリッド距離の演算によるマッチング距離を算出する演算部と、前記マッチング距離が極小値になるときの前記切出平面の前記座標軸における位置を求めて前記物体候補領域の判断処理を行うための最適位置として設定する設定部とを備えていることを特徴としている（請求項２）。
【００１３】
このような構成によれば、撮像部によるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域が抽出され、フレーム全幅にわたる所定高さの切出平面を車両座標空間における自車進行方向である座標軸に沿って順次移動させたときの物体候補領域と切出平面とが重なる重合領域が導出され、この重合領域及び各参照画像に基づきマッチング距離が演算され、マッチング距離が極小値になるときの切出平面の位置が最適位置として設定される。
【００１４】
そのため、最適位置で物体候補領域を切り出して参照画像との照合等を行うこができ、自車前方の車両、や歩行者、道路構造物といった対象物体を簡単かつ確実に認識することができる。
【００１５】
また、本発明にかかる物体認識装置は、前記抽出部が、前記撮像部によるフレーム画像に対して所定の注視領域を設定しその注視領域における各画素の濃淡からＸ方向へのエッジヒストグラム、これに直交するＹ方向へのエッジヒストグラム、及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで矩形の前記物体候補領域を抽出することを特徴としている（請求項３）。
【００１６】
このような構成によれば、Ｘ方向へのエッジヒストグラム、Ｙ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積の演算によりその極大点が導出されるため、物体候補領域を確実に抽出することができる。
【００１７】
また、本発明にかかる物体認識装置は、前記各参照画像は、前記標準対象物体を前記撮像部により後方から撮像した画像に対して、固有空間法或いは部分空間法により高次元ベクトルを低次元ベクトルに次元圧縮した主成分ベクトルに基づいて作成されるものであることを特徴としている（請求項４）。
【００１８】
このような構成によれば、固有空間法による次元圧縮により、２次元或いは３次元等に圧縮された主成分ベクトルが導出されて参照画像が作成されるため、車両、歩行者、道路構造物といった自車前方に存在する対象物体を判断する基準となる参照画像を得ることができる。
【００１９】
また、本発明にかかる物体認識装置は、前記設定部により設定された最適位置で前記物体候補領域を切り出し前記参照画像と照合して判断する判断部を更に備えていることを特徴としている（請求項５）。
【００２０】
このような構成によれば、最適位置で切り出された物体候補領域と参照画像とが照合されて判断されるため、物体候補領域が車両、歩行者、道路構造物といった対象物体に該当するかどうか判断でき、自車前方の物体をより確実に認識することができる。このとき、例えばマッチング距離が極小値をとるかどうかにより対象物体かそうでないかの判断を行うのが望ましい。
【００２１】
また、本発明にかかる物体認識方法は、撮像部により自車前方を撮像する撮像工程と、各種の車両、年齢や性別の異なる複数の歩行者、各種の道路構造物等の標準対象物体を前記撮像部により後方から撮像した画像に基づく複数の参照画像を予め格納する格納工程と、前記撮像部により撮像されるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域を抽出する抽出工程と、自車の進行方向をひとつの座標軸とする車両座標系で、フレーム全幅にわたる所定高さの切出平面を前記座標軸に沿って順次移動させたときの前記物体候補領域と前記切出平面とが重なる前記所定高さの重合領域を導出する導出工程と、前記重合領域及び前記各参照画像に基づきユークリッド距離の演算によるマッチング距離を算出する演算工程と、前記マッチング距離が極小値になるときの前記切出平面の前記座標軸における位置を求めて前記物体候補領域の判断処理を行うための最適位置として設定する設定部工程とを備えていることを特徴としている（請求項６）。
【００２２】
このような構成によれば、撮像部によるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域が抽出され、フレーム全幅にわたる所定高さの切出平面を車両座標空間における自車進行方向である座標軸に沿って順次移動させたときの物体候補領域と切出平面とが重なる重合領域が導出され、この重合領域及び各参照画像に基づきマッチング距離が演算され、マッチング距離が極小値になるときの切出平面の位置が最適位置として設定されるため、最適位置で物体候補領域を切り出して参照画像との照合等を行うことができ、自車前方の車両、歩行者、道路構造物といった対象物体を簡単かつ確実に認識することができる。
【００２３】
また、本発明にかかる物体認識方法は、前記抽出工程が、前記撮像部によるフレーム画像に対して所定の注視領域を設定しその注視領域における各画素の濃淡からＸ方向へのエッジヒストグラム、これに直交するＹ方向へのエッジヒストグラム、及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで矩形の前記物体候補領域を抽出することを特徴としている（請求項７）。
【００２４】
このような構成によれば、Ｘ方向へのエッジヒストグラム、Ｙ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積の演算によりその極大点が導出されるため、物体候補領域を確実に抽出することができる。
【００２５】
また、本発明にかかる物体認識方法は、前記各参照画像は、各種の車両、年齢や性別の異なる複数の歩行者、及び、各種の道路構造物を前記撮像部により後方から撮像した画像に対して、固有空間法或いは部分空間法により高次元ベクトルを低次元ベクトルに次元圧縮した主成分ベクトルに基づいて作成されるものであることを特徴としている（請求項８）。
【００２６】
このような構成によれば、固有空間法による次元圧縮により、２次元或いは３次元等に圧縮された主成分ベクトルが導出されて参照画像が作成されるため、車両、歩行者、道路構造物といった自車前方に存在する対象物体を判断する基準となる参照画像を得ることができる。
【００２７】
また、本発明にかかる物体認識方法は、前記設定工程により設定された最適位置で前記物体候補領域を切り出し前記参照画像と照合して判断する判断工程を更に備えていることを特徴としている（請求項９）。
【００２８】
このような構成によれば、最適位置で切り出された物体候補領域と参照画像とが照合されて判断されるため、物体候補領域が車両、歩行者、道路構造物といった対象物体に該当するかどうか判断でき、自車前方の物体をより確実に認識することができる。このとき、例えばマッチング距離が極小値をとるかどうかにより対象物体かそうでないかの判断を行うのが望ましい。
【００２９】
【発明の実施の形態】
この発明を車両認識に適用した場合における一実施形態について図１ないし図９を参照して説明する。但し、図１はブロック図、図２は動作説明用フローチャート、図３ないし図９は動作説明図である。
【００３０】
図１に示すように、撮像部としての単眼ＣＣＤカメラ１が車両に搭載され、このＣＣＤカメラ１により自車前方が撮像されて前方車両のフレーム画像が得られ、得られたフレーム画像がＣＰＵ２によりＲＡＭ等から成るメモリ３に保存される。また、メモリ３には、標準対象物体である各種の車両をＣＣＤカメラ１により後方から撮像して得られた画像に基づく複数の参照画像が予め格納されており、メモリ３は格納部として機能する。尚、ＣＣＤカメラ１による撮像が、本発明における撮像工程に相当する。
【００３１】
このとき、各参照画像は、各種の車両をＣＣＤカメラ１により後方から撮像した画像に対して、固有空間法により高次元ベクトルを低次元ベクトルに次元圧縮した主成分ベクトルに基づいて作成される。但し、例えば複数種類の参照画像を「車」というひとつの参照画像として代表させる時には、固有空間法ではなく部分空間法を適用して次元圧縮し、参照画像を作成するようにしても構わない。このとき、参照画像は、例えば３２画素×３２画素のように比較的小さなサイズである。
【００３２】
そして、処理部であるＣＰＵ２により、以下のようにして自車前方の車両の物体認識が行われる。即ち、ＣＰＵ２は、ＣＣＤカメラ１により撮像されたフレーム画像に対して所定の注視領域を設定しその注視領域における各画素の濃淡からＸ方向へのエッジヒストグラム、これに直交するＹ方向へのエッジヒストグラム、及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで、自車前方の物体候補の画像を含む矩形の物体候補領域を抽出する。ここで、ＣＰＵ２による抽出処理が、本発明における抽出部及び抽出工程に相当する。
【００３３】
更に、ＣＰＵ２は、図３に示すように、自車の進行方向をＺ軸としてＸ−Ｙ−Ｚの各軸により形成される車両座標空間において、自車の前方車両と思われる物体ａ，ｂ，ｃが存在するときに、所定高さの切出平面５をＺ軸に沿って順次移動させたときの物体候補領域と切出平面５とが重なる所定高さの矩形の重合領域を導出する。このようなＣＰＵ２による導出処理が、本発明における導出部及び導出工程に相当する。
【００３４】
ところで、切出平面５の高さＳｈは、対象物体を車両とすると、全ての車種の車高をカバーするために実際のリアルワールドでは２〜３ｍ程度になるが、これを撮像画像に投影したときには、切出平面５の高さはＣＣＤカメラ１からＺ軸方向の距離に応じて変わるため、Ｚ軸方向の距離が短くて矩形の重合領域が参照画像よりも大きい場合には、矩形の重合領域が参照画像と同じ３２画素×３２画素のサイズに縮小変換される。一方、Ｚ軸方向の距離が長くて矩形の重合領域が参照画像よりも小さい場合には、矩形の重合領域が参照画像と同じ３２画素×３２画素のサイズに拡大変換される。
【００３５】
そして、ＣＰＵ２は、矩形の重合領域及びメモリ３に格納されている各参照画像に基づき、ユークリッド距離の演算によるマッチング距離が算出され、マッチング距離が極小値になるときの切出平面５のＺ軸における位置が求められて物体候補領域の判断処理を行うための最適位置として設定される。
【００３６】
このユークリッド距離の演算とは、例えば参照画像を圧縮した空間が３次元（ｘ１，ｘ２，ｘ３）であるとし、参照画像がその空間上で（ａ，ｂ，ｃ）にあり、矩形の重合領域を参照領域と同じサイズに変換したものをその圧縮空間に投影した位置が（ｄ，ｅ，ｆ）であるとすると、マッチング距離Ｄは、
Ｄ＝（ａ−ｄ）×（ａ−ｄ）＋（ｂ−ｅ）×（ｂ−ｅ）＋（ｃ−ｆ）×（ｃ−ｆ）
の式の演算より算出することができる。
【００３７】
このようなＣＰＵ２による演算処理が、本発明における演算部及び演算工程に相当し、ＣＰＵ２による設定処理が、本発明における設定部及び設定工程に相当する。
【００３８】
より具体的に説明すると、図３に示すように、各物体（車両）ａ，ｂ，ｃそれぞれのＺ軸における位置をＺ１，Ｚ２，Ｚ３とすると、Ｚ１，Ｚ２，Ｚ３の各位置における切出平面５と各物体（車両）ａ，ｂ，ｃに対応する物体候補領域ａ，ｂ，ｃとの重なり状況は、図４（Ａ），（Ｂ），（Ｃ）にそれぞれ示すようになる。つまり、物体候補領域ａはＺ１における切出平面５、物体候補領域ｂはＺ２における切出平面５、物体候補領域ｃはＺ３における切出平面５に、各物体候補領域ａ，ｂ，ｃそれぞれの最適切出領域である重合領域が含まれることがわかる。
【００３９】
即ち、図４（Ａ）に示すような重なり状況では、図５（Ａ）に示すように、フレーム画像における切出平面５の高さと同じで各物体候補領域ａ，ｂ，ｃを含む矩形の重合領域Ｒａ１，Ｒｂ１，Ｒｃ１がそれぞれ設定される。そして、これら重合領域Ｒａ１，Ｒｂ１，Ｒｃ１それぞれと、メモリ３に格納されている各参照画像に基づき、ユークリッド距離の演算によるマッチング距離が算出される。
【００４０】
同様に、図４（Ｂ）に示すような重なり状況では、図５（Ｂ）に示すように、フレーム画像における切出平面５の高さと同じで各物体候補領域ａ，ｂ，ｃを含む矩形の重合領域Ｒａ２，Ｒｂ２，Ｒｃ２がそれぞれ設定され、これら重合領域Ｒａ２，Ｒｂ２，Ｒｃ２それぞれと、メモリ３に格納されている各参照画像に基づき、ユークリッド距離の演算によるマッチング距離が算出される。更に、図４（Ｃ）に示すような重なり状況では、図５（Ｃ）に示すように、フレーム画像における切出平面５の高さと同じで各物体候補領域ａ，ｂ，ｃを含む矩形の重合領域Ｒａ３，Ｒｂ３，Ｒｃ３がそれぞれ設定され、これら重合領域Ｒａ３，Ｒｂ３，Ｒｃ３それぞれと、メモリ３に格納されている各参照画像に基づき、ユークリッド距離の演算によるマッチング距離が算出される。
【００４１】
こうしてマッチング距離を算出した結果は、図６に示すようになる。車両ａについては、マッチング距離はＺ軸の距離変化に伴って図６（Ａ）に示すように変化し、切出平面５をＺ１の位置に設定したときに極小値のｍａとなり、車両ｂについては、マッチング距離はＺ軸の距離変化に伴って図６（Ｂ）に示すように変化し、切出平面５をＺ２の位置に設定したときに極小値のｍｂとなり、車両ｃについては、マッチング距離はＺ軸の距離変化に伴って図６（Ｃ）に示すように変化し、切出平面５をＺ３の位置に設定したときに極小値のｍｃとなる。
【００４２】
例えば、重合領域Ｒａ１，Ｒａ２，Ｒａ３を参照画像と照合すると、Ｚ２，Ｚ３での切出平面５によると車両ａに対応する物体候補領域ａの一部しか切り出せておらず、Ｚ１での切出平面５によって物体候補領域ａの全てが切り出せることから、図６（Ａ）に示すように、Ｚ１の位置に切出平面５を設定したときにマッチング距離が極小値ｍａとなるのである。このことは車両ｂ、ｃについても同じことが当てはまる。
【００４３】
実際に、走行中の自車の搭載したＣＣＤカメラ１により、図７に示すようなフレーム画像が得られたときに、対象物体が車両の場合と、非車両の場合では、Ｚ軸の距離変化に対するマッチング距離の変化はそれぞれ図８（Ａ），（Ｂ）に示すようになり、マッチング距離は、車両では極小値をとるのに対し、非車両では極小値をとらないことがわかる。
【００４４】
このように、ＣＰＵ２は、上記したように設定した最適位置において、物体候補領域を切り出して参照画像との照合を行い、マッチング距離が極小値をとるときにはその物体候補領域が車両であると判断し、極小値をとらないときには非車両であると判断する。このようなＣＰＵ２による判断処理が、本発明における判断部及び判断工程に相当する。
【００４５】
ところで、図９は、図７に示す実際の走行中におけるフレーム画像に対して、上記したＺ１，Ｚ２，Ｚ３のように異なるＺ軸の各位置に切出平面５を設定し、車両に対応する物体候補領域、及び、非車両に対応する物体候補領域を切り出すべき重合領域（図９中の白枠）を設定した様子を表わしている。
【００４６】
次に、一連の動作について、図２のフローチャートを参照して説明する。図２に示すように、ＣＣＤカメラ１により自車前方が撮像されてフレーム画像が取得され（Ｓ１）、取得されたフレーム画像から自車前方の車両等の画像を含む所定の物体候補領域が抽出される（Ｓ２）。
【００４７】
そして、切出平面５がＺ軸に沿って順次移動されてそのときの物体候補領域と切出平面５とが重なる重合領域が導出され（Ｓ３）、重合領域及びメモリ３に格納されている各参照画像に基づき、マッチング距離が算出され（Ｓ４）、マッチング距離が極小値になるときの切出平面５のＺ軸における位置が求められ、そのときのＺ軸位置が切り出しの最適位置として設定され（Ｓ５）、最適位置で切り出される物体候補領域と各参照画像との照合の結果、マッチング距離が極小値をとるか否かにより、その物体候補が車両か非車両かの判断がなされ（Ｓ６）、その後動作はステップＳ１に戻って繰り返される。
【００４８】
このように、ＣＣＤカメラ１によるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域が抽出され、フレーム全幅にわたる所定高さＳｈ（図３参照）の切出平面５を車両座標空間における自車進行方向であるＺ軸に沿って順次移動させたときの物体候補領域と切出平面５とが重なる重合領域が導出され、この重合領域及び各参照画像に基づきマッチング距離が演算され、マッチング距離が極小値になるときの切出平面５の位置が最適位置として設定され、物体候補領域が切り出されて参照画像との照合が行われる。
【００４９】
従って、上記した実施形態によれば、最適位置で物体候補領域を切り出して参照画像との照合等を行うことができるため、自車前方の車両を簡単かつ確実に認識することができる。
【００５０】
また、Ｘ方向へのエッジヒストグラム、Ｙ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積の演算によりその極大点が導出されるため、物体候補領域を確実に抽出することができる。
【００５１】
更に、固有空間法（或いは部分空間法）による次元圧縮により、２次元或いは３次元等に圧縮された主成分ベクトルが導出されて参照画像が作成されるため、車両かどうかを判断する基準となる参照画像を得ることができる。
【００５２】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００５３】
例えば、上記した実施形態では、物体候補領域を最適位置で切り出して参照画像とのマッチング距離が極小値をとるかどうかの照合処理により、車両か非車両かを判断しているが、その他の照合手法を採用しても構わないのは勿論である。
【００５４】
また、上記した実施形態では、標準対象物体を車両とした場合について説明したが、標準対象物体を歩行者や道路構造物としてもよく、その場合、年齢や性別の異なる複数の歩行者、道路標識や信号灯、ガードレールといった各種の道路構造物の参照画像を予めメモリ３に格納しておけばよい。
【００５５】
更に、自車に搭載すべき撮像部は、上記したＣＣＤカメラ１に限定されるものでないのはいうまでもない。また、格納部には、メモリ３とは別のＲＯＭやＲＡＭ等を用いても構わない。
【００５６】
【発明の効果】
以上のように、請求項１，２，６に記載の発明によれば、撮像部によるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域が抽出され、フレーム全幅にわたる所定高さの切出平面を車両座標空間における自車進行方向である座標軸に沿って順次移動させたときの物体候補領域と切出平面とが重なる重合領域が導出され、この重合領域及び各参照画像に基づきマッチング距離が演算され、マッチング距離が極小値になるときの切出平面の位置が最適位置として設定されるため、最適位置で物体候補領域を切り出して参照画像との照合等を行うとができ、自車前方の車両、や歩行者、道路構造物といった対象物体を簡単かつ確実に認識することが可能になる。
【００５７】
また、請求項３，７に記載の発明によれば、Ｘ方向へのエッジヒストグラム、Ｙ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積の演算によりその極大点が導出されるため、物体候補領域を確実に抽出することが可能になる。
【００５８】
また、請求項４，８に記載の発明によれば、固有空間法による次元圧縮により、２次元或いは３次元等に圧縮された主成分ベクトルが導出されて参照画像が作成されるため、車両、歩行者、道路構造物といった自車前方に存在する対象物体を判断する基準となる参照画像を得ることが可能になる。
【００５９】
また、請求項５，９に記載の発明によれば、最適位置で切り出された物体候補領域と参照画像とが照合され手判断されるため、物体候補領域が車両、歩行者、道路構造物といった対象物体に該当するかどうか判断でき、自車前方の物体をより確実に認識すること可能になる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明用フローチャートである。
【図３】この発明の一実施形態の動作説明図である。
【図４】この発明の一実施形態の動作説明図である。
【図５】この発明の一実施形態の動作説明図である。
【図６】この発明の一実施形態の動作説明図である。
【図７】この発明の一実施形態の動作説明図である。
【図８】この発明の一実施形態の動作説明図である。
【図９】この発明の一実施形態の動作説明図である。
【符号の説明】
１ＣＣＤカメラ（撮像部）
２ＣＰＵ（処理部、抽出部、導出部、演算部、設定部、判断部）
３メモリ（格納部）

Claims

画像を処理して自車前方の車両、歩行者、道路構造物等の物体を認識する物体認識装置において、
撮像部により自車前方を撮像し、
各種の車両、年齢や性別の異なる複数の歩行者、各種の道路構造物等の標準対象物体を前記撮像部により後方から撮像した画像に基づく複数の参照画像を予め格納部に格納しておき、
処理部により、
前記撮像部により撮像されるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域を抽出し、
自車の進行方向をひとつの座標軸とする車両座標空間で、フレーム全幅にわたる所定高さの切出平面を前記座標軸に沿って順次移動させたときの前記物体候補領域と前記切出平面とが重なる前記所定高さの重合領域を導出し、
前記重合領域及び前記各参照画像に基づきマッチング距離を演算し、
前記マッチング距離が極小値になるときの前記切出平面の前記座標軸における位置を前記物体候補領域の判断処理を行うための最適位置として設定する
ことを特徴とする物体認識装置。
画像を処理して自車前方の車両、歩行者、道路構造物等の物体を認識する物体認識装置において、
自車前方を撮像する撮像部と、
各種の車両、年齢や性別の異なる複数の歩行者、各種の道路構造物等の標準対象物体を前記撮像部により後方から撮像した画像に基づく複数の参照画像を予め格納する格納部と、
前記撮像部により撮像されるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域を抽出する抽出部と、
自車の進行方向をひとつの座標軸とする車両座標系で、フレーム全幅にわたる所定高さの切出平面を前記座標軸に沿って順次移動させたときの前記物体候補領域と前記切出平面とが重なる前記所定高さの重合領域を導出する導出部と、
前記重合領域及び前記各参照画像に基づきユークリッド距離の演算によるマッチング距離を算出する演算部と、
前記マッチング距離が極小値になるときの前記切出平面の前記座標軸における位置を求めて前記物体候補領域の判断処理を行うための最適位置として設定する設定部と
を備えていることを特徴とする物体認識装置。
前記抽出部が、前記撮像部によるフレーム画像に対して所定の注視領域を設定しその注視領域における各画素の濃淡からＸ方向へのエッジヒストグラム、これに直交するＹ方向へのエッジヒストグラム、及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで矩形の前記物体候補領域を抽出することを特徴とする請求項２に記載の物体認識装置。
前記各参照画像は、前記標準対象物体を前記撮像部により後方から撮像した画像に対して、固有空間法或いは部分空間法により高次元ベクトルを低次元ベクトルに次元圧縮した主成分ベクトルに基づいて作成されるものであることを特徴とする請求項２または３に記載の物体認識装置。
前記設定部により設定された最適位置で前記物体候補領域を切り出し前記参照画像と照合して判断する判断部を更に備えていることを特徴とする請求項２ないし４のいずれかに記載の物体認識装置。
画像を処理して自車前方の車両、歩行者、道路構造物等の物体を認識する物体認識方法において、
撮像部により自車前方を撮像する撮像工程と、
各種の車両、年齢や性別の異なる複数の歩行者、各種の道路構造物等の標準対象物体を前記撮像部により後方から撮像した画像に基づく複数の参照画像を予め格納する格納工程と、
前記撮像部により撮像されるフレーム画像から自車前方の物体候補の画像を含む所定の物体候補領域を抽出する抽出工程と、
自車の進行方向をひとつの座標軸とする車両座標系で、フレーム全幅にわたる所定高さの切出平面を前記座標軸に沿って順次移動させたときの前記物体候補領域と前記切出平面とが重なる前記所定高さの重合領域を導出する導出工程と、
前記重合領域及び前記各参照画像に基づきユークリッド距離の演算によるマッチング距離を算出する演算工程と、
前記マッチング距離が極小値になるときの前記切出平面の前記座標軸における位置を求めて前記物体候補領域の判断処理を行うための最適位置として設定する設定工程と
を備えていることを特徴とする物体認識方法。
前記抽出工程が、前記撮像部によるフレーム画像に対して所定の注視領域を設定しその注視領域における各画素の濃淡からＸ方向へのエッジヒストグラム、これに直交するＹ方向へのエッジヒストグラム、及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで矩形の前記物体候補領域を抽出することを特徴とする請求項６に記載の物体認識方法。
前記各参照画像は、前記標準対象物体を前記撮像部により後方から撮像した画像に対して、固有空間法或いは部分空間法により高次元ベクトルを低次元ベクトルに次元圧縮した主成分ベクトルに基づいて作成されるものであることを特徴とする請求項６または７に記載の物体認識方法。
前記設定工程により設定された最適位置で前記物体候補領域を切り出し前記参照画像と照合して判断する判断工程を更に備えていることを特徴とする請求項６ないし８のいずれかに記載の物体認識方法。