JP2023078934A - 外界認識装置 - Google Patents

Abstract

【課題】対象物までの距離を、使用環境に関わらず正確に算出することができる外界認識装置を提供する。【解決手段】外界認識装置は車両に搭載される。当該外界認識装置は、ランドマークおよび対象物の画像を取得する画像取得部と、ランドマークの３次元情報を取得するランドマーク情報取得部と、ランドマークの３次元情報と、画像内におけるランドマークおよび対象物の大きさと、に基づき、対象物までの距離を推定する距離推定部と、を有する。【選択図】図１

Description

本発明は、外界認識装置に関する。

従来から、カメラを用いて車両の前方を横切る歩行者等を検知し、必要に応じてドライバへの警報や自動ブレーキを行うシステムが知られている。特に、自動運転の実現や交通事故の防止の観点から、歩行者等を検出してブレーキ制御をおこなう自動ブレーキ装置に大きな関心が寄せられている。自動ブレーキ装置では、自車両から歩行者までの距離を精度高く算出する必要がある。また、自動ブレーキ装置では、歩行者の急な飛び出しに対応するため、より広い画角領域において歩行者の距離を求めることが必要となる。

例えば特許文献１には、視野重複領域と視野非重複領域を備えるステレオカメラを利用した歩行者の距離算出方法が記載されている。具体的には、特許文献１には、視差情報から算出した路面高さを用いて、単眼領域の移動体の距離を算出するステレオカメラ装置が記載されている。当該ステレオカメラ装置では、階段の上にいる歩行者の足元の画像上の垂直座標から、路面に対する階段の高さを引いた（低くした）座標を得ている。そして、当該ステレオカメラ装置では、この得られた座標をステレオ領域まで伸ばして、その位置の路面の視差情報により歩行者の距離を求めている。

特開２０１７－９６７７７号公報

ところで、特許文献１に記載のステレオカメラ装置では、取得された画像における路面のテクスチャ情報に基づいて当該路面の視差を算出し、この視差情報を歩行者の距離算出に利用している。しかしながら、例えば夜間や雨天等の、路面のテクスチャが鮮明ではない使用環境の場合、路面の視差情報を得ることが難しくなる可能性があり、歩行者の距離を正確に算出できないおそれがある。

本発明は、上述の課題に鑑みてなされたものであり、その目的は、対象物までの距離を、使用環境に関わらず正確に算出することができる外界認識装置を提供することである。

上記目的を達成するために、本発明に係る外界認識装置は、車両に搭載される外界認識装置であって、ランドマークおよび対象物の画像を取得する画像取得部と、前記ランドマークの３次元情報を取得するランドマーク情報取得部と、前記ランドマークの３次元情報と、前記画像内における前記ランドマークおよび前記対象物の大きさと、に基づき、前記対象物までの距離を推定する距離推定部と、を有することを特徴とする。

本発明の外界認識装置によれば、対象物までの距離を、使用環境に関わらず正確に算出することができる。上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の第１実施形態の外界認識装置の概略構成を示す機能ブロック図。 図１の外界認識装置が車両に搭載された状態の一例を示す平面図。 図１の外界認識装置のランドマーク情報取得処理を示すフローチャート。 図１の外界認識装置がランドマーク情報取得処理で取得した画像の一例。 図１の外界認識装置の距離推定処理を示すフローチャート。 図１の外界認識装置が距離推定処理で取得した画像の一例。 第１実施形態の変形例の外界認識装置の概略構成を示す機能ブロック図。 図７の外界認識装置の距離推定処理を示すフローチャート。 図７の外界認識装置の近接判定処理を説明する図。 図７の外界認識装置の近接判定処理に係る別の例を示した図。 第１実施形態の別の変形例に係る外界認識装置の概略構成を示す機能ブロック図。 本発明の第２実施形態に係る外界認識装置の概略構成を示す機能ブロック図。 本発明の第３実施形態に係る外界認識装置の概略構成を示す機能ブロック図。

以下、本発明の実施形態について図面を参照し説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る外界認識装置１の概略構成を示す機能ブロック図である。図２は、図１の外界認識装置１が車両Ｖに搭載された状態の一例を示す平面図である。図３は、図１の外界認識装置１のランドマーク情報取得処理を示すフローチャートである。図４は、図１の外界認識装置１がランドマーク情報取得処理で取得した画像の一例である。図５は、図１の外界認識装置１の距離推定処理を示すフローチャートである。図６は、図１の外界認識装置１が距離推定処理で取得した画像の一例である。

外界認識装置１は、車両Ｖ（以下、自車両Ｖともいう）に搭載される。図１に示すように、外界認識装置１は、画像取得部１０と、ランドマーク情報取得部３０と、距離推定部５０と、を有する。図示は省略するが、外界認識装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭなどがバスを介して接続された構成を有し、ＣＰＵがＲＯＭに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。本実施形態では、画像取得部１０が、ステレオカメラとして機能する一対のカメラ１０ａ、１０ｂ（図２）から画像を取得し、距離推定部５０が、当該画像を用いて対象物としての歩行者２００と自車両Ｖとの距離を推定する場合について説明する。本明細書で使用する「ランドマーク」とは、一対のカメラ１０ａ、１０ｂにより撮影される各立体物（例えば、図４に示す符号１００、１０１、１０２）を意味する。本明細書において、「ランドマークの３次元情報」とは、ランドマーク１００、１０１、１０２自体の高さ及び幅の少なくともいずれか一方を含む意味である。なお、「ランドマークの３次元情報」は、ランドマーク１００、１０１、１０２自体の高さ及び幅の少なくともいずれか一方に加え、当該ランドマーク１００、１０１、１０２と車両Ｖとの間の距離（奥行き）を含んでもよい。

図４及び図６に示すように、画像取得部１０は、一対のカメラ１０ａ、１０ｂから、ランドマーク１００、１０１、１０２および歩行者（対象物）２００の画像を取得する。具体的には、画像取得部１０は、一対のカメラ１０ａ、１０ｂによって撮像された画像であって、視野が重複する複眼領域と視野が重複しない単眼領域（左単眼領域及び右単眼領域）とを含む画像を取得する。以下、当該画像の複眼領域を複眼領域画像ＣＡと記載し、当該画像の左単眼領域及び右単眼領域をそれぞれ、左単眼領域画像ＬＡ及び右単眼領域画像ＲＡと記載する。図２に示すように、一対のカメラ１０ａ、１０ｂは、車両Ｖに搭載された１台のステレオカメラとして構成されている。具体的には、一対のカメラ１０ａ、１０ｂは、ＣＣＤやＣＭＯＳイメージセンサで構成されており、自車両Ｖの前方に向けられている。また、一対のカメラ１０ａ、１０ｂは、それぞれが自車両Ｖの前方を所定の俯角（即ち撮影領域）で撮影するとともに、それぞれの俯角が重なるように設置されている。例えば、カメラ１０ａを左カメラ、カメラ１０ｂを右カメラとした場合、カメラ１０ａの俯角の左側部分と、カメラ１０ｂの右側部分とが重なるようになっている。これにより、本実施形態では、自車両Ｖの中央前方領域が、カメラ１０ａの撮影領域とカメラ１０ｂの撮影領域とで画成されるステレオ領域（複眼領域ともいう）となる。また、自車両Ｖの左前方領域は、カメラ１０ｂの撮影領域の左側部分で画成される左単眼領域となっている。自車両Ｖの右前方領域は、カメラ１０ａの撮影領域の右側部分で画成される右単眼領域となっている。一対のカメラ１０ａ、１０ｂにより撮影された画像は、画像取得部１０に入力される。画像取得部１０は、一対のカメラ１０ａ、１０ｂにより撮影された２枚の画像を取得し、取得した左右の画像に対し公知の視差算出アルゴリズムを適用し視差情報を取得する。

図１に示すように、ランドマーク情報取得部３０は、複眼領域ランドマーク検出部３２と、大きさ情報計測部３３と、ランドマーク情報記憶部３６と、を含む。ランドマーク情報取得部３０は、ランドマーク１００、１０１、１０２の３次元情報を取得する。具体的には、ランドマーク情報取得部３０は、複眼領域画像ＣＡに位置するランドマーク１００、１０１、１０２の３次元情報を取得する。

図４に示すように、複眼領域ランドマーク検出部３２は、画像取得部１０で取得された複眼領域画像ＣＡからランドマーク１００、１０１、１０２を検出する。例えば、複眼領域ランドマーク検出部３２は、画像取得部１０から送信された複眼領域画像ＣＡのテクスチャを解析し、これによりランドマーク１００、１０１、１０２を検出してもよい。また、複眼領域ランドマーク検出部３２は、画像取得部１０が取得した視差情報に基づいて、ランドマーク１００、１０１、１０２を検出してもよい。具体的には、視差情報等をクラスタリングすることによりランドマーク１００、１０１、１０２を検出してもよいし、統計的な機械学習として畳み込みニューラルネットワークを利用してランドマーク１００、１０１、１０２を検出してもよい。

大きさ情報計測部３３は、複眼領域画像ＣＡから、３次元情報に含まれるランドマーク１００、１０１、１０２の実際の大きさを計測する。具体的には、大きさ情報計測部３３は、複眼領域ランドマーク検出部３２によって検出されたランドマーク１００、１０１、１０２に対し、複眼領域画像ＣＡから当該ランドマーク１００、１０１、１０２の実高さを算出する。なお、大きさ情報計測部３３は、ランドマーク１００、１０１、１０２の縦方向の実際の大きさ（実高さ）だけでなく、ランドマーク１００、１０１、１０２の横方向の実際の大きさ（実幅）を計測してもよい。また、大きさ情報計測部３３は、ランドマーク１００、１０１、１０２のうちの一部の領域における実際の大きさ（実高さや実幅）を計測してもよい。ランドマーク情報記憶部３６は、大きさ情報計測部３３において計測されたランドマーク１００、１０１、１０２の大きさ情報の少なくとも一つを、後述する距離算出に用いるランドマーク情報として登録する。具体的には、ランドマーク情報記憶部３６は、計測したランドマーク１００、１０１、１０２の大きさ情報（実高さ、実幅等）に加えて、撮影されたランドマーク１００、１０１、１０２のテクスチャ情報を記憶する。

距離推定部５０は、単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）に位置する歩行者２００までの距離を推定する。具体的には、距離推定部５０は、ランドマーク情報取得部３０において検出したランドマーク１００、１０１、１０２を利用して、画像取得部１０で取得した単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）に含まれる歩行者２００までの距離を推定する。より具体的には、距離推定部５０は、ランドマーク１００の３次元情報と、画像内におけるランドマーク１００および歩行者２００の大きさと、に基づき、自車両Ｖから歩行者２００までの距離を推定する。本実施形態では、ランドマーク１００を、歩行者２００と自車両Ｖとの距離を推定するランドマークとする場合について説明する。図１に示すように、距離推定部５０は、単眼領域ランドマーク検出部５２と、単眼領域対象物検出部５４と、大きさ推定部５８と、距離算出部６０と、を含む。

図６に示すように、単眼領域ランドマーク検出部５２は、画像取得部１０で取得した単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）からランドマーク１００を検出する。具体的には、単眼領域ランドマーク検出部５２は、ランドマーク情報記憶部３６で記憶したランドマーク１００のテクスチャ情報に基づきランドマーク１００を再検出する。例えば、単眼領域ランドマーク検出部５２は、ランドマーク情報記憶部３６で記憶したランドマーク１００のテクスチャ情報をテンプレートとしたテンプレートマッチングにより検出してもよい。また、単眼領域ランドマーク検出部５２は、畳み込みニューラルネットワークを利用した追跡処理によりランドマーク１００を検出してもよい。また、単眼領域ランドマーク検出部５２は、画像取得部１０から取得したランドマーク１００の単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）から、画像内におけるランドマーク１００の縦方向長さ（即ち画像高さ）を算出する。

単眼領域対象物検出部５４は、画像取得部１０で取得した単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）から、距離推定の対象物を検出する。単眼領域対象物検出部５４は、例えば歩行者２００が検出対象である場合には公知の統計的な機械学習により検出する。具体的には、単眼領域対象物検出部５４は、ランダムフォレスト、サポートベクターマシン、リアルアダブーストなどの古典的な機械学習を利用して歩行者２００を検出してもよいし、畳み込みニューラルネットワークを利用して歩行者２００を検出してもよい。また、単眼領域対象物検出部５４は、画像取得部１０から取得した歩行者２００の単眼領域画像に基づき、画像内における歩行者２００の縦方向長さ（即ち画像高さ）を算出する。

大きさ推定部５８は、単眼領域画像（左単眼領域画像ＬＡ等）のランドマーク１００の画像サイズ及び単眼領域画像（左単眼領域画像ＬＡ等）の歩行者２００の画像サイズに基づき、ランドマーク１００の大きさから歩行者２００の大きさを推定する。大きさ推定部５８は、ランドマーク情報記憶部３６において記憶したランドマーク１００の大きさ（高さ等）を利用して、歩行者２００の大きさ（高さ等）を推定する。具体的には、大きさ推定部５８は、ランドマーク１００の画像高さ及び歩行者２００の画像高さに基づき、ランドマーク１００の実高さから歩行者２００の高さ（以下、身長ともいう）を推定する。より具体的には、大きさ推定部５８は、ランドマーク１００の画像高さに対する歩行者２００の画像高さの比率を、ランドマーク１００の実高さに乗算することにより、歩行者２００の身長を推定する。歩行者２００の大きさ情報は、一度推定するだけでもよい。

距離算出部６０は、大きさ推定部５８において推定された歩行者２００の実際の大きさと単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）における歩行者２００の画像サイズとに基づき、歩行者２００までの距離を算出する。具体的には、距離算出部６０は、大きさ推定部５８で推定された歩行者２００の身長に基づき、自車両Ｖから歩行者２００までの距離を算出する。より具体的には、距離算出部６０は、大きさ推定部５８で推定された歩行者２００の身長と単眼領域対象物検出部５４で検出された歩行者２００の画像高さとに基づき、自車両Ｖと歩行者２００との間の距離を算出する。

次に、図３から図６を参照して、本実施形態の外界認識装置１の動作例を、ランドマーク情報取得処理（図３、図４）及び距離推定処理（図５、図６）に分けて説明する。ここでは、図２に示すように、車両Ｖの前方を監視するように設置されたステレオカメラとして機能する一対のカメラ１０ａ、１０ｂを利用する外界認識装置１に関して説明する。また、図６に示す左単眼領域画像ＬＡ内に撮影された歩行者２００の身長に基づいて、自車両Ｖと歩行者２００との間の距離を算出する場合を説明する。

まず、図３及び図４を参照してランドマーク情報取得処理について説明する。

図３に示すように、外界認識装置１は、ランドマーク情報取得処理において、画像取得処理（Ｐ１０１）、視差計算処理（Ｐ１０２）、立体物検出処理（Ｐ１０３）、３次元情報取得処理（Ｐ１０４）、ランドマーク登録処理（Ｐ１０５）を順に実行する。

画像取得処理（Ｐ１０１）において、画像取得部１０は、図４に示すような一対のカメラ１０ａ、１０ｂで撮影された画像、即ち複眼領域画像ＣＡ及び単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）を取得する。

次いで、視差計算処理（Ｐ１０２）において、画像取得部１０は、複眼領域画像ＣＡにおける視差を計算する。例えば、当該視差の算出には５×５ピクセルの窓領域が設定される。そして、一対のカメラ１０ａ、１０ｂのうち左側のカメラ１０ａの各画像を基準に、右側のカメラ１０ｂの画像を、ＳＡＤを評価値として水平方向に走査することで、視差が計算される。

次いで、立体物検出処理（Ｐ１０３）において、複眼領域ランドマーク検出部３２は、視差計算処理（Ｐ１０２）で計算した視差を利用して、図４に示すように、ランドマーク１００、１０１、１０２を検出する。具体的には、各ランドマーク１００、１０１、１０２の領域は同一距離になることから、視差に対してクラスタリング処理を実施することで、各ランドマーク１００、１０１、１０２の存在する領域が粗く抽出される。次いで、各ランドマーク１００、１０１、１０２と背景の境界とで距離の値が変化することから、粗く抽出した領域に対して視差の変化点を検出することで、ランドマーク１００、１０１、１０２の存在する領域が詳細に検出される。図４では、複数のランドマーク１００、１０１、１０２のうち、ランドマーク１００に対する立体物検出処理（Ｐ１０３）の検出結果を示す。立体物検出処理（Ｐ１０３）では、図４に示すような矩形Ｂ１００が検出結果となる。

次いで、３次元情報取得処理（Ｐ１０４）において、大きさ情報計測部３３は、立体物検出処理（Ｐ１０３）で検出した各ランドマーク１００、１０１、１０２のそれぞれに対し、高さ方向の大きさ（即ち実高さ）を計算する。以降では、複数のランドマーク１００、１０１、１０２のうち、ランドマーク１００に対する大きさ（実高さ）を推定する方法について説明する。ランドマーク１００の実高さの推定には、立体物検出処理（Ｐ１０３）の検出結果である矩形Ｂ１００を利用する。図４のＴ１００は、矩形Ｂ１００の上端のピクセル位置であり、図４のＬ１００は矩形Ｂ１００の下端のピクセル位置を示している。また、ランドマーク１００における視差中央値をD_medとする。D_medは矩形Ｂ１００内に含まれる視差の中央値を計算することで取得される。ランドマーク１００の実高さHeightは、「Height=BaseLine×abs(T100-L100)/D_med」(式(1))を計算することで算出される。ここで、式(1)におけるBaseLineはカメラ１０ａとカメラ１０ｂの基線長であり、absは絶対値演算子を示している。

次いで、ランドマーク登録処理（Ｐ１０５）において、ランドマーク情報記憶部３６は、３次元情報取得処理（Ｐ１０４）で計算したランドマーク１００の実高さの情報を登録する。また、ランドマーク情報記憶部３６は、複眼領域ランドマーク検出部３２で解析された複眼領域画像ＣＡのテクスチャ情報を登録する。また、ランドマーク情報記憶部３６は、立体物検出処理（Ｐ１０３）で検出した矩形Ｂ１００に対する複眼領域画像ＣＡを記憶する。

次いで、図５及び図６を参照して距離推定処理について説明する。

図５に示すように、外界認識装置１は、距離推定処理において、画像取得処理（Ｐ１１１）、ランドマーク検出処理（Ｐ１１２）、歩行者検出処理（Ｐ１１３）、大きさ推定処理（Ｐ１１５）、距離推定処理（Ｐ１１６）を順に実行する。

画像取得処理（Ｐ１１１）において、画像取得部１０は、図６に示すような一対のカメラ１０ａ、１０ｂで撮影された画像、即ち複眼領域画像ＣＡ及び単眼領域画像（左単眼領域画像ＬＡ、右単眼領域画像ＲＡ）を取得する。

次いで、ランドマーク検出処理（Ｐ１１２）において、単眼領域ランドマーク検出部５２は、ランドマーク１００を再検出する。ランドマーク１００は、図４では複眼領域画像ＣＡにて撮影されていたが、車両Ｖの移動に伴い図６では左単眼領域画像ＬＡにて撮影されている。ここでは、ランドマーク情報記憶部３６に記憶されたランドマーク１００のテクスチャ情報をテンプレートとしてテンプレートマッチングを実施することで、図６に示す左単眼領域画像ＬＡにて撮影されたランドマーク１００を再検出する。本処理において検出された領域は、図６に示すように矩形Ｂ１０１により表現される。

次いで、歩行者検出処理（Ｐ１１３）において、単眼領域対象物検出部５４は、図６の左単眼領域画像ＬＡに撮影された歩行者２００を検出する。この検出には畳み込みニューラルネットワークを利用する。利用する畳み込みニューラルネットワークでは、入力された所定の画像に対し、当該画像に含まれる歩行者２００を検出する。また、畳み込みニューラルネットワークは歩行者２００の位置を特定するだけでなく、識別スコアを同時に算出する。識別スコアとは、歩行者２００の種別に対するポイントであり、ある種別に対するポイントが高いということは、その領域がその種別である可能性が高いことを示す。歩行者検出処理（Ｐ１１３）では、左単眼領域画像ＬＡを畳み込みニューラルネットワークに入力して、歩行者種別に対する識別スコアが高い検出結果のみを採用することで、歩行者２００を検出する。検出結果は、図６に示すように矩形Ｂ２０１により表現される。

大きさ推定処理（Ｐ１１５）において、大きさ推定部５８は、ランドマーク１００の情報を利用して歩行者２００の身長を推定する。上述したランドマーク登録処理（Ｐ１０５）において、ランドマーク情報記憶部３６に、ランドマーク１００の実高さHeightが記憶されている。また、ランドマーク検出処理（Ｐ１１２）において、単眼領域ランドマーク検出部５２により、ランドマーク１００の画像高さ（即ち、矩形Ｂ１０１の画像上の高さ）IMG_Height_Land(pix)が検出されている。また、歩行者検出処理（Ｐ１１３）において、単眼領域対象物検出部５４により、歩行者２００の画像高さ（即ち、矩形Ｂ２０１の画像上の高さ）IMG_Height_Ped(pix)が検出されている。大きさ推定処理（Ｐ１１５）では、歩行者２００の身長Height_Pedを、「Height_Ped=(IMG_Height_Ped/IMG_Height_Land)×Height」(式(2))により推定する。つまり、ランドマーク１００の実高さ(Height)に、ランドマーク１００の画像高さ(IMG_Height_Land)及び歩行者２００の画像高さ(IMG_Height_Ped)の比率を適用することで、歩行者２００の身長を推定する。

次いで、距離推定処理（Ｐ１１６）において、距離算出部６０は、歩行者２００の身長(Height_Ped)と、歩行者検出処理（Ｐ１１３）で検出された矩形Ｂ２０１の画像高さ(IMG_Height_Ped(pix))と、を利用して自車両Ｖから歩行者２００までの距離を求める。自車両Ｖから歩行者２００までの距離Distは、「Dist=f×(Height_Ped/IMG_Height_Ped)」(式(3))に基づき算出される。ここで、ｆは、一対のカメラ１０ａ、１０ｂの焦点距離(pix)である。なお、大きさ推定処理（Ｐ１１５）で歩行者の身長を一度算出しておけば、図６に示した画像以降の別の画像フレームにおける歩行者２００の画像高さを利用して、距離推定処理（Ｐ１１６）で自車両Ｖと歩行者２００との間の距離を求めることができる。

このように、本実施形態の外界認識装置１は、複眼領域画像ＣＡにて撮影された任意のランドマーク１００の実高さを活用して、単眼領域画像（例えば左単眼領域画像ＬＡ）における歩行者２００と自車両Ｖとの間の距離を算出する。ランドマーク１００は立体物であり、テクスチャ情報を有するため、路面に比べて安定的に視差を取得することができる。このため、夜間や雨天などで路面に対する視差を取得し難い状況であっても、より高精度に歩行者２００までの距離を算出することができる。

また、本実施形態の外界認識装置１では、複眼領域画像ＣＡのランドマーク１００の実高さを計測し、その結果を利用して歩行者２００の身長を推定する。歩行者２００は、歩行時の手の動きにより自身の横方向の大きさが変化する。これに対し、歩行者２００の身長は、当該歩行者２００が歩行するときであっても、変動しない若しくは変動量が少ない。そのため、歩行者２００の身長を推定し、推定した身長に基づき歩行者２００と自車両Ｖとの間の距離を求めることで、歩行者２００までの距離を高精度に求めることができる。また、路面に対する歩行者２００の接地位置とカメラの取り付け姿勢とから、歩行者２００と自車両Ｖとの間の距離を推定する手法を採用した場合、路面に対するカメラの取り付け姿勢を正確に推定する必要がある。これに対し、本実施形態のように、歩行者２００の身長を推定して距離を求めることで、カメラの姿勢変化の影響を受けることなく、自車両Ｖと歩行者２００との間の距離を推定することができる。

＜変形例１＞
次いで、本発明の第１実施形態の変形例１について説明する。

図７は、第１実施形態の変形例１に係る外界認識装置１ｄの概略構成を示す機能ブロック図である。図８は、図７の外界認識装置１ｄの距離推定処理を示すフローチャートである。図９は、図７の外界認識装置１ｄの近接判定処理を説明する図である。変形例１に係る外界認識装置１ｄは、上述の外界認識装置１に対して、後述する近接判定部５６を含む点で異なる。以下、上述の外界認識装置１と同じ又は類似する機能を有する構成については、同一の符号を付してその説明を省略し、異なる部分について説明する。

図７に示すように、距離推定部５０は、近接判定部５６を含む。近接判定部５６は、単眼領域ランドマーク検出部５２で検出されたランドマーク１００と単眼領域対象物検出部５４で検出された歩行者２００とが３次元的に近いか否かを判定する。具体的には、図９に示すように、近接判定部５６は、左単眼領域画像ＬＡ（単眼領域画像）におけるランドマーク１００の下端と左単眼領域画像ＬＡ（単眼領域画像）における歩行者２００の下端との高さ方向における差を算出する。そして、大きさ推定部５８は、近接判定部５６により算出された上記差が後述するマージン（近接判定閾値）δ内にあり、ランドマーク１００と歩行者２００が近接していると判定された場合、歩行者２００の身長を推定する。

図８に示すように、変形例１に係る外界認識装置１ｄは、距離推定処理において、歩行者検出処理（Ｐ１１３）の後、且つ、大きさ推定処理（Ｐ１１５）の前に、近接判定処理（Ｐ１１４）を実行する。近接判定処理（Ｐ１１４）において、近接判定部５６は、単眼領域ランドマーク検出部５２で検出されたランドマーク１００と、単眼領域対象物検出部５４で検出された歩行者２００と、が空間的に近い位置に存在するか否かを判定する。例えば、近接判定処理（Ｐ１１４）において、近接判定部５６はランドマーク１００の下端を利用する。図９に示すように、近接判定部５６は、ランドマーク１００の下端を中心に、高さ方向における所定のマージンδ（例えば５ｐｉｘ）を設定し、当該マージンδ内に歩行者２００の下端が含まれるかどうかを判定する。近接判定部５６は、当該マージンδ内に歩行者２００の下端が含まれる場合、ランドマーク１００と歩行者２００が自車両Ｖから見てほぼ等距離に存在していると判断し、両者が近接していると判定する。近接判定部５６によりランドマーク１００と歩行者２００が近接すると判定された場合、大きさ推定処理（Ｐ１１５）において、大きさ推定部５８は、ランドマーク情報記憶部３６に記憶されたランドマーク１００の実高さを利用して、歩行者２００の身長を推定する。なお、上述したマージンδ（例えば５ｐｉｘ）は、ランドマーク情報記憶部３６に記憶されてよい。

本変形例１の外界認識装置１ｄでは、近接判定部５６が、ランドマーク１００を歩行者２００の身長推定に利用するか否かを判定する。歩行者２００の身長を推定する際、歩行者２００とランドマーク１００の画像上のサイズ（即ち画像高さ）の比率を利用する。しかし、歩行者２００とランドマーク１００が離れた位置に存在する場合、両者の画像高さの比率が両者の実高さの比率から乖離することがあり、正確に歩行者２００の身長を推定できないことがある。そのため、本変形例１のように、近接判定部５６が近接判定処理（Ｐ１１４）を行うことで、より正確に歩行者２００の身長を推定することができる。

次いで、変形例１に係る外界認識装置１ｄの別の例を説明する。図１０は、図７の外界認識装置１ｄの近接判定処理（Ｐ１１４）に係る別の例を示した図である。図１０では、上段部分にランドマーク登録処理（Ｐ１０５）が記載され、下段部分に近接判定処理（Ｐ１１４）が記載されている。図１０に示す例では、上述の変形例１に係る外界認識装置１ｄに対し、ランドマーク登録処理（Ｐ１０５）、近接判定処理（Ｐ１１４）の点で異なる。図１０に示す例では、変形例１に係る外界認識装置１ｄ（図７）と同一の符号を付してその説明をする。

図１０に示す例では、近接判定部５６は、近接判定処理（Ｐ１１４）を、複眼領域ランドマーク検出部３２で検出されたランドマーク１００の周辺の視差に基づき実行する。例えば、複眼領域ランドマーク検出部３２は、図１０の上段部分に示すように、検出されたランドマーク１００が接地する面の周辺の視差情報から、ランドマーク１００が接地している面の傾きの変化を計算してもよい。これにより、ランドマーク１００が接地した面の傾きが変化する箇所が特定される。その後、大きさ情報計測部３３は、複眼領域ランドマーク検出部３２で検出されたランドマーク１００の画像高さ(Obj_Height)と、ランドマーク１００の中心位置から傾きが変化する箇所までの画像上での画像長さ(Plane_Distance)との比率Plane_rateを、「Plane_rate=(Plane_Distance/Obj_Height)」(式(4))により計算する。そして、ランドマーク情報記憶部３６は、例えば上記所定のマージンδに加え、Plane_rateの値を近接判定半径として記憶する（ランドマーク登録処理（Ｐ１０５））。

図１０の下段部分に示すように、近接判定部５６は、近接判定処理（Ｐ１１４）において、単眼領域ランドマーク検出部５２で再検出されたランドマーク１００の画像高さ(Obj_Height2)を利用し、マージンδ2(Plane_rate×Obj_Height2)を計算する。そして、近接判定部５６は、縦方向のマージンδ（ｐｉｘ）に加え、横方向にδ２（ｐｉｘ）以内に歩行者２００が近づいた場合に、ランドマーク１００と歩行者２００が近接していると判定する。

大きさ推定処理（Ｐ１１５）では、歩行者２００とランドマーク１００が自車両Ｖから等しい距離に存在すると仮定して歩行者２００の身長を推定する。しかし、ランドマーク１００が接地する面の傾きが途中で変化していた場合、近接判定処理（Ｐ１１４）において縦方向のマージンδだけを参照すると、歩行者２００とランドマーク１００が等しい距離にいないにも関わらず、ランドマーク１００と歩行者２００が近接していると判定されるおそれがある。そのため、視差情報に基づいて路面の傾きが変化していない箇所までの領域（図１０の下段部分におけるδ２）を算出し、この結果に基づいて近接判定処理（Ｐ１１４）を実施することにより、両者が等しい距離に存在しているか正しく判定できる。よって、歩行者２００の身長をより正確に推定することができる。

＜変形例２＞
次いで、本発明の第１実施形態の変形例２について説明する。

変形例２に係る外界認識装置１ｅは、上述の外界認識装置１に対して、後述するランドマーク情報計測部３４を含む点で異なる。以下、上述の外界認識装置１と同じ又は類似する機能を有する構成については、同一の符号を付してその説明を省略し、異なる部分について説明する。

図１１は、第１実施形態の変形例２に係る外界認識装置１ｅの概略構成を示す機能ブロック図である。図１１に示すように、ランドマーク情報取得部３０は、ランドマーク情報計測部３４を含む。

ランドマーク情報計測部３４は、複眼領域ランドマーク検出部３２によって検出されたランドマーク１００、１０１、１０２に対し、複眼領域画像ＣＡから当該ランドマーク１００、１０１、１０２が移動しているか否かを判定する。そして、ランドマーク情報記憶部３６は、複眼領域画像ＣＡに含まれるランドマーク１００、１０１、１０２のうち、ランドマーク情報計測部３４により移動していると判定されたランドマーク（例えば図４のランドマーク１０１）を、歩行者２００までの距離を推定するランドマークとして記憶する。

変形例２に係る外界認識装置１ｅでは、静止した立体物をランドマークとして登録するだけではなく、移動体として、例えばその他の歩行者や車両などの立体物をランドマークとして利用することができる。図４に示すランドマーク１００は静止物であるため、自車両Ｖに対する距離算出の対象である歩行者２００が静止していると、両者が近づくことが無い。このため、静止物であるランドマーク１００に基づいて、静止している歩行者２００の身長を推定することはできない。これに対し、本変形例２のように、移動体（例えばランドマーク１０１）を利用することで、距離算出の対象である歩行者２００が静止していた場合においても、ランドマーク１０１が歩行者２００に近づくことがある。よって、静止した歩行者２００に対しても身長を推定することができるようになる。

＜変形例３＞
次いで、本発明の第１実施形態の変形例３について説明する。

変形例３に係る外界認識装置は、上述の外界認識装置に対して、ランドマーク情報記憶部３６の機能の点で異なる。以下、変形例３に係る外界認識装置１を、図１から図６を参照しつつ、上述の外界認識装置１と同一の符号を付して説明する。

変形例３において、図１に示すランドマーク情報記憶部３６は、大きさ情報計測部３３で計測の対象とされたランドマーク１００、１０１、１０２のうち、実高さが高さ閾値（例えば１ｍ）以上のランドマーク（例えば、図４のランドマーク１００、１０２）を、歩行者２００までの距離を推定するランドマークとして記憶する。このように、変形例３では、３次元情報取得処理（Ｐ１０４）で計測したランドマーク１００、１０１、１０２のうち、実高さが所定の高さ閾値以上（例えば１ｍ以上）のランドマーク（例えば、図４のランドマーク１００、１０２）のみを、ランドマーク登録処理（Ｐ１０５）でランドマーク情報記憶部３６に登録する。そして、ランドマーク検出処理（Ｐ１１２）では、ランドマーク登録処理（Ｐ１０５）で登録した、高さ閾値以上の実高さを有するランドマーク（例えば、図４のランドマーク１００、１０２）を再検出する。

ランドマーク検出処理（Ｐ１１２）において実高さの低いランドマークを再検出する際にテンプレートマッチングなどの処理を用いると、検知位置のズレが発生してしまうことがある。検知位置のズレが発生した場合、単眼領域ランドマーク検出部５２により検出したランドマークの画像高さが、当該ランドマークの真の画像高さから変化してしまい、大きさ推定処理（Ｐ１１５）で推定する歩行者２００の身長にズレが生じることがある。この点で、変形例３に係る外界認識装置では、所定の高さ閾値（例えば１ｍ）以上のランドマークのみを利用する。このため、真の画像高さに対する、検出されたランドマーク画像高さの乖離を小さくすることができ、より正確に歩行者の身長を推定できる。

変形例３の別の例として、ランドマーク情報記憶部３６は、大きさ情報計測部３３で計測の対象となった複数のランドマーク１００、１０１、１０２のうち、実高さが高い方から所定の数（例えば複数のランドマークのうち６０％に相当する数）のランドマーク（例えばランドマーク１００、１０２）を、歩行者２００までの距離を推定するランドマークとして記憶してもよい。これにより、歩行者２００までの距離推定に使用するランドマークの選択肢を多く保持することができる。

＜変形例４＞
次いで、本発明の第１実施形態の変形例４について説明する。

変形例４に係る外界認識装置は、変形例２の外界認識装置１ｅ（図１１）に対して、ランドマーク情報計測部３４及びランドマーク情報記憶部３６の機能の点で異なる。以下、変形例４に係る外界認識装置を、図３から図６及び図１１を参照しつつ、上述の外界認識装置１ｅと同一の符号を付して説明する。

変形例４において、ランドマーク情報計測部３４は、複眼領域ランドマーク検出部３２によって検出されたランドマーク１００、１０１、１０２に対し、複眼領域画像ＣＡに基づき、ランドマーク１００のコントラスト情報（エッジ成分、色、輝度差等）を算出する。そして、ランドマーク情報記憶部３６は、複眼領域画像ＣＡに含まれるランドマーク１００、１０１、１０２のうち、所定の閾値以上のコントラスト情報を有するランドマーク（例えば、図４のランドマーク１００）を、歩行者２００までの距離を推定するランドマークとして記憶する。

具体的には、変形例４において、ランドマーク情報計測部３４は、ランドマーク登録処理（Ｐ１０５）において、各ランドマーク１００、１０１、１０２に対して、ソベルフィルタを適用することでエッジ成分（コントラスト情報）を抽出する。そして、当該処理において、ランドマーク情報記憶部３６は、ランドマーク１００、１０１、１０２の領域内において、エッジ成分の密度（エッジの数）が所定の値以上のランドマーク（例えばランドマーク１００）を登録する。もしくは、色情報（コントラスト情報）が所定の値以上のランドマーク（例えばランドマーク１００）が登録されてもよい。具体的には、画像の赤成分とみなすことができる色相領域に対して、彩度と明度が所定値以上の画素をカウントし、画素数が所定以上であった場合にランドマークとして登録してもよい。これにより、ランドマーク検出処理（Ｐ１１２）において、ランドマーク１００をより安定して再検出することができ、他の立体物を誤ってランドマークとして検出することを回避できる。これにより、より精度高く歩行者２００の身長を推定できる。

また、ランドマーク情報計測部３４は、ランドマーク登録処理（Ｐ１０５）において、ランドマーク１００、１０１、１０２の下端と路面の輝度差を解析する。そして、当該処理において、ランドマーク情報記憶部３６は、ランドマーク１００、１０１、１０２のうち、これらの下端と路面の輝度差が所定値以上のピクセル数が一定値以上であるランドマーク（例えばランドマーク１００）を記憶する。これにより、複眼領域ランドマーク検出部３２で検出された領域と同一箇所を、単眼領域ランドマーク検出部５２において再検出することが容易になり、より高精度に歩行者２００の身長を推定することができる。また、変形例４に係る外界認識装置が近接判定部５６を含む場合、近接判定処理（Ｐ１１４）でランドマーク１００の下端を利用する際に路面との分離性が高いランドマーク１００を登録することで、より正確に近接判定を実施することができる。

また、ランドマーク情報記憶部３６は、ランドマーク登録処理（Ｐ１０５）において、ランドマークにおける特定の部位を登録することができる。具体的には、ランドマーク情報計測部３４は、例えばランドマーク１００においてエッジ成分が強い部分をランドマークの上端として計測する。そして、当該処理において、ランドマーク情報記憶部３６は、当該部分をランドマークの上端として登録することができる。これにより、複眼領域ランドマーク検出部３２で検出された部分と同一箇所を、単眼領域ランドマーク検出部５２において再検出することが容易になる。このように、エッジ成分の強い部分に基づいて、例えばランドマーク１００の特定の部分を登録することにより、単眼領域ランドマーク検出部５２にてランドマークを安定して再検出することができ、より高精度で歩行者の距離を推定することができる。

＜変形例５＞
次いで、本発明の第１実施形態の変形例５について説明する。

変形例５に係る外界認識装置は、上述の外界認識装置１に対して、大きさ推定部５８の機能の点で異なる。以下、変形例５に係る外界認識装置を、図１から図１０を参照しつつ、上述の外界認識装置１と同一の符号を付して説明する。

変形例５に係る外界認識装置では、ランドマーク情報記憶部３６に複数のランドマーク１００、１０１、１０２が登録された場合、大きさ推定部５８は、複数のランドマークを利用して歩行者２００のサイズを推定する。具体的には、ある画像フレームにおいて、ランドマーク１００と近接した際に、大きさ推定部５８は、歩行者２００の身長(Height_Ped)を推定する。そして、距離算出部６０は、当該Height_Pedに基づき、自車両Ｖと歩行者２００との間の距離を算出する。その後、別の画像フレームにおいて、歩行者２００がランドマーク１０１と近接した際に、大きさ推定部５８は、「Height_Ped=(Height_Ped+Height_Ped_2)/2」(式(5))により、歩行者の身長Height_Pedを更新する。ここで、Height_Ped_2は、ランドマーク１０１の実高さと、ランドマーク１０１画像高さ及び歩行者２００の画像高さから推定した歩行者２００の身長である。大きさ推定部５８は、大きさ推定処理（Ｐ１１５）において、複数のランドマークと近接する毎に歩行者２００の身長を更新する。これにより、初期の身長推定結果が誤りを含む場合においても、各ランドマークと近接する毎により正しい値に近づくように身長を更新することができ、より正確に歩行者の距離を推定することができる。

＜第２実施形態＞
次いで、本発明の第２実施形態について説明する。

図１２は、本発明の第２実施形態に係る外界認識装置１ａの概略構成を示す機能ブロック図である。第２実施形態に係る外界認識装置１ａは、上述の外界認識装置１ｄ（変形例１）に対して、後述するランドマーク選択部４０及び進行路推定部７０を含む点で異なる。上述の外界認識装置１ｄと同じ又は類似する機能を有する構成については、当該外界認識装置１ｄと同一の符号を付してその説明を省略し、図２から図６及び図１２を参照して、異なる部分について説明する。

図１２に示すように、外界認識装置１ａは、ランドマーク選択部４０及び進行路推定部７０を含む。ランドマーク選択部４０はランドマーク情報取得部３０に含まれる。第２実施形態に係る外界認識装置１ａのランドマーク情報取得部３０は、複数のランドマーク１００、１０１、１０２の３次元情報を取得した場合、車両Ｖの動きに応じて、複数のランドマークの中から距離の推定に用いるランドマーク（例えばランドマーク１００）を選択する。具体的には、ランドマーク情報取得部３０のランドマーク選択部４０が、複数のランドマークの中から距離の推定に用いる上記ランドマーク（例えばランドマーク１００）を選択する。より具体的には、ランドマーク選択部４０は、後述する進行路推定部７０により推定された車両Ｖの進行方向に存在するランドマーク１００を、歩行者２００までの距離の推定に用いるランドマークとして選択する。そして、ランドマーク情報記憶部３６は、ランドマーク選択部４０により選択されたランドマーク１００を記憶する。

進行路推定部７０は、車両Ｖの動き（即ち挙動情報）から車両Ｖの進行方向を推定する。具体的には、進行路推定部７０は、車両Ｖの速度やヨーレートなどに基づき自車両Ｖの進行路を予測する。例えば進行路推定部７０は、車速とヨーレートの値から車両Ｖの回転半径を推定して、その円周上の軌跡を進行路とする。なお、進行路推定部７０は、車両Ｖが直進している場合、その直進方向に沿う軌跡を進行路と推定してもよい。

このように、第２実施形態に係る外界認識装置１ａでは、ランドマーク登録処理（Ｐ１０５）において、進行路推定部７０が推定した進行方向に存在するランドマーク（例えばランドマーク１００）だけが、ランドマーク情報記憶部３６に登録される。例えば、車両Ｖの進行路との距離が所定値（２０ｍ）以内に存在するランドマーク１００が、ランドマーク情報記憶部３６に記憶されてよい。このように、車両Ｖの進行路情報に基づき、登録されるランドマークを選択することで、車両Ｖと衝突するリスクのある歩行者２００との距離推定に利用するランドマークのみを登録することができる。これにより、登録するランドマークを削減することでメモリの使用量や、ランドマーク検出処理（Ｐ１１２）で検出するランドマークの数を制限することができ、外界認識装置１ａにおける処理負荷を低減することができる。

＜第３実施形態＞
次いで、本発明の第３実施形態について説明する。

図１３は、本発明の第３実施形態に係る外界認識装置１ｂの概略構成を示す機能ブロック図である。第３実施形態に係る外界認識装置１ｂは、上述の外界認識装置１ｄ（変形例１）に対して、後述するランドマーク選択部４０及び周辺環境認識部９０を含む点で異なる。上述の外界認識装置１ｄと同じ又は類似する機能を有する構成については、当該外界認識装置１ｄと同一の符号を付してその説明を省略し、図２から図６及び図１３を参照して、異なる部分について説明する。

図１３に示すように、外界認識装置１ｂは、ランドマーク選択部４０及び車両Ｖの周辺環境を認識する周辺環境認識部９０を含む。ランドマーク選択部４０はランドマーク情報取得部３０に含まれる。第３実施形態に係る外界認識装置１ｂのランドマーク情報取得部３０は、周辺環境認識部９０により歩道であると認識された領域に存在するランドマーク（例えばランドマーク１００）を、歩行者２００までの距離の推定に用いるランドマークとして選択する。具体的には、ランドマーク情報取得部３０のランドマーク選択部４０が、歩行者２００までの距離の推定に用いる上記ランドマーク（例えばランドマーク１００）を選択する。そして、ランドマーク情報記憶部３６は、ランドマーク選択部４０により選択されたランドマークを記憶する。

周辺環境認識部９０は、画像取得部１０が取得した一対のカメラ１０ａ、１０ｂの画像の各ピクセルに対して種別情報を推定する。ここで、種別情報は、車両や歩行者などの物体だけでなく、路面、歩道などの情報を含む。各ピクセルに対する種別情報の推定には畳み込みニューラルネットワークを利用する。周辺環境認識部９０は、各ピクセルに対する種別情報が付与された正解値データにより学習されたモデルを利用し、各ピクセルに対応した種別情報を推定する。これにより、周辺環境認識部９０は、一対のカメラ１０ａ、１０ｂの画像から歩道である領域を認識することができる。

このように、第３実施形態に係る外界認識装置１ｂでは、ランドマーク登録処理（Ｐ１０５）において、周辺環境認識部９０が推定した種別情報を利用してランドマークの登録処理を実行する。具体的には、ランドマーク情報記憶部３６は、周辺環境認識部９０が歩道だと推定したピクセル上に存在するランドマーク１００を記憶する。これにより、歩行者２００と近接する可能性が高いランドマーク１００だけを登録することができ、外界認識装置１ｂにおける処理負荷を低減することができる。

上述した本実施形態では、ランドマーク情報取得部３０においてランドマーク１００、１０１、１０２の３次元情報（大きさ情報）を取得するために、一対のカメラ１０ａ、１０ｂを１台のステレオカメラとして用いている。しかし、ランドマークの３次元情報（大きさ）を取得するために、３次元センサ（例えば、Ｌｉｄａｒ、ミリ波レーダ、超音波センサ等）を用いてもよい。この場合、一対のカメラ１０ａ、１０ｂは、ステレオ領域を有さないように設置されてもよい。例えば、カメラ１０ａは左単眼領域のみを撮影し、カメラ１０ｂは右単眼領域のみを撮影し、これらの領域で撮影された画像が、画像取得部１０に入力されてもよい。

また、デジタルマップなどに記載された特定のランドマークを利用し、デジタルマップにおいて登録されている３次元情報を利用して、自車両Ｖと歩行者２００との間の距離を推定してもよい。また、上記実施形態では、歩行者２００の身長を推定するという観点に対して詳細に説明したが、歩行者２００の幅に基づき、自車両Ｖと歩行者２００との間の距離を算出してもよい。例えば、距離推定部５０は、ランドマーク１００の実幅と、画像内におけるランドマーク１００および歩行者２００の横方向長さ（即ち画像幅）と、に基づき、歩行者２００までの距離を推定してもよい。また、対象物として歩行者２００を一例として、歩行者２００までの距離を推定する方法に関して述べたが、車両、動物など様々な物体を距離推定の対象物として扱うことができ、車両、動物などの高さ等に基づき、これらと自車両Ｖとの間の距離を推定することができる。

なお、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、或る実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、或る実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路にて設計する等によりハードウェアによって実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアによって実現してもよい。各機能を実現するプログラム、テープ、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（solid state drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１、１ａ、１ｂ、１ｄ、１ｅ 外界認識装置、１０ 画像取得部、１０ａ、１０ｂ 一対のカメラ（ステレオカメラ）、３０ ランドマーク情報取得部、３２ 複眼領域ランドマーク検出部、３３ 大きさ情報計測部、３４ ランドマーク情報計測部、３６ ランドマーク情報記憶部、４０ ランドマーク選択部、５０ 距離推定部、５２ 単眼領域ランドマーク検出部、５４ 単眼領域対象物検出部、５６ 近接判定部、５８ 大きさ推定部、６０ 距離算出部、７０ 進行路推定部、９０ 周辺環境認識部、１００、１０１、１０２ ランドマーク、２００ 歩行者（対象物）、ＣＡ 複眼領域画像、ＬＡ 左単眼領域画像（単眼領域画像）、ＲＡ 右単眼領域画像（単眼領域画像）、Ｖ 車両、δ マージン（近接判定閾値）

Claims (12)

1. 車両に搭載される外界認識装置であって、
   ランドマークおよび対象物の画像を取得する画像取得部と、
   前記ランドマークの３次元情報を取得するランドマーク情報取得部と、
   前記ランドマークの３次元情報と、前記画像内における前記ランドマークおよび前記対象物の大きさと、に基づき、前記対象物までの距離を推定する距離推定部と、を有することを特徴とする外界認識装置。
2. 請求項１に記載の外界認識装置において、
   前記画像取得部は、ステレオカメラによって撮像された画像であって、視野が重複する複眼領域と視野が重複しない単眼領域とを含む画像、を取得し、
   前記ランドマーク情報取得部は、前記複眼領域に位置するランドマークの３次元情報を取得し、
   前記距離推定部は、前記単眼領域に位置する前記対象物までの距離を推定する、ことを特徴とする外界認識装置。
3. 請求項２に記載の外界認識装置において、
   前記ランドマーク情報取得部は、
   前記複眼領域から前記ランドマークを検出する複眼領域ランドマーク検出部と、
   前記複眼領域から、前記３次元情報に含まれる前記ランドマークの大きさを計測する大きさ情報計測部と、を備え、
   前記距離推定部は、
   前記単眼領域から前記ランドマークを検出する単眼領域ランドマーク検出部と、
   前記単眼領域から前記対象物を検出する単眼領域対象物検出部と、
   前記単眼領域における前記ランドマークの画像サイズ及び前記単眼領域における前記対象物の画像サイズに基づき、前記ランドマークの大きさから前記対象物の大きさを推定する大きさ推定部と、
   前記大きさ推定部において推定された前記対象物の大きさと前記単眼領域における前記対象物の画像サイズとに基づき、前記距離を算出する距離算出部と、を有することを特徴とする外界認識装置。
4. 請求項３に記載の外界認識装置において、
   前記大きさ情報計測部は、前記複眼領域から前記ランドマークの実高さを算出し、
   前記単眼領域ランドマーク検出部は、前記単眼領域から前記ランドマークの画像高さを算出し、
   前記単眼領域対象物検出部は、前記単眼領域から前記対象物の画像高さを算出し、
   前記大きさ推定部は、前記ランドマークの画像高さ及び前記対象物の画像高さに基づき、前記ランドマークの実高さから前記対象物の高さを推定し、
   前記距離算出部は、推定された前記高さに基づき前記距離を算出する、ことを特徴とする外界認識装置。
5. 請求項４に記載の外界認識装置において、
   前記大きさ推定部は、前記ランドマークの画像高さに対する前記対象物の画像高さの比率を、前記ランドマークの実高さに乗算することにより、前記対象物の高さを推定する、ことを特徴とする外界認識装置。
6. 請求項４に記載の外界認識装置において、
   前記距離推定部は、前記単眼領域における前記ランドマークの下端と前記単眼領域における前記対象物の下端との高さ方向における差を算出する近接判定部を含み、
   前記大きさ推定部は、前記近接判定部により算出された前記差が近接判定閾値内にある場合、前記対象物の高さを推定する、ことを特徴とする外界認識装置。
7. 請求項２に記載の外界認識装置において、
   前記ランドマーク情報取得部は、
   前記複眼領域から、前記ランドマークが移動しているか否かを判定するランドマーク情報計測部と、
   前記複眼領域に含まれるランドマークのうち、前記ランドマーク情報計測部により移動していると判定されたランドマークを、前記対象物までの距離を推定するランドマークとして記憶するランドマーク情報記憶部とを含む、ことを特徴とする外界認識装置。
8. 請求項４に記載の外界認識装置において、
   前記ランドマーク情報取得部は、
   前記実高さが高さ閾値以上のランドマークを、前記対象物までの距離を推定するランドマークとして記憶するランドマーク情報記憶部を含む、ことを特徴とする外界認識装置。
9. 請求項２に記載の外界認識装置において、
   前記ランドマーク情報取得部は、
   前記複眼領域から、前記ランドマークのコントラスト情報を算出するランドマーク情報計測部と、
   前記複眼領域に含まれるランドマークのうち、所定の閾値以上の前記コントラスト情報を有するランドマークを、前記対象物までの距離を推定するランドマークとして記憶するランドマーク情報記憶部とを含む、ことを特徴とする外界認識装置。
10. 請求項１に記載の外界認識装置において、
    前記ランドマーク情報取得部は、複数のランドマークの３次元情報を取得した場合、前記車両の動きに応じて、前記複数のランドマークの中から前記距離の推定に用いるランドマークを選択する、ことを特徴とする外界認識装置。
11. 請求項１０に記載の外界認識装置において、
    前記車両の動きから前記車両の進行方向を推定する進行路推定部を備え、
    前記ランドマーク情報取得部は、前記進行路推定部により推定された前記車両の進行方向に存在するランドマークを、前記対象物までの前記距離の推定に用いるランドマークとして選択する、ことを特徴とする外界認識装置。
12. 請求項１に記載の外界認識装置において、
    前記車両の周辺環境を認識する周辺環境認識部を備え、
    前記ランドマーク情報取得部は、前記周辺環境認識部により歩道であると認識された領域に存在するランドマークを、前記対象物までの前記距離の推定に用いるランドマークとして選択する、ことを特徴とする外界認識装置。

Images