JP3437671B2 - ランドマーク認識装置およびランドマーク認識方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、道路標識、信号機、及
び電柱等の如き、道路脇に立っているランドマークを画
像中から抽出し、認識するランドマーク認識装置に関す
る。

【０００２】

【従来の技術】人工衛星（ＧＰＳ衛星）から送られてく
る信号や、車載の内界センサ（車両自身に装備され、自
身の状態を検知したり、制御したりするためのセンサ
で、タコジェネレータやポテンショメータ、エンコーダ
等の如きもの）で得た移動距離や操舵角等の情報を用い
て、自己位置を計測するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓ
ｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）はナビゲーションシ
ステム等として良く知られており、近年、広く用いられ
ている。

【０００３】しかし、このような車載用のナビゲーショ
ンシステムに用いられるＧＰＳ衛星を用いる自己位置計
測手法は、細かい補正を施さない限り、精度が低く、得
られた計測結果には２００ｍ程度の計測誤差が生じる。
そして、細かい補正を施すにはシステムが大掛かりとな
り、大幅なコストアップにもなるため、通常、この種の
装置では２００ｍ程度の計測誤差を含むことを前提とし
たシステムとなっている。このため、人間が車を運転す
る場合の経路案内程度には十分使えるが、車を自動運転
する際の位置確認には、計測精度を高めるための他の手
法が必要である。

【０００４】また、ＧＰＳ衛星を用いる方式では、地下
道や屋内あるいはトンネル内等のような電波の届かない
場所での利用ができないという問題も抱える。一方、車
を自動運転制御するような用途に利用する場合には、い
かなる状況下においても精度の高い位置計測、位置同定
が必要である。そこで、このような用途に対しても利用
できるようにした位置計測同定技術として、外界の映像
をとらえ、この映像から画像認識により特徴的な風景を
認識して、位置を知るようにした技術が提案されてい
る。

【０００５】すなわち、この技術は自律走行車両等の移
動体が走行路を走行するにあたり、撮像装置例えば、Ｔ
Ｖカメラで進行方向の画像を撮像し、風景をとらえて、
その風景の特徴から位置を知るようにするものであり、
風景は場所々々に応じた特徴があるので、その風景的特
徴、すなわち、ランドマークを手掛かりにすることで、
位置を知ろうというものである。

【０００６】この技術においては、ＴＶカメラから得た
画像を処理して、テクスチャー情報・色情報・形状情報
等を抽出し、ランドマークが存在する領域を画像中から
切り出す。次いで、切り出された領域内で予め登録して
おいた道路標識、信号機、電柱等ランドマークのモデル
と照合し、識別を行なう。このような処理を施すこと
で、その土地々々の固有の風景を基準とした位置の同定
ができる。

【０００７】

【発明が解決しようとする課題】ところで、このような
外界の映像をとらえ、この映像から画像認識により特徴
的な風景を認識し、照合することにより、位置を知るよ
うにした技術の場合、つぎのような問題がある。

【０００８】すなわち、自律走行車両等の移動体が走行
路を走行しながら自己に搭載したＴＶカメラにより、逐
次とらえる外界の自然画像を入力映像として用いること
から、画像の内容が複雑であり、特に屋外の場合、樹
木、建物、歩行者、及び車両等が存在して、背景が非常
に複雑で込み入っているという点である。また、天候の
変動（晴天、曇天、雨天）等により、同一の場所で撮像
した場合でも画像の色情報が異なってしまい、また、樹
木の成長や風等により、背景の形状情報やテクスチャー
情報（模様等）も時々刻々変化してしまうという点であ
る。

【０００９】このため、ＴＶカメラによりとらえた画像
を、２次元画像処理によりランドマークの存在領域を切
り出そうとした場合に、誤ったランドマーク領域候補が
多数出現したり、正しい存在領域が見落とされたりし、
ランドマーク領域を安定的に切り出すことが困難であ
る。

【００１０】また、画像上に撮像されるランドマークの
サイズは、ランドマークとカメラ間の距離により変化す
る。そして、従来の技術においては、ランドマークとカ
メラとの間の距離は考慮していないため、ランドマーク
サイズが特定できないことになる。このため、従来の手
法ではサイズを様々に変化させて照合を行なう等の処理
をしなければならず、この照合処理に多大な計算量を必
要とするという問題点があった。

【００１１】そこで、この発明の目的とするところは、
画像中のランドマーク領域を複雑で変動の激しい画像内
から安定的に切り出すことができて、しかも、少ない計
算量でランドマークの照合処理を実施でき、効率良く短
時間で照合処理を実施できるようにしたランドマーク認
識装置を提供することにある。

【００１２】

【課題を解決するための手段】上記目的を達成するた
め、本発明はつぎのように構成する。すなわち、基準と
なる面上に立つランドマークの存在する３次元空間内を
視野としてこの視野中の画像を少なくとも視差のある一
対の識別処理対象画像として取得する画像入力手段と、
実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、前
記画像入力手段から得られる識別処理対象画像を画像の
持つ視差の情報を利用することにより、３次元空間中で
設定した投影面へそれぞれ投影し、画像データに変換す
る変換手段と、この変換手段より得られた画像データを
蓄積する領域メモリと、この領域メモリのそれぞれのデ
ータの中からランドマークが前記基準となる面と接触し
ている部分を抽出し、その部分の当該領域メモリ中の位
置から、もとの画像に逆変換した際の前記識別処理対象
画像中でのランドマーク存在領域を知り、そのランドマ
ーク存在領域を探索領域として求める探索空間算出手段
と、前記識別処理対象画像における前記探索空間算出手
段の求めた探索領域に該当する領域内の画像と、この探
索領域の位置に配置した際の寸法に正規化し、かつ、当
該探索領域内に投影した前記基準のランドマークの像情
報およびその特徴情報とを照合し、一致する度合いから
ランドマーク種別を識別する認識手段とを具備して構成
した。

【００１３】

【作用】この発明は、“目標とするランドマークは道路
上に細長く立っているものである”という知識を利用し
て画像中のランドマーク領域を複雑で変動の激しい画像
内から安定に切り出し、さらに、ランドマークまでの距
離を用いてランドマークサイズを特定することにより、
少ない計算量で照合処理が実現でき、ランドマーク認識
を効率良く実施するもので、ランドマークは単純な形状
であり、しかも、道路上に細長く立っているものである
という前提を利用している。そして、画像中に埋もれる
ランドマークの像を、高さの方向に分布するこれらの情
報を利用することにより、複雑で変動の激しい画像内か
らランドマーク像の含まれる領域を安定に切り出し、ま
た、実際の各種ランドマークの像を含む照合のための情
報を用意して、これを基準となるランドマークとして用
い、正規化して画像中に投影し、これと上記切り出した
画像とを照合して両者の重なる部分での一致度を調べ、
複数種ある照合基準のランドマークから一致度の高いも
のを選定してこれを画像中の上記領域におけるランドマ
ークの種別として認識する。

【００１４】本発明のランドマーク認識装置は、３次元
空間中で連続的に変化する平面または曲面の道路領域等
の測定面領域を有する画像を視差のある一対の画像とし
て入力する立体像撮像用の撮像手段（ＴＶカメラ）と、
この入力された画像を３次元空間中で設定した投影面へ
それぞれ変換する変換部と、この変換部より得られた投
影面におけるそれぞれの投影データを蓄積する領域メモ
リと、この領域メモリのそれぞれの投影データの中から
ランドマークが道路面と接触している部分を抽出し、そ
の領域メモリ中の位置から画像に逆変換した際の画像中
のランドマーク探索領域を算出する探索空間算出部と、
探索領域中で画像と照合の基準となる各種ランドマーク
のモデルとを照合し、ランドマークを識別する認識部と
を有しており、撮像手段が、３次元空間中で連続的に変
化する平面または曲面の道路領域などの測定領域を有す
る視差のある一対の画像を入力すると、この画像を変換
部は３次元空間中で設定した投影面にそれぞれ投影し、
領域メモリには、この変換部より得られた投影面におけ
るそれぞれの投影データを蓄積する。探索空間算出部
は、領域メモリ中でランドマークが道路面と接触してい
る位置を抽出し、画像中に逆変換した際の画像中のラン
ドマーク探索領域を算出する。そして、認識部は、画像
中の探索空間において対象物モデルと画像との間の照合
を行い、ランドマークの種別を識別する。対象物管理部
は対象物モデルを検索して、予め対象物モデルに蓄積し
てある対象物の情報を認識部に出力する。

【００１５】以上のように、道路標識、信号、電柱等道
路面上に立ち上がっているランドマークの存在位置を、
３次元空間中に設定した道路面に画像を投影することで
求めるため、２次元の画像処理のみでは問題となる天候
の変動等にともなう画像の変化の影響が少ない。特に道
路面上に立ち上がっている対象物の領域をランドマーク
を探索する画像領域候補として選ぶため、探索すべき候
補領域の数を絞ることができる。また、３次元空間中の
投影面の情報からランドマークまでの距離が獲得できる
ため、画像中で撮像されているランドマークのサイズが
算出できる。このため、ランドマークを識別するのに必
要なモデルとの照合処理の回数を減らすことができる。

【００１６】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。本実施例は、道路標識、信号機、及び電柱等、道路
脇に垂直に立っている細長い形状の対象物をランドマー
クとしてカメラ画像中から抽出し、認識することを想定
している。

【００１７】図１は本発明によるランドマーク認識装置
の概略的構成例を示すブロック図であり、ＴＶカメラ１
ａ、ＴＶカメラ１ｂ、画像メモリ２ａ、画像メモリ２
ｂ、変換部３、面パラメータ４、領域メモリ５、探索空
間算出部６、認識部７、対象物モデル管理部８、対象物
モデル記憶部９から構成されている。

【００１８】これらのうち、ＴＶカメラ１ａとＴＶカメ
ラ１ｂは同一視野の風景を視差のある像、すなわち、左
右像としてとらえるためのステレオ撮像装置（ステレオ
カメラ）を構成しており、これらＴＶカメラ１ａ、ＴＶ
カメラ１ｂはカラーＴＶカメラであって互いのカメラ光
軸が平行になるように近接し並設配置されている。ここ
では、ＴＶカメラ１ａにて例えば左像、ＴＶカメラ１ｂ
にて例えば右像を時系列的に得るようにしてある。

【００１９】画像メモリ２ａ，２ｂはそれぞれ対応する
ＴＶカメラ１ａ，１ｂより入力されたカラー画像を保持
するためのものであり、変換部３は、画像メモリ２ａ，
２ｂに蓄積されている画像を３次元空間中に予め設定し
ておいた座標系において、面パラメータ記憶部４に記憶
されたデータを用いて生成した面上に投影し、領域メモ
リ５に投影結果を書き込む処理をするものである。

【００２０】面パラメータ記憶部４に記憶されている面
パラメータは画像メモリ２ａ，２ｂ上の画像を投影する
平面Ｐを与えるに必要なパラメータであり、カメラ位置
やカメラの光学的特性等を含め、システムで定まるパラ
メータであって、これは実際にシステムを動作させてみ
て最適値を探し、この最適値を面パラメータとする。

【００２１】領域メモリ５は、変換部３が画像メモリ２
ａ，２ｂに蓄積されている画像を３次元空間中に予め設
定しておいた座標系において、面パラメータ記憶部４に
記憶してある面パラメータのデータを用いて生成した平
面Ｐ上に投影した結果の情報を保持するものである。

【００２２】探索空間算出部６は領域メモリ５上を走査
して、ランドマークが道路面上に立ち上がっている部分
を抽出し、その領域メモリ５上の位置から、画像メモリ
２ａ，２ｂ中の位置を逆射影により求め、ランドマーク
の探索空間を算出する機能を有する。

【００２３】また、認識部７は対象物管理部８を通し
て、対象物モデルに格納されたデータを取り出し、探索
空間算出部６で求めた画像メモリ２ａ，２ｂの画像領域
中で、画像データと照合し、ランドマークの識別を行な
うといった機能を有する。

【００２４】つぎに上記構成の本装置の作用を説明す
る。ＴＶカメラ１ａとＴＶカメラ１ｂは同一視野の風景
を視差のあるカラー像、すなわち、立体視のためのカラ
ー左右像としてとらえ、それぞれ画像を時系列的に出力
する。

【００２５】ＴＶカメラ１ａ，１ｂより入力されたカラ
ー画像はそれぞれ対応して設けられている画像メモリ２
ａ，２ｂに蓄積される。そして、変換部３は、画像メモ
リ２ａ，２ｂに蓄積されている画像を３次元空間中に予
め設定しておいた座標系において、面パラメータ記憶部
４に記憶してある面パラメータのデータを用いて生成し
た平面Ｐ上に投影し、その投影結果を領域メモリ５に書
き込む。

【００２６】探索空間算出部６はこの領域メモリ５上を
走査して、ランドマークが道路面上に立ち上がっている
部分を抽出し、その抽出した部分の位置する領域メモリ
５上の位置を求めると共に、この求めた領域メモリ５上
の位置から、画像メモリ２ａ中の位置を逆射影により求
め、ランドマークの探索空間（ランドマークを探索しよ
うとする対象となる画像メモリ空間の領域）を算出す
る。

【００２７】認識部７では対象物管理部８を通して、対
象物モデル記憶部９に格納された各対象物モデルのデー
タを取り出し、探索空間算出部６で求めた探索空間に該
当する画像メモリ１ａ，１ｂの画像領域中で、これら画
像メモリ１ａ，１ｂ内の画像データと照合し、ランドマ
ークの識別を行なう。

【００２８】本システムの概要は以上の通りである。こ
こで、本システムを構成している上記各構成要素の機能
や動作について、もう少し詳細に触れておく。上記各構
成要素のうち、変換部３は上述したように、画像メモリ
２ａ，２ｂの画像を、面パラメータ記憶部４に記憶され
ているデータを用いて算出した平面Ｐ上に投影するが、
ここで用いている投影手法について、図４を参照して説
明する。

【００２９】［変換部３の投影手法］変換部３による画
像メモリ２ａ，２ｂの画像の平面Ｐ上への投影手法はつ
ぎの通りである。

【００３０】図４に示すように、今、ステレオカメラ
（ＴＶカメラ１ａ，１ｂ）の座標系をＯ−Ｘ，Ｙ，Ｚ、
左画像中心をＯ_l 、右画像中心をＯ_r 、ステレオカメラ
における左および右カメラ１ａ，１ｂの焦点位置をそれ
ぞれＣ_l ，Ｃ_r 、そして、左および右画像面上の点ｑ
_l ，ｑ_r を平面Ｐ上へ投影した点をＱ_l ，Ｑ_r 、左右画
像上の画像中心を原点とする座標系をそれぞれ、ｘ_l −
ｙ_l ，ｘ_r −ｙ_r とする。

【００３１】また、左右画像中心Ｏ_l ，Ｏ_r をそれぞれ
起点としてｘ_l ，ｘ_r 軸上で長さが画像面のｘ軸方向の
画素サイズに相当するベクトルをそれぞれｎ_lx，ｎ_rxと
し、そして、Ｏ_l ，Ｏ_r をそれぞれ起点とし、ｙ_l ，ｙ
_r 軸上で長さが画像面のｙ軸方向の画素サイズに相当す
るベクトルをｎ_ly，ｎ_ryとする。

【００３２】また、点ｑ_l ，ｑ_r の画像面上の位置をそ
れぞれ（ｋ_lx，ｋ_ly）、（ｋ_rx，ｋ_ry）とする。そし
て、点ｑ_l ，ｑ_r を平面Ｐ上へ投影した点Ｑ_l ，Ｑ_r の
ステレオカメラ座標系での位置を以下の式より求める。
まず、点ｑ_l に対しては次の関係が成り立つ。

【００３３】

【数１】 ステレオカメラのキャリブレーションにより

【００３４】

【数２】 は既知であるとすると、点Ｑ_l と点ｑ_l を結ぶ直線の方
程式は x=ｘ_ol＋ｋ_lxｘ_nlx ＋ｋ_lyｘ_nly ＋t(ｘ_cl−ｘ_ol−ｋ_lx
ｘ_nlx −ｋ_lyｘ_nly ） y=ｙ_ol＋ｋ_lxｙ_nlx ＋ｋ_lyｙ_nly ＋t(ｙ_cl−ｙ_ol−ｋ_lx
ｙ_nlx −ｋ_lyｙ_nly ） z=ｚ_ol＋ｋ_lxｚ_nlx ＋ｋ_lyｚ_nly ＋t(ｚ_cl−ｚ_ol−ｋ_lx
ｚ_nlx −ｋ_lyｚ_nly ） として表される。このｘ，ｙ，ｚを平面式Ｐ：ａｘ＋ｂ
ｙ＋ｃｚ＋ｄ＝０に代入し、ｔを求めることにより、点
ｑ_l の平面Ｐ上での投影点Ｑ_l の位置（Ｑ_lx，Ｑ_ly，Ｑ
_lz）を算出することができる。点ｑ_r に対しても同様に
次の関係が成り立つ。

【００３５】

【数３】 ステレオカメラのキャリブレーションにより

【００３６】

【数４】 は既知であるとすると、点Ｑ_r と点ｑ_r を結ぶ直線の方
程式は x=ｘ_or＋ｋ_rxｘ_nrx ＋ｋ_ryｘ_nry ＋t(ｘ_cr−ｘ_or−ｋ_rx
ｘ_nrx −ｋ_ryｘ_nry ） y=ｙ_or＋ｋ_rxｙ_nrx ＋ｋ_ryｙ_nry ＋t(ｙ_cr−ｙ_or−ｋ_rx
ｙ_nrx −ｋ_ryｙ_nry ） z=ｚ_or＋ｋ_rxｚ_nrx ＋ｋ_ryｚ_nry ＋t(ｚ_cr−ｚ_or−ｋ_rx
ｚ_nrx −ｋ_ryｚ_nry ） として表される。このｘ，ｙ，ｚを平面式Ｐ：ａｘ＋ｂ
ｙ＋ｃｚ＋ｄ＝０に代入し、ｔを求めることにより、点
ｑ_r の平面Ｐ上での投影点Ｑ_r の位置（Ｑ_rx，Ｑ_ry，Ｑ
_rz）を算出することができる。なお、平面式Ｐ：ａｘ＋
ｂｙ＋ｃｚ＋ｄ＝０において、ａ，ｂ，ｃが面パラメー
タである。

【００３７】以上の処理により、変換部３は画像メモリ
２ａに格納されている左画像上の点ｑ_l を、面パラメー
タより求めた平面Ｐ上での点Ｑ_l へ投影し、また、画像
メモリ２ｂに格納されている右画像上の点ｑ_r を上記平
面Ｐ上の点Ｑ_r へ投影する。

【００３８】このようにして変換部３は、画像メモリ２
ａ，２ｂの画像の平面Ｐ上への投影を行なう。 ［領域メモリ５の説明］つぎに領域メモリ５について説
明する。領域メモリ５は、図５（ａ）に示すようなｍ×
ｎの２次元配列である。そして、これは画像メモリ２
ａ，２ｂの記憶画像の画素配列より少ない配列である。
そして、領域メモリ５における各メモリ位置には図５
（ｂ）に示すように、ｘ，ｙ，ｚ座標値、左，右画像の
Ｒ値、左，右画像のＧ値、左，右画像のＢ値、左，右画
像の近傍エッジ密度、左，右画像の近傍テクスチャー情
報、点ｑ_l の画像中の画素位置（ｘ_l ，ｙ_l ）、点ｑ_r
の画像中の画素位置（ｘ_r ，ｙ_r ）などの情報が格納さ
れる構成である。

【００３９】領域メモリ５の配列はｍ×ｎであり、これ
は画像メモリの一画面の画素数の配列に１対１で対応し
ているわけではないことから、上記情報の格納はつぎの
ようにして行なう。

【００４０】道路領域の探索範囲をＸ_min ＜Ｘ＜Ｘ
_max 、Ｙ_min ＜Ｙ＜Ｙ_max とすると、Ｘ_min からＸ_max
までをｍ等分に、またＹ_min からＹ_max までをｎ等分に
サンプリングして変換部３の結果をこの領域メモリ５に
書き込む。つまり、領域メモリ５上の（ｉ，ｊ）には射
影点Ｑ_l ，Ｑ_r のＸ座標値、Ｙ座標値が

【００４１】

【数５】 の範囲内にあるものを書き込むようにする。この結果、
図６に示すように、平面Ｐ上の点Ｑが領域メモリ５の要
素（ｉ，ｊ）に対応付けられるとき、この領域メモリ５
には図５（ｂ）に示すデータが（ｉ，ｊ）に書き込まれ
ることになる。ただし、点Ｑは左画像上の点ｑ_l 、右画
像上の点ｑ_r が同時に投影される点である。

【００４２】このようにして、平面Ｐ上の点Ｑが領域メ
モリ５の要素（ｉ，ｊ）に対応つけられるとき、領域メ
モリ５にはその（ｉ，ｊ）の位置に、点Ｑの（ｘ，ｙ，
ｚ）座標値、点ｑ_l ，ｑ_r のカラー情報（ＲＧＢ値）、
点ｑ_l ，ｑ_r 近傍のエッジ密度、点ｑ_l ，ｑ_r 近傍のテ
クスチャー情報、点ｑ_l ，ｑ_r の左右画像中の画素位置
（ｘ_l ，ｙ_l ），（ｘ_r ，ｙ_r ）がそれぞれ蓄積される
ことになる。

【００４３】上述したように、変換部３は画像メモリ２
ａ，２ｂに格納された左画像及び右画像の全画素ｑ_l ，
ｑ_r に対して、平面Ｐ上の投影位置Ｑ_l ，Ｑ_r を求め、
上記探索範囲に含まれるもののみを選択した後、領域メ
モリ５の対応する位置のメモリ内に、図５（ｂ）に示す
如き内容のデータを書き込む結果、領域メモリ５内には
画像メモリ２ａ，２ｂに格納された画像のうちの、上記
探索範囲に含まれる投影位置Ｑ_l ，Ｑ_r の画像について
のみのＲ値，Ｇ値，Ｂ値、近傍エッジ密度、近傍テクス
チャー情報、画素位置情報、座標値が保持されることに
なる。

【００４４】［探索空間算出部６］探索空間算出部６は
領域メモリ５に蓄積されたデータからランドマークが道
路面と接触している位置を求め、画像上の撮像位置に逆
変換した後、ランドマークを探索する画像中の領域位置
を算出する。

【００４５】すなわち、探索空間算出部６はまず、領域
メモリ５を走査して、データが書き込まれていない位置
のメモリについては、その周囲の位置のメモリに記憶さ
れいるデータを用いて線形補間によりデータを求めてこ
れを記憶させることで補間する。この際、図５（ａ）に
示す各メモリ位置に補間により記憶させるデータは、
（Ｘ，Ｙ，Ｚ）座標値を除き、左画像に対するものは左
画像同士、右画像に対するものは右画像同士で補間する
ようにする。

【００４６】次いで、探索空間算出部６は画像のＲＧＢ
値より求めた色情報、近傍のエッジ密度、及び近傍のテ
クスチャー情報が左画像と右画像で異なっている領域を
領域メモリ５上で抽出する。すなわち、領域メモリ５に
対しての上記補間が済んだ後に、探索空間算出部６は領
域メモリ５を走査して色情報、近傍のエッジ密度、及び
近傍のテクスチャー情報が左画像と右画像で異なってい
る領域を領域メモリ５上で抽出する。そして、これより
ランドマークの像における道路平面から上に立ち上がっ
ている点を見付ける。そして、これよりランドマークの
像の平面投影記述を得る。

【００４７】すなわち、図７に示すように、道路平面か
ら上に立ち上がっている点Ａはそれぞれ異なる点として
平面Ｐ上に射影される。このため、領域メモリ５の各要
素（ｉ，ｊ）に書き込まれている左右画像の色情報、エ
ッジ情報、テクスチャー情報が異なる領域は、道路平面
から上に立ち上がっている部分であると判定できる。

【００４８】図８（ａ）に示すように、道路面８１から
立ち上がっているランドマーク８２を道路平面上に投影
すると、図８（ｂ）に符号８２ａを付して示すように、
道路面８１と接触しているランドマーク８２の根元Ａか
らＴＶカメラ１から見て前方方向に倒れ込んだ形で当該
ランドマーク８２の像が投影される。

【００４９】このため、領域メモリ５上で求めた色情
報、近傍のエッジ密度、及び近傍のテクスチャー情報が
左右画像で異なっている領域もカメラを中心にして、放
射状に倒れ込んだ領域となる。カメラの前方Ｈ（Ｈはラ
ンドマークの高さ寸法）、左右Ｗ／２（Ｗはランドマー
クの最大幅寸法）の範囲において、これらの領域をプロ
ットし、平面投影記述を作成する。

【００５０】道路９１の両端に標識９２と電柱９３が立
っている図９（ａ）の如き画像の場合、標識９２及び電
柱９３がそれぞれ道路面と接触している点Ｂ、Ｃから放
射状に倒れ込んだ形で図９（ｂ）の如き平面投影記述が
得られる。

【００５１】このような平面投影記述を得たならば、つ
ぎに探索空間算出部６は、この平面投影記述について、
カメラの位置を中心として放射状にこの平面投影記述を
走査し、倒れ込んだ形の投影領域の根元にあたる点Ｂ，
Ｃの当該平面投影記述上の位置の座標（ｘ_b ，ｙ_b ），
（ｘ_c ，ｙ_c ）を求める。

【００５２】次いで、探索空間算出部６は領域メモリ５
を走査して、この領域メモリ５における当該座標（ｘ
_b ，ｙ_b ），（ｘ_c ，ｙ_c ）位置対応のアドレス（メモ
リ位置）をそれぞれ求め、それらのアドレスに格納され
ている左画像中の画素位置データおよび右画像中の画素
位置データから、画像上でのランドマークが道路面から
立ち上がっている根元の点の左右画像中での画素位置
（ｉｘ_b ，ｉｙ_b ），（ｉｘ_c ，ｉｙ_c ）を求める。

【００５３】画像メモリ２ａ，２ｂにおける左右画像中
で、ランドマークはこれらの点よりも上方にあるため、
図１０に示すように（ｉｘ_b ，ｉｙ_b ），（ｉｘ_c ，ｉ
ｙ_c）を最下部とする探索領域を設定する。図１０にお
いて、ウインドウの横幅ｗｄ、

【００５４】

【数６】

【００５５】より定める。ここで、ＷＳは対象物モデル
記憶部９に格納されているランドマークの中で横幅が最
大であるランドマークの幅である。図９に示すように、
対象物モデル記憶部９に登録されているランドマークが
道路標識と電柱である場合、この中で横幅が最も広い方
のランドマークの幅をＷＳとして用いる。

【００５６】また、カメラからランドマークまでの距離
をｄとすると、この距離ｄは図９における道路標識の場
合、平面投影記述での道路標識の根元の座標値（ｘ_b ，
ｙ_b）から

【００５７】

【数７】 として求めることができる。ｆはカメラの焦点距離であ
る。カメラからランドマークまでの距離ｄだけカメラ位
置から離した位置にランドマークの根元があり、ここよ
り上方の上記求めた探索領域内が目指すランドマークの
探索領域となる。これで探索領域の設定ができる。

【００５８】但し、これは図１０に示す画像のように、
遮蔽物に隠されることなく、ランドマーク１０１ａ，１
０１ｂの道路面１０２との接触位置が画像中ではっきり
確認できる場合の探索領域の設定方式であるが、図１２
（ａ）に示すように、ランドマーク１２１の道路１２２
との接触点Ａがガードレール１２３等により隠されてい
るような場合もある。

【００５９】このような場合、上述の手法により求めた
平面投影記述（図１２の（ｂ）図）上の倒れ込んだ形状
の根元の点Ｂは、標識が道路面と接触している真の根元
位置Ａと異なってくる。

【００６０】このため、このようなケースでは探索空間
設定部６は、標識の立っている位置と道路端との間の距
離ｄを用いて点Ｂを真の位置Ａに変換する。この変換は
つぎのようにして行なう。まず、図１２の（ｂ）図に示
すように、移動車Ｖから倒れ込んだ標識形状の中心線方
向へ引いた直線ＶＫを求める。

【００６１】次いで、点Ｂから道路端に平行に、距離ｄ
だけ外側に離れた直線ｌ_n を求め、この直線ｌ_n と上記
直線ＶＫとの交点Ａを、標識が倒れ込んでいる真の根元
の点とする。

【００６２】道路端と標識の間の距離ｄは走行経路にお
いて予め求めておく。通常、距離ｄは走行経路において
ほぼ固定していると考えられるが、不定な場合には、走
行地図上に個々にその情報を記述しておく。

【００６３】このようにして、図１２の（ｂ）図の平面
投影記述のように、道路端にガードレールのような帯状
の障害物が検出された場合には、以上の手法で平面投影
記述上で求めた倒れ込んだ形状のランドマークにおける
根元の点への変換を行なう。

【００６４】そして、この変換後の根元の点より上方の
上記求めた探索領域内が、目指すランドマークの探索領
域となる。これで根元が遮蔽物により遮蔽されたランド
マークについても根元の位置を特定して探索領域の設定
を行なうことが可能になる。

【００６５】［認識部７］認識部７による画像中のラン
ドマークの識別の詳細を説明する。認識部７では、画像
メモリ２ａ，２ｂ内の画像それぞれについて、探索空間
設定部６で設定した探索領域内に該当する部分の画像を
走査し、対象物モデル記憶部９に登録されているランド
マークのモデルと照合し、特徴の合致するものがあれば
その照合のモデルとなった種別のランドマークであると
認識することで、画像中のランドマークを識別する。

【００６６】対象物モデル記憶部９には、登録されてい
る各ランドマーク毎にランドマーク全体を写した濃淡画
像（すなわち、モノトーンの階調画像）、ランドマーク
の寸法（外接長方形サイズ等）、画像に投影した時の主
要な特徴図形及び色等のデータが格納されており、対象
物モデル管理部８を通してアクセスされる。従って、認
識部７ではこの対象物モデル管理部８を通して、対象物
モデル記憶部９に登録されているランドマークのモデル
を照合の基準として取得して、これと画像メモリ２ａ，
２ｂ内の画像それぞれの探索空間設定部６で設定した探
索領域内に該当する部分の画像を照合することで、探索
領域内の画像がどのようなランドマークであるかを識別
できる。

【００６７】図１１に、駐車禁止の標識及び電柱をラン
ドマークとして登録した際の対象物モデル記憶部９中の
データ例を示す。図に示すように、これらのランドマー
クはその姿そのものを濃淡画像と、その寸法情報、その
ランドマークの持つ色、特徴形状等の情報からなる。色
情報としては駐車禁止標識の場合、標識部分は紺地に赤
色の輪と斜め線、そして、支柱は白色ポールであるか
ら、“赤”、“紺”、“白”の情報となり、電柱はコン
クリート柱の場合灰色であるから、“灰”の色情報とな
る。

【００６８】また、特徴図形としては、駐車禁止標識の
場合、標識部分は円形、そして、支柱はポールであるか
ら平行線であり、“円”と“平行線”が特徴図形として
登録されている。電柱は柱であるからこの場合、平行線
であり、従って、“平行線”が特徴図形として登録され
ている。

【００６９】従って、これらの情報から合致するものを
見付けることで、ランドマークの種別を特定することが
できることになる。 ［認識部７の機能を実現する具体的構成例］つぎに認識
部７の機能を実現するための構成例について触れてお
く。

【００７０】図２に示すように、認識部７は粗照合部１
０、密照合部１１、スケール変換部１２とから構成する
ことにより実現できる。これらのうち、粗照合部１０
は、探索空間算出部６で設定した探索領域内で色抽出
や、特徴（円、楕円、四角形、菱形、平行線等）抽出を
行ない、対象物モデル記憶部９に記憶されている対象物
モデルと照合することにより、各画像メモリ２ａ，２ｂ
内の画像中における探索領域内に存在するランドマーク
の候補を選択するといった機能を有する。

【００７１】また、密照合部１１は、画像中の探索領域
内にあるランドマークの種別に該当すると思われるこの
粗照合部１０が選定した各ランドマークの候補それぞれ
に該当するランドマーク濃淡画像を、対象物モデル管理
部８を通して、対象物モデル記憶部９中の対象物モデル
から取り出してスケール変換部１２に参照画像として与
えるように制御するものであり、また、スケール変換部
１２により正規化されて得られた参照画像を画像中の上
記探索領域内にあるランドマークに投影して一致度を調
べ、一致度の最も高い参照画像の種別を上記探索領域内
にあるランドマークの種別として認識してその情報を出
力する機能を有する。

【００７２】また、スケール変換部１２は密照合部１１
から与えられる参照画像について、画像中に投影した時
のランドマークサイズとなるように正規化し、密照合部
１１に出力する機能を有する。具体的には、対象物モデ
ル記憶部９に対象物モデルとして格納さているランドマ
ークの寸法と、ランドマークまでの距離ｄから、画像中
に投影された時のランドマークサイズを算出し、参照画
像に対してその横，縦サイズをこの算出した値に対応し
て補正し、正規化参照画像を作成して密照合部１１に出
力するといったことを行なう機能を有している。

【００７３】このような構成の認識部７は、まず、粗照
合部１０では、探索空間算出部６で設定した探索領域内
で色抽出、特徴（円、楕円、四角形、菱形、平行線等）
抽出を行ない、対象物モデル記憶部９に記憶されている
対象物モデルと照合することにより、探索領域内に存在
するランドマークの種別に該当するものであろう種別の
ランドマーク候補を、当該対象物モデル中から選択す
る。

【００７４】すなわち、探索領域内で色抽出、特徴抽出
された、その色及びその特徴を保持するランドマーク
を、対象物モデル記憶部９内の多数の対象物モデル中か
ら選び出し、これをその探索領域内に存在するランドマ
ークの種別に該当するランドマーク候補とするわけであ
る。大雑把な粗照合をする粗照合部１０での処理だけ
に、該当すると思われるランドマーク候補は複数に及
び、従って、一つの探索領域内に存在するランドマーク
の種別に該当するランドマーク候補は複数選出されるこ
とは珍しくない。そこで、このようにして選出されたラ
ンドマーク候補を以下の説明ではそれぞれを区別するた
めにＬ_i （ｉ＝０，１，…，ｔ）とする。

【００７５】粗照合部１０による粗照合ではランドマー
ク候補Ｌ_i が多数選出されているので、これを一つに絞
り込む必要がある。そこでこの絞り込みの処理を密照合
部１１で行なう。

【００７６】密照合部１１では、このようにして粗照合
部１０により選出されて各探索領域毎の１つ以上のラン
ドマーク候補Ｌ_i それぞれに対して、正確に照合して候
補を一つに絞り込む処理を行なう。

【００７７】これはつぎのようにして行なう。密照合部
１１は、まず、ランドマーク候補Ｌ_i それぞれに該当す
るランドマークの濃淡画像を、対象物モデル管理部８を
通して、対象物モデル記憶部９中の対象物モデルから順
次取り出し、スケール変換部１２に渡すように制御す
る。スケール変換部１２は、これによって対象物モデル
記憶部９中から取り出されたランドマーク候補Ｌ_i に該
当するランドマークの濃淡画像を参照画像Ｉ_b として受
取る。

【００７８】そして、スケール変換部１２では、この参
照画像Ｉ_b を画像メモリ２ａ，２ｂの画像中に投影した
場合でのランドマークサイズを算出し、そのサイズにス
ケール変換して密照合部１１に渡す。スケール変換部１
２によるスケール変換はつぎのようにして行なう。

【００７９】すなわち、対象物モデル記憶部９に対象物
モデルとして格納さている前記ランドマーク候補Ｌ_i 該
当のランドマークの寸法と、画像中における上述の探索
領域にあるランドマークまでの距離ｄから、この参照画
像Ｉ_b が画像メモリ２ａ，２ｂ内の画像中における前記
探索領域内のランドマークの位置に投影された場合での
サイズを算出する。この算出はつぎのようにして行な
う。

【００８０】今、ランドマークに外接する長方形の寸法
がＷ_l ×Ｈ_l であるとする。この時、画像メモリ２ａ，
２ｂ内の画像中における前記ランドマークの位置に、ラ
ンドマーク候補Ｌ_i を投影した際のこのランドマーク候
補Ｌ_i に外接する長方形の概略寸法ＩＷ_l ×ＩＨ_l は

【００８１】

【数８】 と表すことができ、従って、この式から画像中（画像メ
モリ２ａ，２ｂ内の画像中における前記ランドマークの
位置）に投影された時のランドマーク候補Ｌ_i のサイズ
（ランドマークサイズ）を算出することができる。

【００８２】従って、例えばランドマーク候補Ｌ_i の濃
淡画像である参照画像Ｉ_b のサイズがＩＷ_b ×ＩＨ_b で
あるとすると、スケール変換部１２は当該参照画像Ｉ_b
に対してその横，縦サイズをそれぞれＩＷ_l ／ＩＷ_s ，
ＩＨ_l ／ＩＨ_b 倍にした正規化参照画像Ｉ_s を作成し、
これを密照合部１１へ送ることになる。

【００８３】密照合部１１では、探索空間算出部６より
得られた探索領域位置に対応する画像Ｉ_a を、画像メモ
リ２ａから切り出し、この切り出した探索領域対応の画
像Ｉ_a 上で正規化参照画像Ｉ_s を走査し、像の重なって
いるＩ_s 及びＩ_a の各画素Ｉ₁ ，Ｉ₂ に対して、以下の
式により濃度相関ｓを求める。

【００８４】

【数９】

【００８５】つまり、切り出した探索領域対応の画像Ｉ
_a 上で正規化参照画像Ｉ_s を走査するということは両画
像を重ねてみることを意味する。そして、この切り出し
た探索領域対応の画像Ｉ_a と正規化参照画像Ｉ_s を重ね
てみることで、両者の像の重なっている部分がわかるの
で、多数のランドマーク候補Ｌｉの中から像の形状、濃
淡の状態（カラー画像情報としてある場合は色情報の状
態）の一致するランドマークを見付けるために画像Ｉ_a
とＩ_s の各画素Ｉ₁ ，Ｉ₂ に対して、それぞれが重なっ
ている部分を見付け、その重なり部分での像の一致度を
求める。

【００８６】これは重なり部分における濃度状態（カラ
ー画像ならば同一色合い、あるいは色情報）の一致する
画素の占める割合を求めることなどで実現できるが、こ
こでは、正規化参照画像Ｉ_s の全ての画素Ｉ₁ に対し
て、重なっているＩ_a 内の画素Ｉ₂ との間で濃度相関ｓ
を求め、その加算値ＳＳ＝Σｓを求め、ＳＳが最大とな
るランドマーク候補を、本命のランドマークとすること
で、多数の候補の中から一致度の高いランドマークとし
て選定することができる。

【００８７】このように、画像メモリ内の画像中から切
り出したランドマーク候補の画像Ｉ_a 内で正規化参照画
像Ｉ_s をラスター走査しながら重なっている部分での加
算値ＳＳを求め、この加算値ＳＳが最大となる位置、及
び最大値ｍａｘｓ（ａ）を求める。この加算値ＳＳは同
一濃度値（あるいは同一色合い、同一色情報）を持つ画
素の数に対応しており、この加算値ＳＳが最大となる位
置、及び最大値ｍａｘｓ（ａ）を求めることは、探索領
域対応の画像Ｉ_a と正規化参照画像Ｉ_s を重ねた場合に
おける両者の像の重なっている部分の類似度が最大であ
ることを意味する。

【００８８】ゆえにこれは一致度が最大であることにな
り、これに使用した正規化参照画像Ｉ_s のランドマーク
が当該探索領域対応の画像Ｉ_a におけるランドマークの
種別であることが分かる。

【００８９】画像メモリ２ｂにおける画像に対しても同
様の処理を行ない、最大値ｍａｘｓ（ｂ）を求める。そ
して、ｍａｘｓ＝ｍａｘ（ｍａｘｓ（ａ），ｍａｘｓ
（ｂ））を求める。

【００９０】以上の処理を各探索領域毎にその領域での
候補として選定された各ランドマーク候補Ｌ_i （ｉ＝
０，１，…，ｔ）に対してそれぞれ行ない、それぞれに
ついてｍａｘｓが最大となるランドマーク候補Ｌ_i をそ
の探索領域でのランドマークの種別として選択する。こ
れにより、各探索領域毎に該領域でのランドマークの候
補として粗照合で多数選定されたランドマーク候補中か
ら、一致度の高い一つを選定してその種別を当該領域の
ランドマークの種別として絞り込むことができる。

【００９１】なお、図２の構成例では、対象物モデルに
格納されているランドマークの濃淡画像をスケール変換
部１２が変換する、つまり、参照画像の方を正規化して
いたが、図３に示す構成例のように、画像メモリ２ａ、
２ｂから切り出してくる走査画像の方をスケール変換部
１２で正規化し、密照合部１４で相関による照合処理を
行なう構成とすることも考えられる。この場合の変換倍
率も、図２の構成例と同様に算出できる。

【００９２】また、本実施例では、密照合部１１、１４
において相関により照合を行なったが、画素間の差の２
乗和等を用いたＳＳＤ手法等、他の照合手法を用いるこ
ともできる。

【００９３】本実施例では、投影点を領域メモリへ書き
込む際、等間隔にサンプリングしたが、通常、ステレオ
カメラ座標系の原点よりも遠い領域は画像上で小さく写
るため、解像度は粗くなる。逆に近い領域は画像上で大
きく写るため解像度が高くなる。このため、例えば、Ｙ
_min に近い点程、Ｘ、Ｙのサンプル間隔を細かくし、Ｙ
_max に近い点程、Ｘ、Ｙのサンプル間隔を大きくするこ
とにより、情報量を減少させることなく領域メモリ５の
容量を減少させることができる。

【００９４】また、本実施例では道路面として平面を仮
定して説明したが、ステレオカメラ座標系で方程式が既
知である曲面であれば、平面の場合と同様に道路領域を
抽出することができる。

【００９５】また、本実施例においては、道路標識、電
柱、及び信号機等、屋外道路環境のランドマークに関し
ての識別を主体に記述したが、これに限るものではない
こととはもちろんであって、地面や床面から立ち上がっ
ている物であるならば適用可能である。例えば、室内環
境における柱の列、消火器、ドア、及び什器等のランド
マークも本実施例と同様の手法で認識できる。

【００９６】以上、本装置は画像中のランドマークの認
識を行なうにあたり、照合基準となる実際の各種のラン
ドマークの像情報を含むランドマークの情報を用意し、
これとランドマークの映っている画像中のランドマーク
領域を切り出して照合するようにして識別するものであ
る。

【００９７】すなわち、本装置ではランドマークは単純
な形状であり、しかも、道路上に細長く立っているもの
であるという前提を利用しており、画像中に埋もれるラ
ンドマークの像を、高さの方向に分布するこれらの前提
に合う条件の画素情報が分布する領域を切り出して照合
する対象領域を特定することで、複雑で変動の激しい画
像内からランドマーク像の含まれる領域を安定に切り出
し、また、用意した実際の各種ランドマークの像を含む
照合のための情報を基準となるランドマークとして用
い、これを正規化して画像中に投影し、これと上記切り
出した画像とを照合して両者の重なる部分での一致度を
調べ、複数種ある照合基準のランドマークから一致度の
高いものを選定してこれを画像中の上記領域におけるラ
ンドマークの種別として認識する。

【００９８】特に外界の像を視差のある画像つまり左像
および右像としてそれぞれ取得する立体視用の撮像装置
を用い、その画像を利用するもので、撮像装置の撮影点
がわかり、しかも、左像および右像の持つ視差からラン
ドマークが立っている所までの距離を求めることができ
るため、この求めた距離を用いて画像中に撮像されたラ
ンドマークのサイズと位置が特定でき、これに合うよう
に、照合基準のランドマークの像を正規化して上記画像
に投影し、画像中のランドマークとの一致度を調べるよ
うにしたことから、少ない計算量でしかも精度良く画像
中のランドマークの種別が認識できる。

【００９９】

【発明の効果】以上、詳述したように本発明は、ランド
マークは道路上に細長く立っているものであるという高
さの情報を利用するようにしたものであり、この情報を
利用することにより、画像中のランドマーク領域を、複
雑で変動の激しい画像内から安定に切り出すことができ
る。さらに、ランドマークが立っている所までの距離を
求めることができるため、この距離を用いて画像中に撮
像されたランドマークのサイズが特定でき、少ない計算
量で照合処理の実現ができる。

【図面の簡単な説明】

【図１】本発明の実施例を説明するための図であって、
本発明の一実施例の概略構成を示すブロック図。

【図２】本発明の実施例を説明するための図であって、
本発明の一実施例としての認識部７の構成例を示すブロ
ック図。

【図３】本発明の実施例を説明するための図であって、
本発明の別の実施例としての認識部７の構成例を示すブ
ロック図。

【図４】本発明の実施例を説明するための図であって、
本発明の一実施例としての変換部３による画像メモリ２
ａ，２ｂの画像の平面Ｐ上への投影方法を説明する図。

【図５】本発明の実施例を説明するための図であって、
本発明の一実施例としての領域メモリを説明する図。

【図６】本発明の実施例を説明するための図であって、
本発明の一実施例としての対応領域を説明する図。

【図７】本発明の実施例を説明するための図であって、
本発明の一実施例としての道路面上に立ち上がっている
対象物を説明する図。

【図８】本発明の実施例を説明するための図であって、
本発明の一実施例としての投影像を説明する図。

【図９】本発明の実施例を説明するための図であって、
本発明の一実施例としての平面投影記述を説明する図。

【図１０】本発明の実施例を説明するための図であっ
て、本発明の一実施例としての探索領域の設定方法を説
明する図。

【図１１】本発明の実施例を説明するための図であっ
て、本発明の一実施例としての対象物モデルの内容を説
明する図。

【図１２】本発明の実施例を説明するための図であっ
て、画像中から探索領域を設定する一例を説明する図。

【符号の説明】

１ａ，１ｂ…ＴＶカメラ ３…変換部 ４…面パラメータ記憶部 ５…領域メモリ ６…探索空間算出部 ７…認識部 ８…対象物モデル管理部 ９…対象物モデル記憶部 １０…粗照合部 １１…密照合部 １２…スケール変換部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 315 G06T 1/00 330 G06T 7/00 200 G06T 7/00 300 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (13)

(57)【特許請求の範囲】
1. 【請求項１】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
   の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触している部分を抽出し、そ
   の部分の当該領域メモリ中の位置から、もとの画像に逆
   変換した際の前記識別処理対象画像中でのランドマーク
   存在領域を知り、そのランドマーク存在領域を探索領域
   として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と前記ランドマ
   ーク情報保持手段の保持する基準のランドマークの特徴
   情報とを照合し、ランドマーク種別を識別する認識手段
   と、を具備することを特徴とするランドマーク認識装
   置。
2. 【請求項２】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
   の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触している部分を抽出し、そ
   の部分の当該領域メモリ中の位置から、もとの画像に逆
   変換した際の前記識別処理対象画像中でのランドマーク
   存在領域を知り、そのランドマーク存在領域を探索領域
   として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と、この探索領
   域の位置に配置した際の寸法に正規化し、かつ、当該探
   索領域内に投影した前記基準のランドマークの像情報お
   よびその特徴情報とを照合し、一致する度合いからラン
   ドマーク種別を識別する認識手段と、を具備することを
   特徴とするランドマーク認識装置。
3. 【請求項３】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
   ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
   四角形、菱形、平行線等の図形特徴を含む基準のランド
   マークの特徴情報を保持したランドマーク情報保持手段
   と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触している部分を抽出し、そ
   の部分の当該領域メモリ中の位置から、もとの画像に逆
   変換した際の前記識別処理対象画像中でのランドマーク
   存在領域を知り、そのランドマーク存在領域を探索領域
   として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と前記ランドマ
   ーク情報保持手段の保持する基準のランドマークの特徴
   情報とを照合し、ランドマーク種別を識別する認識手段
   と、を具備することを特徴とするランドマーク認識装
   置。
4. 【請求項４】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
   ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
   四角形、菱形、平行線等の図形特徴を含む基準のランド
   マークの特徴情報を保持したランドマーク情報保持手段
   と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触している部分を抽出し、そ
   の部分の当該領域メモリ中の位置から、もとの画像に逆
   変換した際の前記識別処理対象画像中でのランドマーク
   存在領域を知り、そのランドマーク存在領域を探索領域
   として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と、この探索領
   域の位置に配置した際の寸法に正規化し、かつ、当該探
   索領域内に投影した前記基準のランドマークの像情報お
   よびその特徴情報とを照合し、一致する度合いからラン
   ドマーク種別を識別する認識手段と、を具備することを
   特徴とするランドマーク認識装置。
5. 【請求項５】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
   の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触して立ち上がる部分を抽出
   し、その部分の当該領域メモリ中の位置から、もとの画
   像に逆変換した際の前記識別処理対象画像中でのランド
   マーク存在領域を知り、そのランドマーク存在領域を探
   索領域として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と、この探索領
   域の位置に配置した際の寸法に正規化し、かつ、当該探
   索領域内に投影した前記基準のランドマークの像情報お
   よびその特徴情報とを照合し、一致する度合いからラン
   ドマーク種別を識別するものであって、前記探索領域内
   に投影した前記基準のランドマークの像情報は、前記探
   索空間設定手段にて得たランドマークの前記基準面から
   の立ち上がり点までの距離を求め、この求めた距離を用
   いて、画像中で撮像されるランドマークの画像サイズを
   求め、対象物モデルの画像サイズを正規化してこれを投
   影するものである認識手段と、を具備することを特徴と
   するランドマーク認識装置。
6. 【請求項６】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
   の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触している部分を抽出し、そ
   の部分の当該領域メモリ中の位置から、もとの画像に逆
   変換した際の前記識別処理対象画像中でのランドマーク
   存在領域を知り、そのランドマーク存在領域を探索領域
   として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と前記ランドマ
   ーク情報保持手段の保持する基準のランドマークの特徴
   情報とを粗照合し、候補となる基準のランドマークを少
   なくとも１つ以上選択する粗照合処理を行ない、得られ
   た候補を前記識別処理対象画像における前記探索空間設
   定手段の求めた探索領域に該当する領域内の画像とを密
   に照合してランドマーク種別を識別する認識手段と、を
   具備することを特徴とするランドマーク認識装置。
7. 【請求項７】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
   の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触している部分を抽出し、そ
   の部分の当該領域メモリ中の位置から、もとの画像に逆
   変換した際の前記識別処理対象画像中でのランドマーク
   存在領域を知り、そのランドマーク存在領域を探索領域
   として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と、この探索領
   域の位置に配置した際の寸法に正規化し、かつ、当該探
   索領域内に投影した前記基準のランドマークの像情報お
   よびその特徴情報とを粗照合し、候補となる基準のラン
   ドマークを少なくとも１つ以上選択する粗照合処理を行
   ない、得られた候補を前記識別処理対象画像における前
   記探索空間設定手段の求めた探索領域に該当する領域内
   の画像と密に照合してランドマーク種別を識別する認識
   手段と、を具備することを特徴とするランドマーク認識
   装置。
8. 【請求項８】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
   ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
   四角形、菱形、平行線等の図形特徴を含む基準のランド
   マークの特徴情報を保持したランドマーク情報保持手段
   と、 前記画像入力手段から得られる識別処理対象画像を画像
   の持つ視差の情報を利用することにより、３次元空間中
   で設定した投影面へそれぞれ投影し、画像データに変換
   する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
   モリと、 この領域メモリのそれぞれのデータの中からランドマー
   クが前記基準となる面と接触している部分を抽出し、そ
   の部分の当該領域メモリ中の位置から、もとの画像に逆
   変換した際の前記識別処理対象画像中でのランドマーク
   存在領域を知り、そのランドマーク存在領域を探索領域
   として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
   求めた探索領域に該当する領域内の画像と、前記識別処
   理対象画像内におけるこの探索領域の位置に配置した際
   の前記基準のランドマークの像の縮尺が互いに等しくな
   るようにいずれか一方の像を正規化し、当該探索領域内
   に投影した前記基準のランドマークの像情報および特徴
   情報と前記識別処理対象画像における前記探索領域に該
   当する領域内の画像とを照合し、一致する度合いからラ
   ンドマーク種別を識別する認識手段と、を具備すること
   を特徴とするランドマーク認識装置。
9. 【請求項９】 基準となる面上に立つランドマークの存
   在する３次元空間内を視野としてこの視野中の画像を少
   なくとも視差のある一対の識別処理対象画像として取得
   する画像入力ステップと、 前記画像入力ステップから得られる識別処理対象画像を
   画像の持つ視差の情報を利用することにより、３次元空
   間中で設定した投影面へそれぞれ投影し、画像データに
   変換する変換ステップと、 この変換ステップより得られた画像データを蓄積し、こ
   の蓄積したそれぞれのデータの中からランドマークが前
   記基準となる面と接触している部分を抽出し、その部分
   の当該領域メモリ中の位置から、もとの画像に逆変換し
   た際の前記識別処理対象画像中でのランドマーク存在領
   域を知り、そのランドマーク存在領域を探索領域として
   求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定ステッ
   プの求めた探索領域に該当する領域内の画像と、実際の
   各種ランドマークの像を含む基準のランドマークの特徴
   情報とを照合し、ランドマーク種別を識別する認識ステ
   ップと、を具備することを特徴とするランドマーク認識
   方法。
10. 【請求項１０】 基準となる面上に立つランドマークの
    存在する３次元空間内を視野としてこの視野中の画像を
    少なくとも視差のある一対の識別処理対象画像として取
    得する画像入力ステップと、 前記画像入力ステップにて得られる識別処理対象画像を
    画像の持つ視差の情報を利用することにより、３次元空
    間中で設定した投影面へそれぞれ投影し、画像データに
    変換する変換ステップと、 この変換ステップにより得られた画像データを蓄積し、
    この蓄積したそれぞれのデータの中からランドマークが
    前記基準となる面と接触している部分を抽出し、その部
    分の当該領域メモリ中の位置から、もとの画像に逆変換
    した際の前記識別処理対象画像中でのランドマーク存在
    領域を知り、そのランドマーク存在領域を探索領域とし
    て求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定ステッ
    プの求めた探索領域に該当する領域内の画像と、実際の
    各種ランドマークの像を含む基準のランドマークの特徴
    情報とを照合すると共に、この照合にあたっては前記基
    準のランドマークの像の縮尺を前記識別処理対象画像内
    における前記探索領域の位置に配置した際の寸法に正規
    化し、かつ、当該探索領域内に投影した前記基準のラン
    ドマークの像情報および特徴情報とを照合し、一致する
    度合いからランドマーク種別を識別する認識ステップ
    と、を具備することを特徴とするランドマーク認識方
    法。
11. 【請求項１１】 基準となる面上に立つランドマークの
    存在する３次元空間内を視野としてこの視野中の画像を
    少なくとも視差のある一対の識別処理対象画像として取
    得する画像入力ステップと、 この画像入力ステップにて得られる識別処理対象画像を
    画像の持つ視差の情報を利用することにより、３次元空
    間中で設定した投影面へそれぞれ投影し、画像データに
    変換する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
    リ中に蓄積してこの蓄積したそれぞれのデータの中から
    ランドマークが前記基準となる面と接触して立ち上がる
    部分を抽出し、その部分の当該領域メモリ中の位置か
    ら、もとの画像に逆変換した際の前記識別処理対象画像
    中でのランドマーク存在領域を知り、そのランドマーク
    存在領域を探索領域として求める探索空間設定ステップ
    と、 前記識別処理対象画像における前記探索空間設定ステッ
    プの求めた探索領域に該当する領域内の画像と、実際の
    各種ランドマークの像を含む基準のランドマークの特徴
    情報とを照合すると共に、この照合にあたっては前記基
    準のランドマークの像または前記識別処理対象画像にお
    ける前記探索領域に該当する領域内画像の縮尺が前記識
    別処理対象画像内における前記探索領域の位置に配置し
    た際に合うように寸法の正規化を施し、かつ、前記探索
    領域内に投影した前記基準のランドマークの像情報およ
    びその特徴情報と前記識別処理対象画像における前記探
    索領域に該当する領域内画像とを照合し、一致する度合
    いからランドマーク種別を識別する認識ステップと、を
    具備することを特徴とするランドマーク認識方法。
12. 【請求項１２】 基準となる面上に立つランドマークの
    存在する３次元空間内を視野としてこの視野中の画像を
    少なくとも視差のある一対の識別処理対象画像として取
    得する画像入力ステップと、 前記画像入力手段から得られる識別処理対象画像を画像
    の持つ視差の情報を利用することにより、３次元空間中
    で設定した投影面へそれぞれ投影し、画像データに変換
    する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
    リに蓄積し、この領域メモリのそれぞれのデータの中か
    らランドマークが前記基準となる面と接触している部分
    を抽出し、その部分の当該領域メモリ中の位置から、も
    との画像に逆変換した際の前記識別処理対象画像中での
    ランドマーク存在領域を知り、そのランドマーク存在領
    域を探索領域として求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定手段の
    求めた探索領域に該当する領域内の画像と、この探索領
    域の位置に配置した際の寸法に正規化し、かつ、当該探
    索領域内に投影した前記基準のランドマークの像情報お
    よびその特徴情報とを粗照合し、候補となる基準のラン
    ドマークを少なくとも１つ以上選択する粗照合処理を行
    ない、得られた候補を前記識別処理対象画像における前
    記探索空間設定手段の求めた探索領域に該当する領域内
    の画像と密に照合してランドマーク種別を識別する認識
    ステップと、を具備することを特徴とするランドマーク
    認識方法。
13. 【請求項１３】 基準となる面上に立つランドマークの
    存在する３次元空間内を視野としてこの視野中の画像を
    少なくとも視差のある一対の識別処理対象画像として取
    得する画像入力ステップと、 前記画像入力ステップから得られる識別処理対象画像を
    画像の持つ視差の情報を利用することにより、３次元空
    間中で設定した投影面へそれぞれ投影し、画像データに
    変換する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
    リ中に蓄積してこの蓄積したそれぞれのデータの中から
    ランドマークが前記基準となる面と接触して立ち上がる
    部分を抽出し、その部分の当該領域メモリ中の位置か
    ら、もとの画像に逆変換した際の前記識別処理対象画像
    中でのランドマーク存在領域を知り、そのランドマーク
    存在領域を探索領域として求める探索空間設定ステップ
    と、 前記識別処理対象画像における前記探索空間設定ステッ
    プの求めた探索領域に該当する領域内の画像と、実際の
    各種ランドマークの像を含む基準のランドマークの特徴
    情報とを照合すると共に、この照合にあたっては前記基
    準のランドマークの像または前記識別処理対象画像にお
    ける前記探索領域に該当する領域内画像の縮尺が前記識
    別処理対象画像内における前記探索領域の位置に配置し
    た際に合うように寸法の正規化を施し、かつ、前記探索
    領域内に投影した前記基準のランドマークの像情報およ
    び特徴情報と前記識別処理対象画像における前記探索領
    域に該当する領域内画像とを照合し、一致する度合いか
    らランドマーク種別を識別する処理を行なうものであっ
    て、前記探索領域内に投影した前記基準のランドマーク
    の像情報は、前記探索空間設定ステップにて得たランド
    マークの前記基準面からの立ち上がり点までの距離を求
    め、この求めた距離を用いて、画像中で撮像されるラン
    ドマークの画像サイズを求め、画像サイズの正規化に利
    用するようにした認識ステップと、を具備することを特
    徴とするランドマーク認識方法。