JP2005063309A - オブジェクト識別方法および装置ならびにプログラム - Google Patents

Abstract

【課題】 画像に含まれるオブジェクトの種類を自動的に識別する。
【解決手段】 画像Ｐをオブジェクト毎に領域分割したオブジェクト領域ＯＲと、画像Ｐを設定画素数からなる、オブジェクト領域ＯＲより小さい多数の領域に分割した複数のブロック領域ＢＲとを生成する。そして、複数の各ブロック領域ＢＲ毎に代表ベクトルデータベースＤＢを用いてそれぞれ種類を識別して、識別したブロック領域ＢＲの種類を各オブジェクト領域ＯＲ毎に集計する。その後、集計した結果を用いてオブジェクト領域ＯＲの種類を識別する。
【選択図】 図１

Description

本発明は、画像を構成するオブジェクトの種類を自動的に識別するオブジェクト識別方法および装置ならびにプログラムに関するものである。

デジタルカメラ等で撮像した画像情報において、画像情報にどのような画像が撮像されているかが識別することができれば、たとえば画像に含まれるオブジェクトの種類毎に分類、検索もしくは画像処理などをすることができる。

たとえば画像の分類・検索をする場合、画像に含まれる物理的特徴量を用いて類似度を判断する画像検索システムが提案されている。すなわち、入力画像の局所領域を抽出して、その局所領域が位置と大きさを変化させながら参照画像と照合されて、画像の分類・検索を行う手法がある。また上記手法において、局所領域の色ヒストグラムを利用してヒストグラムを参照画像の色ヒストグラムと照合することにより物体の位置を検出して、画像の分類・検索を効率よく行う手法がある（たとえば非特許文献１参照）。しかし、上述したいずれの方法においても、画像の物理的特徴量で類似度を識別しているため、種類的には似ていないものが物理量の類似性により似ていると判断されてしまう場合があり、検索の精度が悪いという問題がある。

また、画像処理を行う場合、高画質化処理の一例として特定色領域を識別して異なる処理をする方法が知られている（たとえば特許文献１参照）。これは、雑音成分が目立ちやすい領域を色で識別して雑音除去を行うものである。しかし、色のみに基づいて識別しているため、たとえば肌と砂等を混同してしまう場合がある。そして、砂の領域を肌の領域と誤って認識して、砂の領域に雑音除去を行ってしまうと、テクスチャが失われて不自然な画像になるおそれがある。
特公平５−６２８７９号 電子情報通信学会誌、ｖｏｌ．ｊ８１−ＤII，ｎｏ．９，ｐｐ．２０３５−２０４２，１９９８

上述のように、画像から直接得られる情報に基づいて画像の分類、検索もしくは画像処理を行う場合、ユーザーに適切な情報を提供することができない。これを解決する手法の１つとして、オブジェクトの種類を識別した上で、画像の分類、検索もしくは画像処理を行うことが考えられる。すると、画像の分類・検索においては、識別した種類に応じて分類・検索を行うことができるため、画像の分類・検索を容易に精度よく行うことができる。また、画像処理をする場合においても、そのオブジェクトにあった画像処理条件を用いて画像処理を行うことができる。

上述した画像に含まれるオブジェクトの種類の識別は、画像に含まれるオブジェクト領域を抽出して、各オブジェクト領域毎に種類を識別する必要がある。このとき、たとえばユーザーが画面を見ながら画像内のオブジェクト領域を抽出して、各オブジェクト毎に種類を入力することも考えられる。しかし、ユーザーによるオブジェクト領域の種類の付与は作業に手間がかかるという問題がある。

そこで、本発明は、画像に含まれるオブジェクトの種類を自動的に識別することができるオブジェクト識別方法および装置ならびにプログラムを提供することを目的とする。

本発明のオブジェクト識別方法は、画像に含まれるオブジェクトの種類を識別するオブジェクト識別方法において、画像をオブジェクト毎に領域分割した複数のオブジェクト領域と、画像を設定画素数からなる、オブジェクト領域より小さい多数の領域に分割して複数のブロック領域とを生成し、生成した各ブロック領域から複数の特徴量を抽出し、抽出した複数の特徴量をベクトル成分とする特徴ベクトルを生成し、前記ブロック領域の種類における代表的なベクトル値を示す複数の代表ベクトルが種類毎に記憶された代表ベクトルデータベースを用いて、代表ベクトルデータベースの中から特徴ベクトルに最も類似する代表ベクトルを検出し、検出した前記代表ベクトルが属する種類を前記ブロック領域の種類として出力し、識別したブロック領域の種類をオブジェクト領域毎に集計して、オブジェクトの種類を識別することを特徴とするものである。

本発明のオブジェクト識別装置は、画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、画像をオブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、画像を設定画素数からなる、オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するブロック領域生成手段と、ブロック領域生成手段により生成された各ブロック領域から複数の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された複数の特徴量をベクトル成分とする特徴ベクトルを生成する特徴ベクトル生成手段と、ブロック領域の種類における代表的なベクトル値を示す複数の代表ベクトルが種類毎に記憶された代表ベクトルデータベースを用いて、代表ベクトルデータベースの中から特徴ベクトルに最も類似する代表ベクトルを検索する代表ベクトル検索手段と、検索した前記代表ベクトルが属する種類を前記ブロック領域の種類として出力する種類出力手段と、各ブロック領域毎に出力されたブロック領域の種類をオブジェクト領域毎に集計し、集計した結果を用いてオブジェクトの種類を識別するオブジェクト識別手段とを有することを特徴とするものである。

本発明のオブジェクト識別プログラムは、コンピュータに、画像をオブジェクト毎に領域分割した複数のオブジェクト領域と、画像を設定画素数からなる、オブジェクト領域より小さい多数の領域に分割して複数のブロック領域とを生成し、生成した各ブロック領域から複数の特徴量を抽出し、抽出した複数の特徴量をベクトル成分とする特徴ベクトルを生成し、前記ブロック領域の種類における代表的なベクトル値を示す複数の代表ベクトルが種類毎に記憶された代表ベクトルデータベースを用いて、代表ベクトルデータベースの中から特徴ベクトルに最も類似する代表ベクトルを検索し、検索した代表ベクトルが属する種類をブロック領域の種類であると識別し、識別したブロック領域の種類をオブジェクト領域毎に集計して、オブジェクトの種類を識別することを実行させることを特徴とするものである。

ここで、「オブジェクト」はたとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、「オブジェクト領域」は被写体が画像内に占める領域を意味する。

「オブジェクトの種類を識別する」とは、画像内のオブジェクトについてたとえば「山」、「海」、「花」、「空」等の種類であることを特定することを意味し、さらにオブジェクトの種類がわからない場合に「不明」であることを特定することも含む。

さらに、「特徴量抽出手段」は、画像の特徴を示す複数の特徴量を抽出するものであればよく、たとえば画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段の他に、画像のエッジの特徴を示すエッジ特徴量を抽出するエッジ特徴量抽出手段や画像の色の特徴を示す色特徴量を抽出する色特徴量抽出手段を含むものであってもよい。

なお、「相関特徴量抽出手段」は、たとえば画像の縦方向に沿った相関特徴量、画像の横方向に沿った相関特徴量、もしくは画像の斜め方向に沿った相関特徴量を抽出する等の画像の少なくとも１方向の相関特徴量を抽出するものであればよい。

さらに、「相関特徴量抽出手段」は、画像において同一方向に形成された２つの画素ラインを構成する複数の画素の成分信号値から、２つの画素ラインの相関関係を示す相関値を出力する所定の相互相関関数を有し、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を相互相関関数に入力することにより複数の相関値を取得し、取得した複数の相関値から最も大きい最大相関値を算出するものであり、画像の同一方向に形成された画素ラインのすべての組み合わせについて最大相関値を算出し、算出されたすべての最大相関値の平均値および標準偏差を相関特徴量として抽出するものであってもよい。

また、「ブロック領域生成手段」は、たとえば画像をメッシュ状に区切った複数の第１ブロック領域と、複数の第１ブロック領域とメッシュ状に区切る位相をずらした第２ブロック領域とを生成するものや、オブジェクト領域内に設定画素数からなる切取枠を走査させて、切取枠により囲まれた画像をブロック領域として生成するもののような、設定画素数からなるブロック領域を生成するものであればよい。

さらに、ブロック領域生成手段は、画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した複数の解像度変換画像からそれぞれブロック領域を生成するものであってもよい。

さらに、代表ベクトルは、予め種類のわかっている特徴ベクトルを用いて勝者代表ベクトルを検索し、特徴ベクトルの種類と勝者代表ベクトルの示す種類とが異なるときに、勝者代表ベクトルと特徴ベクトルとの距離が遠くなるように学習し、特徴ベクトルの種類と勝者代表ベクトルの示す種類とが同じになるときに、勝者代表ベクトルと特徴ベクトルとの距離が近くなるように学習して得られたものであってもよい。

また、代表ベクトルデータベースは、代表ベクトルを２次元空間に配列した構造を有し、勝者代表ベクトルの近傍領域にある代表ベクトルが勝者代表ベクトルと同じように学習されたものであってもよい。

さらに、代表ベクトルデータベースは、ブロック領域のカテゴリーを分類するための複数の分類用代表ベクトルと、分類されたカテゴリーの中から種類を識別するための複数の識別用代表ベクトルとを有していてもよい。

なお、代表ベクトル検索手段は、特徴ベクトルに最も類似する分類用勝者代表ベクトルを検索し、検索された分類用勝者代表ベクトルの示すカテゴリー内にある種類の識別用代表ベクトルの中から、特徴ベクトルに最も類似する識別用勝者代表ベクトルを検索するものであってもよい。

また、「種類出力手段」は、検索された分類用勝者代表ベクトルの示すカテゴリーと識別用勝者代表ベクトルの示す種類とを出力するものであってもよい。

さらに、「ベクトル検索手段」は、特徴ベクトルと勝者代表ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには勝者代表ベクトルがないと判断するものであり、種類出力手段が、勝者代表ベクトルがないと判断されたには種類が不明である旨の出力を行うものであってもよい。

また、「設定しきい値」は、一定の値であってもよいし、勝者代表ベクトルの近傍領域内にある複数の代表ベクトルのうち勝者代表ベクトルとの距離が最も大きい代表ベクトルと勝者代表ベクトルとの距離であってもよい。

本発明のオブジェクト識別方法および装置ならびにプログラムによれば、オブジェクト領域の種類の識別にブロック領域を使用することにより、各画素毎に種類を識別する場合に比べて、像構造的特徴をオブジェクト領域の種類の判断に加えることができるため、オブジェクトの種類を正確に識別することができる。

また、各ブロック領域毎にそれぞれ種類を識別し、ブロック領域の種類を各オブジェクト領域毎に集計してオブジェクト領域の種類を識別することにより、オブジェクト領域の一部のブロック領域に本来の種類に識別されなかったものがあったとしても、その誤った認識を吸収してオブジェクトの種類を正確かつ自動的に識別することができる。

なお、ブロック領域生成手段が、画像をメッシュ状に区切った複数の第１ブロック領域と、複数の第１ブロック領域とメッシュ状に区切る位相をずらした第２ブロック領域とを生成するようにすれば、オブジェクト領域の種類を識別するのに用いられるブロック領域の数を増やすことができるため、ブロック領域の種類の識別からオブジェクト領域の種類の識別を行う際の精度を向上させることができる。

また、ブロック領域生成手段が、オブジェクト領域内に設定画素数からなる切取枠を走査させて、切取枠により囲まれた画像をブロック領域として生成するようにすると、オブジェクト領域の種類を識別するのに用いられるブロック領域の数を増やすことができるため、ブロック領域の種類の識別からオブジェクト領域の種類の識別を行う際の精度を向上させることができる。

さらに、ブロック領域生成手段が、画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した複数の解像度変換画像からそれぞれブロック領域を生成するようにすれば、被写体との距離によりオブジェクトの写り方が画像によって違う場合であっても、精度よくオブジェクトの種類を識別することができる。

また、特徴量抽出手段が、画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段を含む構成にすれば、相関特徴量により人工物に多く見られる規則的なパターンを有する画像と、自然物に多く見られるランダムなパターンを有する画像とを区別する指標となる特徴量を抽出することができるため、適切な種類の識別を行うことができる。

さらに、相関特徴量抽出手段が、画像の縦方向に沿った相関特徴量と、画像の横方向に沿った相関特徴量とを抽出するようにすれば、縦方向および横方向に向かって規則的なパターンが形成されたものと、縦方向もしくは横方向のいずれか一方に向かって規則的なパターンが形成されたものとを区別することができる。

また、相関特徴量抽出手段が、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を所定の相互相関関数に入力することにより算出される複数の相関値のうち最も大きい最大相関値を用いて相関特徴量を算出するようにすれば、画像の縦方向もしくは横方向に向かって形成された規則的なパターンのみならず、画像の斜め方向に向かって形成されている規則的なパターンについても相関特徴量として抽出することができるため、画像の縦方向、横方向および斜め方向に向かって形成される規則的なパターンを相関特徴量として抽出することができる。

さらに、エッジ特徴量抽出手段が、画像の縦方向および横方向のエッジ成分の平均値および標準偏差をそれぞれ算出するようにすれば、たとえば「水（波）」のように縦方向と横方向によってエッジが異なるものと、「植物（花畑等）」の縦方向と横方向とで比較的均質なエッジのものとがエッジ特徴量によって区別することができる。

さらに、代表ベクトルが、予め種類のわかっている特徴ベクトルを用いて勝者代表ベクトルを検索し、特徴ベクトルの種類と勝者代表ベクトルの示す種類とが異なるときに、勝者代表ベクトルと特徴ベクトルとの距離が遠くなるように学習し、特徴ベクトルの種類と勝者代表ベクトルの示す種類とが同じになるときに、勝者代表ベクトルと特徴ベクトルとの距離が近くなるように学習して得られたものであるときには、精度のよい代表ベクトルを用いて種類の識別を行うことができる。

また、代表ベクトルデータベースが、代表ベクトルを２次元空間に配列した構造を有し、勝者代表ベクトルの近傍領域にある代表ベクトルが勝者代表ベクトルと同じように学習されたものであれば、同じオブジェクト領域に含まれる様々なバリエーションの特徴ベクトルに対応できるような代表ベクトルを生成することができるため、種類の識別の精度を向上させることができる。

さらに、代表ベクトルデータベースが、ブロック領域のカテゴリーを分類するための複数の分類用代表ベクトルと、分類されたカテゴリーの中から種類を識別するための複数の識別用代表ベクトルとを有し、代表ベクトル検索手段が、特徴ベクトルに最も類似する分類用勝者代表ベクトルを検索し、検索された分類用勝者代表ベクトルの示すカテゴリー内にある種類の識別用代表ベクトルの中から、特徴ベクトルに最も類似する識別用勝者代表ベクトルを検索するようにすれば、カテゴリーの分類および種類の識別に用いる特徴ベクトルを低次元に抑えることができ、種類の識別の精度を向上させることができる。

また、種類出力手段が、検索された分類用勝者代表ベクトルの示すカテゴリーと識別用勝者代表ベクトルの示す種類とを出力するようにすれば、オブジェクト領域の識別の際に、ブロック領域の種類とともにカテゴリーをも加味した識別を行うことができるとともに、ユーザにオブジェクト領域のカテゴリーに関する情報も提供することができる。

さらに、ベクトル検索手段が、特徴ベクトルと勝者代表ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには勝者代表ベクトルがないと判断するものであり、種類出力手段が、勝者代表ベクトルがないと判断されたには種類が不明である旨の出力を行うようにすれば、最大成分が低い種類の識別の信頼度が低いものは、種類の識別を行わずに不明とすることができるため、種類識別の信頼性を高めることができる。

また、設定しきい値が、勝者代表ベクトルの近傍領域内にある複数の代表ベクトルのうち勝者代表ベクトルとの距離が最も大きい代表ベクトルと勝者代表ベクトルとの距離にすると、学習内容の偏りや各種類の画像の多様性の違いによって生じる勝者代表ベクトルの各位置における種類識別の信頼性の相違を設定しきい値に反映させることができる。

以下、本発明のオブジェクト識別装置の実施の形態について図面を参照しながら説明する。図１は本発明のオブジェクト識別装置の好ましい実施の形態を示すブロック図である。なお、図１のようなオブジェクト識別装置１の構成は、補助記憶装置に読み込まれたオブジェクト識別プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このオブジェクト識別プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図１のオブジェクト識別装置１は画像に含まれるオブジェクト毎の種類を識別するものであって、ブロック領域生成手段１０、オブジェクト領域生成手段２０、ブロック領域識別手段３０、オブジェクト識別手段７０等を有する。図１のブロック領域生成手段１０は、画像を設定画素数からなる、オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するものである。具体的には、図２（ａ）に示すように、ブロック領域生成手段１０は、設定画素数が３２画素×３２画素に設定されている場合、画像を３２×３２画素からなる複数のブロック領域ＢＲに分割するようになっている。

オブジェクト領域生成手段２０は、画像をオブジェクト毎に領域分割して複数のオブジェクト領域を生成する機能を有する。たとえば、図２（ｂ）に示すような複数のオブジェクトを含む画像の場合、画像Ｐを各オブジェクト毎に領域分割してオブジェクト領域ＯＲを生成するようになっている。ここで、オブジェクトとはたとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、オブジェクト領域は被写体が画像内に占める領域を意味する。

ブロック領域識別手段３０は生成された各ブロック領域ＢＲ毎に種類を識別するものであって、たとえばブロック領域ＢＲは「山」、「海」、「花」、「空」の種類であることを特定するものである。

オブジェクト識別手段７０は、ブロック領域識別手段３０により識別されたブロック領域ＢＲの種類を、オブジェクト領域生成手段２０により生成されたオブジェクト領域ＯＲ毎に集計し、オブジェクトの種類を識別するものである。

具体的には、オブジェクト識別手段７０は、オブジェクト領域ＯＲ内の各ブロック領域ＢＲの種類の数を集計する。このとき、オブジェクト識別手段７０は、複数のオブジェクト領域ＯＲにまたがっているブロック領域ＢＲは、カウントしないようになっている。このように、２つのオブジェクト領域にまたがっているブロック領域は２つの種類を含むブロック領域ＢＲを集計から外すことにより、種類識別の信頼性が低くなるのを防止することができる。

そして、オブジェクト識別手段７０は、あるオブジェクト領域ＯＲにおいて集計されたブロック領域ＢＲの種類のうち、最も多いブロック領域ＢＲの種類をオブジェクトの種類であると識別する。すると、図２（ｃ）に示すように、各オブジェクト領域ＯＲに種類が識別される。

なお、図１のオブジェクト識別手段７０において、オブジェクトの種類を多数決により決定するようにしているが、集計された種類のうち最も多い最大の種類の割合（最大の種類の数／オブジェクトを構成する全ブロック領域数）が種類情報しきい値より小さい場合、オブジェクト識別手段７０がオブジェクトの種類として「不明」を出力する機能を有していてもよい。あるいは、最大の種類の割合と２番目に多い種類の割合との差が小さい場合、オブジェクト識別手段７０がオブジェクトの種類として「不明」を出力するようにしてもよい。これは、オブジェクトの種類を誤って識別するよりも、「不明」と判断された方がユーザーにとって好ましい場合があるためである。

図３はオブジェクト領域生成手段２０の一例を示すブロック図であり、図３を参照してオブジェクト領域生成手段２０について説明する。なお、以下に示すオブジェクト領域生成手段２０は一例であり、たとえばエッジ検出により各オブジェクト領域ＯＲを生成する手法等により行うようにしてもよい。

オブジェクト領域生成手段２０は、画像を構成する各画素から複数の特徴量を抽出し、類似した画素特徴量毎に画素を分類する画像の特徴量分類手段１００と、画素の分類毎に領域分割して複数のクラスタリング領域を生成する領域分割手段１０１と、生成されたクラスタリング領域のうち最も画素数の少ない最小クラスタリング領域を抽出する最小クラスタ領域抽出手段１１２と、抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域を抽出する統合領域判断手段１１３と、生成されたクラスタリング領域を統合してオブジェクト領域を抽出する領域統合手段１１０とを有する。

ここで、図４と図５は画像を各オブジェクト領域毎に分割する過程を示す模式図であり、図４を参照してオブジェクト領域生成手段２０の動作例について説明する。まず、図４（ａ）に示すように、類似した特徴を有する画素が並んだ画像があると仮定する。このとき、特徴量分類手段１００において、各画素から複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、図４（ｂ）に示すように、複数の特徴ベクトルが類似する特徴ベクトル毎に分類される（クラスタリング）。

その後、領域分割手段１０１により、特徴量分類手段１００によりクラスタリングされた結果が実際の画像に写像される。すると、図５（ａ）に示すように、類似した画素からなる複数のクラスタリング領域が形成されて、ラベルを付したラベル画像としてデータベース１１１に記憶される。

次に、領域統合の一例について説明する。まず、最小クラスタ領域抽出手段１１２により、データベースに記憶されたクラスタリング領域の中から最も小さい最小クラスタリング領域が抽出される。また、統合領域判断手段１１３において抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域が抽出する。

ここで、最小クラスタリング領域が所定の微小画素しきい値以下の画素数（たとえば全画素数の１／１００）の場合、領域統合手段１１０において、最小クラスタリング領域が境界画素数（周囲長）の最も多い隣接クラスタリング領域と統合される。具体的には、図５（ａ）のクラスタリング領域Ａが所定の微小画素しきい値以下の画素数を有する最小クラスタリング領域であるとする。クラスタリング領域Ａは、クラスタリング領域Ｃ、Ｄと隣接しているため、クラスタリング領域Ｃ、Ｄが隣接クラスタリング領域となる。

そこで、領域統合手段１１０において、最小クラスタリング領域Ａとクラスタリング領域Ｃ、Ｄとが接している隣接画素数がそれぞれ算出される。図５（ａ）においては隣接クラスタリング領域Ｄとの境界画素数の方が隣接クラスタリング領域Ｃとの境界画素数よりも多い。このためクラスタリング領域Ａは図５（ｂ）のようにクラスタリング領域Ｄと統合する。

一方、最小クラスタリング領域が所定の小画素しきい値以下の画素数（たとえば全画素数の１／１０）の場合、領域統合手段１１０において、最小クラスタリング領域が特徴空間での距離が近い隣接クラスタリング領域と統合される。具体的には、図５（ｂ）において、クラスタリング領域Ｂが所定の小画素しきい値以下の最小クラスタリング領域であるとする。すると、クラスタリング領域Ｂの隣接クラスタリング領域はクラスタリング領域Ｃ、Ｄである。そこで、たとえばテクスチャ情報を距離を基準とした場合、どちらのクラスタリング領域Ｃ、Ｄのテクスチャがクラスタリング領域Ｂのテクスチャに近いかが判断される。そして、図５（ｃ）のように、クラスタリング領域Ｂが特徴空間での最も近い距離であるクラスタリング領域Ｄと統合される。

領域統合手段１１０において、上述した作業がたとえば最小クラスタ領域抽出手段１１２により抽出される最小クラスタリング領域が所定の小画素しきい値よりも大きい画素数になるまで行われて、画像が各オブジェクト領域ＯＲ毎に領域分割される（図２（ｃ）参照）。

図６は特徴量抽出手段４０および特徴ベクトル生成手段４６の一例を示すブロック図であり、図６を参照して特徴量抽出手段４０について説明する。特徴量抽出手段４０は、画像変換手段４１、エッジ画像生成手段４２、相関特徴量抽出手段４３、エッジ特徴量抽出手段４４、色特徴量抽出手段４５等を有する。

画像変換手段４１は、ＲＧＢ表色系により表現されているブロック領域をＹＣＣ表色系に変換するものである。このとき、画像変換手段４１は、画像を構成する複数のブロック領域ＢＲのうち、１つのオブジェクト領域ＯＲに含まれるブロック領域を識別する。なお、画像を構成する複数のブロック領域ＢＲのうち、オブジェクト領域ＯＲ間の境界にまたがるブロック領域ＢＲは、オブジェクト領域ＯＲの種類の判断には使用しないため、特徴量の抽出を行わないようになっている。

エッジ画像生成手段４２は、画像変換手段４１から送られたＹ成分を用いてエッジ画像を生成し、生成したエッジ画像を相関特徴量抽出手段４３およびエッジ特徴量抽出手段４４に送る機能を有する。ここで、エッジ画像生成手段４２は、図７（ａ）に示す縦エッジ検出用フィルターを用いて縦エッジ画像を生成するとともに、図７（ｂ）に示す横エッジ検出用フィルターを用いて横エッジ画像を生成するようになっている。

なお、エッジ画像生成手段４２は、図７に示すようなエッジ検出用フィルター（ｐｒｅｗｉｔｔフィルター）を用いているが、たとえば上下左右の画素には対角線上のものより大きな重みを与えたエッジ検出用フィルター（Ｓｏｂｅｌフィルター）を用いたエッジ検出方法やその他の公知のエッジ検出方法を用いることができる。

図６の相関特徴量抽出手段４３は、ブロック領域ＢＲの各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出するものである。ここで、図８は相関特徴量抽出手段４３における相関特徴量の算出方法の一例を示すフローチャートを示しており、図８を参照して相関特徴量の算出方法について説明する。

なお、図８において横方向に沿った変化に関する相関特徴量の抽出について説明するが、同様の手法により縦方向に沿った変化に対する相関特徴量も抽出される。また、以下に示すＦ_ｉ（ｘ）は、第ｉ行における第ｘ画素（ｉ＝０〜３１、ｘ＝０〜３１）の成分信号値を示し、Ｆ_ｊ（ｘ）は第ｊ行における第ｘ画素（ｉ＝０〜３１、ｘ＝０〜３１）の成分信号値を示すものとする。

最初に、エッジ特徴量抽出手段４４において算出された縦エッジ画像を用いて、縦エッジ画像の各行に沿った成分信号値Ｆ_ｉ（ｘ）、Ｆ_ｊ（ｘ）の変化を規格化する（ステップＳＴ１）。具体的には、成分信号値Ｆ_ｉ（ｘ）と平均値Ｆ_ｉとの差分を標準偏差δ_ｉで割り、規格化された成分信号値Ｆ_ｉ’（ｘ）が求められる。

Ｆ_ｉ’（ｘ）＝（Ｆ_ｉ（ｘ）−Ｆ_ｉ）／δ_ｉ
同様に、ｊ行の成分信号値Ｆ_ｊ（ｘ）と平均値Ｆ_ｊとの差分を標準偏差δ_ｉで割り、規格化された成分信号値Ｆ_ｉ’（ｘ）が求められる。

Ｆ_ｊ’（ｘ）＝（Ｆ_ｊ（ｘ）−Ｆ_ｊ）／δ_ｊ
このように、成分信号値を規格化して相関特徴量を求めるのは、各行間における変動幅や平均値の違いを排除して、変動パターン自体の相互相関性を示す相関特徴量を導出するためである。なお、Ｆ_ｉ（ｘ）、Ｆ_ｊ（ｘ）が一定値であり標準偏差が０の場合は、Ｆ_ｉ’（ｘ）＝０（一定）、Ｆ_ｊ’（ｘ）＝０（一定）とする。

そして、異なる２行（第ｉ行と第ｊ行）の組合せについて、これら２行に関する規格化された成分信号値Ｆ_ｉ’（ｘ）およびＦ_ｊ’（ｘ）を用いて、相互相関関数

が導出される（ステップＳＴ２）。この相互相関関数は、概念的に言えば、図９の（ａ）に示すように、２行の規格化された成分信号値Ｆ_ｉ’（ｘ）およびＦ_ｊ’（ｘ）をｄ画素分だけずらして掛け合わせ、その総和を取るものである。すると、図９の（ｂ）に示すような、ｄの関数としての相互相関関数Ｇ_ｉｊ（ｄ）が得られる。

次に、算出した相互相関関数Ｇ_ｉｊ（ｄ）にｄ＝０〜３１に代入したときの相関値の中から最大相関値が算出される（ステップＳＴ３）。

この作業を全ての２行の組み合わせについて最大相関値が算出される（ステップＳＴ１〜ステップＳＴ４）。ここでは、３２画素×３２画素のブロック領域においては、０行〜３１行の全ての組み合わせの最大相関値が算出される。そして、算出された全ての最大相関値の平均値および標準偏差が算出されて、この平均値および標準偏差が相関特徴量とされる（ステップＳＴ５）。

同様に、縦方向に沿った変化に関する最大相関値の平均値および標準偏差が相関特徴量として算出される（ステップＳＴ１〜ステップＳＴ５）。

上述したように算出された相関特徴量は、オブジェクトを構成するブロック領域ＢＲに規則的なパターンがあるかどうかを示すものであり、最大相関値の平均値が大きく標準偏差の小さくなればなるほど、規則的なパターンが形成されていることを意味する。一般的に撮影された画像に含まれる自然物は規則的なパターン、連続的なパターン、周期的なパターンは少なく、ランダムなパターンにより構成されていることが多い。一方、ビルや石畳等の人工物は規則的なパターン等により構成されていることが多い。そこで、オブジェクトを構成するブロック領域ＢＲが規則的なパターンを構成しているか否かを示す相関特徴量を抽出することにより、ブロック領域ＢＲが人工的に作られた建造物等の画像の一部であるのか、自然物の画像の一部であるのかを判断することができる。

なお、相関特徴量抽出手段４３は、単に規格化された成分信号値Ｆ_ｉ’（ｘ）、Ｆ_ｊ’（ｘ）の積の総和の平均値および標準偏差を相関特徴量として抽出してもよいが、上述のように、相互相関関数の最大値の平均値および標準偏差を相関特徴量として用いれば、たとえば斜め方向に規則的な模様や波紋が撮影されたブロック領域ＢＲについても、そのパターンの規則性を示す適当な相関特徴量を導出できるようになり、ブロック領域の相関に関する特徴量を正確に表した相関特徴量の抽出を行うことができる。ここで、１画素ずつ画素ライン画素ラインをずらした場合（ｄ＝０，１，２，・・・３１）について言及しているが、２画素分ずらす等の複数画素ずらしながら最大相関値を算出するようにしてもよい。

エッジ特徴量抽出手段４４は、ブロック領域ＢＲのエッジ成分の特徴量を抽出するものである。具体的には、エッジ特徴量抽出手段４４は、エッジ検出フィルター（図７参照）を用いて生成された縦エッジ画像および横エッジ画像について、それぞれの成分信号値の平均値および標準偏差を算出し、４個のエッジ特徴量を出力するものである。

このように、エッジ成分の特徴量としてエッジ成分の平均値を用いることにより、自然物の中でもエッジの少ない「空」と自然物の中でもエッジの多い「水」や「植物」とを分類することができる。また、エッジ特徴量としてブロック領域ＢＲの縦方向のエッジ成分と横方向のエッジ成分とを抽出することにより、たとえば「水」のように方向によってエッジ成分の特徴が異なるオブジェクトと、「植物」「花畑」等の縦方向および横方向において比較的均一なエッジを形成するオブジェクトとを分類することができる。

色特徴量抽出手段４５は、ブロック領域ＢＲの色特徴を示す色特徴量を抽出するものである。具体的には、色特徴量抽出手段４５は、ＹＣＣ表色系で表されたブロック領域ＢＲを構成する３２×３２画素分の輝度成分（Ｙ成分）および２つの色差成分（Ｃｒ、Ｃｂ）の各成分信号値の平均値および標準偏差を算出し、１のブロック領域から６個の色特徴量を抽出するものである。

なお、色特徴量抽出手段４５は、ＲＧＢ表色系からＹＣＣ表色系に変換された後に色特徴量が抽出するようにしているが、たとえばＲＧＢ表色系のまま各成分（ＲＧＢ）について色特徴量を抽出するようにしてもよいし、画像変換手段４１において、ＲＧＢ表色系のブロック領域ＢＲをＬａｂ表色系に変換して、Ｌａｂの各成分について色特徴量を抽出するようにしてもよい。また、色特徴量抽出手段４５は、各成分信号値の平均値と標準偏差とを色特徴量として抽出しているが、たとえば最大値や最小値、分位点等その他の代表値を色特徴量として用いてもよい。

したがって、特徴量抽出手段４０は、ブロック領域ＢＲから１４個の特徴量を抽出するものであり、特徴ベクトル生成手段４６は、抽出された１４個の特徴量をベクトル成分とする１４次元の特徴ベクトルを生成するようになっている。

次に、図１を参照してブロック領域識別手段３０について説明する。ブロック領域識別手段３０は、特徴ベクトルを用いて各ブロック領域ＢＲの種類を識別するものである。具体的には、ブロック領域識別手段３０は、種類毎に設けられた代表ベクトルを有する代表ベクトルデータベースＤＢと、代表ベクトルデータベースＤＢから特徴ベクトルに最も類似する勝者代表ベクトルを検索するベクトル検索手段５０と、検索された勝者代表ベクトルの示す種類を出力する種類出力手段６０とを有する。

ここで、代表ベクトルデータベースＤＢは、図１０に示すように、複数の代表ベクトルを２次元空間上に配列した構造を有し、各代表ベクトルの位置によって各種類が定められている。この代表ベクトルは、特徴ベクトルと同様に１４次元のベクトルからなっている。そして、ベクトル検索手段５０が、たとえば特徴ベクトルとのユーグリット距離が最も近い代表ベクトル（勝者代表ベクトル）検索し、種類出力手段６０が検索された勝者代表ベクトルの属する種類をブロック領域ＢＲの種類として出力するようになっている。

なお、図１０において代表ベクトルデータベースＤＢの代表ベクトルは２次元空間上に図示しているが複数の代表ベクトルを有していればよく、この場合には、各種類（各クラス）に対して代表ベクトルの箱を適当な数だけ用意しておき、複数の箱にある代表ベクトルから勝者代表ベクトルを検索することとなる。

図１０に示すような代表ベクトルは、以下に示す学習ベクトル量子化アルゴリズム（Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ：ＬＶＱ）（参考文献：谷萩、萩原、山口「ニューラルネットワークとファジィ信号処理」コロナ社、１９９８）を用いて学習されたものである。具体的には、最初に各種類毎に初期値がランダムに設定された複数の代表ベクトルがマトリックス状に配列されている。この状態で、予め種類のわかっている特徴ベクトルがベクトル検索手段５０に入力されると、代表ベクトルデータベースＤＢから勝者代表ベクトルが検索される。

このとき、特徴ベクトルの種類と勝者代表ベクトルの種類が同じものである場合、勝者代表ベクトルが特徴ベクトルからの距離が近づくように修正される。一方、特徴ベクトルの種類と勝者代表ベクトルの種類が異なるものである場合、勝者代表ベクトルが特徴ベクトルから距離が遠くなるように修正される。ここで修正される代表ベクトルは勝者代表ベクトルのみである。この学習工程を繰り返すことにより、各種類毎の代表ベクトルについて学習されていくことになる。

なお、図１０において、ＬＶＱ１のアルゴリズムの場合について例示しているがＬＶＱ２のアルゴリズムを用いてもよい。ＬＶＱ２はＬＶＱ１を改良したものであって、上述したＬＶＱ１において各種類の境界を線で表したものが、ＬＶＱ２においてはこの線がある線幅を持った領域（窓領域）で表される。そして、代表ベクトル検索手段５０が勝者代表ベクトルを検索する際には、最も類似する代表ベクトルと２番目に特徴ベクトルに類似する代表ベクトルとの２つの勝者代表ベクトルが抽出される。そして、抽出された２つの代表ベクトルのうち、いずれか一方の種類（クラス）が特徴ベクトルと同じ種類であり、他方の種類（クラス）が特徴ベクトルの種類と異なるとき、同じ種類の代表ベクトルは特徴ベクトルに近づくように修正されるとともに、異なる代表ベクトルは特徴ベクトルから遠ざかるように修正される。これにより、ＬＶＱ１の学習工程において誤認識が生じたとき、すなわち勝つはずのない勝者代表ベクトルがわずかな差で勝者代表ベクトルになってしまった場合に対して、正しい学習を行うことができるようになり、より精度の高い分類を可能として代表ベクトルの学習を行うことができる。

さらに、ＬＶＱ２のアルゴリズムを改良したＬＶＱ３のアルゴリズムを用いるようにしてもよい。このＬＶＱ３は、ＬＶＱ２において学習が進んだときに正しい種類（クラス）に対して代表ベクトルが遠ざかるという問題点を解決したものであり、窓領域内の代表ベクトルが勝者代表ベクトルとなった場合であって、ＬＶＱ２における学習工程に加えて、２つの勝者代表ベクトルの種類（クラス）と特徴ベクトルの種類（クラス）とがすべて同じである場合には、２つの勝者代表ベクトルを特徴ベクトルに近づけるように修正するものである。これにより、代表ベクトルの学習が進んだ際にもより精度の高い分類を可能として代表ベクトルの学習を行うことができる。

さらに、代表ベクトル検索手段５０は、勝者代表ベクトルと特徴ベクトルとの距離を比較し、距離が設定しきい値よりも大きいときには、種類出力手段６０がブロック領域ＢＲの種類は不明である旨の出力を行うようになっている。具体的には、図１１は特徴ベクトルの種類を出力する際の一例を示すフローチャートである。まず、学習済の複数の代表ベクトルと特徴ベクトルとが比較されて、特徴ベクトルとのユークリッド距離が最も小さい代表ベクトルが勝者代表ベクトルとして特定される（ステップＳＴ１０）。

次に、勝者代表ベクトルと特徴ベクトルとのユークリッド距離が算出されて（ステップＳＴ１１）、算出された距離が所定のしきい値と比較される（ステップＳＴ１２）。その結果、このユークリッド距離がしきい値以下である場合には勝者代表ベクトルの属する種類が現在のブロック領域の種類として特定される（ステップＳＴ１３）。

一方、勝者代表ベクトルと特徴ベクトルとのユークリッド距離がしきい値より大きい場合には、ブロック領域ＢＲの種類は不明であると判断されて、不明である旨が出力される（ステップＳＴ１４）。このように、設定しきい値を用いることにより、２次元空間が予め学習していないような画像が入力された場合にもいわばむりやりに種類を識別する事態を回避できるので、種類の候補の識別結果に対する信頼性を高めることができる。つまり、種類が不明ではなく所定の種類として識別されたことは、一定の確実性をもって識別されたことを意味するため、種類の識別の信頼性を高める結果となる。

ここで、設定しきい値には、一定の設定しきい値を定めてもよいが、好ましくは勝者代表ベクトルの近傍領域内にある複数の代表ベクトルのうち勝者代表ベクトルとの距離が最も大きい代表ベクトルと勝者代表ベクトルとの距離が用いられる。これは、学習内容の偏りや各種類の画像の多様性の違いによって生じる各代表ベクトルの「守備範囲」の相違をしきい値に反映させるためである。

なお、上述した最大値に代えて平均値等をしきい値として用いてもよいし、近傍領域の大きさも３×３に限られず、たとえば５×５の近傍領域からしきい値を算出するようにしてもよい。あるいは、近傍領域内にある代表ベクトルのベクトル長の標準偏差等を基準にしてもよい。

図１２は本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャート図であり、図１から図１２を参照してオブジェクト識別方法（ステップＳＴ２０〜ステップＳＴ２７）について説明する。

まず、オブジェクト領域生成手段２０により入力された画像をオブジェクト毎に領域分割したオブジェクト領域ＯＲが生成される（図２〜図５参照）。一方、ブロック領域生成手段１０により入力された画像を設定画素数（たとえば３２×３２画素）からなる、オブジェクト領域ＯＲより小さい複数のブロック領域ＢＲが生成される（ステップＳＴ２０）。次に、特徴量抽出手段４０により、ブロック領域ＢＲから複数の特徴量が抽出されて（図６〜図９参照）（ステップＳＴ２１）、特徴ベクトル生成手段４６により１４次元の特徴ベクトルが生成される（ステップＳＴ２２）。

その後、ブロック領域識別手段３０において、生成した特徴ベクトルを用いてブロック領域ＢＲの種類が識別される（図１０参照）。具体的には、代表ベクトル検索手段５０により、代表ベクトルデータベースＤＢの中から勝者代表ベクトルが検索される（ステップＳＴ２３）。そして、勝者代表ベクトルの属する種類がブロック領域ＢＲの種類であると判断されて（図１１参照）、種類出力手段６０から出力される（ステップＳＴ２４）。この作業がすべてのブロック領域ＢＲについて行われる（ステップＳＴ２１〜ステップＳＴ２５）。

その後、オブジェクト識別手段７０において、各オブジェクト領域ＯＲ毎に付与された種類を集計する（ステップＳＴ２６）。そして、最も多い種類がそのオブジェクト領域ＯＲの種類として出力される（ステップＳＴ２７）。

上記実施の形態によれば、オブジェクト領域ＯＲの種類の識別にブロック領域ＢＲを使用することにより、各画素毎に種類を識別する場合に比べて、像構造的特徴をオブジェクト領域ＯＲの種類の判断に加えることができるため、オブジェクトの種類を正確に識別することができる。

また、各ブロック領域ＢＲ毎にそれぞれ種類を識別し、ブロック領域ＢＲの種類を各オブジェクト領域ＯＲ毎に集計してオブジェクト領域ＯＲの種類を識別することにより、オブジェクト領域ＯＲの一部のブロック領域ＢＲに本来の種類に識別されなかったものがあったとしても、その誤った認識を吸収してオブジェクトの種類を正確かつ自動的に識別することができる。

また、特徴量抽出手段４０が、画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段４３を含む構成にすれば、相関特徴量により人工物に多く見られる規則的なパターンを有する画像と、自然物に多く見られるランダムなパターンを有する画像とを区別する指標となる特徴量を抽出することができるため、適切な種類の識別を行うことができる。

さらに、相関特徴量抽出手段が、画像の縦方向に沿った相関特徴量と、画像の横方向に沿った相関特徴量とを抽出するようにすれば、縦方向および横方向に向かって規則的なパターンが形成されたものと、縦方向もしくは横方向のいずれか一方に向かって規則的なパターンが形成されたものとを区別することができる。

また、相関特徴量抽出手段が、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を所定の相互相関関数に入力することにより算出される複数の相関値のうち最も大きい最大相関値を用いて相関特徴量を算出するようにすれば、画像の縦方向もしくは横方向に向かって形成された規則的なパターンのみならず、画像の斜め方向に向かって形成されている規則的なパターンについても相関特徴量として抽出することができるため、画像の縦方向、横方向および斜め方向に向かって形成される規則的なパターンを相関特徴量として抽出することができる。

さらに、エッジ特徴量抽出手段４４が、画像の縦方向および横方向のエッジ成分の平均値および標準偏差をそれぞれ算出するようにすれば、たとえば「水（波）」のように縦方向と横方向によってエッジが異なるものと、「植物（花畑等）」の縦方向と横方向とで比較的均質なエッジのものとがエッジ特徴量によって区別することができる。

また、ブロック領域識別手段３０が、ブロック領域ＢＲの種類毎に生成された複数の代表ベクトルを記憶した代表ベクトルデータベースＤＢと、代表ベクトルデータベースＤＢの複数の代表ベクトルのうち、特徴ベクトルに最も類似する勝者代表ベクトルを検索する代表ベクトル検索手段と、代表ベクトル検索手段５０により検索された勝者代表ベクトルが示す種類を出力する種類出力手段とを備えた構成にすれば、精度よく種類の識別を行うことができる。

さらに、代表ベクトルが、予め種類のわかっている特徴ベクトルを用いて勝者代表ベクトルを検索し、特徴ベクトルの種類と勝者代表ベクトルの示す種類とが異なるときに、勝者代表ベクトルと特徴ベクトルとの距離が遠くなるように学習し、特徴ベクトルの種類と勝者代表ベクトルの示す種類とが同じになるときに、勝者代表ベクトルと特徴ベクトルとの距離が近くなるように学習して得られたものであるときには、精度のよい代表ベクトルを用いて種類の識別を行うことができる。

また、代表ベクトルデータベースＤＢが、代表ベクトルを２次元空間に配列した構造を有し、勝者代表ベクトルの近傍領域にある代表ベクトルが勝者代表ベクトルと同じように学習されたものであれば、同じオブジェクト領域ＯＲに含まれる様々なバリエーションの特徴ベクトルに対応できるような代表ベクトルを生成することができるため、種類の識別の精度を向上させることができる。

さらに、ベクトル検索手段５０が、特徴ベクトルと勝者代表ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには勝者代表ベクトルがないと判断するものであり、種類出力手段が、勝者代表ベクトルがないと判断されたときには種類が不明である旨の出力を行うようにすれば、最大成分が低い種類の識別の信頼度が低いものは、種類の識別を行わずに不明とすることができるため、種類識別の信頼性を高めることができる。

また、設定しきい値が、勝者代表ベクトルの近傍領域内にある複数の代表ベクトルのうち勝者代表ベクトルとの距離が最も大きい代表ベクトルと勝者代表ベクトルとの距離にすると、学習内容の偏りや各種類の画像の多様性の違いによって生じる勝者代表ベクトルの各位置における種類識別の信頼性の相違を設定しきい値に反映させることができる。

なお、本発明の実施の形態は、上記実施の形態に限定されない。たとえば以下に示すような種々の変更が可能である。たとえば図１において、ブロック領域生成手段１０により生成されたブロック領域ＢＲをそのままブロック領域識別手段３０に送るようにしているが、ブロック領域ＢＲ毎の判定結果に対してたとえばモフォロジー処理やＣｌｏｓｉｎｇ演算等の平滑化処理を行った後にブロック領域識別手段３０に送るようにしてもよい。これにより、ブロック領域ＢＲ内に含まれる孤立したノイズ的な要素が切り捨てられて、種類識別の精度の向上を図ることができる。

さらに、図１３は本発明のオブジェクト識別装置の別の実施の形態を示す模式図である。上述した図１０に示す代表ベクトルの学習工程において、勝者代表ベクトルのみが修正されているが、図１３においては、勝者代表ベクトルのみならずその近傍の代表ベクトルも修正するようになっている。つまり、通常のＬＶＱアルゴリズムにおいては、近傍関数は使用されず、また代表ベクトルの数を少なくするのが一般的である。一方、画像の種類を識別する場合、同じオブジェクトでも様々なバリエーションがあり、このバリエーションに合わせたあらゆるものを学習サンプルとして用意するのは困難である。よって、あるオブジェクトの種類については学習しているが、そのオブジェクトの学習サンプルとして用いていない特徴ベクトルが入力されたときであっても、種類の識別を行うことができることが望ましい。

そこで、勝者代表ベクトルとともにたとえばその３×３の近傍領域の代表ベクトルを更新するように、ＬＶＱの更新量に自己組織化マップに用いられる近傍関数が掛け合わせる。具体的には、勝者代表ベクトルが正しい種類（クラス）に属するものであれば、勝者代表ベクトルの近傍領域の代表ベクトルが特徴ベクトルに近づける方向に修正される。一方、勝者代表ベクトルが誤った種類（クラス）に属するものであれば、勝者代表ベクトルの近傍領域の代表ベクトルが特徴ベクトルから遠ざかる方向に修正される。これにより、学習したサンプルに類似したブロック領域ＢＲの識別のみならず、学習サンプルの種類の様々なバリエーションに対応した種類の識別を行うことができる。

図１４は本発明のオブジェクト識別装置におけるブロック領域識別手段を示す第３の実施の形態を示す模式図である。図１４において、代表ベクトルデータベースＤＢには、代表ベクトルを配置した２次元空間が階層構造を有している。具体的には、代表ベクトルデータベースＤＢは、ブロック領域ＢＲのカテゴリーを分類するためのカテゴリーマップＣＭと、ブロック領域ＢＲの種類を識別するための種類マップＫＭとを有する。

カテゴリーマップＣＭは、２次元空間上の各領域毎にそれぞれカテゴリーＣＡ１〜ＣＡ４が定められた構造を有し、各カテゴリーＣＡ１〜ＣＡ４には複数の分類用代表ベクトルが配置されている。また、カテゴリーＣＡ１は種類マップＫＭ１、カテゴリーＣＡ２は種類マップＫＭ２、カテゴリーＣＡ３は種類マップＫＭ３、カテゴリーＣＡ４は種類マップＫＭ４とそれぞれ関連づけされている。また、各種類マップＫＭ１〜ＫＭ４は、それぞれ２次元空間上の各領域毎にそれぞれ種類ＫＩ１１〜ＫＩ４４が定められた構造を有し、各種類ＫＩ１１〜ＫＩ４４には複数の識別用代表ベクトルが配置されている。

具体的には、たとえばカテゴリーマップＣＭのカテゴリーＣＡ１が「空」、カテゴリーＣＡ２が「植物」、カテゴリーＣＡ３が「水」、カテゴリーＣＡ４「地面」に設定されているとする。すると、カテゴリーＣＡ１に関連付けされた種類マップＫＭ１の種類は、種類ＫＩ１１が「青空」、種類ＫＩ１２が「曇り空」、種類ＫＩ１３が「夕空」、種類ＫＩ１４が「夜空」というように、カテゴリーＣＡ１に属する種類が割り当てられている。

ここで、代表ベクトル検索手段５０は、カテゴリーマップＣＭにおいては、相関特徴量およびエッジ特徴量を用いてカテゴリーの分類を行い、種類マップＫＭにおいては、色特徴量を用いて種類の識別を行うようになっている。したがって、特徴ベクトル生成手段４６においては、相関特徴量およびエッジ特徴量をベクトル成分とする第１特徴ベクトルＣＢ１と、色特徴量を特徴ベクトルとする第２特徴ベクトルＣＢ２とが生成されることになる。また、種類出力手段６０は、勝者代表ベクトルの属する種類を出力するとともに、分類されたカテゴリーをも出力するようになっている。

このように、異なる特徴量を利用して階層的にブロック領域ＢＲの種類を識別することにより、ＬＶＱにおいて用いられる代表ベクトルを低次元に抑えることができるため、効率的に精度よく種類の識別を行うことができる。また、種類出力手段６０が、検索された分類用勝者代表ベクトルの示すカテゴリーと識別用勝者代表ベクトルの示す種類とを出力するようにすれば、オブジェクト領域ＯＲの識別の際に、ブロック領域の種類とともにカテゴリーをも加味した識別を行うことができるとともに、ユーザにオブジェクト領域ＯＲのカテゴリーに関する情報も提供することができる。

図１５は本発明のオブジェクト識別装置におけるブロック領域生成手段を示す第４の実施の形態を示すブロック図である。図１５におけるブロック領域生成手段が、画像をメッシュ状に区切った複数の第１ブロック領域と、複数の第１ブロック領域とメッシュ状に区切る位相をずらした第２ブロック領域とを生成する機能を有するものである。

具体的には、上述したブロック領域生成手段はたとえば３２画素×３２画素からなる設定画素数のブロック領域ＢＲをメッシュ状に機械的に区切って生成するものであるが（図１５（ａ）参照）、さらに、図１５（ｂ）に示すような横方向および横方向に対して半ブロック分（１６画素分）ずらしたメッシュ状のブロック領域ＢＲを生成する機能を有している。そして、生成された図１５（ａ）と図１５（ｂ）のブロック領域ＢＲのうち、オブジェクト領域ＯＲの境界を含まないブロック領域ＢＲを用いて種類の識別が行われることとなる。

このように、オブジェクト領域ＯＲの種類の識別に用いられるブロック領域ＢＲの数を増やすことにより、識別の精度を向上させることができる。すなわち、上述したように、オブジェクト領域ＯＲの境界を含むブロック領域は、複数の領域の特徴が混在しているとともに境界のエッジも含まれることによる識別精度の低下を防止するために、オブジェクト領域ＯＲの種類の集計に含まれていない。したがって、オブジェクト領域ＯＲが小さい場合には生成されるブロック領域ＢＲの数は少なくなり、複雑な形状のオブジェクト領域ＯＲの場合には、他のオブジェクト領域ＯＲとの境界が多くなるため、識別に用いられるブロック領域ＢＲの数は少なくなる。このため、識別された種類は精度が低くなってしまい、特に、少し複雑な画像になると識別ができず多くのオブジェクト領域ＯＲが不明であると判断されてしまう。

このとき、図１５（ａ）、（ｂ）に示すようなそれぞれ位相のずれたブロック領域ＢＲを生成することにより、ブロック領域ＢＲの形成位置を半ブロックずらせば、オブジェクト領域ＯＲの境界を含まないブロック領域ＢＲの生成を促進させることができる。このため、種類の識別に用いるブロック領域ＢＲの数を増やすことができ、より正確な種類の識別を行うことができる。

なお、図１５（ｂ）においては、横方向および縦方向に対して半ブロック分ずらしたブロック領域ＢＲを生成するようにしているが、図１５（ｃ）に示すような横方向にのみ半ブロック分（１６画素分）ずらしたブロック領域ＢＲを生成してもよいし、図１５（ｄ）に示すように縦方向にのみ半ブロック分ずらしたブロック領域ＢＲを生成するようにしてもよい。また、ブロック領域識別手段３０において、図１５（ａ）〜図１５（ｄ）のブロック領域ＢＲのすべてを用いてもよいし、ブロック領域ＢＲのいずれかを組み合わせて用いるようにしてもよい。さらに、図１５（ａ）〜図１５（ｄ）において、ブロック領域生成手段１０は、半ブロック分ずらした場合について例示しているが、半ブロック分ずらす場合に限定されず、たとえば１／４ブロック分（８画素分）ずらす等の処理を行うようにしてもよい。

図１６は本発明のオブジェクト識別装置におけるブロック領域生成手段１０を示す第５の実施の形態を示すブロック図である。図１６のブロック領域生成手段１０は、画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した複数の解像度変換画像から設定画素数からなるブロック領域を生成する機能を有するものである。具体的には、ブロック領域生成手段１０は、全体画像に対してたとえばガウシアンピラミッドもしくはウェーブレット変換等の公知の解像度変換技術を施し、複数の解像度変換画像を生成する。そして、ブロック領域生成手段１０は、生成した複数の解像度変換画像についてそれぞれ設定画素数毎にメッシュ状に区切ることにより、ブロック領域ＢＲを生成していく。

よって、ブロック領域ＢＲは、図２（ａ）に示すように全体画像から生成されるとともに、図１６（ａ）、（ｂ）に示すように解像度の異なる全体画像から生成されることになる。そして、複数の解像度変換画像から生成されたブロック領域ＢＲ毎に種類の識別が行われるようになる。このとき、ブロック領域生成手段１０は、設定画素数（たとえば３２画素×３２画素）の変更は行わない。これは、ブロック領域識別手段３０において、特徴量に基づいて種類の識別を行う際に、学習した際のブロック領域ＢＲの大きさと、識別する際のブロック領域の大きさが異なるのを防止するためである。

このように、解像度の異なる解像度変換画像を用いてブロック領域ＢＲを生成することにより、ブロック領域ＢＲの種類の識別の精度を向上させることができる。すなわち、通常の全体画像において、同じ被写体を近くから撮影した画像と遠くから撮影した画像とでは被写体の写り方が異なる。近くから撮影した場合には被写体の種類が識別できなくても遠くから撮影した場合には被写体の種類が識別できる場合やその逆の場合がある。そこで、解像度変換画像を用いることにより、この写り方の違いによる精度の低下を防止してブロック領域ＢＲの種類識別の精度を向上させることができる。

なお、図１６において、ブロック領域ＢＲは、全体画像を機械的にメッシュ状に区切ることにより生成しているが、図１５に示すように半ブロック分ずらして機械的に生成するようにしてもよい。

図１７は本発明のオブジェクト識別装置の第６の実施の形態を示すブロック図である。なお、図１７のオブジェクト識別装置３００において、図１のオブジェクト識別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。図１７のオブジェクト識別装置３００が、図１のオブジェクト識別装置１と異なる点は、ブロック領域生成手段３１０が、図１８に示すように、オブジェクト領域ＯＲ内に設定画素数からなる切取枠を走査させて、切取枠により囲まれた画像をブロック領域として生成する機能を有することである。

図１９は図１７のブロック領域生成手段３１０の動作例を示すフローチャートであり、図１７から図１９を参照してブロック領域ＢＲの生成方法の一例について説明する。まず、オブジェクト領域生成手段２０により、全体画像から複数のオブジェクト領域が生成される（ステップＳＴ３０）。その後、生成された各オブジェクト領域ＯＲに対して領域ＩＤが付与される（ステップＳＴ３１）。

そして、生成された複数のオブジェクト領域ＯＲの中から、ブロック領域ＢＲを生成するオブジェクト領域ＯＲが決定されて（ステップＳＴ３２）、ブロック領域ＢＲが生成されていく（ステップＳＴ３３）。このブロック領域生成工程（ステップＳＴ３３）が、全体画像に含まれるすべてのオブジェクト領域ＯＲについて行われる（ステップＳＴ３２〜ステップＳＴ３４）。その後、生成された複数のブロック領域ＢＲの種類がブロック領域識別手段３０により識別される。

図２０はブロック領域生成工程（ステップＳＴ３３）の一例を示すフローチャートであり、図２０を参照してブロック領域ＢＲの生成工程について説明する。まず、ブロック領域ＢＲを生成するオブジェクト領域ＯＲが決定されて（ステップＳＴ３３−１）、オブジェクト領域ＯＲ内の始点に切取枠が設置される（ステップＳＴ３３−２）。具体的には、図１８に示すようにオブジェクト領域ＯＲの左上端に切取枠の左上角が位置するように切取枠が位置決めされる。そして、切取枠内のすべての領域ＩＤが一致するか否かが判断されて（ステップＳＴ３３−２）、切取枠内の領域ＩＤがすべて一致する場合には、切取枠に囲まれた領域がブロック領域ＢＲとして生成される（ステップＳＴ３３−４）。

その後、切取枠が水平方向（右方向）にたとえば８画素だけ向かってずらされる（ステップＳＴ３３−５）。ここで、切取枠がオブジェクト領域ＯＲの最右端まで走査したか否かが判断され（ステップＳＴ３３−６）、走査していない場合には続けてブロック領域の生成が行われる（ステップＳＴ３３−２〜ステップＳＴ３３−５）。一方、切取枠が、オブジェクト領域ＯＲの最右端まで走査した場合には、切取枠が垂直方向（下方向）にたとえば８画素だけずらされるとともに、水平方向にも移動してオブジェクト領域ＯＲの左端に位置決めされる（ステップＳＴ３３−７）。その後、水平方向に対してブロック領域ＢＲが生成されていく（ステップＳＴ３３−２〜ステップＳＴ３３−６）。そして、切取枠がオブジェクト領域ＯＲの最下端まで走査した場合には（ステップＳＴ３３−８）、１つのオブジェクト領域ＯＲについてブロック領域ＢＲの生成が完了する。

このように、切取枠をオブジェクト領域ＯＲ内において走査させながらブロック領域ＢＲを生成することにより、オブジェクト領域ＯＲの種類を識別するためのブロック領域ＢＲの数を増やすことができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。

なお、切取枠は水平方向および垂直方向に対して８画素ずらす場合について例示しているが、２画素や４画素といった切取枠よりも小さい画素に設定されていればよい。さらに、領域ＩＤを変更することにより切取枠により切り取られるブロック領域ＢＲを決定するようにしているが、機械的に切取枠をたとえば２画素等の切取枠よりも小さい画素ピッチで、縦方向および横方向に走査するようにしてもよい。このとき、切取枠内に２つの領域ＩＤが含まれているブロック領域ＢＲについては、種類の識別を行わないようにしてもよい。

切取枠内の８画素×８画素の領域ＩＤが書き換えられる場合について例示しているが、たとえば２画素×２画素や４画素×４画素等の切取枠よりも小さい画素に設定されていればよい。さらに、領域ＩＤを変更することにより切取枠により切り取られるブロック領域ＢＲを決定するようにしているが、機械的に切取枠をたとえば２画素等の切取枠よりも小さい画素ピッチで、縦方向および横方向に走査するようにしてもよい。このとき、切取枠内に２つの領域ＩＤが含まれているブロック領域ＢＲについては、種類の識別を行わないようにしてもよい。

図２１は本発明のオブジェクト識別装置の第７の実施の形態を示すブロック図であり、図２１を参照してオブジェクト識別装置５００について説明する。なお、図２１のオブジェクト識別装置５００において、図１のオブジェクト識別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。

図２１のオブジェクト識別装置５００において、最初にオブジェクト領域生成手段２０がオブジェクト領域ＯＲを生成するようになっている。そして、特徴量抽出手段５４０が、生成されたオブジェクト領域ＯＲからオブジェクト特徴量を抽出するようになっている。その後、抽出したオブジェクト特徴量を用いて写像手段５０および種類出力手段６０により、オブジェクト領域ＯＲの種類が識別されるようになっている。

さらに、この特徴量抽出手段５４０は、画像変換手段５１０により所定の画像変換処理が施された全体画像と生成されたオブジェクト領域ＯＲとを用いてオブジェクト特徴量を抽出するようになっている。具体的には、画像変換手段５１０は、ＲＧＢ表色系からなる全体画像をＹＣＣ表色系に変換し、ＹＣＣ表色系の各成分毎の３つの画像を生成する機能を有する。さらに、画像変換手段５１０は、Ｙ成分から生成した縦エッジ画像と横エッジ画像とを生成するようになっている。そして特徴量抽出手段４０は、ＹＣＣ各成分毎の３つの画像、縦エッジ画像、横エッジ画像の５つの画像からそれぞれオブジェクト特徴量を抽出するようになっている。

ここで、特徴量抽出手段５４０は、各画像の領域分割結果を組み合わせて、各オブジェクト領域ＯＲ毎の画素値の分布（ヒストグラム）を生成する。そして、特徴量抽出手段４０は、ヒストグラムから平均値および標準偏差を算出し、オブジェクト特徴量を生成する。なお、特徴量としてヒストグラムの代表点（たとえば最大値、最小値、中央値、分位点等）を用いてもよい。また、自己組織化マップＳＯＭの学習用サンプルは、ブロック領域ＢＲに上述した画像変換を施し、上述したヒストグラムから抽出した特徴量を用いて行われることになる。

なお、上述した特徴量抽出手段５４０において、図６に示すような特徴量をオブジェクト領域ＯＲから抽出し、オブジェクト特徴量としてもよい。なお、上述した特徴量抽出手段５４０において、図６や図１９に示すような特徴量をオブジェクト領域ＯＲから抽出し、オブジェクト特徴量としてもよい。さらに、上述した画像変換手段５１０において、全体画像に多重解像度変換を施し解像度の異なる複数の解像度変換画像、全体画像をＲＧＢ表色系からＬａｂ表色系に変換した画像、モフォロジーフィルタ等を用いて特定形状の構造を抽出したフィルタリング画像等を生成するようにし、特徴量抽出手段５４０は、各画像から特徴量を抽出するようにしてもよい。

これにより、オブジェクト領域ＯＲの領域形状が複雑な場合や小さい場合においてもオブジェクト領域ＯＲの種類を確実に識別することができるようになる。すなわち、全体画像をブロック領域ＢＲに分けたときには、オブジェクト領域ＯＲが複雑な場合にはオブジェクト領域ＯＲが複数のブロック領域ＢＲに分かれてしまい、オブジェクト領域ＯＲが小さい場合には種類識別に用いるブロック領域ＢＲの数が少なくなってしまう。

これに対し、ブロック領域識別手段３０による識別結果をブロック領域ＢＲに含まれるすべての画素に割り当てるようにし、オブジェクト領域ＯＲを構成する画素に割り当てられた種類のうち、最も画素の多い種類をオブジェクト領域ＯＲの種類であると識別することも考えられる。しかし、オブジェクト領域ＯＲの境界を含むブロック領域ＢＲについても種類の識別を行う必要があり、その結果、種類の識別の精度が低下してしまうという問題がある。そこで、オブジェクト領域ＯＲ自体から特徴量を抽出して種類の識別を行うことにより、複雑な形状のオブジェクト領域ＯＲや形状の小さいオブジェクト領域ＯＲについても精度よく種類の識別を行うことができる。

図２２は本発明のオブジェクト識別装置の第８の実施の形態を示すブロック図であり、図２２を参照してオブジェクト識別装置６００について説明する。なお、図２２のオブジェクト識別装置６００において図１のオブジェクト識別装置１および図２１のオブジェクト識別装置５００と同一の構成を有する部位には同一の符号を付してその説明を省略する。図２２のオブジェクト識別装置６００が、図２１のオブジェクト識別装置５００と異なる点は、オブジェクト領域の外接矩形画像を規格化した規格化オブジェクト領域を生成する規格化手段６３０をさらに備えることである。そして、特徴量抽出手段４０は、規格化オブジェクト領域からオブジェクト特徴量を抽出することとなる。したがって、オブジェクト特徴量を抽出する際のオブジェクト領域ＯＲの大きさは、いずれの画像のいずれのオブジェクト領域ＯＲであっても同一の大きさとなる。

このように、オブジェクト領域ＯＲを規格化してからオブジェクト特徴量を抽出することにより、全体画像に含まれるオブジェクト領域の大きさに種類の識別精度が依存されることなく、正確な識別を行うことができる。つまり、全体画像に含まれるオブジェクトの大きさは、撮影時の状況により多種多様なものとなる。そこで、各オブジェクト領域ＯＲを規格化した後にオブジェクト特徴量を抽出し種類の識別を行うことにより、精度の高い種類の識別を行うことが可能となる。このように、オブジェクト領域ＯＲを規格化してからオブジェクト特徴量を抽出することによりサイズの変動に対してロバスト性を持たせ、全体画像に含まれるオブジェクト領域の大きさに種類の識別精度が依存されることなく、正確な識別を行うことができる。

本発明のオブジェクト識別装置の第１の実施の形態を示すブロック図 本発明のオブジェクト識別装置において、画像に含まれるオブジェクト毎に種類が識別される様子を示す図 本発明のオブジェクト識別装置におけるオブジェクト領域生成手段の一例を示すブロック図 図２のオブジェクト領域生成手段により画像が領域分割される様子を示す図 図２のオブジェクト領域生成手段によりクラスタリング領域が統合されてオブジェクト領域が形成される様子を示す図 本発明のオブジェクト識別装置における特徴量抽出手段の一例を示すブロック図 図６のエッジ画像生成手段において使用されるエッジフィルターの一例を示す図 図６の相関特徴量抽出手段の動作例を示すフローチャート 図６の相関特徴量抽出手段における相互相関関数の一例を示すグラフ図 図１の代表ベクトルデータベースの構造を示す模式 図１のブロック領域識別手段の動作例を示すフローチャート 本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャート図 本発明のオブジェクト識別装置の第２の実施の形態を示すブロック図 本発明のオブジェクト識別装置の第３の実施の形態を示すブロック図 本発明のオブジェクト識別装置の第４の実施の形態を示すブロック図 本発明のオブジェクト識別装置の第５の実施の形態を示すブロック図 本発明のオブジェクト識別装置の第６の実施の形態を示すブロック図 図１７のオブジェクト識別装置において操作される切取枠の様子を示す模式図 図１７のオブジェクト識別装置の動作例を示すフローチャート 図１７のオブジェクト識別装置の動作例を示すフローチャート 本発明のオブジェクト識別装置の第７の実施の形態を示すブロック図 本発明のオブジェクト識別装置の第８の実施の形態を示すブロック図

符号の説明

１、３００、５００、６００ オブジェクト識別装置
１０、３１０ ブロック領域生成手段
２０ オブジェクト領域生成手段
３０ ブロック領域識別手段
４０ 特徴量抽出手段
４１ 画像変換手段
４２ エッジ画像生成手段
４３ 相関特徴量抽出手段
４４ エッジ特徴量抽出手段
４５ 色特徴量抽出手段
４６ 特徴ベクトル生成手段
５０ 代表ベクトル検索手段
６０ 種類出力手段
７０ オブジェクト識別手段
ＢＲ ブロック領域
ＣＭ カテゴリーマップ
ＤＢ 代表ベクトルデータベース
ＫＭ 種類マップ
ＯＲ オブジェクト領域
Ｐ 画像

Claims (17)

1. 画像に含まれるオブジェクトの種類を識別するオブジェクト識別方法において、
   前記画像を前記オブジェクト毎に領域分割した複数のオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割して複数のブロック領域とを生成し、
   生成した前記各ブロック領域から複数の特徴量を抽出し、
   抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを生成し、
   前記ブロック領域の種類における代表的なベクトル値を示す複数の代表ベクトルが種類毎に記憶された代表ベクトルデータベースを用いて、該代表ベクトルデータベースの中から前記特徴ベクトルに最も類似する前記代表ベクトルを検索し、
   検索した前記代表ベクトルが属する種類を前記ブロック領域の種類として出力し、
   出力した前記ブロック領域の種類を前記オブジェクト領域毎に集計して、前記オブジェクトの種類を識別する
   ことを特徴とするオブジェクト識別方法。
2. 画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、
   前記画像を前記オブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、
   前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するブロック領域生成手段と、
   該ブロック領域生成手段により生成された前記各ブロック領域から複数の特徴量を抽出する特徴量抽出手段と、
   該特徴量抽出手段により抽出された前記複数の特徴量をベクトル成分とする特徴ベクトルを生成する特徴ベクトル生成手段と、
   前記ブロック領域の種類における代表的なベクトル値を示す複数の代表ベクトルが種類毎に記憶された代表ベクトルデータベースを用いて、該代表ベクトルデータベースの中から前記特徴ベクトルに最も類似する前記代表ベクトルを検索する代表ベクトル検索手段と、
   該代表ベクトル検索手段により検索された前記代表ベクトルが属する種類を前記ブロック領域の種類として出力する種類出力手段と、
   前記各ブロック領域毎に出力された前記ブロック領域の種類を前記オブジェクト領域毎に集計し、集計した結果を用いて前記オブジェクトの種類を識別するオブジェクト識別手段と
   を有することを特徴とするオブジェクト識別装置。
3. 前記ブロック領域生成手段が、前記画像をメッシュ状に区切った複数の第１ブロック領域と、該複数の第１ブロック領域に対してメッシュ状に区切る位相をずらした第２ブロック領域とを生成する機能を有するものであることを特徴とする請求項２に記載のオブジェクト識別装置。
4. 前記ブロック領域生成手段が、前記オブジェクト領域内に前記設定画素数からなる切取枠を走査させて、前記切取枠により囲まれた画像から前記ブロック領域を生成する機能を有するものであることを特徴とする請求項２または請求項３に記載のオブジェクト識別装置。
5. 前記ブロック領域生成手段が、前記画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した前記複数の解像度変換画像からそれぞれ前記ブロック領域を生成する機能を有するものであることを特徴とする請求項２から請求項４のいずれか１項に記載のオブジェクト識別装置。
6. 前記特徴量抽出手段が、前記ブロック領域の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段を含むものであることを特徴とする請求項２から請求項５のいずれか１項に記載のオブジェクト識別装置。
7. 前記相関特徴量抽出手段が、前記ブロック領域の縦方向に沿った前記相関特徴量と、前記ブロック領域の横方向に沿った前記相関特徴量とを抽出するものであることを特徴とする請求項６に記載のオブジェクト識別装置。
8. 前記相関特徴量抽出手段が、前記ブロック領域において同一方向に形成された２つの画素ラインを構成する複数の画素の成分信号値から、前記２つの画素ラインの相関関係を示す相関値を出力する所定の相互相関関数を有し、
   前記２つの画素ラインのいずれか一方を１画素ずつ前記画素ラインの形成方向にずらしながら前記画素の成分信号値を前記相互相関関数に入力することにより複数の前記相関値を取得し、取得した前記複数の相関値から最も大きい最大相関値を算出するものであり、
   前記ブロック領域の同一方向に形成された前記画素ラインのすべての組み合わせについて前記最大相関値を算出し、算出されたすべての前記代債相関値の平均値および標準偏差を相関特徴量として抽出するものであることを特徴とする請求項６または請求項７に記載のオブジェクト識別装置。
9. 前記特徴量抽出手段が、前記ブロック領域の縦方向および横方向のエッジ成分の特徴を示すエッジ特徴量を抽出するエッジ特徴量抽出手段を含むものであることを特徴とする請求項２から請求項８のいずれか１項に記載のオブジェクト識別装置。
10. 前記特徴量抽出手段が、前記ブロック領域の色成分の特徴を示す色特徴量を抽出する色特徴量抽出手段を含むものであることを特徴とする請求項２から請求項９のいずれか１項に記載のオブジェクト識別装置。
11. 前記代表ベクトルが、予め種類のわかっている前記特徴ベクトルを用いて前記勝者代表ベクトルを検索し、前記特徴ベクトルの種類と前記勝者代表ベクトルの示す種類とが異なるときに、前記勝者代表ベクトルと前記特徴ベクトルとの距離が遠くなるように学習し、前記特徴ベクトルの種類と前記勝者代表ベクトルの示す種類とが同じになるときに、前記勝者代表ベクトルと前記特徴ベクトルとの距離が近くなるように学習して得られたものであることを特徴とする請求項１１に記載のオブジェクト識別装置。
12. 前記代表ベクトルデータベースが、前記代表ベクトルが２次元空間に配列された構造を有し、前記勝者代表ベクトルの近傍領域にある前記代表ベクトルが前記勝者代表ベクトルと同じように学習されたものであることを特徴とする請求項１１に記載のオブジェクト識別装置。
13. 前記代表ベクトルデータベースが、前記ブロック領域のカテゴリーを分類するための複数の分類用代表ベクトルと、分類された前記カテゴリーの中から種類を識別するための複数の識別用代表ベクトルとを有し、
    前記代表ベクトル検索手段が、前記特徴ベクトルに最も類似する分類用勝者代表ベクトルを検索し、検索された前記分類用勝者代表ベクトルの示すカテゴリー内にある種類の前記識別用代表ベクトルの中から、前記特徴ベクトルに最も類似する識別用勝者代表ベクトルを検索するものであることを特徴とする請求項１１または請求項１２に記載のオブジェクト識別装置。
14. 前記種類出力手段が、検索された前記分類用勝者代表ベクトルの示すカテゴリーと前記識別用勝者代表ベクトルの種類とを出力するものであることを特徴とする請求項１３に記載のオブジェクト識別装置。
15. 前記代表ベクトル検索手段が、前記特徴ベクトルと前記勝者代表ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには前記勝者代表ベクトルがないと判断するものであり、前記種類出力手段が、前記勝者代表ベクトルがないと判断されたときには前記種類が不明である旨の出力を行うものであることを特徴とする請求項１１から請求項１４のいずれか１項に記載のオブジェクト識別装置。
16. 前記設定しきい値が、前記勝者代表ベクトルの近傍領域内にある複数の前記代表ベクトルのうち前記勝者代表ベクトルとの距離が最も大きい前記代表ベクトルと前記勝者代表ベクトルとの距離であることを特徴とする請求項１５に記載のオブジェクト識別装置。
17. コンピュータに、
    画像をオブジェクト毎に領域分割した複数のオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割して複数のブロック領域とを生成し、
    生成した前記各ブロック領域から複数の特徴量を抽出し、
    抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを生成し、
    前記ブロック領域の種類における代表的なベクトル値を示す複数の代表ベクトルが種類毎に記憶された代表ベクトルデータベースを用いて、該代表ベクトルデータベースの中から前記特徴ベクトルに最も類似する前記代表ベクトルを検出し、
    検出した前記代表ベクトルが属する種類を前記ブロック領域の種類であると識別し、
    識別した前記ブロック領域の種類を前記オブジェクト領域毎に集計して、前記オブジェクトの種類を識別する
    ことを実行させるためのオブジェクト識別プログラム。

Images