JP5500024B2 - 画像認識方法及び装置並びにプログラム - Google Patents

Description

本発明は、画像認識方法及び装置並びにプログラムに関する。本発明は、コンピュータに画像認識処理を実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体にも関する。

画像認識や計測の分野では、画像に含まれる特定の画像パターンを検出する機能が用いられる。画像の回転やスケールの変化にかかわらず類似な形状を検出する従来技術としては、画像のスケール又は回転に応じた複数のテンプレートを用意しておきテンプレートマッチングを行う方法、画像の位置、スケール、回転のパラメータ空間への変換を行うハフ変換等がある。しかし、これらの類似な形状を検出する従来技術は、いずれも画像の水平及び垂直位置、回転角及びスケールの全てのパラメータ空間で画像パターンの探索処理を行うものであり、データ処理量が膨大なものになってしまう。

これに対して、近年、スケールスペース理論による画像特徴のスケールパラメータを推定する技術や、画像パターンの輝度勾配のヒストグラムから画像パターンの方向パラメータを推定する技術が提案されている。これらの提案されている技術によれば、画像パターンのスケールや回転をある程度正規化することが可能であるが、微小なスケール、回転の違い、局所的な画像パターンの変形やコントラストの変動に対しては、頑健な画像パターンのマッチングを行うことは難しい。

そこで、特に顔や人といった幾何学的な特徴の定式化が困難な一般の対象を画像中から検出する技術として、認識対象と非対象の多数サンプル画像について特定の画像特徴量の分布の差を学習することにより認識対象のみを高い認識率で検出する技術が注目されている、このような技術は、顔認識等に応用されている。しかし、人、車等の、顔に比べてパターンのバリエーションが多い対象の認識については、効果的に学習する技術は確立されていない。現在、この目的のために、ＨＯＧ（Histogram of Oriented Gradient）特徴を用いた学習アルゴリズムが提案されているが、必要となる計算量が比較的多く、認識率が比較的低い。

図１は、ＨＯＧ特徴の計算方法の一例を説明する図である。ＨＯＧ特徴量を計算するためには、画像から輝度勾配を算出し、算出された輝度勾配の勾配強度と勾配方向から輝度の勾配方向ヒストグラムを作成し、勾配方向ヒストグラムを正規化する。具体的には、画素座標を（ｕ，ｖ）、図１（ａ）における水平方向の輝度勾配をｆ_ｕ、図１（ａ）における垂直方向の輝度勾配をｆ_ｖ、画素座標（ｕ，ｖ）における輝度をＩ（ｕ，ｖ）で表すと、次式に従って計算された勾配強度ｍと勾配方向θを用いて、例えば図１（ａ）のように、５×５画素で形成された領域を１セルとして図１（ｂ）に示す輝度の勾配方向ヒストグラムを作成する。
ｍ（ｕ，ｖ）＝｛ｆ_ｕ（ｕ，ｖ）^２＋ｆ_ｖ（ｕ，ｖ）^２｝^１／２
θ（ｕ，ｖ）＝ｔａｎ−１｛ｆ_ｖ（ｕ，ｖ）／ｆ_ｕ（ｕ，ｖ）｝
ｆ_ｕ（ｕ，ｖ）＝Ｉ（ｕ＋１，ｖ）−Ｉ（ｕ−１，ｖ）
ｆ_ｖ（ｕ，ｖ）＝Ｉ（ｕ，ｖ＋１）−Ｉ（ｕ，ｖ−１）

輝度の勾配方向ヒストグラムは、例えば０°〜１８０°の範囲を２０°毎に分割した９方向について、勾配強度ｍで重みを付けた頻度を累積することで作成する。次に、各セルで作成した勾配方向ヒストグラムを２×２セルで形成された領域を１ブロックとして正規化する。ｉ行ｊ列のセル（ｉ，ｊ）の特徴量（９次元）をＨ（ｉ，ｊ）＝｛ｈ１，ｈ２，...、ｈ９｝とすると、ｋ番目のブロックの特徴量（３６次元）はｖ（ｋ）＝〔Ｈ（ｉ，ｊ），Ｈ（ｉ＋１，ｊ），Ｈ（ｉ，ｊ＋１），Ｈ（ｉ＋１，ｊ＋１）〕と表すことができる。正規化後の特徴をＶ（ｋ）とした時、特徴量ｖ（ｋ）の正規化は次のような計算式により表すことができる。
Ｖ（ｋ）＝ｖ（ｋ）／｛‖ｖ（ｋ）‖^２＋ε^２｝^１／２ （ε＝１）

特徴量ｖ（ｋ）は、図１（ｃ）に示すようにブロックを１セルずつ移動させることにより正規化する。このため、特徴量Ｈ（ｉ，ｊ）は、異なるブロックにより何度も正規化される。入力画像を３０×６０画素とした場合、横方向に４ブロック、縦方向に７ブロック、合計４０ブロックに対して正規化を行う。各ブロック毎に正規化されたＨＯＧ特徴量は４０ブロック×３６次元＝１４４０次元となる。認識対象と非認識対象の多数のサンプル画像について、上記のHOG特徴量を夫々計算し、認識対象と非認識対象を識別するための識別器を学習させることで特定対象の検出を可能とする。識別器の学習には、サポートベクタマシン（Support Vector Machine）、アダブースト（Adaptive Boosting: AdaBoost）等で行った学習アルゴリズムを用いることができる。しかし、ＨＯＧ特徴を用いた画像認識では、先ず特徴量を計算するための計算量、特に正規化処理の計算量が多く、特徴ベクトルの次元数に対する識別率の効率が悪い。

特開２００９−３０１１０４号公報 特開２００９−１５１４４５号公報 特開平８−１４７４６９号公報

山下隆義，藤吉弘亘、「特定物体認識に有効な特徴量」、情報処理学会 研究報告 CVIM 165、pp.221-236、２００８年１１月

従来の認識方法では、比較的少ない計算量で効率良く認識対象を認識することは難しいという問題があった。

そこで、本発明は、比較的少ない計算量で効率良く認識対象を認識することができる画像認識方法及び装置並びにプログラムを提供することを目的とする。

本発明の一観点によれば、コンピュータによる画像認識方法であって、入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する工程と、前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する工程を前記コンピュータに実行させることを特徴とする画像認識方法が提供される。

本発明の一観点によれば、予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量を記録した記憶手段と、入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、前記特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する計算手段と、前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する識別手段を備えたことを特徴とする画像認識装置が提供される。

本発明の一観点によれば、コンピュータに画像認識処理を行わせるプログラムであって、入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、記憶部に記録された予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する手順と、前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する手順を前記コンピュータに実行させることを特徴とするプログラムが提供される。

開示の画像認識方法及び装置並びにプログラムによれば、比較的少ない計算量で効率良く認識対象を認識することが可能となる。

ＨＯＧ特徴の計算方法の一例を説明する図である。 本発明の一実施例における画像認識装置のハードウェア構成の一例を示す図である。 一実施例におけるＣＰＵが実行する機能を説明する機能ブロック図である。 輝度勾配ベクトルの大きさの出現頻度に関するデータの取得を説明する図である。 変換テーブルの一例を示す図である。 輝度勾配の方向ヒストグラムの生成を説明する図である。 エントロピーの累積値の一例を示す図である。 画像特徴の位置関係の拘束例を示す図である。 一実施例における画像認識処理を説明するフローチャートである。

開示の画像認識方法及び装置並びにプログラムは、入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する。計算したヒストグラムは、認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する。

以下に、開示の画像認識方法及び装置並びにプログラムの各実施例を図面と共に説明する。

図２は、本発明の一実施例における画像認識装置のハードウェア構成の一例を示す図である。

画像認識装置１０は、画像認識装置１０全体の動作を制御するプロセッサの一例を形成するＣＰＵ（Central Processing Unit）１０１を有する。ＣＰＵ１０１には、バス１０８を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、補助記憶装置１０６、通信インタフェース１０７及び画像入力インタフェース（Ｉ／Ｆ：Interface）１０９が接続されている。

ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。又、ＲＡＭ１０２には、ＣＰＵ１０１が実行する処理に必要な各種データや、ＣＰＵ１０１が実行する演算の中間データ等が格納される。ＨＤＤ１０３には、ＯＳやアプリケーションプログラムが格納される。

グラフィック処理装置１０４には、モニタ１０４ａが接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１０４ａの画面に表示させる。入力インタフェース１０５には、キーボード１０５ａとマウス１０５ｂが接続されている。入力インタフェース１０５は、キーボード１０５ａやマウス１０５ｂから送られてくる命令やデータを、バス１０８を介してＣＰＵ１０１に送信する。

補助記憶装置１０６は、記録媒体に書き込まれた情報を読み取ったり、記録媒体に情報を書き込んだりする。補助記憶装置１０６で読み書きが可能な記録媒体としては、例えば、磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記録媒体としては、例えば、ハードディスク、フレキシブルディスク、磁気テープ等が挙げられる。光ディスクとしては、例えば、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Re-Writable）等が挙げられる。光磁気記録媒体としては、例えば、ＭＯディスク（Magneto-Optical disk）等が挙げられる。補助記憶装置１０６は、図２に示すように画像認識装置１０内に接続されていても、画像認識装置１０の外部に接続されていても良い。

ＲＡＭ１０２、ＨＤＤ１０３内のディスク媒体、或いは、補助記憶装置１０６が読み取る記録媒体は、ＣＰＵ１０１等のコンピュータに画像認識処理を実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体を形成する。

通信インタフェース１０７は、ネットワーク３０に接続されている。通信インタフェース１０７は、ネットワーク３０を介して、他のコンピュータ（図示せず）との間でデータの送受信を行うことができる。

画像入力Ｉ／Ｆ１０９には、カメラ（図示せず）により撮影された画像の画像データが直接、或いは、バス１０８を介して入力される。

図３は、本実施例におけるＣＰＵ１０１が実行する機能を説明する機能ブロック図である。図３に示すように、ＣＰＵ１０１が実行する機能には、テーブル作成部２１、認識対象サンプル画像記録部２２、輝度勾配ベクトル計算部２３、ヒストグラム計算部２４、非対象サンプル画像記録部２５、輝度勾配ベクトル計算部２６、ヒストグラム計算部２７、ヒストグラム類似度分散計算部２８、認識対象サンプル特徴選択部２９、非対象サンプル特徴選択部３０、対象／非対象識別器学習部３１、画像入力部３２、入力画像記録部３３、領域画像抽出部３４、起動勾配ベクトル計算部３５、ヒストグラム計算部３６、入力画像特徴選択部３７、及び対象／非対象識別部３８の機能が含まれる。

図４は、輝度勾配ベクトルの大きさの出現頻度に関するデータの取得を説明する図であり、図５は、変換テーブルの一例を示す図である。

輝度勾配ベクトル大きさ変換テーブル作成部２１では、先ず、図４（ａ）に示す如き多くのサンプル画像から図４（ｂ）に示す如き輝度勾配ベクトルの大きさのヒストグラムを作成して記憶部に格納する。記憶部は、ＲＡＭ１０２、ＨＤＤ１０３内のディスク媒体、或いは、補助記憶装置１０６が読み取る記録媒体により形成可能である。次に、変換テーブル作成部２１では、図５に示すように、図４（ｂ）に示すヒストグラムから各輝度勾配ベクトルの大きさの情報量（以下、エントロピーと言う）Ｅｉを計算して変換テーブル５０を作成し、記憶部に格納する。エントロピーＥｉは、図４（ｂ）のヒストグラムにおいて、輝度勾配ベクトルの大きさｉの出現数をＮｉとし、ヒストグラムの輝度勾配ベクトルの総数をＮとした時、次式で計算される量である。

認識対象サンプル画像記録部２２では、認識対象のサンプル画像を記憶部に記録する。認識対象とは、画像認識処理の対象となる人物（例えば、顔）、車両等を指す。輝度勾配ベクトル計算部２３では、認識対象サンプル画像記録部２２が記憶部に記録した認識対象のサンプル画像に対して微分処理を行い、各画素の輝度勾配ベクトルを計算する。ヒストグラム計算部２４では、認識対象の各サンプル画像を複数の領域（又は、セル）に分割し、各領域について、輝度勾配ベクトルの方向を複数の区間（又は、ビン）分割し、各方向のビンについて、変換テーブル５０から得られる輝度勾配ベクトルの大きさのエントロピーを累積したヒストグラムを計算して記憶部に記録する。

図６は、輝度勾配の方向ヒストグラムの生成を説明する図である。図６に示す例では、図６（ｃ）に示す認識対象の画像パターンを９個の同じ大きさの矩形領域（以下、セルと言う）Ｒ００〜Ｒ０２，Ｒ１０〜Ｒ１２，Ｒ２０〜Ｒ２２に分割し、各セルＲ００〜Ｒ２２について、輝度勾配ベクトルの方向について方向ヒストグラムＨＣ_Ｒ００〜ＨＣＡ_Ｒ２２を作成するものとする。この際、図６（ｄ）に示すように、０°〜１８０°の範囲を２０°毎に分割して各方向（この例では９方向）のビンについて、当該方向を含む輝度勾配ベクトルの大きさを重みとして頻度を算出する。

先ず、図６（ａ）に示す複数の認識対象のサンプル画像から、予め輝度勾配ベクトルの大きさの出現頻度に関する図６（ｂ）に示す如きデータを取得しておく。図６（ｂ）中、縦軸は輝度勾配ベクトルの大きさの出現頻度（又は、度数）を任意単位で示し、横軸は輝度勾配ベクトルの大きさを任意単位で示す。図６（ｂ）において、大きさｍの輝度勾配ベクトルの出現頻度から得られる出現確率をＰで示すと、輝度勾配ベクトルの大きさのエントロピーは−ｌｏｇ（Ｐｍ）で表される。取得したデータに基づいて、輝度勾配ベクトルの大きさからヒストグラムのビンへの変換を行うための変換テーブルを作成しておき、変換テーブルを用いてヒストグラムを求めるようにしても良い。次に、図６（ｃ）に示す画像パターンと、入力画像内の画像パターンと同じ大きさの各画像領域、即ち、各候補画像パターンとの間の類似性を判定するために、画像パターンを複数のセルＲ００〜Ｒ２２に分割し、夫々のセルＲ００〜Ｒ２２についての輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られるエントロピーを累積した図６（ｄ）に示す如きヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２を各候補画像パターンのセルＲ００〜Ｒ２２に対するヒストグラムと照合する。図６（ｄ）中、縦軸は輝度勾配ベクトルの大きさのエントロピー−ｌｏｇ（Ｐｍ）を任意単位で示し、横軸は輝度勾配ベクトルの大きさを任意単位で示す。

図７は、画像パターンのセルＲ００〜Ｒ２２についての輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られるエントロピーの累積値の一例を示す図である。この例では、輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさのエントロピーを累積したヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２の類似度を、このヒストグラムＨ_Ｒ００〜Ｈ_Ｒ２２をエントロピーの確率分布として２つの確率分布の絶対的なバタチャリア（Bhattacharyya）類似度Ｂを判別する方式を用いて、絶対的な類似度として算出する。画像パターンについて１次元化したヒストグラムの各ビンの値をｐ（ｉ）、候補画像パターンについて１次元化したヒストグラムの各ビンの値をｑ（ｉ）、総ビン数をＮで示すと、バタチャリア類似度Ｂは次式により求めることができる。

一方、非対象サンプル画像記録部２５では、学習のための、認識対象ではないサンプル画像（以下、非認識対象のサンプル画像、或いは、非対象サンプル画像と言う）を記憶部に記録する。非認識対象とは、認識対象以外の、画像認識処理の対象とならない背景等を指す。輝度勾配ベクトル計算部２６では、非対象サンプル画像記録部２５が記憶部に記録した非認識対象のサンプル画像に対して微分処理を行い、各画素の輝度勾配ベクトルを計算する。ヒストグラム計算部２７では、非認識対象の各サンプル画像に対して、ヒストグラム計算部２４と同様に、画像を複数のセルに分割し、各セルについて、輝度勾配ベクトルの方向を複数の区間（ビン）分割し、各方向のビンについて、変換テーブル５０から得られる輝度勾配ベクトルの大きさのエントロピーを累積したヒストグラムを計算して記憶部に記録する。

ヒストグラム類似度分布計算部２８では、ヒストグラム計算部２４が計算して記憶部に記録した認識対象の各サンプル画像の各セルのヒストグラムを用いて、先ず、各サンプル画像の対応するセルの平均ヒストグラムを計算し、次に、各サンプル画像の対応するセルのヒストグラムと平均ヒストグラムとの類似度を計算し、類似度の分散を計算して記憶部に記録する。

認識対象サンプル特徴選択部２９では、ヒストグラム計算部２４で計算された認識対象の各サンプル画像に対応するセルのヒストグラムから、ヒストグラム類似度分布計算部２８で計算された認識対象の各サンプル画像に対応するセルの類似度の分散が一定閾値以下となるセルのヒストグラムを特徴量として選択する。更に、認識対象サンプル特徴選択部２９では、選択したセルを組み合わせて平均化したヒストグラムを特徴量として追加して記憶部に記録する。

非対象サンプル特徴選択部３０では、ヒストグラム計算部２７で計算された非認識対象の各サンプル画像に対応するセルのヒストグラムから、ヒストグラム類似分散計算部２８で計算された非認識対象の各サンプル画像に対応するセルの類似度の分散が一定閾値以下となるセルのヒストグラムを特徴量として選択する。更に、非対象サンプル特徴選択部３０では、選択したセルを組み合わせて平均化したヒストグラムを特徴量として追加して記憶部に記録する。

対象／非対象識別器学習部３１では、認識対象サンプル特徴選択部２９で得られた認識対象のサンプル画像の特徴量と、非対象サンプル特徴選択部３０で得られた非認識対象のサンプル画像の特徴量を用いて、アダブースト等のアルゴリズムに基づいて認識対象及び非認識対象を識別するための識別器を学習させる。この例では、識別器は対象／非対象識別器学習部３１内に設けられているものとするが、対象／非対象識別器学習部３１外に設けられてＣＰＵ１０１により実現されるものであっても良い。

一方、画像入力部３２では、カメラ１２からの入力画像をデジタルデータに変換する。入力画像記録部３３では、入力画像のデジタルデータを記憶部に記録する。領域画像抽出部３４では、入力画像記録部３３が記憶部に記録した全画面の画像データを指定倍率で拡大又は縮小した画像内の指定された場所から、認識対象のサンプル画像と同じ大きさの画像領域を候補領域として抽出する。

輝度勾配ベクトル計算部３５では、領域画像抽出装置３４で抽出された候補領域の画像に対して微分処理を行い、各画素の輝度勾配ベクトルを計算する。ヒストグラム計算部３６では、ヒストグラム計算部２４と同様に、輝度勾配ベクトル計算部３５で抽出された候補領域の画像を分割して輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさのエントロピーを累積したヒストグラムを計算して記憶部に記録する。

入力画像特徴選択部３７では、ヒストグラム計算部３６で計算された非認識対象の各セルのヒストグラムから、ヒストグラム類似度分散計算部２８で得られた各セルの類似度の分散が一定閾値以下となるセルのヒストグラムを特徴量として選択する。更に、入力画像特徴選択部３７では、選択したセルを組み合わせて平均化したヒストグラムを特徴量として追加する。

対象／非対象識別部３８では、入力画像特徴選択部３７で得られた候補領域の特徴量を対象／非対象識別器学習部３１で学習した識別器を用いて評価し、候補領域の画像が認識対象か否かを識別する。

例えば、変換テーブル作成部２１〜対象／非対象識別器学習部３１までの処理を予め実行しておけば、画像認識時には画像入力装置３２〜対象／非対象識別部３８までの処理を実行することで、カメラ１２からの入力画像に対する画像認識処理を行うことができる。

この例では、先ず、予め任意の多数のサンプル画像から輝度勾配ベクトルの大きさの出現頻度に関するデータを取得しておく。具体的には、認識対象と非認識対象の多数の画像サンプルを用いて識別器を学習させる際に、認識対象と非認識対象の双方の各サンプル画像を複数のセルに分割し、夫々のセルについての輝度勾配ベクトルの方向毎に、輝度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られるエントロピーを累積したヒストグラムを作成する。そして、各セルについてのヒストグラムを列挙したデータを画像特徴量として用いる。このため、従来技術で必要とされるブロック毎の正規化が不要になり、特徴量の計算量と次元を大幅に削減することが可能になる。

認識対象の各サンプル画像の対応する各セルについての輝度勾配ベクトルの方向毎に、輝度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られるエントロピーを累積して作成したヒストグラムに対して、平均ヒストグラムに対する類似度の分散を算出し、類似度の分散の小さいセルのヒストグラムを選択して画像特徴量として識別器を学習させるようにしても良い。この場合、ヒストグラムの類似度の計算には、バタチャリア類似度Ｂ等を利用できる。類似度の分散が一定閾値以下で小さいセルは、認識対象のサンプル画像について、共通性の高い特徴を有するセルを意味するため、より少ない特徴量での効率的な識別器の学習が可能になる。

画像特徴量として、平均ヒストグラムに対する類似度の分散が小さいセルのヒストグラムに加えて、更にこれらのヒストグラムの類似度の分散が小さいセルを組み合わせて平均化したヒストグラムも画像特徴量として識別器を学習させても良い。ヒストグラムの類似度の分散が小さいセルを組み合わせて平均化したヒストグラムも画像特徴量として用いることで、平均ヒストグラムに対する類似度の分散が小さいセルの組み合わせは、例えば図８に示すように、認識対象の画像特徴の位置関係の拘束条件を表す特徴となるため、認識対象又は非認識対象の識別性能を向上することが可能となる。図８は、画像特徴の位置関係の拘束例を示す図であり、図６（ｃ）と同一部分には同一符号を付し、その説明は省略する。この例では、図８中、セルＲ０１，Ｒ１０，Ｒ１２が平均ヒストグラムに対する類似度の分散が小さいセルである。

図９は、本実施例における画像認識処理を説明するフローチャートである。画像認識処理は、ＣＰＵ１０１が本実施例における画像認識方法に従って実行する。図９に示す画像認識処理は、以下のステップＳ１〜Ｓ１３を含む。図９に示すように、先ず以下の手順で識別器を学習させる。

ステップＳ１では、変換テーブル作成部２１が、多くのサンプル画像から図４（ｂ）に示す如き輝度勾配ベクトルの大きさのヒストグラムを作成し、図５に示すようにヒストグラムから各輝度勾配ベクトルの大きさの情報量（エントロピー）Ｅｉを計算して変換テーブル５０を作成し、記憶部に格納する。ステップＳ２では、輝度勾配ベクトル計算部２３，２６が、サンプル画像記録部２２，２５が記憶部に記録した認識対象及び非認識対象のサンプル画像に対して微分処理を行い各画素の輝度勾配ベクトルを計算すると共に、ヒストグラム計算部２４，２７が、認識対象及び非認識対象の各サンプル画像を複数の領域（セル）に分割し、各領域について輝度勾配ベクトルの方向を複数の区間（ビン）分割して、各方向のビンについて変換テーブル５０から得られる輝度勾配ベクトルの大きさのエントロピーを累積したヒストグラムを計算して記憶部に記録する。

ステップＳ３では、ヒストグラム類似度分布計算部２８が、ヒストグラム計算部２４が計算して記憶部に記録した認識対象の各サンプル画像の各セルのヒストグラムを用いて、先ず、各サンプル画像の対応するセルの平均ヒストグラムを計算し、次に、各サンプル画像の対応するセルのヒストグラムと平均ヒストグラムとの類似度を計算し、類似度の分散を計算して記憶部に記録する。又、ステップＳ３では、認識対象サンプル特徴選択部２９が、ヒストグラム計算部２４で計算された認識対象の各サンプル画像に対応するセルのヒストグラムから、ヒストグラム類似度分布計算部２８で計算された認識対象の各サンプル画像に対応するセルの類似度の分散が一定閾値以下となるセルのヒストグラムを特徴量として選択すると共に、選択したセルを組み合わせて平均化したヒストグラムを特徴量として追加して記憶部に記録する。更に、ステップＳ３では、非対象サンプル特徴選択部３０が、ヒストグラム計算部２７で計算された非認識対象の各サンプル画像に対応するセルのヒストグラムから、ヒストグラム類似分散計算部２８で計算された非認識対象の各サンプル画像に対応するセルの類似度の分散が一定閾値以下となるセルのヒストグラムを特徴量として選択すると共に、選択したセルを組み合わせて平均化したヒストグラムを特徴量として追加して記憶部に記録する。このようにして、ステップＳ３では、認識対象のサンプル画像の対応するセルのヒストグラムの類似度の分散を計算し、計算された分散に基づいて、学習に利用するセルとその組み合わせを決定する。

ステップＳ４では、対象／非対象識別器学習部３１が、認識対象サンプル特徴選択部２９で得られた認識対象のサンプル画像の特徴量と、非対象サンプル特徴選択部３０で得られた非認識対象のサンプル画像の特徴量を用いて、アダブースト等のアルゴリズムに基づいて認識対象及び非認識対象を識別するための識別器を学習させる。つまり、ステップＳ４では、認識対象及び非認識対象のサンプル画像から選択したセルとその組み合わせに対応するヒストグラムを選択、算出し、それらのヒストグラムを用いて識別器を学習させる。

ステップＳ５では、画像入力部３２が、カメラ１２からの入力画像をデジタルデータに変換する。ステップＳ６では、入力画像記録部３３が、入力画像のデジタルデータを記憶部に記録する。

ステップＳ７では、領域画像抽出部３４が、入力画像記録部３３が記憶部に記録した全画面の画像データを指定倍率で拡大又は縮小した画像内の指定された場所から、認識対象のサンプル画像と同じ大きさの画像領域を候補領域として抽出する。ステップＳ８では、輝度勾配ベクトル計算部３５が、領域画像抽出装置３４で抽出された候補領域の画像に対して微分処理を行い、各画素の輝度勾配ベクトルを計算する。ステップＳ９では、ヒストグラム計算部３６が、ヒストグラム計算部２４と同様に、輝度勾配ベクトル計算部３５で抽出された候補領域の画像を分割して輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさのエントロピーを累積したヒストグラムを計算して記憶部に記録する。

ステップＳ１０では、入力画像特徴選択部３７が、ヒストグラム計算部３６で計算された非認識対象の各セルのヒストグラムから、ヒストグラム類似度分散計算部２８で得られた各セルの類似度の分散が一定閾値以下となるセルのヒストグラムを特徴量として選択すると共に、選択したセルを組み合わせて平均化したヒストグラムを特徴量として追加する。又、ステップＳ１０では、対象／非対象識別部３８が、入力画像特徴選択部３７で得られた候補領域の特徴量を対象／非対象識別器学習部３１で学習した識別器を用いて評価し、候補領域の画像が認識対象か否かを識別する。このように、ステップＳ１０では、得られたヒストグラムから、学習の段階で記憶部に記録しておいたセルの選択及び組み合わせの情報を用いて特徴量を選択し、その特徴量を識別器により評価する。

ステップＳ１１では、識別器により評価された特徴量の尤度が閾値より大きいか否かを判定し、判定結果がＹＥＳであると処理はステップＳ１２へ進み、判定結果がＮＯであると処理はステップＳ１３へ進む。ステップＳ１２では、特徴量の尤度が閾値より大きく認識対象であると判定されたセルの位置及び大きさを記憶部に記録し、処理はステップＳ１３へ進む。ステップＳ１３では、全ての候補領域の処理が完了したか否かを判定し、判定結果がＮＯであると、書ルはステップＳ７へ戻る。

このように、ステップＳ７〜Ｓ１３では、識別器の出力により評価対象となるセルが認識対象であるか否かを判断し、認識対象であると判定された場合にはそのセルの位置と大きさを記録し、ステップＳ７からの処理を全ての候補領域について繰り返す。ステップＳ１３の判定結果がＹＥＳになると、処理は終了する。

本実施例によれば、エントロピーを累積したヒストグラムを作成することにより、従来技術ではＨＯＧ特徴で必要とされるブロック毎の正規化が不要になり、特徴量の計算量と次元を大幅に削減することが可能になる。又、認識対象のサンプルについて共通性の高いセルのヒストグラムを選択することにより、更に特徴量の次元を削減することが可能になる。認識対象のサンプルについて共通性の高いセルの組み合わせたセルのヒストグラムを追加することにより、認識性能を向上させることも可能になる。

上記実施例では、画像の類似度を判定するのに画像の輝度勾配ベクトルのヒストグラムを用いているが、輝度以外の画像情報の勾配ベクトルのヒストグラムを用いるようにしても良い。例えば、画像の三原色等の色成分の強度勾配ベクトルのヒストグラムを用いることもできる。この場合、画像認識装置のハードウェア構成及び機能ブロックは、図２及び図３に示した上記実施例の場合と同様で良く、異なるのは、画像の類似度を判定するのに画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の強度勾配ベクトルのヒストグラムを用いる点である。又、図６（ｃ）と同様の画像パターンのセルＲ００〜Ｒ２２についての各色成分の強度勾配ベクトルの方向毎に強度勾配ベクトルの大きさの出現頻度（又は、出現確率）から得られるエントロピーの累積値を求める。この際、強度勾配ベクトルの方向毎にＲ，Ｇ，Ｂの色成分の強度勾配ベクトルの大きさのエントロピーを累積したヒストグラムＨ_{Ｒ００−Ｒ}〜Ｈ_{Ｒ２２−Ｒ}，Ｈ_{Ｒ００−Ｇ}〜Ｈ_{Ｒ２２−Ｇ}，Ｈ_{Ｒ００−Ｂ}〜Ｈ_{Ｒ２２−Ｂ}の類似度を、これらのヒストグラムＨ_{Ｒ００−Ｒ}〜Ｈ_{Ｒ２２−Ｒ}，Ｈ_{Ｒ００−Ｇ}〜Ｈ_{Ｒ２２−Ｇ}，Ｈ_{Ｒ００−Ｂ}〜Ｈ_{Ｒ２２−Ｂ}をエントロピーの確率分布として各色成分について２つの確率分布のバタチャリア（Bhattacharyya）類似度Ｂを判別する方式を用いて類似度を算出すれば良い。画像パターンについて１次元化したヒストグラムの各ビンの値をｐ（ｉ）、候補画像パターンについて１次元化したヒストグラムの各ビンの値をｑ（ｉ）、総ビン数をＮで示すと、バタチャリア類似度Ｂは、色成分の共同勾配ベクトルのヒストグラムを用いる場合も上記と同様の式により求めることができる。

尚、この場合、輝度勾配ベクトルの大きさをエントロピーに変換するための変換テーブル５０の代わりに、色成分の強度勾配ベクトルの大きさをエントロピーに変換するための変換テーブルを用いれば良いことは言うまでもない。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータによる画像認識方法であって、
入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する工程と、
前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する工程
を前記コンピュータに実行させることを特徴とする、画像認識方法。
（付記２）
認識対象のサンプル画像の特徴量と、非認識対象のサンプル画像の特徴量を用いて、所定のアルゴリズムに基づいて前記識別器を学習させる工程
を前記コンピュータに実行させることを特徴とする、付記１記載の画像認識方法。
（付記３）
前記学習させる工程は、計算されたヒストグラムの平均に対する各ヒストグラムの類似度の分散を算出し、類似度の分散が閾値以下の領域のヒストグラムに基づいて前記識別器を学習させることを特徴とする、付記２記載の画像認識方法。
（付記４）
前記学習させる工程は、計算されたヒストグラムの平均に対する各ヒストグラムの類似度の分散を算出し、類似度の分散が閾値以下の領域のヒストグラムの平均に基づいて前記識別器を学習させることを特徴とする、付記２記載の画像認識方法。
（付記５）
予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量を記録した記憶手段と、
入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、前記特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する計算手段と、
前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する識別手段
を備えたことを特徴とする、画像認識装置。
（付記６）
認識対象のサンプル画像の特徴量と、非認識対象のサンプル画像の特徴量を用いて、所定のアルゴリズムに基づいて前記識別器を学習させる手段
を更に備えたことを特徴とする、付記５記載の画像認識装置。
（付記７）
計算されたヒストグラムの平均に対する各ヒストグラムの類似度の分散を算出する手段を更に備え、
前記学習させる手段は、類似度の分散が閾値以下の領域のヒストグラムに基づいて前記識別器を学習させることを特徴とする、付記６記載の画像認識装置。
（付記８）
計算されたヒストグラムの平均に対する各ヒストグラムの類似度の分散を算出する手段を更に備え、
前記学習させる手段は、類似度の分散が閾値以下の領域のヒストグラムの平均に基づいて前記識別器を学習させることを特徴とする、付記６記載の画像認識装置。
（付記９）
コンピュータに画像認識処理を行わせるプログラムであって、
入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、記憶部に記録された予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する手順と、
前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する手順
を前記コンピュータに実行させることを特徴とする、プログラム。
（付記１０）
認識対象のサンプル画像の特徴量と、非認識対象のサンプル画像の特徴量を用いて、所定のアルゴリズムに基づいて前記識別器を学習させる手順
を前記コンピュータに実行させることを特徴とする、付記９記載のプログラム。
（付記１１）
計算されたヒストグラムの平均に対する各ヒストグラムの類似度の分散を算出する手順
を前記コンピュータに実行させ、
前記学習させる手順は、類似度の分散が閾値以下の領域のヒストグラムに基づいて前記識別器を学習させることを特徴とする、付記１０記載のプログラム。
（付記１２）
計算されたヒストグラムの平均に対する各ヒストグラムの類似度の分散を算出する手順
を前記コンピュータに実行させ、
前記学習させる手順は、類似度の分散が閾値以下の領域のヒストグラムの平均に基づいて前記識別器を学習させることを特徴とする、付記１０記載のプログラム。

以上、開示の画像認識方法及び装置、プログラム及びコンピュータ読み取り可能な記憶媒体を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

１２ カメラ
１０ 画像認識装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＨＤＤ
１０５ 入力インタフェース
１０６ 補助記憶装置
１０７ 通信インタフェース
１０９ 画像入力Ｉ／Ｆ

Claims (5)

1. コンピュータによる画像認識方法であって、
   入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する工程と、
   前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する工程
   を前記コンピュータに実行させることを特徴とする、画像認識方法。
2. 認識対象のサンプル画像の特徴量と、非認識対象のサンプル画像の特徴量を用いて、所定のアルゴリズムに基づいて前記識別器を学習させる工程
   を前記コンピュータに実行させることを特徴とする、請求項１記載の画像認識方法。
3. 前記学習させる工程は、計算されたヒストグラムの平均に対する各ヒストグラムの類似度の分散を算出し、類似度の分散が閾値以下の領域のヒストグラムに基づいて前記識別器を学習させることを特徴とする、請求項２記載の画像認識方法。
4. 予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量を記録した記憶手段と、
   入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、前記特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する計算手段と、
   前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する識別手段
   を備えたことを特徴とする、画像認識装置。
5. コンピュータに画像認識処理を行わせるプログラムであって、
   入力画像を複数の領域に分割し、各領域について輝度勾配ベクトルの方向を複数の区間に分割して各方向の区間について、記憶部に記録された予め複数のサンプル画像から取得済みの輝度勾配ベクトルの大きさの出現頻度に関する特徴量に基づいて、各領域の輝度勾配ベクトルの方向毎に輝度勾配ベクトルの大きさの出現頻度から得られるエントロピーを累積したヒストグラムを計算する手順と、
   前記ヒストグラムを認識対象と非認識対象を識別する識別器により評価して、入力画像が認識対象であるか非認識対象であるかを識別する手順
   を前記コンピュータに実行させることを特徴とする、プログラム。