JP2019016128A - 画像類否判断プログラム、画像類否判断装置および画像類否判断方法 - Google Patents

Abstract

【課題】画像の類否判断精度を向上させる。【解決手段】演算部１ｂは、画像２と画像３のそれぞれに含まれる特徴点ごとに、輝度に基づく第１の特徴量が算出される第１の特徴点と、色相に基づく第２の特徴量が算出される第２の特徴点のいずれかに分類する（ステップＳ１）。また、演算部１ｂは、画像２と画像３とにそれぞれ含まれる第１の特徴点について算出された第１の特徴量と、画像２と画像３とにそれぞれ含まれる第２の特徴点について算出された第２の特徴量とを用いて、画像２と画像３との類否を判断する（ステップＳ２）。【選択図】図１

Description

本発明は、画像類否判断プログラム、画像類否判断装置および画像類否判断方法に関する。

近年、様々な分野で画像のマッチング技術が広く利用されている。画像同士のマッチング方法の例として、第１画像の特徴点における局所特徴量と、第２画像の特徴点における局所特徴量とを比較して、第１画像の特徴点に対応する第２画像の特徴点（以下、「対応点」と呼ぶ）を探索する手法が利用される。探索により発見された対応点の集合を統計処理することで、第２画像における第１画像の存在や第１画像の位置を認識できる。

また、上記のような対応点の探索に利用される局所特徴量をバイナリコードで表す方法がある。その代表例として、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）がある。ＢＲＩＥＦは、特徴点の周囲に配置された複数の画素ペアのそれぞれについて、画素間の輝度差を基に算出された局所特徴量として表現される。より具体的には、画素間の輝度差の符号（正負）に応じたビット値の集合（バイナリコード）が、局所特徴量として算出される。このように局所特徴量をバイナリコードで表す方法では、ハミング距離による高速な計算によって特徴点同士の類似度を算出できるというメリットがある。

なお、特徴量を用いた画像処理技術として、次のような提案がある。例えば、画像から所定の被写体を含む領域の指定を受け、指定された領域内の色相成分と明度成分のいずれかを用いて被写体が持つ特徴量を抽出し、その特徴量を用いて、指定された領域における被写体の位置の偏りを補正する被写体領域抽出装置が提案されている。また、例えば、認証対象の画像中の各特徴点と、各特徴点の色情報の差分と、各特徴点の輝度ベクトルとを関連付けて記憶するようにした認証システムが提案されている。

特開２０１１−１３４１１７号公報 特開２０１５−１４９００８号公報

M. Calonder, V. Lepetit, C. Strecha, and P. Fua., "BRIEF: Binary Robust Independent Elementary Features", In Proceedings of the European Conference on Computer Vision (ECCV), 2010

上記のように、局所特徴量を示すバイナリコードの各ビット値を画素ペアに含まれる画素間の輝度差の符号に基づいて算出する方法では、各画素の輝度差が小さい領域において特徴量が不安定になり、それによって画像の類否判断精度が低下するという問題がある。すなわち、各画素の輝度差が小さい領域では、画素ペアに含まれる画素間の輝度差が０に近くなるため、撮影時の光源の状態やノイズなどの影響によってビット値の符号が反転しやすい。そのため、このような領域から算出された局所特徴量を用いて第１画像の特徴点に対応する第２画像の対応点を探索すると、正しい対応点の探索に失敗する可能性が高くなる。このような探索の失敗は、画像の類否判断精度を低下させる原因となる。

１つの側面では、本発明は、画像の類否判断精度を向上させることが可能な画像類否判断プログラム、画像類否判断装置および画像類否判断方法を提供することを目的とする。

１つの案では、コンピュータに次のような処理を実行させる画像類否判断プログラムが提供される。コンピュータは、第１の画像と第２の画像のそれぞれに含まれる特徴点ごとに、輝度に基づく第１の特徴量が算出される第１の特徴点と、色相に基づく第２の特徴量が算出される第２の特徴点のいずれかに分類し、第１の画像と第２の画像とにそれぞれ含まれる第１の特徴点について算出された第１の特徴量と、第１の画像と第２の画像とにそれぞれ含まれる第２の特徴点について算出された第２の特徴量とを用いて、第１の画像と第２の画像との類否を判断する。

また、１つの案では、記憶部と演算部とを有する次のような画像類否判断装置が提供される。記憶部は、第１の画像と第２の画像とを記憶する。演算部は、第１の画像と第２の画像のそれぞれに含まれる特徴点ごとに、輝度に基づく第１の特徴量が算出される第１の特徴点と、色相に基づく第２の特徴量が算出される第２の特徴点のいずれかに分類し、第１の画像と第２の画像とにそれぞれ含まれる第１の特徴点について算出された第１の特徴量と、第１の画像と第２の画像とにそれぞれ含まれる第２の特徴点について算出された第２の特徴量とを用いて、第１の画像と第２の画像との類否を判断する。

さらに、１つの案では、上記の画像類否判断装置と同様の処理をコンピュータが実行する画像類否判断方法が提供される。

１つの側面では、画像の類否判断精度を向上させることができる。

第１の実施の形態に係る画像類否判断装置の構成例および処理例を示す図である。 第２の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。 画像処理装置が備える処理機能の構成例を示すブロック図である。 画素ペア管理テーブルの構成例を示す図である。 局所特徴量算出処理の比較例について説明するための図である。 標識の例を示す図である。 絶対値ベクトルの算出処理について説明するための図である。 中間データ管理テーブルの構成例を示す図である。 局所特徴量の選択処理について説明するための図である。 輝度特徴量管理テーブルおよび色相特徴量管理テーブルの構成例を示す図である。 局所特徴量の算出処理について説明するための図である。 対応点の抽出処理について説明するための図である。 投票処理を説明するための図である。 投票結果に基づく類似画像の判定処理について説明するための図である。 特徴量算出処理の例を示すフローチャートである。 有用度算出処理の例を示すフローチャートである。 特徴量選択処理の例を示すフローチャートである。 特徴量登録処理の例を示すフローチャートである。 画像認識処理の例を示すフローチャート（その１）である。 画像認識処理の例を示すフローチャート（その２）である。 特徴量選択処理の変形例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像類否判断装置の構成例および処理例を示す図である。図１に示す画像類否判断装置１は、記憶部１ａと演算部１ｂを有する。記憶部１ａは、例えば、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などの記憶装置として実現される。演算部１ｂは、例えば、プロセッサとして実現される。

記憶部１ａは、類否判断の対象となる画像２，３を記憶する。画像２，３は、それぞれ複数の特徴点を有している。
演算部１ｂは、画像２に含まれる各特徴点を、第１の特徴点と第２の特徴点のいずれかに分類する。また、演算部１ｂは同様に、画像３に含まれる各特徴点を、第１の特徴点と第２の特徴点のいずれかに分類する（ステップＳ１）。第１の特徴点とは、輝度に基づく第１の特徴量が算出される特徴点である。第２の特徴点とは、色相に基づく第２の特徴量が算出される特徴点である。

例えば、演算部１ｂは、画像２，３に含まれる特徴点のうち、第１の特徴量の安定性が高い特徴点を第１の特徴点に分類し、第２の特徴量の安定性が高い特徴点を第２の特徴点に分類する。「特徴量の安定性が高い」とは、照明などの撮影環境の変化やノイズの発生などに対して、算出される特徴量の値が一定になりやすい（すなわち、変化しにくい）ことを意味する。

図１では例として、特徴点の分類結果が、管理テーブル４ａ，４ｂ，５ａ，５ｂを用いて管理されるものとする。具体的には、画像２に含まれる特徴点のうち、第１の特徴点に分類された特徴点（例えば、特徴点２ｂ）の識別番号が、管理テーブル４ａに登録される。また、画像２に含まれる特徴点のうち、第２の特徴点に分類された特徴点（例えば、特徴点２ａ）の識別番号が、管理テーブル４ｂに登録される。一方、画像３に含まれる特徴点のうち、第１の特徴点に分類された特徴点（例えば、特徴点３ａ）の識別番号は、管理テーブル５ａに登録される。また、画像３に含まれる特徴点のうち、第２の特徴点に分類された特徴点（例えば、特徴点３ｂ）の識別番号は、管理テーブル５ｂに登録される。

さらに、図１の例では、管理テーブル４ａ，５ａには、第１の特徴点について算出された第１の特徴量も登録され、管理テーブル４ｂ，５ｂには、第２の特徴点について算出された第２の特徴量も登録されるものとする。

次に、演算部１ｂは、画像２，３にそれぞれ含まれる第１の特徴点について算出された第１の特徴量と、画像２，３にそれぞれ含まれる第２の特徴点について算出された第２の特徴量とを用いて、画像２と画像３との類否を判断する（ステップＳ２）。図１の例では、管理テーブル４ａ，５ａに登録された第１の特徴量と、管理テーブル４ｂ，５ｂに登録された第２の特徴量とが、類否判断に用いられる。

以上の演算部１ｂの処理によれば、画像２，３の類否判断処理において、輝度に基づく第１の特徴量と色相に基づく第２の特徴量とを、画像２，３の特徴点ごとに選択的に用いることができる。これにより、第１の特徴量と第２の特徴量の一方だけを用いた場合と比較して、画像の類否判断精度を向上させることができる。

例えば、画像の領域の中には、輝度に基づく第１の特徴量を用いると類似判断精度が低下してしまう場合でも、色相に基づく第２の特徴量を用いれば、類否判断精度を改善できる領域が存在し得る。演算部１ｂの処理によれば、このような領域に含まれる特徴点を第２の特徴点に分類することで、類否判断精度を向上させることができる。

具体的な例としては、特徴点に対応する特徴量として、特徴点の周囲に画素ペアを複数設定し、各画素ペアに含まれる画素間の輝度差に基づいて第１の特徴量を算出し、各画素ペアに含まれる画素間の色相差に基づいて第２の特徴量を算出する方法がある。この場合、画素間の輝度差が小さい領域では、照明などの撮影条件の変化やノイズの発生によって、輝度差に基づいて算出される第１の特徴量の値が容易に変化し得る。しかし、このように画素間の輝度差が小さくても、画素間の色相差が大きい場合には、色相差に基づいて算出される第２の特徴量は、撮影条件の変化やノイズの発生に対して容易に変化しない。このため、このような領域に含まれる特徴点を第２の特徴点に分類して、類否判断の際に第２の特徴量が用いられるようにすることで、類否判断精度を向上させることができる。

また、例えば、各特徴点に対応する特徴量として第１の特徴量と第２の特徴量の両方を算出しておき、これら２つの特徴量を用いて画像の類否判断を行う方法も考えられる。しかし、この方法では、特徴量の計算量が多くなることで、類否判断のための処理負荷が高まり、その処理時間が長くなってしまう。これに対して、上記の演算部１ｂの処理によれば、画像２，３の各特徴点が第１の特徴点と第２の特徴点の一方にあらかじめ分類されるので、特徴点ごとに第１の特徴点と第２の特徴点の両方を計算する必要がない。このため、上記方法と比較して特徴量の計算量を低減でき、その計算にかかる時間を短縮できる。

〔第２の実施の形態〕
次に、第２の実施の形態として、記憶された複数の画像の中からキー画像が選択され、キー画像以外の画像からキー画像と類似する画像を検索する画像処理装置について説明する。なお、第２の実施の形態では、画像の特徴量としてＢＲＩＥＦをベースとした特徴量を用いるが、例えば、ＯＲＢ（Oriented fast and Rotated BRIEF）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）など、特徴点付近に設定した画素ペア間の画素値の差を２値化することで得られる他の種類のバイナリ特徴量をベースとすることもできる。

図２は、第２の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。第２の実施の形態に係る画像処理装置１００は、例えば、図２に示すようなコンピュータとして実現される。

画像処理装置１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

プロセッサ１０１には、バス１０８を介して、ＲＡＭ１０２と複数の周辺機器が接続されている。
ＲＡＭ１０２は、画像処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

バス１０８に接続されている周辺機器としては、ＨＤＤ１０３、グラフィック処理装置１０４、入力インタフェース１０５、読み取り装置１０６および通信インタフェース１０７がある。

ＨＤＤ１０３は、画像処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

グラフィック処理装置１０４には、表示装置１０４ａが接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。

通信インタフェース１０７は、ネットワーク１０７ａを介して他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、画像処理装置１００の処理機能を実現することができる。

ところで、上記の画像処理装置１００の記憶装置（例えば、ＨＤＤ１０３）には、複数の画像のデータが記憶される。これらの画像は、例えば、可搬型記録媒体１０６ａを用いて画像処理装置１００の記憶装置に格納されてもよいし、あるいは、ネットワーク１０７ａを介して画像処理装置１００の記憶装置に格納されてもよい。

記憶装置に記憶されるこれらの画像は、例えば、撮像装置によって撮像された撮像画像である。その場合、画像処理装置１００では、例えば、写真管理ソフトウェアが実行されることで次のような処理が行われる。

ユーザの入力操作により、記憶装置内の複数の撮像画像からキー画像が選択される。すると、画像処理装置１００は、記憶装置内の複数の撮像画像のうちキー画像を除く撮像画像（以下、「参照画像」と呼ぶ）から、キー画像と類似するシーンの撮像画像を抽出する。例えば、キー画像に含まれる対象物と同じ対象物が写っていると推定される参照画像が、キー画像と類似するシーンの撮像画像として抽出される。これにより、ユーザは、例えば、素材として必要な画像を画像処理装置１００内から検索したり、同じイベントの開催時の写真を集めて自動的に整理することができる。したがって、ユーザに利便性や娯楽性を提供することができる。

また、画像処理装置１００の画像検索機能は、上記のような撮像画像の管理の他、例えば、プレゼンテーション資料などの文書コンテンツの管理に利用することもできる。例えば、画像処理装置１００の記憶装置に複数の文書のデータが記憶され、これらの中からキー文書が選択される。画像処理装置１００は、例えば、文書表示時の見た目がキー文書と似ている文を含む文書をその他の文書の中から抽出することもできるし、あるいは、キー文書と同じ画像や表、グラフなどを含む文書をその他の文書の中から抽出することもできる。これにより、文書を探すための作業時間を低減できる。また、過去の文書資産の再利用が推進され、業務の効率化を図ることもできる。

また、画像処理装置１００の画像検索機能は、医療画像管理システムの付加機能として利用することもできる。例えば、複数の時期に撮影されたＣＴ（Computed Tomography）画像やＭＲＩ（Magnetic Resonance Imaging）画像上の患部を自動的に位置合わせして、患部の画像の経時変化を判断するために利用できる。

なお、このような画像処理装置１００は、例えば、パーソナルコンピュータ、スマートフォンなどのユーザによって操作される端末装置として実現される。また、画像処理装置１００は、ネットワーク上のサーバ装置として実現されてもよい。この場合、画像処理装置１００の記憶装置に記憶される画像のデータは、例えば、ユーザの端末装置からネットワークを介して画像処理装置１００にアップロードされる。

図３は、画像処理装置が備える処理機能の構成例を示すブロック図である。画像処理装置１００は、記憶部１１０、画像取得部１２１、有用度算出部１２２、特徴量選択部１２３、特徴量算出部１２４および画像認識部１２５を有する。

記憶部１１０は、画像処理装置１００が備える記憶装置（例えば、ＲＡＭ１０２またはＨＤＤ１０３）の記憶領域として実装される。記憶部１１０には、画像データ１１１、画素ペア管理テーブル１１２、中間データ管理テーブル１１３、輝度特徴量管理テーブル１１４および色相特徴量管理テーブル１１５が記憶される。

画像データ１１１は、記憶部１１０に複数記憶される。画像データ１１１はそれぞれ、類似検索に用いられる画像（以下、「記憶画像」と記載する）のデータを示す。類似検索の際には、記憶画像の中からキー画像が１つ選択され、残りの記憶画像（参照画像）の中からキー画像と類似する画像が検索される。

画素ペア管理テーブル１１２には、各記憶画像の特徴量を算出するために使用される画素ペアの座標が登録される。
中間データ管理テーブル１１３は、記憶画像ごとに用意される。中間データ管理テーブル１１３は、対応する記憶画像の特徴量を算出する過程で使用される中間データが一時的に登録される。なお、中間データとしては、後述する輝度絶対値ベクトル、色相絶対値ベクトル、輝度ノルム、色相ノルムが登録される。

輝度特徴量管理テーブル１１４および色相特徴量管理テーブル１１５は、いずれも記憶画像ごとに用意される。１つの記憶画像に対応する輝度特徴量管理テーブル１１４および色相特徴量管理テーブル１１５によって、その記憶画像内の特徴点ごとの特徴量（局所特徴量）が保持される。後述するように、本実施の形態では、記憶画像内の特徴点は、輝度に基づく輝度特徴量が算出される輝度特徴点と、色相に基づく色相特徴量が算出される色相特徴点とに分類される。輝度特徴量管理テーブル１１４には、輝度特徴点における輝度特徴量が登録され、色相特徴量管理テーブル１１５には、色相特徴点における色相特徴量が登録される。

画像取得部１２１、有用度算出部１２２、特徴量選択部１２３、特徴量算出部１２４および画像認識部１２５の処理は、例えば、所定のアプリケーションプログラムがプロセッサ１０１に実行されることによって実現される。

画像取得部１２１は、画像データ１１１を取得して記憶部１１０に格納する。例えば、画像取得部１２１は、撮像画像によって撮像された画像の画像データ１１１を、可搬型記録媒体１０６ａを介して、あるいはネットワーク１０７ａを介して取得する。

有用度算出部１２２は、記憶画像の各特徴点の局所特徴量として輝度特徴量と色相特徴量のどちらが有用かを示す有用度を算出する。特徴量選択部１２３は、算出された有用度に基づいて、各特徴点の局所特徴量として輝度特徴量と色相特徴量のいずれかを選択する。換言すると、特徴量選択部１２３は、算出された有用度に基づいて、各特徴点を輝度特徴点と色相特徴点のいずれかに分類する。

特徴量算出部１２４は、各特徴点に対応する輝度特徴量または色相特徴量を算出する。特徴量算出部１２４は、算出した輝度特徴量を輝度特徴量管理テーブル１１４に登録し、算出した色相特徴量を色相特徴量管理テーブル１１５に登録する。これにより、特徴量算出部１２４は、記憶画像ごとの特徴量を算出し、記憶部１１０に登録する。

画像認識部１２５は、キー画像の選択操作を受け付け、輝度特徴量管理テーブル１１４と色相特徴量管理テーブル１１５を参照しながら、選択されたキー画像以外の記憶画像の中からキー画像と類似する類似画像を検索する。

＜特徴量算出処理＞
次に、画像処理装置１００による特徴量算出処理について説明する。
まず、特徴領域における画素ペアの設定方法について説明する。本実施の形態では、特徴量としてＢＲＩＥＦを用いた場合と同様の方法で、次のようにして画素ペアが設定される。

記憶画像には、複数の特徴点が設定され、特徴点ごとに局所特徴量が算出される。特徴点は、複数の記憶画像に対して共通に設定される。本実施の形態では例として、記憶画像上に等間隔（例えば、２４画素間隔）で特徴点を設定するＤｅｎｓｅ Ｓａｍｐｌｉｎｇが用いられるものとする。

また、各特徴点を中心とする一定領域が特徴領域に設定される。特徴領域は、例えば、特徴点を中心とする４８画素四方の矩形領域とされる。さらに、特徴領域の内部には、複数の画素ペアがあらかじめ設定される。ある特徴点の局所特徴量は、対応する特徴領域内の各画素ペアの画素値の差に基づく符号を組み合わせて構成されたビット列として算出される。なお、ＢＲＩＥＦでは、ビット列の各ビット値は輝度差に基づいて決定されるが、本実施の形態では、特徴点によって、各ビット値が輝度差に基づいて決定される場合と、各ビット値が色相差に基づいて決定される場合とがある。

図４は、画素ペア管理テーブルの構成例を示す図である。画素ペアに含まれる各画素の座標は、画素ペア管理テーブル１１２にあらかじめ登録される。図４に示すように、画素ペア管理テーブル１１２には、画素ペアを識別するためのＩＤと、画素ペアに含まれる第１画素および第２画素の各座標とが登録される。画素ペアは、例えば、ランダムに設定される。画素ペア管理テーブル１１２に登録された画素ペアの情報は、すべての特徴領域に対して共通に適用される。

次に、画素ペア管理テーブル１１２を用いた局所特徴量算出処理について説明する。以下の説明では、まず、図５、図６を用いて局所特徴量算出処理の比較例について説明した後、図７〜図１１を用いて本実施の形態における局所特徴量算出処理について説明する。

図５は、局所特徴量算出処理の比較例について説明するための図である。この図５では、局所特徴量としてＢＲＩＥＦを用い、画像２００における各特徴点の局所特徴量を、この画像２００に対応する特徴量管理テーブル２１０に登録する処理の例を示す。

例えば、画像２００に設定された特徴点２０１の局所特徴量は、次のようにして算出される。まず、特徴点２０１に対応する特徴領域２０２について、各画素ペアの輝度差が計算される（ステップＳ１１）。画素ペアの輝度差は、例えば、画素ペア管理テーブル１１２における第１画素の輝度値から第２画素の輝度値を減算することで得られる。

次に、算出された輝度差の符号に応じたビット値を組み合わせることで、ビット列２０３が生成される（ステップＳ１２）。具体的には、輝度差が正値の場合、ビット値は１に設定され、輝度差が０以下の場合、ビット値は０に設定される。ビット値は、画素ペア順に決定されてビット列２０３に付加される。例えば、Ｍ組の画素ペアが設定されている場合、Ｍビットのビット列２０３が生成される。次に、生成されたビット列２０３は、特徴点２０１の局所特徴量として特徴量管理テーブル２１０に登録される（ステップＳ１３）。

このようにして、画像２００に設定されたすべての特徴点に対応する局所特徴量（ビット列）が算出され、画像２００に対応する特徴量として特徴量管理テーブル２１０に記録される。

しかしながら、上記のように、局所特徴量の各ビット値を輝度差の符号から決定する場合には、各画素の輝度差が小さい領域では、画素間の輝度差が０に近くなる。そのため、光源などの撮影条件の微妙な違いやノイズ発生などによって、ビット値が容易に変化しやすくなり、局所特徴量の値が不安定になる。その結果、画像認識精度の劣化につながるという問題がある。

その一方、画像の領域の中には、各画素の輝度差は小さいものの色相差は大きいという領域が存在し得る。例えば、標識や看板など、人手によってデザインされたものは、同一のトーンに含まれる色が使用されることが多い。同一のトーンには、色相差が大きい色同士が含まれているため、人手によってデザインされたものが写っている領域においては、各画素の輝度差は小さいものの色相差は大きいという領域が発生しやすい。

図６は、標識の例を示す図である。図６（Ａ）に示す標識３００は、輝度差が大きい２つの色をそれぞれ用いた領域３０１，３０２を含んでいる。例えば、領域３０１，３０２の境界を含むような特徴領域３０３が設定された場合、この特徴領域３０３では画素ペアに含まれる画素間の輝度差が大きくなりやすい。このため、輝度差を用いた場合でも安定的な局所特徴量を算出できる可能性が高い。すなわち、照明が変動したりノイズが発生した場合でも、同一値の局所特徴量が算出される可能性が高い。

一方、図６（Ｂ）に示す標識３１０は、色相差は大きいものの輝度差は小さい２つの色をそれぞれ用いた領域３１１，３１２を含んでいる。例えば、領域３１１，３１２の境界を含むような特徴領域３１３が設定された場合、この特徴領域３１３では画素ペアに含まれる画素間の輝度差が小さくなるので、輝度差を用いて算出された局所特徴量は不安定になりやすい。すなわち、照明が変動したりノイズが発生した場合、算出される局所特徴量の値が変わってしまう可能性が高い。

この特徴領域３１３のように、各画素の輝度差は小さいものの色相差は大きいという領域では、色相差に基づいて局所特徴量を算出することで、照明変動やノイズに対して安定性の高い特徴量を得ることが可能である。そこで、本実施の形態では、輝度差に基づく局所特徴量だけでなく、色相差に基づく局所特徴量も用いて画像類否判断を実行することで、その判断精度を向上させる。

以下、輝度差に基づく局所特徴量を「輝度特徴量」と記載し、色相差に基づく局所特徴量を「色相特徴量」と記載する。輝度特徴量は、画素ペアに含まれる各画素の輝度差の符号に基づいてビット値が決定される局所特徴量、すなわちＢＲＩＥＦである。一方、色相特徴量は、画素ペアに含まれる各画素の色相差の符号に基づいてビット値が決定される局所特徴量である。

ここで、輝度特徴量と色相特徴量を両方用いる方法の一例としては、各特徴点について輝度特徴量と色相特徴量の両方を算出しておき、画像類否判断の際に両方の局所特徴量を使用する方法も考えられる。しかし、この方法では、局所特徴量の計算量が多くなることで、類否判断のための処理負荷が高まり、その処理時間が長くなってしまう。

そこで、本実施の形態の画像処理装置１００は、特徴点ごとに、輝度特徴量と色相特徴量のどちらを用いた方が適切かを示す「有用度」を算出する。そして、画像処理装置１００は、有用度に基づいて、特徴点ごとに輝度特徴量と色相特徴量とを選択的に算出し、算出された局所特徴量を画像認識処理に用いるようにする。以下、図７、図８を用いて、有用度算出部１２２による有用度の算出処理について説明する。

図７は、絶対値ベクトルの算出処理について説明するための図である。有用度算出部１２２は、有用度を算出するための中間データとして、記憶画像内の特徴点ごとに輝度絶対値ベクトルと色相絶対値ベクトルを算出する。輝度絶対値ベクトルと色相絶対値ベクトルは、ともに、特徴領域内の各画素ペアに対応するビット値が組み合わされたビット列である。したがって、輝度絶対値ベクトルと色相絶対値ベクトルは、局所特徴量と同じケタ数を有する。

例えば、有用度算出部１２２は、画像２００に設定された特徴点２０１に対応する特徴領域２０２を特定する。有用度算出部１２２は、特徴領域２０２の輝度データを用いて、画素ペアごとに、画素ペアに含まれる各画素の輝度差の絶対値を算出する。そして、有用度算出部１２２は、算出された輝度差の絶対値を０より大きい所定の閾値と比較し、輝度差の絶対値が閾値以上の場合、対応するビット値を１に設定し、輝度差の絶対値が閾値未満の場合、対応するビット値を０に設定する（ステップＳ２１）。このような手順で画素ペアごとのビット値が決定されることで、輝度絶対値ベクトルが算出される。

また、有用度算出部１２２は、特徴領域２０２の色相データを用いて、画素ペアごとに、画素ペアに含まれる各画素の色相差の絶対値を算出する。そして、有用度算出部１２２は、算出された色相差の絶対値を上記の閾値と比較し、色相差の絶対値が閾値以上の場合、対応するビット値を１に設定し、色相差の絶対値が閾値未満の場合、対応するビット値を０に設定する（ステップＳ２２）。このような手順で画素ペアごとのビット値が決定されることで、色相絶対値ベクトルが算出される。

輝度絶対値ベクトルのビット値が１であることは、そのビット値に対応する画素ペアについての輝度差が大きいことを示す。したがって、輝度絶対値ベクトルに含まれるビット値「１」の数が多いほど、対応する特徴点における輝度特徴量の安定性が高い（すなわち、輝度特徴量の有用度が高い）ことを示す。また、色相絶対値ベクトルのビット値が１であることは、そのビット値に対応する画素ペアについての色相差が大きいことを示す。したがって、色相絶対値ベクトルに含まれるビット値「１」の数が多いほど、対応する特徴点における色相特徴量の安定性が高い（すなわち、色相特徴量の有用度が高い）ことを示す。

図８は、中間データ管理テーブルの構成例を示す図である。有用度算出部１２２は、ある記憶画像についての有用度を算出する際に、その記憶画像に対応する中間データ管理テーブル１１３を作成し、記憶部１１０に格納する。中間データ管理テーブル１１３には、特徴点を識別するためのＩＤ、特徴点の座標、輝度絶対値ベクトル、輝度ノルム、色相絶対値ベクトルおよび色相ノルムが登録される。

中間データ管理テーブル１１３には、記憶画像に設定される各特徴点に対応するレコードがあらかじめ作成され、有用度算出部１２２は、特徴点ごとに算出された輝度絶対値ベクトルと色相絶対値ベクトルを、対応するレコードに登録する。また、輝度ノルムは、輝度絶対値ベクトルのノルムを示し、色相ノルムは、色相絶対値ベクトルのノルムを示す。「ノルム」とは、ビット列に含まれる「１」の数を示す。したがって、輝度ノルムは輝度特徴量の有用度を示し、色相ノルムは色相特徴量の有用度を示す。すなわち、輝度ノルムが大きいほど輝度特徴量の安定性が高いことを示し、色相ノルムが大きいほど色相特徴量の安定性が高いことを示す。

有用度算出部１２２は、特徴点ごとに、輝度絶対値ベクトルに基づいて輝度ノルムを算出し、色相絶対値ベクトルに基づいて色相ノルムを算出して、特徴点に対応するレコードに登録する。次の図９に示すように、輝度ノルムと色相ノルムは、特徴点に対応する局所特徴量として輝度特徴量と色相特徴量のどちらを選択するかを決定するために利用される。

図９は、局所特徴量の選択処理について説明するための図である。特徴量選択部１２３は、特徴量ごとに算出された輝度ノルムと色相ノルムとを比較し、輝度ノルムの方が大きい場合には局所特徴量として輝度特徴量を選択し、輝度ノルムが色相ノルム以下の場合には局所特徴量として色相特徴量を選択する。

以下、輝度特徴量が選択された特徴点を「輝度特徴点」と記載し、色相特徴量が選択された特徴点を「色相特徴点」と記載する。特徴量選択部１２３の処理により、記憶画像内の各特徴点は輝度特徴点と色相特徴点のいずれかに分類される。図９の例では、画像２００の特徴点＃１は、輝度ノルムより色相ノルムの方が大きいため、色相特徴点に分類される。特徴点＃２は、色相ノルムより輝度ノルムの方が大きいため、輝度特徴点に分類される。特徴点＃３は、輝度ノルムより色相ノルムの方が大きいため、色相特徴点に分類される。特徴点＃４は、色相ノルムより輝度ノルムの方が大きいため、輝度特徴点に分類される。

図１０は、輝度特徴量管理テーブルおよび色相特徴量管理テーブルの構成例を示す図である。特徴量選択部１２３は、ある記憶画像上の各特徴点について、上記のような局所特徴量の選択処理を実行する際に、その記憶画像にそれぞれ対応する輝度特徴量管理テーブル１１４および色相特徴量管理テーブル１１５を作成し、記憶部１１０に格納する。輝度特徴量管理テーブル１１４には、輝度特徴点を識別するためのＩＤと、輝度特徴点の座標と、輝度特徴量とが登録される。色相特徴量管理テーブル１１５には、色相特徴点を識別するためのＩＤと、色相特徴点の座標と、色相特徴量とが登録される。

特徴量選択部１２３は、特徴点を輝度特徴点に分類すると、輝度特徴量管理テーブル１１４にレコードを追加し、そのレコードに輝度特徴点のＩＤおよび座標を登録する。その後、特徴量算出部１２４によって輝度特徴点に対応する輝度特徴量が算出されると、その輝度特徴量が該当レコードに登録される。

また、特徴量選択部１２３は、特徴点を色相特徴点に分類すると、色相特徴量管理テーブル１１５にレコードを追加し、そのレコードに色相特徴点のＩＤおよび座標を登録する。その後、特徴量算出部１２４によって色相特徴点に対応する色相特徴量が算出されると、その色相特徴量が該当レコードに登録される。

図１１は、局所特徴量の算出処理について説明するための図である。例えば、特徴量算出部１２４は、画像２００に設定された特徴点２０４が輝度特徴点に分類されている場合、特徴点２０４に対応する特徴領域の輝度データに基づいて、輝度特徴量（ＢＲＩＥＦ）２０４ａを算出する。特徴量算出部１２４は、算出された輝度特徴量２０４ａを、輝度特徴量管理テーブル１１４の特徴点２０４に対応するレコードに登録する（ステップＳ３１）。

また、例えば、特徴量算出部１２４は、画像２００に設定された特徴点２０５が色相特徴点に分類されている場合、特徴点２０５に対応する特徴領域の色相データに基づいて、色相特徴量２０５ａを算出する。特徴量算出部１２４は、算出された色相特徴量２０５ａを、色相特徴量管理テーブル１１５の特徴点２０５に対応するレコードに登録する（ステップＳ３２）。

以上の手順により、記憶画像ごとの特徴量が算出されて記憶部１１０に登録される。
＜画像認識処理＞
次に、図１２〜図１４を用いて、画像認識部１２５による画像認識処理について説明する。

図１２は、対応点の抽出処理について説明するための図である。画像認識部１２５は、ユーザの操作入力に応じて記憶画像からキー画像を選択する。そして、画像認識部１２５は、選択したキー画像と他の撮像画像（参照画像）とを比較し、参照画像の中からキー画像と類似する画像を探索する。

キー画像と参照画像との比較では、画像間で類似する特徴点が探索される。この処理では、画像認識部１２５は、キー画像から選択した特徴点の局所特徴量と、参照画像の各特徴点の局所特徴量とのハミング距離を計算し、参照画像の特徴点のうちハミング距離が最小の特徴点を、類似度が最も高い対応点として抽出する。

図１２では、参照画像２３０からキー画像２２０上の特徴点に対応する対応点を抽出する処理を例示している。本実施の形態では、前述のように、キー画像２２０上の特徴点と参照画像２３０上の特徴点は、輝度特徴点と色相特徴点のいずれかに分類されている。

そこで、画像認識部１２５は、参照画像２３０上の特徴点のうち輝度特徴点の中から、キー画像２２０上の特徴点のうち輝度特徴点にそれぞれ対応する対応点を抽出する（Ｓ４１ａ）。この対応点の抽出では、キー画像２２０上の輝度特徴点について算出された輝度特徴量と、参照画像２３０上の輝度特徴点について算出された輝度特徴量とが比較される。また、画像認識部１２５は、参照画像２３０上の特徴点のうち色相特徴点の中から、キー画像２２０上の特徴点のうち色相特徴点にそれぞれ対応する対応点を抽出する（Ｓ４２ａ）。この対応点の抽出では、キー画像２２０上の色相特徴点について算出された色相特徴量と、参照画像２３０上の色相特徴点について算出された色相特徴量とが比較される。

次に、画像認識部１２５は、キー画像２２０上の輝度特徴点ごとに次のような処理を実行する。画像認識部１２５は、キー画像２２０上の輝度特徴点と参照画像２３０上の対応点とが一致するように参照画像２３０にキー画像２２０を重ねた場合の、参照画像２３０におけるキー画像２２０の中心位置を推定する。画像認識部１２５は、参照画像２３０の各画素のうち、推定された中心位置の画素に対して投票する（ステップＳ４１ｂ）。投票数は、例えば、投票マップ２４０を用いて管理される。

また、キー画像２２０上の色相特徴点についても同様の処理が実行される。すなわち、画像認識部１２５は、キー画像２２０上の色相特徴点ごとに次のような処理を実行する。画像認識部１２５は、キー画像２２０上の色相特徴点と参照画像２３０上の対応点とが一致するように参照画像２３０にキー画像２２０を重ねた場合の、参照画像２３０におけるキー画像２２０の中心位置を推定する。画像認識部１２５は、参照画像２３０の各画素のうち、推定された中心位置の画素に対して投票する（ステップＳ４２ｂ）。投票数は、共通の投票マップ２４０を用いて管理される。

画像認識部１２５は、以上のような投票の結果に基づき、参照画像２３０の画素の中から投票数が最大の画素を判別し、判別した画素の投票数が所定の閾値を超えている場合に、参照画像２３０をキー画像２２０に類似する画像と判定する。

図１３は、投票処理を説明するための図である。図１３では、キー画像２２０の特徴点２２１と類似する参照画像２３０の対応点を探索する処理の例を示す。なお、特徴点２２１は、輝度特徴点と色相特徴点のいずれかである。画像認識部１２５は、例えば、キー画像２２０の特徴点２２１の局所特徴量と、参照画像２３０の各特徴点の局所特徴量とのハミング距離を計算することで、対応点を探索する（ステップＳ５１）。

キー画像２２０の特徴点２２１に対する対応点として、参照画像２３０の特徴点２３１が抽出されたものとする。このとき、画像認識部１２５は、特徴点２２１と特徴点２３１（対応点）とが一致するように参照画像２３０にキー画像２２０を重ねた場合の、参照画像２３０におけるキー画像２２０の中心位置２２２を推定する（ステップＳ５２）。

ここで、参照画像の横幅および高さの画素数をそれぞれｗｉ，ｈｉとし、キー画像の横幅および高さの画素数をそれぞれｗｒ，ｈｒとする。キー画像の特徴点（ｘｒ，ｙｒ）に対応する参照画像の対応点として参照画像の特徴点（ｘｉ，ｙｉ）が探索されたとすると、参照画像におけるキー画像の中心点の位置（ｘｖ，ｙｖ）は、次の式（１），（２）を用いて算出される。
ｘｖ＝ｘｉ・ｘｒ＋（ｗｒ／２） ・・・（１）
ｙｖ＝ｙｉ・ｙｒ＋（ｈｒ／２） ・・・（２）
図１３の特徴点２２１と特徴点２３１との対応関係に基づいて、参照画像２３０におけるキー画像２２０の中心位置として画素２３２が推定されたとすると、画像認識部１２５は、参照画像２３０の画素のうち、画素２３２に対して投票する。この投票処理には、例えば、前述の投票マップ２４０が用いられる。投票マップ２４０は、参照画像２３０の各画素に対応するエントリを有する。投票マップ２４０の各エントリの初期値は０とされる。図１３の処理では、投票マップ２４０における画素２３２に対応するエントリに１が加算される（ステップＳ５３）。

なお、実際には、画像認識部１２５は、例えば、画素２３２を中心とした所定領域（例えば、１０画素四方の矩形領域）に含まれる各画素に投票してもよい。これにより、キー画像２２０と参照画像２３０との違いに対してある程度ロバストな認識処理を行うことが可能になる。

図１４は、投票結果に基づく類似画像の判定処理について説明するための図である。図１４に示す投票マップ２４０ａは、図１３に示すような処理がキー画像２２０の各特徴点について実行された後の投票マップ２４０の状態を示す。画像認識部１２５は、投票マップ２４０ａにおける各画素についての投票数のうちの最大値を抽出し、この最大値が所定の閾値を超えているかを判定する。

キー画像２２０と参照画像２３０とに同じ対象物が写っている場合、キー画像２２０の特徴点と参照画像２３０の対応点との位置関係が、キー画像の特徴点間で同じ場合が多い。この場合、投票マップ２４０ａにおける同じ画素に対応するエントリに投票数が集中する。一方、キー画像２２０と参照画像２３０との関連性が低い場合、キー画像２２０の特徴点と参照画像２３０の対応点との位置関係が、キー画像２２０の特徴点間で異なる場合が多い。この場合、投票マップ２４０ａにおいて投票数が分散する。

したがって、投票マップ２４０ａにおける投票数の最大値が閾値を超えた場合には、投票数が同じ画素に集中していると推定されるため、キー画像２２０と参照画像２３０とに同じ対象物が写っている可能性が高いと判断できる。このことから、画像認識部１２５は、投票数の最大値が閾値を超えた場合、参照画像２３０をキー画像２２０に類似する画像であると判定する。

なお、実際には、参照画像２３０における特徴点の数によって投票数の最大値が影響を受けることから、例えば、参照画像２３０における特徴点の数で投票数を除算するなどの正規化処理が行われた上で、閾値との比較が行われることが望ましい。

＜フローチャート＞
次に、画像処理装置１００の処理についてフローチャートを用いて説明する。
図１５は、特徴量算出処理の例を示すフローチャートである。

［ステップＳ１０１］特徴量算出部１２４は、記憶画像を１つ選択する。
［ステップＳ１０２］有用度算出部１２２は、記憶画像上の各特徴点について、輝度特徴量の有用度と色相特徴量の有用度とを算出する。

［ステップＳ１０３］特徴量選択部１２３は、ステップＳ１０２で算出された有用度に基づいて、記憶画像上の各特徴点に対応する局所特徴量として、輝度特徴量と色相特徴量のいずれかを選択する。すなわち、特徴量選択部１２３は、記憶画像上の各特徴点を輝度特徴点と色相特徴点のいずれかに分類する。

［ステップＳ１０４］特徴量算出部１２４は、輝度特徴点における輝度特徴量を算出し、選択された記憶画像に対応する輝度特徴量管理テーブル１１４に登録する。また、特徴量算出部１２４は、色相特徴点における色相特徴量を算出し、選択された記憶画像に対応する色相特徴量管理テーブル１１５に登録する。

［ステップＳ１０５］特徴量算出部１２４は、記憶部１１０に記憶されている記憶画像のすべてについてステップＳ１０１〜Ｓ１０４の処理を実行したかを判定する。未実行の記憶画像がある場合、特徴量算出部１２４は、ステップＳ１０１の処理を実行して、未実行の記憶画像を１つ選択する。一方、すべての記憶画像について処理を実行済みである場合、特徴量算出部１２４は処理を終了する。

図１６は、有用度算出処理の例を示すフローチャートである。この図１６の処理は、図１５のステップＳ１０２の処理に対応する。
［ステップＳ１１１］有用度算出部１２２は、ステップＳ１０１で選択した記憶画像から特徴点を１つ選択する。

［ステップＳ１１２］有用度算出部１２２は、画素ペア管理テーブル１１２から画素ペアを１つ選択する。
［ステップＳ１１３］有用度算出部１２２は、ステップＳ１１１で選択した特徴点を中心とした一定範囲の特徴領域から、ステップＳ１１２で選択した画素ペアに対応する２つの画素を選択し、選択した各画素間の輝度差の絶対値を計算する。輝度差は、画素ペアに含まれる画素のうち、第１画素の輝度値から第２画素の輝度値を減算することで算出される。

有用度算出部１２２は、算出された輝度差の絶対値を０より大きい所定の閾値と比較する。有用度算出部１２２は、輝度差の絶対値が閾値以上の場合、ビット値を「１」に決定し、輝度差の絶対値が閾値未満の場合、ビット値を「０」に決定する。有用度算出部１２２は、決定されたビット値を、輝度特徴点に対応する輝度絶対値ベクトルを示すビット列の下位に付加する。

［ステップＳ１１４］有用度算出部１２２は、ステップＳ１１１で選択した特徴点を中心とした一定範囲の特徴領域から、ステップＳ１１２で選択した画素ペアに対応する２つの画素を選択し、選択した各画素間の色相差の絶対値を計算する。色相差は、画素ペアに含まれる画素のうち、第１画素の色相値から第２画素の色相値を減算することで算出される。

有用度算出部１２２は、算出された色相差の絶対値を０より大きい所定の閾値と比較する。有用度算出部１２２は、色相差の絶対値が閾値以上の場合、ビット値を１に決定し、色相差の絶対値が閾値未満の場合、ビット値を０に決定する。有用度算出部１２２は、決定されたビット値を、色相特徴点に対応する色相絶対値ベクトルを示すビット列の下位に付加する。

［ステップＳ１１５］有用度算出部１２２は、画素ペア管理テーブル１１２に登録されたすべての画素ペアについてステップＳ１１２〜Ｓ１１４の処理を実行したかを判定する。未実行の画素ペアがある場合、有用度算出部１２２は、ステップＳ１１２の処理を実行して、未実行の画素ペアを選択する。

一方、すべての画素ペアについて処理を実行済みの場合、有用度算出部１２２は、中間データ管理テーブル１１３からステップＳ１１１で選択した特徴点に対応するレコードを特定する。有用度算出部１２２は、特定したレコードに対して、ステップＳ１１３の処理により生成された輝度絶対値ベクトルと、ステップＳ１１４の処理により生成された色相絶対値ベクトルとを登録する。そして、有用度算出部１２２は、ステップＳ１１６の処理を実行する。

［ステップＳ１１６］有用度算出部１２２は、輝度絶対値ベクトルのノルムを輝度ノルムとして算出し、ステップＳ１１５で特定したレコードに登録する。
［ステップＳ１１７］有用度算出部１２２は、色相絶対値ベクトルのノルムを色相ノルムとして算出し、ステップＳ１１５で特定したレコードに登録する。

［ステップＳ１１８］有用度算出部１２２は、ステップＳ１１１〜Ｓ１１７の処理をすべての特徴点について実行したかを判定する。未実行の特徴点がある場合、有用度算出部１２２は、ステップＳ１１１の処理を実行して、未実行の特徴点を選択する。一方、すべての特徴点について処理を実行済みの場合、有用度算出部１２２は処理を終了する。

以上の図１６の処理により、記憶画像に対応する中間データ管理テーブル１１３において、すべての特徴点について、輝度特徴量の有用度を示す輝度ノルムと、色相特徴量の有用度を示す色相ノルムとが登録される。

図１７は、特徴量選択処理の例を示すフローチャートである。この図１７の処理は、図１５のステップＳ１０３の処理に対応する。
［ステップＳ１２１］特徴量選択部１２３は、ステップＳ１０１で選択した記憶画像から特徴点を１つ選択する。実際の処理としては、特徴量選択部１２３は、図１６の処理によって作成された中間データ管理テーブル１１３から、レコードを１つ選択する。

［ステップＳ１２２］特徴量選択部１２３は、ステップＳ１２１で選択したレコードから輝度ノルムと色相ノルムを読み出し、輝度ノルムが色相ノルムより大きいかを判定する。特徴量選択部１２３は、輝度ノルムが色相ノルムより大きい場合、ステップＳ１２３の処理を実行し、輝度ノルムが色相ノルム以下の場合、ステップＳ１２４の処理を実行する。

［ステップＳ１２３］特徴量選択部１２３は、ステップＳ１２１で選択した特徴点に対応する局所特徴量として、輝度特徴量を選択する。このとき、特徴量選択部１２３は、ステップＳ１０１で選択した記憶画像に対応する輝度特徴量管理テーブル１１４に、レコードを１つ追加する。特徴量選択部１２３は、追加したレコードに、ステップＳ１２１で選択した特徴点を示すＩＤと、この特徴点の座標とを登録する。

［ステップＳ１２４］特徴量選択部１２３は、ステップＳ１２１で選択した特徴点に対応する局所特徴量として、色相特徴量を選択する。このとき、特徴量選択部１２３は、ステップＳ１０１で選択した記憶画像に対応する色相特徴量管理テーブル１１５に、レコードを１つ追加する。特徴量選択部１２３は、追加したレコードに、ステップＳ１２１で選択した特徴点を示すＩＤと、この特徴点の座標とを登録する。

［ステップＳ１２５］特徴量選択部１２３は、ステップＳ１２１〜Ｓ１２４の処理をすべての特徴点について実行したかを判定する。未実行の特徴点がある場合、特徴量選択部１２３は、ステップＳ１２１の処理を実行して、未実行の特徴点を選択する。一方、すべての特徴点について処理を実行済みの場合、特徴量選択部１２３は処理を終了する。

以上の図１７の処理により、記憶画像内のすべての特徴点が、有用度の比較に基づいて輝度特徴点と色相特徴点のいずれかに分類される。ステップＳ１２３では、輝度特徴点に分類された特徴点の座標が輝度特徴量管理テーブル１１４に登録され、ステップＳ１２４では、色相特徴点に分類された特徴点の座標が色相特徴量管理テーブル１１５に登録される。そして、次の図１８の処理により、輝度特徴点および色相特徴点のそれぞれに対応する局所特徴量が算出され、輝度特徴量管理テーブル１１４と色相特徴量管理テーブル１１５のいずれかに登録される。

図１８は、特徴量登録処理の例を示すフローチャートである。この図１８の処理は、図１５のステップＳ１０４の処理に対応する。
［ステップＳ１３１］特徴量算出部１２４は、ステップＳ１０１で選択した記憶画像から輝度特徴点を１つ選択する。実際の処理としては、特徴量算出部１２４は、ステップＳ１０１で選択した記憶画像に対応する輝度特徴量管理テーブル１１４から、レコードを１つ選択する。

［ステップＳ１３２］特徴量算出部１２４は、画素ペア管理テーブル１１２から画素ペアを１つ選択する。
［ステップＳ１３３］特徴量算出部１２４は、ステップＳ１３１で選択した輝度特徴点を中心とした一定範囲の特徴領域から、ステップＳ１３２で選択した画素ペアに対応する２つの画素を選択し、選択した各画素間の輝度差を計算する。輝度差は、画素ペアに含まれる画素のうち、第１画素の輝度値から第２画素の輝度値を減算することで算出される。

特徴量算出部１２４は、算出された輝度差が０より大きい場合、ビット値を１に決定し、算出された輝度差が０以下の場合、ビット値を０に決定する。特徴量算出部１２４は、決定されたビット値を、輝度特徴点に対応する輝度特徴量を示すビット列の下位に付加する。

［ステップＳ１３４］特徴量算出部１２４は、画素ペア管理テーブル１１２に登録されたすべての画素ペアについてステップＳ１３２，Ｓ１３３の処理を実行したかを判定する。未実行の画素ペアがある場合、特徴量算出部１２４は、ステップＳ１３２の処理を実行して、未実行の画素ペアを選択する。

一方、すべての画素ペアについて処理を実行済みの場合には、ステップＳ１３３でのビット列の生成が完了している。この場合、特徴量算出部１２４は、ステップＳ１３１で輝度特徴量管理テーブル１１４から選択したレコードに、生成されたビット列を輝度特徴量として登録する。

［ステップＳ１３５］特徴量算出部１２４は、ステップＳ１３１〜Ｓ１３４の処理をすべての輝度特徴点について実行したかを判定する。未実行の輝度特徴点がある場合、特徴量算出部１２４は、ステップＳ１３１の処理を実行して、未実行の輝度特徴点を選択する。一方、すべての輝度特徴点について処理を実行済みの場合、特徴量算出部１２４は、ステップＳ１３６の処理を実行する。

［ステップＳ１３６］特徴量算出部１２４は、ステップＳ１０１で選択した記憶画像から色相特徴点を１つ選択する。実際の処理としては、特徴量算出部１２４は、ステップＳ１０１で選択した記憶画像に対応する色相特徴量管理テーブル１１５から、レコードを１つ選択する。

［ステップＳ１３７］特徴量算出部１２４は、画素ペア管理テーブル１１２から画素ペアを１つ選択する。
［ステップＳ１３８］特徴量算出部１２４は、ステップＳ１３６で選択した色相特徴点を中心とした一定範囲の特徴領域から、ステップＳ１３７で選択した画素ペアに対応する２つの画素を選択し、選択した各画素間の色相差を計算する。色相差は、画素ペアに含まれる画素のうち、第１画素の色相値から第２画素の色相値を減算することで算出される。

特徴量算出部１２４は、算出された色相差が０より大きい場合、ビット値を１に決定し、算出された色相差が０以下の場合、ビット値を０に決定する。特徴量算出部１２４は、決定されたビット値を、色相特徴点に対応する色相特徴量を示すビット列の下位に付加する。

［ステップＳ１３９］特徴量算出部１２４は、画素ペア管理テーブル１１２に登録されたすべての画素ペアについてステップＳ１３７，Ｓ１３８の処理を実行したかを判定する。未実行の画素ペアがある場合、特徴量算出部１２４は、ステップＳ１３７の処理を実行して、未実行の画素ペアを選択する。

一方、すべての画素ペアについて処理を実行済みの場合には、ステップＳ１３８でのビット列の生成が完了している。この場合、特徴量算出部１２４は、ステップＳ１３６で色相特徴量管理テーブル１１５から選択したレコードに、生成されたビット列を色相特徴量として登録する。

［ステップＳ１４０］特徴量算出部１２４は、ステップＳ１３６〜Ｓ１３９の処理をすべての色相特徴点について実行したかを判定する。未実行の色相特徴点がある場合、特徴量算出部１２４は、ステップＳ１３６の処理を実行して、未実行の色相特徴点を選択する。一方、すべての色相特徴点について処理を実行済みの場合、特徴量算出部１２４は処理を終了する。

以上の図１８の処理により、記憶画像内のすべての特徴点について、輝度特徴量または色相特徴量のいずれかが算出され、記憶部１１０に登録される。
図１９、図２０は、画像認識処理の例を示すフローチャートである。

［ステップＳ１５１］画像認識部１２５は、ユーザの操作入力に応じて記憶画像からキー画像を選択する。
［ステップＳ１５２］画像認識部１２５は、キー画像以外の記憶画像（参照画像）の中から１つを選択する。

［ステップＳ１５３］画像認識部１２５は、キー画像の輝度特徴量管理テーブル１１４に基づいて、キー画像の輝度特徴点を１つ選択する。
［ステップＳ１５４］画像認識部１２５は、ステップＳ１５２で選択した参照画像内の輝度特徴点の中から、ステップＳ１５３でキー画像から選択した輝度特徴点に類似する特徴点（対応点）を探索する。この処理では、画像認識部１２５は、キー画像に対応する輝度特徴量管理テーブル１１４と参照画像に対応する輝度特徴量管理テーブル１１４とを参照する。画像認識部１２５は、キー画像から選択した輝度特徴点に対応する輝度特徴量と、参照画像の各輝度特徴点に対応する輝度特徴量とのハミング距離を計算し、参照画像の輝度特徴点のうちハミング距離が最小の特徴点を、類似度が最も高い対応点として抽出する。

［ステップＳ１５５］画像認識部１２５は、ステップＳ１５３で選択した輝度特徴点とステップＳ１５４で探索された対応点とが一致するように参照画像にキー画像を重ねた場合の、参照画像におけるキー画像の中心位置を推定する。画像認識部１２５は、参照画像の各画素のうち、推定された中心位置の画素に対して投票する。なお、実際には、画像認識部１２５は、例えば、推定された中心位置を中心とした所定領域（例えば、１０画素四方の矩形領域）に含まれる各画素に投票してもよい。

［ステップＳ１５６］画像認識部１２５は、キー画像内のすべての輝度特徴点についてステップＳ１５３〜Ｓ１５５の処理を実行したかを判定する。未実行の輝度特徴点がある場合、画像認識部１２５は、ステップＳ１５３の処理を実行して、未実行の輝度特徴点を選択する。一方、すべての輝度特徴点について処理を実行済みの場合、画像認識部１２５は、図２０のステップＳ１６１の処理を実行する。

以下、図２０を参照して説明を続ける。
［ステップＳ１６１］画像認識部１２５は、キー画像の色相特徴量管理テーブル１１５に基づいて、キー画像の色相特徴点を１つ選択する。

［ステップＳ１６２］画像認識部１２５は、ステップＳ１５２で選択した参照画像内の色相特徴点の中から、ステップＳ１６１でキー画像から選択した色相特徴点に類似する特徴点（対応点）を探索する。この処理では、画像認識部１２５は、キー画像に対応する色相特徴量管理テーブル１１５と参照画像に対応する色相特徴量管理テーブル１１５とを参照する。画像認識部１２５は、キー画像から選択した色相特徴点に対応する色相特徴量と、参照画像の各色相特徴点に対応する色相特徴量とのハミング距離を計算し、参照画像の色相特徴点のうちハミング距離が最小の特徴点を、類似度が最も高い対応点として抽出する。

［ステップＳ１６３］画像認識部１２５は、ステップＳ１６１で選択した色相特徴点とステップＳ１６２で探索された対応点とが一致するように参照画像にキー画像を重ねた場合の、参照画像におけるキー画像の中心位置を推定する。画像認識部１２５は、参照画像の各画素のうち、推定された中心位置の画素に対して投票する。なお、実際には、画像認識部１２５は、例えば、推定された中心位置を中心とした所定領域（例えば、１０画素四方の矩形領域）に含まれる各画素に投票してもよい。

［ステップＳ１６４］画像認識部１２５は、キー画像内のすべての色相特徴点についてステップＳ１６１〜Ｓ１６３の処理を実行したかを判定する。未実行の色相特徴点がある場合、画像認識部１２５は、ステップＳ１６１の処理を実行して、未実行の色相特徴点を選択する。一方、すべての色相特徴点について処理を実行済みの場合、画像認識部１２５は、ステップＳ１６５の処理を実行する。

［ステップＳ１６５］画像認識部１２５は、ステップＳ１５２で選択した参照画像の各画素についての投票数の最大値が所定の閾値を超えている場合、この参照画像をキー画像に類似する画像と判定する。この場合、画像認識部１２５は、例えば、キー画像に類似すると判定された参照画像の識別情報を出力する。一方、画像認識部１２５は、投票数の最大値が閾値以下の場合、この参照画像をキー画像に類似しない画像と判定する。

なお、ステップＳ１６５では、画像認識部１２５は、例えば、投票数の最大値が所定の閾値を超えているすべての参照画像の識別情報を、投票数の大きさ順に出力してもよい。この場合、投票数は、キー画像と参照画像との類似度を示す。

［ステップＳ１６６］画像認識部１２５は、すべての参照画像についてステップＳ１５２〜Ｓ１５６，Ｓ１６１〜Ｓ１６５の処理を実行したかを判定する。未実行の参照画像がある場合、画像認識部１２５は、ステップＳ１５２の処理を実行して、参照画像を１つ選択する。一方、すべての参照画像について処理を実行済みの場合、画像認識部１２５は処理を終了する。

以上説明した画像処理装置１００によれば、記憶画像内の各特徴点が、輝度特徴量を用いた方が局所特徴量の安定性が高くなる輝度特徴点と、色相特徴量を用いた方が局所特徴量の安定性が高くなる色相特徴点のいずれかに分類される。これにより、特徴点に対応する特徴領域における各画素の輝度差が小さい場合でも、各画素の色相差が大きければ、照明状況やノイズに強い安定した局所特徴量を算出できる。

そして、記憶画像から選択されたキー画像と参照画像との類似判定が行われる際には、参照画像内の輝度特徴点の中から、キー画像内の各輝度特徴点に対応する対応点が抽出される。これとともに、参照画像内の色相特徴点の中から、キー画像内の各色相特徴点に対応する対応点が抽出される。輝度特徴点の対応点が抽出される際には輝度特徴量が用いられ、色相特徴点の対応点が抽出される際には色相特徴量が用いられる。

キー画像と参照画像における局所特徴量としては、上記のように安定した局所特徴量が算出されているので、対応点の抽出精度が向上する。その結果、画像間の類似判定精度を向上させることができる。

また、特徴点ごとの局所特徴量として、輝度特徴量と色相特徴量のうち有用度が高い特徴量が選択的に算出される。このため、局所特徴量として輝度特徴量と色相特徴量の両方を用いる場合と比較して、局所特徴量の計算処理負荷を軽減でき、また、その処理時間を短縮できる。

＜特徴量選択処理の変形例＞
図１７に示した特徴量選択処理は、次の図２１に示すように変形することも可能である。図１７に示した処理では、輝度ノルムと色相ノルムとの大小関係に基づいて、局所特徴量として輝度特徴量と色相特徴量のどちらを選択するかが決定された。これに対して、図２１に示す変形例では、さらに、輝度ノルムと色相ノルムの両方が所定の閾値以下である特徴点については、対応する局所特徴量を記憶部１１０に登録しないようにして、その局所特徴量を画像認識処理で使用しないようにする。これにより、安定性がある程度高いと推定される輝度特徴量または色相特徴量だけが画像認識処理で使用されるようにし、画像認識精度を向上させることができる。

図２１は、特徴量選択処理の変形例を示すフローチャートである。図２１の処理は、図１７の処理に代えて実行される。
［ステップＳ１７１］特徴量選択部１２３は、ステップＳ１０１で選択した記憶画像から特徴点を１つ選択する。実際の処理としては、特徴量選択部１２３は、図１６の処理によって作成された中間データ管理テーブル１１３から、レコードを１つ選択する。そして、特徴量選択部１２３は、選択したレコードから輝度ノルムと色相ノルムを読み出す。

［ステップＳ１７２］特徴量選択部１２３は、輝度ノルムが所定の閾値より大きく、かつ、色相ノルムがその閾値以下である、という判定条件を満たすかを判定する。なお、閾値は、０より大きい値に設定される。特徴量選択部１２３は、判定条件を満たす場合、ステップＳ１７３の処理を実行し、判定条件を満たさない場合、ステップＳ１７４の処理を実行する。

［ステップＳ１７３］特徴量選択部１２３は、ステップＳ１７１で選択した特徴点に対応する局所特徴量として、輝度特徴量を選択する。このとき、特徴量選択部１２３は、ステップＳ１０１で選択した記憶画像に対応する輝度特徴量管理テーブル１１４に、レコードを１つ追加する。特徴量選択部１２３は、追加したレコードに、ステップＳ１７１で選択した特徴点を示すＩＤと、この特徴点の座標とを登録する。この後、特徴量選択部１２３は、ステップＳ１７９の処理を実行する。

［ステップＳ１７４］特徴量選択部１２３は、輝度ノルムが上記の閾値以下であり、かつ、色相ノルムがその閾値より大きい、という判定条件を満たすかを判定する。特徴量選択部１２３は、判定条件を満たす場合、ステップＳ１７５の処理を実行し、判定条件を満たさない場合、ステップＳ１７６の処理を実行する。

［ステップＳ１７５］特徴量選択部１２３は、ステップＳ１７１で選択した特徴点に対応する局所特徴量として、色相特徴量を選択する。このとき、特徴量選択部１２３は、ステップＳ１０１で選択した記憶画像に対応する色相特徴量管理テーブル１１５に、レコードを１つ追加する。特徴量選択部１２３は、追加したレコードに、ステップＳ１７１で選択した特徴点を示すＩＤと、この特徴点の座標とを登録する。この後、特徴量選択部１２３は、ステップＳ１７９の処理を実行する。

［ステップＳ１７６］特徴量選択部１２３は、輝度ノルムが上記の閾値より大きく、かつ、色相ノルムもその閾値より大きい、という判定条件を満たすかを判定する。特徴量選択部１２３は、判定条件を満たす場合、ステップＳ１７７の処理を実行し、判定条件を満たさない場合、ステップＳ１７８の処理を実行する。

［ステップＳ１７７］特徴量選択部１２３は、輝度ノルムと色相ノルムとを比較する。特徴量選択部１２３は、輝度ノルムの方が大きい場合、ステップＳ１７１で選択した特徴点に対応する局所特徴量として輝度特徴量を選択する。この場合、ステップＳ１７３と同様の手順で、輝度特徴量管理テーブル１１４へのレコード追加とＩＤ、座標の登録とが行われる。一方、特徴量選択部１２３は、輝度ノルムが色相ノルム以下の場合、ステップＳ１７１で選択した特徴点に対応する局所特徴量として色相特徴量を選択する。この場合、ステップＳ１７５と同様の手順で、色相特徴量管理テーブル１１５へのレコード追加とＩＤ、座標の登録とが行われる。

この後、特徴量選択部１２３は、ステップＳ１７９の処理を実行する。
なお、他の例として、ステップＳ１７７では、ステップＳ１７１で選択した特徴点に対応する局所特徴量として、輝度特徴量と色相特徴量のうちあらかじめ決められた特徴量が選択されてもよい。

［ステップＳ１７８］特徴量選択部１２３は、ステップＳ１７１で選択した特徴点に対応する局所特徴量として、輝度特徴量と色相特徴量のどちらも選択しない。この場合、ステップＳ１７１で選択した特徴点に対応するレコードは、輝度特徴量管理テーブル１１４と色相特徴量管理テーブル１１５のどちらにも登録されない。これにより、ステップＳ１７１で選択された特徴点は、画像認識処理時における対応点の抽出対象から除外され、この特徴点に対応する局所特徴量が画像認識処理で使用されないようになる。

［ステップＳ１７９］特徴量選択部１２３は、ステップＳ１７１〜Ｓ１７８の処理をすべての特徴点について実行したかを判定する。未実行の特徴点がある場合、特徴量選択部１２３は、ステップＳ１７１の処理を実行して、未実行の特徴点を選択する。一方、すべての特徴点について処理を実行済みの場合、特徴量選択部１２３は処理を終了する。

以上の図２１の処理によれば、安定性がある程度高いと輝度特徴量または色相特徴量だけが画像認識処理で使用されるようになるので、画像認識精度を向上させることができる。

なお、上記の各実施の形態に示した装置（画像類否判断装置１および画像処理装置１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１ 画像類否判断装置
１ａ 記憶部
１ｂ 演算部
２，３ 画像
２ａ，２ｂ，３ａ，３ｂ 特徴点
４ａ，４ｂ，５ａ，５ｂ 管理テーブル
Ｓ１，Ｓ２ ステップ

Claims (8)

1. コンピュータに、
   第１の画像と第２の画像のそれぞれに含まれる特徴点ごとに、輝度に基づく第１の特徴量が算出される第１の特徴点と、色相に基づく第２の特徴量が算出される第２の特徴点のいずれかに分類し、
   前記第１の画像と前記第２の画像とにそれぞれ含まれる前記第１の特徴点について算出された前記第１の特徴量と、前記第１の画像と前記第２の画像とにそれぞれ含まれる前記第２の特徴点について算出された前記第２の特徴量とを用いて、前記第１の画像と前記第２の画像との類否を判断する、
   処理を実行させる画像類否判断プログラム。
2. 前記分類では、前記第１の特徴量の安定性が高い前記特徴点を前記第１の特徴点に分類し、前記第２の特徴量の安定性が高い前記特徴点を前記第２の特徴点に分類する、
   請求項１記載の画像類否判断プログラム。
3. 前記分類では、
   前記特徴点のそれぞれについて、前記特徴点の周囲に複数の画素ペアを設定し、
   前記複数の画素ペアのそれぞれにおける画素間の輝度差の絶対値に基づく第１の指標と、前記複数の画素ペアのそれぞれにおける画素間の色相差の絶対値に基づく第２の指標とに基づいて、前記第１の特徴量と前記第２の特徴量のどちらの安定性が高いかを判定する、
   請求項２記載の画像類否判断プログラム。
4. 前記分類では、
   前記複数の画素ペアのそれぞれに対応する前記輝度差の絶対値に基づくビット値を配列した第１のビット列を算出して、前記第１のビット列のノルムを前記第１の指標として算出し、
   前記複数の画素ペアのそれぞれに対応する前記色相差の絶対値に基づくビット値を配列した第２のビット列を算出して、前記第２のビット列のノルムを前記第２の指標として算出する、
   請求項３記載の画像類否判断プログラム。
5. 前記分類では、前記第１の特徴点のうち、前記第１の指標が所定の閾値未満である第３の特徴点を、前記類否の判断に用いる前記第１の特徴点から除外するとともに、前記第２の特徴点のうち、前記第２の指標が前記閾値未満である第４の特徴点を、前記類否の判断に用いる前記第２の特徴点から除外する、
   請求項３または４記載の画像類否判断プログラム。
6. 前記判断では、前記第１の画像に含まれる前記第１の特徴点について算出された前記第１の特徴量と、前記第２の画像に含まれる前記第１の特徴点について算出された前記第１の特徴量とを比較した比較結果と、前記第１の画像に含まれる前記第２の特徴点について算出された前記第２の特徴量と、前記第２の画像に含まれる前記第２の特徴点について算出された前記第２の特徴量とを比較した比較結果とに基づいて、前記類否を判断する、
   請求項１乃至５のいずれか１項に記載の画像類否判断プログラム。
7. 第１の画像と第２の画像とを記憶する記憶部と、
   前記第１の画像と前記第２の画像のそれぞれに含まれる特徴点ごとに、輝度に基づく第１の特徴量が算出される第１の特徴点と、色相に基づく第２の特徴量が算出される第２の特徴点のいずれかに分類し、前記第１の画像と前記第２の画像とにそれぞれ含まれる前記第１の特徴点について算出された前記第１の特徴量と、前記第１の画像と前記第２の画像とにそれぞれ含まれる前記第２の特徴点について算出された前記第２の特徴量とを用いて、前記第１の画像と前記第２の画像との類否を判断する演算部と、
   を有する画像類否判断装置。
8. コンピュータが、
   第１の画像と第２の画像のそれぞれに含まれる特徴点ごとに、輝度に基づく第１の特徴量が算出される第１の特徴点と、色相に基づく第２の特徴量が算出される第２の特徴点のいずれかに分類し、
   前記第１の画像と前記第２の画像とにそれぞれ含まれる前記第１の特徴点について算出された前記第１の特徴量と、前記第１の画像と前記第２の画像とにそれぞれ含まれる前記第２の特徴点について算出された前記第２の特徴量とを用いて、前記第１の画像と前記第２の画像との類否を判断する、
   画像類否判断方法。

Images