JP5358083B2 - 人物画像検索装置及び画像検索装置 - Google Patents

Description

本発明は、人物画像検索装置に関し、特に計算機上での情報検索に関する。

放送局や映像製作会社が製作・放映する番組に加えて，インターネット経由でも個人が録画・作成した動画などを含んだ様々な映像コンテンツがユーザのもとへ届く時代となり，視聴可能なコンテンツは日々増加の一途を辿っている。さらに録画機器の大容量化・低価格化に伴い，保有可能なコンテンツの量も同様に増加し続けている。

近年、このような大量の映像コンテンツの中から、特定の人物が映っている場面を検出して提示するための様々な技術が提案されている。これらの技術は、録画されたＴＶ映像から、気に入った俳優が出演しているドラマやコマーシャルを検索する映像検索システムや、空港内や駅構内に設置された監視カメラを用いて録画された映像から、ある特定の人物を探し出すといった監視映像システムに応用されている。

ユーザがこうしたシステムを使用する場合、類似検索もしくはグループ化といったアプローチを取ることによって、ユーザが所望するデータを提示することが多い。

ここで、類似検索とは、ユーザが指定した検索キーと類似したデータを映像コンテンツ内から探して、その結果を提示する技術を指す。特に、類似画像検索とは、色合い・形状等の画像自体から取り出された特徴量を用いて、類似度が高いデータを検索する技術である。例えば、人物を検索する際には、顔画像や服の色などを検索キーとして用いることができる。

特許文献１では、顔画像内の目や口などの特定のパーツに着目して、それらの各パーツから特徴量を抽出し、検索対象画像群に保持されている顔画像内の各パーツとの類似度を評価することによって、所望の人物が映った画像データを検索する人物画像検索装置が提案されている。

また、グループ化とは、映像コンテンツ内の類似した顔画像やシーンを一括りにして画像群を作成し、その画像群の代表画像のみをユーザに提示することによって、所望の顔画像やシーンをユーザが選択しやすいように提示する技術を指す。

特許文献２では、映像コンテンツ中から検出した全ての顔画像を対象に、各顔画像間の類似度を計算し、類似度が閾値を超えたものを同一人物と見做すことによって、同一人物の顔をグループ化している。そして、登場人物別にその代表顔画像を抽出し、映像コンテンツ中に登場する人物の顔を区別して表示することを特徴とする画像検索方法及びその装置を提案している。

特許文献３では、ユーザが映像コンテンツ内の見たいシーンを選択する際に、映像コンテンツを複数のシーンに分割して、各シーンの代表画像を提示する動画再生方法及びその装置を提案している。シーンの代表画像を作成する際には、シーンの区切りを検出し、検出された分割点で区切られる静止画を作成する。この後、あるシーンの代表画像と次のシーンの代表画像との類似度を計算し、代表画像同士が所定の閾値を超えて類似していると判断された場合、類似度の高い画像同士をグループ化することによって、類似度の低い代表画像のみを選択候補として提示する。

特開２００５−３５２７２７号公報 特開２００１−１６７１１０号公報 特開２００３−００９０６９号公報

映像中から所望の人物を探すことを目的とする従来の人物検索システムには、以下に示す問題点が存在していた。

顔画像を検索キーとした場合、所望の人物が映っている画像を検索結果として得ることができたとしても、画像中に含まれる顔画像以外の背景画像等の情報を考慮していないため、映像中の連続したフレームや繰り返し放映されているコマーシャルなどの極度に背景もしくは画像全体が類似した画像データが多数検索されてしまう。そのため、検索結果の一覧性に乏しくなることが問題点として挙げられる。特に、同一コマーシャルや連続フレームなどは顔の表情や向きなどもほとんど同じであるため、検索結果を顔画像の類似度順に並べて表示するような検索システムでは、同一コマーシャルがいくつも並んでしまう結果となる。さらに、そのような同一コマーシャルが検索結果の上位になった場合、他に出演している番組などの検索結果が下位に押しやられてしまい、効率的に検索できないことが大きな問題となる。

また、映像中の人物やシーンをグループ化することによって、ユーザが所望の人物やシーンを選択しやすいように表示することを目的とする従来のグループ化システムには、以下に示す問題点が存在していた。

まず、グループ化の特徴として、ユーザが所望するデータを得るために使用する特徴量自身を用いて、グループ化を行っていることが挙げられる。例えば、ユーザが顔に着目して人物を探したい場合は、顔画像から抽出した特徴量を用いて類似した顔画像同士をグループ化する。したがって、一人の人物に対しては一つのグループしか作成されないことになる。

よって、所望の人物が出演している複数の番組やコマーシャルを一覧して見たい場合でも、顔画像の特徴量を用いてグループ化を行うと、異なる番組やコマーシャルに出演している人物画像を区別せずに同一のグループとしてまとめてしまうことが問題点として挙げられる。よって、従来のグループ化処理では、所望の人物が出演している複数の番組やコマーシャルを一覧して見たいといった要求に応えることができない。

そこで、本発明は、異なる番組やコマーシャルに出演している同一人物を異なるグループに分類し、且つ、極度に類似した画像を検索結果から除去する類似検索結果フィルタリング方式を提供することを目的とする。ここで、フィルタリングとは、ユーザが所望するデータを効率的に閲覧するために、提示する画像を検索結果内から適切に選択する処理を指す。

まず、検索目標画像として人物が写されている画像を入力し、画像中から抽出した検索用特徴量を用いて検索処理を行うことによって、所望の人物が映っている画像データを検索結果として得る。検索用特徴量として、例えば顔画像、顔の一部分、服の色などを用いることができる。この検索処理で得られた検索結果内には、たとえ検索結果が正しくても、背景や画像全体が極度に類似したデータが含まれるため、結果の一覧性に欠ける。そこで、以下に示すフィルタリング処理を行う。

フィルタリング処理では、検索処理に用いた検索用特徴量と異なるフィルタリング特徴量を使用する。フィルタリング特徴量を用いて、上記検索処理で得た検索結果同士の類似度を計算し、一定値以上の類似度を持つ画像で検索結果順位が下位の画像を検索結果から除外することによってフィルタリングを行う。そして、フィルタリングを実施した結果をユーザに提示することによって、所望の人物が映っている多種多様な複数の画像を得ることが可能になる。
（１）第１の発明は、人物の顔が写されている画像を検索目標画像とし、前記検索目標画像中から検出した顔画像と類似した顔画像が写されている画像を検索対象画像群から検索する類似顔画像検索システムにおいて、背景情報を表す特徴量として検索対象画像群の各画像の各全体領域から全体画像特徴量を抽出し、各全体画像特徴量を比較して類似度を計算し、一定値以上の類似度を持つ画像で検索結果順位が下位の画像を検索結果から除外することを特徴とするものであり、類似した顔画像が写っている画像を検索結果として取得できると同時に背景が極度に似ている画像を検索結果から除外することができるという作用を有する。
（２）第２の発明は、人物が写されている画像を検索目標画像とし、前記検索目標画像中から検出した服装の色と類似した色の服装が写されている画像を検索対象画像群から検索する人物検索システムにおいて、撮影位置情報を表す特徴量として検索対象画像群の各画像を撮影したカメラの位置情報を取得して位置情報特徴量とし、各位置情報特徴量を比較して撮影位置の距離を計算し、一定値以内の距離で撮影された画像で検索結果順位が下位の画像を検索結果から除外することを特徴とするものであり、類似した色を持つ服装を着た人物が写されている画像を検索結果として取得できると同時に近距離で撮影された画像を検索結果から除外することができるという作用を有する。
（３）第３の発明は、人物の顔が写されている画像を検索目標画像とし、前記検索目標画像中から検出した顔画像と類似した顔画像が写されている画像を検索対象画像群から検索する類似顔画像検索システムにおいて、撮影位置情報を表す特徴量として検索対象画像群の各画像を撮影したカメラの位置情報を取得して位置情報特徴量とし、各位置情報特徴量を比較して撮影位置の距離を計算し、一定値以内の距離で撮影された画像で検索結果順位が下位の画像を検索結果から除外することを特徴とするものであり、類似した顔画像が写っている画像を検索結果として取得できると同時に近距離で撮影された画像を検索結果から除外することができるという作用を有する。
（４）その他の発明として、検索結果から対象データを除外するための基準となる閾値を変更できることを開示している。この除外するデータを増加させることによって、類似度が下位（即ち、類似度が低い。）の検索結果を表示することができる。

本発明によれば、異なる場面に登場した同一人物を効率的に検索することができる等の効果がある。

（実施例１）
以下、添付図面に従って、本発明を用いた類似検索結果フィルタリング方式を実施するための第１の実施の形態について説明する。

図1に本発明を実現するためのシステム構成の一例を示す。

同図に示すように、本実施の形態のフィルタリング方式の構成は、サーバ計算機110と、外部インタフェース111と、中央処理演算装置112と、メモリ113と、大容量外部記憶装置114と、通信基盤120と、クライアント計算機130と、画像データベース140と、特徴量データベース150を備える。

検索エンジンが稼動するサーバ計算機110は、通信基盤120を経由し、クライアント計算機130に検索処理やフィルタリング処理等のサービスを提供する。サーバ計算機110において、111は外部とのインタフェース（I/F）を提供し、サーバ計算機110と通信基盤120を接続している。112は中央演算処理装置(CPU)で、サーバ計算機全体の動作を制御している。113はメモリで、CPU112による制御処理の実行時に作業領域として使用され、各種データの一時保存場所や、プログラムをロードするためのプログラムエリアを有している。114はハードディスク(HD)等の大容量記憶装置で、CPU112によって実行されるプログラム等のデジタルデータを記憶している。

クライアント計算機130は、CRT等のディスプレイ装置を備えており、サーバ計算機110の出力画面を表示する。サーバ計算機110へのデータ入力は、クライアント計算機130に備えてあるキーボードなどの入力端末から行う。尚、本実施の形態では、サーバ計算機110とクライアント計算機130がネットワークを介して通信を行いながらサービスを提供するが、一般的なパーソナルコンピュータ上で実行されるアプリケーションとしての形態を取っても良い。

画像データベース140は画像データを格納しており、特徴量データベース150は対象データから抽出した検索特徴量とフィルタリング特徴量を格納している。尚、これらのデータベースは異なるハードディスク上に存在していても良いし、サーバ計算機110が備えるハードディスク114を用いても良い。

次に、本実施例における画像データ登録時の処理について説明する。

図２に本実施例における検索対象画像をデータベースに登録する際の処理の流れを表すブロック図の一例を示す。

同図に示すように、本実施の形態の類似検索結果フィルタリング方式を備える人物画像検索装置は、画像入力部201と、顔画像特徴量抽出部202と、顔画像特徴量登録部203と、顔画像特徴量データベース204と、全体画像特徴量抽出部205と、全体画像特徴量登録部206と、全体画像特徴量データベース207と、画像データベース208を備える。

画像入力部201は、検索対象画像の入力処理を行う。ここで、検索対象画像は、人物の有無を問わない任意の画像データである。

顔画像特徴量抽出部202は、入力された画像データから顔領域を検出し、該顔領域から顔画像特徴量を抽出する。本実施例では、顔画像特徴量としてエッジパターン特徴量と呼ばれるものを用いる。エッジパターン特徴量を抽出するためには、まず、特徴的なエッジパターンを予め複数設定する。そして、顔画像に対して格子状に構図分割を行い、各領域内に含まれるエッジパターン数を計数する。このエッジパターン数からヒストグラムを生成し、多次元ベクトルとすることによって、顔画像特徴量を作成する。尚、顔に固有の目や鼻、口などの部分に着目して、顔画像特徴量を作成しても良い。

顔画像特徴量登録部203は、抽出した前記顔画像特徴量を顔画像特徴量データベース204に登録する。また、顔領域が検出されなかった画像については、顔画像特徴量データベース204へ登録せず、以降の処理も行わないこととする。

全体画像特徴量抽出部205は、検索対象画像の全領域から、色情報に基づいた全体画像特徴量を抽出する。本実施例では、検索対象画像の全領域に対して格子状に構図分割を行い、分割された各領域の色ヒストグラムから作られる多次元ベクトルを、全体画像特徴量として用いる。尚、画像全体の特徴を表している特徴量ならば、色情報ではなく輝度値や明度値などの情報やそれらを組み合わせたものを用いても良いし、画像の全領域から特徴を抽出しなくても良い。

全体画像特徴量登録部206は、抽出した前記全体画像特徴量を全体画像特徴量データベース207に登録する。

特徴量の抽出を終えた検索対象画像は、画像データベース208に格納する。このとき、検索対象画像そのものではなく、検索対象画像から作成したサムネイル画像や、検索対象画像へのリンク情報を格納しても良い。

上記の画像データ登録処理が完了したデータが後に述べる検索処理の対象画像となる。尚、画像データの登録処理をユーザによる検索実行までに行わずに、検索実行時に画像データから特徴量を抽出して、検索を行っても良い。その場合、各特徴量データベースは必要なくなるが、実行速度が遅くなることは言うまでもない。

次に、本実施例における検索処理について説明する。

図３に本実施例における検索処理及びフィルタリング処理の流れを表すブロック図の一例を示す。

同図に示すように、本実施の形態の類似検索結果フィルタリング方式を備える人物画像検索装置は、画像入力部301と、顔画像特徴量抽出部302と、検索処理部303と、顔画像特徴量データベース304と、フィルタリング処理部305と、全体画像特徴量データベース306と、出力部307と、画像データベース308と、表示装置309を備える。ここで、画像入力部301と、顔画像特徴量抽出部302と、顔画像特徴量データベース304と、全体画像特徴量データベース306と、画像データベース308は、それぞれ図２に示した画像入力部201と、顔画像特徴量抽出部202と、顔画像特徴量データベース204と、全体画像特徴量データベース206と、画像データベース208と同一のものである。

画像入力部301は、検索目標画像の入力処理を行う。ここで、検索目標画像は、人物が写されている画像である。

顔画像特徴量抽出部302は、図２の顔画像特徴量抽出部202と同様の処理を行い、入力された画像データから顔領域を検出し、該顔領域から顔画像特徴量を抽出する。もし、顔領域が検出されなければ、検索処理を行わないこととする。

検索処理部303では、前記検索目標画像から抽出した顔画像特徴量と、前記顔画像特徴量データベースに登録されている検索対象画像群の特徴量との類似度を計算する。本実施例では、特徴量ベクトル間のユークリッド距離の逆数を類似度として用いる。尚、特徴量ベクトル間のマンハッタン距離や、マハラノビス距離など、ベクトルデータ同士の距離を表す値ならば類似度として使用することができる。検索結果として、顔画像特徴量の類似度が大きい順に検索対象画像群からN件取得する。検索結果取得件数Nは、後述するフィルタリング処理のために、表示装置309において一度に表示可能な件数と比較して十分大きな数とする。例えば表示可能件数が20件ならば、検索結果取得件数Nは500から1000件程度が好ましい。

フィルタリング処理部305では、全体画像特徴量データベース306に登録されている全体画像特徴量を用いてフィルタリング処理を行う。検索結果同士の全体画像特徴量の類似度を計算し、一定値以上の類似度を持つ画像で検索結果順位が下位の画像を検索結果から除外する。本実施例では、顔画像検索時と同様に、特徴量ベクトル間のユークリッド距離の逆数を類似度として用いる。フィルタリング処理の詳細については後に述べる。

出力部307では、フィルタリング処理結果に対応する画像データを画像データベース308から取得し、検索処理で計算した類似度が大きい順に並び替え、表示装置309に表示する。表示装置には図１のクライアント計算機130のディスプレイなどを用いる。表示する画像は、検索処理に用いた顔領域のみではなく、顔領域が写されている画像データ自身とする。その理由として、ユーザが人物検索を行う際に所望するデータは、顔画像そのものでなく、顔画像が写された画像データであることが多いということが挙げられる。

次に、本実施例におけるフィルタリング処理の詳細について説明する。

図４に本実施例におけるフィルタリング処理の処理フローの一例を示す。本フィルタリング処理では、フィルタリング処理の結果、後に述べる基準に従って図３の表示装置309に表示しないと判断した画像データにはフラグを立てて、表示する画像データと区別する。尚、表示する画像データを区別する手段として、表を作成して管理しても良いし、表示しない画像を検索結果から除外することによって表示する画像のみを保持しても良い。

まず初めに、図３の検索処理部303において、顔画像特徴量による検索を行った結果を取得する(S101)。

検索結果の順位が最も高い画像データを取得し(S102)、フラグが立っているかどうかを調べる(S103)。フラグが立っている場合はその画像データをスキップし、次の順位の画像データを取得する。以下、取得した画像データを着目画像と呼ぶ。そして、着目画像から抽出したフィルタリング処理用の全体画像特徴量を図３の全体画像特徴量データベース306から取得する(S104)。

検索結果の順位が着目画像より下位のデータ(以下、比較画像と呼ぶ)を取得し(S105)、フラグが立っているかどうかを調べる(S106)。フラグが立っていた場合はその画像データをスキップし、次の順位の画像データを取得して比較画像とする。そして、比較画像から抽出したフィルタリング処理用の全体画像特徴量を図３の全体画像特徴量データベース306から取得する(S107)。

着目画像及び比較画像の各全体画像特徴量を用いて、画像の全領域間の類似度を求め、類似度が閾値以上かどうかを調べる(S108)。全体画像間の類似度が閾値以上だった場合、比較画像データのフラグを立てる(S109)。閾値は事前に決定しておいても良いし、ユーザが指定できるようにしても良い。S110では、S105、S106、S107、S108及びS109の処理を、検索結果の順位が着目画像より下位の全データに対して実施したかどうかを判定する。

検索結果の順位が高いデータから低いデータへと着目画像を順に変化させながら上記処理を実施し、着目した画像データの件数が図３の表示装置309の最大表示件数に達するか、もしくは走査する着目画像が検索結果の末尾に達したら処理を終了する(S111)。フラグが立っている画像を顔画像検索処理結果の類似度順に整列させたものが、本フィルタリング処理の結果となる。このフィルタリング結果を図３の表示装置309に表示する。

尚、検索結果に対してフィルタリング処理を強制的に適用せずに、一旦、顔画像検索結果を図３の表示装置309に表示した後に、ユーザからフィルタリング処理要求があった場合にのみフィルタリング処理を行っても良い。その際には、顔画像検索結果をフィルタリング処理に用いるために一時的に保存する。保存場所は図１のメモリ113でも良いし、図１のハードディスク114でも良いが、通常は実行速度を考慮して図1のメモリ113を用いることが好ましい。

次に、本実施例における検索結果及びフィルタリング処理結果の表示方法について説明する。

図５にフィルタリング処理による検索結果画面の遷移の一例を示す。ここでは、顔画像検索を行った結果を一旦図３の表示装置309に表示し、その後ユーザがフィルタリング処理要求を行う場合について述べる。本例では、1画面上に15件ずつ画像を表示する画面構成となっている。

検索結果表示の初期画面410では、キー画像411を検索目標画像として検索した結果中の上位15件までを、類似度が大きい順に整列して結果表示領域412に表示する。413はフィルタリング処理の強さを指定するボタンである。網掛けになっているボタンが現在選択中のボタンである。図4の類似度の閾値判定部S108で用いる閾値を指定することによって、フィルタリング処理の強弱を決定する。閾値が小さい場合は全体画像間の類似度を計算した際に閾値を越えるデータ数が増加するため、フィルタリング処理が強く働く。尚、フィルタリング処理の強度を指定せずに常に一定の状態で使用するならば、ボタン413はフィルタリング処理の実行の有無を示すだけで良い。ボタン413の内、弱・中・強のいずれかを押下すると、フィルタリング処理を行い、検索結果表示がフィルタリング結果画面420に遷移する。フィルタリング処理結果421は、ボタン413で指定した強度に応じてフィルタリング処理を行った結果を表示する。

図６にフィルタリング処理の強度を指定するためのユーザインタフェースの一例を示す。図に示すようにフィルタリング処理の強度を指定するために、図５の413のようなボタンを用いずに、フィルタリング処理強度指定バー501を使用しても良い。バー501を左右に動かすことによって、連続値で閾値を決定することが可能になる。

このように、第１の実施の形態では、顔画像検索を行った結果の内、画像全体が極度に類似した検索結果が除外されて図3の出力部309に表示されるため、異なる場面に登場している所望の人物を効率的に検索することができる。さらに、フィルタリング処理の強度を変更することによって、下位の検索結果を検索結果表示画面に表示することができる。
（実施例２）
以下、他の図面に従って、本発明を用いた類似検索結果フィルタリング方式を実施するための第２の実施の形態について説明する。上述した第１の実施の形態においては、主にTV番組や映画といった映像コンテンツを対象にしたが、本実施の形態では、監視カメラなどで撮影された映像コンテンツを対象とする。そこで、検索用特徴量として画像中に映っている人の服の色を用い、フィルタリング用特徴量としてカメラの設置位置を用いる。

図７に本発明を実現するためのシステム構成の一例を示す。

同図に示すように、本実施の形態のフィルタリング方式の構成は、カメラ601と、サーバ計算機610と、外部インタフェース611と、中央処理演算装置612と、メモリ613と、大容量外部記憶装置614と、通信基盤620と、クライアント計算機630と、画像データベース640と、特徴量データベース650を備える。

本実施の形態では、カメラ601で撮影した画像を画像データベースに格納する。この際、カメラを設置している場所の位置情報も取得する。尚、画像データベースに登録する画像は、カメラで動画像を撮影し、そこから静止画を抽出したものを用いても良いし、数秒ごとに静止画を撮影したものを用いても良い。

次に、本実施例における画像データ登録時の処理について説明する。

図８に本実施例における検索対象画像をデータベースに登録する際の処理の流れを表すブロック図の一例を示す。

同図に示すように、本実施の形態の類似検索結果フィルタリング方式を備える人物画像検索装置は、画像入力部701と、服装特徴量抽出部702と、服装特徴量登録部703と、服装特徴量データベース704と、位置特徴量抽出部705と、位置特徴量登録部706と、位置特徴量データベース707と、画像データベース708を備える。

画像入力部701では、検索対象画像の入力処理を行う。ここで、検索対象画像は、人物の有無を問わない任意の画像データである。また、検索対象画像以外に、該画像を撮影したカメラの位置情報も合わせて入力する。

服装特徴量抽出部702では、検索処理に用いるための服装特徴量を入力画像から抽出する。上述した第１の実施の形態では、画像データから検出した顔画像の特徴量を検索処理に用いたが、本実施の形態では、監視カメラを対象とし、画像中の人物の服の色を検索用の特徴量として用いる。したがって、服装の色合いが似た人物を検索することになる。入力画像から人物領域を検出し、該人物領域から色ヒストグラムを抽出することによって、服装特徴量とする。尚、検索処理に用いる特徴量として、顔画像を用いても良いし、肌の色などを用いても良い。この検索用特徴量は、監視システムの設置目的に応じて適切に設定する必要がある。尚、検索対象画像から人物領域を検出できなかった場合は、これ以降の処理を行わないこととする。

服装特徴量登録部703は、前記服装特徴量抽出部702で抽出した服装特徴量を服装特徴量データベース704に登録する。

位置特徴量取得部705では、フィルタリング処理に用いるための位置特徴量を取得する。上述した第1の実施の形態では、画像データの全領域から抽出した全体画像特徴量をフィルタリング処理に用いたが、本実施の形態では、カメラで撮影した画像の撮影位置情報をフィルタリング処理用の特徴量として用いる。位置特徴量として、適当な原点と座標軸を設定し、撮影したカメラの位置を三次元の空間座標で表した座標値を用いる。尚、撮影位置情報には、GPSによる位置情報を用いても良いし、部屋同士の位置関係が判明している建物内の場合は建物の部屋番号などを用いても良い。

特徴量の抽出を終えた検索対象画像は、画像データベース708に格納される。

次に、本実施例における検索処理及びフィルタリング処理について説明する。

図９に本実施例における検索処理及びフィルタリング処理の流れを表すブロック図の一例を示す。同図に示すように、本実施の形態の類似検索結果フィルタリング方式を備える人物画像検索装置は、画像入力部801と、服装特徴量抽出部802と、検索処理部803と、服装特徴量データベース804と、フィルタリング処理部805と、位置特徴量データベース806と、出力部807と、画像データベース808と、表示装置809を備える。ここで、画像入力部801と、服装特徴量抽出部802と、服装特徴量データベース804と、位置特徴量データベース806と、画像データベース808は、それぞれ図８に示した画像入力部701と、服装特徴量抽出部702と、服装特徴量データベース704と、位置特徴量データベース706と、画像データベース708と同一のものである。

画像入力部801は、検索目標画像の入力処理を行う。ここで、検索目標画像は、人物が写されている画像である。この際、人物画像データを与える方法として、写真などの画像データを与えても良いし、カメラ601で撮影された画像の中から画像データを選択して指定しても良い。

服装特徴量抽出部802は、図８の服装特徴量抽出部702と同様の処理を行い、入力された画像データから人物領域を検出し、該人物領域から服装特徴量を抽出する。もし、人物領域が検出されなければ、検索処理を行わないこととする。

検索処理部803では、前記検索目標画像から抽出した服装特徴量と、前記服装特徴量データベースに登録されている検索対象画像群の特徴量との類似度を計算する。本実施例では、特徴量ベクトル間のユークリッド距離の逆数を類似度として用いる。尚、特徴量ベクトル間のマンハッタン距離や、マハラノビス距離など、ベクトルデータ同士の距離を表す値ならば類似度として使用することができる。検索結果として、服装特徴量の類似度が大きい順に検索対象画像群からN件取得する。検索結果取得件数Nは、第一の実施例と同様に、後述するフィルタリング処理のために、表示装置809において一度に表示可能な件数と比較して十分大きな数とする。例えば表示可能件数が20件ならば、検索結果取得件数Nは500から1000件程度が好ましい。

フィルタリング処理部805では、位置特徴量データベース806に登録されている位置特徴量を用いてフィルタリング処理を行う。検索結果同士の位置特徴量の類似度を計算し、一定値以上の類似度を持つ画像で検索結果順位が下位の画像を検索結果から除外する。本実施例では、撮影したカメラの位置情報を三次元の空間座標で表して位置特徴量とし、ベクトル間距離の逆数を類似度として用いる。フィルタリング処理の詳細については後に述べる。

出力部807では、フィルタリング処理結果に対応する画像データを画像データベース808から取得し、検索処理で計算した類似度が大きい順に並び替え、表示装置809に表示する。表示装置には図７のクライアント計算機630のディスプレイなどを用いる。表示する画像は、第一の実施例と同様に、検索処理に用いた人物領域のみではなく、人物領域が写されている画像データ自身とする。

次に、本システムにおけるフィルタリング処理の詳細について説明する。

図１０にフィルタリング処理の処理フローの一例を示す。S201における画像データの服装特徴量の取得と、S204における位置特徴量の取得と、S208における位置特徴量の類似度の比較判定以外の処理(S202、S203、S204、S205、S206、S207、S209、S210、S211、S212)については、実施の形態１の図４中における対応する処理と同様である。

位置情報特徴量の類似度を計算する場合、位置情報特徴量が空間座標値で表されているならば、各位置情報特徴量のベクトル間距離の逆数を類似度として扱うことができる。尚、このベクトル間距離はユークリッド距離を用いても良いし、マンハッタン距離などを用いても良い。その場合は、カメラの撮影位置が近いほど位置情報特徴量の類似度が大きくなるため、似た服装の人物が同一の場所に立ち止まっている時はフィルタリング処理によって除外され、代表画像のみが検索結果として図９の表示装置809に表示される。建物内の部屋番号で位置情報特徴量を表している場合は、部屋番号が等しいかどうかを類似度として用いても良い。この場合は、部屋が同じ時は類似度を１とし、異なる時は類似度を０とすると、同じ服を着た人物が異なる部屋にいる場面をフィルタリング結果として表示することが可能になる。また、部屋同士の位置関係や各出入り口の間の距離を用いて類似度を定義しても良い。

このように、第２の実施の形態では、撮影位置が近い検索結果が除外されて図９の表示装置809に表示されるため、異なる位置で撮影された同一人物を効率的に検索することができる。
（実施例３）
以下、他の図面に従って、本発明を用いた類似検索結果フィルタリング方式を実施するための第３の実施の形態について説明する。本実施の形態では、検索用特徴量として画像中に映っている人の服の色を用い、フィルタリング用特徴量として画像全体から抽出する色ヒストグラムを用いる。

図１１に本発明を実現するためのシステム構成の一例を示す。

同図に示すように、本実施の形態のフィルタリング方式の構成は、計算機910と、外部インタフェース911と、中央処理演算装置912と、メモリ913と、大容量外部記憶装置914と、ディスプレイ920と、画像データベース930と、特徴量データベース940を備える。

検索エンジンが稼動する計算機910は、検索処理やフィルタリング処理等のサービスを提供する。計算機910において、911はインタフェースで外部機器と接続する際に用いる。912は中央演算処理装置(CPU)で、サーバ計算機全体の動作を制御している。913はメモリで、CPU912による制御処理の実行時に作業領域として使用され、各種データの一時保存場所や、プログラムをロードするためのプログラムエリアを有している。914はハードディスク(HD)等の大容量記憶装置で、CPU912によって実行されるプログラム等のデジタルデータを記憶している。

ディスプレイ920は、CRT等のディスプレイ装置であり、計算機910の計算結果の出力画面を表示する。サーバ計算機910へのデータ入力は、インタフェース911に接続されたキーボードなどの入力端末から行う。画像データベース930は画像データもしくは画像データへのリンク情報を格納しており、特徴量データベース940は対象データから抽出した検索特徴量とフィルタリング特徴量を格納している。本実施の形態では、画像データベース930及び特徴量データベース940は計算機が備えているものとする。本実施の形態は、第１の実施の形態及び第２の実施の形態で説明したクライアント・サーバ形式ではなく、一般的なパーソナルコンピュータ上で実行されるアプリケーションとして動作する。

次に、本実施例における画像データ登録時の処理について説明する。

図１２に本実施例における検索対象画像をデータベースに登録する際の処理の流れを表すブロック図の一例を示す。

同図に示すように、本実施の形態の類似検索結果フィルタリング方式を備える人物画像検索装置は、画像入力部1001と、服装特徴量抽出部1002と、服装特徴量登録部1003と、服装特徴量データベース1004と、全体画像特徴量抽出部1005と、全体画像特徴量登録部1006と、全体画像特徴量データベース1007と、画像データベース1008を備える。

画像入力部1001では、検索対象画像の入力処理を行う。ここで、検索対象画像は、人物の有無を問わない任意の画像データである。

服装特徴量抽出部1002では、検索処理に用いるための服装特徴量を入力画像から抽出する。第２の実施の形態と同様に、検索対象画像中の人物の服の色を検索用の特徴量として用いる。

服装特徴量登録部1003は、前記服装特徴量抽出部1002で抽出した服装特徴量を服装特徴量データベース1004に登録する。

全体画像特徴量抽出部1005は、第１の実施の形態と同様に、検索対象画像の全領域から、色情報に基づいた全体画像特徴量を抽出する。

全体画像特徴量登録部1006は、抽出した前記全体画像特徴量を全体画像特徴量データベース1007に登録する。

特徴量の抽出を終えた検索対象画像は、画像データベース1008に格納される。

次に、本実施例における検索処理及びフィルタリング処理について説明する。

図１３に本実施例における検索処理及びフィルタリング処理の流れを表すブロック図の一例を示す。同図に示すように、本実施の形態の類似検索結果フィルタリング方式を備える人物画像検索装置は、画像入力部1101と、服装特徴量抽出部1102と、検索処理部1103と、服装特徴量データベース1104と、フィルタリング処理部1105と、位置特徴量データベース1106と、出力部1107と、画像データベース1108と、表示装置1109を備える。ここで、画像入力部1101と、服装特徴量抽出部1102と、服装特徴量データベース1104と、位置特徴量データベース1106と、画像データベース1108は、それぞれ図１２に示した画像入力部1001と、服装特徴量抽出部1002と、服装特徴量データベース1004と、位置特徴量データベース1006と、画像データベース1008と同一のものである。

画像入力部1101は、検索目標画像の入力処理を行う。ここで、検索目標画像は、人物が写されている画像である。

服装特徴量抽出部1102は、図１２の服装特徴量抽出部1002と同様の処理を行い、入力された画像データから人物領域を検出し、該人物領域から服装特徴量を抽出する。もし、人物領域が検出されなければ、これ以降の処理を行わないこととする。

検索処理部1103では、第２に実施の形態と同様に、前記検索目標画像から抽出した服装特徴量と、前記服装特徴量データベースに登録されている検索対象画像群の特徴量との類似度を計算し、表示装置1109に一度に表示可能な件数と比較して十分大きな件数を検索結果として取得する。

フィルタリング処理部1105では、第１の実施の形態と同様に、全体画像特徴量データベース1106に登録されている位置特徴量を用いてフィルタリング処理を行う。検索結果同士の位置特徴量の類似度を計算し、一定値以上の類似度を持つ画像で検索結果順位が下位の画像を検索結果から除外する。

出力部1107では、フィルタリング処理結果に対応する画像データを画像データベース1108から取得し、検索処理で計算した類似度が大きい順に並び替え、表示装置1109に表示する。表示装置には図１１のディスプレイ920などを用いる。表示する画像は、他の実施例と同様に、検索処理に用いた人物領域のみではなく、人物領域が写されている画像データ自身とする。

次に、本システムにおけるフィルタリング処理の詳細について説明する。

図１４にフィルタリング処理の処理フローの一例を示す。S301における画像データの服装特徴量の取得以外の処理(S202、S203、S204、S205、S206、S207、S209、S210、S211、S212)については、実施の形態１の図４中における対応する処理と同様である。S301においては、第２の実施の形態と同様にして、服装特徴量を用いて検索処理を行った結果を取得する。

このように、第３の実施の形態では、背景が似ている画像が検索結果から除外されて図１３の表示装置1009に表示されるため、異なる状況で撮影された同一人物を効率的に検索することができる。

なお、図面中の符号の説明は次の通りである。

１１０：サーバ計算機、 １１１：外部インタフェース、 １１２：中央処理演算装置、 １１３：主記憶装置、 １１４：大容量外部記憶装置、 １２０：通信基盤、 １３０：クライアント計算機、 １４０：画像データベース、 １５０：特徴量データベース、 ２０１：画像入力部、 ２０２：顔画像特徴量抽出部、 ２０３：顔画像特徴量登録部、 ２０４：顔画像特徴量データベース、 ２０５：全体画像特徴量抽出部、 ２０６：全体画像特徴量登録部、 ２０７：全体画像特徴量データベース、 ２０８：画像データベース、 ３０１：画像入力部、 ３０２：顔画像特徴量抽出部、 ３０３：検索処理部、 ３０４：顔画像特徴量データベース、 ３０５：フィルタリング処理部、 ３０６：全体画像特徴量データベース、 ３０７：出力部、 ３０８：画像データベース、 ３０９：表示装置、 ４１０：検索結果表示画面、 ４１１：検索用クエリ画像、 ４１２：検索結果、 ４１３：フィルタリング処理要求ボタン、 ４２０：フィルタリング結果表示画面、 ４２１：フィルタリング結果、 ５０１：フィルタリング処理強度指定バー、 ６０１：撮影用カメラ、 ６１０：サーバ計算機、 ６１１：外部インタフェース、 ６１２：中央処理演算装置、 ６１３：主記憶装置、 ６１４：大容量外部記憶装置、 ６２０：通信基盤、 ６３０：クライアント計算機、 ６４０：画像データベース、 ６５０：特徴量データベース、 ７０１：画像入力部、 ７０２：服装特徴量抽出部、 ７０３：服装特徴量登録部、 ７０４：服装特徴量データベース、 ７０５：位置特徴量抽出部、 ７０６：位置特徴量登録部、 ７０７：位置特徴量データベース、 ７０８：画像データベース、 ８０１：画像入力部、 ８０２：服装特徴量抽出部、 ８０３：検索処理部、 ８０４：服装特徴量データベース、 ８０５：フィルタリング処理部、 ８０６：位置特徴量データベース、 ８０７：出力部、 ８０８：画像データベース、 ８０９：表示装置、 ９１０：計算機、 ９１１：外部インタフェース、 ９１２：中央処理演算装置、 ９１３：主記憶装置、 ９１４：大容量外部記憶装置、 ９２０：ディスプレイ、 ９３０：画像データベース、 ９４０：特徴量データベース、 １００１：画像入力部、 １００２：服装特徴量抽出部、 １００３：服装特徴量登録部、 １００４：服装特徴量データベース、 １００５：全体画像特徴量抽出部、 １００６：全体画像特徴量登録部、 １００７：全体画像特徴量データベース、 １００８：画像データベース、 １１０１：画像入力部、 １１０２：服装特徴量抽出部、 １１０３：検索処理部、 １１０４：服装特徴量データベース、 １１０５：フィルタリング処理部、 １１０６：全体画像特徴量データベース、 １１０７：出力部、 １１０８：画像データベース、 １１０９：表示装置、

実施例１におけるシステム構成図。 実施例１におけるデータ登録処理を表すブロック図。 実施例１における検索処理を表すブロック図。 実施例１におけるフィルタリング処理のフローチャート図。 実施例１におけるフィルタリング処理による画面遷移の模式図。 実施例１におけるフィルタリング処理要求を行う機構の模式図。 実施例２におけるシステム構成図。 実施例２におけるデータ登録処理を表すブロック図。 実施例２における検索処理を表すブロック図。 実施例２におけるフィルタリング処理のフローチャート図。 実施例３におけるシステム構成図。 実施例３におけるデータ登録処理を表すブロック図。 実施例３における検索処理を表すブロック図。 実施例３におけるフィルタリング処理のフローチャート図。

Claims (7)

1. 検索目標画像に含まれる人物と類似した人物を有する画像を検索対象画像群から検索する人物画像検索装置であって、
   前記検索目標画像を入力する手段と、
   前記検索対象画像群の各々の画像から顔領域を検出する手段と、
   前記検索対象画像群から検出した各顔領域から顔画像特徴量を抽出する手段と、
   前記検索対象画像群の各画像中の全領域から全体画像特徴量を抽出する手段と、
   前記検索目標画像群の各々の画像から顔領域を検出する手段と、
   前記検索目標画像群から検出した各顔領域から顔画像特徴量を抽出する手段と、
   前記顔画像特徴量を用いて前記検索目標画像中の顔画像と類似した顔画像を前記検索対象画像群から検索して、類似度の値が大きい方から順番に検索結果のｎ件を記憶手段上に記憶する手段と、
   検索対象画像中の前記ｎ件の内の特定順位iの第１の画像の全体画像特徴量と、前記画像より類似順位が下位の第２の画像の全体画像特徴量を比較し、第１の画像と第２の画像の第1の類似度の値を計算する手段と、
   前記第1の類似度の値の大きさが所定の閾値以上であった場合に、前記第２の画像を前記検索結果の集合から除外する手段と、
   前記特定順位ｉをｉ←ｉ＋１、ｉ＋２、…、ｎ-1と変化させ、変化させた特定順位の画像の全体画像特徴量と、変化させた特定順位より下位の順位の画像の全体画像特徴量を比較し、第2の類似度の値を計算する手段と、
   前記第2の類似度の値の大きさが所定の閾値以上であった場合に、前記下位の画像を前記検索結果の集合から除外するフィルタリング手段と、
   前記フィルタリング手段でフィルタリングして残った画像を出力して表示する手段とを有することを特徴とする人物画像検索装置。
2. 前記閾値を変化させることによりフィルタリング処理の強度を変化させることを特徴とする請求項１記載の人物画像検索装置。
3. 検索目標画像に写されている人物と類似した人物が写されている画像を検索対象画像群から検索する人物画像検索装置であって、
   前記検索目標画像を入力する手段と、
   前記検索対象画像群の各々の画像から人物領域を検出する手段と、
   前記検索対象画像群から検出した各人物領域から色特徴量を抽出する手段と、
   前記検索対象画像群の各画像が撮影された位置特徴量を抽出する手段と、
   前記検索目標画像群の各々の画像から人物領域を検出する手段と、
   前記検索目標画像群から検出した各人物領域から色特徴量を抽出する手段と、
   前記色特徴量を用いて前記検索目標画像中の人物画像と類似した人物画像を前記検索対象画像群から検索して、類似度の値が大きい方から順番に検索結果のｎ件を記憶手段上に記憶する手段と、
   検索対象画像中の前記ｎ件の内の特定順位iの第１の画像の位置特徴量と、前記第１の画像より類似順位が下位の第２の画像の位置特徴量を比較し、第１の画像の撮影場所と第２の画像の撮影場所の間の第1の距離を計算する手段と、
   前記第1の距離に基づいて、前記第1の画像と前記第2の画像との第1の類似度を算出する手段と、
   前記第1の類似度の値の大きさが所定の閾値以上であった場合に、前記第２の画像を前記検索結果の集合から除外する手段と、
   前記特定順位ｉをｉ←ｉ＋１、ｉ＋２、…、ｎ-1と変化させ、変化させた特定順位の画像の位置特徴量と、変化させた特定順位より下位の順位の画像の位置特徴量を比較し、各撮影場所の間の第2の距離を計算する手段と、
   前記第2の距離に基づいて、前記第1の画像と前記第2の画像との第2の類似度を算出する手段と、
   前記第2の類似度の値の大きさが所定の閾値以上であった場合に、前記下位の画像を前記検索結果から除外するフィルタリング手段と、
   前記フィルタリング手段でフィルタリングして残った画像を出力して表示する手段とを有することを特徴とする人物画像検索装置。
4. 前記閾値を変化させることによりフィルタリング処理の強度を変化させることを特徴とする請求項３記載の人物画像検索装置。
5. 前記距離はマンハッタン距離、マハラノビス距離又はベクトルデータ同士の距離を表す値のいずれかであることを特徴とする請求項３記載の人物画像検索装置。
6. 検索目標画像に写されている人物と類似した人物が写されている画像を検索対象画像群から検索する人物画像検索装置であって、
   前記検索目標画像を入力する手段と、
   前記検索対象画像群の各々の画像から人物領域を検出する手段と、
   前記検索対象画像群から検出した各人物領域から色特徴量を抽出する手段と、
   前記検索対象画像群の各画像中の全領域から全体画像特徴量を抽出する手段と、
   前記検索目標画像群の各々の画像から人物領域を検出する手段と、
   前記検索目標画像群から検出した各人物領域から色特徴量を抽出する手段と、
   前記色特徴量を用いて前記検索目標画像中の人物画像と類似した人物画像を前記検索対象画像群から検索して、類似度が大きい方から順番に検索結果のｎ件を記憶手段上に記憶する手段と、
   検索対象画像中の前記ｎ件の内の特定順位iの第１の画像の全体画像特徴量と、前記第１の画像より類似順位が下位の第２の画像の全体画像特徴量を比較し、第１の画像と第２の画像の第1の類似度を計算する手段と、
   前記第1の類似度の値の大きさが所定の閾値以上であった場合に、前記第２の画像を前記検索結果から除外する手段と、
   前記特定順位ｉをｉ←ｉ＋１、ｉ＋２、…、ｎ-1と変化させ、変化させた特定順位の画像の全体画像特徴量と、変化させた特定順位より下位の順位の画像の全体画像特徴量を比較し、第2の類似度を計算する手段と、
   前記第2の類似度の値の大きさが所定の閾値以上であった場合に、前記下位の画像を前記検索結果から除外するフィルタリング手段と、
   前記フィルタリング手段でフィルタリングして残った画像を出力して表示する手段とを有することを特徴とする人物画像検索装置。
7. 前記閾値を変化させることによりフィルタリング処理の強度を変化させることを特徴とする請求項６記載の人物画像検索装置。

Images