JP2009212935A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】照合対象者の顔画像が撮像されているタイミングを迅速に検索する。
【解決手段】画像記録部２６は、タイムコードにより管理され、連続的に表示される画像を記録する。顔画像抽出部２２は、画像に含まれている顔画像を管理顔画像として抽出する。特徴量抽出部２３は、管理顔画像より特徴量を抽出する。タイムコード抽出部２４は、画像に含まれるタイムコードを抽出する。データベース登録部２５は、タイムコードに対応付けて、特徴量、および画像をデータベース情報として画像管理データベース１３ａに登録する。本発明は、画像管理システムに適用することができる。
【選択図】図１

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、動画として撮像された画像より照合対象者の顔画像が撮像されているタイミングから迅速に再生できるようにした画像処理装置および方法、並びにプログラムに関する。

予め撮像した画像より特定のキーワードに適合するデータを検索する技術が提案されている（特許文献１参照）。

また、予め撮像した画像より特定の人物の顔画像を検索するため、顔認証処理を実行して検索する技術が提案されている（特許文献２参照）。

特開２００６−３３１２７１号公報 特開２００３−１７８３０４号公報

しかしながら、上述した特許文献１の手法においては、予め人物を検索するため、撮像されている人物の名前など、人物を特定するための情報を別途作成しておく必要があり、画像を撮像した上で、一旦、画像を見て、使用者により撮像されている人物の名前などを入力する必要があった。

また、上述した特許文献２の手法においては、顔認証を実行するために膨大な量の計算を実行する必要があり、装置の処理能力に依存する部分が大きく、現実的な処理ができない恐れがあった。

本発明はこのような状況に鑑みてなされたものであり、照合対象者の顔画像が撮像されているタイミングを迅速に検索し、検索結果から迅速に再生を開始させるようにするものである。

本発明の一側面の画像処理装置は、タイムコードにより管理され、連続的に表示される画像を記録する記録手段と、前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出手段と、前記管理顔画像より特徴量を抽出する管理特徴量抽出手段と、前記画像に含まれるタイムコードを抽出するタイムコード抽出手段と、前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録手段とを含む。

照合対象者の顔画像である照合顔画像より特徴量を抽出する照合特徴量抽出手段と、前記照合特徴量抽出手段により抽出された特徴量と、前記データベースに登録されている特徴量との類似度を計算する類似度計算手段と、前記類似度計算手段により計算された類似度と、所定の閾値との比較により類似しているか否かを判定する判定手段と、前記判定手段により類似していると判定された、前記データベースに登録されている特徴量に対応付けて登録されているデータベース情報を取得するデータベース情報取得手段とをさらに含ませるようにすることができる。

前記データベース情報取得手段により取得されたデータベース情報を選択する選択手段と、前記選択手段により選択されたデータベース情報に対応するタイムコードより、前記記録手段により記録された画像を再生する再生手段とをさらに含ませるようにすることができる。

本発明の一側面の画像処理方法は、タイムコードにより管理され、連続的に表示される画像を記録する記録手段と、前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出手段と、前記管理顔画像より特徴量を抽出する管理特徴量抽出手段と、前記画像に含まれるタイムコードを抽出するタイムコード抽出手段と、前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録手段とを含む画像処理装置の、前記記録手段が、前記タイムコードにより管理され、連続的に表示される前記画像を記録する記録ステップと、前記管理顔画像抽出手段が、前記画像に含まれている前記顔画像を管理顔画像として抽出する管理顔画像抽出ステップと、前記管理特徴量抽出手段が、前記管理顔画像より特徴量を抽出する管理特徴量抽出ステップと、前記タイムコード抽出手段が、前記画像に含まれる前記タイムコードを抽出するタイムコード抽出ステップと、前記データベース登録手段が、前記タイムコードに対応付けて、前記特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録ステップとを含む。

本発明の一側面のプログラムは、タイムコードにより管理され、連続的に表示される画像を記録する記録ステップと、前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出ステップと、前記管理顔画像より特徴量を抽出する管理特徴量抽出ステップと、前記画像に含まれるタイムコードを抽出するタイムコード抽出ステップと、前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、タイムコードにより管理され、連続的に表示される画像が記録され、前記画像に含まれている顔画像が管理顔画像として抽出され、前記管理顔画像より特徴量が抽出され、前記画像に含まれるタイムコードが抽出され、前記タイムコードに対応付けて、特徴量、および画像がデータベース情報としてデータベースに登録される。

本発明の一側面の画像処理装置における、タイムコードにより管理され、連続的に表示される画像を記録する記録手段とは、例えば、画像記録部であり、前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出手段とは、例えば、顔画像抽出部であり、前記管理顔画像より特徴量を抽出する管理特徴量抽出手段とは、例えば、特徴量抽出部であり、前記画像に含まれるタイムコードを抽出するタイムコード抽出手段とは、例えば、タイムコード抽出部であり、前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録手段とは、例えば、データベース登録部である。

すなわち、画像記録部により連続して画像が記録される際、顔画像抽出部が画像毎に含まれている管理顔画像を抽出し、管理特徴量抽出部が、管理顔画像より特徴量を抽出し、時刻情報抽出部がタイムコードを抽出し、データベース登録部が、タイムコードに対応付けて、管理顔画像の特徴量と画像とをデータベース情報としてデータベースに抽出することにより、記録された画像の中から、照合対象者の顔画像が撮像されているタイミングから再生を開始させたい場合、照合対象者の顔画像の特徴量を抽出し、データベースに登録されているデータベース情報の特徴量との類似度を計算して、類似度に基づいて類似しているデータベース情報を検索し、検索されたデータベース情報に対応付けて登録されているタイムコードのタイミングから、記録された画像を再生させることができる。

結果として、比較的処理量を小さくしつつ、照合対象者の顔画像が記録されているタイミングを全画像から迅速に検索して、検索されたタイミングから迅速に再生を開始させることが可能となる。

本発明によれば、照合対象者の顔画像が撮像されているタイミングを迅速に検索することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

すなわち、本発明の一側面の画像処理装置は、タイムコードにより管理され、連続的に表示される画像を記録する記録手段（例えば、図１の画像記録部２６）と、前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出手段（例えば、図１の顔画像抽出部２２）と、前記管理顔画像より特徴量を抽出する管理特徴量抽出手段（例えば、図１の特徴量抽出部２３）と、前記画像に含まれるタイムコードを抽出するタイムコード抽出手段（例えば、図１のタイムコード抽出部２４）と、前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベース（例えば、図１の画像管理データベース１３ａ）に登録するデータベース登録手段（例えば、図１のデータベース登録部２５）とを含む。

照合対象者の顔画像である照合顔画像より特徴量を抽出する照合特徴量抽出手段（例えば、図１の特徴量抽出部４２）と、前記照合特徴量抽出手段により抽出された特徴量と、前記データベースに登録されている特徴量との類似度を計算する類似度計算手段（例えば、図１の類似度計算部４３）と、前記類似度計算手段により計算された類似度と、所定の閾値との比較により類似しているか否かを判定する判定手段（例えば、図１の類似度判定部４４）と、前記判定手段により類似していると判定された、前記データベースに登録されている特徴量に対応付けて登録されているデータベース情報を取得するデータベース情報取得手段（例えば、図１の検索結果取得部４５）とをさらに含ませるようにすることができる。

前記データベース情報取得手段により取得されたデータベース情報を選択する選択手段（例えば、図１の操作入力部６７）と、前記選択手段により選択されたデータベース情報に対応するタイムコードより、前記記録手段により記録された画像を再生する再生手段（例えば、図１の再生部６６）とをさらに含ませるようにすることができる。

本発明の一側面の画像処理方法は、タイムコードにより管理され、連続的に表示される画像を記録する記録手段と、前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出手段と、前記管理顔画像より特徴量を抽出する管理特徴量抽出手段と、前記画像に含まれるタイムコードを抽出するタイムコード抽出手段と、前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録手段とを含む画像処理装置の、前記記録手段が、前記タイムコードにより管理され、連続的に表示される前記画像を記録する記録ステップ（例えば、図２のステップＳ１０）と、前記管理顔画像抽出手段が、前記画像に含まれている前記顔画像を管理顔画像として抽出する管理顔画像抽出ステップ（例えば、図２のステップＳ３）と、前記管理特徴量抽出手段が、前記管理顔画像より特徴量を抽出する管理特徴量抽出ステップ（例えば、図２のステップＳ６）と、前記タイムコード抽出手段が、前記画像に含まれる前記タイムコードを抽出するタイムコード抽出ステップ（例えば、図２のステップＳ７）と、前記データベース登録手段が、前記タイムコードに対応付けて、前記特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録ステップ（例えば、図２のステップＳ８）とを含む。

以下、図面を参照して、本発明について説明する。

図１は、本発明に係る画像管理システムの一実施の形態の構成を示す図である。

図１の画像管理システムは、画像処理装置１、管理装置２、および撮像装置３より構成されている。

画像処理装置１は、撮像装置３により撮像された画像を取得し、動画ファイルとして順次記録すると共に、撮像された画像内の顔画像について特徴量を抽出し、顔画像が含まれている画像のタイムコードに対応付けて、特徴量のデータベースに登録する。そして、画像処理装置１は、管理装置２より照合対象となる顔画像が供給されてくると、照合対象となる顔画像の特徴量を、データベースから検索し、検索された特徴量が対応付けて登録されているタイムコードを供給すると共に、そのいずれかのタイムコードより再生が指示された場合、記録された画像ファイルを再生が指示されたタイムコードのタイミングより再生する。

まず、画像処理装置１の構成について説明する。

画像処理装置１は、画像管理データベース生成部１１、検索再生部１２、および管理情報格納部１３より構成されている。画像管理データベース生成部１１は、撮像装置３により撮像される画像を動画の画像ファイルとして順次管理情報格納部１３に記録すると共に、各画像に含まれる顔画像を抽出し、顔画像の特徴量を抽出して、記録される画像を含めて、そのタイムコードに対応付けて、データベース情報として管理情報格納部１３に格納させる。尚、画像処理装置１は、撮像装置３により撮像された画像を動画の画像ファイルとして記録する例について説明するものとするが、必ずしも動画でなくてもよく、所定の時間間隔で撮像される静止画像を連続的に画像ファイルとして記録するようにしても良い。

検索再生部１２は、管理装置２より供給されてくる照合対象者の顔画像を取得すると、取得した顔画像より特徴量を抽出し、管理情報格納部１３に格納されているデータベース情報の特徴量のうち類似しているデータベース情報を検索し、検索結果に対応するタイムコードと、そのタイムコードに対応付けて格納されている画像を読み出し、管理装置２に供給する。

画像管理データベース生成部１１は、画像入力部２１、顔画像抽出部２２、特徴量抽出部２３、タイムコード抽出部２４、データベース登録部２５、および画像記録部２６より構成されている。

画像入力部２１は、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子と、各種のレンズなどからなる光学ブロックを備えた撮像装置３により撮像され、例えば、フレーム単位で連続的に供給されてくる画像の入力を受け付け、フレーム毎に順次顔画像抽出部２２、タイムコード抽出部２４、データベース登録部２５、および画像記録部２６に供給する。

顔画像抽出部２２は、画像入力部２１より供給されてくる画像より顔画像を抽出し、抽出した顔画像を特徴量抽出部２３に供給する。より詳細には、顔画像抽出部２２は、画像入力部２１より供給されてきた画像内に、顔を構成する部位の配置などのパターンを検出することにより顔画像からなる矩形画像を抽出する。

特徴量抽出部２３は、抽出した顔画像より顔画像を識別するための特徴量の情報を抽出し、データベース登録部２５に供給する。より詳細には、特徴量抽出部２３は、供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などを、顔の特徴量として抽出する。

タイムコード抽出部２４は、画像入力部２１より供給されてきた画像のタイムコードを抽出し、データベース記録部２５に供給する。タイムコードとは、連続的に入力されてくる画像の再生タイミングを示す情報（撮像された時刻情報を含む）であり、撮像装置３により撮像された画像が、デジタル信号などであって、例えば、MPEG（Moving Picture Experts Group）2方式で供給されてくる場合、トランスポートストリームに含まれるタイムスタンプなどを示す。尚、撮像された画像が、アナログ信号の画像であるような場合、タイムコード抽出部２４は、内蔵する図示せぬRTC（Real Time Clock）により順次発生される時刻情報をフレーム単位の画像の供給タイミングを示すタイムコードとして、画像より抽出したものとして出力する。

データベース登録部２５は、タイムコードに対応付けて、そのタイミングにおける画像、および特徴量をデータベース情報として、管理情報格納部１３の画像管理データベース１３ａに登録する。

画像記録部２６は、画像入力部２１より順次供給されてくる画像を画像ファイル１３ｂとして管理情報格納部１３に格納させる。この際、上述したように、アナログ信号からなる画像データの場合、タイムコード抽出部２４より抽出されたタイムコードも併せて画像ファイル１３ｂに格納する。

検索再生部１２の顔画像取得部４１は、管理装置２より供給されてくる照合対象者の顔画像を取得し、特徴量抽出部４２に供給する。特徴量抽出部４２は、画像管理データベース生成部１１における特徴量抽出部２３と同様の機能を備えるものであり、顔画像取得部４１より供給されてくる顔画像より特徴量を抽出し、類似度計算部４３に供給する。

類似度計算部４３は、画像管理情報格納部１３の画像管理データベース１３ａに格納されているデータベース情報の特徴量と、特徴量抽出部４２より供給されてくる特徴量とから類似度を計算し、順次類似度判定部４４に供給する。

類似度判定部４４は、供給されてくる類似度が所定の閾値以上であるか否かを判定し、判定結果を検索結果取得部４５に供給する。

検索結果取得部４５は、類似度判定部４４の判定結果に基づいて、類似度が所定の閾値よりも高い、すなわち、類似していると判定されたデータベース情報を画像管理データベース１３ａより読み出し、検索結果として検索結果バッファ４６に格納させる。

検索結果出力部４７は、検索結果バッファ４６に格納されている、類似度が所定の閾値よりも高いデータベース情報を検索結果として管理装置２に供給する。

管理装置２の画像読取部６１は、操作入力部６７からの指示に基づいて、記録媒体に記録されているデジタル信号からなる画像をデータとして、または、紙などに印刷されたアナログ信号からなる画像を、スキャナなどにより読み取って画像のデータとして取得し、画像取得部６２に供給する。

画像取得部６２は、画像読取部６１より供給されてくる画像を取得し、顔画像抽出部６３に供給する。

顔画像抽出部６３は、画像取得部６２より供給されてきた画像より、顔画像を抽出し、抽出した顔画像を画像処理装置１に供給する。より詳細には、顔画像抽出部６３は、顔画像抽出部２２と同様に、画像取得部６２より供給されてきた画像内に、顔を構成する部位の配置などのパターンを検出することにより顔画像からなる矩形画像を抽出する。

検索結果取得部６４は、画像処理装置１の管理情報格納部１３に格納されている画像ファイル１３ｂより、顔画像抽出部６３より供給した顔画像と類似する画像が記録されているタイムコードとしての検索結果を取得し、リストとしてLCD（Liquid Crystal Display）や有機EL（Electronic Luminescent）などからなる表示部６４に表示すると共に、再生部６６に供給する。

再生部６６は、検索結果取得部６４より供給されてきた検索結果であるタイムコードのうち、操作入力部６７により選択されたタイムコードに対応する画像を画像ファイル１３ｂより読み出し、再生を開始して、表示部６５に表示する。

次に、図２のフローチャートを参照して画像処理装置１による画像管理データベース登録処理について説明する。

ステップＳ１において、画像入力部２１は、撮像装置３より撮像された画像データが供給されてきたか否かを判定し、画像データが供給されてくるまでする。尚、ここでの画像データの有無は、フレーム単位であるものとするが、1枚の画像として扱えるデータの単位であればよいので、フレーム単位でなくともよく、例えば、フィールド単位であってもよい。

ステップＳ１において、撮像装置３により撮像された画像が、供給されてきた場合、ステップＳ２において、画像入力部２１は、撮像装置３より供給されてきた画像を取得し、取得した画像を、顔画像抽出部２２、タイムコード抽出部２４、データベース登録部２５、および画像記録部２６に供給する。

ステップＳ３において、顔画像抽出部２２は、画像入力部２１より供給されてきた画像内に、顔を構成する部位の配置などのパターンを検出することにより顔画像からなる矩形画像を抽出し、特徴量抽出部２３に供給する。この際、顔画像抽出部２２は、１枚の画像より複数の顔画像が抽出されるような場合、複数の顔画像を特徴量抽出部２３に供給する。また、顔画像抽出部２２は、画像内に顔画像に相当するものが写っておらず、顔画像が抽出できない場合、顔画像の抽出ができないことを特徴量抽出部２３に通知する。

ステップＳ４において、特徴量抽出部２３は、顔画像抽出部２２より顔画像が供給されてきたか否かを判定し、画像より顔画像が抽出できたか否かを判定する。ステップＳ４において、例えば、顔画像抽出部２２により顔画像が抽出されてきた場合、ステップＳ５において、特徴量抽出部２３は、未処理の顔画像のうちいずれか１つの顔画像を処理対象の顔画像として設定する。

ステップＳ６において、特徴量抽出部２３は、処理対象の顔画像より、例えば、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などを、顔の特徴量として抽出し、データベース登録部２５に供給する。

ステップＳ７において、タイムコード抽出部２４は、画像入力部２１より供給されてきた画像のタイムコードを抽出し、データベース登録部２５に供給する。

ステップＳ８において、データベース登録部２５は、図３で示されるような管理情報格納部１３の画像管理データベース１３ａに、タイムコードに対応付けて、画像入力部２１より供給されてきた画像、および特徴量抽出部２３より供給されてきた特徴量をデータベース情報として登録する。

図３においては、図中の左から番号（Ｎｏ．）、タイムコード、画像、および特徴量が示されており、番号１のデータベース情報は、タイムコードが2007年11月29日8時33分33秒であり、対応する画像と、その画像における図中の右下の顔画像の特徴量が示されている。また、番号２のデータベース情報は、タイムコードが2007年11月29日8時33分34秒であり、対応する画像と、その画像における図中の右下の顔画像の特徴量が示されている。さらに、番号３のデータベース情報は、タイムコードが2007年11月29日8時33分35秒であり、対応する画像と、その画像における顔画像がなく、特徴量も抽出できなかったことが示されている。また、番号４のデータベース情報は、タイムコードが2007年11月29日8時33分36秒であり、対応する画像と、その画像における図中の左下の顔画像の特徴量が示されている。さらに、番号５のデータベース情報は、タイムコードが2007年11月29日8時33分37秒であり、対応する画像と、その画像における図中の左下の顔画像の特徴量が示されている。また、番号６のデータベース情報は、タイムコードが2007年11月29日8時33分37秒であり、対応する画像と、その画像における図中の右下の顔画像の特徴量が示されている。

ステップＳ９において、特徴量抽出部２３は、未処理の顔画像が存在しないか否かを判定し、未処理の顔画像が存在する場合、処理は、ステップＳ５に戻る。すなわち、未処理の顔画像が存在しないと判定されるまで、ステップＳ５乃至Ｓ９の処理が繰り返される。

このため、例えば、画像内に２人の顔画像が存在する場合、図３における番号５，６のデータベース情報で示されるように、同一の画像に対して複数の顔画像のそれぞれについて、同一のタイムコードに対応付けられた、特徴量の異なるデータベース情報が登録される。図３においては、画像中の右下の顔画像の特徴量と、左下の顔画像の特徴量とが、それぞれの異なるデータベース情報として登録されている。

また、ステップＳ４において、顔画像が抽出できなかった場合、ステップＳ５，Ｓ６の処理がスキップされて、例えば、図３の番号３のデータベース情報で示されるように、特徴量がブランクの状態で登録される。

ステップＳ１０において、画像記録部２６は、画像入力部２１より供給されてきた画像を管理情報格納部１３の画像ファイル１３ｂとして記録し、処理は、ステップＳ１に戻る。すなわち、画像記録部２６は、供給されてきた画像における顔画像の数だけデータベース情報が登録された後、その画像を画像ファイル１３ｂに記録する。この画像ファイル１３ｂは、一般的な動画からなる画像ファイルを構成するものである。

以上の処理により、撮像装置３により画像が撮像されると撮像された画像のタイムコードに対応付けて、その画像に含まれる顔画像についてそれぞれ特徴量が抽出されて画像管理データベース１３ａのデータベース情報として登録される。結果として、顔画像の特徴量に基づいて、画像の再生位置を検索し、検索されたタイムコードの画像から再生を開始させることが可能となる。

次に、図４のフローチャートを参照して、画像処理装置１および管理装置２による画像検索再生処理について説明する。

ステップＳ２１において、画像読取部６１は、操作入力部６７が操作されることにより画像の読み取りが指示されたか否かを判定し、画像の読み取りが指示されるまで、同様の処理を繰り返す。

ステップＳ２１において、例えば、操作入力部６７が操作されて、画像の読み取りが指示された場合、ステップＳ２２において、画像読取部６１は、接続されている記録媒体に記録されている画像のうち、読み取りが指示されている画像のデータを読み出す、または、スキャナなどで指定された画像を読み取って画像取得部６２に供給する。画像取得部６２は、画像読取部６１より供給されてきた画像を取得し、顔画像抽出部６３に供給する。尚、ここで、読み取りが指示されるのは、使用者により画像ファイル１３ｂに撮像されている画像に対して、照合対象としたい人物の顔画像が含まれている画像の読み取りの指示である。

ステップＳ２３において、顔画像抽出部６３は、画像取得部６２より供給されてきた画像内に、顔を構成する部位の配置などのパターンを検出することにより顔画像からなる矩形画像を抽出し、画像処理装置１に供給する。

ステップＳ４１において、画像処理装置１の顔画像取得部４１は、管理装置２より顔画像が供給されてくるか否かを判定し、顔画像が供給されてくるまで、同様の処理を繰り返す。ステップＳ４１において、例えば、ステップＳ２３の処理により、顔画像が供給されてきた場合、ステップＳ４２において、顔画像取得部４１は、供給されてきた顔画像を照合対象顔画像として取得し、特徴量抽出部４２に供給する。

ステップＳ４３において、特徴量抽出部４２は、供給された照合対象顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などを、照合対象顔画像における特徴量を照合対象特徴量として抽出し、類似度計算部４３に供給する。

ステップＳ４４において、類似度計算部４３は、管理情報格納部１３の画像管理データベース１３ａに登録されているデータベース情報のうち、１つの未処理のデータベース情報を選択し、処理対象データベース情報に設定する。

ステップＳ４５において、類似度計算部４３は、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの、特徴量抽出部４２より供給されてきた照合対象特徴量と、処理対象データベース情報における処理対象特徴量とにおける、それぞれの差分和、平均比率、または比率和などを類似度として計算し、類似度判定部４４に供給する。

ステップＳ４６において、類似度判定部４４は、照合対象特徴量と処理対象特徴量との類似度が所定の閾値よりも大きいか否か（類似度の種類によっては、閾値よりも小さいか否か）に基づいて、照合対象特徴量を備える顔画像と処理対象特徴量を備える顔画像とが類似しているか否かを判定する。ステップＳ４６において、類似度が所定の閾値よりも大きく、類似していると判定された場合、ステップＳ４７において、類似度判定部４４は、照合対象特徴量と処理対象特徴量とが類似していることを示す情報を検索結果取得部４５に供給する。これに応じて、検索結果取得部４５は、類似していると判定された特徴量を含むデータベース情報を、検索結果として画像管理データベース１３ａより読み出し、検索結果バッファ４６に記憶させる。

一方、ステップＳ４６において、照合対象特徴量と処理対象特徴量との類似度に基づいて、照合対象特徴量と処理対象特徴量とが相互に類似していないと判定された場合、ステップＳ４７の処理はスキップされる。

ステップＳ４８において、類似度計算部４３は、画像管理データベース１３ａにアクセスし、未処理のデータベース情報があるか否かを判定し、未処理のデータベース情報があると判定された場合、処理は、ステップＳ４４に戻る。すなわち、照合対象特徴量に対して、全てのデータベース情報の特徴量が処理対象特徴量として類似度が計算され、所定の閾値との比較がなされるまで、ステップＳ４４乃至Ｓ４８の処理が繰り返され、類似していると判定される特徴量を含むデータベース情報が順次検索結果バッファ４６に蓄積されていく。

そして、ステップＳ４８において、未処理のデータベース情報がないと判定された場合、ステップＳ４９において、検索結果出力部４７は、検索結果バッファ４６に蓄積されているデータベース情報を読み出して、検索結果として管理装置２に供給する。

ステップＳ２５において、検索結果取得部６４は、ステップＳ４９の処理により、画像処理装置１より供給されてくる検索結果であるデータベース情報を取得し、一旦記憶する。

ステップＳ２６において、検索結果取得部６４は、取得した検索結果となるデータベース情報を、例えば、図５で示されるように表示部６５に表示させる。図５においては、最上段に「再生したい映像を選択して下さい」と表示され、その下に、画像Ｐ１乃至Ｐ５が表示される。この画像Ｐ１乃至Ｐ５は、それぞれデータベース情報に対応して含まれている画像のサムネール画像である。画像Ｐ１乃至Ｐ５は、下部にそれぞれ対応するデータベース情報のタイムコードが表示されており、画像Ｐ１は、タイムコードが2007年11月29日8時30分であることを示している。また、画像Ｐ２は、タイムコードが2007年11月29日9時30分であることを示している。さらに、画像Ｐ３は、タイムコードが2007年12月2日12時00分であることを示している。また、画像Ｐ４は、タイムコードが2007年12月2日13時30分であることが示している。さらに、画像Ｐ５は、タイムコードが2007年12月3日11時00分であることを示している。また、画像Ｐ１乃至Ｐ５は、ポインタＡにより選択することが可能である。

ステップＳ２７において、再生部６６は、操作入力部６７によりポインタＡが操作されて、いずれかの画像Ｐ１乃至Ｐ５が選択されたか否かを判定する。ステップＳ２７において、例えば、図５で示されるように、操作入力部６７が操作されることによりポインタＡが画像Ｐ５上に移動されて、所定の操作がなされて、選択が指示された場合、ステップＳ２８において、再生部６６は、選択された画像Ｐ５に対応するデータベース情報よりタイムコードの情報を検索結果取得部６４より読み出すと共に、画像処理装置１の管理情報格納部１３にアクセスし、画像ファイル１３ｂをダウンロードして、読み出したタイムコードのタイミングから再生を開始して、表示部６５に表示させる。

すなわち、図５の場合、画像Ｐ５が選択されているので、画像ファイル１３ｂがダウンロードされると、図５の画像Ｐ５が撮像されているタイムコードが2007年12月3日の11時頃に撮像された画像より再生が開始される

ステップＳ２９において、再生部６６は、再生が終了したか、すなわち、再生すべき画像ファイル１３ｂの画像の再生が完了してしまったか、または、操作入力部６７が操作されて再生の終了が指示されたか否かを判定し、再生が終了しない、または、再生の終了が指示されていない場合、処理は、ステップＳ２８に戻る。すなわち、再生が継続され続ける。

そして、ステップＳ２９において、再生が終了した、または、再生の終了が指示された場合、ステップＳ３０において、再生部６６は、再生を終了すると共に、処理は、ステップＳ２１に戻る。

また、ステップＳ２７において、いずれの画像も選択されなかった場合、ステップＳ３１において、再生部６６は、処理が終了されるように、操作入力部が指示されているか否かを判定し、処理の終了が指示されていない場合、処理は、ステップＳ２７に戻る。すなわち、ステップＳ２７において、画像Ｐ１乃至Ｐ５のいずれかが選択されない状態のまま、ステップＳ２７，Ｓ３１の処理が繰り返される。そして、処理の終了が指示された場合、処理は、ステップＳ２１に戻る。

以上の処理により管理装置２において、画像ファイル１３ｂに撮像されている顔画像のうち、使用者が検索してみたい照合対象者の顔画像を含む画像をアナログ信号、または、デジタル信号のいずれかで読み込ませるだけで、照合対象者の顔画像の特徴量が記録されている画像ファイル上のタイミングをデータベース情報として検索し、例えば、図５で示されるような画像Ｐ１乃至Ｐ５で示されるようなサムネール画像を検索結果として表示することが可能となる。さらに、サムネール画像からなる画像Ｐ１乃至Ｐ５を選択することにより、選択されたデータベース情報におけるタイムコードに基づいて、対応するタイミングから画像ファイル１３ｂを迅速に再生させることが可能となる。

このため、例えば、撮像装置３を監視カメラとして利用し、画像処理装置１が、撮像装置３により撮像された画像に含まれる顔画像の全てについて特徴量を抽出して、タイムコードに対応付けて画像管理データベース１３ａとして管理すると共に、撮像した画像を画像ファイル１３ｂとして記録することにより、撮像装置３の撮像範囲内において、何らかの犯罪などが発生し、その容疑者などが特定された場合、画像処理装置１は、容疑者の顔画像が管理装置２より供給されると、容疑者の顔画像の特徴量と画像管理データベース１３ａに登録されている特徴量とについて類似度を計算し、類似していると判定される特徴量に対応付けて登録されているタイムコードを検索結果として管理装置２に供給する。これにより、管理装置２は、この検索結果に基づいて、タイムコードに対応して登録されている画像のサムネール画像より再生位置が指示されることにより、容疑者が撮像されていると思われるタイミングから画像ファイル１３ｂを再生させることが可能となる。

結果として、動画として複数の画像が連続的に再生されるような画像ファイルにおいて、検索したい人物が撮像されているタイミングを迅速に検索することが可能になると共に、検索されたタイミングからの再生を容易に実現させることが可能となる。

尚、以上の例においては、供給されてくる画像に対して全ての画像より顔画像を抽出し、抽出した顔画像の全てについて特徴量を抽出してデータベース情報として管理する例について説明してきたが、撮像された画像のうち前後のフレームにおけるものは、同一の人物が撮像されていることが多く、また、類似したシーンが撮影されている可能性が高いので、画像管理データベース１３ａに登録するデータベース情報が不要に増大する可能性があるので、例えば、１０フレーム毎などの、複数のフレーム毎に顔画像を抽出するようにし、さらに、顔画像の特徴量を画像管理データベース１３ａに登録するようにすることで、データベース情報の量を適切に調整することが可能となる。

以上の如く、本発明によれば、照合対象者の顔画像が撮像されているタイミングを迅速に検索することが可能となる。

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した画像管理システムの一実施の形態の構成を示す図である。 画像管理データベース登録処理を説明するフローチャートである。 画像管理データベースを説明する図である。 画像検索再生処理を説明するフローチャートである。 検索結果の表示例を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 画像処理装置
２ 管理装置
３ 撮像装置
１１ 画像管理データベース生成部
１２ 検索再生部
１３ 管理情報格納部
２１ 画像入力部
２２ 顔画像抽出部
２３ 特徴量抽出部
２４ タイムコード抽出部
２５ データベース登録部
２６ 画像記録部
４１ 顔画像取得部
４２ 特徴量抽出部
４３ 類似度計算部
４４ 類似度判定部
４５ 検索結果取得部
４６ 検索結果バッファ
４７ 検索結果出力部
６１ 画像読取部
６２ 画像取得部
６３ 顔画像抽出部
６４ 検索結果取得部
６５ 表示部
６６ 再生部
６７ 操作入力部

Claims (5)

1. タイムコードにより管理され、連続的に表示される画像を記録する記録手段と、
   前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出手段と、
   前記管理顔画像より特徴量を抽出する管理特徴量抽出手段と、
   前記画像に含まれるタイムコードを抽出するタイムコード抽出手段と、
   前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録手段と
   を含む画像処理装置。
2. 照合対象者の顔画像である照合顔画像より特徴量を抽出する照合特徴量抽出手段と、
   前記照合特徴量抽出手段により抽出された特徴量と、前記データベースに登録されている特徴量との類似度を計算する類似度計算手段と、
   前記類似度計算手段により計算された類似度と、所定の閾値との比較により類似しているか否かを判定する判定手段と、
   前記判定手段により類似していると判定された、前記データベースに登録されている特徴量に対応付けて登録されているデータベース情報を取得するデータベース情報取得手段とをさらに含む
   請求項１に記載の画像処理装置。
3. 前記データベース情報取得手段により取得されたデータベース情報を選択する選択手段と、
   前記選択手段により選択されたデータベース情報に対応するタイムコードより、前記記録手段により記録された画像を再生する再生手段とをさらに含む
   請求項２に記載の画像処理装置。
4. タイムコードにより管理され、連続的に表示される画像を記録する記録手段と、
   前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出手段と、
   前記管理顔画像より特徴量を抽出する管理特徴量抽出手段と、
   前記画像に含まれるタイムコードを抽出するタイムコード抽出手段と、
   前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録手段とを備える画像処理装置の、
   前記記録手段が、前記タイムコードにより管理され、連続的に表示される前記画像を記録する記録ステップと、
   前記管理顔画像抽出手段が、前記画像に含まれている前記顔画像を管理顔画像として抽出する管理顔画像抽出ステップと、
   前記管理特徴量抽出手段が、前記管理顔画像より特徴量を抽出する管理特徴量抽出ステップと、
   前記タイムコード抽出手段が、前記画像に含まれる前記タイムコードを抽出するタイムコード抽出ステップと、
   前記データベース登録手段が、前記タイムコードに対応付けて、前記特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録ステップと
   を含む画像処理方法。
5. タイムコードにより管理され、連続的に表示される画像を記録する記録ステップと、
   前記画像に含まれている顔画像を管理顔画像として抽出する管理顔画像抽出ステップと、
   前記管理顔画像より特徴量を抽出する管理特徴量抽出ステップと、
   前記画像に含まれるタイムコードを抽出するタイムコード抽出ステップと、
   前記タイムコードに対応付けて、特徴量、および画像をデータベース情報としてデータベースに登録するデータベース登録ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images