JP2005202938A

JP2005202938A - 映像検索装置及び映像検索方法

Info

Publication number: JP2005202938A
Application number: JP2004358526A
Authority: JP
Inventors: Noriko Tanaka; 則子田中; Masaaki Sato; 正章佐藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-12-19
Filing date: 2004-12-10
Publication date: 2005-07-28

Abstract

【課題】映像検索を適切に行うことと容易に検索対象を指定して効果的な検索を行うことが可能な映像検索装置及び映像検索方法を提供する。
【解決手段】映像検索装置は、映像内の蓄積対象動領域を抽出する動領域抽出部１０２と、蓄積対象動領域を蓄積対象ブロック領域に分割する領域分割部１０４と、蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を導出する代表色算出部１０５と、蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を蓄積するＤＢ１０６と、映像内の検索対象領域を抽出する検索領域指定部１０８と、検索対象領域を検索対象ブロック領域に分割する領域分割部１０９と、検索対象領域を構成する各検索対象ブロック領域の代表色を導出する代表色算出部１１０と、ＤＢ１０６に蓄積された蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色と、検索対象領域を構成する各検索対象ブロック領域の代表色とを比較し、その比較結果に応じた出力を行う比較部１１１とを有する。
【選択図】図１

Description

本発明は、主として映像監視用途に用いられる映像検索装置及び映像検索方法に関する。

従来、個人識別等の映像監視用途に用いられる各種の映像検索装置（監視システムや個人識別装置）が提案されている（例えば特許文献１及び２参照）。

従来の監視システムのブロック図を図１４に示す。図１４に示す監視システムは、デジタルレコーダ５０１内において、所定の位置に設置された撮像装置５０２により撮像された監視画像をＡ／Ｄ変換部５１１を介して記録するフレームメモリ５１２と、フレームメモリ５１２に記録された監視画像を順次読み出し、ユーザによる操作部５１７の操作に応じて、その読み出した監視画像の少なくとも一部の領域を指定し、更に、その指定した領域に動きのある監視画像を検索する処理制御部５１６と、処理制御部５１６によって検索されたフレームメモリ５１２内の監視画像を、データ圧縮部５１３、書き込みバッファ５１４、データ記録部５１５、読み出しバッファ５１８及びデータ伸張部５１９を介して入力し、再生する表示用メモリ５２０、Ｄ／Ａ変換部５２１及び表示装置５０５とを有する。この監視システムでは、ユーザによる操作部５１７の操作によって指定された領域において動きのあった映像のみが高速に検索、抽出され、表示される。

また、従来の個人識別装置の動作を図１５に示す。図１５に示す個人識別装置は、識別すべき人物の顔画像を入力する画像入力部６１１と、この画像入力部６１１により入力された顔画像を、一次顔正規化部６１２を介して取得し、その顔画像の特徴点を抽出する特徴点抽出部６１３と、標準的な顔画像の特徴点を記録した標準顔画像特徴点データベース部６１４と、特徴点標準的な顔画像の特徴点と一致するように変形された基準顔画像を人物毎に記録した基準顔画像特徴点データベース部６１６と、特徴点が標準顔画像特徴点データベース部６１４に記録された標準的な顔画像の特徴点と一致するように、画像入力部６１１によって入力された顔画像を変形させる二次顔正規化部６１５と、二次顔正規化部６１５によって正規化された顔画像と基準顔画像データベース部６１６に記録された基準顔画像との相関を逐次求める画像相関演算部６１７と、画像相関演算部６１７が求めた相関地に基づいて、画像入力部６１１によって入力された顔画像に対応する人物を識別する判断部６１８とを有する。この個人識別装置は、入力された顔画像に対して最も相関の高い基準顔画像を検索し、その検索された基準顔画像により個人識別を行うことを可能とするものであり、顔の撮影方向の変化等に対して、ロバスト（頑健）な個人識別を行う。

また、従来の映像検索システムでは、例えば所望の人物画像を色情報を用いて検索する方法としては次のものが知られている。１つは画像全体を検索対象として指定し、その画像から色情報を抽出し、この抽出した色情報と記憶装置に蓄積されている映像データから同様に抽出した色情報を比較して類似画像を取得する方法である。また、属性情報として色情報を直接指定する場合、ＧＵＩを介してモニタ上に表示されている画像上で矩形領域などを入力することにより、表示されている画像から指定した矩形領域などを切り出して、この切り出し画像から色情報を抽出して検索対象にする方法がある。また、本明細書で述べる「ＨＳＶ空間」に関しては非特許文献１に、「ヒストグラムインターセクション」に関しては特許文献３にそれぞれ開示されている。

特開２０００−１３２６６９号公報特開平１１−１６１７９１号公報特開２００４−２５２７４８号公報（段落００１２−００１３）高木幹雄・下田陽久監修、「画像解析ハンドブック」、東京大学出版会、１９９１年１月

しかしながら、前述した従来の監視システムは、動きの有無のみに基づいて再生対象の画像を検索しているため、個人識別等の特定の対象物を識別するための映像検索用途においては必ずしも十分ではない。一方、前述した従来の個人識別装置は、顔の目、鼻、口等の特定部分の画像を取得することができない場合には、画像を検索して、その検索結果に基づいて個人識別を行うことが不可能である。このため、映像検索を適切に行うことが要求されている。

また、従来の映像検索システムにおいては、例えば画像そのものを検索キーとして指定する方法では、あらかじめ検索したい画像が手元になければ検索を行うことができない。また、属性情報として色情報を直接指定する場合、ＧＵＩを介してモニタ上に表示された画像上で矩形領域を入力することにより色情報を抽出する検索対象領域を指定する方法では、ユーザによって個人差があり、常に同様な検索結果を得ることが難しくなる可能性がある。

本発明は従来の問題を解決するためになされたもので、映像検索を適切に行うこと、容易に検索対象を指定して効果的な検索を行うことが可能な映像検索装置及び映像検索方法を提供することを目的とする。

本発明の映像検索装置は、第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域の代表色を導出して出力する蓄積対象ブロック領域代表色導出手段と、前記蓄積対象ブロック領域の各々の代表色を蓄積する蓄積対象ブロック領域代表色蓄積手段と、第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出手段と、前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割手段と、前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前記検索対象ブロック領域の代表色を導出して出力する検索対象ブロック領域代表色導出手段と、前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色とを比較し、その比較結果に応じた出力を行う比較手段とを有する構成となる。

この構成により、映像内の動きと、その動きの領域を構成する各ブロックの色に基づいて映像検索が行われる。すなわち、映像内の動きだけでなく、その動きの領域の色によって映像検索が行われるため、動きの有無のみに基づいて映像を検索する場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができる。

また、本発明の映像検索装置は、前記比較手段が、前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色との差分を前記比較結果として導出する構成とすることができる。

この構成により、複数の蓄積対象動領域の内、検索対象領域に色の近似するものが検索されることが可能になるため、色に基づいた映像検索を適切に行うことが可能となる。

また、本発明の映像検索装置は、前記比較手段が、前記蓄積対象ブロック領域の各々の代表色を数値化した値と、前記検索対象ブロック領域の各々の代表色を数値化した値から、所定規則に従って前記差分を導出する構成とすることができる。

また、本発明の映像検索装置は、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域が人であることの条件としてあらかじめ定められた所定条件を満たしているか否かを判定し、前記蓄積対象動領域が前記所定条件を満たしている場合に前記蓄積対象動領域映像信号を前記蓄積対象ブロック領域分割手段へ出力する人判定手段を有する構成とすることができる。

この構成により、人に対応する蓄積対象動領域の色のみを蓄積対象とすることが可能となり、個人識別が行われる場合において、人以外の不必要な動領域の色が蓄積されることを防止することができる。

また、本発明の映像検索装置は、前記蓄積対象ブロック領域代表色導出手段が、前記蓄積対象ブロック領域に出現する色について輝度変化の影響を小さくする変換方式によって得られる値の平均値に対応する色及び前記得られる値の出現する頻度が最も高い色のいずれか一方を、前記蓄積対象ブロック領域の代表色として導出する構成とすることができる。

この構成により、蓄積対象ブロック領域の代表色を適切に導出することが可能となる。

また、本発明の映像検索装置は、前記検索対象ブロック領域代表色導出手段が、前記検索対象ブロック領域に出現する色について輝度変化の影響を小さくする変換方式によって得られる値の平均値に対応する色及び前記得られる値の出現する頻度が最も高い色のいずれか一方を、前記検索対象ブロック領域の代表色として導出する構成とすることができる。

この構成により、検索対象ブロック領域の代表色を適切に導出することが可能となる。

また、本発明の映像検索方法は、第１の映像内の動き物体を第２の映像内の情報に基づいて検索する映像検索方法であって、前記第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域の代表色を導出して出力する蓄積対象ブロック領域代表色導出ステップと、前記蓄積対象ブロック領域の各々の代表色を蓄積対象ブロック領域蓄積手段に蓄積する蓄積対象ブロック領域代表色蓄積制御ステップと、前記第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出ステップと、前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割ステップと、前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前記検索対象ブロック領域の代表色を導出して出力する検索対象ブロック領域代表色導出ステップと、前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色とを比較し、その比較結果に応じた出力を行う比較ステップとを有する構成となる。

また、本発明の映像検索方法は、前記比較ステップが、前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色との差分を前記比較結果として導出する構成とすることができる。

また、本発明の映像検索方法は、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域が人であることの条件として定められた所定条件を満たしているか否かを判定し、前記蓄積対象動領域が前記所定条件を満たしている場合に前記蓄積対象動領域映像信号を出力する人判定ステップを有し、前記蓄積対象ブロック領域分割ステップは、前記人判定ステップにおいて蓄積対象動領域映像信号が出力された場合に、その蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する構成とすることができる。

また、本発明の映像検索装置は、第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成手段と、前記蓄積対象ブロック領域の各々の色情報を蓄積する蓄積対象ブロック領域色情報蓄積手段と、第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出手段と、前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割手段と、前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前期検索対象ブロック領域に含まれる映像信号から色分布を抽出して出力する検索対象ブロック領域色情報生成手段と、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布とを比較し、その比較結果に応じた出力を行う比較手段とを有する構成となる。

この構成により、映像内の動きと、その動きの領域を構成する各ブロックの色に基づいて映像検索が行われる。すなわち、映像内の動きだけでなく、その動きの領域の色分布によって映像検索が行われるため、動きの有無のみに基づいて映像を検索する場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができる。

また、本発明の映像検索装置は、前記比較手段は、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の各々の色分布との色の出現頻度の一致度を前記比較結果として導出する構成とすることができる。

また、本発明の映像検索装置は、前記比較手段は、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布のいずれかとの色の出現頻度の一致度を前記比較結果として導出する構成とすることができる。

また、本発明の映像検索装置は、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域が人であることの条件として定められた所定条件を満たしているか否かを判定し、前記蓄積対象動領域が前記所定条件を満たしている場合に前記蓄積対象動領域映像信号を前記蓄積対象ブロック領域分割手段へ出力する人判定手段を有する構成とすることができる。

この構成により、複数蓄積対象動領域の内、検索対象領域の各色の発生数の割合が類似するものが検索できるため、色に基づいた映像検索を適切に行うことが可能となる。

また、本発明の映像検索装置は、第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成手段と、前記蓄積対象ブロック領域の各々の色情報を蓄積する蓄積対象ブロック領域色情報蓄積手段と、第２の映像内の１つの検索対象点を抽出し、前記検索対象点に対応する検索対象領域映像信号に基づいて、前記検索対象点の色情報を抽出して出力する検索対象色情報生成手段と、前記蓄積対象ブロック領域の各々の色分布から代表色情報を生成し、前記代表色情報と、前記検索対象色情報とを比較し、その比較結果に応じた出力を行う比較手段とを有する構成となる。

この構成により、検索対象とする画像が存在しない場合でも、検索装置によって示される色情報画像から一点指示するだけで、撮影された映像内の動きだけでなく、その動きの領域の色によって映像検索が行われるため、動きの有無のみに基づいて映像検索を行う場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができるともに、検索対象の指定を容易に行うことが可能となる。

また、本発明の映像検索装置は、前記比較手段が、前記蓄積対象ブロック領域の各々の色分布から生成される代表色情報と、前記検索対象点の色情報との色の出現頻度の類似度を前記比較結果として導出する構成となる。

この構成により、複数蓄積対象動領域の内、検索対象点の色情報に類似するものが検索できるため、色に基づいた映像検索を適切に行うことが可能となる。

また、本発明の映像検索装置は、映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、前記蓄積対象動領域映像信号に基づいて、映像内の連続フレーム画像から同一人物を識別し、前期蓄積対象動領域映像信号を出力するとともに、動きがなくなった時点で動きシーン終了信号を出力する人物動きシーン判定手段と、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、同一人物ごとに前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色特徴量を抽出し、動きシーン終了信号を受けて同一人物ごとに各々の前記蓄積対象ブロック領域に対応する色分布を生成して出力する蓄積対象ブロック領域色情報生成手段と、前記蓄積対象動領域映像信号に基づいて、同一人物ごとに検索対象領域を設定し、前記動きシーン終了信号を受けて同一人物ごとに前記検索対象領域と対応する検索対象領域映像信号を出力する検索領域設定手段と、前記蓄積対象ブロック領域の各々の色情報と前記検索対象領域と対応する前記検索対象領域映像信号を蓄積する領域色情報蓄積手段と、前記領域色情報蓄積手段から、前記検索対象領域映像信号を取得して表示リストを出力する人物代表画像リスト表示手段と、前記検索対象領域映像信号に基づいて、前記検索対象領域に含まれる映像信号から色分布を生成して出力する検索対象領域色情報生成手段と、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象領域の色分布とを比較し、その比較結果に応じた出力を行う比較手段とを有する構成となる。

この構成により、ユーザは、一人の人物につき一枚の画像を目視確認しながら検索対象人物を選択することができるため、検索対象領域の指定が容易に行うことができる。また、人物を選択することであらかじめ生成されている検索対象領域を使用して検索が行われるため、色に基づいた映像検索を適切に行うことが可能となる。

また、本発明の映像検索装置は、前記蓄積対象ブロック領域分割手段が、分割位置を人物の形状に合わせて決定する構成とすることができる。

この構成により、人物の衣類を選択的に検索対象領域として指定することが可能になり、映像を色で検索するだけでなく、さらに絞りこんだ服装による検索が可能となる。

また、本発明の映像検索方法は、第１の映像内の動き物体を第２の映像内の情報に基づいて検索する映像検索方法であって、前記第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成ステップと、前記蓄積対象ブロック領域の各々の色情報を蓄積対象ブロック領域蓄積手段に蓄積する蓄積対象ブロック領域色情報蓄積制御ステップと、前記第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出ステップと、前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割ステップと、前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前期検索対象ブロック領域に含まれる映像信号から色分布を抽出して出力する検索対象ブロック領域色情報生成ステップと、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布とを比較し、その比較結果に応じた出力を行う比較ステップとを有する構成となる。

また、本発明の映像検索方法は、前記比較ステップが、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の各々の色分布との色の出現頻度の一致度を前記比較結果として導出する構成とすることができる。

また、本発明の映像検索方法は、前記比較ステップが、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布のいずれかとの色の出現頻度の一致度を前記比較結果として導出する構成とすることができる。

また、本発明の映像検索方法は、第１の映像内の動き物体を第２の映像内の情報に基づいて検索する映像検索方法であって、前記第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成ステップと、前記蓄積対象ブロック領域の各々の色情報を蓄積対象ブロック領域蓄積手段に蓄積する蓄積対象ブロック領域色情報蓄積制御ステップと、前記第２の映像内の１つの検索対象点を抽出し、前記検索対象点に対応する検索対象領域映像信号に基づいて、前記検索対象点の色情報を抽出して出力する検索対象色情報生成ステップと、前記蓄積対象ブロック領域の各々の色分布から代表色情報を生成し、前記代表色情報と、前記検索対象色情報とを比較し、その比較結果に応じた出力を行う比較ステップとを有する構成となる。

また、本発明の映像検索方法は、前記比較ステップは、前記蓄積対象ブロック領域の各々の色分布から生成される代表色情報と、前記検索対象点の色情報との色の出現頻度の類似度を前記比較結果として導出する構成とすることができる。

また、本発明の映像検索方法は、映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、前記蓄積対象動領域映像信号に基づいて、映像内の連続フレーム画像から同一人物を識別し、前期蓄積対象動領域映像信号を出力するとともに、動きがなくなった時点で動きシーン終了信号を出力する人物動きシーン判定ステップと、前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、同一人物ごとに前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色特徴量を抽出し、動きシーン終了信号を受けて同一人物ごとに各々の前記蓄積対象ブロック領域に対応する色分布を生成して出力する蓄積対象ブロック領域色情報生成ステップと、前記蓄積対象動領域映像信号に基づいて、同一人物ごとに検索対象領域を設定し、前記動きシーン終了信号を受けて同一人物ごとに前記検索対象領域と対応する検索対象領域映像信号を出力する検索領域設定ステップと、前記蓄積対象ブロック領域の各々の色情報と前記検索対象領域と対応する前記検索対象領域映像信号を領域色情報蓄積手段に蓄積する領域色情報蓄積制御ステップと、前記検索対象領域映像信号を取得して表示リストを出力する人物代表画像リスト表示ステップと、前記検索対象領域映像信号に基づいて、前記検索対象領域に含まれる映像信号から色分布を生成して出力する検索対象領域色情報生成ステップと、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象領域の色分布とを比較し、その比較結果に応じた出力を行う比較ステップとを有する構成となる。

また、本発明の映像検索装置は、蓄積対象動領域が複数であることを特徴としている。この構成により、同時に複数人の動きを追跡し検索することができる。

本発明は、映像内の動きと、その動きの領域を構成する各ブロックの色とに基づいて映像検索が行われるため、動きの有無のみに基づいて映像検索が行われる場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができる。

また、本発明は、ユーザが検索対象を入力する際、モニタ上に表示された人物画像を目視で確認しながらその人物画像を選択するだけで、服装の色が類似した人物の映像を効率的に検索するための検索対象を容易に指定することができる。

以下、本発明の実施の形態の映像検索装置について、図面を用いて説明する。

本発明の第１の実施の形態における映像検索装置のブロック図を図１に示す。図１において、映像検索装置１００は、被写体を撮影して映像信号を生成、出力する画像入力部１０１ａ乃至１０１ｎ（以下、これら画像入力部１０１ａ乃至１０１ｎをまとめて、適宜「映像入力部１０１」と称する）と、対応する映像入力部１０１からの映像信号を入力して、映像内の動領域（蓄積対象動領域）を抽出し、その蓄積対象動領域に対応する映像信号（蓄積対象動領域映像信号）を出力する動領域抽出部１０２ａ乃至１０２ｎ（以下、これら動領域抽出部１０２ａ乃至１０２ｎをまとめて、適宜「動領域抽出部１０２」と称する）と、対応する動領域抽出部１０２からの蓄積対象動領域映像信号を入力して、蓄積対象動領域があらかじめ定められた人であることの条件を満たしているか否かを判定し、人であることの条件を満たしている場合に蓄積対象動領域映像信号を出力する人判定手段１０３ａ乃至１０３ｎ（以下、これら人判定部１０３ａ乃至１０３ｎをまとめて、適宜「人判定部１０３」と称する）と、対応する人判定部１０３からの蓄積対象動領域映像信号を入力し、蓄積対象動領域を複数のブロック領域（蓄積対象ブロック領域）に分割して各蓄積対象ブロック領域に対応する映像信号（蓄積対象ブロック領域映像信号）を出力する領域分割部１０４ａ乃至１０４ｎ（以下、これら領域分割部１０４ａ乃至１０４ｎをまとめて、適宜「領域分割部１０４」と称する）と、対応する領域分割部１０４からの各蓄積対象ブロック領域映像信号を入力して蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を算出して出力する代表色算出部１０５ａ乃至１０５ｎ（以下、これら代表色算出部１０５ａ乃至１０５ｎをまとめて、適宜「代表色算出部１０５」と称する）と、各代表色算出部１０５からの蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を蓄積するデータベース（ＤＢ）１０６と、ユーザが指示を入力するためのキーボード１０７と、映像入力部１０１からの映像信号を入力し、ユーザによるキーボード１０７の操作に応じて検索対象となる映像内の所定の領域（検索対象領域）を指定し、その検索対象領域に対応する映像信号（検索対象領域映像信号）を出力する検索対象領域指定部１０８と、検索対象領域指定部１０８からの検索対象領域映像信号を入力し、検索対象領域を複数のブロック領域（検索対象ブロック領域）に分割して各検索対象ブロック領域に対応する映像信号（検索対象ブロック領域映像信号）を出力する領域分割部１０９と、領域分割部１０９からの検索対象ブロック領域映像信号を入力して検索対象領域を構成する各検索対象ブロック領域の代表色を算出して出力する代表色算出部１１０と、代表色算出部１１０からの検索対象領域を構成する各検索対象領域ブロック領域の代表色とＤＢ１０６内の蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色とを比較し、その比較結果に応じた検索結果を出力する比較部１１１と、比較部１１１における検索結果を表示するために、その検索結果のリストを生成して出力するリスト表示部１１２と、各映像入力部１０１からの映像信号の内、記録すべき映像信号を選択して出力する映像選択部１１３と、映像選択部１１３からの映像信号を圧縮する圧縮部１１４と、圧縮部１１４からの圧縮された映像信号を蓄積するストレージ１１５と、ユーザによるキーボード１０７の操作に応じて映像表示を指示する映像表示指示部１１６と、映像表示指示部１１６による指示に応じてストレージ１１５内の圧縮された映像信号を展開する展開部１１７と、比較部１１１による検索結果のリストや展開部１１７によって展開された映像信号に対応する映像を表示する表示部１１８とを有する。

以上のように構成された映像検索装置１００について、図２及び図３を用いてその動作を説明する。まず、図２を用いて代表色蓄積時の動作を説明する。

映像入力部１０１は、被写体を撮影して映像信号を生成する（Ｓ１０１）。更に、映像入力部１０１は、生成した映像信号を、対応する動領域抽出部１０２へ出力する。例えば、映像入力部１０１ａは、生成した映像信号を動領域抽出部１０２ａへ出力する。

動領域抽出部１０２は、対応する映像入力部１０１からの映像信号を入力すると、その映像信号に対応する映像と、あらかじめ保持する背景映像との差分値を算出する背景差分処理を行う（Ｓ１０２）。次に、動領域抽出部１０２は、入力した映像信号に対応する映像に動きがあるか否かを判定する（Ｓ１０３）。具体的には、動領域抽出部１０２は、Ｓ１０２における背景差分処理において、差分値があらかじめ決められた値より大きな場合には映像に動きがあると判定し、そうでない場合には映像に動きがないと判定する。なお、動領域抽出部１０２は、Ｓ１０２において、背景差分処理以外の処理を行い、Ｓ１０３において、その背景差分処理以外の処理の結果に応じて映像に動きがあるか否かを判定するようにしても良い。

動領域抽出部１０２に入力された映像信号に対応する映像に動きがない場合には、映像入力部１０１による被写体の撮影及び映像信号の生成（Ｓ１０１）以降の動作が繰り返される。

一方、動領域抽出部１０２に入力された映像信号に対応する映像に動きがある場合には、動領域抽出部１０２は、その映像内の動領域（蓄積対象動領域）を抽出する（Ｓ１０４）。更に、動領域抽出部１０２は、抽出した蓄積対象動領域に対応する蓄積対象動領域映像信号を、対応する人判定部１０３へ出力する。例えば、動領域抽出部１０２ａは、抽出した蓄積対象動領域動領域に対応する蓄積対象動領域映像信号を、人判定部１０３ａへ出力する。

人判定部１０３は、対応する動領域抽出部１０２からの蓄積対象動領域映像信号を入力すると、その蓄積対象動領域映像信号に対応する蓄積対象動領域の映像に対して、楕円ハフ処理を行う（Ｓ１０５）。次に、人判定部１０３は、入力した蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしているか否かを判定する（Ｓ１０６）。具体的には、人判定部１０３は、Ｓ１０５における楕円ハフ処理によって、蓄積対象動領域の映像内に人の顔らしい楕円形状の領域を検出することができた場合には、その蓄積対象動領域が人であることの条件を満たしていると判定し、人の顔らしい楕円形状の領域を検出することができなかった場合には、その蓄積対象動領域が人であることの条件を満たしていないと判定する。なお、人判定部１０３は、Ｓ１０５において、楕円ハフ処理以外の処理（例えば、蓄積対象動領域全体の形状、大きさ等を導出する処理）を行い、Ｓ１０６において、その楕円ハフ処理以外の処理の結果に応じて蓄積対象動領域が人であることの条件を満たしているか否か判定するようにしても良い。

蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしていない場合には、映像入力部１０１による被写体の撮影及び映像信号の生成（Ｓ１０１）以降の動作が繰り返される。

一方、蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしている場合には、人判定部１０３は、入力した蓄積対象動領域映像信号を、対応する領域分割部１０４へ出力する。例えば、人判定部１０３ａは、入力した蓄積対象動領域映像信号を領域分割部１０４ａへ出力する。

領域分割部１０４は、対応する人判定部１０３からの蓄積対象動領域映像信号を入力し、その蓄積対象動領域映像信号に対応する蓄積対象動領域を複数のブロック領域（蓄積対象ブロック領域）に分割する（Ｓ１０７）。例えば、領域分割部１０４は、蓄積対象動領域を４つに分割する場合、その蓄積対象動領域の縦方向の画素及び横方向の画素をカウントし、縦方向の中点及び横方向の中点を特定する。更に、領域分割部１０４は、縦方向の中点を分割位置として蓄積対象動領域を縦方向に２分割するとともに、横方向の中点を分割位置として蓄積対象動領域を２分割することにより、蓄積対象動領域を４つの蓄積対象ブロック領域に分割する。なお、蓄積対象動領域の分割数や蓄積対象ブロック領域の形状は特に限定されるものではない。

更に、領域分割部１０４は、蓄積対象動領域を構成する各蓄積対象ブロック領域に対応する映像信号（蓄積対象ブロック領域映像信号）を、対応する代表色算出部１０５へ出力する。例えば、領域分割部１０４ａは、代表色算出部１０５ａへ蓄積対象ブロック領域映像信号を出力する。

代表色算出部１０５は、対応する領域分割部１０４からの蓄積対象動領域を構成する各蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を入力すると、これら蓄積対象ブロック領域映像信号に基づいて、蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を算出する（Ｓ１０８）。具体的には、代表色算出部１０５は、蓄積対象ブロック領域に出現する色について所定規則（ＲＧＢ表色系をＨＳＶ表色系で表すように輝度変化の影響を小さくする変換規則）に従って定められた値の平均値に対応する色や、蓄積対象ブロック領域に出現する頻度が最も高い色を、その蓄積対象ブロック領域の代表色として算出する。

更に、代表色算出部１０５は、蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色をＤＢ１０６へ出力する。ＤＢ１０６は、代表色算出部１０５からの蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を蓄積する（Ｓ１０９）。なお、ＤＢ１０６は、蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色に対応付けて、その蓄積対象動領域を含む映像を撮影したカメラ１０２の識別情報（ＩＤ）、撮影日時、その蓄積対象動領域に対応する映像を縮小したサムネイル映像のデータを蓄積するようにしても良い。

前述したＳ１０１乃至Ｓ１０９の処理が繰り返されることによって、ＤＢ１０６には、複数の蓄積対象動領域のそれぞれについて、その蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色が蓄積されることになる。

次に、図３を用いて映像検索時の動作を説明する。
ユーザが表示部１１８に表示された映像を見て、キーボード１０７を操作することにより、その映像内の人物を検索対象として指定する指示（検索指示）を行うと、検索領域指定部１０８は、このユーザによる検索指示を受け付ける（Ｓ２０１）。次に、検索領域指定部１０８は、表示部１１８に表示された映像に対応する映像信号を画像入力部１０１から入力し、その映像内における、ユーザによって指示された動領域（検索対象領域）を抽出する（Ｓ２０２）。更に、検索領域指定部１０８は、抽出した検索対象領域に対応する検索対象領域映像信号を、領域分割部１０９へ出力する。

領域分割部１０９は、検索領域指定部１０８からの検索対象領域映像信号を入力し、その検索対象領域映像信号に対応する検索対象領域を複数のブロック領域（検索対象ブロック領域）に分割する（Ｓ２０３）。例えば、領域分割部１０９は、検索対象領域を４つに分割する場合、前述の領域分割部１０４と同様、その検索対象領域の縦方向の画素及び横方向の画素をカウントし、縦方向の中点及び横方向の中点を特定する。更に、領域分割部１０９は、縦方向の中点を分割位置として検索対象領域を縦方向に２分割するとともに、横方向の中点を分割位置として検索対象領域を２分割することにより、検索対象領域を４つの検索対象ブロック領域に分割する。なお、検索対象領域の分割数や検索対象ブロック領域の形状は特に限定されるものではない。更に、領域分割部１０９は、検索対象領域を構成する各検索対象ブロック領域に対応する映像信号（検索対象ブロック領域映像信号）を、代表色算出部１１０へ出力する。

代表色算出部１１０は、領域分割部１０９からの検索対象領域を構成する各検索対象ブロック領域に対応する検索対象ブロック領域映像信号を入力すると、これら検索対象ブロック領域映像信号に基づいて、検索対象領域を構成する各検索対象ブロック領域の代表色を算出する（Ｓ２０４）。具体的には、代表色算出部１１０は、前述の代表色算出部１０５と同様、検索対象ブロック領域に出現する色について所定規則に従って定められた値の平均値に対応する色や、検索対象ブロック領域に出現する頻度が最も高い色を、その検索対象ブロック領域の代表色として算出する。更に、代表色算出部１１０は、検索対象領域を構成する各検索対象ブロック領域の代表色を比較部１１１へ出力する。

比較部１１１は、代表色算出部１１０からの検索対象領域を構成する各検索対象ブロック領域の代表色を入力すると、ＤＢ１０６からいずれかの蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を読み出す（Ｓ２０５）。

更に、比較部１１１は、読み出した蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色に対応する数値と、入力した検索対象領域を構成する各検索対象ブロック領域の代表色に対応する数値との間の距離を算出する（Ｓ２０６）。

代表色は、ＲＧＢの色情報に応じた数値、あるいは明度、彩度等に応じた数値を用いる。この場合、近似する色ほど、数値の差が小さくなるような数値化が行われる。例えば、蓄積対象動領域を構成する蓄積対象ブロック領域が４つ（Ａ１、Ａ２、Ａ３、Ａ４）であり、蓄積対象ブロック領域Ａ１の代表色の数値がａ１、蓄積対象ブロック領域Ａ２の代表色の数値がａ２、蓄積対象ブロック領域Ａ３の代表色の数値がａ３、蓄積対象ブロック領域Ａ４の代表色の数値がａ４で与えられ、一方、検索対象領域を構成する検索対象ブロック領域が４つ（蓄積対象ブロック領域Ａ１に対応するＢ１、蓄積対象ブロック領域Ａ２に対応するＢ２、蓄積対象ブロック領域Ａ３に対応するＢ３、蓄積対象ブロック領域Ａ４に対応するＢ４）であり、検索対象ブロック領域Ｂ１の代表色の数値がｂ１、検索対象ブロック領域Ｂ２の代表色の数値がｂ２、検索対象ブロック領域Ｂ３の代表色の数値がｂ３、検索対象ブロック領域Ｂ４の代表色の数値がｂ４）で与えられる場合を考える。この場合、比較部１１１は、各蓄積対象ブロック領域の代表色の数値を４次元空間の座標（ａ１，ａ２，ａ３，ａ４）で表すとともに、各検索対象ブロック領域の代表色の数値を４次元空間の座標（ｂ１，ｂ２，ｂ３，ｂ４）で表し、これら座標間のユークリッド距離を算出する。なお、比較部１１１は、ユークリッド距離以外の距離を算出しても良い。

次に、比較部１１１は、算出した蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色に対応する数値と、検索対象領域を構成する各検索対象ブロック領域の代表色に対応する数値との距離が所定の閾値以内であるか否かを判定する（Ｓ２０７）。ここで、閾値は、ユーザが自由に設定可能であることが望ましい。

蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色に対応する数値と、検索対象領域を構成する各検索対象ブロック領域の代表色に対応する数値との距離が所定の閾値以内である場合、比較部１１１は、蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色に関連するデータ（例えば、その蓄積対象動領域を含む映像を撮影したカメラ１０２の識別情報（ＩＤ）、撮影日時、その蓄積対象動領域の映像を縮小したサムネイル映像のデータ）を、検索結果としてリスト表示部１１２へ出力する。リスト表示部１１２は、比較部１１１からの蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色に関連するデータを検索結果リストに追加する（Ｓ２０８）。

リスト表示部１１２による検索結果リストへの追加処理（Ｓ２０８）の後、又は、比較部１１１による蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色に対応する数値と、検索対象領域を構成する各検索対象ブロック領域の代表色に対応する数値との距離が所定の閾値を超えるとの判断（Ｓ２０７における否定判断）の後、比較部１１１は、ＤＢ１０６内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を読み出したか否かを判定する（Ｓ２０９）。ＤＢ１０６内にまだ読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色が存在する場合には、比較部１１１による、その読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色の読み出し（Ｓ２０５）以降の動作が繰り返される。

一方、比較部１１１がＤＢ１０６内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の代表色を読み出した場合には、検索領域指定部１０８による、検索指示の受付（Ｓ２０１）以降の動作が繰り返される。更に、リスト表示部１１２が生成した検索結果リストが表示部１１８に表示され、ユーザは検索結果を認識することが可能となる。

なお、図３では、ユーザが動領域を検索対象領域として指定する場合について説明したが、検索対象の人物が静止しており、その静止している人物の領域を検索対象領域として指定した場合も、同様に映像検索を行うことができる。この場合、検索領域指定部１０８は、図３と同様、ユーザによって指示された領域（検索対象領域）を抽出し、その抽出した検索対象領域に対応する検索対象領域映像信号を、領域分割部１０９へ出力する。

このように映像検索装置１００では、映像入力部１０１が撮影した映像内の動領域が人であることの条件を満たしている場合には、その動領域が複数の蓄積対象ブロック領域に分割された上で、各蓄積対象ブロック領域の代表色が算出されてＤＢ１０６に蓄積される。そして、映像検索の際には、ユーザが指定した検索対象領域が複数の検索対象ブロック領域に分割された上で、各検索対象ブロック領域の代表色が算出され、検索対象領域を構成する各検索対象ブロック領域の代表色に近似する蓄積対象領域を構成する各蓄積対象ブロック領域の代表色に関連するデータが検索結果としてユーザに示される。すなわち、撮影された映像内の動きだけでなく、その動きの領域の色によって映像検索が行われるため、動きの有無のみに基づいて映像検索を行う場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができる。

次に、本発明の第２の実施の形態における映像検索装置のブロック図を図４に示す。図４において、第１の実施の形態と同様の構成要素については映像検索装置１００と同一の符号をつけて、その説明を省略する。

映像検索装置４００は、対応する領域分割部１０４からの各蓄積対象ブロック領域映像信号を入力して蓄積対象動領域を構成する各蓄積対象ブロック領域の色特徴量を抽出して色分布を生成し出力する色情報生成部４０１ａ乃至４０１ｎ（以下、これら色情報生成部４０１ａ乃至４０１ｎをまとめて、適宜「色情報生成部４０１」と称する）と、各色情報生成部４０１からの蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を蓄積するデータベース（ＤＢ）４０２と、領域分割部１０９からの各検索対象ブロック映像信号を入力し、検索対象領域を構成する各検索対象ブロックの色特徴量を抽出し、色分布を生成して出力する色情報生成部４０３と、色情報生成部４０３からの検索対象領域を構成する各検索対象ブロック領域の色分布とＤＢ４０２内の蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布とを比較し、その比較結果に応じた検索結果を出力する比較部４０４とを有する。

以上のように構成された映像検索装置４００について、図５及び図６を用いてその動作を説明する。まず、図５を用いて色分布蓄積時の動作を説明する。第１の実施の形態と同様の処理ステップについては同一の符号をつけ、その動作説明は簡略化する。

映像入力部１０１は、被写体を撮影して映像信号を生成する（Ｓ１０１）。更に、映像入力部１０１は、生成した映像信号を、対応する動領域抽出部１０２へ出力する。

動領域抽出部１０２は、対応する映像入力部１０１からの映像信号を入力すると、その映像信号に対応する映像と、あらかじめ保持する背景映像との差分値を算出する背景差分処理を行う（Ｓ１０２）。次に、動領域抽出部１０２は、入力した映像信号に対応する映像に動きがあるか否かを判定する（Ｓ１０３）。

一方、動領域抽出部１０２に入力された映像信号に対応する映像に動きがある場合には、動領域抽出部１０２は、その映像内の動領域（蓄積対象動領域）を抽出する（Ｓ１０４）。更に、動領域抽出部１０２は、抽出した蓄積対象動領域に対応する蓄積対象動領域映像信号を、対応する人判定部１０３へ出力する。

人判定部１０３は、対応する動領域抽出部１０２からの蓄積対象動領域映像信号を入力すると、その蓄積対象動領域映像信号に対応する蓄積対象動領域の映像に対して、楕円ハフ処理を行う（Ｓ１０５）。次に、人判定部１０３は、入力した蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしているか否かを判定する（Ｓ１０６）。

一方、蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしている場合には、人判定部１０３は、入力した蓄積対象動領域映像信号を、対応する領域分割部１０４へ出力する。

領域分割部１０４は、対応する人判定部１０３からの蓄積対象動領域映像信号を入力し、その蓄積対象動領域映像信号に対応する蓄積対象動領域を複数のブロック領域（蓄積対象ブロック領域）に分割する（Ｓ１０７）。

更に、領域分割部１０４は、蓄積対象動領域を構成する各蓄積対象ブロック領域に対応する映像信号（蓄積対象ブロック領域映像信号）を、対応する色情報生成部４０１へ出力する。

色情報生成部４０１は、対応する領域分割部１０４からの蓄積対象動領域を構成する各蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を入力すると、これら蓄積対象ブロック領域映像信号に基づいて、蓄積対象動領域を構成する各蓄積対象ブロック領域の色情報を生成する（Ｓ５０１）。具体的には、色情報生成部４０１は、色情報として蓄積対象ブロック領域映像の各画素のＲＧＢ値を取得してＨＳＶ空間（非特許文献１参照）に変換を行い、Ｈ、Ｓを用いてヒストグラム（以後、色分布と呼ぶ）を作成する。なお、ここでは色空間をＲＧＢからＨＳＶへ変換しているが、他の色空間（例えばＸＹＺ、ＹＣｒＣｂなど）でも一般的な使い方（ＸＹ平面、ＣｒＣｂ平面でヒストグラムを生成）により利用できる。

更に、色情報生成部４０１は、蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布をＤＢ４０２へ出力する。ＤＢ４０２は、色情報生成部４０１からの蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を蓄積する（Ｓ５０２）。なお、ＤＢ４０２は、蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布に対応付けて、その蓄積対象動領域を含む映像を撮影したカメラ１０２の識別情報（ＩＤ）、撮影日時、その蓄積対象動領域に対応する映像を縮小したサムネイル映像のデータを蓄積するようにしても良い。

前述したＳ１０１乃至Ｓ１０７とＳ５０１、Ｓ５０２の処理が繰り返されることによって、ＤＢ４０２には、複数の蓄積対象動領域のそれぞれについて、その蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布が蓄積されることになる。

次に、図６を用いて映像検索時の動作を説明する。
ユーザが表示部１１８に表示された映像を見て、キーボード１０７を操作することにより、その映像内の人物を検索対象として指定する指示（検索指示）を行うと、検索領域指定部１０８は、このユーザによる検索指示を受け付ける（Ｓ２０１）。次に、検索領域指定部１０８は、表示部１１８に表示された映像に対応する映像信号を画像入力部１０１から入力し、その映像内における、ユーザによって指示された動領域（検索対象領域）を抽出する（Ｓ２０２）。更に、検索領域指定部１０８は、抽出した検索対象領域に対応する検索対象領域映像信号を、領域分割部１０９へ出力する。

領域分割部１０９は、検索領域指定部１０８からの検索対象領域映像信号を入力し、その検索対象領域映像信号に対応する検索対象領域を複数のブロック領域（検索対象ブロック領域）に分割する（Ｓ２０３）。更に、領域分割部１０９は、検索対象領域を構成する各検索対象ブロック領域に対応する映像信号（検索対象ブロック領域映像信号）を、色情報生成部４０３へ出力する。

色情報生成部４０３は、領域分割部１０９からの検索対象領域に対応する検索対象領域映像信号を入力すると、これら検索対象領域映像信号に基づいて、検索対象領域の色分布を生成する（Ｓ６０１）。具体的には、色情報生成部４０３は、前述の色情報生成部４０１と同様、色情報として蓄積対象ブロック領域映像の各画素のＲＧＢ値を取得してＨＳＶ空間に変換を行い、色分布を作成する。なお、ここでは色空間をＲＧＢからＨＳＶへ変換しているが、他の色空間（例えばＸＹＺ、ＹＣｒＣｂなど）でも一般的な使い方（ＸＹ平面、ＣｒＣｂ平面でヒストグラムを生成）により利用できる。更に、色情報生成部４０３は、検索対象領域の色分布を比較部４０４へ出力する。

比較部４０４は、色情報生成部４０３からの検索対象領域の色分布を入力すると、ＤＢ４０２からいずれかの蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出す（Ｓ６０２）。

更に、比較部４０４は、読み出した蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、入力した検索対象領域を構成する各検索対象ブロック領域の色分布を比較して一致度を算出する（Ｓ６０３）。

色分布は、Ｈ、Ｓを用いた２次元のヒストグラムなので、一致度の算出には例えばヒストグラムインターセクション（特許文献３参照）を用いれば良い。この方式によれば、色分布が完全に一致する場合の一致度は、検索対象領域を構成する各検索対象ブロック領域の色分布に含まれる全度数を積算した値となり、完全に不一致であれば一致度は０になる。

蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布のそれぞれと検索対象領域を構成する各検索対象ブロック領域の色分布との一致度を求め、これらをあらためて部分一致度と呼ぶ。部分一致度すべてを積算して一致度を算出する。または、目的に応じて比較対象とする蓄積対象ブロック領域を選択して部分一致度を算出し、算出した部分一致度のみを積算して一致度を算出することもできる。

なお、ここではヒストグラムインターセクションを用いているが、２つの色分布を比較する方法は他にも考えることができ、例えば、あらかじめ設定された閾値より度数が大きい色分布位置を抽出し、これらの中で、その色分布位置と度数の割合を比較する方法も考えられる。

次に、比較部４０４は、算出した蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、検索対象領域を構成する各検索対象ブロック領域の色分布との一致度が所定の閾値以内であるか否かを判定する（Ｓ６０４）。ここで、閾値は、ユーザが自由に設定可能であることが望ましい。

蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、検索対象領域を構成する各検索対象ブロック領域の色分布との一致度が所定の閾値以内である場合、比較部４０４は、蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象動領域に関連するデータ（例えば、その蓄積対象動領域を含む映像を撮影したカメラ１０２の識別情報（ＩＤ）、撮影日時、その蓄積対象動領域の映像を縮小したサムネイル映像のデータ）を、検索結果としてリスト表示部１１２へ出力する。リスト表示部１１２は、比較部４０４からの蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象動領域に関連するデータを検索結果リストに追加する（Ｓ６０５）。

リスト表示部１１２による検索結果リストへの追加処理（Ｓ６０５）の後、又は、比較部４０４による蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、検索対象領域を構成する各検索対象ブロック領域の色分布との一致度が所定の閾値を超えるとの判断（Ｓ６０４における否定判断）の後、比較部４０４は、ＤＢ４０２内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出したか否かを判定する（Ｓ６０６）。ＤＢ４０２内にまだ読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布が存在する場合には、比較部４０４による、その読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布の読み出し（Ｓ６０２）以降の動作が繰り返される。

一方、比較部４０４がＤＢ４０２内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出した場合には、検索領域指定部１０８による、検索指示の受付（Ｓ２０１）以降の動作が繰り返される。更に、リスト表示部１１２が生成した検索結果リストが表示部１１８に表示され、ユーザは検索結果を認識することが可能となる。

なお、図６では、ユーザが動領域を検索対象領域として指定する場合について説明したが、検索対象の人物が静止しており、その静止している人物の領域を検索対象領域として指定した場合も、同様に映像検索を行うことができる。この場合、検索領域指定部１０８は、図６と同様、ユーザによって指示された領域（検索対象領域）を抽出し、その抽出した検索対象領域に対応する検索対象領域映像信号を、色情報生成部４０３へ出力する。

このように映像検索装置４００では、映像入力部１０１が撮影した映像内の動領域が人であることの条件を満たしている場合には、その動領域が複数の蓄積対象ブロック領域に分割された上で、各蓄積対象ブロック領域の色分布が生成されてＤＢ４０２に蓄積される。そして、映像検索の際には、ユーザが指定した検索対象領域の色分布が生成され、検索対象領域の色分布に類似した蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象領域に関連するデータが検索結果としてユーザに示される。すなわち、撮影された映像内の動きだけでなく、その動きの領域の色によって映像検索が行われるため、動きの有無のみに基づいて映像検索を行う場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができる。

次に、本発明の第３の実施の形態の映像検索装置を図１２に示す。図１２において、第２の実施の形態と同様の構成要素については映像検索装置４００と同一の符号をつけて、その説明を省略する。

図１２において、本発明の実施の形態の映像検索装置１１００は、ユーザによるキーボード１０７の操作に応じて検索対象となる色から色情報を抽出して出力する色情報生成部１１０１と、ＤＢ４０２内の蓄積対象動領域を構成する各蓄積対象ブロックの色分布から、連続する分布領域の平均色情報を生成して、色情報生成部１１０１からの検索対象色情報と、生成した各蓄積対象ブロックの平均色情報とを比較し、その比較結果に応じた検索結果を出力する比較部１１０２とを有する。

以上のように構成された映像検索装置１１００について、図５と図１３を用いてその動作を説明する。第１、第２の実施の形態と同様の処理ステップについては同一の符号をつけ、その動作説明は簡略化する。また、色情報蓄積時の動作については、映像検索装置４００と同様なので図５による説明を省略する。

図１３を用いて映像検索時の動作を説明する。
ユーザがキーボード１０７を操作して検索開始要求を出力すると、色情報生成部１１０１は保持している色情報画像を表示部１１８に表示要求を出力する。色情報画像は、一般的にＰＣ上のソフトウェアで利用されている色設定で使用するカラーパレットや、あるいはあらかじめ検索装置内で設定されている複数の色情報などが考えられる。ユーザは表示された色情報画像を見て、検索対象の色を指定する指示（検索指示）を行うと、色情報生成部１１０１は、このユーザによる検索指示を受け付ける（Ｓ１２０１）。検索指示は、色情報画像上の一点を指定することで行われる。色情報生成部１１０１は、表示部１１８に表示された画像中からユーザによって指定された一点に対応する画素のＲＧＢ値を取得し、ＨＳＶ空間に変換して色情報を生成して（Ｓ１２０２）、比較部１１０２に出力する。比較部１１０２は、色情報生成部１１０１からの検索対象色情報が入力すると、ＤＢ４０２からいずれかの蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出す（Ｓ６０２）。続いて比較部１１０２は、ＤＢ４０２から読み出した各蓄積対象ブロックの色分布から、あらかじめ設定されている固定値よりも大きな度数を持つ色情報のみを抽出し、さらにＨ、Ｓを用いた２次元座標上で連続している色分布領域単位に代表色情報を生成する（Ｓ１２０３）。さらに比較部１１０２は、入力した検索対象色情報と読み出した蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布から生成した代表色情報を比較して類似度を算出する（Ｓ１２０４）。検索対象色情報と代表色情報は、Ｈ、Ｓを用いた２次元座標上においてそれぞれ一点となるので、これらの二点間の距離を求めればよい。

次に、比較部１１０２は、算出した蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布から算出した代表色情報と、検索対象色情報との類似度が所定の閾値以内であるか否かを判定する（Ｓ１２０５）。蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布から生成した代表色情報と、検索対象色情報との類似度が所定の閾値以内である場合、比較部１１０２は、蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象動領域に関連するデータ（例えば、その蓄積対象動領域を含む映像を撮影したカメラ１０２の識別情報（ＩＤ）、撮影日時、その蓄積対象動領域の映像を縮小したサムネイル映像のデータ）を、検索結果としてリスト表示部１１２へ出力する。リスト表示部１１２は、比較部１１０２からの蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象動領域に関連するデータを検索結果リストに追加する（Ｓ６０５）。

リスト表示部１１２による検索結果リストへの追加処理（Ｓ６０５）の後、又は、比較部１１０２による蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布から生成した代表色情報と、検索対象色情報との一致類似度が所定の閾値を超えるとの判断（Ｓ１２０５における否定判断）の後、比較部１１０２は、ＤＢ４０２内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出したか否かを判定する（Ｓ６０６）。ＤＢ４０２内にまだ読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布が存在する場合には、比較部１１０２による、その読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布の読み出し（Ｓ６０２）以降の動作が繰り返される。

一方、比較部１１０２がＤＢ４０２内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出した場合には、色情報生成部１１０１による、検索指示の受付（Ｓ１２０１）以降の動作が繰り返される。更に、リスト表示部１１２が生成した検索結果リストが表示部１１８に表示され、ユーザは検索結果を認識することが可能となる。

なお、図１３では、ユーザが検索対象として、カラーパレットやあらかじめ設定されている色情報を指定する場合について説明したが、ＤＢ４０２に、蓄積対象領域を構成する各蓄積対象ブロック領域の色分布を蓄積する際に、これとは別に色分布を積算し、発生頻度の高い色情報をあらかじめ設定されている固定数だけ上位から選出することで、検索対象色情報を生成しても良い。ユーザは、このようにして生成された検索対象色情報の中から１つの色情報を選択して検索指示を行う。

このように映像検索装置１１００では、映像入力部１０１が撮影した映像内の動領域が人であることの条件を満たしている場合には、その動領域が複数の蓄積対象ブロック領域に分割された上で、各蓄積対象ブロック領域の色分布が生成されてＤＢ４０２に蓄積される。そして、映像検索の際には、ユーザが１つの検索対象色情報を指定することで、検索対象色情報に類似した代表色を持つ蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象領域に関連するデータが検索結果としてユーザに示される。すなわち、検索対象とする画像が存在しない場合でも、検索装置によって示される色情報画像から一点指示するだけで、撮影された映像内の動きだけでなく、その動きの領域の色によって映像検索が行われるため、動きの有無のみに基づいて映像検索を行う場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができる。

次に、本発明の第４の実施の形態の映像検索装置を図７に示す。第１の実施の形態と同様の構成要素については映像検索装置１００と同一の符号をつけて、その説明を省略する。

図７において、本発明の実施の形態の映像検索装置７００は、動き物体毎に対応する動領域抽出部１０２からの蓄積対象動領域映像信号を入力して、蓄積対象動領域があらかじめ定められた人であることの条件を満たしているか否かを判定し、人であることの条件を満たしている場合、動き物体毎に蓄積対象動領域映像信号を出力するとともに、連続して入力される蓄積対象動領域をあらかじめ定められた同一人物であることの条件をみたしているか否かを判定し、同一人物であると判定した場合、その人物を追跡し、追跡中の人物が映像中に存在しなくなった場合に動きシーン終了信号を出力する人物動きシーン判定部７０１ａ乃至７０１ｎ（以下、これら人物動きシーン判定部７０１ａ乃至７０１ｎをまとめて、適宜「人物動きシーン判定部７０１」と称する）と、対応する領域分割部１０４からの各蓄積対象ブロック領域映像信号を入力して蓄積対象動領域を構成する各蓄積対象ブロック領域の色特徴量を抽出して人物ごとに保存し、対応する人物動きシーン判定部７０１から動きシーン終了信号が入力されると、人物ごとに色分布を生成し出力する色情報生成部７０２ａ乃至７０２ｎ（以下、これら色情報生成部７０２ａ乃至７０２ｎをまとめて、適宜「色情報生成部７０２」と称する）と、対応する人物動きシーン判定部７０１から蓄積対象動領域映像信号を入力し、あらかじめ定められた検索対象領域設定条件を満たしているか否かを判定し、検索対象領域設定条件を満たしている場合、検索対象領域映像信号を人物ごとに保存し、対応する人物動きシーン判定部７０１から動きシーン終了信号が入力されると検索対象領域映像信号を出力する７０３ａ乃至７０３ｎ（以下、これら検索領域設定部７０３ａ乃至７０３ｎをまとめて、適宜「検索領域設定部７０３」と称する）と、各色情報生成部７０２からの人物ごとの色分布と各検索領域設定部７０３からの検索対象領域映像信号を蓄積するデータベース（ＤＢ）７０４と、ユーザが指示を入力するためのユーザ指示入力部７０５と、ユーザによる検索実行要求に応じてＤＢ７０４から人物代表画像として検索対象領域映像信号を読出し人物代表画像リストを生成して出力する人物代表画像リスト表示部７０６と、ユーザが選択した人物代表画像に対応する検索対象領域映像信号をＤＢ７０４から読み出して出力する検索対象選択部７０７と、検索対象選択部７０７から検索対象領域映像信号を入力して検索対象領域の色特徴量を抽出、色分布を生成して出力する色情報生成部７０８と、色情報生成部７０８からの検索対象領域の色分布とＤＢ７０４内の蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布とを比較し、その比較結果に応じた検索結果を出力する比較部７０９とを有する。

以上のように構成された映像検索装置７００について、図８乃至図１０を用いてその動作を説明する。第１、第２の実施の形態と同様の処理ステップについては同一の符号をつけ、その動作説明は簡略化する。まず、図８及び図９を用いて色情報蓄積時の動作を説明する。

図８に示すように、映像入力部１０１は、被写体を撮影して映像信号を生成する（Ｓ１０１）。更に、映像入力部１０１は、生成した映像信号を、対応する動領域抽出部１０２へ出力する。動領域抽出部１０２は、対応する映像入力部１０１からの映像信号を入力すると、その映像信号に対応する映像と、あらかじめ保持する背景映像との差分値を算出する背景差分処理を行う（Ｓ１０２）。

次に、動領域抽出部１０２は、入力した映像信号に対応する映像に動きがあるか否かを判定する（Ｓ１０３）。動領域抽出部１０２に入力された映像信号に対応する映像に動きがない場合、動領域抽出部１０２は、人物動きシーン判定部７０１に動きがないことを通知する。

対応する動領域抽出部１０２から動きがないことを通知する信号が入力すると、人物動きシーン判定部７０１は、追跡モードであるか否かを判定する（Ｓ８０８）。

追跡モードでないと判定した場合、映像入力部１０１による被写体の撮影及び映像信号の生成（Ｓ１０１）以降の動作が繰り返される。

一方、追跡モードであると判定した場合、人物動きシーン判定部７０１は、対応する色情報生成部７０２と対応する検索領域設定部７０３に、動きシーン終了信号を出力する。

ＤＢ７０４は、色情報生成部７０２と検索領域設定部７０３が出力した人物ごとの各蓄積対象ブロック領域に対応した色分布を蓄積し、さらに検索対象領域と対応する検索対象領域映像を対応付けて蓄積する（Ｓ８０９）。また、追跡モードをオフにする。

一方、動領域抽出部１０２に入力された映像信号に対応する映像に動きがある場合には、動領域抽出部１０２は、その映像内の動領域（蓄積対象動領域）をすべて抽出する（Ｓ１０４）。更に、動領域抽出部１０２は、抽出したすべての蓄積対象動領域に対応する蓄積対象動領域映像信号を、対応する人物動きシーン判定部７０１へ出力する。

人物動きシーン判定部７０１は、対応する動領域抽出部１０２からのすべての蓄積対象動領域映像信号が入力すると、その蓄積対象動領域映像信号に対応する蓄積対象動領域の映像に対して、楕円ハフ処理を行う（Ｓ１０５）。次に、入力したすべての蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしているか否かを判定する（Ｓ１０６）。

図９に示すように、蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしていない場合には、すべての蓄積対象動領域についての処理が終了したか否かを判定する（Ｓ８１０）。すべての蓄積対象動領域についての処理が終了していると判定した場合は、映像入力部１０１による被写体の撮影及び映像信号の生成（Ｓ１０１）以降の動作が繰り返される。すべての蓄積対象動領域についての処理が終了していないと判定した場合は、人物動きシーン判定部７０１による楕円ハフ処理（Ｓ１０５）以降の動作が繰り返される。

一方、蓄積対象動領域映像信号に対応する蓄積対象動領域が人であることの条件を満たしている場合には、人物動きシーン判定部７０１は、連続して入力した蓄積対象動領域映像信号に対応する蓄積対象動領域の人物が追跡中の蓄積対象動領域中の人物と同一人物であることの条件を満たしているか否かを判定する（Ｓ８０１）。具体的には、保存している蓄積対象領域の位置・移動情報を用いて、蓄積対象動領域の移動距離があらかじめ設定された人物の移動可能距離以内で、連続した移動方向が著しく変化していない場合に同一人物であると判定する。

同一人物であることの条件を満たしていないと判定した場合は、新規追跡人物として追跡を開始する（Ｓ８０２）。具体的には、人物を識別するためのＩＤを作成し、入力した蓄積対象動領域の重心座標を映像中の位置情報として保存する。なお、蓄積対象動領域の重心座標は、映像中での領域の位置が表せればその他の情報を用いても良い。また、追跡モードをＯＮにする（Ｓ８０２１）。

一方、同一人物であることの条件を満たしていると判定した場合は、人物動きシーン判定部７０１は、入力した蓄積対象動領域映像信号を対応する領域分割部１０４と対応する検索領域設定部７０３へ出力し、人物追跡情報として、保存されている蓄積対象動領域の位置情報から前フレームからの移動距離、移動方向、位置情報などを保存する（Ｓ８０３）。

領域分割部１０４は、対応する人物動きシーン判定部７０１からのすべての蓄積対象動領域映像信号を入力し、その蓄積対象動領域映像信号に対応する蓄積対象動領域を複数のブロック領域（蓄積対象ブロック領域）に分割する（Ｓ１０７）。更に、領域分割部１０４は、蓄積対象動領域を構成する各蓄積対象ブロック領域に対応する映像信号（蓄積対象ブロック領域映像信号）を、対応する色情報生成部７０２に出力する。

色情報生成部７０２は、対応する領域分割部１０４からのすべての蓄積対象動領域を構成する各蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号が入力すると、これら蓄積対象ブロック領域映像信号に基づいて、蓄積対象動領域を構成する各蓄積対象ブロック領域の色情報を抽出し、保存している同一人物のそれぞれの蓄積対象ブロック領域ごとに色情報を積算する（Ｓ８０４）。具体的には、色情報生成部７０２は色情報として、蓄積対象ブロック領域の各画素のＲＧＢ値を取得して、ＨＳＶ空間に変換を行い、Ｈ、Ｓを用いてヒストグラム（以後、色分布と呼ぶ）を作成し、さらに、追跡中の同一人物ごとに蓄積対象動領域を構成する複数の蓄積対象ブロック領域に対応する色分布を蓄積対象ブロック領域ごとに積算する。なお、ここでは色空間をＲＧＢからＨＳＶへ変換しているが、他の色空間（例えばＸＹＺ、ＹＣｒＣｂなど）でも一般的な使い方（ＸＹ平面、ＣｒＣｂ平面でヒストグラムを生成）により利用できる。

最後に、色情報生成部７０２は、それぞれの追跡人物ごとに各蓄積対象ブロックに対応した色分布を保存する（Ｓ８０７）。一方、対応する人物動きシーン判定部７０１から動きシーン終了信号が入力されると、色情報生成部７０２は保存している追跡人物ごとの各蓄積対象ブロック領域に対応する色分布を正規化してＤＢ７０４に出力する。

検索領域設定部７０３は、対応する人物動きシーン判定部７０１からすべての蓄積対象動領域映像信号が入力すると、あらかじめ設定されている規則に基づき検索対象領域の設定が可能か否かを判定する（Ｓ８０５）。具体的には、入力した蓄積対象動領域信号に対応した蓄積対象動領域の位置とサイズを用い、あらかじめ設定されている閾値により、検索対象領域の設定が可能か否かを判定する。

検索対象領域の設定が可能でないと判定した場合、検索領域設定部７０３は処理を終了し、検索対象領域の設定が可能であると判定した場合、検索領域設定部７０３は、蓄積対象動領域内で検索対象領域を設定する（Ｓ８０６）。最後に追跡人物ごとに保存している検索対象領域と対応する検索対象領域映像信号を保存する（Ｓ８０７）。このとき、すでに保存されている検索対象領域と対応する検索対象領域映像信号と、新しい検索対象領域と対応する検索対象領域映像信号の比較を行い、あらかじめ設定された条件に近い（例えば、検索対象領域映像信号全体の輝度・彩度の平均が、あらかじめ設定された値に近い）方を保存するようにすれば、常に最良の検索対象領域と対応する検索対象領域映像信号を保存することができる。

前述したＳ１０１乃至Ｓ１０６、Ｓ８０１乃至Ｓ８１０の処理が繰り返されることによって、ＤＢ７０４には、複数の蓄積対象動領域のそれぞれについて、その蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、検索対象領域と対応する検索対象領域映像が蓄積されることになる。

次に、図１０を用いて映像検索時の動作を説明する。
ユーザがユーザ指示入力部７０５を用いて検索要求を行うと、人物代表画像リスト表示部７０６はユーザによる要求を受け付ける（Ｓ９０１）。人物代表画像リスト表示部７０６はＤＢ７０４に蓄積されている検索対象領域映像信号を人物代表画像として取得してリスト（人物代表画像リスト）を作成し、表示部１１８に出力し、表示部１１８は人物代表画像リストを表示する。ユーザが表示部１１８に表示された人物代表画像リストを見て、いずれかの人物代表画像の選択指示をユーザ指示入力部７０５から入力する。

ユーザ指示入力部７０５から人物代表画像の選択指示が入力すると、検索対象選択部７０７は、ＤＢ７０４からユーザの選択した人物代表画像に対応した検索対象領域と検索対象領域映像信号を取得して出力する（Ｓ９０２）。

色情報生成部７０８は、検索対象選択部７０７から検索対象領域映像信号が入力すると、検索対象領域の色情報を抽出する（Ｓ９０３）。具体的には、色情報生成部７０２は色情報として、蓄積対象ブロック領域の各画素のＲＧＢ値を取得して、ＨＳＶ空間に変換を行い、Ｈ、Ｓを用いてヒストグラム（色分布）を作成する。さらに、追跡中の同一人物ごとに蓄積対象領域を構成する複数の蓄積対象ブロック領域に対応するヒストグラムを蓄積対象ブロック領域ごとに積算する。なお、ここでは色空間をＲＧＢからＨＳＶへ変換しているが、他の色空間（例えばＸＹＺ、ＹＣｒＣｂなど）に変換し、ヒストグラムを生成（ＸＹ平面、ＣｒＣｂ平面）しても良い。さらに色情報生成部７０８は、色分布を比較部７０９に出力する。

比較部７０９は、色情報生成部７０８からの検索対象領域の色分布を入力すると、ＤＢ７０４からいずれかの蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出す（Ｓ６０２）。

更に、比較部７０９は、読み出した蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、入力した検索対象領域の色分布を比較して一致度を算出する（Ｓ９０４）。

色分布はＨ、Ｓを用いた２次元のヒストグラムなので、一致度の算出には例えばヒストグラムインターセクションを用いれば良い。色分布が完全に一致する場合は色分布に含まれる全度数を積算した値となり、完全に不一致であれば一致度は０になる。

蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布のそれぞれと検索対象領域の色分布との一致度（部分一致度）を求め、部分一致度すべてを積算して一致度を算出する。ここではすべての部分一致度を積算して一致度を算出しているが、目的に応じて比較対象とする蓄積対象ブロック領域を選択して部分一致度を算出し、算出した部分一致度のみを積算して一致度を算出したり、すべての部分一致度を算出し、その中で一番高い部分一致度を一致度として選択することも考えられる。

次に、比較部７０９は、算出した蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、検索対象領域の色分布との一致度が所定の閾値以内であるか否かを判定する（Ｓ６０４）。ここで、閾値はユーザが自由に設定可能であることが望ましい。

蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、検索対象領域の色分布との一致度が所定の閾値以内である場合、比較部７０９は、蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象動領域に関連するデータ（例えば、その蓄積対象動領域を含む映像を撮影したカメラ１０２の識別情報（ＩＤ）、撮影日時、その蓄積対象動領域の映像を縮小したサムネイル映像のデータ）を、検索結果としてリスト表示部１１２へ出力する。リスト表示部１１２は、比較部７０９からの蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象動領域に関連するデータを検索結果リストに追加する（Ｓ６０５）。

リスト表示部１１２による検索結果リストへの追加処理（Ｓ６０５）の後、又は、比較部７０９による蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布と、検索対象領域の色分布との一致度が所定の閾値を超えるとの判断（Ｓ６０４における否定判断）の後、比較部７０９は、ＤＢ７０４内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出したか否かを判定する（Ｓ６０６）。ＤＢ７０４内にまだ読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布が存在する場合には、比較部７０９による、その読み出していない蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布の読み出し（Ｓ６０２）以降の動作が繰り返される。

一方、比較部７０９がＤＢ７０４内の全ての蓄積対象動領域を構成する各蓄積対象ブロック領域の色分布を読み出した場合には、人物代表画像リスト表示部７０６による、検索指示の受付（Ｓ９０１）以降の動作が繰り返される。更に、リスト表示部１１２が生成した検索結果リストが表示部１１８に表示され、ユーザは検索結果を認識することが可能となる。

このように映像検索装置７００では、映像入力部１０１が撮影した映像内の動領域が人であることの条件を満たしている場合には、その動領域が複数の蓄積対象ブロック領域に分割された上で、各蓄積対象ブロック領域の色情報が抽出され、さらに同一人物であると判定された場合は、その人物の一連の動きシーンの各動領域を構成する蓄積対象ブロック領域の色分布が生成され、また、同時にその人物の一連の動きシーンから最良の検索対象領域と対応する検索対象領域映像信号がＤＢ７０４に蓄積される。そして、映像検索の際には、ユーザが表示部１１８に表示された人物代表画像リストから検索対象の人物画像を指定すると自動的にその人物の検索対象領域の色分布が生成され、検索対象領域の色分布に類似した蓄積対象領域を構成する各蓄積対象ブロック領域を持つ蓄積対象領域に関連するデータが検索結果としてユーザに示される。すなわち、撮影された映像内の動きやその動きの領域の色によって検索できるだけでなく、人物の一連の動きシーンの中で１つだけ設定された検索対象領域を用いて検索が行われるため、動きの有無のみに基づいて映像検索を行う場合や、映像検索において対象物の特定部分の映像が必要となる場合よりも、映像検索を適切に行うことができる。さらにユーザは、検索領域設定時に映像を再生しながら所望の検索対象領域を探したり、同一人物の映像を繰り返し見て検索対象領域を選択することなく、所望の人物画像を検索対象領域として指定して検索を行うことができ、また検索を実行するたびに異なる結果を得るようなことなく常に安定した検索結果を得ることができる。

なお、以上の説明では、映像検索時に検索対象選択部７０７が、ＤＢ７０４からユーザの指定した人物代表画像に対応する検索対象領域と検索対象領域映像信号を取得して色分布の生成を行っているが、映像記録時に、検索領域設定部７０３が検索対象領域の色分布の生成までを行い、色分布と検索対象領域映像信号を対応付けてＤＢ７０４に蓄積しても同様に実施可能である。

なお、第１ないし第４の実施の形態において、図１１に示すように、領域分割手段１０４が、人物動きシーン判定部７０１が出力する蓄積対象領域を人物領域（ａ）とし、人物動きシーン判定部７０１が楕円ハフ処理により得た楕円位置とサイズを出力することにより、この楕円位置とサイズに基づき領域分割部１０４が（ｂ）に示すように領域を分割して蓄積対象ブロック領域と蓄積対象ブロック領域映像信号を出力し、色情報生成部７０２が各蓄積対象ブロック領域ごとに色分布を生成し出力する。同様に検索領域設定部７０３においても、図１１に示すように検索対象領域を分割して検索対象領域と対応した検索対象ブロック領域映像信号を出力し、ＤＢ７０４が、１つの動きシーンに対し４つの色分布と検索対象領域と対応する検索対象ブロック領域映像信号を関連付けて蓄積する。比較部７０９は各蓄積対象ブロック領域と対応する検索対象ブロック領域の色分布を比較することにより、ユーザがモニタ上で検索対象として人物代表画像を選択する際、頭・上半身・下半身・靴等の分割領域の選択項目を指定して人物代表画像を選択するようにすれば、人物の部分的な服装の色や、複数の人物の服装の色の組み合わせによる検索を可能にすることができる。

また、第４の実施の形態において、追跡モードをＯＮにしている間は蓄積対象ブロックの大きさを固定する構成であってもよい。

以上のように、本発明にかかる映像検索装置及び映像検索方法は、映像検索を適切に行うことができ、また、服装の色が類似した人物の映像を効率的に検索するための検索対象を容易に指定することができるという効果を有し、個人識別等の映像監視用途に用いられる映像検索装置及び映像検索方法として有用である。

本発明の第１の実施の形態における映像検索装置のブロック図本発明の第１の実施の形態における映像検索装置の代表色蓄積時の動作のフローチャート本発明の第１の実施の形態における映像検索装置の映像検索時の動作のフローチャート本発明の第２の実施の形態における映像検索装置のブロック図本発明の第２の実施の形態における映像検索装置の代表色蓄積時の動作のフローチャート本発明の第２の実施の形態における映像検索装置の映像検索時の動作のフローチャート本発明の第４の実施の形態における映像検索装置のブロック図本発明の第４の実施の形態における映像検索装置の代表色蓄積時の動作のフローチャート本発明の第４の実施の形態における映像検索装置の代表色蓄積時の動作のフローチャート本発明の第４の実施の形態における映像検索装置の映像検索時の動作のフローチャート（ａ）本発明の第４の実施の形態における人物領域を示す模式図（ｂ）本発明の第４の実施の形態における色情報抽出単位に分割した人物領域を示す模式図本発明の第３の実施の形態における映像検索装置のブロック図本発明の第３の実施の形態における映像検索装置の映像検索時の動作のフローチャート従来の監視システムのブロック図従来の個人識別装置のブロック図

符号の説明

１００、４００、７００、１１００映像検索装置
１０１ａ〜１０１ｎ映像入力部
１０２ａ〜１０２ｎ動領域抽出部
１０３ａ〜１０３ｎ人判定部
１０４ａ〜１０４ｎ、１０９領域分割部
１０５ａ〜１０５ｎ、１１０代表色算出部
１０６、４０２、７０４ＤＢ
１０７キーボード
１０８検索領域指定部
１１１、４０４、７０９、１１０２比較部
１１２リスト表示部
１１３映像選択部
１１４圧縮部
１１５ストレージ
１１６映像表示指示部
１１７展開部
１１８表示部
４０１ａ〜４０１ｎ、４０３、７０２ａ〜７０２ｎ、７０８、１１０１色情報生成部
７０１ａ〜７０１ｎ人物動きシーン判定部
７０３ａ〜７０３ｎ検索領域設定部
７０５ユーザ指示入力部
７０６人物代表画像リスト表示部
７０７検索対象選択部

Claims

第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域の代表色を導出して出力する蓄積対象ブロック領域代表色導出手段と、
前記蓄積対象ブロック領域の各々の代表色を蓄積する蓄積対象ブロック領域代表色蓄積手段と、
第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出手段と、
前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割手段と、
前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前記検索対象ブロック領域の代表色を導出して出力する検索対象ブロック領域代表色導出手段と、
前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色とを比較し、その比較結果に応じた出力を行う比較手段とを有することを特徴とする映像検索装置。
前記比較手段は、前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色との差分を前記比較結果として導出することを特徴とする請求項１記載の映像検索装置。
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域が人であることの条件としてあらかじめ定められた所定条件を満たしているか否かを判定し、前記蓄積対象動領域が前記所定条件を満たしている場合に前記蓄積対象動領域映像信号を前記蓄積対象ブロック領域分割手段へ出力する人判定手段を有することを特徴とする請求項１または２記載の映像検索装置。
前記蓄積対象ブロック領域代表色導出手段は、前記蓄積対象ブロック領域に出現する色について輝度変化の影響を小さくする変換方式によって得られる値の平均値に対応する色及び前記得られる値の出現する頻度が最も高い色のいずれか一方を、前記蓄積対象ブロック領域の代表色として導出することを特徴とする請求項１乃至３のいずれか記載の映像検索装置。
前記検索対象ブロック領域代表色導出手段は、前記検索対象ブロック領域に出現する色について輝度変化の影響を小さくする変換方式によって得られる値の平均値に対応する色及び前記得られる値の出現する頻度が最も高い色のいずれか一方を、前記検索対象ブロック領域の代表色として導出することを特徴とする請求項１乃至３のいずれか記載の映像検索装置。
第１の映像内の動き物体を第２の映像内の情報に基づいて検索する映像検索方法であって、
前記第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域の代表色を導出して出力する蓄積対象ブロック領域代表色導出ステップと、
前記蓄積対象ブロック領域の各々の代表色を蓄積対象ブロック領域蓄積手段に蓄積する蓄積対象ブロック領域代表色蓄積制御ステップと、
前記第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出ステップと、
前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割ステップと、
前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前記検索対象ブロック領域の代表色を導出して出力する検索対象ブロック領域代表色導出ステップと、
前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色とを比較し、その比較結果に応じた出力を行う比較ステップとを有することを特徴とする映像検索方法。
前記比較ステップは、前記蓄積対象ブロック領域の各々の代表色と、前記検索対象ブロック領域の各々の代表色との差分を前記比較結果として導出することを特徴とする請求項６記載の映像検索方法。
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域が人であることの条件として定められた所定条件を満たしているか否かを判定し、前記蓄積対象動領域が前記所定条件を満たしている場合に前記蓄積対象動領域映像信号を出力する人判定ステップを有し、
前記蓄積対象ブロック領域分割ステップは、前記人判定ステップにおいて蓄積対象動領域映像信号が出力された場合に、その蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力することを特徴とする請求項６又は７記載の映像検索方法。
第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成手段と、
前記蓄積対象ブロック領域の各々の色情報を蓄積する蓄積対象ブロック領域色情報蓄積手段と、
第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出手段と、
前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割手段と、
前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前期検索対象ブロック領域に含まれる映像信号から色分布を抽出して出力する検索対象ブロック領域色情報生成手段と、
前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布とを比較し、その比較結果に応じた出力を行う比較手段とを有することを特徴とする映像検索装置。
前記比較手段は、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の各々の色分布との色の出現頻度の一致度を前記比較結果として導出することを特徴とする請求項９記載の映像検索装置。
前記比較手段は、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布のいずれかとの色の出現頻度の一致度を前記比較結果として導出することを特徴とする請求項９記載の映像検索装置。
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域が人であることの条件として定められた所定条件を満たしているか否かを判定し、前記蓄積対象動領域が前記所定条件を満たしている場合に前記蓄積対象動領域映像信号を前記蓄積対象ブロック領域分割手段へ出力する人判定手段を有することを特徴とする請求項９乃至１１のいずれか記載の映像検索装置。
第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成手段と、
前記蓄積対象ブロック領域の各々の色情報を蓄積する蓄積対象ブロック領域色情報蓄積手段と、
第２の映像内の１つの検索対象点を抽出し、前記検索対象点に対応する検索対象領域映像信号に基づいて、前記検索対象点の色情報を抽出して出力する検索対象色情報生成手段と、
前記蓄積対象ブロック領域の各々の色分布から代表色情報を生成し、前記代表色情報と、前記検索対象色情報とを比較し、その比較結果に応じた出力を行う比較手段とを有することを特徴とする映像検索装置。
前記比較手段は、前記蓄積対象ブロック領域の各々の色分布から生成される代表色情報と、前記検索対象点の色情報との色の出現頻度の類似度を前記比較結果として導出することを特徴とする請求項１３記載の映像検索装置。
映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出手段と、
前記蓄積対象動領域映像信号に基づいて、映像内の連続フレーム画像から同一人物を識別し、前期蓄積対象動領域映像信号を出力するとともに、動きがなくなった時点で動きシーン終了信号を出力する人物動きシーン判定手段と、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割手段と、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、同一人物ごとに前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色特徴量を抽出し、動きシーン終了信号を受けて同一人物ごとに各々の前記蓄積対象ブロック領域に対応する色分布を生成して出力する蓄積対象ブロック領域色情報生成手段と、
前記蓄積対象動領域映像信号に基づいて、同一人物ごとに検索対象領域を設定し、前記動きシーン終了信号を受けて同一人物ごとに前記検索対象領域と対応する検索対象領域映像信号を出力する検索領域設定手段と、
前記蓄積対象ブロック領域の各々の色情報と前記検索対象領域と対応する前記検索対象領域映像信号を蓄積する領域色情報蓄積手段と、
前記領域色情報蓄積手段から、前記検索対象領域映像信号を取得して表示リストを出力する人物代表画像リスト表示手段と、
前記検索対象領域映像信号に基づいて、前記検索対象領域に含まれる映像信号から色分布を生成して出力する検索対象領域色情報生成手段と、
前記蓄積対象ブロック領域の各々の色分布と、前記検索対象領域の色分布とを比較し、その比較結果に応じた出力を行う比較手段とを有することを特徴とする映像検索装置。
前記蓄積対象ブロック領域分割手段が、分割位置を人物の形状により決定することを特徴とする請求項９乃至１５のいずれか記載の映像検索装置。
第１の映像内の動き物体を第２の映像内の情報に基づいて検索する映像検索方法であって、
前記第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成ステップと、
前記蓄積対象ブロック領域の各々の色情報を蓄積対象ブロック領域蓄積手段に蓄積する蓄積対象ブロック領域色情報蓄積制御ステップと、
前記第２の映像内の検索対象領域を抽出し、前記検索対象領域に対応する検索対象領域映像信号を出力する検索対象領域抽出ステップと、
前記検索対象領域映像信号に基づいて、前記検索対象領域を検索対象ブロック領域に分割し、前記検索対象領域を構成する各々の前記検索対象ブロック領域に対応する検索対象ブロック領域映像信号を出力する検索対象ブロック領域分割ステップと、
前記検索対象ブロック領域の各々に対応する前記検索対象ブロック領域映像信号に基づいて、前記検索対象領域を構成する各々の前期検索対象ブロック領域に含まれる映像信号から色分布を抽出して出力する検索対象ブロック領域色情報生成ステップと、
前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布とを比較し、その比較結果に応じた出力を行う比較ステップとを有することを特徴とする映像検索方法。
前記比較ステップは、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の各々の色分布との色の出現頻度の一致度を前記比較結果として導出することを特徴とする請求項１７記載の映像検索方法。
前記比較ステップは、前記蓄積対象ブロック領域の各々の色分布と、前記検索対象ブロック領域の色分布のいずれかとの色の出現頻度の一致度を前記比較結果として導出することを特徴とする請求項１７記載の映像検索方法。
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域が人であることの条件として定められた所定条件を満たしているか否かを判定し、前記蓄積対象動領域が前記所定条件を満たしている場合に前記蓄積対象動領域映像信号を出力する人判定ステップを有し、
前記蓄積対象ブロック領域分割ステップは、前記人判定ステップにおいて蓄積対象動領域映像信号が出力された場合に、その蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力することを特徴とする請求項１７乃至１９のいずれか記載の映像検索方法。
第１の映像内の動き物体を第２の映像内の情報に基づいて検索する映像検索方法であって、
前記第１の映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色分布を抽出して出力する蓄積対象ブロック領域色情報生成ステップと、
前記蓄積対象ブロック領域の各々の色情報を蓄積対象ブロック領域蓄積手段に蓄積する蓄積対象ブロック領域色情報蓄積制御ステップと、
前記第２の映像内の１つの検索対象点を抽出し、前記検索対象点に対応する検索対象領域映像信号に基づいて、前記検索対象点の色情報を抽出して出力する検索対象色情報生成ステップと、
前記蓄積対象ブロック領域の各々の色分布から代表色情報を生成し、前記代表色情報と、前記検索対象色情報とを比較し、その比較結果に応じた出力を行う比較ステップとを有することを特徴とする映像検索方法。
前記比較ステップは、前記蓄積対象ブロック領域の各々の色分布から生成される代表色情報と、前記検索対象点の色情報との色の出現頻度の類似度を前記比較結果として導出することを特徴とする請求項２１記載の映像検索方法。
映像内の蓄積対象動領域を抽出し、前記蓄積対象動領域に対応する蓄積対象動領域映像信号を出力する蓄積対象動領域抽出ステップと、
前記蓄積対象動領域映像信号に基づいて、映像内の連続フレーム画像から同一人物を識別し、前期蓄積対象動領域映像信号を出力するとともに、動きがなくなった時点で動きシーン終了信号を出力する人物動きシーン判定ステップと、
前記蓄積対象動領域映像信号に基づいて、前記蓄積対象動領域を蓄積対象ブロック領域に分割し、前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に対応する蓄積対象ブロック領域映像信号を出力する蓄積対象ブロック領域分割ステップと、
前記蓄積対象ブロック領域の各々に対応する前記蓄積対象ブロック領域映像信号に基づいて、同一人物ごとに前記蓄積対象動領域を構成する各々の前記蓄積対象ブロック領域に含まれる映像信号から色特徴量を抽出し、動きシーン終了信号を受けて同一人物ごとに各々の前記蓄積対象ブロック領域に対応する色分布を生成して出力する蓄積対象ブロック領域色情報生成ステップと、
前記蓄積対象動領域映像信号に基づいて、同一人物ごとに検索対象領域を設定し、前記動きシーン終了信号を受けて同一人物ごとに前記検索対象領域と対応する検索対象領域映像信号を出力する検索領域設定ステップと、
前記蓄積対象ブロック領域の各々の色情報と前記検索対象領域と対応する前記検索対象領域映像信号を領域色情報蓄積手段に蓄積する領域色情報蓄積制御ステップと、
前記検索対象領域映像信号を取得して表示リストを出力する人物代表画像リスト表示ステップと、
前記検索対象領域映像信号に基づいて、前記検索対象領域に含まれる映像信号から色分布を生成して出力する検索対象領域色情報生成ステップと、
前記蓄積対象ブロック領域の各々の色分布と、前記検索対象領域の色分布とを比較し、その比較結果に応じた出力を行う比較ステップとを有することを特徴とする映像検索方法。