JP2013210845A

JP2013210845A - 移動物体照合装置

Info

Publication number: JP2013210845A
Application number: JP2012080585A
Authority: JP
Inventors: Yosuke Murai; 陽介村井
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2013-10-10

Abstract

【課題】移動物体の姿勢が類似した物体像を複数フレームから集めて画像特徴を平均化すると照明条件の変動の影響を受け画像特徴が鈍化する。
【解決手段】類似姿勢画像グループ生成部１１２は時系列物体像を移動物体の画像特徴が互いに類似する連続フレームに分割する。人物情報生成部１１３は、連続フレームを構成する複数のフレームにおける移動物体の輝度特徴を代表する代表特徴を算出する。人物同定装置２は、複数の時系列物体像同士を連続フレームごとに代表特徴について照合し、照合一致した連続フレームを含んでいる時系列物体像同士を同一移動物体のものと判定する。
【選択図】図１

Description

本発明は、それぞれに移動物体が撮像された時系列画像が同一移動物体のものであるか照合する移動物体照合装置に関する。

不審人物の足跡を追う目的等で、異なる場所に設置された監視カメラにて撮像した映像から同一人物の映像を検索することを要求される場合がある。例えば、建物２階の映像で確認された不審人物がいつ入館したかを特定するために、当該建物入口の映像を検索することが要求される。

移動物体を追跡する画像処理技術によれば、人物位置の連続性を利用して同一人物が映った時系列画像を検出することができる。しかし、監視カメラは設置コスト等の理由から離散的に設置されることが多く、離れた監視カメラの間では人物位置の連続性が利用困難となる。そのため異なる監視カメラで追跡した人物の時系列画像を服装などの見かけ（アピアランス）の特徴で照合することになる。

異なる監視カメラで撮像された人物の照合を行う場合、場所による照明条件の違いが本人不一致や他人一致の要因となる。このような照明条件の問題は、監視カメラの視野から一旦外れた人物が同一監視カメラの視野に再登場する場合にも生じる。そのため、従来、人物を検出した位置を、検出した人物領域画像と対応付けて記憶し、位置と人物領域画像が共に類似する人物を検索することで候補を限定して誤った検索を防止していた。

特開２０００−３５０１８７号公報

しかしながら、人物の検出位置を検索条件にすると候補とならない本人画像が多数となり、十分な検索を行えない問題があった。すなわち、従来技術では追跡により同一人物のものと特定されている複数フレームの時系列画像を有効活用できない問題があった。また、１フレーム同士の照合は、人物領域抽出の誤差により混入する背景画像などのノイズの影響や人物の姿勢や向きの変動により生じる本人変動の影響を受けやすいため、誤った検索の要因となっていた。

ノイズや本人変動の影響を抑制するには複数フレームを平均化するなどの処理が好適である。ところが、照明条件は時間や場所によって変動し、人物の向きや姿勢は時々刻々と変動するため、時系列画像には照明条件や人物の姿勢や向きが異なるフレームが混ざっている。そのため、時系列画像の複数フレームを不用意に平均化すると色などの特徴が鈍化し、照合精度が低下する問題があった。

本発明は上記課題を鑑みてなされたものであり、移動物体の姿勢・向きの変動や照明変動が含まれ得る時系列画像を有効活用して高精度に移動物体を照合できる移動物体照合装置を提供することを目的とする。

本発明に係る移動物体照合装置は、それぞれに移動物体が撮像された複数の時系列物体像が同一移動物体のものであるか照合するものであって、前記時系列物体像を、前記移動物体の画像特徴が互いに類似する連続フレームに分割する連続フレーム生成部と、前記連続フレームを構成する複数のフレームにおける前記移動物体の輝度特徴を代表する代表特徴を算出する代表特徴算出部と、前記複数の時系列物体像同士を前記連続フレームごとに前記代表特徴について照合し、照合一致した前記連続フレームを含んでいる前記時系列物体像同士を同一移動物体のものと判定する照合部と、を備える。

他の本発明に係る移動物体照合装置においては、前記代表特徴算出部は、前記連続フレームを構成する複数のフレームにおける前記移動物体の輝度特徴を平均して前記代表特徴を算出する。

別の本発明に係る移動物体照合装置においては、前記照合部は、前記時系列物体像間で前記移動物体の形状特徴が最も類似する前記連続フレームを選択し、選択した前記連続フレームを照合する。

本発明によれば、時系列画像を移動物体の向きや姿勢及び照明条件の揃った連続フレームに分割して照合することで姿勢・向きの変動や照明変動を抑制しつつ移動物体の輝度特徴の鈍化を防止でき照合精度の向上が図れる。

本発明の実施形態である人物同定・検索システムを構成する人物情報生成装置の概略の構成を示すブロック図である。本発明の実施形態である人物同定・検索システムを構成する人物同定装置の概略の構成を示すブロック図である。人物情報生成装置の動作を説明する概略のフロー図である。類似姿勢画像グループ生成部の処理の一例を示す説明図である。人物同定装置の動作を説明する概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である人物同定・検索システムについて、図面に基づいて説明する。当該人物同定・検索システムは人物を対象物体とし、画像に写る移動物体の複数フレームに亘る時系列物体像を照合する機能を有する。人物同定・検索システムは、人物情報生成装置１と人物同定装置２とから構成される。人物情報生成装置１は複数の監視カメラそれぞれによって異なる撮像領域を撮影した複数フレームの画像（時系列画像）から、各撮像領域に現れた人物の画像情報（人物情報）を人物ごとに生成する。この人物情報には背景から分離された人物像が含まれる。人物同定装置２は、人物情報生成装置１が生成した人物情報の間で人物像の照合を行って同一人物の人物情報を検出する。人物同定・検索システムは、この人物像の照合によって、複数の撮像領域に亘って移動する人物の横断的検索を可能にする。以下、人物情報生成装置１及び人物同定装置２をそれぞれ説明する。

［人物情報生成装置１の構成］
図１は人物情報生成装置１の概略の構成を示すブロック図である。人物情報生成装置１は入力部１０、信号処理部１１及び記憶部１２から構成される。

入力部１０は時系列画像を出力する複数の監視カメラ、又は各監視カメラにより撮影済みの時系列画像を記録したＤＶＲ（Digital Video Recorder）などの映像記録装置であり、信号処理部１１に接続される。

信号処理部１１はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、入力部１０及び記憶部１２に接続される。信号処理部１１は記憶部１２からプログラムを読み出して実行し、人物追跡部１１０、人物特徴抽出部１１１、類似姿勢画像グループ生成部１１２及び人物情報生成部１１３等として機能する。

人物追跡部１１０は入力部１０から監視カメラごとの時系列画像を取得し、人物追跡処理により当該時系列画像上に現れた各人物の人物像の時系列（時系列人物像）を生成し、人物特徴抽出部１１１に出力する。具体的には、人物追跡部１１０は背景差分処理等により時系列画像の各フレームから人物像を抽出し、パターンマッチング等によりフレーム間で同一人物の人物像を対応付けることで時系列人物像を生成する。なお、各人物像のデータの受け渡しは、当該人物像が存在するフレームを識別するフレーム番号と、当該フレームにおける人物の領域を表現する２値のマスク画像を受け渡すことで行う。

人物特徴抽出部１１１は人物追跡部１１０が生成した各人物像からアピアランス特徴量と形状特徴量とを抽出して、抽出した特徴量を類似姿勢画像グループ生成部１１２と人物情報生成部１１３に出力する。

アピアランス特徴量は人物の見かけの特徴量であり、具体的には人物像の輝度特徴量である。人物特徴抽出部１１１はアピアランス特徴量として各人物像のＲＧＢカラーヒストグラムを抽出する。これは人物を服や肌などの色により特徴付ける色特徴量である。ＲＧＢカラーヒストグラムに代えてＨＳＶカラーヒストグラムを抽出してもよい。または、人物特徴抽出部１１１はアピアランス特徴量として各人物像の輝度勾配ヒストグラムを抽出する。これは人物を服の模様などにより特徴付けるテクスチャ特徴量である。アピアランス特徴量として各人物像の色特徴量とテクスチャ特徴量の両方を抽出することもできるし、その他の各種の輝度特徴量を加えることもできる。

形状特徴量は人物の姿勢や向きを特徴付ける特徴量であり、シェイプコンテキスト（ShapeContext）を用いる。別の実施形態では形状特徴量としてエッジ方向ヒストグラムを用いることができる。

類似姿勢画像グループ生成部１１２（連続フレーム生成部）は人物追跡部１１０で生成した各時系列人物像を人物特徴抽出部１１１で抽出した形状特徴量が類似する連続フレームの人物像同士からなる類似姿勢画像グループに分けて、グループ生成の結果を人物情報生成部１１３に出力する。当該グルーピングによって生成する類似姿勢画像グループは姿勢や向きが揃った人物像の集まりとなる。姿勢や向きが揃ったグループ内での平均化を行っても姿勢や向きの変動による移動物体の画像特徴の鈍化は少ないため、その画像特徴を用いた照合において精度の低下を抑制することが可能となる。また、当該グルーピングに際しては時間の連続性を考慮している。例えば、類似姿勢画像グルーピングの連続性拘束時間をＴ_Ｃ(秒)に設定した場合、時系列人物像を追跡開始フレームｔ_０からＴ_Ｃ秒間隔で分割し、当該分割で生成される各分割時系列画像内で類似姿勢画像にグルーピングする。連続性拘束時間Ｔ_Ｃの大きさは例えば２〜５秒程度の範囲で、各分割時系列画像内に含まれるフレーム数に応じて設定することができる。類似姿勢画像のグループ生成においてグループに含まれる画像の時系列の連続性を要件とすることで、人物の姿勢が似ていたとしても、時間的に離れた画像は別のグループに分類されるため、追跡を行う時系列画像中で照明変動が発生してもグループ内での照明変動の大きさを小さくすることができる。よって、グループ内での平均化を行っても移動物体の画像特徴の照明変動による鈍化は少ないため、得られた画像特徴を用いた照合においてその精度の低下を抑制することが可能になる。

以下では類似姿勢画像のグルーピング手法について説明する。

まず、類似姿勢画像グループ生成部１１２は、各分割時系列画像において時間的に隣り合う人物像間で人物像の形状特徴量の類似度を求める。類似度は動的計画（Dynamic Programming）法などのマッチング手法を用いて求めることができる。次に、類似姿勢画像グループ生成部１１２は、求めた類似度に平均シフト（MeanShift）法やクイックシフト（QuickShift）法等のクラスタリング手法を適用して、各分割時系列画像の人物像をクラスタリングすることにより類似姿勢画像グループを生成する。

人物情報生成部１１３（代表特徴算出部）は、類似姿勢画像グループ生成部１１２で生成した類似姿勢画像グループごとに当該グループを構成する人物像のアピアランス特徴量を代表する代表アピアランス特徴量を算出し、またマスク画像とフレーム番号と時系列画像を基に人物像を切り出し、時系列人物像ごとに人物ＩＤと各類似姿勢画像グループのフレーム番号リストとフレーム番号ごとの人物像及び形状特徴量と各類似姿勢画像グループの代表アピアランス特徴量とを対応付けた人物情報１２０を記憶部１２に記憶させる。

人物情報生成部１１３は各類似姿勢画像グループの人物像のアピアランス特徴量を平均して代表アピアランス特徴量を算出する。平均に用いる人物像は全部としてもよいが、平均値に近い規定数の人物像を用いてもよい。これに代えて各類似姿勢画像グループの人物像のアピアランス特徴量の平均値に最も近いアピアランス特徴量を代表アピアランス特徴量とすることもでき、または、類似姿勢画像グループ生成部１１２でのクラスタリング結果を参照して各類似姿勢画像グループのクラスタ中心に対応するアピアランス特徴量を代表アピアランス特徴量とすることもできる。また、人物情報生成部１１３は形状特徴量についてもアピアランス特徴量と同様にして各類似姿勢画像グループの代表形状特徴量を生成してもよい。

記憶部１２は例えば、ハードディスクドライブ（Hard disk drive：HDD）、ＲＡＭ(Random Access Memory)等の記憶装置からなり、人物情報生成部１１３で生成された人物情報１２０を格納する他、計算用の一時記憶領域（図示せず）として信号処理部１１により利用される。また、記憶部１２は信号処理部１１で用いられる各種プログラムや各種データを記憶し、信号処理部１１との間でこれらの情報を入出力する。

［人物同定装置２の構成］
図２は人物同定装置２（照合部）の概略の構成を示すブロック図である。人物同定装置２は入力部２０、信号処理部２１、記憶部２２及び出力部２３から構成される。既に述べたように人物同定装置２は、人物情報生成装置１により作成された人物情報１２０を用いて同一人物を見つける同定処理を行う。本実施形態では、ユーザが或る監視カメラ（以下、カメラＡとする）の時系列画像に現れた人物について検索を要求し、人物同定装置２が他の監視カメラ（以下、カメラＢとする）で撮影された時系列画像から当該人物を検索するものとする。

入力部２０はキーボードやマウスなどの入力装置であり、信号処理部２１と接続され、ユーザが検索したい人物を選択したり、検索するデータベース（ＤＢ）を指定したりする時などに用いられる。

信号処理部２１は信号処理部１１と同様、ＣＰＵ等の演算装置を用いて構成され、入力部２０、記憶部２２及び出力部２３に接続される。信号処理部２１は記憶部２２からプログラムを読み出して実行し、人物情報取得部２１０、類似姿勢画像グループ選択部２１１、色変換部２１２、人物間類似度算出部２１３及び照合結果生成部２１４等として機能する。

人物情報取得部２１０は入力部２０から検索要求された人物（以下、クエリ（query）人物と称する）の人物情報（人物情報２２０Ａ）を記憶部２２から読み込む。また、人物情報取得部２１０は入力部２０から照合相手として監視カメラ単位で指定された複数の人物（以下、ＤＢ（database）人物と称する）の人物情報群（人物情報２２０Ｂ）を記憶部２２から読み込む。そして、人物情報取得部２１０は検索対象や照合相手として指定された人物の人物情報２２０（２２０Ａ，２２０Ｂ）を類似姿勢画像グループ選択部２１１へ出力する。

類似姿勢画像グループ選択部２１１は、クエリ人物の人物情報に格納された類似姿勢画像グループと、各ＤＢ人物の人物情報に格納された類似姿勢画像グループとから、最も姿勢が類似する類似姿勢画像グループペアを選択する。類似姿勢画像グループ選択部２１１は選択した各類似姿勢画像グループを特定する情報を加えた人物情報を色変換部２１２へ出力する。

類似姿勢画像グループペアの選択は、各類似姿勢画像グループの形状特徴量間の類似度を比較することで行う。類似姿勢画像グループ間の類似度は、人物情報生成装置１の類似姿勢画像グループ生成部１１２で用いた方法と同様に、動的計画法などのマッチング手法を用いて類似姿勢画像グループの形状特徴量を比較することで求めることができる。

クエリ人物とＤＢ人物の照合は類似姿勢画像グループペアを照合することにより行う。このように姿勢が類似した人物像を選択して照合を行うことで、人物の姿勢や向きの違いによる照合精度の低下を抑制することができる。

色変換部２１２は、クエリ人物の人物像とＤＢ人物の人物像との間の照明条件の違いを吸収するために、類似姿勢画像グループ選択部２１１で選択された類似姿勢画像グループペア間で色変換処理を行って色変換した人物像を加えた人物情報を人物間類似度算出部２１３に出力する。色変換処理は、ＢＴＦ（輝度変換関数：Brightness Transfer Function）により行う。

具体的には色変換部２１２はクエリ人物及びＤＢ人物の人物像それぞれの累積色ヒストグラムを算出し、累積色ヒストグラムの一方の各色成分の輝度値（色輝度値）を変換して他方の近似となるように各色輝度値を変換する。各累積色ヒストグラムは類似姿勢画像グループを構成する複数フレームの人物像を用いて算出する。すなわち、一方の累積色ヒストグラムを色輝度値Ｂ_１に対する関数Ｈ_１(Ｂ_１)、他方の累積色ヒストグラムを色輝度値Ｂ_２に対する関数Ｈ_２(Ｂ_２)、及びＢＴＦによる色輝度値Ｂ_１の変換をｆ(Ｂ_１)と表すと、色変換部２１２はＨ_１(Ｂ_１)がＨ_２(ｆ(Ｂ_１))に一致するように関数ｆを定義する。色変換部２１２は各輝度値Ｂ_２についての輝度値０〜Ｂ_２までの累積頻度Ｈ_２(Ｂ_２)と、各輝度値Ｂ_１についての輝度値０〜Ｂ_１までの累積頻度Ｈ_１(Ｂ_１)を求めて、輝度値Ｂ_１のそれぞれをＨ_１(Ｂ_１)＝Ｈ_２(Ｂ_２)を満たす輝度値Ｂ_２に置き換える変換ｆ(Ｂ_１)を行う。この変換は色成分ごとに行う。実際には輝度値も頻度も離散的であるため一般にＨ_１(Ｂ_１)＝Ｈ_２(Ｂ_２)を完全に満たす変換は得られず、当該色変換は一方の累積色ヒストグラムを他方の累積色ヒストグラムに近似させる変換となる。ここでは、累積ヒストグラムの曲線（折れ線）が表す変化特性を積分特性と呼び、ＢＴＦにより当該特性を近似させることを、積分特性を合わせると表現する。

色変換部２１２が行う色変換は背景を除いた人物像に対して行うため、背景の色分布の違いは色変換に影響しない。また、色変換部２１２が行う色変換は特定人物の人物像の積分特性に合わせ込む変換であり、上述のように輝度値の順序を変えない拘束条件を課した変換である。そのため、本来の色分布が異なる他人同士で積分特性を合わせようとしても拘束条件により合わせ込みきれず両者の色分布は類似したものとならない。しかし、本来の色分布が同じである本人同士で積分特性を合わせようとすれば拘束条件があっても合わせ込むことができ、照明条件が補正されて両者の色分布は類似したものとなる。

その結果、本人同士の照合と他人同士の照合との差を広げることができ、照合精度を向上させることができる。

例えば、クエリ人物とＤＢ人物とが同一ではあるが、照明条件の相違により両者の累積色ヒストグラムに違いが生じている場合には、積分特性を合わせるように色変換を行うと、両者の各色の色ヒストグラムはピークの位置及び相対的な大きさが似た類似した色ヒストグラムとなる。つまり、当該色変換により照明条件だけが上手く補正されて、両者の人物像の肌や服装の色が類似した色合いとなる。

一方、例えば、クエリ人物とＤＢ人物の服装の色や肌の露出具合が異なる別人である場合には、積分特性を合わせるように色変換を行うと、両者の色ヒストグラムにおける各色のピーク同士の相対的な位置関係や相対的な強度の差異は残り、色変換された人物像は歪んだ色分布となる一方、照明条件の相違に対する補正も期待されない。

このように上述した色変換により、本人のときと他人のときとで色合わせの程度の差が開くため、照明条件を補正しつつ本人照合精度を向上させることができる。またこの色変換は人物の姿勢・向き及び照明条件を揃えた類似姿勢画像グループを単位として行うため、上記の差を広げる効果をより高めることができる。

人物間類似度算出部２１３は、色変換部２１２が色変換を施したクエリ人物の人物像と、各ＤＢ人物の人物像との間の類似性（人物間類似度）を算出して、ＤＢ人物ごとの人物間類似度を照合結果生成部２１４に出力する。

人物間類似度はアピアランス特徴量の類似度として算出する。具体的には、人物間類似度算出部２１３は、類似姿勢画像グループペアの一方であるクエリ人物の類似姿勢画像グループを構成する色変換後の人物像から代表アピアランス特徴量を再抽出すると共に、類似姿勢画像グループペアの他方であるＤＢ人物それぞれの類似姿勢画像グループを構成する物体像の代表アピアランス特徴量を人物情報から読み出して、クエリ人物の代表アピアランス特徴量と各ＤＢ人物の代表アピアランス特徴量との類似度を人物間類似度として算出する。アピアランス特徴量であるＲＧＢヒストグラムの類似度はヒストグラムインターセクションを計算することで求めることができる。ＲＧＢヒストグラムに代えてＨＳＶヒストグラム又は輝度勾配ヒストグラムを用いる場合もこれらのヒストグラムインターセクションを計算すればよい。また、複数種類の特徴量をアピアランス特徴量として用いる場合は、各特徴量の類似度を予め定めた重みで重み付け加算して人物間類似度とすることができる。

照合結果生成部２１４は、ＤＢ人物のうち人物間類似度算出部２１３が算出した人物間類似度が予め設定した同定閾値以上かつ最大となる者をクエリ人物と同一の人物と判定してこれらの人物の人物情報２２０を出力部２３に出力する。一方、同定閾値以上の人物間類似度を持つＤＢ人物が存在しない場合は該当無しと判定してその旨を出力部２３に出力する。

記憶部２２は記憶部１２と同様、ＨＤＤ等の記憶装置からなり、人物情報２２０Ａ，２２０Ｂを格納する他、計算用の一時記憶領域（図示せず）として信号処理部２１により利用される。また、記憶部２２は信号処理部２１で用いられる各種プログラムや各種データを記憶し、信号処理部２１との間でこれらの情報を入出力する。

ここで、人物情報２２０Ａには、人物情報生成装置１がカメラＡの時系列画像から生成した複数人物の人物情報が格納され、人物情報２２０Ｂには、人物情報生成装置１がカメラＢの時系列画像から生成した複数人物の人物情報が格納される。なお、本実施形態ではカメラが２台の場合で説明しているが、カメラが２台より多い場合はカメラと同じ数の人物情報２２０が記憶部２２に格納される。

出力部２３はディスプレイなどから構成される。出力部２３は信号処理部２１と接続され、照合結果生成部２１４で生成された結果を出力する。

なお、人物情報生成装置１及び人物同定装置２を一体の人物同定・検索システムとして構成する場合、信号処理部１１及び信号処理部２１は共通の演算装置で構成でき、また記憶部１２及び記憶部２２も共通の記憶装置で構成できる。

［人物情報生成装置１の動作］
図３は人物情報生成装置１の動作を説明する概略のフロー図である。

人物追跡部１１０は入力部１０から入力された時系列画像の各画像に対し、背景差分処理を行って当該画像から背景の画素を除くことにより人物像を抽出し、そのマスク画像を生成する（ステップＳ１０）。そして、人物追跡部１１０はステップＳ１０で抽出した現フレームの人物像とその前フレームまでに抽出した人物像とのテンプレートマッチングを行って同一人物の人物像同士を対応付ける（ステップＳ１１）。人物追跡部１１０は同一人物の人物像に共通の人物ＩＤを付与し、また新規人物の人物像に新たな人物ＩＤを付与する。人物追跡部１１０は現フレームのフレーム番号と現フレームで抽出した人物像のマスク画像とその人物ＩＤを対応付けて記憶部１２に追記する。

人物特徴抽出部１１１は人物追跡部１１０がステップＳ１０で抽出した人物像から形状特徴量を抽出し、当該人物像と対応付けて記憶部１２に追記する（ステップＳ１２）。また、人物特徴抽出部１１１は当該人物像から、アピアランス特徴量を抽出し、当該人物像と対応付けて記憶部１２に追記する（ステップＳ１３）。

追跡を終了した人物が居る場合（ステップＳ１４にてＹＥＳの場合）はステップＳ１５に進み、そうでない場合（ステップＳ１４でＮＯの場合）は新たに入力されるフレームに対してステップＳ１０〜Ｓ１３の処理を繰り返す。人物特徴抽出部１１１はステップＳ１０〜Ｓ１３で記録された追跡終了人物の画像情報をとりまとめて類似姿勢画像グループ生成部１１２と人物情報生成部１１３に出力する。

類似姿勢画像グループ生成部１１２は、追跡終了人物の時系列人物像をグループ内での時間的な連続性の要件を満たしつつ、ステップＳ１２で抽出された形状特徴量に基づいてクラスタリングして類似姿勢画像グループを生成し、グループごとのフレーム番号リストを人物情報生成部１１３に出力する（ステップＳ１５）。すなわち、類似姿勢画像グループ生成部１１２は時系列人物像を当該人物像の画像特徴に所定の類似性がある連続フレームからなるグループに分割する。

図４は類似姿勢画像グループ生成部１１２の処理の一例を示す説明図である。類似姿勢画像グループ生成部１１２は人物追跡部１１０が生成した時系列人物像１３１を連続性拘束時間Ｔ_Ｃ秒間隔で分割し、分割時系列画像１３０（１３０ａ，１３０ｂ，１３０ｃ）を定義する。類似姿勢画像グループ生成部１１２は各分割時系列画像１３０内の人物像１３２を形状特徴量が類似し、かつ時間的に連続したフレームのグループ（フレームグループ）に分割する。例えば、分割時系列画像１３０ａ内の人物像１３２-1〜１３２-3は形状特徴量が類似しており１つのフレームグループ１３３-1とされる。分割時系列画像１３０ｂ内の人物像１３２-4〜１３２-7のうち人物像１３２-4，１３２-5，１３２-7は形状特徴量が類似している。それらのうち人物像１３２-4，１３２-5はフレーム番号が連続しておりフレームグループ１３３-2とされるが、人物像１３２-7は人物像１３２-4，１３２-5とはフレーム番号が連続していないので別のフレームグループ１３３-3とされる。なお、人物像１３３-6はフレーム番号が隣接する両側の人物像と形状特徴量が類似しないので単独でフレームグループ１３３-4を形成する。人物像１３２-7〜１３２-9は形状特徴量が類似しかつフレーム番号が連続するが、人物像１３２-7と人物像１３２-8，１３２-9との間で連続性拘束時間Ｔ_Ｃにより分割されるため１つのフレームグループとはされず、別々のフレームグループ１３３-3，１３３-5に分割される。

人物情報生成部１１３は、ステップＳ１５にて生成された追跡終了人物の各類似姿勢画像グループごとに、そのグループを構成する人物像のアピアランス特徴量を平均して代表アピアランス特徴量を生成する（ステップＳ１６）。そして、人物情報生成部１１３はステップＳ１０〜Ｓ１２で求められた追跡終了人物の人物ＩＤ、当該人物の時系列人物像とその各フレーム番号、及び当該各人物像の形状特徴量に、ステップＳ１５で生成した類似姿勢画像グループの情報及びステップＳ１６で生成した代表アピアランス特徴量を加えた、追跡終了人物の人物情報１２０を生成して記憶部１２に格納する（ステップＳ１７）。追跡終了人物の人物情報１２０を生成すると、信号処理部１１は処理をステップＳ１０へ戻し次のフレームの処理に移る。

［人物同定装置２の動作］
図５は人物同定装置２の動作を説明する概略のフロー図である。

ユーザは入力部２０を操作して、カメラＡの時系列画像に写っている人物の１人をクエリ人物として選択し（ステップＳ２０）、また、対応付けを行いたいカメラとしてカメラＢを選択する（ステップＳ２１）。カメラＢの選択は当該カメラの時系列画像に写っている全人物をＤＢ人物として選択することに相当する。

人物情報取得部２１０はステップＳ２０で指定されたクエリ人物の人物情報２２０Ａを記憶部２２から読み込む（ステップＳ２２）。

続くステップＳ２３〜Ｓ２８のループ処理ではクエリ人物と全ＤＢ人物との人物間類似度を算出する。

人物情報取得部２１０は、各ＤＢ人物の人物情報２２０Ｂを記憶部２２から順次読み込む（ステップＳ２３）。そして、類似姿勢画像グループ選択部２１１はクエリ人物の各類似姿勢画像グループの形状特徴量と、ステップＳ２３で読み込んだＤＢ人物の各類似姿勢画像グループの形状特徴量とを比較して、形状特徴量が最も類似する類似姿勢画像グループのペアを選出する（ステップＳ２４）。

色変換部２１２は、ステップＳ２４で選出されたペアを構成するクエリ人物の類似姿勢画像グループ及びＤＢ人物の類似姿勢画像グループそれぞれの累積色ヒストグラムを算出し（ステップＳ２５）、クエリ人物の類似姿勢画像グループの累積色ヒストグラムをＤＢ人物の類似姿勢画像グループの累積色ヒストグラムに近似させる色変換処理をクエリ人物の当該類似姿勢画像グループを構成する各人物像に対して施す（ステップＳ２６）。

人物間類似度算出部２１３は、ステップＳ２６にて色変換したクエリ人物の類似姿勢画像グループから代表アピアランス特徴量を抽出し、当該代表アピアランス特徴量と、ＤＢ人物について選出された類似姿勢画像グループの代表アピアランス特徴量との類似度をクエリ人物とＤＢ人物との人物間類似度として算出する（ステップＳ２７）。

人物間類似度算出部２１３は、ステップＳ２１で指定した全ＤＢ人物に対して人物間類似度を算出したか否かを確認する（ステップＳ２８）。全てについて算出していなければ（ステップＳ２８でＮＯ判定）、未算出のＤＢ人物に対してステップＳ２３〜Ｓ２７の処理を繰り返す。一方、全ＤＢ人物について人物間類似度を算出していれば（ステップＳ２８でＹＥＳ判定）ステップＳ２９に処理を進める。

照合結果生成部２１４は、ステップＳ２３〜Ｓ２８のループ処理により各ＤＢ人物について算出した人物間類似度の中から最大の人物間類似度を選出して同定閾値と比較し、最大の人物間類似度が同定閾値以上であれば（ステップＳ２９にてＹＥＳ判定）、当該人物間類似度が算出されたＤＢ人物をクエリ人物と同一人物であると判定してこれらの人物の人物情報を出力部２３に出力する（ステップＳ３０）。

なお最大の人物間類似度が同定閾値未満の場合（ステップＳ２９にてＮＯ判定）、照合結果生成部２１４はクエリ人物に該当するＤＢ人物が検出されなかった旨を出力部２３に出力してステップＳ３０を省略する。

出力部２３は照合結果生成部２１４から入力された同一人物の人物情報若しくは該当人物無しの情報を同定処理結果としてディスプレイ等に出力し（ステップＳ３１）、処理を終了する。

［変形例］
（１）上記実施形態では、時系列画像を連続性拘束時間Ｔ_Ｃ秒間隔で分割時系列画像に分割した後、当該分割時系列画像内で類似姿勢グループを定義した。一方、時系列画像内でまず姿勢が類似しかつフレームが連続する人物像のグループを見つけ、それを類似姿勢グループとして定義することもできる。この場合、類似姿勢のフレームの連続数が多くなるとそのフレーム群内での照明変動の幅も大きくなり、人物像の画像特徴が鈍化し得る。これに対応して、上記実施形態と同様、連続性拘束時間Ｔ_Ｃを導入し、類似姿勢の連続時間がＴ_Ｃを超えるグループについては、例えばＴ_Ｃごとに分割して分割後のグループをそれぞれ類似姿勢グループとすることができる。

（２）上記実施形態において類似姿勢画像グループ生成部１１２は形状特徴量が類似する連続フレームを生成した。別の実施形態において類似姿勢画像グループ生成部１１２は形状特徴量とアピアランス特徴量とが類似する連続フレームを生成する。この場合、例えば、類似姿勢画像グループ生成部１１２は、分割時系列画像内の時間的に隣り合う人物画像間で形状特徴量の類似度に加えてアピアランス特徴量の類似度を求め、これらを予め設定した重みで重み付け加算した類似度を基にクラスタリングして類似姿勢画像グループを生成する。また例えば、類似姿勢画像グループ生成部１１２は、分割時系列画像を形状特徴量に基づいてクラスタリングした後に、クラスタリング結果をアピアランス特徴量に基づいてさらにクラスタリングして類似姿勢画像グループを生成する。

１人物情報生成装置、２人物同定装置、１０，２０入力部、１１，２１信号処理部、１２，２２記憶部、２３出力部、１１０人物追跡部、１１１人物特徴抽出部、１１２類似姿勢画像グループ生成部、１１３人物情報生成部、２１０人物情報取得部、２１１類似姿勢画像グループ選択部、２１２色変換部、２１３人物間類似度算出部、２１４照合結果生成部。

Claims

それぞれに移動物体が撮像された複数の時系列物体像が同一移動物体のものであるか照合する移動物体照合装置であって、
前記時系列物体像を前記移動物体の画像特徴が互いに類似する連続フレームに分割する連続フレーム生成部と、
前記連続フレームを構成する複数のフレームにおける前記移動物体の輝度特徴を代表する代表特徴を算出する代表特徴算出部と、
前記複数の時系列物体像同士を前記連続フレームごとに前記代表特徴について照合し、照合一致した前記連続フレームを含んでいる前記時系列物体像同士を同一移動物体のものと判定する照合部と、
を備えたことを特徴とする移動物体照合装置。
請求項１に記載の移動物体照合装置において、
前記代表特徴算出部は、前記連続フレームを構成する複数のフレームにおける前記移動物体の輝度特徴を平均して前記代表特徴を算出すること、を特徴とする移動物体照合装置。
請求項１又は請求項２に記載の移動物体照合装置において、
前記照合部は、前記時系列物体像間で前記移動物体の形状特徴が最も類似する前記連続フレームを選択し、選択した前記連続フレームを照合すること、を特徴とする移動物体照合装置。