JP7374632B2

JP7374632B2 - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP7374632B2
Application number: JP2019127603A
Authority: JP
Inventors: 真司山本; 誠人数井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2023-11-07
Anticipated expiration: 2039-07-09
Also published as: US11716448B2; JP2021012631A; US20210012149A1

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、映像解析技術の向上と共に、街中に設置した複数のカメラからの映像に対して、対象の特徴量を取得し、別のカメラで取得されている特徴量と照合することで、カメラ間で人物を同定するシステムが考案されている。
特許文献１では、各カメラで撮像した映像に対して画像認識技術を用いて移動体を抽出し、カメラ間で照合するシステムが提案されている。そして、このシステムでは、その移動体の移動経路を求め、制限エリアへの侵入有無を判定することで、監視員にアラーム表示することが可能である。

特許第４７５９９８８号公報

N.Dalal, B.Triggs, Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005. S.Paisitkriangkrai, Learning to rank in person re-identification with metric ensembles. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2015. D.Changsoo Lee, M.Hebert, T.Kanade, Geometric Reasoning for Single Image Structure Recovery, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2009. W.Chen, L.Cao, X.Chen, K.Huang, An equalised global graphical model-based approach for multi-camera object tracking, IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2016. B.Benfold, Stable multi-target tracking in real-time surveillance video, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2011. D. Powers, Evaluation: from precision, recall and f-measure to roc, informedness, markedness and correlation, Journal of Machine Learning Technologies, vol. 2, no. 1, pp. 37-63, 2011.

しかしながら、カメラ間の人物の同定精度は、各カメラの設置位置や画角に左右されたり、撮像範囲の照明に影響を受けたりすることが多い。例えば、あるカメラで撮像された人物の画像を用いて、別のカメラで人物を照合する場合、人物の向きや照明の当たり方によってアピアランスが大きく変動し、照合に失敗する場合がある。

本発明は、照合対象の物体の画像と、該画像を撮像した撮像装置に関する情報とを含むターゲット情報を設定する設定手段と、前記ターゲット情報により示される第１の撮像装置と撮像条件が類似する第２の撮像装置を、複数の撮像装置から選択する選択処理を実行する選択手段と、前記第２の撮像装置から取得された物体の画像と、前記ターゲット情報に含まれる前記照合対象の物体の画像とに基づいて照合処理を実行する照合手段と、前記ターゲット情報に含まれる前記照合対象の物体の画像と前記選択手段により前記複数の撮像装置から選択された前記第２の撮像装置から取得された物体の画像とが同一の物体の画像であると前記照合処理により判定された場合、該照合処理に用いた前記第２の撮像装置からの前記物体の画像および前記第２の撮像装置に関する情報に基づいて、前記ターゲット情報を更新する更新処理を実行する更新手段と、を有し、前記選択手段、前記照合手段、および、前記更新手段は、前記更新手段により前記ターゲット情報が更新された場合、更新された前記ターゲット情報に基づいて、前記選択処理、前記照合処理、および、前記更新処理を実行することを特徴とする。

本発明によれば、アピアランス変動時の照合間違いを少なくすることができる。

映像処理システムのシステム構成の一例を示す図である。情報処理装置のハードウェア構成の一例を示す図である。映像処理システムの機能構成の一例を示す図である。カメラ情報管理テーブルの一例を示す図である。物体情報管理テーブルの一例を示す図である。照合結果管理テーブルの一例を示す図である。照合結果を表示した一例を示す図である。視野構造情報を解析する処理の一例を示すフローチャートである。検出した物体の特徴量を抽出する処理の一例を示すフローチャートである。対象物体を照合する処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
実施形態１では、複数の撮像装置又は映像から得られる視野構成情報及び人物特徴量を解析し、照合が成功する確率(以下、照合確率という)の高いカメラ群を選択して照合する場合について説明する。
図１は、映像処理システムのシステム構成の一例を示す図である。ネットワークカメラである撮像装置１０１、映像解析サーバー装置１０２、データ解析サーバー装置１０３、ネットワークストレージ装置１０４、入力装置１０５、表示装置１０６がネットワーク回線であるＬＡＮ１０７によって接続されている。

撮像装置１０１は、ネットワークカメラ等の撮像装置である。映像解析サーバー装置１０２は、設置された複数のカメラ、この場合、撮像装置１０１で撮像された映像データを収集し、映像解析処理を行う。映像解析処理では、例えば、人物の顔領域から特徴量を抽出する。データ解析サーバー装置１０３は、映像解析サーバー装置１０２で抽出した特徴量及び撮像装置１０１に関するカメラパラメータを収集し、データ解析処理を行う。データ解析処理では、例えば、映像解析サーバー装置１０２で抽出した人物の特徴量を照合し、人物同定を行う。ネットワークストレージ装置１０４は、記録装置である。ネットワークストレージ装置１０４には、撮像装置１０１で撮像された画像、更に映像解析サーバー装置１０２で抽出された特徴量、データ解析サーバー装置１０３で人物照合された照合結果がＬＡＮ１０７を介して記録される。入力装置１０５は、マウス及びキーボード、タッチパネルのように、解析処理に関するユーザー操作を入力する。表示装置１０６は、解析データを、ユーザーインターフェースを通して表示する。例えば、表示装置１０６は、ネットワークストレージ装置１０４に記録された映像データ及びカメラのレイアウト情報に解析結果を重畳して表示する。

撮像装置１０１は、複数のカメラで構成されていればよく、２台以上であれば何台でもよい。更に映像解析サーバー装置１０２、データ解析サーバー装置１０３、ネットワークストレージ装置１０４、入力装置１０５、表示装置１０６がＬＡＮ１０７に接続される数は、図１で示した数に限定されるものではなく、アドレス等で識別できれば何台存在してもよい。
入力装置１０５及び表示装置１０６はＰＣ等を想定している。しかし、ＬＡＮ１０７への物理的な接続形態として有線だけでなく、例えばタブレット端末のように無線の場合もあり、プロトコル的に接続されていれば、物理的な形態はどのようなものであってもよい。

図２は、映像解析サーバー装置１０２、データ解析サーバー装置１０３、ネットワークストレージ装置１０４等の情報処理装置のハードウェア構成の一例を示す図である。図２に示されるように、情報処理装置は、ハードウェア構成として、ＣＰＵ１０と、記憶部２０と、通信部３０と、を含む。ＣＰＵ１０は、情報処理装置の全体を制御する。記憶部２０は、プログラム及びＣＰＵ１０がプログラムに基づき処理を実行する際に用いるデータ等を記憶する。通信部３０は、情報処理装置をＬＡＮ１０７等のネットワークに接続し、他の装置の通信を制御する。映像解析サーバー装置１０２のＣＰＵ１０が映像解析サーバー装置１０２の記憶部２０に記憶されたプログラムに基づき処理を実行することによって、後述する図３に示す映像解析サーバー装置１０２の機能が実現される。また、映像解析サーバー装置１０２のＣＰＵ１０が映像解析サーバー装置１０２の記憶部２０に記憶されたプログラムに基づき処理を実行することによって、後述する図８及び図９に示すフローチャートの処理が実現される。また、データ解析サーバー装置１０３のＣＰＵ１０がデータ解析サーバー装置１０３の記憶部２０に記憶されたプログラムに基づき処理を実行することによって、後述する図３に示すデータ解析サーバー装置１０３の機能が実現される。また、データ解析サーバー装置１０３のＣＰＵ１０がデータ解析サーバー装置１０３の記憶部２０に記憶されたプログラムに基づき処理を実行することによって、後述する図１０に示すフローチャートの処理が実現される。

図３は、映像処理システムの機能構成の一例を示す図である。映像処理システムは、機能構成として、画像取得部２０１と、物体検出部２０２と、特徴抽出部２０３と、視野構造解析部２０４と、ターゲット管理部２０５と、カメラ選択部２０６と、照合部２０７と、最適化部２０８と、カメラ情報管理部２０９と、物体情報管理部２１０と、照合結果管理部２１１と、入力部２１２と、表示部２１３と、を含む。
画像取得部２０１と、物体検出部２０２と、特徴抽出部２０３と、視野構造解析部２０４とは、映像解析サーバー装置１０２によって実現されるものである。ターゲット管理部２０５と、カメラ選択部２０６と、照合部２０７と、最適化部２０８とは、データ解析サーバー装置１０３によって実現されるものである。カメラ情報管理部２０９と、物体情報管理部２１０と、照合結果管理部２１１とは、ネットワークストレージ装置１０４によって実現されるものである。また、カメラ選択部２０６と、照合部２０７と、最適化部２０８とは、映像解析サーバー装置１０２上で実現されてもよく、機能の切り分けは図３の例に限るものではない。

画像取得部２０１は、ＬＡＮ１０７を介して、撮像装置１０１から所定の時間間隔で画像を順次取得し、画像を物体検出部２０２に提供する。なお、画像取得部２０１による画像の取得は、撮像装置１０１からの撮像画像の入力に限定されるものではない。例えば、ネットワークストレージ装置１０４からの映像データ（録画映像）の読み込み及びネットワークを介したストリーミング入力等で画像が入力されてもよい。
物体検出部２０２は、画像取得部２０１から取得した画像から対象を検出する検出処理を実施する。物体検出部２０２は、画像取得部２０１から取得したカメラＩＤと、検出した対象に関するＩＤ(以下、人物ＩＤという)と、人物領域を切り出した画像とをまとめて検出情報とし、特徴抽出部２０３に提供する。なお、画像からの対象の検出処理では、例えば、「N.Dalal, B.Triggs, Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005.」（非特許文献１）に記載された人の全身を検出する方法を利用することができる。

特徴抽出部２０３は、物体検出部２０２の検出情報から、検出対象の特徴量を抽出する特徴量抽出処理を実施する。特徴抽出部２０３は、検出情報に含まれるカメラＩＤ、人物ＩＤと抽出した特徴量と人物領域を切り出した画像とをまとめて物体情報とし、物体情報管理部２１０に提供する。なお、特徴抽出処理では、例えば、「S.Paisitkriangkrai, Learning to rank in person re-identification with metric ensembles. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2015.」（非特許文献２）に記載された全身の特徴算出方法を利用することができる。

視野構造解析部２０４は、画像取得部２０１の画像から、撮像装置１０１の設置高と俯角（以下、視野構造という）を解析する視野構造解析処理を実施する。視野構造解析部２０４は、画像取得部２０１のカメラＩＤと解析した視野構造とをまとめて視野構造情報とし、カメラ情報管理部２０９に提供する。なお、視野構造解析処理では、例えば、「D.Changsoo Lee, M.Hebert, T.Kanade, Geometric Reasoning for Single Image Structure Recovery, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2009.」（非特許文献３）に記載された画像中のエッジから３次元シーン構造を推定する方法を利用することができる。

ターゲット管理部２０５は、入力部２１２のクエリ情報から、照合の基準となる物体情報を取得して管理する。クエリ情報とは、照合対象とする人物を指定するための情報であり、カメラＩＤと人物ＩＤをまとめた情報である。ターゲット管理部２０５は、カメラＩＤと人物ＩＤと特徴量とサムネイルとをターゲット情報としてまとめ、カメラ選択部２０６と照合部２０７とに提供する。ターゲット管理部２０５は、照合の基準となる物体情報は、物体情報管理部２１０からクエリ情報に対応する物体情報を検索することで取得する。例えば、ターゲット管理部２０５は、図５の物体情報管理テーブルにおいて、カメラＩＤ＝１０１、人物ＩＤ＝２をクエリ情報として検索した場合、２行目の物体情報を抽出することができる。

ターゲット管理部２０５は、照合結果管理部２１１の照合結果から、照合スコアが更新閾値を超えた人物を特定し、物体情報管理部２１０の物体情報を用いて、ターゲット情報を更新する。更新閾値とは、照合スコアがその値を超えていれば、同一人物であると判断することを示す値である。例えば、閾値が５００に設定されていた場合、図６の照合結果管理テーブルにおいて、ターゲット情報がカメラＩＤ＝１０１、人物ＩＤ＝１であったとき、カメラＩＤ＝１０２、人物ＩＤ＝１とカメラＩＤ＝１０４、人物ＩＤ＝２の人物の照合スコアが閾値を越えていることがわかる。照合スコアが閾値を越えた照合結果が複数ある場合、ターゲット管理部２０５は、より照合スコアの高い照合結果を用いて、ターゲット情報の更新を実施する。ターゲット情報の更新は、カメラＩＤ、人物ＩＤ、特徴量を上書きすることで実施される。ターゲット情報を逐次更新することにより、照合の基準となる情報が段階的に変化するため、ターゲット情報を更新しない場合よりも、照合処理を網羅的に実施することができる。

カメラ選択部２０６は、ターゲット管理部２０５のターゲット情報とカメラ情報管理部２０９のカメラ情報から、照合対象とするカメラを選択する。又は、カメラ選択部２０６は、ターゲット管理部２０５のターゲット情報と照合結果管理部２１１の照合結果とから、照合対象とするカメラを選択する。カメラ選択部２０６は、選択したカメラに対応するカメラＩＤを、照合部２０７に提供する。

カメラ情報を用いて照合対象とするカメラを選択する処理の一例について説明する。カメラ情報Ｃ_iとは、カメラＩＤiに対して、視野構造情報のカメラ高Ｈ、俯角θ、カメラパラメータのＲＧＢゲイン（カメラの色温度の調整値）の値Ｇ_R、Ｇ_G、Ｇ_Bや、チルト値Ｔ、ズーム値Ｚ、Ｂｖ値Ｂｖをまとめ、Ｃ_i=[Ｈ,θ,Ｂ_R,Ｇ_G,Ｇ_B,Ｔ,Ｚ,Ｂｖ]としたものである。まず、カメラ選択部２０６は、ターゲット情報のカメラＩＤからターゲット情報に関するカメラ情報を特定する。次に、カメラ選択部２０６は、ターゲット情報に関するカメラ情報Ｃ_tと、その他のカメラ情報Ｃ_iを比較し、カメラ情報類似度Ｓ（Ｃ_t,Ｃ_i）を求める。カメラ情報類似度とは、比較したカメラの視野構造情報とカメラパラメータが似ている度合を表すものである。カメラ選択部２０６は、Ｓｕｂ（Ｃ_t,Ｃ_i）=|Ｃ_t－Ｃ_i|でベクトルの差を求め、これが小さいほど類似度が高くなる関数Ｓ（Ｃ_t,Ｃ_i）=ＭＡＸ－Ｓｕｂ（Ｃ_t,Ｃ_i）でカメラ情報類似度を求めることができる。類似度最大値ＭＸＡは、Ｓｕｂ（Ｃ_t,Ｃ_i）がとりうる最大の値で定義される。また、カメラ選択部２０６は、カメラ情報Ｃ_iの各要素について重みづけして差分を取ってもよい。そして、カメラ選択部２０６は、カメラ情報類似度が予め定めた閾値以上のカメラ群を選択したカメラの情報としてまとめる。カメラ情報の類似度を用いて、照合処理を実施するカメラを選択することで、似た画角で撮像された人物の特徴量を比較することができ、人物の向き及び照明の変動による照合間違いを軽減することができる。

次に、照合結果管理部２１１のカメラ間の人物照合結果を用いて、カメラを選択する方法の一例について説明する。まず、カメラ選択部２０６は、現在のターゲットが存在するカメラをターゲット情報に含まれるカメラＩＤから特定し、起点カメラとする。そして、カメラ選択部２０６は、起点カメラと起点カメラ以外のカメラとのペアについて、照合結果管理部２１１又は入力部２１２から教師付きの照合結果を取得する。教師付きの照合結果とは、図６の照合結果管理テーブルのように、２組の人物に対する照合スコアとそのペアが同一人物であるかを示す情報（以下、教師情報という）をまとめた情報である。教師情報は、正のとき同一人物であることを示し、負のとき同一人物でないことを示す。

例えば、図６において、カメラＩＤ＝１０１、人物ＩＤ＝１とカメラＩＤ＝１０２、人物ＩＤ＝１のペアは、照合スコア＝５１０、かつ、教師情報が負であることを示している。これに対し、カメラ選択部２０６は、予め定められた照合閾値を用いて、人物ペアが正しく照合されているかを判定する。例えば、照合閾値を５００に設定されていた場合、先ほどの人物ペアは、照合スコアが５１０であるため、照合結果は同一人物であることを示している。一方、教師情報は、同一人物でないことを示しているため、この人物ペアは照合に失敗していると判定される。次に、カメラ選択部２０６は、各人物ペアが正しく照合されたかの情報を基に、各カメラペアの照合確率を求める。照合確率の算出には、例えば、「D. Powers, Evaluation: from precision, recall and f-measure to roc, informedness, markedness and correlation, Journal of Machine Learning Technologies, vol. 2, no. 1, pp. 37-63, 2011.」（非特許文献６）に記載の適合率と再現率の調和平均を求める方法を用いることができる。そして、カメラ選択部２０６は、照合確率が予め定めた閾値以上のカメラ群を選択したカメラとしてまとめる。

照合部２０７は、ターゲット管理部２０５のターゲット情報と、物体情報管理部２１０の物体情報と、カメラ選択部２０６の選択されたカメラＩＤを用いて、特徴量を比較し、カメラ間で人物を照合する。照合部２０７は、ターゲット情報と物体情報のペアと照合スコアとをまとめて照合結果とし、照合結果管理部２１１に提供する。なお、特徴量の比較では、例えば、「S.Paisitkriangkrai, Learning to rank in person re-identification with metric ensembles. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2015.」（非特許文献２）に記載の全身の特徴比較方法を利用することができる。

最適化部２０８は、照合結果管理部２１１に蓄積されたカメラ間の人物照合結果を用いて、照合結果を修正する。最適化処理による修正を実施することによって、異なる人物が１つの人物に照合されるような矛盾を軽減したり、照合処理の順序によって生じる精度落ちの影響を軽減したりすることができる。最適化部２０８は、修正後の照合結果を照合結果管理部２１１に提供する。カメラ間の人物照合結果の最適化では、例えば、「D.Changsoo Lee, M.Hebert, T.Kanade, Geometric Reasoning for Single Image Structure Recovery, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2009.」（非特許文献３）に記載の人物間の関係と類似度をグラフとして定義し、人物が移動した経路をコスト最小化問題として求める方法を利用することができる。但し、最適化部２０８による修正処理は、必須の構成ではない。

カメラ情報管理部２０９は、撮像装置１０１のカメラパラメータと視野構造解析部２０４の視野構造情報を、カメラ情報管理テーブルに保存する。図４は、カメラ情報管理テーブルの一例を示す図である。保存したカメラ情報を改めて取得する際は、カメラ情報管理部２０９は、カメラＩＤをキー値として、対応するそれぞれのカメラ情報を取得する。

物体情報管理部２１０は、特徴抽出部２０３で求めた物体情報を物体情報管理テーブルに保存する。図５は、物体情報管理テーブルの一例を示す図である。保存した物体情報を改めて取得する際は、物体情報管理部２１０は、カメラＩＤと人物ＩＤの２つをキー値として、対応する特徴量及び各人物の人物領域を切り出した画像（以下、サムネイルという）の何れか又は双方を取得する。また、物体情報管理部２１０は、物体情報が更新された時刻を物体情報管理テーブルに保存し、取得できるようにしてもよい。

照合結果管理部２１１は、照合部２０７の照合結果を、照合結果管理テーブルに保存する。図６は、照合結果管理テーブルの一例を示す図である。保存した照合結果を改めて取得する際は、照合結果管理部２１１は、２組のカメラＩＤと人物ＩＤをキー値として、対応する照合スコア、サムネイル、教師情報を取得する。例えば、カメラＩＤ＝１０１かつ人物ＩＤ＝１の人物とカメラＩＤ＝１０２かつ人物ＩＤ＝１の人物の照合スコアは、５１０である。また、カメラＩＤ＝１０１かつ人物ＩＤ＝１の人物とカメラＩＤ＝１０４かつ人物ＩＤ＝２の人物の照合スコアは８２０であり、カメラＩＤ＝１０４かつ人物ＩＤ＝２の人物は、最もカメラＩＤ＝１０１かつ人物ＩＤ＝１の人物らしいことがわかる。照合結果管理部２１１は、入力部２１２の教師情報を照合管理テーブルに保存する。

入力部２１２は、入力装置１０５を介したユーザー入力の教師情報を照合結果管理部２１１に提供する。ユーザーは、表示部２１３が表示装置１０６に表示した、照合結果を確認し、人物ペアが同一人物であるかを目視で判断して、同じ人物である場合には正を、異なる人物である場合には負を教師情報として入力する。教師情報は、カメラ選択部２０６のカメラ選択処理に活用される。また、入力部２１２は、別システムで処理された照合処理結果と教師情報を入力とし、照合結果管理部２１１に提供してもよい。

表示部２１３は、照合結果管理部２１１の照合結果を表示装置１０６に表示することでユーザーに提供する。図７は、図６の照合結果を表示した一例を示す図である。表示画面６０１には、ターゲット情報６０２とこれに対する照合結果６０３が表示されている。この例では、照合結果の人物を照合スコア順に表示している。ターゲット情報６０２と照合結果６０３には、カメラＩＤ６０４と人物ＩＤ６０５とサムネイル６０６を表示している。また、照合結果には、照合スコア６０７と教師情報入力ボタン６０８を表示している。教師情報入力ボタン６０８は、ユーザーが教師情報を入力する際に利用される。例えば、カメラＩＤ＝１０４かつ人物ＩＤ＝２の下に位置する「一致」と記載されているボタンが選択されると、入力部２１２は、カメラＩＤ＝１０１かつ人物ＩＤ＝１の人物とカメラＩＤ＝１０４かつ人物ＩＤ＝２の照合結果について、正の教師情報を発行する。再度、ボタンを選択された場合、入力部２１２は、発行した教師情報を取り消す処理を実施する。図７の例では、選択状態を黒塗り、非選択状態を白塗りで表している。

物体検出部２０２の検出において、非特許文献１では、画像から勾配方向ヒストグラム特徴（Histograms of Oriented Gradients）を抽出し、抽出した特徴量をサポートベクターマシンで学習したモデルを用いて人か否かを識別するようにしているが、他の方法を用いてもよい。例えば、抽出する特徴量は勾配方向ヒストグラム特徴に限らず、Haar-like特徴、LBPH特徴（Local Binary Pattern Histogram）等を用いてもよいし、それらを組み合せてもよい。抽出した特徴量は人物の検出のために共用される。また、人を識別するモデルはサポートベクターマシンに限らず、アダブースト識別器、ランダム分類木（Randomized Tree）等を用いてもよい。人物の検出結果は、夫々画像中の人物を囲む矩形を表す４つの頂点の位置座標として出力される。また、位置座標と共に検出結果を表す尤度が出力される。尤度は抽出された特徴量と人物を識別するモデルとを照合した結果であり、モデルとの一致度を表す。また、対象の位置をより高精度に特定するために、非特許文献５の人体を追尾する方法を併用してもよい。検出処理により検出した人物を、後のフレームで追尾することによって、１枚の画像で検出できない人物の位置を特定し、対象の位置を高精度に特定することが可能となる。また、追尾の方法についても、対象の位置を特定する処理であればよく、記載の方法に限定されるものではない。例えば、追尾処理として、Mean-shift tracking、Kalman Filter、on-line boosting等を用いてもよい。

特徴抽出部２０３の特徴抽出は、対象の特徴を抽出する処理であり、特定の特徴量に限定されるものではなく、対象を表す情報を抽出する処理であればよい。例えば、特徴量の種類として、ＳＩＦＴ特徴、又は色ヒストグラム等を用いてもよいし、それらを組み合わせてもよい。

視野構造解析部２０４は、カメラから取得した画像及び付随するデプスセンサから取得した深度情報を基に、カメラの設置位置及び俯角を推定する処理であり、特定の推定方法に限定されるものではない。例えば、深度情報からカメラが撮像する範囲の環境を３次元で再構築し、再構築した３次元環境から床面を推定することで、カメラの設置位置を逆算する等の方法でもよい。

照合部２０７の照合は、特徴抽出部２０３で求めた特徴を比較する処理であり、特定の比較手段に限定されるものではない。例えば、比較方法として、Ｌ１距離、バタチャリヤ距離、交差法等を用いてもよい。
最適化部２０８の最適化は、蓄積した照合結果を基に照合結果を修正する処理であり、特定の最適化手段に限定されるものではない。例えば、最適化の手段として、大域拘束条件を付与したDynamic Programming等で全体最適照合解を求める方法を用いてもよい。更に、照合するカメラペアをMinimum Spanning Tree (MST)で設定し、MSTに重みを付けて解く方法等を用いてもよい。

図８、図９、図１０は実施形態１の処理の流れを示したものである。
まず、図８を用いて、視野構造情報を解析する流れを説明する。Ｓ３０１において、画像取得部２０１は、画像を取得する。Ｓ３０２において、視野構造解析部２０４は、視野構造を解析する。そして、Ｓ３０３において、カメラ情報管理部２０９は、視野構造情報を保存する。

次に、図９を用いて、検出した物体の特徴量を抽出する流れを説明する。Ｓ４０１において、画像取得部２０１は、画像を取得する。Ｓ４０２において、画像取得部２０１は、画像が取得できたか否かを判定する。画像取得部２０１は、画像が取得できた場合は、処理をＳ４０３へ進める。画像取得部２０１は、画像が取得できなかった場合は、物体の特徴量を抽出する処理を終了する。Ｓ４０３において、物体検出部２０２は、存在する複数の物体を検出する。Ｓ４０４において、物体検出部２０２は、物体が存在したか否かを判定する。物体検出部２０２は、物体が存在した場合は、処理をＳ４０５へ進める。物体検出部２０２は、物体が存在しなかった場合は、処理をＳ４０１へ戻す。Ｓ４０５において、特徴抽出部２０３は、各物体の特徴量を抽出する。Ｓ４０６において、特徴抽出部２０３は、抽出した特徴量を物体情報管理部２１０に保存する。Ｓ４０６の処理が終了すると、特徴抽出部２０３は、処理をＳ４０１へ戻す。

次に、図１０を用いて、対象物体を照合する流れを説明する。Ｓ５０１において、入力部２１２は、ユーザー指示のクエリ情報を取得する。クエリ情報とは、物体を示すサムネイル画像と物体が映ったカメラのカメラＩＤを示す。入力部２１２は、異常な行動を実施した対象を自動で検知してクエリ情報を発行したり、過去映像から対象を検索し、撮像された時間が最も現在時刻に近い検索結果をクエリ情報としたりしてもよい。

Ｓ５０２において、ターゲット管理部２０５は、入力されたクエリ情報をターゲット情報に設定する。Ｓ５０３において、ターゲット管理部２０５は、クエリ情報に対応する物体情報が存在するか否かを判定する。ターゲット管理部２０５は、クエリ情報に対応する物体情報が存在する場合は、処理をＳ５０４へ進める。ターゲット管理部２０５は、クエリ情報に対応する物体情報が存在しない場合、対象物体を照合する処理を終了する。

Ｓ５０４において、カメラ選択部２０６は、照合対象となるカメラを選択する。Ｓ５０５において、照合部２０７は、照合対象のカメラ群に対応する複数の物体情報を物体情報管理部２１０から取得する。Ｓ５０６において、照合部２０７は、ターゲット情報と物体情報とを照合する。Ｓ５０７において、照合部２０７は、照合結果を照合結果管理部２１１に保存する。

Ｓ５０８において、最適化部２０８は、最適化の実施の有無を判定する。最適化部２０８は、最適化を実施すると判定した場合は、処理をＳ５０９へ進める。最適化部２０８は、最適化を実施しないと判定した場合は、処理をＳ５１０へ進める。Ｓ５０９において、最適化部２０８は、最適化処理を実施する。最適化部２０８は、ターゲットの最終更新時刻からの経過時間が、所定の値以上であった場合に、最適化を実施すると判定する。また、最適化部２０８は、最適化のスケジュールを設け、定期的に最適化処理を実施してもよい。

Ｓ５１０において、ターゲット管理部２０５は、照合結果を基にクエリを更新するか判定する。ターゲット管理部２０５は、クエリを更新すると判定すると、処理をＳ５１１へ進める。ターゲット管理部２０５は、クエリを更新しないと判定すると、処理をＳ５１２へ進める。ターゲット管理部２０５は、照合スコアが所定の値以上であれば、更新と判定する。また、ターゲット管理部２０５は、ターゲットの最終更新時刻からの経過時間が、所定の値である場合、更新すると判定してもよい。Ｓ５１１において、ターゲット管理部２０５は、クエリ情報を更新する。

Ｓ５１２において、照合部２０７は、照合処理を継続するか否かを判定する。照合部２０７は、照合処理を継続すると判定すると、処理をＳ５０２へ戻す。照合部２０７は、照合処理を継続しないと判定すると、対象物体を照合する処理を終了する。照合部２０７は、照合処理を継続すると判定すると、処理をＳ５０２に戻す。

以上説明したように、映像処理システムは、複数の人物の照合結果と教師情報による複数のカメラペアの照合精度の統計情報、又は、カメラ情報、視野構造の類似度等から照合確率を求め、それに基づいて照合するカメラを選択するようにした。よって、アピアランス変動の少ないカメラから優先的に人物を照合することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

１０１撮像装置
１０２映像解析サーバー装置
１０３データ解析サーバー装置
１０４ネットワークストレージ装置
１０５入力装置
１０６表示装置

Claims

照合対象の物体の画像と、該画像を撮像した撮像装置に関する情報とを含むターゲット情報を設定する設定手段と、
前記ターゲット情報により示される第１の撮像装置と撮像条件が類似する第２の撮像装置を、複数の撮像装置から選択する選択処理を実行する選択手段と、
前記第２の撮像装置から取得された物体の画像と、前記ターゲット情報に含まれる前記照合対象の物体の画像とに基づいて照合処理を実行する照合手段と、
前記ターゲット情報に含まれる前記照合対象の物体の画像と前記選択手段により前記複数の撮像装置から選択された前記第２の撮像装置から取得された物体の画像とが同一の物体の画像であると前記照合処理により判定された場合、該照合処理に用いた前記第２の撮像装置からの前記物体の画像および前記第２の撮像装置に関する情報に基づいて、前記ターゲット情報を更新する更新処理を実行する更新手段と、
を有し、
前記選択手段、前記照合手段、および、前記更新手段は、前記更新手段により前記ターゲット情報が更新された場合、更新された前記ターゲット情報に基づいて、前記選択処理、前記照合処理、および、前記更新処理を実行する
ことを特徴とする情報処理装置。
前記選択手段は、前記第１の撮像装置と撮像条件と、前記複数の撮像装置のそれぞれの撮像条件と、の類似度が閾値以上となる前記第２の撮像装置を選択することを特徴とする請求項１に記載の情報処理装置。
前記選択手段は、前記撮像条件の複数の要素を並べたベクトル同士の差分に基づいて、前記類似度を算出することを特徴とする請求項２に記載の情報処理装置。
前記撮像条件には、前記複数の撮像装置それぞれの視野の情報が含まれることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
前記視野の情報は、前記複数の撮像装置それぞれの高さまたは俯角の情報を含むことを特徴とする請求項４に記載の情報処理装置。
前記撮像条件には、前記複数の撮像装置それぞれのパラメータが含まれることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
前記パラメータは、前記複数の撮像装置それぞれの撮像時のチルトまたはズームの値を含むことを特徴とする請求項６に記載の情報処理装置。
前記撮像条件には、前記複数の撮像装置それぞれの撮像時の照明条件が含まれることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記照合手段は、前記ターゲット情報に含まれる前記照合対象の物体の画像から抽出された特徴量と、前記第２の撮像装置から取得された物体の画像から抽出された特徴量と、に基づいて、人物を照合することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
前記複数の撮像装置のそれぞれから画像を取得する取得手段を更に有することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
前記第１の撮像装置により撮影された画像に含まれる物体と、前記複数の撮像装置のうち前記第１の撮像装置とは異なる他の撮像装置により撮影された画像に含まれる物体とが同一の物体であると判定されたか否かを示す教師情報を記録する記録手段を更に有し、
前記選択手段は、前記教師情報に基づいて、同一の物体であると判定された確率を示す照合確率が所定値以上である前記第２の撮像装置を選択することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
前記照合手段による前記照合処理の結果を示す情報を表示手段に出力する出力手段を更に有することを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
照合対象の物体の画像と、該画像を撮像した撮像装置に関する情報とを含むターゲット情報を設定する設定工程と、
前記ターゲット情報により示される第１の撮像装置と撮像条件が類似する第２の撮像装置を、複数の撮像装置から選択する選択処理を実行する選択工程と、
前記第２の撮像装置から取得された物体の画像と、前記ターゲット情報に含まれる前記照合対象の物体の画像とに基づいて照合処理を実行する照合工程と、
前記ターゲット情報に含まれる前記照合対象の物体の画像と前記選択工程により前記複数の撮像装置から選択された前記第２の撮像装置から取得された物体の画像とが同一の物体の画像であると前記照合処理により判定された場合、該照合処理に用いた前記第２の撮像装置からの前記物体の画像および前記第２の撮像装置に関する情報に基づいて、前記ターゲット情報を更新する更新処理を実行する更新工程と、
を含み、
前記選択工程、前記照合工程、および、前記更新工程は、前記更新工程により前記ターゲット情報が更新された場合、更新された前記ターゲット情報に基づいて、前記選択処理、前記照合処理、および、前記更新処理を実行する
ことを特徴とする情報処理方法。
コンピュータを、請求項１乃至１２の何れか１項に記載の情報処理装置として機能させるためのプログラム。