WO2006013765A1 - 人物判定装置及び人物検索追跡装置 - Google Patents

Abstract

　時間的に離れたフレーム間や異なるカメラで撮影したフレーム間においても、同一の判定をすることができる人物判定装置は、異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、画像シーケンス中に含まれる第１及び第２の人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを検出する歩行姿勢検出部２００と、前記第１の人物の歩行シーケンスから当該歩行シーケンスとは異なる時刻または位置における第１の人物の周期的な歩行運動における歩行姿勢の遷移状態を推定する歩行状態推定部１８０と、推定された前記第１の人物の歩行姿勢の遷移状態と、前記第２の人物の歩行姿勢の遷移状態との整合性を判定し、整合性を有する場合に、前記第１の人物と前記第２の人物とが同一であると判定する判定部１９０とを備える。                                                                                 

Description

人物判定装置及び人物検索追跡装置

技術分野

[0001] 本発明は、異なる画像シーケンスに含まれる人物同士が同一人物であるか否かを 判定する人物判定装置、及び、それを応用した人物の検索'追跡をする装置に関す る。

背景技術

[0002] 監視カメラ等で得られた画像シーケンスカゝら特定の人物を検索 ·追跡するためには

、人物の同定、つまり、異なる画像や画像シーケンスに写っている人物が同一人物で ある力否かを判定することが必要とされる。

[0003] 従来、画像シーケンスにおける人の検索 ·追跡を目的とした同一人物の判定方法と して、隣り合うフレーム間で近接した人物領域同士を対応付ける手法がある（例えば

、特許文献 1参照)。

[0004] 図 1A〜図 1Cは、特許文献 1に記載された人の検索 ·追跡方法を説明する図であ る。図 1A及び図 1Bは、同一人物を撮影した時間的に連続するフレーム画像を表し ている。図 1 Aに示されるフレーム画像 A10は、右方向に移動する人 Al lを写した画 像を示す。矩形 A12は、動きベクトルを用いて人体中で動きが小さい領域 (人物安定 領域)として検出された頭部及び胴体部分を含む外接矩形である。図 1Bに示される フレーム画像 A20においても、同様に、人 A21から検出した人物安定領域の外接矩 形 A22が破線で示されている。図 1Cに示されるフレーム画像 A30には、フレーム画 像 A10及び A20から得た人物安定領域の外接矩形 A12及び A22が重ねて同時に 表示されている。この従来の手法では、フレーム画像 A30に示されるように、外接矩 形 A12と外接矩形 A22との重なり、及び、両者の動きベクトルの連続性から、人 Al l と人 A21とを同一人物として対応付け、検索 ·追跡を行って！/、る。

特許文献 1 :特開 2003— 346159号公報 (第 3及び第 6頁、図 2及び図 9) 発明の開示

発明が解決しょうとする課題 [0005] し力しながら、上記従来の手法では、フレーム間で近接した位置力も人を検索して いくため、あるフレームで 1度人物検出を失敗すると、失敗したフレームの前のフレー ムの人物と後のフレームの人物との対応付けができなくなり、人の追跡ができなくなる t 、う t 、う課題を有して 、る。

[0006] また、同様の手法で、人領域の色や画像パタンを用いて異なるフレーム間の人を対 応付けることも考えられるが、離れたフレーム間では、人の移動による位置の変化が 大きくなることや、同一人物であっても、カメラに対する向き'姿勢 ·照明条件が変化 することで対応付けが困難になると 、う課題を有して 、る。

[0007] 従って、画像内に複数人が写って 、る場合に、検索 ·追跡した 、人が他の人や物 の陰に一時的にでも入ったり、照明変化などの影響で一時的に人の検出が正常に 行えないフレームが発生すると、もはや検索 ·追跡が継続できなくなるという問題があ る。

[0008] そこで、本発明は、上記従来の課題を解決するもので、時間的に離れたフレーム間 や異なるカメラで撮影したフレーム間においても、同一人物の判定をすることができる 人物判定装置、及び、その人物判定装置を利用して人物を検索'追跡する人物検索 追跡装置を提供することを目的とする。

課題を解決するための手段

[0009] 上記目的を達成するために、本発明に係る人物判定装置は、異なる画像シーケン スに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、第 1 の画像シーケンス、及び、前記第 1の画像シーケンスと異なる時刻又は異なるィメー ジセンサにて取得された第 2の画像シーケンスの入力を受け付ける画像シーケンス 入力手段と、入力された前記第 1及び第 2の画像シーケンスから、それぞれ、人物の 歩行状態を示す画像シーケンスである第 1及び第 2の歩行シーケンスを抽出する歩 行シーケンス抽出手段と、抽出された前記第 1及び第 2の歩行シーケンスから、それ ぞれ、人物の歩行についての周期的な動きを特定する情報である第 1及び第 2の歩 行情報を抽出する歩行情報抽出手段と、抽出された前記第 1及び第 2の歩行情報を 照合する歩行情報照合手段と、前記歩行情報照合手段による照合結果に基づ 、て 、前記第 1及び第 2の画像シーケンスに含まれる人物同士が同一である力否かを判 定する判定手段とを備えることを特徴とする。ここで、歩行情報としては、例えば、人 物の時間的又は空間的な歩行周期を示す情報であったり、人物の周期的な歩行動 作における時間的又は空間的な位相情報であったり、人物の周期的な歩行動作を 示す時間的又は空間的な位置情報であってもよい。

発明の効果

[0010] 本発明によれば、人の歩行力も得られる時空間周期情報、時空間位相情報及び時 空間位置情報を利用することで、離れたフレーム間や異なるセンサより得られる人物 画像シーケンスを対応付けることができる。

[0011] つまり、時間的に離れたフレーム間や異なるカメラで撮影したフレーム間においても

、同一人物の判定をすることができる人物判定装置、及び、その人物判定装置を利 用して人物を検索 ·追跡する人物検索追跡装置が実現される。

図面の簡単な説明

[0012] [図 1A]図 1Aは、従来の人物検索追跡装置における検出矩形の一例を示す図である

[図 1B]図 1Bは、従来の人物検索追跡装置における検出矩形の一例を示す図である

[図 1C]図 1Cは、従来の人物検索追跡装置における検出矩形の移動を示す図である

[図 2]図 2は、本発明の実施の形態 1における人物判定装置の構成を示す機能ブロッ ク図である。

[図 3]図 3は、本発明の実施の形態 1における画像シーケンスの一例を示す図である

[図 4A]図 4Aは、人の下半身画像のシーケンスの一例を示す図である。

[図 4B]図 4Bは、本発明の実施の形態 1における歩行シーケンスの一例を示す図で ある。

[図 4C]図 4Cは、歩行シーケンスの最小パタンの形状の一例を示す図である。

[図 5]本発明の実施の形態 1における時空間位相情報及び時空間位置情報を示す 図である。 [図 6A]図 6Aは、本発明の実施の形態 1における歩行軌跡の一例を示す図である。 圆 6B]図 6Bは、本発明の実施の形態 1における推定歩行状態の一例を示す図であ る。

圆 6C]図 6Cは、本発明の実施の形態 1における位相状態の異なる歩行状態の一例 を示す図である。

圆 7A]図 7Aは、本発明の実施の形態 1における歩行軌跡と脚間の変化との関係の 一例を示す図である。

圆 7B]図 7Bは、本発明の実施の形態 1における脚間変化の一例を示す図である。 圆 7C]図 7Cは、本発明の実施の形態 1における脚間変化の一例を示す図である。

[図 8A]図 8Aは、本発明の実施の形態 1における歩行シーケンスの表示の一例を示 す図である。

[図 8B]図 8Bは、本発明の実施の形態 1における歩行シーケンスの表示の一例を示 す図である。

[図 8C]図 8Cは、本発明の実施の形態 1における歩行シーケンスの表示の一例を示 す図である。

[図 9]図 9は、本発明の実施の形態 1における歩行シーケンスの検索 ·追跡を行った 結果の記憶書式の例を示す図である。

[図 10]図 10は、本発明の実施の形態 1における人物検索追跡装置の構成を示すブ ロック図である。

[図 11]図 11は、本発明の実施の形態 1における検索 '追跡の指示を行う画面の例を 示す図である。

[図 12]図 12は、本発明の実施の形態 1における照合手続きの一例を示すフローチヤ ートである。

[図 13A]図 13Aは、本発明の実施の形態 1における画像シーケンス 1の一例を示す 図である。

[図 13B]図 13Bは、本発明の実施の形態 1における画像シーケンス 2の一例を示す図 である。

[図 14]図 14は、本発明の実施の形態 1における歩行シーケンス抽出手続きの一例を 示すフローチャートである。

[図 15]図 15は、本発明の実施の形態 1における時空間周期情報 '時空間位相情報- 時空間位置情報の抽出手続きの一例を示すフローチャートである。

[図 16A]図 16Aは、本発明の実施の形態 1における特定歩行状態の検出の一例を示 す図である。

[図 16B]図 16Bは、本発明の実施の形態 1における特定歩行状態の検出テンプレー トの一例を示す図である。

[図 16C]図 16Cは、本発明の実施の形態 1における特定歩行状態の検出過程の一 例を示す図である。

[図 17]本発明の実施の形態 1における制御部による表示の一例を示す図である。

[図 18A]図 18Aは、本発明の実施の形態 2における画像シーケンス 1の一例を示す 図である。

[図 18B]図 18Bは、本発明の実施の形態 2における画像シーケンス 2の一例を示す図 である。

[図 19]図 19は、本発明の実施の形態 2における人物判定装置の構成を示す機能ブ ロック図である。

符号の説明

10、 15 人物判定装置

20 人物検索追跡装置

100 画像シーケンス入力部

110 歩行シーケンス抽出部

120 時空間周期情報抽出部

121 時空間位相情報抽出部

122 時空間位置情報抽出部

130 時空間周期情報記憶部

131 時空間位相情報記憶部

132 時空間位置情報記憶部

140 時空間周期照合部 141 時空間位相照合部

142 時空間差抽出部

150 —致判定部

160 制御部

170 時空間補正部

180 歩行状態推定部

190 判定部

200 歩行姿勢検出部

1010、 1020 カメラ（画像シーケンス入力部）

1030 時計

1040 記憶装置

1050 処理装置

1060 表示装置

1070 入力装置

1080 ポインティングデバイス

発明を実施するための最良の形態

本発明の実施の形態に係る人物判定装置は、異なる画像シーケンスに含まれる人 物同士が同一である力否かを判定する人物判定装置であって、第 1の画像シーケン ス、及び、前記第 1の画像シーケンスと異なる時刻又は異なるイメージセンサにて取 得された第 2の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、入力 された前記第 1及び第 2の画像シーケンスから、それぞれ、人物の歩行状態を示す 画像シーケンスである第 1及び第 2の歩行シーケンスを抽出する歩行シーケンス抽出 手段と、抽出された前記第 1及び第 2の歩行シーケンスから、それぞれ、人物の歩行 についての周期的な動きを特定する情報である第 1及び第 2の歩行情報を抽出する 歩行情報抽出手段と、抽出された前記第 1及び第 2の歩行情報を照合する歩行情報 照合手段と、前記歩行情報照合手段による照合結果に基づいて、前記第 1及び第 2 の画像シーケンスに含まれる人物同士が同一である力否かを判定する判定手段とを 備えることを特徴とする。ここで、歩行情報としては、例えば、人物の時間的又は空間 的な歩行周期を示す情報であったり、人物の周期的な歩行動作における時間的又 は空間的な位相情報であったり、人物の周期的な歩行動作を示す時間的又は空間 的な位置情報であってもよ 、。

[0015] これによつて、人物の歩行に着目して同一人物の判定が行われるので、フレーム間 で近接した位置にいる人物を同一人物と判定したり、色や画像パタンで同一人物を 判定する従来技術に比べ、検索'追跡したい人が他の人や物の陰に一時的にでも 入ったり、照明変化などの影響で一時的に人の検出が正常に行えない場合であって も、同一人物の判定が可能となる。つまり、本発明は、人が異なれば歩行周期や歩 幅等の歩行特性が異なること、及び、同一人物であれば一定の歩行特性で歩行する t 、うことを利用して 、るので、時間的 ·空間的な位置に依存することなく同一人物の 判定が可能であり、時間的に離れたフレーム間や異なるカメラで撮影したフレーム間 においても、同一人物の判定をすることができる。

[0016] また、前記歩行情報照合手段は、前記第 1及び第 2の歩行情報にそれぞれ含まれ る第 1及び第 2の時空間位相情報に基づいて、前記第 1及び第 2の画像シーケンス に含まれる人物が所定の歩行姿勢となる時刻または位置を比較することにより歩行 情報を照合するようにしてもよい。具体的には、前記歩行情報照合手段は、前記第 1 の歩行情報に含まれる第 1の時空間位相情報に基づいて、前記第 1の画像シーケン スに含まれる人物の、前記第 1の画像シーケンスと異なる時刻または位置における時 空間位相情報を推定する位相情報推定部と、前記位相情報推定手段で推定された 前記時空間位相情報および前記第 2の時空間位相情報に基づ 、て、前記第 1及び 第 2の画像シーケンスに含まれる人物が所定の歩行姿勢となる時刻または位置を比 較することにより歩行情報を照合する歩行情報照合部とを有する。

[0017] これによつて、時空間周期情報のみを用いて人物同士が同一人物であるか否かを 判定する場合に比べ、判定の精度を向上させることができる。例えば、歩幅及び歩速 が同一である二人の人物が同一の画像シーケンスに撮像されているような場合には 、これら二人の時空間周期情報は同一であるため、判別がつかない。しかし、時空間 周期情報が同一であったとしても、脚を交差するタイミングまたは位置が異なれば、 時空間位相情報が異なる。したがって、時空間位相情報を用いることにより、より正確 な判定を行なうことができるようになる。

[0018] なお、前記歩行情報照合手段は、前記第 1及び第 2の歩行情報にそれぞれ含まれ る第 1及び第 2の時空間位相情報に基づ 、て、同一の時刻または位置における前記 第 1及び第 2の画像シーケンスに含まれる人物の歩行姿勢を比較することにより歩行 情報を照合するようにしてもよい。具体的には、前記歩行情報照合手段は、前記第 1 の時空間歩行情報に含まれる位相情報に基づ!/、て、前記第 1の画像シーケンスに含 まれる人物の、前記第 1の画像シーケンスと異なる時刻または位置における時空間 位相情報を推定する位相情報推定部と、前記位相情報推定手段で推定された前記 時空間位相情報および前記第 2の時空間位相情報に基づ 、て、同一の時刻または 位置における前記第 1及び第 2の画像シーケンスに含まれる人物の歩行姿勢を比較 することにより歩行情報を照合する歩行情報照合部とを有する。

[0019] また、歩行シーケンスとしては、例えば、画像シーケンスそれぞれを時間軸に沿つ て切断した場合の切断面における画像であり、具体的には、画像シーケンスそれぞ れに含まれる人物の両脚を切断した切片を時間軸に並べて得られる画像等である。 これによつて、時間的及び空間的に、人物の歩行特性を抽出することが可能となる。

[0020] また、前記画像シーケンス入力手段は、同一場所を撮影する異なるイメージセンサ にて取得された第 1及び第 2の画像シーケンスの入力を受け付けてもよい。これによ つて、死角が存在する同一場所を異なる角度から撮影して得られる異なる画像シー ケンスにおける人物の同定が可能となる。

[0021] また、前記人物判定装置はさらに、前記第 1及び第 2の画像シーケンスそれぞれに おける画像上の位置と撮影場所における位置との対応関係を示す補正情報を予め 記憶する補正情報記憶手段と、前記補正情報記憶手段に記憶された補正情報に基 づいて、前記歩行情報抽出手段による前記第 1及び第 2の歩行情報の抽出における 時空間的な補正処理を行う補正手段とを備えてもよい。これによつて、異なるイメージ センサで取得される場合であっても、イメージセンサの配置位置や撮影方向等の相 違に基づく画像同士の不整合が補正されるので、異なるイメージセンサによる人物判 定が可能となる。

[0022] ここで、補正情報として、例えば、撮影場所における歩行面を一定距離の間隔で 2 次元的に区切る格子線を特定する情報であってもよ 、。

[0023] また、上記目的を達成するために、本発明に係る人物検索追跡装置は、人物が撮 像された画像シーケンスにおいて特定の人物を検索又は追跡する人物検索追跡装 置であって、上記人物判定装置と、前記人物判定装置が備える歩行情報照合手段 によって前記第 1及び第 2の歩行情報が一致すると照合された場合に、前記第 1及 び第 2の歩行情報に対応する前記第 1及び第 2の歩行シーケンス同士を対応づけて 記憶する歩行シーケンス記憶手段とを備えることを特徴とする。これによつて、歩行シ 一ケンスごとの同一性を予め解析して記憶しておき、人物の検索 ·追跡時に読み出し て利用することで、画像シーケンスを表示させながら人物の検索 ·追跡を行うことがで き、処理が高速化される。

[0024] また、上記目的を達成するために、本発明に係る人物検索追跡装置は、人物が撮 像された画像シーケンスにおいて特定の人物を検索又は追跡する人物検索追跡装 置であって、上記人物判定装置と、前記人物判定装置が備える画像シーケンス入力 手段が受け付ける前記第 1及び第 2の画像シーケンスを表示する表示手段とを備え 、前記表示手段は、前記第 1及び第 2の画像シーケンスに含まれる人物のうち、前記 人物判定装置が備える判定手段によって同一人物と判定された人物を他の人物と 区別するための強調表示をすることを特徴とする。これによつて、異なる画像が同時 に表示されている場合であっても強調表示によって同一人物を即座を知ることができ 、人物の検索 *追跡が容易となる。

[0025] 本発明の他の局面に係る人物判定装置は、異なる画像シーケンスに含まれる人物 同士が同一である力否かを判定する人物判定装置であって、画像シーケンス中に含 まれる第 1及び第 2の人物の歩行状態を示す画像シーケンスである第 1及び第 2の歩 行シーケンスを検出する歩行シーケンス検出手段と、前記第 1の人物の歩行シーケ ンスから当該歩行シーケンスとは異なる時刻または位置における第 1の人物の周期 的な歩行運動における歩行姿勢の遷移を示す情報を推定する歩行姿勢遷移推定 手段と、推定された前記第 1の人物の歩行姿勢の遷移を示す情報と、前記第 2の人 物の歩行姿勢の遷移を示す情報との整合性を判定し、整合性を有する場合に、前 記第 1の人物と前記第 2の人物とが同一であると判断する判断手段とを備える。 [0026] これによつて、人物の歩行に着目して同一人物の判定が行われるので、フレーム間 で近接した位置にいる人物を同一人物と判定したり、色や画像パタンで同一人物を 判定する従来技術に比べ、検索'追跡したい人が他の人や物の陰に一時的にでも 入ったり、照明変化などの影響で一時的に人の検出が正常に行えない場合であって も、同一人物の判定が可能となる。つまり、本発明は、人が異なれば歩行周期や歩 幅等の歩行特性が異なること、及び、同一人物であれば一定の歩行特性で歩行する t 、うことを利用して 、るので、時間的 ·空間的な位置に依存することなく同一人物の 判定が可能であり、時間的に離れたフレーム間や異なるカメラで撮影したフレーム間 においても、同一人物の判定をすることができる。

[0027] なお、本発明は、上記のような人物判定装置及び人物検索追跡装置として実現す ことができるだけでなぐ人物判定方法及び人物検索追跡方法として実現したり、そ の方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムが記 録されたコンピュータ読み取り可能な記録媒体として実現することもできる。

[0028] 以下、本発明の実施の形態について、図面を参照しながら説明する。

[0029] (実施の形態 1)

図 2は、本実施の形態における人物判定装置 10の構成を示す機能ブロック図であ る。この人物判定装置 10は、人物の歩行シーケンスの連続性に着目して、異なるシ 一ケンスに含まれる人物同士が同一人物である力否かを判定する装置であり、歩行 姿勢検出部 200、歩行状態推定部 180及び判定部 190から構成される。

[0030] 歩行姿勢検出部 200は、動画像中から第一の人の所定の歩行姿勢を含む歩行シ 一ケンスを検出する処理部である。

[0031] 歩行状態推定部 180は、第一の人の歩行シーケンスから、当該歩行シーケンスと は異なる時間または位置の第一の人の歩行状態 (歩行周期運動における姿勢の遷 移状態)を推定する処理部である。

[0032] 判定部 190は、第一の人の歩行状態と第二の人の歩行状態との整合性を判定し、 整合性を有する場合には第一の人と第二の人とが同一であると判定する処理部であ る。

[0033] 歩行姿勢検出部 200は、画像シーケンス入力部 100及び歩行シーケンス抽出部 1 10から構成される。

[0034] 歩行状態推定部 180は、時空間周期情報抽出部 120、時空間位相情報抽出部 12 1及び時空間位置情報抽出部 122から構成される。

[0035] 判定部 190は、時空間周期情報記憶部 130、時空間位相情報記憶部 131、時空 間位置情報記憶部 132、時空間周期照合部 140、時空間位相照合部 141、時空間 差抽出部 142、一致判定部 150及び制御部 160から構成される。

[0036] ここで、歩行姿勢検出部 200は、画像シーケンス中に含まれる人物の歩行状態を 示す画像シーケンスである歩行シーケンスを検出する歩行シーケンス検出手段の一 例である。また、歩行状態推定部 180は、歩行シーケンスから当該歩行シーケンスと は異なる時刻または位置における人物の周期的な歩行運動における歩行姿勢の遷 移を示す情報を推定する歩行姿勢遷移推定手段の一例である。さらに、判定部 190 は、異なる時刻または異なるイメージセンサにて撮像された二人の人物の歩行姿勢 の遷移を示す情報の整合性を判定し、二人の人物が同一人物カゝ否かを判断する判 断手段の一例である。なお、「歩行姿勢の遷移を示す情報」とは、後述する周期情報 および位相情報を含む情報である。

[0037] 画像シーケンス入力部 100は、異なる時刻または異なるイメージセンサにて取得さ れた第 1及び第 2の画像シーケンスの入力を受け付ける画像シーケンス入力手段の 一例である。

[0038] 歩行シーケンス抽出部 110は、第 1及び第 2の画像シーケンスから、それぞれ、人 物の歩行状態を示す画像シーケンスである第 1及び第 2の歩行シーケンスを抽出す る歩行シーケンス抽出手段の一例である。

[0039] 時空間位相情報抽出部 121、時空間位置情報抽出部 122及び時空間周期情報 抽出部 120は、第 1及び第 2の歩行シーケンスから、それぞれ、人物の歩行について の周期的な動きを特定する情報である第 1及び第 2の歩行情報を抽出する歩行情報 抽出手段の一例である。

[0040] 時空間位相照合部 141、時空間差抽出部 142及び時空間周期照合部 140は、抽 出された第 1及び第 2の歩行情報を照合する歩行情報照合手段の一例である。

[0041] 一致判定部 150は、照合結果に基づいて、第 1及び第 2の画像シーケンスに含ま れる人物同士が同一人物であるか否かを判定する判定手段の一例である。

[0042] 画像シーケンス入力部 100は、カメラや画像記録装置力も画像シーケンスを取得 する信号インターフェース等である。「画像シーケンス」とは、図 3のように撮影したフ レーム画像を時間順に並べた配列である。

[0043] 歩行シーケンス抽出部 110は、画像シーケンス入力部 100が取得した画像シーケ ンスカも歩行シーケンスを抽出する処理部である。「歩行シーケンス」とは、各フレー ム画像中の歩行動作領域力も得た歩行状態のシーケンスである。図 4Bに歩行シー ケンスの例を示す。図 4Aは各フレームでの人の下半身の領域を抽出して時間順に 並べた配列である。図 4Bは図 4Aにお!/、て破線 B10の位置で各フレーム画像の切 片を時間順に並べたものである。図 4Bの黒色の帯は足先の移動軌跡 (人物の両脚 を切断する切片における画像を時間軸に並べたもの）を示している。各歩行シーケン スの具体的算出方法は後述する。

[0044] 時空間周期情報抽出部 120は、歩行シーケンス抽出部 110が抽出した歩行シーケ ンス力 歩行の時空間的変化の周期情報を抽出する処理部である。「周期情報」とは 、一定時間'一定距離あたりの歩数や、足や手の特定部位の時空間的な位置変化に 対して周波数分析を行って得た結果や、時空間的に周期的に繰り返される最小バタ ンの形状などを意味する。時空間周期情報の例を図 4Bで説明する。図 4Bにおいて 、時間軸及び画像の横軸 (空間軸に対応する）において足先が交差する時空間的点 に、黒三角印ならびに白三角印を表示している。時空間周期情報は隣り合う黒三角 印同士の空間的間隔ならびに隣あう白三角印同士の時間的間隔に基づいて得る一 定時間'一定距離あたりの歩数が時空間周期情報の例となる。また、隣り合う黒三角 位置の破線と隣り合う白三角位置の破線とに囲まれる歩行パタンの形状（図 4C)その ものを用いてもよいし、図 4Bの曲線 B11のように歩幅の時間的な変化や曲線 B12の ように歩幅の空間的変化に対して周波数分析を行って得た周波数特性 (特定周波数 帯のスペクトル強度など)などを用いることができる。

[0045] 時空間周期情報記憶部 130は、時空間周期情報抽出部 120で抽出された時空間 周期情報を、検出した時間や画像中の位置などと共に記憶しておくメモリ等である。 時空間周期照合部 140は、時空間周期情報抽出部 120で抽出された時空間周期情 報と、時空間周期情報記憶部 130に記憶されている時空間周期情報との照合を行う 処理部である。

[0046] 時空間位相情報抽出部 121は、歩行シーケンス抽出部 110が抽出した歩行シーケ ンス力 歩行の時空間的変化の位相情報を抽出する処理部である。「位相情報」とは 、周期運動である歩行運動中の遷移状態 (所定の歩行姿勢をとる位置や時間、また は特定の位置や時間における歩行姿勢など)を意味する。例えば、同じ時空間周期 を持った歩行シーケンスでも、どの時空間位置で足を地面にっ 、た (所定の歩行姿 勢)かという情報が時空間位相情報となる。また、同一時間または同一位置で比較し た 2つの歩行シーケンス中の歩行姿勢の差異も時空間位相情報となる。時空間位相 情報の例を図 5、図 6A〜図 6C及び図 7A〜図 7Cを用いて説明する。図 5は図 4Bと 同様に足位置の歩行軌跡を示しているが、時空間周期が同じで時空間位相が異な る 2名の歩行軌跡 A010、 A011を示している。歩行軌跡 A010と A011では歩幅や 歩行周期は同じであるが、足が地面についた位置や時間、又は両足が交差する位 置や時間が異なっている。また図 6Aは障害物 1800 (斜線の領域)の存在により不連 続に検出されている 2つの歩行軌跡 (第一の人の歩行軌跡 1802 (破線）と第二の人 の歩行軌跡 1801 (実線) )を表して 、る。ここでそれぞれの歩行軌跡から位相情報を 検出する場合を考える。位相情報とは、上述したように、所定の歩行姿勢をとる位置 や時間、または所定の位置や時間における歩行姿勢などであり、第二の人の歩行軌 跡 1801及び第一の人の歩行軌跡 1802のように異なる時間や位置における歩行軌 跡については、同一の基準に基づいて位相情報が求められる。この場合、時空間位 相情報抽出部 121は、第一の人の歩行情報 1802の所定の姿勢 (足の交差など)の 位置 ·時間やその周期性力 撮影された時間や位置以外での歩行姿勢を推定する（ 図 6Bの破線 1803)。同様に、図 6Cでは、時空間位相情報抽出部 121は、障害物 1 800の右側の歩行軌跡 1804 (破線)から他の時間'位置での歩行姿勢 (破線 1805) を推定する。

[0047] 次に、時空間位相情報抽出部 121は、所定の歩行姿勢となる時間や位置を求める 。ここでは所定の姿勢として脚が交差した状態 (脚間の大きさが極小になった状態)を 考える。図 7Aに脚間の時間変化または位置変化を示す。脚間は歩行軌跡において 両脚の軌跡の幅として画像より求めることができる。ここで、時空間位相情報抽出部 1 21は、図 7Bのように第一の人の脚間情報 1902a (破線)から障害物等 1900a (斜線 領域)の存在により撮影されていない時間や位置における脚間の状態 (姿勢状態） 1 903a (破線)を推定する。ここで、時空間位相情報抽出部 121は、撮影されている領 域として時間的に最初あるいは位置として画像の左側で、最初に所定の姿勢となる 時間または位置を位相情報として求める。図 7Bでは第一の人の推定歩行状態 190 3aに対しては時間または位置 1905が、第二の人の歩行状態 1901aに対しては時 間または位置 1906が、位相情報として得られる。同様に図 7Cでは歩行状態 1908a (破線）に対して推定した歩行状態 1909a (破線）に対して位相情報 1910が得られ、 歩行状態 1907a (実線）に対しては位相情報 1911が得られる。

[0048] また、位相情報として所定の時間や位置における姿勢を用いる場合も同様に、時 空間位相情報抽出部 121は、所定の時間や位置における歩行状態または推定歩行 状態を求める。図 7Bの場合、時空間位相情報抽出部 121は、所定の時間または位 置 1904における脚間（歩行姿勢)を求める。ここで第一の人に対する位相情報は推 定歩行状態 1903a (破線)の所定の時間または位置 1904における値とし、第二の人 に対する位相情報は歩行状態 1901a (実線)の所定の時間または位置 1904におけ る値とする。同様に、図 7Cでは歩行状態 1908aに基づいて推定された推定歩行状 態 1909aの所定の時間または位置 1904における値、歩行状態 1907aの所定の時 間または位置 1904における値がそれぞれ第一の人および第二の人の位相情報とな る。

[0049] 上述の説明では、第一の人のみについて推定姿勢を用いたが、第二の人につい ても推定姿勢を求め、第一の人および第二の人ともに推定姿勢から位相情報を求め るようにしてもよい。例えば図 6A〜図 6Cや図 7A〜図 7Cにおける障害物の位置や 図示している範囲外などを共通の位置として、当該共通の位置における推定状態を 求めた後、位相情報を求めるようにしてもよい。

[0050] なお、所定の姿勢としては他の状態を用いてもよぐ脚間が極大になる位置や脚間 の変化が極大になる状態などを用いてもよい。

[0051] 時空間位相情報記憶部 131は、時空間位相情報抽出部 121が抽出した時空間位 相情報を、検出した時間や画像中の位置などと共に記憶しておくメモリ等である。時 空間位相照合部 141は、時空間位相情報抽出部 121で抽出された時空間位相情報 と、時空間位相情報記憶部 131に記憶されている時空間位相情報との照合を行う処 理部である。

[0052] 時空間位置情報抽出部 122は、歩行シーケンス抽出部 110が抽出した歩行シーケ ンスについて、その歩行シーケンスが抽出された時空間的位置を抽出し、時空間位 置情報として生成する処理部である。「時空間位置情報」とは、歩行シーケンスの検 出を行った時間や場所を意味する。時空間位置情報の例を図 5を用いて説明する。 図 5では 2つの歩行軌跡それぞれについて時間的に最初に両足が交差した時間-空 間的位置を破線の十字で表している。このように、絶対的な時間的'空間的歩行の位 置を示す情報が時空間位置情報である。

[0053] 時空間位置情報記憶部 132は、時空間位置情報抽出部 122から生成された時空 間位置情報を記憶しておくメモリ等である。時空間差抽出部 142は、時空間位置情 報抽出部 122で生成された時空間位置情報と、時空間位置情報記憶部 132に記憶 されている時空間位置情報との差異を求める処理部である。

[0054] 一致判定部 150は、時空間周期照合部 140及び時空間位相照合部 141及び時空 間差抽出部 142の結果に基づいて、異なる歩行シーケンス同士の一致不一致を判 定する処理部である。つまり、一致判定部 150は、同一人物の歩行シーケンスである か否かを判定する。一致不一致の判定方法の例を時空間周期情報について説明す ると次の通りである。つまり、時空間周期情報として一定時間内の歩数 X及び一定距 離内の歩数 yが用いられる場合、照合の対象となる歩行シーケンスの一方力 得られ た X, yの組のベクトル Zl = (xl, yl)と他方のシーケンスから得られるベクトル Z2= (x 2, y2)との差 I Zl— Z2 | < θ ( Θはあらかじめ定めたしきい値）や、 | xl— x2 | < θ χ, I yl -y2 | < 0 y( 0 x, 0 yはあら力じめ定めたしきい値）を共に満たす場合に 、一致判定部 150は、 2つの歩行シーケンスが一致すると判定する。つまり、一致判 定部 150は、同一人物の歩行シーケンスであると判定する。

[0055] 一致判定部 150は、時空間位相情報や時空間位置情報についても時空間周期情 報と同様に、判定を行い、全ての項目で一致した場合や、指定した数の項目が一致 した場合に、 2つの歩行シーケンスが一致すると判断することができる。なお、判定手 法は上記に限らず、一般的にパタン認識などに用いられる手法を適用することが可 能である。

[0056] 例えば、時空間位相情報を用いる場合、動画像中の第一の人の歩行シーケンスか ら得た時間位相情報 tpl及び空間位相情報 (位置の位相情報) splと、これらの位相 情報が得られる時間または位置とは異なる時間または位置における第二の人の歩行 シーケンスから得られる時間位相情報 tp2及び空間位相情報 (位置の位相情報） sp2 とが比較される。この場合、一致判定部 150は、 I tpl— tp2 I < 0 t ( 0 tはあらかじ め定めたしきい値)及び I spl— sp2 I < 0 s ( 0 tはあらかじめ定めたしきい値）のど ちらか一方が満たされる場合、または両方が同時に満たされる場合に、第一の人と第 二の人とが同一であると判定する。例えば、 Θ tや Θ sを適切に設定しておくことで、 図 6Bの場合には、一致判定部 150は、歩行状態 1801と歩行状態 1803の時空間 位相情報が一致し、第一の人と第二の人とが同一であると判定する。かつ、図 6Cの 場合には、一致判定部 150は、歩行状態 1806と歩行状態 1805とは時空間位相情 報が異なり、第一の人と第二の人とが異なると判定する。同様に、一致判定部 150は 、図 7Bの歩行状態 1901aと歩行状態 1903aとは時空間位相情報が一致し、第一の 人と第二の人とが同一であると判定する。かつ、一致判定部 150は、図 7Cの歩行状 態 1907aと歩行状態 1909aとは時空間位相情報が異なり、第一の人と第二の人とが 異なると判定する。

[0057] 制御部 160は、一致判定部 150による一致判定の結果に基づいた制御として、照 合に用いた画像シーケンスの表示等を行う処理部である。図 8A〜図 8Cに表示の例 を示す。図 8Aは、比較した 2つの画像シーケンスを人の領域を拡大して左右に表示 し、各画像シーケンスの撮影時刻と場所とを合せて表示した例を示している。図 8Bは 、図 8Aと同様の結果を人の移動軌跡（図中の矢印）と共に表示した例を示している。 なお、これらの図では、画像シーケンスに合せて撮影した時刻や場所が文字で表示 されているが、場所については地図を表示した上で、撮影位置や移動軌跡を重畳し て表示するよう〖こしてもよい。図 8Cは、複数の人が画像内に含まれる場合に、一致し た人の領域を破線の矩形を用いて強調表示した例を示している。なお、制御部 160 による制御の内容としては、表示以外にも、異なる歩行シーケンスが一致したという歩 行シーケンス同士の接続情報を外部の記憶装置 (位置情報記憶装置）に記憶してお くことなどでもよい。このように、異なる歩行シーケンスが一致する一致しないの対応 関係を記憶しておくことで、人の歩行画像の検索や追跡を行う際に利用することがで きる。

[0058] 上記のような手続きで歩行シーケンスの検索 ·追跡を行った結果の記憶書式の例を 図 9に示す。図 9は、 3つの歩行シーケンスの情報を示しており、 1つの歩行シーケン スについて 5つの項目の情報が含まれる。 5つの項目はそれぞれシーケンス番号、時 空間周期情報、時空間位相情報、時空間位置情報、一致シーケンス番号である。シ 一ケンス番号は撮影時間や撮影カメラの異なる個々の歩行シーケンスに個々に付与 する ID番号である。時空間周期情報は一定時間内の歩数 X及び一定距離内の歩数 yを (x、 y)と表している。時空間位相情報は基準となる時間や空間位置を過ぎてから 最初に両足を交差した時間'空間位置までの移動量を、一歩分のシーケンスにかか る時間と移動量とをそれぞれ 1. 0と 1. 0とした時の割合で表現したものである。例え ばシーケンス番号 1の場合、基準となる時間から 0. 5歩分の時間で足を交差し、基準 となる位置から 0. 1歩分の距離で足を交差して 、ることを意味する。

[0059] 時空間位置情報は最初に歩行シーケンスを検出した時刻と場所とを示している。場 所にっ ヽては画像上での縦横方向の画素座標値を示して 、る。

[0060] 一致シーケンス番号は検索.追跡によって異なる歩行シーケンスに対して一致する と判定された歩行シーケンスのシーケンス番号を示して 、る。一致するシーケンスが ない場合には 0とし、複数ある場合には複数個併記するようにしてもよい。一度検索' 追跡した結果を保存しておくことで、同じ検索 ·追跡を再度行う場合に、前記情報を 参照することで、一致判定を省略することが可能となる。

[0061] なお、シーケンス番号は撮影された画像の参照先 (ファイル名や格納アドレスなど） と対応付けられていてもよい。時空間位置情報における空間的な場所の情報は、図 9に示される様に、専用に設けた座標系で表現してもよいし、緯度経度などの汎用的 な座標系で表現してもよ ヽ。

[0062] 図 10は、上記人物判定装置 10を応用した人物検索追跡装置 20の構成を示すブ ロック図である。この人物検索追跡装置 20は、本実施の形態における画像シーケン ス力 人を検索 ·追跡する方法を実現するシステム又は装置の具体例であり、カメラ 1 010及び 1020、時計 1030、記憶装置 1040、処理装置 1050、表示装置 1060、入 力部 1070並びにポインティングデバイス 1080から構成される。

[0063] カメラ 1010及び 1020は、画像シーケンス入力部 100の一例であり、人 1000を含 む画像を撮影する。時計 1030は、撮影時刻を得るためのタイマーである。記憶装置 1040は、カメラ 1010及び 1020で撮影した画像、時計 1030から得られる撮影時刻 並びに人の検索'追跡結果等を記憶するハードディスク等である。処理装置 1050は 、カメラ 1010及び 1020又は記憶装置 1040から得られる画像シーケンス力 人を検 索 ·追跡する処理を行う装置であり、図 2に示される人物判定装置 10に相当する。表 示装置 1060は、処理装置 1050の処理結果を表示するディスプレイであり、入力部 1070は、検索'追跡の指示に用いるキーボードであり、ポインティングデバイス 1080 は、検索'追跡の指示に用いるマウス等である。図 11は、ポインティングの例を示す。 検索や追跡を行う場合には図 11のように画像上で対象となる人 1091をポインタ 109 0を用いて指定し、人 1091と同じ歩行シーケンスを検索 ·追跡する。

[0064] 各構成要素は、通信路を通じて接続されて!ヽる。通信路は有線であっても、無線で あってもよぐ専用回線、公衆回線を含んでいてもよい。

[0065] 次に、以上のように構成された本実施の形態における人物判定装置 10の動作に ついて、図 12のフローチャートを用いて説明する。なお、本実施の形態では単一の カメラで異なる時間に得た画像シーケンス 2から画像シーケンス 1に含まれる人の検 索 ·追跡を行う。図 13Aおよび図 13Bに画像シーケンス 1及び画像シーケンス 2の例 をそれぞれ示す。図 13Aは、画像シーケンス 1を示し、障害物 501の左側を人 502が 右方向に歩いているシーケンスを示している。一方、図 13Bは、画像シーケンス 2を 示し、画像シーケンス 1と同じ場所を同じカメラで 10秒後に撮影した画像シーケンス を示して 、る。画像シーケンス 2では障害物 501と右方向に歩 、て 、る人 503と人 50 4が含まれている。

[0066] 最初に画像シーケンス入力部 100が画像シーケンス 1を入力する（ステップ S401) 。次に画像シーケンス 1から歩行シーケンス (歩行シーケンス 1)を抽出する (ステップ S402)。歩行シーケンスとしては図 4Aのように人の下半身の領域のシーケンスを用 いる場合を説明する。

[0067] 歩行シーケンス抽出部 110が画像シーケンス力も歩行シーケンスを抽出する例を 図 14を用いて説明する。最初に、歩行シーケンス抽出部 110は、画像シーケンスか らフレーム画像を 1枚読み込む (ステップ S601)。読み込むフレーム画像は未読のフ レーム画像の中から時間順に行う。次に、歩行シーケンス抽出部 110は、読み込ん だフレーム画像の中から人領域を検出する (ステップ S602)。人領域の検出手法は 一般的に動物体の検出に用いられるフレーム間差分法や人が写っていない背景画 像をあらかじめ用意しておき、前記背景画像との差分を算出する背景差分法を用い る。また、静止画の場合でもあら力じめ人のテンプレート画像を用意しておき、テンプ レート画像との類似度計算 (単純な差分の計算や正規化相関演算などのテンプレー トマッチング法)で類似度の高い領域を抽出することで人領域の検出が可能である。 次に、歩行シーケンス抽出部 110は、前記人領域の画像から歩行状態を表す情報を 抽出する (ステップ S603)。歩行状態を表す情報としては、図 4Bの足先の部位の軌 跡情報のように歩行状態の時間推移を表す情報である。

[0068] なお、ステップ S602とステップ S603との処理は一連の処理として同時に行っても ょ 、し、ステップ S602の処理結果をそのままステップ S603の処理結果としてもよ 、。 また、ステップ S602のように明示的に人の領域全体を検出せずに、直接、ステップ S 603での出力が得られるように処理を行ってもよい。例えば、上記の下半身の画像で あれば、下半身画像をテンプレートとしたテンプレートマッチング手法を用いて直接 的に歩行状態情報を取得してもよい。最後に、歩行シーケンス抽出部 110は、現在 読み込んだフレーム画像が最後のフレームか否かの判断を行 、 (ステップ S604)、 最後のフレームであれば歩行シーケンス抽出処理を終了し、フレーム画像が残って V、る場合にはステップ S601に戻る。

[0069] 次に、ステップ S402で得た歩行シーケンス 1から、時空間周期情報抽出部 120、 時空間位相情報抽出部 121及び時空間位置情報抽出部 122は、それぞれ、時空間 周期情報、時空間位相情報及び時空間位置情報を抽出する (ステップ S403)。

[0070] 図 4Bに示される歩行シーケンスから、時空間周期情報と時空間位相情報と時空間 位置情報を抽出する方法の一例を図 15と図 16A〜図 16Cを用いて説明する。

[0071] 最初に、時空間周期情報抽出部 120等は、歩行シーケンスの情報から、特定歩行 状態の位置を検出する (ステップ S701)。特定歩行状態の説明を図 16A〜図 16Cを 用 、て行う。図 16 Aは図 4Bの歩行シーケンスに対して特定歩行状態位置の検出を 行った結果を示している。図 16Aの 2本の互いに交差する黒色の波型の帯は足先の 時間的な移動軌跡を表している。ここで横軸は画像の横方向の位置を表し、縦軸は 時間を表す。ここで、 2本の互いに交差する位置すなわち両足が交差する状態の位 置（図の破線位置)を特定歩行状態位置とする。ここで、交差する位置の検出は図 1 6Bのような交差部分の形状パタンをあら力じめ用意しておき、テンプレートマツチン グゃ相関演算を行うことで、検出することが可能である。図 16Cに検出過程の一例を 示す。図 16Cでは歩行軌跡 800に対して検出テンプレート 801の位置をずらしなが ら形状の一致度合 、を算出して 、る。マッチングによる一致度合 、があらかじめ定め た値以上であれば、特定歩行状態であるとする。このようにして、図 16Aの破線の交 点位置が求められる。

[0072] なお、特定歩行状態としては足の交差時に限らず、足を最も広げた状態としてもよ い。足を最も広げた状態は図 16Aの歩行軌跡上では交差する帯の間隔が最も広い 位置（図の一点鎖線)の位置に相当する。特定歩行状態を全て検出するまでステツ プ S701を行い、その後ステップ S703に進む（ステップ S702)。

[0073] 次に、時空間周期情報抽出部 120は、検出した特定歩行状態位置同士の間隔を 算出することで、時空間周期情報を生成する (ステップ S703)。周期情報については 、別途、フーリエ解析やウェーブレット解析や自己相関法を用いて特定歩行状態の 位置を得ずとも算出してもよい。この場合、図 16Aの波型の帯の位置の時間的変化 や、 2本の帯の幅の時空間的変化に対してフーリエ変換やウェーブレット変換や自己 相関法を適用すればよい。また、時空間周期情報としては図 16Aの周期的な歩行の 軌跡の最小単位の形状そのものをパタンとして利用してもよい。この場合、図 16Aの 縦横の破線で囲まれた範囲の 2本の帯の波形状 1つ分をパタンとして持つ。

[0074] 次に、時空間位相情報抽出部 121は、時空間位相情報を算出する (ステップ S704 )。時空間位相情報は基準となる時間や空間位置を過ぎて力 最初に両足を交差し た (特定歩行状態が出現する）時間'空間位置までの時空間的移動量を表している。 時空間位相情報として所定の姿勢になる時間または位置を用いる場合、図 7Bの例 では脚間の間が極小になる時間または位置とし、 1902aの歩行に対しては推定歩行 状態 1903aからもとめた 1905の値が時間位相情報または空間位相情報となり、 190 laの歩行に対しては 1906の値が時間位相情報または空間位相情報となる。また、 時空間位相情報として所定の時間また位置における姿勢を用いる場合、 1902aの歩 行に対しては推定歩行状態 1903aの 1904における値 (脚間の値）が時間位相情報 または空間位相情報となり、 190 laの歩行に対しては 1904における値が時間位相 情報または空間位相情報となる。

[0075] また、図 5の例で説明すると、時間軸の基準を歩行軌跡図の上端とした場合、上端 から最初に両足を交差する位置 (破線の交差位置)までの時間が時間の位相情報と なり、空間位置の基準を歩行軌跡図の縦線 A013とすると、縦線 A013より右側で最 も縦線 A013に近い両足を交差した位置と縦線 A013との距離が空間の位相情報と なる。移動量の表現方法は上記に限らず、一歩分のシーケンスに力かる時間と移動 量を基準として相対的な大きさで表現してもよ 、。

[0076] なお、時空間位相情報は画像内で前記特定歩行状態が出現する位相情報を意味 し、同じ時空間周期の歩行シーケンスであっても、時空間的に足を地面に着けること や両足を交差するなどの状態の時空間的タイミングの異なる歩行は異なる値となる。 図 5では歩行シーケンス AO 11と AO 12では歩行の時空間周期は同じであるが、上記 のように定義した時空間位相情報は異なる値となる。

[0077] 次に、時空間位置情報抽出部 122は、時空間位置情報を算出する (ステップ S705 )。時空間位置情報は最初の特定歩行状態を検出した時間と画像上での位置とする 。時空間位置情報は、歩行の検出位置の時空間での絶対的な位置座標を表す情報 であり、 2歩目の検出位置や最後の検出位置を用いてもよい。

[0078] 特定歩行状態を検出することで、歩行の時空間周期のみならずに歩行の時空間位 相情報や時空間位置情報を得ることができる。

[0079] 次に、ステップ S403で得られた時空間周期情報、時空間位相情報及び時空間位 置情報は、それぞれ、時空間周期情報記憶部 130、時空間位相情報記憶部 131及 び時空間位置情報記憶部 132に格納される (ステップ S404)。

[0080] 次に、画像シーケンス入力部 100は、人を検索する画像シーケンス 2をステップ S4 01と同様に取得する (ステップ S405)。そして、歩行シーケンス抽出部 110は、その 画像シーケンス 2から歩行シーケンス 2を抽出する (ステップ S406)。続いて、歩行シ 一ケンス抽出部 110は、ステップ S406での処理の結果、歩行シーケンスが他に存在 する力否かの判断を行う（ステップ S407)。歩行シーケンスが他に存在しない場合は (ステップ S407で No)、処理を終了する。存在する場合は（ステップ S407で Yes)、 時空間周期情報抽出部 120、時空間位相情報抽出部 121及び時空間位置情報抽 出部 122は、歩行シーケンス 1の場合と同様に、歩行シーケンス 2から時空間周期情 報、時空間位相情報及び時空間位置情報を抽出する (ステップ S408)。

[0081] 次に、時空間周期照合部 140、時空間位相照合部 141及び時空間差抽出部 142 は、それぞれ、ステップ S404で記憶された歩行シーケンス 1の時空間周期情報'時 空間位相情報 ·時空間位置情報とステップ S408で抽出された時空間周期情報 ·時 空間位相情報 ·時空間位置情報とをそれぞれ照合する (ステップ S409)。照合にお いては、 3つの情報全てを用いてもよいし、時空間周期情報か時空間位相情報の一 方のみを用いても照合を行うことができる。

[0082] 照合方法としては、時空間周期情報、時空間位相情報、時空間位置情報それぞれ につ 、てあら力じめ一致度合 、の基準を設け、 3つの情報全てが基準を満たす場合 に一致すると判断してもよい。例えば、個々の判定方法は図 9のような表現の異なる シーケンス同士を比較する場合、各時空間周期情報を (xl、yl)、 （x3、y3)とおくと | xl -x3 I =Dx< θ χ, I yl -y3 | =Dy< 0 yを共に満たす場合に両者が一致する と判定する。ここで θ Xと Θ yはあら力じめ定めたしきい値とする。同様に各自空間位 相情報を (wl, zl)、 （w3、 z3)とおいた時、 I wl -w3 | =Dw< Θ w、 | zl— z3 | = Dz< Θ zを共に満たす場合に両者が一致すると判定する。ここで Θ wと Θ zはあらかじ め定めたしきい値とする。同様に、各時空間位置情報を tl, (xxl, yyl)と t3, (xx3, yy3)とおいた場合、 I tl— 13 | =Dt< 0 t、（xxl— xx3) * (xxl— xx3) + (yyl— y y3) * (yyl -yy3) =Dxy< Θ dを共に満たす場合に両者が一致すると判定する。こ こで 0 tと 0 dはあらかじめ定めたしきい値とする。 [0083] また、上記の 3つの情報を相互に関連付けて一致判定を行ってもよい。例えば、時 空間周期情報の差 Dx, Dyと時空間位相情報の差 Dw, Dzと時空間位置情報の差 D t, Dxyの

積や和をあら力じめ定めた一致の基準と比較してしてもよい。例えば、（Dx+Dy+D w

+ Dz + Dt + Dxy) < Θ sumを満たす場合や（Dx X Dy X Dw X Dz X Dt X Dxy) < Θ m ul

に両者が一致すると判定する。ここで Θ mulはあら力じめ定めたしきい値とする。また 、時空間位置情報の差の大きさに基づいて、時空間周期情報の差や時空間位相情 報の差の基準を変更するようにしてもよい。時空間的に離れるに従って、時空間周期 の値や時空間位相の値が変化し得るため、時空間位置情報の差が大きくなると時空 間周期情報の差や時空間位相情報の差の一致の基準を緩くすることで、検出漏れ を低減させることが可能となる。例えば、時空間位置情報の差 Dt、 Dxyが Dt> Θ t又 は Dxy> Θ xyを満たす場合には、上記の判定しきい値 0 x, 0 y, 0 w、 0 zの値を a 倍 は 1. 0以上の定数)して一致判定を行う。

[0084] 時空間周期情報を用いた場合、時空間周期情報はカメラに対する人の向きが変化 しても値が変化しにく 、為、時間的に離れた画像シーケンス間で検索 ·追跡が行 、 やすいという効果がある。

[0085] また、時空間位相情報を用いた場合、同じような時空間周期で歩行する他者の歩 行シーケンスとの区別をつけやす ヽと 、う効果がある。

[0086] 続いて、一致判定部 150は、ステップ S409における照合結果に基づいて、歩行シ 一ケンス 1と歩行シーケンス 2とが一致するか否かを判定する（ステップ S410)。不一 致の場合には (ステップ S411で No)、ステップ S406に戻り、新たな歩行シーケンス を取得する (ステップ S406)。一致した場合には (ステップ S411で Yes)、制御部 16 0は、画像シーケンス 1と画像シーケンス 2とを表示装置 1060に表示すると共に、一 致した歩行シーケンスの人領域を強調表示する。制御部 160による表示の例を図 17 に示す。図 17において領域 1130では画像シーケンス 1を表示し、領域 1140では画 像シーケンス 2を表示し、一致した歩行シーケンスに対応する人領域には外接矩形 1 110、 1120を付加して協調表示する。

[0087] 一般に、時空間周期情報 (歩行パタン）は、個人性 (歩き方の癖など)や個人のその 場の状況 (急 、で 、る、ゆっくり歩 、て 、るなど)や履物の種類 (ヒールの高さや足首 の可動範囲など）、持ち物 (片側に重 、ものを持って 、る力など)や服装 (脚部の可動 範囲など)、路面の状態 (滑りやすさや傾斜など)など様々な要素の影響を受けて変 化する為、個人を特定することは困難である。ここで、時空間位置情報を用いて照合 する 2つの歩行シーケンス間の時空間位置差を求め、前記時空間位置差によって一 致判定の基準を変化させることで、場所や履物，服装'持ち物などが時空間的に変化 し得る度合いを反映させることができ、誤った照合を行わないようにすることが可能と なる。例えば図 13A及び図 13Bのように 10秒程度の時空間差であれば、時空間周 期情報の差や時空間位相情報の差が小さ!、歩行シーケンスを検索 ·追跡すればよ い。例えば、 Dt< 10秒の場合には、上記の判定しきい値 0 X, θ γ, 0 w、 0 zの値を j8倍（j8は 1. 0未満の定数)して一致判定を行う。上記のような方法を用いることで、 図 13 Aの画像シーケンス中の人 502に対して、図 13Bの画像シーケンス中の 2人の うち歩行シーケンスの情報が一致する人 503を適切に選択することなどが可能となる

[0088] 以上のように、本実施の形態によれば、歩行シーケンス力 得た時空間周期情報と 、時空間位相情報と、時空間位置情報とを検出し、これらの情報に基づいて歩行シ 一ケンスの一致判定を行うことで、画像中の人の大きさや向きなどの影響を抑えて、 異なる時間の画像シーケンスに含まれる人の検索 '追跡が可能となる。

[0089] なお、本実施の形態では、時空間周期情報と時空間位相情報とを共に用いて歩行 シーケンスの照合を行ったが、時空間周期情報又は時空間位相情報のどちらか一 方のみでも歩行シーケンスの照合は可能であり、本発明の効果を得ることができる。 両者を組合わせることでより、詳細な照合が可能となり、検索'追跡の精度を向上させ ることがでさる。

[0090] また、画像シーケンス入力部 100へ入力する画像シーケンスは少なくとも 1歩以上 の歩行過程を含む時間長又はフレーム数であることが望ましぐ含まれる歩数は 1歩 よりも多い方が照合の精度向上が期待できる。 1歩以上の歩行過程を含む時間長と してはおよそ 0. 5秒以上（30フレーム Z秒でおよそ 15フレーム以上）の長さの画像 シーケンスであることが望ましぐ特定歩行状態が少なくとも 2回以上検出できることが 望ましい。

[0091] なお、実施の形態 1では画像シーケンスをカメラから直接得る例を示した力 記憶 装置 1040などに録画された画像シーケンスを読み出して用 、ても同様の効果が得 られる。

[0092] (実施の形態 2)

次に、本発明の実施の形態 2について、図 18A、図 18B及び図 19を用いて説明す る。

[0093] 実施の形態 2は、基本的な構成は実施の形態 1と同じであるが、 2つの異なるカメラ 力 得られた画像シーケンスをそれぞれ画像シーケンス 1及び画像シーケンス 2とし て扱い、人の検索'追跡を行うものである。画像の例を図 18A及び図 18Bに示す。図 18 Aは画像シーケンス 1を示し、図 18Bは画像シーケンス 2を示す。図 18A及び図 1 8Bには、直方体形状の障害物 900が表示されている。図 18Aに示される画像シー ケンス 1では、障害物 900で人 922が隠されており、人 912だけが写っている。一方、 図 18Bに示される画像シーケンス 2では、人 921と人 922と力 S写っている。人 912は 人 922に対応する力 画像シーケンス 2の 2人の人は互いに近くを歩いており背格好 や服装は同じであり、人 912に対応する人が人 921か人 922なのかは色やテクスチ ャゃ動きベクトルでは区別がつかない。ここで、図 18A及び図 18Bの格子状の破線 は地面上の位置座標を重畳して表示したものであり、 2つの画像シーケンスの位置情 報の対応付けの説明のために表示している。破線の格子は、あら力じめカメラ画像内 の位置と撮影場所の位置との対応関係 (時空間補正情報)を実測又は、カメラ配置と 光学系の仕様に基づいた幾何学計算することで得られる。図 18Aの格子と図 18Bの 格子とは対応する位置を表している。このような画像中の異なる平面上の対応する点 間の座標変換は 3 X 3の平面射影行列 Hで表現できる為、行列 Hを算出し、保持して おけばよい。平面射影行列の求め方は K. Kanatani, N. Ohta and Y. Kanazawa, "Op timal homography computation with a reliability measure," IEICti, frans actions on In formation and Systems, Vol. E83— D, No.7, pp.1369— 1374 (July 2000).などの既存の 手法を用いることができる。

[0094] 図 19は、本実施の形態における人物判定装置 15の構成を示す機能ブロック図で ある。この人物判定装置 15は、実施の形態 1における人物判定装置 10が備える構 成に加えて、さらに、時空間補正部 170を備える。時空間補正部 170は、歩行シーケ ンスの抽出又は時空間的周期情報や時空間的位相情報や時空間位置情報の算出 時に、時空間補正情報を用いて補正を行い、異なる画像シーケンスにおける時空間 的不整合性を補償する処理部である。ここで、時空間補正部 170は、歩行情報の抽 出における時空間的な補正処理を行う補正手段の一例である。

[0095] 人物判定装置 15は、異なるカメラの映像に対しても実施の形態 1と同様の手続で 処理を行!ヽ、画像シーケンス 1中の人に対応する画像シーケンス 2中の人を特定する ことができる。カメラの配置の違 、から撮影される対象の画像内の配置が異なる為、 前記格子線をカメラ毎 (又は画像シーケンス毎）に時空間補正情報として保持してお き、歩行シーケンスを抽出する際の空間的な位置座標の補正情報として利用する。 つまり、時空間補正部 170は、撮影場所における歩行面を一定距離の間隔で 2次元 的に区切る格子線を特定する情報を補正情報として記憶しておく。

[0096] そして、時空間補正部 170が前記時空間補正情報を用いて補正処理を行うことで 、時空間的周期情報や時空間的位相情報や時空間位置情報を異なるカメラの映像 間で照合することが可能となる。たとえば、時空間補正部 170は、格子線で囲まれる 小領域の各辺や面積の比率に応じて、時空間的周期情報、時空間的位相情報及び 時空間位置情報を時空間的に補正する (比例係数を乗じる)。このとき、時空間位相 情報としては特定の格子線を越えた後に最初に特定歩行状態になる時空間的位置 を用いればよい。このような構成により、障害物 900に隠れている人（図示せず）と人 921を対応付け、人 912と人 922とを対応付けることが可能となる。

[0097] また、上記例では歩行シーケンスを抽出する際に、前記位置の対応関係を用いた 力 画像シーケンスの状態で一方の画像シーケンスを他方の画像シーケンスの位置 に合うように画像を変換してカゝらその後の処理を行ってもょ ヽ。画像変換を行う場合 にも上記の平面射影行列 Hを用いることで歩行している平面 (地面）上の画素位置に 行列 Hを作用させることで、対応するもう一方の画像シーケンス内の平面 (地面）上の 位置に変換できる。このため、全ての画素について同様の変換を行うことで画像の変 換が可能となる。時空間周期情報 ·時空間位相情報 ·時空間位置情報を算出する際 に、位置関係を用いて補正を行って算出することでもカメラ配置の影響を除いて歩行 シーケンスを照合することが可能となる。

[0098] また、 2つの画像シーケンス間でフレームレートが異なる場合にも予めフレームレー トがそろうように時空間補正部 170がー方に対してフレームレート変換を行うか、歩行 シーケンスを抽出する際にフレームレートを変換するか、時空間周期情報'時空間位 相情報《時空間位置情報を算出する際に時間情報の補正を行うことで、異なるフレー ムレートの画像シーケンス間での人の検索'追跡が可能となる。例えば、比較すべき

2つの画像シーケンスのフレームレートがそれぞれ 15フレーム Z秒と 30フレーム Z 秒との場合、後者の画像シーケンスから 1フレームおきにフレームを間引くことで 15フ レーム Z秒の画像シーケンスを生成したのち、画像シーケンス間の歩行シーケンス の検出'照合を行う。

[0099] この場合、あら力じめ補正に必要なフレームレートの情報時空間補正情報を画像シ 一ケンスと対応付けられた状態で記憶装置などに保持しておけばよい。

[0100] 一般的に、異なるカメラでは対象の向きや照明条件の違いやカメラの特性の違いか ら、画像上の人の見かけは大きく変わることが多いため、色や動きベクトルの連続性 や人領域の画像パタンそのものを用いた追跡手法では適切に同じ人を検索 '追跡す ることは困難である。しかしながら、本実施の形態における手法を用いることで、異な る向きや色や見た目の人であっても、同一人物の歩行シーケンス力も得た時空間周 期情報や時空間位相情報を用いることで異なる画像シーケンス中の人を検索，追跡 することが可能となる。特に、異なるカメラの視野が同一場所を含み、同じ人を異なる 方位力も撮影できる場合には、時間位相情報を用いることで、より効果的な人のシー ケンスの対応付けが可能になる。

[0101] なお、上記例ではカメラ画像間の位置の対応付けをあら力じめ行った力 時間周期 や時間位相を主に用いる場合には対応付けを行わな 、場合にでも、歩行シーケンス 間の照合を行い、本発明の効果を得ることは可能である。

[0102] なお、上記実施の形態における処理の一部又は全部は専用の機器で行われても よいし、端末や基地局等の通信機器やコンピュータに内蔵される CPUが処理プログ ラムを実行することによって、行われてもよい。

産業上の利用可能性

本発明は、異なる画像シーケンスに含まれる人物同士が同一人物であるか否かを 判定する人物判定装置、画像シーケンスから人物を検索 ·追跡する人物検索追跡装 置等として、例えば、街頭等に設置される監視システム等として利用することができる

Claims

請求の範囲

[1] 異なる画像シーケンスに含まれる人物同士が同一である力否かを判定する人物判 定装置であって、

第 1の画像シーケンス、及び、前記第 1の画像シーケンスと異なる時刻又は異なるィ メージセンサにて取得された第 2の画像シーケンスの入力を受け付ける画像シーケン ス入力手段と、

入力された前記第 1及び第 2の画像シーケンスから、それぞれ、人物の歩行状態を 示す画像シーケンスである第 1及び第 2の歩行シーケンスを抽出する歩行シーケンス 抽出手段と、

抽出された前記第 1及び第 2の歩行シーケンスから、それぞれ、人物の時間的又は 空間的な歩行周期を示す情報である第 1及び第 2の時空間周期情報と人物の周期 的な歩行動作における時間的又は空間的な位相情報である第 1及び第 2の時空間 位相情報とを、人物の歩行についての周期的な動きを特定する情報である第 1及び 第 2の歩行情報として抽出する歩行情報抽出手段と、

抽出された前記第 1及び第 2の歩行情報を照合する歩行情報照合手段と、 前記歩行情報照合手段による照合結果に基づいて、前記第 1及び第 2の画像シー ケンスに含まれる人物同士が同一である力否かを判定する判定手段と

を備えることを特徴とする人物判定装置。

[2] 前記歩行情報照合手段は、前記第 1及び第 2の歩行情報にそれぞれ含まれる第 1 及び第 2の時空間位相情報に基づいて、前記第 1及び第 2の画像シーケンスに含ま れる人物が所定の歩行姿勢となる時刻または位置を比較することにより歩行情報を 照合する

ことを特徴とする請求項 1に記載の人物判定装置。

[3] 前記歩行情報照合手段は、

前記第 1の歩行情報に含まれる第 1の時空間位相情報に基づいて、前記第 1の画 像シーケンスに含まれる人物の、前記第 1の画像シーケンスと異なる時刻または位置 における時空間位相情報を推定する位相情報推定部と、

前記位相情報推定手段で推定された前記時空間位相情報および前記第 2の時空 間位相情報に基づいて、前記第 1及び第 2の画像シーケンスに含まれる人物が所定 の歩行姿勢となる時刻または位置を比較することにより歩行情報を照合する歩行情 報照合部とを有する

ことを特徴とする請求項 2に記載の人物判定装置。

[4] 前記歩行情報照合手段は、前記第 1及び第 2の歩行情報にそれぞれ含まれる第 1 及び第 2の時空間位相情報に基づいて、同一の時刻または位置における前記第 1 及び第 2の画像シーケンスに含まれる人物の歩行姿勢を比較することにより歩行情 報を照合する

ことを特徴とする請求項 1に記載の人物判定装置。

[5] 前記歩行情報照合手段は、

前記第 1の時空間歩行情報に含まれる位相情報に基づいて、前記第 1の画像シー ケンスに含まれる人物の、前記第 1の画像シーケンスと異なる時刻または位置におけ る時空間位相情報を推定する位相情報推定部と、

前記位相情報推定手段で推定された前記時空間位相情報および前記第 2の時空 間位相情報に基づ 、て、同一の時刻または位置における前記第 1及び第 2の画像シ 一ケンスに含まれる人物の歩行姿勢を比較することにより歩行情報を照合する歩行 情報照合部とを有する

ことを特徴とする請求項 4に記載の人物判定装置。

[6] 前記歩行情報抽出手段は、さらに、抽出された前記第 1及び第 2の歩行シーケンス から、それぞれ、人物の周期的な歩行動作を示す時間的又は空間的な位置情報で ある第 1及び第 2の時空間位置情報を前記歩行情報として抽出する

ことを特徴とする請求項 1記載の人物判定装置。

[7] 前記歩行シーケンス抽出手段は、前記第 1及び第 2の画像シーケンスそれぞれを 時間軸に沿って切断した場合の切断面における画像を前記歩行シーケンスとして抽 出する

ことを特徴とする請求項 1記載の人物判定装置。

[8] 前記歩行シーケンス抽出手段は、前記第 1及び第 2の画像シーケンスそれぞれに 含まれる人物の両脚を切断した切片を時間軸に並べて得られる画像を前記歩行シ 一ケンスとして抽出する

ことを特徴とする請求項 5記載の人物判定装置。

[9] 前記歩行情報抽出手段は、前記第 1及び第 2の歩行シーケンスに含まれる人物の 両脚の間隔に基づいて、前記歩行情報を抽出する

ことを特徴とする請求項 8に記載の人物判定装置。

[10] 前記画像シーケンス入力手段は、同一場所を撮影する異なるイメージセンサにて 取得された第 1及び第 2の画像シーケンスの入力を受け付ける

ことを特徴とする請求項 1記載の人物判定装置。

[11] 前記人物判定装置はさらに、

前記第 1及び第 2の画像シーケンスそれぞれにおける画像上の位置と撮影場所に おける位置との対応関係を示す補正情報を予め記憶する補正情報記憶手段と、 前記補正情報記憶手段に記憶された補正情報に基づ!、て、前記歩行情報抽出手 段による前記第 1及び第 2の歩行情報の抽出における時空間的な補正処理を行う補 正手段とを備える

ことを特徴とする請求項 1記載の人物判定装置。

[12] 前記補正情報記憶手段は、前記撮影場所における歩行面を一定距離の間隔で 2 次元的に区切る格子線を特定する情報を前記補正情報として記憶する

ことを特徴とする請求項 11記載の人物判定装置。

[13] 異なる画像シーケンスに含まれる人物同士が同一である力否かを判定する人物判 定装置であって、

画像シーケンス中に含まれる第 1及び第 2の人物の歩行状態を示す画像シーケン スである第 1及び第 2の歩行シーケンスを検出する歩行シーケンス検出手段と、 前記第 1の人物の歩行シーケンスから当該歩行シーケンスとは異なる時刻または位 置における第 1の人物の周期的な歩行運動における歩行姿勢の遷移を示す情報を 推定する歩行姿勢遷移推定手段と、

推定された前記第 1の人物の歩行姿勢の遷移を示す情報と、前記第 2の人物の歩 行姿勢の遷移を示す情報との整合性を判定し、整合性を有する場合に、前記第 1の 人物と前記第 2の人物とが同一であると判断する判断手段とを備える ことを特徴とする人物判定装置。

[14] 人物が撮像された画像シーケンスにお 、て特定の人物を検索又は追跡する人物 検索追跡装置であって、

第 1の画像シーケンス、及び、前記第 1の画像シーケンスと異なる時刻又は異なるィ メージセンサにて取得された第 2の画像シーケンスの入力を受け付ける画像シーケン ス入力手段と、

入力された前記第 1及び第 2の画像シーケンスから、それぞれ、人物の歩行状態を 示す画像シーケンスである第 1及び第 2の歩行シーケンスを抽出する歩行シーケンス 抽出手段と、

抽出された前記第 1及び第 2の歩行シーケンスから、それぞれ、人物の時間的又は 空間的な歩行周期を示す情報である第 1及び第 2の時空間周期情報と人物の周期 的な歩行動作における時間的又は空間的な位相情報である第 1及び第 2の時空間 位相情報とを、人物の歩行についての周期的な動きを特定する情報である第 1及び 第 2の歩行情報として抽出する歩行情報抽出手段と、

抽出された前記第 1及び第 2の歩行情報を照合する歩行情報照合手段と、 前記歩行情報照合手段による照合結果に基づいて、前記第 1及び第 2の画像シー ケンスに含まれる人物同士が同一である力否かを判定する判定手段とを備える人物 判定装置と、

前記人物判定装置が備える歩行情報照合手段によって前記第 1及び第 2の歩行 情報が一致すると照合された場合に、前記第 1及び第 2の歩行情報に対応する前記 第 1及び第 2の歩行シーケンス同士を対応づけて記憶する歩行シーケンス記憶手段 と

を備えることを特徴とする人物検索追跡装置。

[15] 人物が撮像された画像シーケンスにお 、て特定の人物を検索又は追跡する人物 検索追跡装置であって、

第 1の画像シーケンス、及び、前記第 1の画像シーケンスと異なる時刻又は異なるィ メージセンサにて取得された第 2の画像シーケンスの入力を受け付ける画像シーケン ス入力手段と、 入力された前記第 1及び第 2の画像シーケンスから、それぞれ、人物の歩行状態を 示す画像シーケンスである第 1及び第 2の歩行シーケンスを抽出する歩行シーケンス 抽出手段と、

抽出された前記第 1及び第 2の歩行シーケンスから、それぞれ、人物の時間的又は 空間的な歩行周期を示す情報である第 1及び第 2の時空間周期情報と人物の周期 的な歩行動作における時間的又は空間的な位相情報である第 1及び第 2の時空間 位相情報とを、人物の歩行についての周期的な動きを特定する情報である第 1及び 第 2の歩行情報として抽出する歩行情報抽出手段と、

抽出された前記第 1及び第 2の歩行情報を照合する歩行情報照合手段と、 前記歩行情報照合手段による照合結果に基づいて、前記第 1及び第 2の画像シー ケンスに含まれる人物同士が同一である力否かを判定する判定手段とを備える人物 判定装置と、

前記人物判定装置が備える画像シーケンス入力手段が受け付ける前記第 1及び第 2の画像シーケンスを表示する表示手段とを備え、

前記表示手段は、前記第 1及び第 2の画像シーケンスに含まれる人物のうち、前記 人物判定装置が備える判定手段によって同一と判定された人物を他の人物と区別 するための強調表示をする

ことを特徴とする人物検索追跡装置。

異なる画像シーケンスに含まれる人物同士が同一である力否かを判定する人物判 定方法であって、

第 1の画像シーケンス、及び、前記第 1の画像シーケンスと異なる時刻又は異なるィ メージセンサにて取得された第 2の画像シーケンスの入力を受け付ける画像シーケン ス入力ステップと、

入力された前記第 1及び第 2の画像シーケンスから、それぞれ、人物の歩行状態を 示す画像シーケンスである第 1及び第 2の歩行シーケンスを抽出する歩行シーケンス 抽出ステップと、

抽出された前記第 1及び第 2の歩行シーケンスから、それぞれ、人物の時間的又は 空間的な歩行周期を示す情報である第 1及び第 2の時空間周期情報と人物の周期 的な歩行動作における時間的又は空間的な位相情報である第 1及び第 2の時空間 位相情報とを、人物の歩行についての周期的な動きを特定する第 1及び第 2の歩行 情報として抽出する歩行情報抽出ステップと、

抽出された前記第 1及び第 2の歩行情報を照合する歩行情報照合ステップと、 前記歩行情報照合手段による照合結果に基づいて、前記第 1及び第 2の画像シー ケンスに含まれる人物同士が同一である力否かを判定する判定ステップと

を含むことを特徴とする人物判定方法。

異なる画像シーケンスに含まれる人物同士が同一である力否かを判定する人物判 定装置のためのプログラムであって、

第 1の画像シーケンス、及び、前記第 1の画像シーケンスと異なる時刻又は異なるィ メージセンサにて取得された第 2の画像シーケンスの入力を受け付ける画像シーケン ス入力ステップと、

入力された前記第 1及び第 2の画像シーケンスから、それぞれ、人物の歩行状態を 示す画像シーケンスである第 1及び第 2の歩行シーケンスを抽出する歩行シーケンス 抽出ステップと、

抽出された前記第 1及び第 2の歩行シーケンスから、それぞれ、人物の時間的又は 空間的な歩行周期を示す情報である第 1及び第 2の時空間周期情報と人物の周期 的な歩行動作における時間的又は空間的な位相情報である第 1及び第 2の時空間 位相情報とを、人物の歩行についての周期的な動きを特定する第 1及び第 2の歩行 情報として抽出する歩行情報抽出ステップと、

抽出された前記第 1及び第 2の歩行情報を照合する歩行情報照合ステップと、 前記歩行情報照合手段による照合結果に基づいて、前記第 1及び第 2の画像シー ケンスに含まれる人物同士が同一である力否かを判定する判定ステップとをコンビュ ータに実行させる

ことを特徴とするプログラム。