JP2008134939A - 動体追跡装置，動体追跡方法，その方法を記述した動体追跡プログラム及びそのプログラムを格納した記録媒体 - Google Patents

Abstract

【課題】複数の動体を撮像する１又は複数の撮像装置から送られる画像を統合し、各動体の動きを安定して追跡する。
【解決手段】１又は複数の撮像装置を用いて動体を撮像した複数画像データに基づき、各時刻に複数の前記動体の対象状態を予測する手段１１と、前記画像データを取得する手段１２と、前記動体を写した領域を抽出したシルエット画像を作成する手段１３と、シルエット画像，実世界の三次元構造，前記撮像装置の内部パラメータ及び外部パラメータ，変化タイプ，確率分布更新回数に基づいて対象状態分布を推定する手段１４と、現時刻において最大確率になる対象状態と前時刻において最大確率になる対象状態に基づいて変化ベクトルを計算する手段１５と、実世界の三次元構造と前記内部パラメータ及び外部パラメータを保存する手段２１と、対象状態の確率的分布を記憶する手段２２と、前記変化ベクトルを記憶する手段２３と、を用いて、動体を追跡する。
【選択図】図１

Description

本発明は、１又は複数の画像入力装置（例えば、カメラ等）を用いて、動体（物体、動物、人間を含む動体）の三次元位置や大きさなどの状態を追跡する技術に関するものである。

コンピュータビジョン分野では、複数のカメラの情報を利用して人物などの動く対象の追跡に関する研究が多く行われている。例えば、次のような研究成果が、実現されている。

複数の視点から対象を観測し、画像上における対象の領域（即ち、シルエット）を抽出したシルエット画像を用意する。さらに、予め追跡を行う空間の三次元構造（以下、三次元環境情報と呼ぶ）と、追跡に利用する全てのカメラの内部パラメータ及び外部パラメータ（カメラパラメータともいう）と、を予め計測して求めておく。

なお、シルエット画像とは、撮影した画像に対して背景差分法やフレーム間差分法を施し、撮影した画像の対象が写っている領域の輝度値を「１」、他の領域の輝度値を「０」で表現した２値画像である（即ち、実差分画像である）。また、カメラの内部パラメータの校正，三次元位置と姿勢を求めるためのカメラキャリブレーション方法も広く知られている（例えば、非特許文献１参照）。

そして、その三次元環境中に人物モデルを配置し、先に算出したカメラの内部パラメータと外部パラメータを有する仮想カメラ（例えば、ソフトウェアで構築された仮想撮像装置）で、その人物モデルが配置されたシーンを撮影することによって、シルエット画像のシミュレーションを行うことができる。

また、人物モデルに楕円体を用いて、生成したシミュレーション画像とシルエット画像を比較することで一般的な環境の下でも人物の追跡を行う方法（以下、楕円体モデル追跡方法と呼ぶ）が提案されている（例えば、非特許文献２参照）。
Ｚ．Ｚｈａｎｇ，"Ａｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ，Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０００（平成１２年），ｖｏｌ．２２，Ｎｏ．１１，ｐ．１３３０−１３３４． 加藤博一、中澤篤志、井口征史，「楕円体モデルを用いたリアルタイム人物追跡」，情報処理学会論文誌，１９９９年（平成１１年）１１月，ｖｏｌ．４０，Ｎｏ１１，ｐ．４０８７−４０９６。

前述のように、カメラによって取得した情報に基づいて対象を追跡する方法において、複数の人物を追跡する場合、人物同士の接近などによって、カメラで撮影された画像上で人物同士が重なってしまう現象（即ち、オクルージョン）が問題にされている。

そのオクルージョン問題は、複数の視点から得られた情報を統合することによって、軽減できる。しかし、前記の楕円体モデル追跡方法では、複数のカメラが独立に追跡を行っているため、複数カメラの情報統合が行われておらず、人物同士が接近すると追跡が不可能となる問題を有している。

また、前記の楕円体モデル追跡方法では、追跡する人数を初めから固定しているため、追跡空間からの人物の退出、出現に対応することができないという問題を有している。

さらに、追跡人数に比例した処理量が必要であるため、一度に追跡する人数が増えると処理コストが増大し、追跡処理の実時間性が失われるといった問題を有している。

そして、シミュレーション画像生成に用いる楕円体モデルに固定の高さ，固定の半径を与えているため、人物の大きさの個人差に対応することが不可能である。即ち、この楕円体モデルの大きさと著しく異なる大きさの体を持つ人物を追跡する際には、測定値に大きな誤差を発生し、結果として追跡にも失敗してしまうという問題をも有している。

本発明は、前記課題に基づいてなされたものであって、複数の動体を撮像する１又は複数の撮像装置から送られる画像から、三次元空間中に存在する複数の動体の各時刻における位置、大きさを表す対象状態を逐次的に推定し、各動体の動きを安定して追跡する動体追跡装置，動体追跡方法，その方法を記述した動体追跡プログラム及びそのプログラムを格納した記録媒体を提供することにある。

前記課題の解決を図るために、請求項１記載の発明は、動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡装置であって、各時刻に複数の前記動体の対象状態を予測する対象状態予測手段と、前記画像データを取得する画像取得手段と、前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定手段と、対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて、最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算手段と、予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、を備え、前記対象状態分布推定手段が、前記対象状態分布記憶手段に対する最初の確率分布更新回数Ｂと対象状態に対する最後の確率分布更新回数Ｎを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択する手段と、前記変化タイプを適応して変化させる動体を選択する手段と、前記選択された変化タイプ及び前記確率分布更新回数Ｂと前記確率分布更新回数Ｎの比較結果に基づいて、選択された動体の対象状態を変化させる手段と、前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做す手段と、前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第２条件尤度と、前記シルエット画像とシミュレーション画像の比較に基づく第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた暫定対象状態の尤度と見做す手段と、前記暫定対象状態が採用されたか否かの結果に応じて、ｎ回目に予測された対象状態を決定する手段と、更新回数が前記確率分布計算回数Ｂと等しい場合、該Ｂ回の更新で得られた対象状態に基づいて状態分布を計算する手段と、前記Ｂ回の更新で得られた対象状態に基づいて状態分布に基づいて、現在追跡している動体数が０と等しいか否かを判定する手段と、前記動体数が０と等しくなかった場合、かつ、更新回数が記確率分布更新回数Ｂに前記確率分布更新回数Ｎを加算した回数を超えていた場合、最後のＮ回の更新で保存されたＮ個の対象状態全てが等確率に起こりうると考え、ｎ回目に予測された対象状態を対象状態分布と見做す手段と、を有する、ことを特徴とする。

請求項２記載の発明は、請求項１に記載の発明において、前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、ことを特徴とする。

請求項３記載の発明は、予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、を備え、動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する装置に使用される動体追跡方法であって、各時刻に複数の前記動体の対象状態を予測する対象状態予測ステップと、前記画像データを取得する画像取得ステップと、前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、を有し、前記対象状態分布推定ステップが、前記対象状態分布記憶手段に対する最初の確率分布更新回数Ｂと対象状態に対する最後の確率分布更新回数Ｎを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、前記変化タイプを適応して変化させる動体を選択するステップと、前記選択された変化タイプ及び前記確率分布更新回数Ｂと前記確率分布更新回数Ｎの比較結果に基づいて、選択された動体の対象状態を変化させるステップと、前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做すステップと、前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第２条件尤度と、前記シルエット画像とシミュレーション画像の比較に基づく第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた暫定対象状態の尤度と見做すステップと、前記暫定対象状態が採用されたか否かの結果に応じて、ｎ回目に予測された対象状態を決定するステップと、更新回数が前記確率分布計算回数Ｂと等しい場合、該Ｂ回の更新で得られた対象状態に基づいて状態分布を計算するステップと、前記Ｂ回の更新で得られた対象状態に基づいて状態分布に基づいて、現在追跡している動体数が０と等しいか否かを判定するステップと、前記動体数が０と等しくなかった場合、かつ、更新回数が記確率分布更新回数Ｂに前記確率分布更新回数Ｎを加算した回数を超えていた場合、最後のＮ回の更新で保存されたＮ個の対象状態全てが等確率に起こりうると考え、ｎ回目に予測された対象状態を対象状態分布と見做すステップと、を有する、ことを特徴とする。

請求項４記載の発明は、請求項３に記載の発明において、前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、ことを特徴とする。

請求項５記載の発明は、動体追跡プログラムであって、請求項３または４に記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。
特徴とする。

請求項６記載の発明は、記録媒体であって、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする。

前記の請求項１，３の発明によれば、複数の動体の対象状態分布を取得し、さらに、それら対象状態分布に基づいて、動体の変化ベクトルを取得できる。三次元構造に関する事前知識に基づいた対象状態の確率的尤度，動体同士の重なりに関する事前知識に基づいた対象状態の確率的尤度，前記シルエット画像とシミュレーション画像の比較による尤度を取得できる。

前記の請求項２，４の発明によれば、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈを記憶できる。

前記の請求項５の発明によれば、請求項３または４に記載の動体追跡方法をコンピュータプログラムとして記載できる。

前記の請求項６の発明によれば、請求項３または４に記載の動体追跡方法を実装したコンピュータプログラムを記録媒体に記録できる。

以上示したように請求項１，３の発明によれば、１または複数の撮像装置から取得した画像に基づいて動体の変化ベクトルを計算し、その動体の変化ベクトルに基づいて複数の動物体の動きを安定に追跡できる。確率的尤度とシルエット画像とシミュレーション画像の比較による尤度（即ち、複数の撮像装置からの画像情報を統合した結果）を用いて、動体同士が非常に接近するような状況下においても、動体を安定して追跡できる。

請求項２，４の発明によれば、ｘ，ｙ，ｒ，ｈを記憶できるため、大きさの異なる複数の動体や動的に追跡する動体数の変化に応じた追跡を行うことができる。また、大きさの異なる複数の動体や動的に追跡する動体数の変化に応じた追跡を行っても、処理時間を一定に保ち実時間性を確保できる。

請求項５の発明によれば、動体追跡方法を実装したコンピュータプログラムを提供できる。

請求項６の発明によれば、動体追跡方法を実装したコンピュータプログラムを記録した記録媒体を提供できる。

これらを以ってコンピュータビジョン分野に貢献できる。

本実施形態における動体追跡装置を図１に基づいて説明する。

動体追跡装置は、対象状態予測手段１１，画像取得手段１２，シルエット画像作成手段１３，対象状態分布推定手段１４，対象状態計算手段１５，三次元環境情報管理手段（例えば、三次元環境情報を管理するデータベース）２１，対象状態分布記憶手段２２，対象状態記憶手段２３から構成される。

対象状態予測手段１１は、前時刻に得られた追跡対象の状態（以後、単に対象状態という；追跡対象の三次元位置、大きさ）および対象状態の変化ベクトルを用いて現時刻の対象状態を予測する。

画像取得手段１２は、各時刻に撮影された画像データを取得する手段であり、例えば、デジタルカメラやビデオカメラ等の撮像装置などを備えている。本実施形態における動体追跡装置は、１又は複数の撮像装置を備えていても良い。また、画像データは、各時刻に撮影された画像データを格納した情報管理手段（例えば、データベース）から取得しても良い。

シルエット画像作成手段１３は、前記取得された画像データから対象の写っている領域のみを抽出したシルエット画像を作成する。

対象状態分布推定手段１４は、対象状態予測手段１１によって得られた対象状態を初期状態と見做し、シルエット画像作成手段１３によって作成されたシルエット画像と三次元環境情報管理手段２１を用いて対象状態の確率的分布を推定し、対象状態分布記憶手段２２に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する。

対象状態計算手段１５は、現時刻の対象状態分布が保存された対象状態分布記憶手段２２を用いて、最大確率となる対象状態を計算するとともに、前時刻の対象状態からの変化ベクトルを計算し、対象状態記憶手段２３に保存されている対象状態からの変化ベクトルを更新する。

三次元環境情報管理手段２１は、予め計測しておいた実世界の三次元構造情報と、設置されている画像取得手段１２（例えば、デジタルカメラ、以下、単にカメラという）の内部パラメータ（例えば、焦点距離，画像中心などのパラメータ）と、その画像取得手段１２の外部パラメータ（例えば、カメラ自体の三次元位置及び姿勢情報）と、を保存する。例えば、三次元環境情報管理手段２１は、三次元構造情報，内部パラメータ，外部パラメータを保存するデータベースを含んでいても良い。また、三次元環境情報管理手段２１は、記憶部（例えば、ハードディスク装置や不揮発性メモリ）に三次元構造情報，内部パラメータ，外部パラメータを記憶してよい。

対象状態分布記憶手段２２は、対象状態分布推定手段１４によって推定された対象状態の確率的分布を記憶する。例えば、対象状態分布記憶手段２２に含まれるメモリ（または、記憶領域）やハードディスク装置に、推定された対象状態の確率的分布を記憶しても良い。

対象状態記憶手段２３は、対象状態計算手段１５によって計算された最大確率を取る対象状態および前時刻の対象状態との変化ベクトルを記憶する。例えば、対象状態記憶手段２３に含まれるメモリ（または、記憶領域）やハードディスク装置に前記変化ベクトルは記憶しても良い。

本実施形態における動体追跡装置に関する条件を図２に基づいて説明する。なお、以下の説明で図１中の符号と同じものの説明は省略する。

図２は、平面上を歩行する複数の人物（図２中では、人物Ｈ１，Ｈ２…Ｈｋ）を追跡対象（即ち、動体）とし、ｐ台の位置と姿勢を固定されたビデオカメラ（即ち、カメラＣ１，Ｃ２…Ｃｐ）を用いて追跡を行う例について示すものである。また、カメラＣ１〜Ｃｐは、同じ撮影間隔で同期して画像の取得を行うものとする。なお、同じ撮影間隔で同期して画像の取得を行う際に、例えば、カメラＣ１〜Ｃｐに同期装置を接続または搭載しても良い。

一般に、空間中には追跡対象でない非対象物体（図２中では、非対象物体Ｂ）が存在しており、この非対象物体の三次元構造データは、手作業によるＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）データの作成やレンジファインダの利用し、または、カメラ映像からの三次元復元などを利用して、予め計測して取得できる。この三次元構造データは、ＸＹ平面を床面と一致させ、高さ方向をＺ軸と一致させる座標系に変換するものとする。

また、配置された全て（ｐ台）のカメラの内部パラメータの校正と三次元位置(ｘ，ｙ，ｚ)と姿勢（φ，θ，γ）とを前記取得した三次元構造データと同じ座標系で求める（例えば、非特許文献１参照）。これら三次元構造データと全てのカメラの三次元位置および姿勢を、三次元環境情報管理手段２１に予め記憶しておくことにする。

本実施形態における人物（動体）の形状モデルを図３に基づいて説明する。

なお、以下の説明における時刻は、特定のサンプリング間隔Δｔでサンプリングした回数（または順序数）を示す。そして、初期時刻ｔ₀は、動体追跡を開始した時刻（即ち、時刻ｔが「０」の時点）を示す。前時刻は、初期時刻ｔ₀から現在時刻（即ち現時刻）間の時刻であって、現時刻（即ち、処理中の時刻；例えば、ｔ）の直前に動体追跡を行った時刻（即ち、ｔ−１）となる。

図３では、楕円体ｅを人物の形状を近似したモデルと考え、人物の位置を床平面上の二次元座標値(ｘ，ｙ)、人物の大きさを楕円体ｅの半径ｒと高さｈで表す。さらに、対象状態分布推定手段１４には、確率統計的状態分布推定法の一種であるＭＣＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いる。

複数の人物の状態を表す対象状態Ｓは、各人物の位置，大きさを表すベクトルＭ（即ち、人物モデル）を並べたものによって表される。対象状態Ｓの次元数は、最大追跡可能人数Ｋによって定まる。すなわち、ベクトルＭが四次元ベクトルであるため、４Ｋ次元ベクトルとなる。例えば、時刻ｔにおける状態Ｓ_tは以下の式で表される。

また、状態分布Ｓを構成する人物ｉの位置、大きさ、形を表す人物モデルＭ_iは、以下の式で表される四次元ベクトルである。

ただし、ここでｘ_iおよびｙ_iは床平面状での人物ｉの位置を示す二次元座標値(ｘ，ｙ)であり、ｒ_iおよびｈ_iは人物を楕円体で近似した際の楕円体のパラメータ半径ｒおよび高さｈを表す。なお、ｘ_i，ｙ_i，ｒ_i，ｈ_iは、例えば、動体追跡装置に備えられた記憶部（図示省略、例えば、メモリや外部記憶装置）に保存され、アクセスされても良い。

以上のように、本実施形態は、三次元空間中に存在する各時刻ｔにおける対象状態Ｓ_t（複数の物体や人物の各時刻ｔにおける位置、大きさを表す対象状態）を推定することによって、複数の物体や人物の状態を逐次推定し、追跡を行うものである。

本実施形態の動体追跡方法の処理手順を図４中のフローチャートに基づいて説明する。なお、以下の説明で、図１中の符号と同じものの説明は省略する。

まず、処理は、初期時刻ｔ₀（時刻ｔ＝０）に開始され、開始時に対象状態Ｓおよび対象状態の変化ベクトルＶを０ベクトルに初期化する（Ｓ３００）。

次に、対象状態予測手段１１により、現時刻での対象状態の予測が行われる（Ｓ３０１）。これは前時刻で計算された対象状態と対象状態の変化ベクトルを用いて行われる線形予測処理である。前時刻で求められた対象状態をＳ_t-1、変化ベクトルを４Ｋ次元のベクトルＶ_t-1とすると、現時刻の対象状態の予測値Ｓ’_t,0は、次の式によって表すことができる。

ただし、Ｓ’のインデックスのｔは時刻ｔを表す。「０」の部分は、予測値の更新回数が「０」であることを示す。後述する対象状態分布の推定（Ｓ３０４）においては、予測値をＳ’_t,0を初期値と見做して、その後、複数回の更新を行って対象状態の分布を求める。すなわち、インデックスの「０」は更新回数が「０」である初期値であることを示す。

なお、動体追跡の開始（初期時刻ｔ₀）直後には前時刻の対象状態、対象状態の変化ベクトルは未知であるため、全てのＭ_iの要素を「０」にしてＳ₀の初期化を行う。

次に、画像取得手段１２を用いて、同期撮影された画像データＩｍ₁，Ｉｍ₂，…Ｉｍ_pをカメラＣ１，Ｃ２…Ｃｐから取得する（Ｓ３０２）。

次に、シルエット画像作成手段１３を用いて、前記カメラＣ１，Ｃ２…Ｃｐから取得した画像データＩｍ₁，Ｉｍ₂，…Ｉｍ_pに対し、それぞれのシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pを作成する（Ｓ３０３）。なお、シルエット画像とは、図５のように撮影した画像の対象を写した領域の輝度値が「１」、他の領域が「０」である２値画像のことであって、画像５０１は入力画像、画像５０２が作成されたシルエット画像の一例である。このような画像は、背景差分法やフレーム間差分法などのよく知られた方法を利用することによって簡単に生成できる。

次に、ステップＳ３０１で予測された対象状態Ｓ’_t,0を対象状態の初期値とし、Ｓ’を逐次更新していくことによって、対象状態の確率的分布を推定する（Ｓ３０４）。

ここで、図６に基づいて対象状態の確率的分布を推定する処理手順を説明する。

対象状態の確率分布の推定は複数回（即ち、（Ｂ＋Ｎ）回）の状態更新処理（前記対象状態分布記憶手段に対する状態更新処理）によって行われる。最初のＢ回の更新では人物の監視エリアへの増減、各人物の位置の大まかな対象状態の確率分布を求め、最後のＮ回の更新では、最初のＢ回の更新で得られた大まかな対象状態から人物の増減を行わずに、各人物の位置、大きさに関し、より詳細な対象状態の確率分布を求める。この二段階の推定処理により、頑健に複数人物の状態を推定できる。

最後のＮ回で得られた状態を状態分布として保存し、このＮ個の状態は全て等確率で起こりうると考える。これは最初のＢ回の更新で得られた状態が初期値に依存すると考えられるために、最後のＮ回の更新で得られた状態だけを採用する処理（一般にＢｕｒｎ−ｉｎと呼ばれる処理）であり、ＢとＮの比率は経験的に自由に設定できる。

まず、更新回数ｎを「０」に初期設定して処理が開始される。

ステップＳ４０１では変化タイプの選択を行う。なお、変化タイプとは、状態を変化させる処理のタイプを表すものであって、４種類（第１タイプは人物の追加，第２タイプは人物の消去，第３タイプは人物の位置変更，第４タイプは人物の大きさ変更）から成る。なお、それぞれの変化タイプの選択は更新回数によって以下のように異なってくる。

更新回数ｎ≦Ｂの場合は、次の通りである。
まず、現在の状態として誰も人物を追跡していない場合（全てのＭが「０」ベクトル）には必ず（第１タイプ：人物の追加）が選択される。それ以外の（少なくとも一人の人物を追跡している）場合には各タイプが選ばれる確率を予め任意に設定しておき、確率的に４つのタイプから選択を行う。

更新回数ｎ＞Ｂの場合は、次の通りである。
後述するように最初のＢ回の更新において、誰も追跡していないと判定された場合には、更新処理は終了となる。追跡人物数が「０」でない場合には、変化タイプとして（第３タイプ：人物の位置変更）もしくは、（第４タイプ：人物の大きさ変更）が予め決められた確率で選択される。

次に、ステップＳ４０２では、変化させる対象を選択する。いま、更新回数をｎ回目とすると、ｎ−１回目に更新された対象状態Ｓ’_t,n-1を用いて、暫定的な変化状態Ｓ^*を計算する。

このときに、一度の更新処理で全ての対象の状態を変化させずに、毎回の更新処理で一つの対象の状態のみを変化させる。まず、変化タイプが人物の追加である場合には、現在「０」ベクトルとなっているＭ_i（即ち、追跡されていないＭ_i）の中からランダムに選択を行う。それ以外の場合には「０」ベクトルとなっていないＭ_i（即ち、追跡されているＭ_i）の中からランダムに選択を行う。

次に、ステップＳ４０３では、選択された人物モデルＭ_iから選択された第１〜第４タイプの各処理に従って暫定的な人物モデルＭ’_iを計算する。以下に、タイプ別の処理を説明する。

第１タイプ（人物の追加）では、次のような処理を行う。

人物モデルＭ_iが「０」ベクトルのため、人物モデルＭ_iに新たに値の設定を行う必要がある。例えば、以下のようにして値を設定できる。

三次元環境情報管理手段２１によって、人物の空間上で取り得る位置の範囲が既知であるものと仮定し、この範囲を次のように定義する。

また、人物を近似する楕円体の大きさを表すパラメータｒおよびｈに関しては、人物の大きさに関する経験的な事前知識（例えば、３ｍ（メートル）を超える身長の人はいない、など）に基づいて、取り得る値の範囲を同様に制限することができる。ここでは、この範囲を次のように定義する。

以上のような条件下で、楕円体に関するｘ，ｙ，ｒ，ｈのそれぞれのパラメータに関して一様乱数を発生させることによって、Ｍ’_iを生成することができる。

なお、第１タイプ（人物の追加）の処理は、人物が新たに追跡範囲に入ってきたことを表している。また、追跡範囲内において、予め入退室する場所（例えば、ドアの場所など）の情報が得られていれば、その近辺だけを入退室エリアと見做すことも同様に可能である。

第２タイプ（人物の消去）では、次のような処理を行う。

全ての要素を「０」と考え、Ｍ’_iを「０」ベクトルとする。即ち、第２タイプ（人物の消去）は、追跡していた人物が追跡範囲から消えたことを表している。

第３タイプ（人物の位置変更）では、次のような処理を行う。

選択されたＭ_iの要素の内、人物の二次元平面上での位置(ｘ_i，ｙ_i)に基づいて、更新回数がｎ≦Ｂの場合には式４、更新回数がｎ＞Ｂの場合には式５に従って変化させた暫定的な位置(ｘ’_i，ｙ’_i)を計算する。

ただし、Ｗ_x，Ｗ_yはそれぞれ一次元の白色ノイズであり、そのパラメータは実験的に任意の値に決めることができる。

ただし、δ_x，δ_yはそれぞれ一次元のガウスノイズであり、そのδ_x，δ_yは実験的に任意の値に決めることができる。この暫定的な位置(ｘ’_i，ｙ’_i)を用いて、以下の式のようにＭ’_iを定義する。

第４タイプ（人物の大きさ変更）では、次のような処理を行う。

選択されたＭ_iの要素の内、人物を近似する楕円体の半径ｒおよび高さｈを表す(ｒ_i，ｈ_i)から更新回数がｎ≦Ｂの場合には式７、更新回数がｎ＞Ｂの場合には式８に従って変化させた暫定的な形、大きさパラメータ(ｒ’_i，ｈ’_i)を計算する。

ただし、Ｗ_r，Ｗ_hはそれぞれ一次元の白色ノイズであり、そのパラメータは実験的に任意の値に決めることができる。

ただし、δ_r，δ_hはそれぞれ一次元のガウスノイズであり、そのδ_r，δ_hは実験的に任意の値に決めることができる。この楕円体の暫定的な形、大きさパラメータ(ｒ’_i，ｈ’_i)を用いて、次の式によってＭ’_iを定義する。

以上の各タイプで生成されたＭ’_iを用いて、暫定的に変化させた対象状態Ｓ^*を生成する。例えば、Ｓ^*は、現在時刻ｔで更新回数をｎ回目とすれば、ｎ−１回目の更新で得られた状態Ｓ’_t,n-1のうち選択された人物モデルＭ_iを変化させて生成したＭ’_iに置き換えたものになる。

次に、暫定的に変化させた対象状態Ｓ^*を用いて、シルエット画像の作成（Ｓ３０３）で作成されたシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pをシミュレートした画像（即ち、シミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_p）を作成する（Ｓ４０４）。そのシミュレーション画像の作成（Ｓ４０４）方法は、次の通りである。

まず、三次元環境情報管理手段２１と対象状態を組み合わせることによって、実世界をシミュレートした仮想シーンを構築する。なお、三次元環境情報管理手段２１には、実世界の三次元構造の情報が、床面がＸＹ平面、高さ方向がＺ軸となるような座標系を有する三次元の点群（もしくは、ポリゴンデータ）として保存されているものとする。この三次元構造内にステップＳ４０３で計算された暫定的な対象状態Ｓ^*に基づいた楕円体の三次元モデルを複数配置できる。

次に、実世界上に配置されたカメラの内部パラメータ（例えば、焦点距離，画像中心など）と外部パラメータ（カメラの三次元位置と姿勢）を用いて、仮想シーンを仮想カメラで投影処理することによって、シミュレーション画像を作成する。なお、前記内部パラメータと外部パラメータは、三次元環境情報管理手段２１に保存されているものとする。

前記投影処理は、一例として非特許文献２に記載の方法を用いて一意に行うことができる。なお、投影処理の際、画像上の楕円体領域の値を「１」、それ以外の領域の値を「０」とする２値画像とすることによって、シルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pをシミュレートしたシミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_pを作成できる。

以上が、シミュレーション画像の作成方法である。

次に、この暫定的な対象状態Ｓ^*が、どのくらい尤もらしいかを判断するために、尤度を計算する（Ｓ４０５）。尤度の計算は、事前知識による対象状態自体の確からしさの判定及びステップＳ３０３で作成されたシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pとステップＳ４０４で生成されたシミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_pの比較に基づいて計算する。

事前知識の条件による対象状態自体の尤もらしさの判定（即ち、条件に基づく確率的な尤度（即ち、条件尤度）の計算）には、次の２種類の判定が考えられる。

第１判定は、三次元環境に基づく制限を用いた判定である。三次元環境情報管理手段２１を用いて、人物状態の位置(ｘ，ｙ)に応じて、存在確率に重みをつけることができる。なお、本実施形態では、人物は床平面上に存在していることを仮定しており、空間中で対象以外に存在している静止物体の上によじ昇ったりすることはない、という条件を仮定している。その仮定の下に、例えば、人物の存在している位置(ｘ，ｙ)における三次元構造の高さに反比例する以下の式で表されるペナルティ関数Ｐ（Ｓ^*）を用意することで、存在確率に重みを付けることが可能である。

ただし、ｈ（Ｍ_i）はＭ_iの要素中の位置(ｘ_i，ｙ_i)における三次元構造のＺ値、αは定数であって実験的に任意に設定可能な値である。

第２判定は、追跡している人物同士が三次元空間上で重なることがない、という条件に基づいた判定である。即ち、人物を楕円体で近似しているため、個々の楕円体が重ならない条件（すなわち、異なる二つの楕円体の中心間の距離）が、二つの楕円体の半径の和より大きいことを満たす必要がある。

二人の人物同士が三次元空間上で重ならないようにするために、次の式で表された距離Ｒ、二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数Ｅ（Ｓ^*）を設定する。

ただし、ｘ_n，ｙ_nは人物ｎの位置ｘ座標、ｙ座標を示す。

楕円体の距離が近くなるとペナルティを与える関数Ｅは、例えば、以下の式のように設定できる。

ただし、βは定数で、実験的に任意に設定可能である。

次に、シルエット画像の作成（Ｓ３０３）によって作成されたシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pとシミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_pの比較について説明する。例えば、以下の評価式によって計算できる（即ち、条件尤度を計算する）。

ただし、（ｋ，ｌ）は、画像のｋ行ｌ列成分（画素）を示す。

上記の式では、ｐ台のカメラ全ての情報統合を行っており、複数の視点の情報を使って評価を行っている。

最終的に、暫定状態Ｓ^*の尤度Ｌは、以下の式のような積演算によって計算される。

以上の処理が、尤度の計算（Ｓ４０５）である。

次に、ステップＳ４０６では、ステップＳ４０５で計算された尤度を用いて、暫定状態Ｓ^*を受け入れて更新するか、もしくは拒否するかを判定する。この判定は、受け入れ拒否判断確率Ａの計算に基づいて判定する。受け入れ拒否判断確率Ａは、例えば、以下の式により計算できる。

ここで、現在ｎ回目の更新とすると、尤度Ｌ’はｎ−１回目に更新されたＳ’_t,n-1の尤度を表す。つまり、前回の状態よりも今回の状態の方が尤度が高ければ必ず受け入れ、そうでなければ、Ｌ／Ｌ’の確率（即ち、受け入れ拒否判断確率Ａ）で暫定状態Ｓ^*を採用する。

さらに、暫定状態Ｓ^*が採用されれば、Ｓ’_t,nがＳ^*と等しい（Ｓ’_t,n＝Ｓ^*）ものと見做し、採用が拒否されれば、Ｓ’_t,nがＳ’_t,n-1と等しい（Ｓ’_t,n＝Ｓ’_t,n-1）ものと見做して、ステップＳ４０７の条件判断ステップへ進む。

ステップＳ４０７では、更新回数ｎがＢと等しいか否かの判断を行う。更新回数ｎがＢ等しくない場合には、ステップＳ４１０の条件判断ステップへと進む。更新回数ｎがＢと等しい場合には、ステップＳ４０８の状態分布計算ステップへ進む。

ステップＳ４０８では、これまでのＢ回の更新で得られた状態に基づいて、大まかな推定として、状態分布の計算を行う。得られているＢ個の状態は、その全てが追跡している人物数や前時刻まで追跡していた人物を引き続き追跡しているか否か、といった情報が異なる可能性を有している。

以下のＫ次元ベクトルｋを用いて追跡人物数、追跡の引き継ぎの情報を表すことができる。

各Ｉ_iはそれぞれ人物モデルの状態Ｍ_iに対応しており、「０」，「１」，「２」のいずれかの値を取る。そのＩ_iのそれぞれの値は、次のように定義される。

Ｉ_iが「０」である場合には、対応するＭがゼロベクトルであり、追跡を行っていないこと。

Ｉ_iが「１」である場合には、前時刻で追跡していた人物を引き継ぎ追跡していること。

Ｉ_iが「２」である場合には、新たに現時刻の更新処理で対応するＭに人物が追加されたこと。

前記ｋベクトルが同じとなっている（ｋベクトルと等しい）状態をカウントし、最も多い得票数を得たｋベクトルが現在の追跡人物数、追跡の引き継ぎを表していると考え、最も得票数の多かったｋベクトルを保持している状態を用いて大まかな状態分布を計算する。

例えば、最大得票数がＣであり、最大得票数を得た状態をＳ’_t,iとすると、状態分布Ｓ_t'を以下の式で計算する。ただし（ｉ＝１，２，・・・，Ｃ）とし、最も得票数の多かったｋベクトルを保持している状態で、更新回数が若かった順にインデックスｉをつけることとする。

次に、条件判断ステップＳ４０９では、ステップＳ４０８得られた状態分布において、現在追跡している人数が「０」か否かを判定する。追跡人物数が「０」である場合には状態更新処理を終了する。一人でも追跡している人物がいる（追跡人物数が「０」でない）場合にはｎ回目に更新された状態を状態分布Ｓ_t'として、条件判断ステップＳ４１０へと進む。

ステップＳ４１０では、更新処理が規定の回数行われたか否かの判断が行われる。更新回数ｎが任意に決定できる定数ＢとＮの和で表される回数（Ｂ＋Ｎ回）を超えていれば処理を終了する。さらに、状態Ｓ’_t,nを対象状態分布記憶手段２２に保存しておく。最後のＮ回の更新で保存されたＮ個の状態全てが等確率に起こりうると考え、これを対象状態分布とする。また、Ｂ＋Ｎ回を超えていなければ、更新回数ｎを１増分させ、ステップＳ４０１へ戻る。

以上、述べた処理がＳ３０４である。

次に、ステップＳ３０５では、ステップＳ３０４で得られた対象状態分布から最大確率を持つ対象状態の計算を行う。ただし、ステップＳ３０４において、追跡人物数を「０」と判断された場合には、対象状態が「０」ベクトルとなるため、この計算を行わない。対象状態分布を構成するＮ個の対象状態は全て等確率で起こると仮定しているため、最大確率を持つ対象状態Ｓ_tは以下の式によって計算できる。

また、対象状態予測手段１１により、次の時刻の対象状態を予測するために、４Ｋ次元の変化ベクトルＶを以下の式によって求める。

ただし、初期時刻ｔ₀においては、上式を計算できないので、Ｖの全ての要素を「０」とする。このようにして計算したＳ_tおよびＶを対象状態記憶手段２３に保存する。

そして、ステップＳ３０６では追跡を終了するか否かをチェックする。追跡が終了なら処理を終了とし、まだ追跡を続けるのならば、次の時刻の状態の予測（Ｓ３０１）の処理を行う。例えば、時刻ｔが予め設定された所定値を超えたか否かをチェックし、所定値を超えていれば、追跡を終了する。所定値を超えていなければ、追跡を続行するために、ステップＳ３０１に戻る。また、追跡を終了するか否かをチェックするために、追跡停止指示手段（例えば、動体追跡装置に備えられたキーボード装置）を備え、その追跡停止指示手段からの追跡停止指示があった場合に、追跡を停止しても良い。

以上のように、本実施形態における処理を繰り返すことによって、動的に人数の変化する複数の人物の状態を逐次推定できる。

即ち、本実施形態は、上述のような従来技術の問題点を解決するためになされたものであり、複数のカメラ情報を統合し、対象同士が接近しても安定して追跡を行うことができる。

また、追跡人数の動的な増減に対応し、二段階の確率分布推定を行うことで、新たに追跡空間に出現した人物や、追跡空間から退出した人物を安定して追跡することができる。

また、一度に追跡する人数が増えても全体の処理量を一定に保つことができ、追跡処理の実時間性を保つことが出来る。

また、対象の位置と同時に対象の大きさも推定することで、個人差に対応した追跡を行うことができる。

なお、本実施形態では、ステップＳ４０５の処理において、一例としてシルエット画像とシミュレーション画像の比較に関して式１１を用いたが、画像間の類似度を取る評価関数（例えば、単純な積演算）を利用しても同様に実現できる。

また、本実施形態では、ステップＳ４０５の処理において、一例として環境のペナルティ関数として高さ方向で重みを付けた式１０を用いたが、人物の存在位置の重みを表現できる関数を別途に利用できることは当然である。

そして、本実施形態では、ステップＳ４０５の処理において、一例として人物の接近に関するペナルティ関数として式１１を用いたが、人物が重なった際にペナルティを与えられる任意の関数を利用できることは当然である。

なお、図１で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、図４、図６で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

さらに、上述の動体追跡装置に関する方法を記述したコンピュータプログラムを、動体追跡装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。

［実施例］
本実施例では、上述の動体追跡装置を用いて、二台のビデオカメラ（カメラＣ１およびカメラＣ２）から得られた映像を処理して、追跡範囲に一人ずつ侵入してくる２人の人物を追跡した結果を図４に示した処理フローに基づいて説明する。

まず、処理は、初期時刻ｔ₀（時刻ｔ＝０）に開始され、開始時に対象状態Ｓおよび対象状態の変化ベクトルＶを０ベクトルに初期化する（Ｓ３００）。

次に、対象状態を線形予測する（Ｓ３０１）。

次に、カメラから画像を取得する（Ｓ３０２）。なお、図７は、二台のカメラから取得した画像列の一部であり、上段がカメラＣ１から取得した画像７０１〜７０６、下段がカメラＣ２から取得した画像７０７〜７１２である。

次に、得られた画像からシルエット画像を作成する（Ｓ３０３）。背景差分法を用いて作成したシルエット画像を図８に示す。図７と同じように、上段がカメラＣ１から取得した画像から作成したシルエット画像８０１〜８０６、下段がカメラＣ２から取得した画像から作成したシルエット８０７〜８１２である。なお、図８の各シルエット画像は、図７において同じ位置に示されている各画像と対応している。

次に、ステップＳ３０４にて対象状態分布の推定を行う。即ち、ステップＳ３０４では、状態を逐次更新させながらその状態をシミュレートしたシミュレーション画像の作成を行って、そのシミュレーション画像の評価を行う。

図９において、上段はシルエット画像９０１、下段は上段のシルエット画像をシミュレートしたシミュレーション画像の一部（符号９０２から９０４で示されるシミュレーション画像）である。このように様々な状態に変化させながらシミュレーション画像を作成し、尤度の計算、受け入れ拒否演算により対象状態分布を作成する。

ステップＳ３０５では、ステップＳ３０４で計算された対象状態分布より、現在、最大確率を取る対象状態を求め、これを現時刻での対象状態として出力する。また、同時に、前時刻と現時刻での対象状態の変化ベクトルを求める。

図１０に計算された最大確率を取る対象状態を表現した画像を示す。図１０は、それぞれ上段がカメラからの画像１００１〜１００６、中段が最大確率を取る対象状態をシミュレートした画像１００７〜１０１２、下段が俯瞰図として天井にカメラが設置されているとして最大確率を取る対象状態をシミュレートした画像１０１３〜１０１８である。

人物Ｈ１と人物Ｈ２が少し時間を置いて追跡範囲に侵入した後に、すれ違い、最後にまた追跡範囲から退出する様子を明確に追跡できていることを示している。また、追跡する人数が０人→１人→２人→０人のように動的に変化しているが人物の出現と消失を行いながら安定して追跡していることが確認できる。

ステップＳ３０６では、現時刻までで、追跡を終了とする場合には、処理を終了とし、そうでない場合には、ステップＳ３０１の対象状態の予測へ戻る。

以上の実施例における処理を繰り返すことによって、２人の人物が接近してすれ違うシーンにおいても安定した追跡を行うことができる。即ち、これは複数のカメラの情報が統合されていることを示している。

また、追跡する人数が動的に変化しているが、人物の出現と消失に対応し、追跡が行えていることを示している。

さらに、このように動的に追跡する人物の人数が変化しても全体の処理量が増えるといった問題がなく、実時間性を確保している。

そして、２人の体型の違う人物に対しても、予めパラメータを与えることなく、安定した追跡を可能にしている。

これらの特徴は、複数のカメラの情報を統合し、体の大きさまで推定できるためである。

なお、実施例では、複数のカメラから取得した情報を対象にしていたが、単数のカメラから取得した情報を対象にしても同様の結果を得ることができる。

以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。

例えば、本実施形態の変形として、実験的に任意に設定可能な値（例えば、上述のＢ，Ｎ，Ｗ_x，Ｗ_y，Ｗ_r，Ｗ_h，δ_x，δ_y，δ_r，δ_h，α，βの値）を入力できる入力手段を備え、その入力手段からの入力値に基づいて、上述の動体追跡に関する処理を行っても良い。即ち、キーボード装置などを含む入力手段によって、値を動体追跡装置に入力し、その入力された値に基づいて、上述の動体追跡に関する処理を行うものである。

本実施形態における動体追跡装置の構成図。 本実施形態における動体追跡装置に関する条件を示す図。 本実施形態における動体追跡装置で用いる三次元モデル図。 本実施形態における動体追跡方法の処理手順を示すフローチャート。 本実施形態における入力画像に対応するシルエット画像を示す図。 本実施形態における対象状態分布の推定に関する処理手順を示すフローチャート。 本実施例におけるカメラから取得した画像列の一部を示した図。 本実施例におけるカメラから取得した画像列の一部から作成したシルエット画像を示した図。 本実施例においてシルエット画像および予測結果に基づいてシルエット画像をシミュレートした画像の一部を示した図。 本実施例において入力画像の一部および入力画像から計算した対象状態をシミュレートした画像とそれを俯瞰した画像を示した図。

符号の説明

１１…対象状態予測手段
１２…画像取得手段
１３…シルエット画像作成手段
１４…対象状態分布推定手段
１５…対象状態計算手段
２１…三次元環境情報管理手段
２２…対象状態分布記憶手段
２３…対象状態記憶手段
５０１…入力画像
５０２，８０１〜８１２，９０１…シルエット画像
７０１〜７１２，１００１〜１００６…カメラからの画像
９０２〜９０４…シミュレーション画像
１００７〜１０１８…対象状態をシミュレートした画像
Ｂ…非対象物体
Ｃ１，Ｃ２，Ｃｐ…カメラ
Ｈ１，Ｈ２，Ｈｋ…人物
ｅ…楕円体

Claims (6)

1. 動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡装置であって、
   各時刻に複数の前記動体の対象状態を予測する対象状態予測手段と、
   前記画像データを取得する画像取得手段と、
   前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、
   対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定手段と、
   対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて、最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算手段と、
   予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、
   各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、
   各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、
   を備え、
   前記対象状態分布推定手段が、
   前記対象状態分布記憶手段に対する最初の確率分布更新回数Ｂと対象状態に対する最後の確率分布更新回数Ｎを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択する手段と、
   前記変化タイプを適応して変化させる動体を選択する手段と、
   前記選択された変化タイプ及び前記確率分布更新回数Ｂと前記確率分布更新回数Ｎの比較結果に基づいて、選択された動体の対象状態を変化させる手段と、
   前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做す手段と、
   前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第２条件尤度と、
   前記シルエット画像とシミュレーション画像の比較に基づく第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた暫定対象状態の尤度と見做す手段と、
   前記暫定対象状態が採用されたか否かの結果に応じて、ｎ回目に予測された対象状態を決定する手段と、
   更新回数が前記確率分布計算回数Ｂと等しい場合、該Ｂ回の更新で得られた対象状態に基づいて状態分布を計算する手段と、
   前記Ｂ回の更新で得られた対象状態に基づいて状態分布に基づいて、現在追跡している動体数が０と等しいか否かを判定する手段と、
   前記動体数が０と等しくなかった場合、かつ、更新回数が記確率分布更新回数Ｂに前記確率分布更新回数Ｎを加算した回数を超えていた場合、最後のＮ回の更新で保存されたＮ個の対象状態全てが等確率に起こりうると考え、ｎ回目に予測された対象状態を対象状態分布と見做す手段と、
   を有する、
   ことを特徴とする動体追跡装置。
2. 請求項１に記載の動体追跡装置において、
   前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、
   それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、
   ことを特徴とする動体追跡装置。
3. 予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、
   各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、
   各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、
   を備え、
   動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する装置に使用される動体追跡方法であって、
   各時刻に複数の前記動体の対象状態を予測する対象状態予測ステップと、
   前記画像データを取得する画像取得ステップと、
   前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、
   対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、
   対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、
   対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、
   を有し、
   前記対象状態分布推定ステップが、
   前記対象状態分布記憶手段に対する最初の確率分布更新回数Ｂと対象状態に対する最後の確率分布更新回数Ｎを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、
   前記変化タイプを適応して変化させる動体を選択するステップと、
   前記選択された変化タイプ及び前記確率分布更新回数Ｂと前記確率分布更新回数Ｎの比較結果に基づいて、選択された動体の対象状態を変化させるステップと、
   前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做すステップと、
   前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第２条件尤度と、
   前記シルエット画像とシミュレーション画像の比較に基づく第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた暫定対象状態の尤度と見做すステップと、
   前記暫定対象状態が採用されたか否かの結果に応じて、ｎ回目に予測された対象状態を決定するステップと、
   更新回数が前記確率分布計算回数Ｂと等しい場合、該Ｂ回の更新で得られた対象状態に基づいて状態分布を計算するステップと、
   前記Ｂ回の更新で得られた対象状態に基づいて状態分布に基づいて、現在追跡している動体数が０と等しいか否かを判定するステップと、
   前記動体数が０と等しくなかった場合、かつ、更新回数が記確率分布更新回数Ｂに前記確率分布更新回数Ｎを加算した回数を超えていた場合、最後のＮ回の更新で保存されたＮ個の対象状態全てが等確率に起こりうると考え、ｎ回目に予測された対象状態を対象状態分布と見做すステップと、
   を有する、
   ことを特徴とする動体追跡方法。
4. 請求項３に記載の動体追跡方法において、
   前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、
   それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、
   ことを特徴とする動体追跡方法。
5. 請求項３または４に記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする動体追跡プログラム。
6. 請求項３または４に記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。