JP5528151B2 - 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム - Google Patents

Description

本発明は、パーティクルフィルタを用いて映像に映し出された対象物の位置を追跡する対象物追跡装置、対象物追跡方法、および対象物追跡プログラムに関する。

従来、映像に映し出された人間等の対象物の位置を、パーティクルフィルタ（particle filter）を用いて、追跡することが行われている（例えば特許文献１および非特許文献１参照）。

特許文献１および非特許文献１に記載の技術（以下、まとめて「従来技術」と称する）は、まず、映像中の対象物の画像の特徴量を求める。従来技術は、時刻ｔ−１の対象物の位置から、次の時刻ｔにおける対象物の位置の候補を示すパーティクルを複数生成し、時刻ｔの各パーティクルと時刻ｔ−１の対象物の位置との間で特徴量のマッチングを行う。そして、従来技術は、その類似度から、各パーティクルについて、そのパーティクルが時刻ｔの対象物の位置であることの尤度を算出する。そして、従来技術は、対象物毎に、最も尤度が高いパーティクルの位置を、時刻ｔにおける対象物の位置と推定する。これにより、従来技術は、同一の対象物の位置を追跡し続けることができる。

また、特に、特許文献１に記載の技術は、特徴量が対象物の輪郭曲線を示す形状特徴量である場合に、色特徴量を用いて上述の尤度を補正する。具体的には、特許文献１に記載の技術は、まず、例えば輪郭曲線内の領域の色ヒストグラムである色特徴量を、パーティクルごとに算出する。そして、特許文献１に記載の技術は、対象物の色特徴量の色ヒストグラムと各パーティクルの色ヒストグラム間の類似度を、ヒストグラムインターセクション（histogram intersection）により算出する。その後、特許文献１に記載の技術は、算出結果に基づいて上述の尤度を補正する。これにより、特許文献１に記載の技術は、輪郭曲線が類似する別の対象物が目的とする対象物の近傍に位置する場合でも、その別の対象物が誤って追跡される可能性を低減することができる。

特開２００９−８７０９０号公報

M. Isardand A. Blake, "Condensation - Conditional Density Propagation for Visual Tracking", International Journal of Computer Vision, vol.29, no.1, pp.5-28, 1998

しかしながら、従来技術では、例えば、工場などで同じ色の作業服を着ている複数の作業員が対象物である場合等、対象物間で画像の特徴量が類似する場合には、対象物の区別が困難である。したがって、従来技術では、別の対象物が誤って追跡されてしまうこと（以下「誤追跡」という）の可能性を十分に低減することができない。

本発明の目的は、誤追跡の可能性を更に低減することができる対象物追跡装置、対象物追跡方法、および対象物追跡プログラムを提供することである。

本発明の一態様に係る対象物追跡装置は、パーティクルフィルタを用いて映像に映し出された対象物の位置を追跡する対象物追跡装置であって、前記対象物の位置の候補を示すパーティクルを複数生成し、前記対象物の画像の特徴量と前記パーティクルのそれぞれの画像の特徴量とを算出する特徴量算出部と、前記パーティクル毎に、そのパーティクルの画像の特徴量と前記対象物の画像の特徴量との類似度から、そのパーティクルが前記対象物の位置であることの尤度を算出する尤度算出部と、算出された前記パーティクルの尤度に基づいて、前記対象物の位置を推定する位置推定部と、前記対象物が複数存在し、これらに対応して推定される複数の位置が重なるとき、前記尤度を補正する尤度補正部とを有する。

本発明の一態様に係る対象物追跡方法は、パーティクルフィルタを用いて映像に映し出された対象物の位置を追跡する対象物追跡方法であって、前記対象物の位置の候補を示すパーティクルを複数生成し、前記対象物の画像の特徴量と前記パーティクルのそれぞれの画像の特徴量とを算出するステップと、前記パーティクル毎に、そのパーティクルの画像の特徴量と前記対象物の画像の特徴量との類似度から、そのパーティクルが前記対象物の位置であることの尤度を算出するステップと、算出された前記パーティクルの尤度に基づいて、前記対象物の位置を推定するステップと、前記対象物が複数存在し、これらに対応して推定される複数の位置が重なるとき、前記尤度を補正するステップとを有する。

本発明の一態様に係る対象物追跡プログラムは、パーティクルフィルタを用いて映像に映し出された対象物の位置を追跡するための対象物追跡プログラムであって、コンピュータに対し、前記対象物の位置の候補を示すパーティクルを複数生成し、前記対象物の画像の特徴量と前記パーティクルのそれぞれの画像の特徴量とを算出する処理と、前記パーティクル毎に、そのパーティクルの画像の特徴量と前記対象物の画像の特徴量との類似度から、そのパーティクルが前記対象物の位置であることの尤度を算出する処理と、算出された前記パーティクルの尤度に基づいて、前記対象物の位置を推定する処理と、前記対象物が複数存在し、これらに対応して推定される複数の位置が重なるとき、前記尤度を補正する処理とを実行させる。

本発明によれば、対象物の間で推定位置が重なるときにパーティクルの尤度を補正し、誤追跡の可能性を更に低減することができる。

本発明の一実施の形態に係る対象物追跡装置を含む対象物追跡システムの構成を示すシステム構成図 本実施の形態における対象物の位置の定義を示す図 本実施の形態におけるパーティクルフィルタを用いた追跡を説明するための図 本実施の形態に係る対象物追跡装置の構成を示すブロック図 本実施の形態に係る対象物追跡装置の全体動作を示すフローチャート 本実施の形態における位置推定処理を示すフローチャート

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る対象物追跡装置を含む対象物追跡システムの構成を示すシステム構成図である。本実施の形態は、本発明を、工場内における同じ作業服を着た複数の作業員の動きを撮影映像中で追跡するシステムに適用した例で説明する。

図１において、対象物追跡システム１００は、撮像装置２００、対象物追跡装置３００、および表示装置４００を有する。撮像装置２００および表示装置４００は、対象物追跡装置３００にそれぞれ通信可能に接続されている。

撮像装置２００は、画像取得機能を備えた機器であり、例えばデジタルビデオカメラである。撮像装置２００は、例えば、工場内の様子を撮影し、撮影画像の時系列データ（撮影映像）を、対象物追跡装置３００へ出力する。

対象物追跡装置３００は、対象物追跡機能を備えた機器であり、例えばパーソナルコンピュータである。対象物追跡装置３００は、撮像装置２００から入力される撮影映像から、パーティクルフィルタを用いて、対象物の画像上の位置（以下、単に「位置」という）を追跡する（例えば特許文献１および非特許文献１参照）。但し、対象物追跡装置３００は、対象物の位置の推定に用いられるパーティクルのうち、他の対象物の位置と重なるパーティクルの尤度を下げる。そして、対象物追跡装置３００は、追跡結果を撮像映像に視覚的に重畳した画像（以下「結果表示画像」という）を生成し、表示装置４００へ出力する。

表示装置４００は、画像を表示する機能を備えた機器であり、例えば液晶ディスプレイである。表示装置４００は、対象物追跡装置３００から入力された画像（結果表示画像）を、画面上に表示する。

このように構成した対象物追跡装置３００は、画像特徴が類似している対象物が存在する場合でも、誤追跡を低減することができる。

ここで、対象物追跡装置３００が誤追跡を低減することができる理由について、パーティクルフィルタの概要と併せて簡単に説明する。

パーティクルフィルタは、ベイズフィルタの近似計算法である。時刻ｔにおける対象物の位置の確率分布は、時刻ｔ−１において検出された位置に、位置の予測、尤度観測、およびリサンプリングを適用して得ることができる。ここで、位置の予測とは、状態遷移モデルに基づく時刻ｔにおける位置の予測である。また、尤度観測とは、基準画像の特徴量に対するその対象物の画像の特徴量の類似度に基づいて、各位置の尤度を求めることである。リサンプリングとは、各位置の確率密度分布を離散化した値をピックアップすることである。基準画像は、追跡対象として登録された画像であり、例えば、過去に取得された、追跡中の対象物の画像である。対象物追跡装置３００は、画像処理により、撮影映像からの対象物の検出を周期的に行う。

図２は、本実施の形態における対象物の位置の定義を示す図である。図２に示すように、対象物追跡装置３００は、画像面に設定したＸＹ軸を用いて、検出した対象物５１０の位置を定義する情報を取得する。対象物５１０の位置を定義する情報は、例えば、対象物５１０に外接する矩形枠５２０の左上座標（ｘ，ｙ）、幅ｗ、および高さｈを含むパラメータセットである。なお、対象物５１０は、作業員の全身であっても良いし、作業員の上半身部分等、他の部分であっても良い。

図３は、パーティクルフィルタを用いた追跡の概要を説明するための図である。図３において、横軸は、各位置を概念的に示す。

図３に示すように、対象物追跡装置３００は、対象物の位置が検出される各周期において、直前の周期の時刻ｔ−１における検出結果である対象物の位置で、各位置の確率密度分布を実体化したパーティクルを生成する（Ｓ２）。ここで生成されたパーティクルで近似した確率密度分布の平均位置は、時刻ｔにおける対象物の実際の位置である可能性が高い位置である。

そして、対象物追跡装置３００は、状態遷移モデルを用いて、各パーティクルを移動させる（Ｓ３）。ここで移動されたパーティクルの密度は、次の周期の時刻ｔにおける真の確率密度分布（線５１０で表す）を離散的に表す。すなわち、移動後のパーティクルの密度の平均位置は、時刻ｔにおける対象物の実際の位置である可能性が高い位置である。対象物追跡装置３００は、移動後のパーティクル毎に、追跡対象として登録された画像に対する類似度を尤度として算出する（Ｓ４）。そして、対象物追跡装置３００は、パーティクル毎の尤度を基に算出した確率分布の重み付き平均位置を、時刻ｔにおける対象物の位置と推定する。

但し、既に述べたように、従来技術では、対象物が映像上で接近したとき、誤追跡が発生する可能性が高い。そこで、本実施の形態に係る対象物追跡装置３００は、対象物が複数存在し、これらに対応して推定される複数の位置が重なるとき、パーティクルの尤度を補正する。具体的には、対象物追跡装置３００は、第１の対象物の位置に対する第２の対象物のパーティクルの重なり領域の大きさが、第１の所定値以上であるとき、該当するパーティクルの尤度を下げる。これにより、対象物追跡装置３００は、他の対象物の画像に引きずられて誤追跡が発生する可能性を低減することができる。

また、対象物追跡装置３００は、実際に対象物の位置が重なって映し出されている場合を考慮し、そのような場合には尤度があまり高くならないことを利用して、尤度が第２の所定値以上であるときのみに尤度の補正を制限する。これにより、対象物追跡装置３００は、実際に対象物の位置が重なって映し出されているにもかかわらず尤度が下がり、位置検出不能となるのを防止することができる。

次に、対象物追跡装置３００の構成について説明する。

図４は、対象物追跡装置３００の構成を示すブロック図である。

図４において、対象物追跡装置３００は、画像取得部３１０、画像記憶部３２０、追跡指示部３３０、特徴量算出部３４０、尤度算出部３５０、位置推定部３６０、位置記憶部３７０、重なり割合算出部３８０、および尤度補正部３９０を有する。

画像取得部３１０は、撮像装置２００から画像を取得し、画像記憶部３２０へ出力する。

画像記憶部３２０は、画像取得部３１０から入力された画像を記憶する。

追跡指示部３３０は、画像記憶部３２０から画像を取得し、例えば背景差分法を適用することによって、画像から移動物体を検出する。ここでは、画像に映し出される移動物体は作業員のみであるものとする。したがって、追跡指示部３３０は、画像から、対象物を検出する。

また、追跡指示部３３０は、対象物毎に、新規に検出された対象物、または追跡中の対象物のいずれに該当するかを判定する。新規に検出された対象物とは、移動を開始した対象物、または画面に進入した対象物を指し、以下「新規対象物」という。また、追跡中の対象物とは、直前の時刻における位置が検出されている対象物を指し、以下「追跡中対象物」という。この判定の詳細については後述する。

追跡指示部３３０は、画像と、検出された各対象物の位置情報とを、特徴量算出部３４０へ出力する。位置情報は、対象物の位置（対象物に外接する矩形枠５２０の左上座標（ｘ，ｙ）、幅ｗ、および高さｈを含む）と、対象物が新規対象物と追跡中対象物のいずれであるか（以下「追跡状態」という）を示す状態フラグとを含む。また、追跡指示部３３０は、追跡中対象物について後述の特徴量算出部３４０が登録した参照ヒストグラムを、その追跡中対象物に対応付けて特徴量算出部３４０へ出力する。参照ヒストグラムについては後述する。

特徴量算出部３４０は、入力される位置情報から、各対象物の位置および追跡状態を取得する。

そして、特徴量算出部３４０は、新規対象物については、その画像を、追跡対象として登録する。具体的には、特徴量算出部３４０は、新規対象物の位置の画像領域のカラーヒストグラム（以下「参照ヒストグラム」という）を算出すると共に、状態フラグを追跡中対象物に変更する。そして、特徴量算出部３４０は、画像と、追跡対象として新規に登録された対象物の位置情報および参照ヒストグラムを、尤度算出部３５０へ出力する。追跡対象として新規に登録された対象物の位置情報および参照ヒストグラムは、つまり、追跡中対象物の初期登録情報である。

また、特徴量算出部３４０は、追跡中対象物については、パーティクルフィルタ方式に基づき、その位置周辺において、パーティクルのリサンプリングと、位置の予測と、尤度観測とを実行する。具体的には、まず、特徴量算出部３４０は、追跡中対象物の位置の周辺に、尤度の高いパーティクルを優先させて、所定の個数（例えば２００個）のパーティクルをリサンプリングする（図３のＳ１、Ｓ２）。

そして、特徴量算出部３４０は、リサンプリングしたパーティクルを状態遷移モデルに基づいて遷移させる（図３のＳ３）。例えば、特徴量算出部３４０は、対象物は等速直線運動をするとの仮定の下、単位時刻あたりの移動量とガウスノイズとを考慮した位置に移動させる状態遷移モデルを採用する。そして、特徴量算出部３４０は、画像と、各追跡中対象物の位置情報、参照ヒストグラム、およびパーティクル情報とを、尤度算出部３５０へ出力する。パーティクル情報は、生成された各パーティクルを定義する情報であり、各パーティクルの位置、つまり、パーティクルを定義する矩形枠の左上座標、幅、および高さのパラメータセット（図２参照）である。

尤度算出部３５０は、入力される画像および各対象物の参照ヒストグラムを、位置推定部３６０へ出力する。また、尤度算出部３５０は、パーティクル情報が入力されたとき、パーティクル情報から、パーティクル毎に、パーティクルフィルタにおける尤度を算出する。具体的には、尤度算出部３５０は、パーティクル毎に、カラーヒストグラムを算出する。そして、尤度算出部３５０は、算出結果と参照ヒストグラムとの類似度をヒストグラムインターセクションにより算出し、算出結果を、そのパーティクルが追跡中対象物の位置であることの尤度とする。そして、尤度算出部３５０は、各対象物の位置情報と、各パーティクルのパーティクル情報および尤度とを、重なり割合算出部３８０へ出力する。

重なり割合算出部３８０は、追跡中対象物のパーティクル毎に、他の対象物との重なり割合を算出する。重なり割合は、例えば、パーティクルの面積に対する重なり領域の面積の割合である。そして、重なり割合算出部３８０は、各対象物の位置情報と、各パーティクルのパーティクル情報、尤度、および重なり割合とを、尤度補正部３９０へ出力する。

尤度補正部３９０は、追跡中対象物が複数存在し、これらに対応して後述の位置推定部３６０により推定される複数の位置が重なるとき、パーティクルの尤度を補正する。具体的には、尤度補正部３９０は、重なり割合が第１の所定値以上であり、かつ、尤度が第２の所定値以上であるパーティクルの尤度を下げる。そして、尤度補正部３９０は、各対象物の位置情報と、各パーティクルのパーティクル情報および尤度を、位置推定部３６０へ出力する。

位置推定部３６０は、追跡中対象物毎に、移動後の各パーティクルの尤度により重み付けした確率分布の平均位置を算出する。次に、位置推定部３６０は、各パーティクルの尤度の合計値（以下「尤度合計値」という）を算出する。そして、位置推定部３６０は、算出した位置を、その追跡中対象物の時刻ｔにおける位置と推定し、推定した位置とその尤度合計値と後述のＮ個のパーティクル情報を、位置記憶部３７０へ出力する。

位置記憶部３７０は、入力された各追跡中対象物の時刻ｔにおける位置およびその尤度合計値とＮ個のパーティクル情報を記憶する。位置記憶部３７０が記憶する各追跡中対象物の位置は、上述の追跡指示部３３０および重なり割合算出部３８０によって参照される。また、位置記憶部３７０は、記憶する一連の位置の時系列データと撮影画像とを時刻で対応付けて記憶し、追跡中対象物の位置を追跡結果として撮像映像に視覚的に重畳した結果表示画像を生成し、表示装置４００へ出力する。

このような構成を有する対象物追跡装置３００は、対象物の位置の推定に用いられるパーティクルのうち、他の対象物の位置と大きく重なるパーティクルの尤度を下げて、位置推定を行うことができる。

以下、対象物追跡装置３００の動作について説明する。

図５は、対象物追跡装置３００の全体動作を示すフローチャートである。

対象物追跡装置３００の画像記憶部３２０には、撮像装置２００から送られてきた撮影映像が格納されているものとする。

まず、ステップＳ１０００において、追跡指示部３３０は、ユーザ操作（システムの利用者によりプログラムの終了ボタンが押される等）等により追跡処理の終了を指示されたか否かを判定する。追跡指示部３３０は、追跡処理の終了を指示された場合には（Ｓ１０００：ＹＥＳ）、そのまま処理を終了し、追跡処理の終了を指示されていない場合には（Ｓ１０００：ＮＯ）、ステップＳ２０００へ進む。

ステップＳ２０００において、追跡指示部３３０は、画像記憶部３２０に記憶している時刻ｔ−１の画像から、対象物を検出し、対象物毎に、位置情報を生成する。具体的には、追跡指示部３３０は、例えば、対象物追跡システム１００の起動時に取得した画像を背景画像として、背景差分法により差分画像を生成する。そして、追跡指示部３３０は、差分画像において対象物と推定される大きさあるいは形等の画像特徴を有する領域を、対象物の画像領域として検出し、その位置を定義する。そして、追跡指示部３３０は、検出した各対象物に対して、追跡状態の判定を行い、状態フラグを対応付ける。

そして、ステップＳ３０００において、追跡指示部３３０は、時刻ｔ−１の画像から検出された対象物の中から１つを選択する。

そして、ステップＳ４０００において、追跡指示部３３０は、選択した対象物が追跡を開始した対象物（以下「追跡開始対象物」という）または追跡中対象物であるか否かを判定する。

この判定は、例えば、後述の位置記憶部３７０に記憶されている時刻ｔ−１における追跡開始対象物または追跡中対象物の位置の中に、一致の度合いが一定値以上となる位置が存在するか否かに基づいて行われる。このとき、追跡指示部３３０は、過去の複数の位置情報から追跡中対象物の移動方向を算出しても良い。そして、この場合、追跡指示部３３０は、追跡中対象物が等速直線運動を行うと仮定した時の移動量および移動方向で時刻ｔ−１の位置を移動させた位置に対して、重なり割合を算出するようにしても良い。

追跡指示部３３０は、選択した対象物が追跡開始対象物または追跡中対象物ではない場合、つまり新規対象物である場合には（Ｓ４０００：ＮＯ）、ステップＳ５０００へ進む。また、追跡指示部３３０は、選択した対象物が追跡開始対象物または追跡中対象物である場合には（Ｓ４０００：ＹＥＳ）、ステップＳ８０００へ進む。

ステップＳ５０００において、特徴量算出部３４０は、選択されている対象物を追跡対象として登録する。すなわち、特徴量算出部３４０は、新規対象物の参照ヒストグラムを生成して位置情報に含むと共に、対応する状態フラグを、追跡開始対象物であることを示す内容に修正する。

そして、ステップＳ７０００において、特徴量算出部３４０は、時刻ｔ−１の画像から検出された対象物の全てに対してステップＳ４０００の処理を行ったか否かを判断する。特徴量算出部３４０は、全ての対象物を処理した場合には（Ｓ７０００：ＹＥＳ）、ステップＳ１０００へ戻り、処理していない対象物が残っている場合には（Ｓ７０００：ＮＯ）、ステップＳ３０００へ戻り、未処理の対象物を選択する。

また、ステップＳ６０００において、追跡指示部３３０は、選択されている対象物の位置情報の尤度合計値が高いか否かを判定する。追跡指示部３３０は、選択されている対象物が追跡中対象物であって上述の尤度合計値が第３の所定値以上である場合に、尤度合計値が追跡を継続するのに十分に高いと判定する。また、追跡指示部３３０は、追跡中対象物であって後述の尤度平均値が第３の所定値未満である場合に、尤度合計値が追跡を継続するには低いと判定する。追跡指示部３３０は、尤度合計値が高い場合には（Ｓ６０００：ＹＥＳ）、ステップＳ８０００へ進み、尤度合計値が低い場合には（Ｓ６０００：ＮＯ）、ステップＳ９０００へ進む。

ステップＳ８０００において、対象物追跡装置３００は、位置推定処理を行い、ステップＳ７０００へ進む。位置推定処理については後述する。

また、ステップＳ９０００において、追跡指示部３３０は、追跡継続が困難であるとして、選択されている対象物の追跡対象としての登録を破棄し、ステップＳ７０００へ進む。すなわち、追跡指示部３３０は、選択されている対象物の位置情報を破棄する。

次に、図６に示すフローチャートを用いて、位置推定処理について説明する。

まず、ステップＳ８０１０において、特徴量算出部３４０は、追跡中対象物の位置の周辺に、時刻ｔの実際の追跡中対象物の位置の候補となるパーティクルを生成して配置する。このとき、特徴量算出部３４０は、選択した対象物が追跡開始対象物である場合には、Ｎ個のパーティクルをランダムに配置する。また、特徴量算出部３４０は、選択した対象物が追跡中対象物である場合には、パーティクルの重複を許して時刻ｔ−１のパーティクルからＮ個のパーティクルを選択（リサンプリング）し、選択しないパーティクルについては破棄する。また、特徴量算出部３４０は、尤度の高いパーティクルをより多く選択することが望ましい。例えば、特徴量算出部３４０は、尤度が大きい順に、ｉ番目のパーティクルの尤度にＮをかけた値の数の分だけ選択することを、Ｎ個になるまで繰り返すようにしても良い。

そして、ステップＳ８０２０において、特徴量算出部３４０は、Ｎ個のパーティクルのそれぞれを、状態遷移モデルに基づいて移動させて、次の時刻ｔのパーティクルを生成する。状態遷移モデルは、例えば、等速直線運動の仮定の下、一定時間の移動量ｄとガウスノイズｎとを加えて、座標（ｘ_１、ｙ_１）に位置するｉ番目のパーティクルを、（ｘ_１＋ｄ_ｘ＋ｎ_ｉ,ｘ、ｙ_１＋ｄ_ｙ＋ｎ_ｉ,ｙ）に移動させる内容である。

そして、ステップＳ８０３０において、尤度算出部３５０は、対応する参照ヒストグラムに対するヒストグラムインターセクションを、移動後の各パーティクルの尤度Ｌとして算出する。ヒストグラムインターセクションは、参照ヒストグラムにおけるカラー値ｃの度数ａ_ｃと、パーティクルのヒストグラムにおけるカラー値ｃの度数ｂ_ｃとのうち小さい方の値を全てのカラー値について合計したときの値である。

そして、ステップＳ８０４０において、重なり割合算出部３８０は、選択されている追跡中対象物のパーティクルの中から１つを選択する。

そして、ステップＳ８０５０において、重なり割合算出部３８０は、他の対象物毎に、例えば以下の式（１）を用いて、選択したパーティクルの他の対象物との重なり割合Ｃｒを算出する。ここで、Ｐａは選択されているパーティクルの面積、Ｂは選択されているパーティクルと他の対象物の領域（対象物に外接する矩形枠の領域、図２参照）との重なり部分の面積である。
Ｃｒ ＝ Ｂ ／ Ｐａ ・・・・・・（１）

重なり割合算出部３８０は、他の対象物が複数存在する場合には、最も大きな重なり割合を最終的な演算結果として採用する。なお、重なり割合算出部３８０は、他の対象物の位置を、位置記憶部３７０から取得しても良いし、尤度算出部３５０から入力される位置情報から取得しても良い。

そして、ステップＳ８０６０において、尤度補正部３９０は、選択されているパーティクルが尤度の補正対象か否かを判定する。尤度補正部３９０は、重なり割合が第１の所定値以上であり、かつ、尤度が第２の所定値以上であるパーティクルを、尤度の補正対象であると判定し、他のパーティクルを、尤度の補正対象ではないと判定する。

第２の所定値は、例えば、選択されている追跡中対象物のＮ個のパーティクルの、尤度のヒストグラムの最頻値、または尤度の平均値である。第２の所定値を最頻値とした場合には、他の対象物の影響で高くなった尤度のみを低くし易いので、外れ値の影響を受け難くなり、例えば、追跡中対象物の周囲にパーティクルが均等に配置されていない場合に有効であるという利点がある。また、第２の所定値を平均値とした場合には、事前に第２の所定値を用意しておく必要が無く、計算が容易という利点がある。

尤度補正部３９０は、選択されているパーティクルが尤度の補正対象である場合には（Ｓ８０６０：ＹＥＳ）、ステップＳ８０７０へ進む。また、尤度補正部３９０は、選択されているパーティクルが尤度の補正対象ではない場合には（Ｓ８０６０：ＮＯ）、次のステップＳ８０８０へ進む。

ステップＳ８０７０において、尤度補正部３９０は、選択されているパーティクルの尤度を下げる。具体的には、尤度補正部３９０は、補正後の尤度の値を予め定めた手法で求める。パーティクルの尤度の補正の仕方は、様々な手法を採用することができる。

例えば、尤度補正部３９０は、上述の第２の所定値に対する尤度の差分を求め、重なり割合と差分との組み合わせに応じて予め求めておいた補正値を採用する。

または、尤度補正部３９０は、選択されている追跡中対象物のパーティクルの尤度の平均値に対する尤度の差分を求め、重なり割合と差分との組み合わせに応じて予め求めておいた補正値を採用する。

または、尤度補正部３９０は、選択されているパーティクルの尤度のヒストグラムの最頻値に対する尤度の差分を求め、重なり割合と差分との組み合わせに応じて予め求めておいた補正値を採用する。

または、尤度補正部３９０は、例えば、元の尤度Ｌａと重なり割合Ｃｒから、以下の式（２）を用いて補正後の尤度Ｌａ'を算出する。
Ｌａ' ＝ Ｌａ × （１ − Ｃｒ） ・・・・・・（２）

そして、ステップＳ８０８０において、尤度補正部３９０は、選択されている追跡開始対象物または追跡中対象物の全てのパーティクルについて、ステップＳ８０６０の処理を行ったか否かを判断する。尤度補正部３９０は、全てのパーティクルを処理した場合には（Ｓ８０８０：ＹＥＳ）、ステップＳ８０９０へ進む。また、尤度補正部３９０は、処理していないパーティクルが残っている場合には（Ｓ８０８０：ＮＯ）、ステップＳ８０４０へ戻り、未処理のパーティクルを選択する。ステップＳ８０４０〜Ｓ８０８０の処理を繰り返すことにより、尤度補正部３９０は、他の対象物に引きずられて尤度が高くなっているパーティクルの尤度を下げることができる。

そして、ステップＳ８０９０において、位置推定部３６０は、Ｎ個のパーティクルに対して、パーティクル毎の尤度を重みとして、パーティクルの位置について重み付き平均を求め、求めた値を、次の時刻ｔの位置と推定する。すなわち、位置推定部３６０は、求めた値で、位置記憶部３７０に格納された時刻ｔ−１の位置情報を更新する。この結果、位置記憶部３７０は、追跡中対象物の追跡結果を撮像映像に重畳した結果表示画像を、表示装置４００を用いて表示する。

また、位置推定部３６０は、追跡開始対象物であれば状態フラグを追跡中対象物を表す内容に修正し、選択されている追跡中対象物の参照ヒストグラムを位置記憶部３７０に格納する。また、位置推定部３６０は、選択されている追跡中対象物のＮ個のパーティクルの尤度合計値を、位置記憶部３７０に格納する。この尤度合計値が低い場合、追跡結果が誤っている可能性が高いため、提示すべきではない。したがって、上述のように、対象物追跡装置３００は、尤度合計値が第３の所定値未満の場合には、該当する追跡中対象物に対する追跡を終了する（図５のステップＳ６０００、Ｓ９０００参照）。

このような処理により、対象物追跡装置３００は、パーティクルフィルタを用いて対象物の位置を追跡し、複数の対象物の追跡位置が重なるとき、パーティクルの尤度を補正することができる。なお、ステップＳ１０００からステップＳ５０００へと流れる処理は、ある対象物に対する追跡初期化時の動作といえる。また、ステップＳ１０００からステップＳ８０００へと流れる処理は、ある対象物に対する追跡処理開始時および追跡処理継続時の動作といえる。また、ステップＳ１０００からステップＳ９０００へと流れる処理は、ある対象物に対する追跡処理終了時の動作といえる。

なお、対象物毎およびパーティクル毎に順に各部で処理を行う例について説明したが、対象物追跡装置３００は、複数の対象物について、また、複数のパーティクルについて一斉に上述の各処理を行っても良い。

以上説明したように、本実施の形態に係る対象物追跡装置３００は、パーティクルフィルタを用いて対象物の位置を追跡し、複数の対象物の追跡位置が重なるとき、パーティクルの尤度を補正する。これにより、複数の対象物の画像特徴が類似している場合に、従来技術では他の対象物の画像に引きずられて誤追跡が発生する可能性があるところ、対象物追跡装置３００は、このような可能性を低減することができる。

なお、以上説明した実施の形態では、対象物追跡装置３００は、尤度補正部３９０の前に、パーティクル毎に、その重なり割合を基に近接状態を判定する近接状態判定部を設けるようにしても良い。

この場合、例えば、近接状態判定部は、重なり割合が第４の所定値以上である場合にそのパーティクルが近接状態であると判定し、重なり割合が第４の所定値未満である場合にそのパーティクルが近接状態ではないと判定する。第４の所定値は、例えば、対象物の全てのパーティクルの他の対象物との重なり割合の平均値である。または、第４の所定値は、例えば、対象物の全てのパーティクルの他の対象物との重なり割合のヒストグラムの最頻値である。そして、対象物追跡装置３００は、近接状態であると判定されたパーティクルについてのみ、尤度の補正対象であるか否かの判定を行う。

このような近接状態判定を行うことにより、近接状態判定部は、重なりが発生するパーティクルであっても、尤度の補正対象外のパーティクルと判定することができ、過度に尤度を低下させることによる誤追跡を低減することが出来る。

また、対象物追跡装置３００は、対象物の移動による画像上での大きさの変化を考慮して、対象物の移動に応じてパーティクルの幅と高さをスケーリングしても良い。

例えば、撮像装置２００が床を見下ろすように撮影を行っている環境を考える。状態遷移モデルによる移動の結果、パーティクルのＹ座標の値が大きくなっている場合（図２参照）、つまり、パーティクルが画像上で鉛直下方向に移動した場合、対象物は撮像装置２００に対して近づいていると考えられる。

したがって、例えば、特徴量算出部３４０は、対象物の画像上でのＹ軸方向における移動量および移動方向と対象物のサイズ変更の比率とを対応付けたテーブルを予め格納する。そして、特徴量算出部３４０は、このテーブルを用いて、対象物が手前に移動しているときにはサイズが大きくなるように、また、対象物が奥に移動しているときにはサイズが小さくなるように、パーティクルの幅と高さとを補正する。

また、対象物追跡装置３００は、個々のパーティクルの他の対象物との重なり割合に基づいてではなく、パーティクルから推定される複数の対象物の位置が重なるか否かに基づいて、パーティクルの尤度を補正しても良い。この場合、対象物追跡装置３００は、例えば、尤度の補正を行わないまま対象物の位置を推定し、推定した位置が他の対象物の位置と重なるにもかかわらず類似度が高いようなときに、その位置付近の確率密度を下げる。

また、対象物追跡装置３００は、重なり領域の大きさが第１の所定値以上のパーティクルの尤度を下げるのではなく、重なり領域の大きさが第１の所定値未満のパーティクルの尤度を上げても良い。

また、本実施の形態では、撮像装置２００と対象物追跡装置３００とが分離された構成について説明したが、撮像装置２００と対象物追跡装置３００とは一体化された構成であっても良い。

また、本実施の形態では、本発明を、工場内における同じ作業服を着た複数の作業員の動きを撮影映像中で追跡するシステムに適用した例について説明したが、本発明の適用はこれに限定されない。本発明は、映像から対象物を追跡する他の各種装置やシステムに適用することができる。

本発明に係る対象物追跡装置、対象物追跡方法、および対象物追跡プログラムは、誤追跡の可能性を更に低減することができる対象物追跡装置、対象物追跡方法、および対象物追跡プログラムとして有用である。

１００ 対象物追跡システム
２００ 撮像装置
３００ 対象物追跡装置
３１０ 画像取得部
３２０ 画像記憶部
３３０ 追跡指示部
３４０ 特徴量算出部
３５０ 尤度算出部
３６０ 位置推定部
３７０ 位置記憶部
３８０ 重なり割合算出部
３９０ 尤度補正部
４００ 表示装置

Claims (9)

1. パーティクルフィルタを用いて映像に映し出された対象物の位置を追跡する対象物追跡装置であって、
   前記対象物の位置の候補を示すパーティクルを複数生成し、前記対象物の画像の特徴量と前記パーティクルのそれぞれの画像の特徴量とを算出する特徴量算出部と、
   前記パーティクル毎に、そのパーティクルの画像の特徴量と前記対象物の画像の特徴量との類似度から、そのパーティクルが前記対象物の位置であることの尤度を算出する尤度算出部と、
   算出された前記パーティクルの尤度に基づいて、前記対象物の位置を推定する位置推定部と、
   前記映像における第１の対象物の画像領域に対応する領域に対する、第２の対象物のパーティクルの重なり領域の大きさを算出する重なり割合算出部と、
   前記重なり領域の大きさが第１の所定値以上であるとき、前記第２の対象物のパーティクルの前記尤度を下げる尤度補正部と、
   を有する対象物追跡装置。
2. 前記第１の対象物の画像領域に対応する領域は、前記映像における前記第１の対象物の画像領域に外接する矩形領域によって定義され、前記重なり領域の大きさは、前記第２の対象物のパーティクルの面積に対する重なり領域の面積の割合である、
   請求項１記載の対象物追跡装置。
3. 前記類似度は、前記対象物の画像の色ヒストグラムと、前記パーティクルの画像の色ヒストグラムとの類似度である、
   請求項１記載の対象物追跡装置。
4. 前記尤度補正部は、
   前記重なり領域の大きさが前記第１の所定値以上であり、かつ、前記第２の対象物のパーティクルの尤度が第２の所定値以上であるとき、前記第２の対象物のパーティクルの尤度を補正する、
   請求項１記載の対象物追跡装置。
5. 前記第２の所定値は、前記第２の対象物のパーティクルの尤度の平均値である、
   請求項４記載の対象物追跡装置。
6. 前記第２の所定値は、前記第２の対象物のパーティクルの尤度のヒストグラムの最頻値である、
   請求項４記載の対象物追跡装置。
7. 前記尤度補正部は、
   前記重なり領域の大きさと前記尤度の所定値との差分とに応じた大きさで、前記尤度を補正する、
   請求項４記載の対象物追跡装置。
8. パーティクルフィルタを用いて映像に映し出された対象物の位置を追跡する対象物追跡方法であって、
   前記対象物の位置の候補を示すパーティクルを複数生成し、前記対象物の画像の特徴量と前記パーティクルのそれぞれの画像の特徴量とを算出するステップと、
   前記パーティクル毎に、そのパーティクルの画像の特徴量と前記対象物の画像の特徴量との類似度から、そのパーティクルが前記対象物の位置であることの尤度を算出するステップと、
   算出された前記パーティクルの尤度に基づいて、前記対象物の位置を推定するステップと、
   前記映像における第１の対象物の画像領域に対応する領域に対する、第２の対象物のパーティクルの重なり領域の大きさを算出するステップと、
   前記重なり領域の大きさが第１の所定値以上であるとき、前記第２の対象物のパーティクルの前記尤度を下げるステップと、
   を有する対象物追跡方法。
9. パーティクルフィルタを用いて映像に映し出された対象物の位置を追跡するための対象物追跡プログラムであって、
   コンピュータに対し、
   前記対象物の位置の候補を示すパーティクルを複数生成し、前記対象物の画像の特徴量と前記パーティクルのそれぞれの画像の特徴量とを算出する処理と、
   前記パーティクル毎に、そのパーティクルの画像の特徴量と前記対象物の画像の特徴量との類似度から、そのパーティクルが前記対象物の位置であることの尤度を算出する処理と、
   算出された前記パーティクルの尤度に基づいて、前記対象物の位置を推定する処理と、
   前記映像における第１の対象物の画像領域に対応する領域に対する、第２の対象物のパーティクルの重なり領域の大きさを算出する処理と、
   前記重なり領域の大きさが第１の所定値以上であるとき、前記第２の対象物のパーティクルの前記尤度を下げる処理と、
   を実行させる対象物追跡プログラム。

Images