JP2002334338A - 物体追跡装置及び物体追跡方法並びに記録媒体 - Google Patents
物体追跡装置及び物体追跡方法並びに記録媒体Info
- Publication number
- JP2002334338A JP2002334338A JP2001138546A JP2001138546A JP2002334338A JP 2002334338 A JP2002334338 A JP 2002334338A JP 2001138546 A JP2001138546 A JP 2001138546A JP 2001138546 A JP2001138546 A JP 2001138546A JP 2002334338 A JP2002334338 A JP 2002334338A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- frame
- image data
- motion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
- G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 初期位置が未知の物体や常動物体を扱うこと
ができ、処理の途中で追跡を失敗しても回復することが
可能な物体運動追跡装置及びその方法を提供する。 【解決手段】 観測装置から入力された時系列的な画像
データを画像メモリ装置に記憶し、そのデータを並列処
理する。その際、物体認識モジュールは、所定の情報に
基づいてフレームメモリを選択し（ＳＡ１）、その画像
データから物体の位置姿勢の評価値を算出して（ＳＡ
２）、そのデータを送信する（ＳＡ３）。運動追跡モジ
ュールは、物体認識モジュールからデータを受信し（Ｓ
Ｂ１）、現在のフレームを更新して（ＳＢ２）、その画
像データ入力が終了するまで待機し（ＳＢ３）、画像デ
ータ入力が終了すればその画像データと物体モデルを照
合して物体の位置姿勢の変位とその評価値を求め（ＳＢ
４）、求められた評価値に基づいてシステムのモードを
更新する（ＳＢ５）。
ができ、処理の途中で追跡を失敗しても回復することが
可能な物体運動追跡装置及びその方法を提供する。 【解決手段】 観測装置から入力された時系列的な画像
データを画像メモリ装置に記憶し、そのデータを並列処
理する。その際、物体認識モジュールは、所定の情報に
基づいてフレームメモリを選択し（ＳＡ１）、その画像
データから物体の位置姿勢の評価値を算出して（ＳＡ
２）、そのデータを送信する（ＳＡ３）。運動追跡モジ
ュールは、物体認識モジュールからデータを受信し（Ｓ
Ｂ１）、現在のフレームを更新して（ＳＢ２）、その画
像データ入力が終了するまで待機し（ＳＢ３）、画像デ
ータ入力が終了すればその画像データと物体モデルを照
合して物体の位置姿勢の変位とその評価値を求め（ＳＢ
４）、求められた評価値に基づいてシステムのモードを
更新する（ＳＢ５）。
Description
【０００１】
【発明の属する技術分野】本発明は、特に、時系列的、
逐次的に得られる入力画像に基づき、物体の初期位置に
関する情報を外部から与えることなく、実時間で該物体
を検出してその運動を追跡するための物体追跡装置及び
物体追跡方法並びに記録媒体に関するものである。
逐次的に得られる入力画像に基づき、物体の初期位置に
関する情報を外部から与えることなく、実時間で該物体
を検出してその運動を追跡するための物体追跡装置及び
物体追跡方法並びに記録媒体に関するものである。
【０００２】
【従来の技術】物体の運動追跡は、時系列画像データの
フレーム間における物体の位置姿勢の変位を検出する方
法であり、基本的に、フレーム間変位をビデオレート
（３０ｆｐｓ）以上の処理速度で算出することにより、
物体の実時間追跡が可能となる。しかし、これまで提案
されてきた方法では、追跡の起点となる物体の初期位置
をどのようにして求めるかということについて、ほとん
ど考慮されていない。このため、対象物体の初期位置が
既知であるような環境でしか利用されていない。
フレーム間における物体の位置姿勢の変位を検出する方
法であり、基本的に、フレーム間変位をビデオレート
（３０ｆｐｓ）以上の処理速度で算出することにより、
物体の実時間追跡が可能となる。しかし、これまで提案
されてきた方法では、追跡の起点となる物体の初期位置
をどのようにして求めるかということについて、ほとん
ど考慮されていない。このため、対象物体の初期位置が
既知であるような環境でしか利用されていない。
【０００３】初期位置が未知の物体を追跡する一つの方
法として、３次元物体認識を運動追跡の前処理として組
み合わせることが提案されている。これにより、物体の
初期位置を自動検出することが可能となる。しかしなが
ら、３次元物体認識は、シーン全体から物体の位置姿勢
を検出する方法であり、Ｍ，Ｎをそれぞれシーンとモデ
ルの特徴数とすると、一般にＯ（ＭＮ）〜Ｏ（Ｍ3Ｎ3）
の計算量を要するため、ビデオレートでの処理は困難で
ある。つまり、物体認識を組み合わせたシステムでも、
常に移動している物体（常動物体）は扱えない。
法として、３次元物体認識を運動追跡の前処理として組
み合わせることが提案されている。これにより、物体の
初期位置を自動検出することが可能となる。しかしなが
ら、３次元物体認識は、シーン全体から物体の位置姿勢
を検出する方法であり、Ｍ，Ｎをそれぞれシーンとモデ
ルの特徴数とすると、一般にＯ（ＭＮ）〜Ｏ（Ｍ3Ｎ3）
の計算量を要するため、ビデオレートでの処理は困難で
ある。つまり、物体認識を組み合わせたシステムでも、
常に移動している物体（常動物体）は扱えない。
【０００４】また、運動追跡処理においては、隠れ等の
影響により、対象物体を追跡中に「見失う」ことが避け
られない。しかし、従来の方法では、一度見失った物体
を再び追跡することは困難である。
影響により、対象物体を追跡中に「見失う」ことが避け
られない。しかし、従来の方法では、一度見失った物体
を再び追跡することは困難である。
【０００５】実用化されている運動追跡システムは、背
景差分法など、ごく単純な処理アルゴリズムに基づいた
ものだけである。このような方法は、非常に高速な処理
が可能なため、物体の初期位置を検出する必要はない
が、実現できる機能はごく限られている。例えば、物体
の６自由度の３次元位置姿勢を推定することは困難であ
る。
景差分法など、ごく単純な処理アルゴリズムに基づいた
ものだけである。このような方法は、非常に高速な処理
が可能なため、物体の初期位置を検出する必要はない
が、実現できる機能はごく限られている。例えば、物体
の６自由度の３次元位置姿勢を推定することは困難であ
る。
【０００６】
【発明が解決しようとする課題】上記のように、従来の
物体の運動追跡は、追跡対象となる物体の初期位置に関
する情報を必要としているので、初期位置が未知の物体
や常動物体を扱うことができず、処理の途中で追跡を失
敗しても回復することができなかった。このため、これ
まで数多くの運動追跡方法が提案されているが、背景差
分法などごく単純なアルゴリズムに基づくものを除き、
実質的に応用範囲はごく狭いものでしかなかった。
物体の運動追跡は、追跡対象となる物体の初期位置に関
する情報を必要としているので、初期位置が未知の物体
や常動物体を扱うことができず、処理の途中で追跡を失
敗しても回復することができなかった。このため、これ
まで数多くの運動追跡方法が提案されているが、背景差
分法などごく単純なアルゴリズムに基づくものを除き、
実質的に応用範囲はごく狭いものでしかなかった。
【０００７】本発明は、上記のような問題点に着目して
なされたもので、物体の運動を追跡するのに際して、初
期位置が未知の物体や常動物体を扱うことができ、処理
の途中で追跡を失敗しても回復することのできる物体追
跡装置、物体追跡方法及び記録媒体を提供することを目
的としている。
なされたもので、物体の運動を追跡するのに際して、初
期位置が未知の物体や常動物体を扱うことができ、処理
の途中で追跡を失敗しても回復することのできる物体追
跡装置、物体追跡方法及び記録媒体を提供することを目
的としている。
【０００８】
【課題を解決するための手段】本発明は、時系列的に得
られる画像から、初期位置が未知の物体の位置姿勢を検
出して追跡する装置及び方法並びにそのプログラムを記
録した記録媒体である。
られる画像から、初期位置が未知の物体の位置姿勢を検
出して追跡する装置及び方法並びにそのプログラムを記
録した記録媒体である。
【０００９】本発明に係る物体運動追跡装置は、時系列
的に入力される画像から物体の運動を実時間で検出して
追跡する装置であって、前記物体を含むシーンを観測
し、毎秒所定フレーム以上の入力画像データを得る観測
装置と、該観測装置から逐次的に入力される画像データ
を一時的に記憶する画像メモリ装置とを備えたものであ
る。
的に入力される画像から物体の運動を実時間で検出して
追跡する装置であって、前記物体を含むシーンを観測
し、毎秒所定フレーム以上の入力画像データを得る観測
装置と、該観測装置から逐次的に入力される画像データ
を一時的に記憶する画像メモリ装置とを備えたものであ
る。
【００１０】本発明に係る物体運動追跡方法は、観測装
置から逐次的に入力され、画像メモリ装置に一時的に記
憶された画像データに基づき、物体の運動を実時間で検
出して追跡する方法であって、対象物体の初期位置に関
する情報を得るとともに、動いている前記対象物体の運
動の追跡処理の途中で追跡に失敗したときに、該対象物
体の追跡を回復して再び追跡処理を行うようにしたもの
である。
置から逐次的に入力され、画像メモリ装置に一時的に記
憶された画像データに基づき、物体の運動を実時間で検
出して追跡する方法であって、対象物体の初期位置に関
する情報を得るとともに、動いている前記対象物体の運
動の追跡処理の途中で追跡に失敗したときに、該対象物
体の追跡を回復して再び追跡処理を行うようにしたもの
である。
【００１１】また、上記画像メモリ装置にフレーム毎に
記憶された画像データから一つのフレームを選択し、そ
のフレームにおける対象物体の位置姿勢を検出する物体
認識モジュールと、該物体認識モジュールが検出したあ
るフレームの対象物体の位置姿勢を起点として、それ以
後のフレームの対象物体の位置姿勢を追跡する運動追跡
モジュールとを具備し、前記物体認識モジュールと運動
追跡モジュールは、互いに通信を行いながら並列的に動
作するようにしたものである。
記憶された画像データから一つのフレームを選択し、そ
のフレームにおける対象物体の位置姿勢を検出する物体
認識モジュールと、該物体認識モジュールが検出したあ
るフレームの対象物体の位置姿勢を起点として、それ以
後のフレームの対象物体の位置姿勢を追跡する運動追跡
モジュールとを具備し、前記物体認識モジュールと運動
追跡モジュールは、互いに通信を行いながら並列的に動
作するようにしたものである。
【００１２】本発明に係る記録媒体は、観測装置から逐
次的に入力され、画像メモリ装置に一時的に記憶された
画像データに基づき、物体の運動を実時間で検出して追
跡する運動追跡プログラムを記録した記録媒体であっ
て、対象物体の初期位置に関する情報を得るとともに、
動いている前記対象物体の運動の追跡処理の途中で追跡
に失敗したときに、該対象物体の追跡を回復して再び追
跡処理を行うためのプログラムを記録したものである。
次的に入力され、画像メモリ装置に一時的に記憶された
画像データに基づき、物体の運動を実時間で検出して追
跡する運動追跡プログラムを記録した記録媒体であっ
て、対象物体の初期位置に関する情報を得るとともに、
動いている前記対象物体の運動の追跡処理の途中で追跡
に失敗したときに、該対象物体の追跡を回復して再び追
跡処理を行うためのプログラムを記録したものである。
【００１３】また、上記画像メモリ装置にフレーム毎に
記憶された画像データから一つのフレームを選択し、そ
のフレームにおける対象物体の位置姿勢を検出する物体
認識モジュールのためのプログラムと、該物体認識モジ
ュールが検出したあるフレームの対象物体の位置姿勢を
起点として、それ以後のフレームの対象物体の位置姿勢
を追跡する運動追跡モジュールのためのプログラムと、
前記物体認識モジュールと前記運動追跡モジュールが互
いに通信を行いながら並列的に動作するためのプログラ
ムを記録したものである。
記憶された画像データから一つのフレームを選択し、そ
のフレームにおける対象物体の位置姿勢を検出する物体
認識モジュールのためのプログラムと、該物体認識モジ
ュールが検出したあるフレームの対象物体の位置姿勢を
起点として、それ以後のフレームの対象物体の位置姿勢
を追跡する運動追跡モジュールのためのプログラムと、
前記物体認識モジュールと前記運動追跡モジュールが互
いに通信を行いながら並列的に動作するためのプログラ
ムを記録したものである。
【００１４】
【発明の実施の形態】図１は本発明による物体運動追跡
装置及びその方法を実現するためのシステム構成を示す
ブロック図である。
装置及びその方法を実現するためのシステム構成を示す
ブロック図である。
【００１５】同図において、１はシステム全体を制御す
るとともに、対象物体の運動追跡処理を実行するコンピ
ュータで、データバス２を通じて後述する各部と接続さ
れている。
るとともに、対象物体の運動追跡処理を実行するコンピ
ュータで、データバス２を通じて後述する各部と接続さ
れている。
【００１６】３は撮像素子を備えたカメラ（ここではＣ
ＣＤカメラ）からなる観測装置で、そのアナログ出力は
Ａ／Ｄ変換器４によりデジタル信号に変換される。５は
物体の画像データを一時的かつ大量（数百フレーム）に
記憶する画像メモリ装置で、Ａ／Ｄ変換器４で変換され
たデジタル信号がデータバス２を介してあるいは直接入
力される。
ＣＤカメラ）からなる観測装置で、そのアナログ出力は
Ａ／Ｄ変換器４によりデジタル信号に変換される。５は
物体の画像データを一時的かつ大量（数百フレーム）に
記憶する画像メモリ装置で、Ａ／Ｄ変換器４で変換され
たデジタル信号がデータバス２を介してあるいは直接入
力される。
【００１７】６は画像を表示するディスプレイ装置、７
は画像を印字出力するプリンタ、８はキーボードターミ
ナル、９はハードディスクで、本システムの物体運動追
跡プログラムのシステムソフトウェアや物体のモデルな
どが保存される。１０は本システムの物体運動追跡プロ
グラムを記録した記録媒体を読み取るための取り外し可
能な記録媒体装置であり、システムソフトウェアはこの
装置１０からハードディスク９にインストールされる。
は画像を印字出力するプリンタ、８はキーボードターミ
ナル、９はハードディスクで、本システムの物体運動追
跡プログラムのシステムソフトウェアや物体のモデルな
どが保存される。１０は本システムの物体運動追跡プロ
グラムを記録した記録媒体を読み取るための取り外し可
能な記録媒体装置であり、システムソフトウェアはこの
装置１０からハードディスク９にインストールされる。
【００１８】また、上記のシステムは、データバス２を
介して外部のホストコンピュータ等とも接続されてい
る。
介して外部のホストコンピュータ等とも接続されてい
る。
【００１９】図３は上記の観測装置３と画像メモリ装置
５を持つ物体運動追跡装置の構成を示す模式図である。
画像メモリ装置５は数百Ｍバイト以上の総容量を持ち、
数百フレームの画像データを蓄積可能な大容量フレーム
メモリから構成されており、入力された画像データはフ
レームメモリの先頭から順に蓄積されていく。そして、
入力された画像データ量がフレームメモリの総容量を超
えると、フレームメモリの先頭から画像データが上書き
され、これが繰り返される。
５を持つ物体運動追跡装置の構成を示す模式図である。
画像メモリ装置５は数百Ｍバイト以上の総容量を持ち、
数百フレームの画像データを蓄積可能な大容量フレーム
メモリから構成されており、入力された画像データはフ
レームメモリの先頭から順に蓄積されていく。そして、
入力された画像データ量がフレームメモリの総容量を超
えると、フレームメモリの先頭から画像データが上書き
され、これが繰り返される。
【００２０】ここで、画像メモリ装置５の個々のフレー
ムに蓄積される画像データは、観測装置３として単一の
ＣＣＤカメラを用いた場合は単一の画像データであり、
観測装置３として複数のＣＣＤカメラからなるステレオ
カメラを用いた場合は複数の画像データの組であり、ま
た観測装置３として高速レーザレンジファインダを用い
た場合は距離画像データである。
ムに蓄積される画像データは、観測装置３として単一の
ＣＣＤカメラを用いた場合は単一の画像データであり、
観測装置３として複数のＣＣＤカメラからなるステレオ
カメラを用いた場合は複数の画像データの組であり、ま
た観測装置３として高速レーザレンジファインダを用い
た場合は距離画像データである。
【００２１】そして、上記フレームメモリに蓄積される
時系列画像データに対し、物体認識と運動物体追跡の処
理モジュールが並列的にアクセスする。最大フレーム数
をＮとし、ｋ番目のフレームＦ（ｋ）に画像入力中とす
ると、各ビジョンモジュールは、データ書き込み中のＦ
（ｋ）を除き、Ｆ（ｋ−１）を最新とする。これによ
り、過去Ｎ−１フレームの時系列ステレオ画像の組に対
してアクセスすることが可能となる。
時系列画像データに対し、物体認識と運動物体追跡の処
理モジュールが並列的にアクセスする。最大フレーム数
をＮとし、ｋ番目のフレームＦ（ｋ）に画像入力中とす
ると、各ビジョンモジュールは、データ書き込み中のＦ
（ｋ）を除き、Ｆ（ｋ−１）を最新とする。これによ
り、過去Ｎ−１フレームの時系列ステレオ画像の組に対
してアクセスすることが可能となる。
【００２２】次に、図２のフローチャートに従って、本
発明の基本的な処理の流れについて説明する。
発明の基本的な処理の流れについて説明する。
【００２３】図２の（ａ）は本発明に係る物体運動追跡
方法における物体認識モジュールの処理過程を示すフロ
ーチャートである。
方法における物体認識モジュールの処理過程を示すフロ
ーチャートである。
【００２４】まず、後述するシステムのモードあるいは
運動追跡モジュールから送信された情報に基づいてフレ
ームメモリを選択し（ＳＡ１）、選んだフレームメモリ
の画像データと物体モデルとを照合して物体の位置姿勢
とその評価値を求める（ＳＡ２）。そして、運動追跡モ
ジュールで選んだフレームメモリ番号と物体の位置姿勢
及び評価値を送信し（ＳＡ３）、（ＳＡ１）からの処理
を繰り返す。
運動追跡モジュールから送信された情報に基づいてフレ
ームメモリを選択し（ＳＡ１）、選んだフレームメモリ
の画像データと物体モデルとを照合して物体の位置姿勢
とその評価値を求める（ＳＡ２）。そして、運動追跡モ
ジュールで選んだフレームメモリ番号と物体の位置姿勢
及び評価値を送信し（ＳＡ３）、（ＳＡ１）からの処理
を繰り返す。
【００２５】その際、上記選択したフレームメモリの画
像データからデータ特徴を抽出した後、物体モデルのモ
デル特徴との照合によって物体の位置姿勢に関する候補
を選択し、選んだ各候補と画像データとを再度照合して
候補から最適解を選び、その最適解の位置姿勢を微調整
し、運動追跡モジュールにフレームメモリ番号と最適解
及び解の評価値を送信する。
像データからデータ特徴を抽出した後、物体モデルのモ
デル特徴との照合によって物体の位置姿勢に関する候補
を選択し、選んだ各候補と画像データとを再度照合して
候補から最適解を選び、その最適解の位置姿勢を微調整
し、運動追跡モジュールにフレームメモリ番号と最適解
及び解の評価値を送信する。
【００２６】なお、物体認識モジュールにおける画像デ
ータと物体モデルの照合法と位置姿勢の検出法について
は、本発明の範囲外であるので、ここでは省略する。
ータと物体モデルの照合法と位置姿勢の検出法について
は、本発明の範囲外であるので、ここでは省略する。
【００２７】図２の（ｂ）は本発明に係る物体運動追跡
方法における運動追跡モジュールの処理過程を示すフロ
ーチャートである。
方法における運動追跡モジュールの処理過程を示すフロ
ーチャートである。
【００２８】まず、運動追跡の起点となるフレームメモ
リ番号と物体の位置姿勢に関するデータを物体認識モジ
ュールから受信し（ＳＢ１）、追跡対象フレームである
「現在のフレーム」を更新し（ＳＢ２）、現在のフレー
ムの画像データ入力が終了するまで待機する（ＳＢ
３）。画像データ入力が終了すれば画像データと物体モ
デルを照合して物体の位置姿勢の変位とその評価値を求
め（ＳＢ４）、求められた評価値に基づいてシステムの
モードを更新する（ＳＢ５）。そして、物体認識モジュ
ールからの送信があれば（ＳＢ１）の処理を繰り返し、
送信がなければ現在のフレームの次フレーム（現在のフ
レームが最終フレームであれば先頭フレーム）を現在の
フレームとして、（ＳＢ２）からの処理を繰り返す。
リ番号と物体の位置姿勢に関するデータを物体認識モジ
ュールから受信し（ＳＢ１）、追跡対象フレームである
「現在のフレーム」を更新し（ＳＢ２）、現在のフレー
ムの画像データ入力が終了するまで待機する（ＳＢ
３）。画像データ入力が終了すれば画像データと物体モ
デルを照合して物体の位置姿勢の変位とその評価値を求
め（ＳＢ４）、求められた評価値に基づいてシステムの
モードを更新する（ＳＢ５）。そして、物体認識モジュ
ールからの送信があれば（ＳＢ１）の処理を繰り返し、
送信がなければ現在のフレームの次フレーム（現在のフ
レームが最終フレームであれば先頭フレーム）を現在の
フレームとして、（ＳＢ２）からの処理を繰り返す。
【００２９】なお、運動追跡モジュールにおける画像デ
ータと物体モデルの照合法と物体の変位の算出法につい
ては、本発明の範囲外であるので、ここでは省略する。
ータと物体モデルの照合法と物体の変位の算出法につい
ては、本発明の範囲外であるので、ここでは省略する。
【００３０】ここで、追跡の対象物体は、例えば、移動
する人間または車両であっても良い。
する人間または車両であっても良い。
【００３１】次に、図４〜図８を参照して上述の追跡処
理について詳細に説明する。
理について詳細に説明する。
【００３２】図４に本発明における基本的な処理過程を
示す図である。同図中、横軸は時間の経過を表し、ま
た、同図の上段はフレームメモリへの画像データ入力、
中段は物体認識モジュールと運動追跡モジュールの動
作、下段はシステムのモード遷移をそれぞれ示してい
る。
示す図である。同図中、横軸は時間の経過を表し、ま
た、同図の上段はフレームメモリへの画像データ入力、
中段は物体認識モジュールと運動追跡モジュールの動
作、下段はシステムのモード遷移をそれぞれ示してい
る。
【００３３】図４に示すように、時刻ｔstartに処理を
開始したとき、フレームメモリの第０フレームＦ（０）
に画像データが入力される。しかし、各モジュールはま
だ処理を開始することができず、「待ち」の状態にあ
る。図では、待ち状態のモジュールを細線の帯で示して
いる。
開始したとき、フレームメモリの第０フレームＦ（０）
に画像データが入力される。しかし、各モジュールはま
だ処理を開始することができず、「待ち」の状態にあ
る。図では、待ち状態のモジュールを細線の帯で示して
いる。
【００３４】ｔfの期間にフレームＦ（０）への画像デ
ータ蓄積が完了すると、物体認識モジュールはフレーム
Ｆ（０）に対して処理を開始する。ここで、ｔfはフレ
ーム周期（一般にｔf＝１／３０）であり、処理中のモ
ジュールは太線の帯で示している。また、破線矢印は各
モジュールからフレームメモリへのアクセス、太線帯中
の数字は処理中のフレーム番号をそれぞれ示している。
ータ蓄積が完了すると、物体認識モジュールはフレーム
Ｆ（０）に対して処理を開始する。ここで、ｔfはフレ
ーム周期（一般にｔf＝１／３０）であり、処理中のモ
ジュールは太線の帯で示している。また、破線矢印は各
モジュールからフレームメモリへのアクセス、太線帯中
の数字は処理中のフレーム番号をそれぞれ示している。
【００３５】物体認識処理は、シーン全体から物体の位
置姿勢を検出する方法であり、前述のように、Ｍ，Ｎを
それぞれシーンとモデルの特徴数とすると、一般にＯ
（ＭＮ）〜Ｏ（Ｍ3Ｎ3）の計算量を要するため、ビデオ
レートでの処理は困難である。
置姿勢を検出する方法であり、前述のように、Ｍ，Ｎを
それぞれシーンとモデルの特徴数とすると、一般にＯ
（ＭＮ）〜Ｏ（Ｍ3Ｎ3）の計算量を要するため、ビデオ
レートでの処理は困難である。
【００３６】ここで、認識に要した処理時間をｔrecと
すると、時刻ｔstartからｔf＋ｔrecまで、システムは
物体の位置姿勢についての情報を持っていなかったこと
になる。ここでは、この状態を“ＬＯＳＴモード”と呼
ぶ。
すると、時刻ｔstartからｔf＋ｔrecまで、システムは
物体の位置姿勢についての情報を持っていなかったこと
になる。ここでは、この状態を“ＬＯＳＴモード”と呼
ぶ。
【００３７】物体認識のための処理時間の上限は、フレ
ームメモリの容量に拘束される。フレームメモリのフレ
ーム数をＮとすると、物体認識処理を開始してＮｔf秒
後には、フレームＦ（１）の画像データがＦ（ｋ＋１）
のデータで上書きされてしまう。このため、たとえＦ
（０）に対する物体認識が正常に終了しても、運動追跡
処理は破綻してしまう。したがって、物体認識時間ｔ
recは、
ームメモリの容量に拘束される。フレームメモリのフレ
ーム数をＮとすると、物体認識処理を開始してＮｔf秒
後には、フレームＦ（１）の画像データがＦ（ｋ＋１）
のデータで上書きされてしまう。このため、たとえＦ
（０）に対する物体認識が正常に終了しても、運動追跡
処理は破綻してしまう。したがって、物体認識時間ｔ
recは、
【００３８】
【数１】 でなければならない。
【００３９】運動追跡モジュールは、物体認識モジュー
ルの処理結果を受けて、図４に示す時刻ｔf＋ｔrecに処
理を開始する。同図中の実線矢印はモジュール間のデー
タ授受を表している。そして運動追跡モジュールは、物
体認識モジュールによって算出されたフレームＦ（０）
における物体の位置姿勢Ｔ（０）を基準として、フレー
ムＦ（ｉ）（ｉ＝１，２，…）における物体の位置姿勢
Ｔ（ｉ）を順次算出していく。ここで、Ｔ（ｉ）はＦ
（ｉ）における物体の位置姿勢を表す座標変換行列であ
る。
ルの処理結果を受けて、図４に示す時刻ｔf＋ｔrecに処
理を開始する。同図中の実線矢印はモジュール間のデー
タ授受を表している。そして運動追跡モジュールは、物
体認識モジュールによって算出されたフレームＦ（０）
における物体の位置姿勢Ｔ（０）を基準として、フレー
ムＦ（ｉ）（ｉ＝１，２，…）における物体の位置姿勢
Ｔ（ｉ）を順次算出していく。ここで、Ｔ（ｉ）はＦ
（ｉ）における物体の位置姿勢を表す座標変換行列であ
る。
【００４０】運動追跡の開始時点では、システムが追跡
している物体の位置姿勢は現在時刻よりもｔf＋ｔrec秒
前のデータに基づいている。このように、物体の過去の
位置姿勢を追跡している状態をここでは“ＬＯＣＫ‐Ｏ
Ｎモード”と呼ぶ。
している物体の位置姿勢は現在時刻よりもｔf＋ｔrec秒
前のデータに基づいている。このように、物体の過去の
位置姿勢を追跡している状態をここでは“ＬＯＣＫ‐Ｏ
Ｎモード”と呼ぶ。
【００４１】ＬＯＣＫ‐ＯＮモードでは、画像データ入
力中のフレーム番号ｎinと運動追跡の処理対象となるフ
レーム番号ｎtrは、時刻ｔにおいて、それぞれ、 ｎin＝ｔ／ｔf， ｎtr＝（ｔ−（ｔf＋ｔrec））／ｔtr （２） （少数以下繰り上げ）となる。ここで、ｔtrは運動追跡
処理におけるフレームあたりの平均処理時間である。
力中のフレーム番号ｎinと運動追跡の処理対象となるフ
レーム番号ｎtrは、時刻ｔにおいて、それぞれ、 ｎin＝ｔ／ｔf， ｎtr＝（ｔ−（ｔf＋ｔrec））／ｔtr （２） （少数以下繰り上げ）となる。ここで、ｔtrは運動追跡
処理におけるフレームあたりの平均処理時間である。
【００４２】ｎtrとｎinの関係は以下のようになる。す
なわち、運動追跡の開始時刻ｔf＋ｔrecには、確実にｎ
tr＜ｎinであるが、 ｔtr＜ｔf （３） であれば、ｎtrは時間の経過とともに徐々にｎinに近づ
き、時刻 ｔcatchup＝（ｔf＋ｔrec）／（ｔf−ｔtr）ｔf （４） において、ｎtr＝ｎinとなる（図４ではｎin＝ｋ）。と
ころが、このときＦ（ｎ in）はデータの書き込み中なの
で、運動追跡モジュールからのアクセスはｌｏｃｋされ
ている。したがって、Ｆ（ｎin）への書き込みが終わる
まで、運動追跡モジュールは「待ち」になる。この状態
をここでは“ＴＲＡＣＫＩＮＧモード”と呼ぶ。このＴ
ＲＡＣＫＩＮＧモードでは、物体の「現在位置」が追跡
されている。
なわち、運動追跡の開始時刻ｔf＋ｔrecには、確実にｎ
tr＜ｎinであるが、 ｔtr＜ｔf （３） であれば、ｎtrは時間の経過とともに徐々にｎinに近づ
き、時刻 ｔcatchup＝（ｔf＋ｔrec）／（ｔf−ｔtr）ｔf （４） において、ｎtr＝ｎinとなる（図４ではｎin＝ｋ）。と
ころが、このときＦ（ｎ in）はデータの書き込み中なの
で、運動追跡モジュールからのアクセスはｌｏｃｋされ
ている。したがって、Ｆ（ｎin）への書き込みが終わる
まで、運動追跡モジュールは「待ち」になる。この状態
をここでは“ＴＲＡＣＫＩＮＧモード”と呼ぶ。このＴ
ＲＡＣＫＩＮＧモードでは、物体の「現在位置」が追跡
されている。
【００４３】運動追跡モジュールの処理時間ｔtrは、フ
レーム周期ｔfによって拘束される。本システムでは、
条件（３）が成り立つときにのみ、正常な処理を行え
る。もし、ｔtr＝ｔfであれば、追跡処理は画像入力に
「追い付く」ことができず、ＬＯＣＫ‐ＯＮモードが永
久に続くことになる。さらに、ｔtr＞ｔfであれば、追
跡処理の開始からｎlapｔtr秒後には、追跡処理対象フ
レームＦ（ｎlap）の画像データがＦ（ｎlap＋Ｎ）のデ
ータで上書きされるため、追跡処理は破綻してしまう。
ここで、ｎlap＝Ｎｔf／（ｎtr−ｔf）である。
レーム周期ｔfによって拘束される。本システムでは、
条件（３）が成り立つときにのみ、正常な処理を行え
る。もし、ｔtr＝ｔfであれば、追跡処理は画像入力に
「追い付く」ことができず、ＬＯＣＫ‐ＯＮモードが永
久に続くことになる。さらに、ｔtr＞ｔfであれば、追
跡処理の開始からｎlapｔtr秒後には、追跡処理対象フ
レームＦ（ｎlap）の画像データがＦ（ｎlap＋Ｎ）のデ
ータで上書きされるため、追跡処理は破綻してしまう。
ここで、ｎlap＝Ｎｔf／（ｎtr−ｔf）である。
【００４４】運動追跡処理においては、対象物体を追跡
中に見失うことが避けられない。しかし、本発明では物
体の初期位置に関する情報を必要としないので、処理の
途中で物体を見失っても回復可能である。
中に見失うことが避けられない。しかし、本発明では物
体の初期位置に関する情報を必要としないので、処理の
途中で物体を見失っても回復可能である。
【００４５】システムがＬＯＣＫ‐ＯＮモードあるいは
ＴＲＡＣＫＩＮＧモードにあるとき、あるフレームＦ
（ｉ）での運動追跡結果の評価値Ｓtr（ｉ）が低く、閾
値θsに対して Ｓtr＜θs （５） であれば、図５に示すように、システムは物体を「見失
ったかもしれない」とみなしてＬＯＳＴモードに移行す
る。図５は追跡失敗からの回復プロセスを示す図であ
る。
ＴＲＡＣＫＩＮＧモードにあるとき、あるフレームＦ
（ｉ）での運動追跡結果の評価値Ｓtr（ｉ）が低く、閾
値θsに対して Ｓtr＜θs （５） であれば、図５に示すように、システムは物体を「見失
ったかもしれない」とみなしてＬＯＳＴモードに移行す
る。図５は追跡失敗からの回復プロセスを示す図であ
る。
【００４６】ＬＯＳＴモードからの回復のためには、二
つ方法が考えられる。一つは、ＬＯＳＴモードになって
から物体認識モジュールを起動する方法である。図５の
（ａ）に示すように、フレームＦ（ｉ）に対する追跡処
理のスコアＳtr（ｉ）によってＬＯＳＴモードに移行し
たとき、物体認識モジュールをＦ（ｉ） に対して実行
する。Ｆ（ｉ）に対する認識処理が終了したとき、認識
のスコアＳrec（ｉ）とＳtr（ｉ）とを比較し、 Ｓrec＞ωＳtr （６） ならば、ＬＯＣＫ‐ＯＮモードに移行する。ここで、ω
は重み係数である。そうでなければ、Ｆ（ｉ）では認識
不能であったとみなし、図のように、最新のフレームＦ
（ｊ）に対して改めて認識を実行する。
つ方法が考えられる。一つは、ＬＯＳＴモードになって
から物体認識モジュールを起動する方法である。図５の
（ａ）に示すように、フレームＦ（ｉ）に対する追跡処
理のスコアＳtr（ｉ）によってＬＯＳＴモードに移行し
たとき、物体認識モジュールをＦ（ｉ） に対して実行
する。Ｆ（ｉ）に対する認識処理が終了したとき、認識
のスコアＳrec（ｉ）とＳtr（ｉ）とを比較し、 Ｓrec＞ωＳtr （６） ならば、ＬＯＣＫ‐ＯＮモードに移行する。ここで、ω
は重み係数である。そうでなければ、Ｆ（ｉ）では認識
不能であったとみなし、図のように、最新のフレームＦ
（ｊ）に対して改めて認識を実行する。
【００４７】もう一つは、図５の（ｂ）に示すように、
モードに拘らず認識モジュールを常に起動しておく方法
である。あるフレームに対する認識処理が終了する毎に
条件（６）の判定を行い、認識結果が優れていれば直ち
にＬＯＣＫ‐ＯＮモードに移行する。この方法では、図
５の（ａ）の方法と比べてコンピュータの計算資源を浪
費してしまう場合もあるが、回復に要する時間は短くな
る可能性が高い。またこの方法では、異なるフレームに
対する認識処理は互いに独立しているので、多数の演算
装置を持つ並列処理環境で並列処理を行うことができれ
ば、パフォーマンスを低下させることなく、さらに回復
時間を短縮することが可能となる。
モードに拘らず認識モジュールを常に起動しておく方法
である。あるフレームに対する認識処理が終了する毎に
条件（６）の判定を行い、認識結果が優れていれば直ち
にＬＯＣＫ‐ＯＮモードに移行する。この方法では、図
５の（ａ）の方法と比べてコンピュータの計算資源を浪
費してしまう場合もあるが、回復に要する時間は短くな
る可能性が高い。またこの方法では、異なるフレームに
対する認識処理は互いに独立しているので、多数の演算
装置を持つ並列処理環境で並列処理を行うことができれ
ば、パフォーマンスを低下させることなく、さらに回復
時間を短縮することが可能となる。
【００４８】ところで、ＬＯＳＴモードになっても、運
動追跡モジュールは追跡処理を中止しない。これは、Ｌ
ＯＳＴモードに移行した場合でも、必ずしも物体を見失
っているとは限らず、部分隠れなどの影響で、一時的に
評価値が低くなっているだけかもしれないからである。
隠れの影響が少なくなり、Ｓtrが閾値を超えれば、再び
ＴＲＡＣＫＩＮＧモードに回復できる。
動追跡モジュールは追跡処理を中止しない。これは、Ｌ
ＯＳＴモードに移行した場合でも、必ずしも物体を見失
っているとは限らず、部分隠れなどの影響で、一時的に
評価値が低くなっているだけかもしれないからである。
隠れの影響が少なくなり、Ｓtrが閾値を超えれば、再び
ＴＲＡＣＫＩＮＧモードに回復できる。
【００４９】次に、本発明による常動物体の追跡及び追
跡失敗からの回復の実験を行った結果に付いて説明す
る。なお、以下の実験は、観測装置として３眼のステレ
オカメラシステムを用い、観測装置に対して剛体運動を
する、形状とサイズが既知の物体を追跡対象とした。ま
た、運動追跡失敗からの回復実験は、上記図５の（ａ）
の方法によって行った。
跡失敗からの回復の実験を行った結果に付いて説明す
る。なお、以下の実験は、観測装置として３眼のステレ
オカメラシステムを用い、観測装置に対して剛体運動を
する、形状とサイズが既知の物体を追跡対象とした。ま
た、運動追跡失敗からの回復実験は、上記図５の（ａ）
の方法によって行った。
【００５０】システムのハードウェア構成としては、パ
ーソナルコンピュータ、画像入力ボード及びステレオカ
メラがあれば良い。撮像素子を備えたカメラは、例えば
ＣＣＤカメラやＣＭＯＳカメラである。
ーソナルコンピュータ、画像入力ボード及びステレオカ
メラがあれば良い。撮像素子を備えたカメラは、例えば
ＣＣＤカメラやＣＭＯＳカメラである。
【００５１】ここで、画像入力ボードは、フレームメモ
リを増設することで、ＲＧＢ画像を適当なフレームまで
連続して蓄積することができる。本システムでは、各フ
レームのＲＧＢプレーンに３台のカメラからの画像をそ
れぞれ入力する。
リを増設することで、ＲＧＢ画像を適当なフレームまで
連続して蓄積することができる。本システムでは、各フ
レームのＲＧＢプレーンに３台のカメラからの画像をそ
れぞれ入力する。
【００５２】システムのソフトウェアは、物体認識と運
動追跡のための各ビジョンモジュールと、フレームメモ
リへの画像入力制御モジュールを加えた３つのソフトウ
ェアモジュールから構成される。ここで、画像入力制御
モジュールは、フレームメモリへの画像データ入力を監
視し、フレームメモリへの循環的な画像データ書き込み
を保証する。各モジュールはC言語を用いて記述した。
モジュールの並列動作は、ＰＯＳＩＸ スレッドによる
並行プログラミングによって実現した。
動追跡のための各ビジョンモジュールと、フレームメモ
リへの画像入力制御モジュールを加えた３つのソフトウ
ェアモジュールから構成される。ここで、画像入力制御
モジュールは、フレームメモリへの画像データ入力を監
視し、フレームメモリへの循環的な画像データ書き込み
を保証する。各モジュールはC言語を用いて記述した。
モジュールの並列動作は、ＰＯＳＩＸ スレッドによる
並行プログラミングによって実現した。
【００５３】回転テーブルを用いた運動追跡実験結果を
図６に示す。同図に示すように、カメラ間の距離を約３
０ｃｍ、カメラから対象物体までの距離を約２ｍ と
し、回転テーブルの面をｗｏｒｌｄ座標系のＸＹ平面と
平行に設置した。また追跡対象として、図に示すＬ型の
積み木を用いた。回転テーブルを毎秒約１８ｄｅｇ．の
速度で常時回転させ、図７の（ａ）の隠れのない場合
（Ａ）、図７の（ｂ）の周期的に全隠れが発生する場合
（Ｂ）のそれぞれについて処理を行った。
図６に示す。同図に示すように、カメラ間の距離を約３
０ｃｍ、カメラから対象物体までの距離を約２ｍ と
し、回転テーブルの面をｗｏｒｌｄ座標系のＸＹ平面と
平行に設置した。また追跡対象として、図に示すＬ型の
積み木を用いた。回転テーブルを毎秒約１８ｄｅｇ．の
速度で常時回転させ、図７の（ａ）の隠れのない場合
（Ａ）、図７の（ｂ）の周期的に全隠れが発生する場合
（Ｂ）のそれぞれについて処理を行った。
【００５４】図７では、追跡実験（Ａ），（Ｂ）の結果
得られた対象物体の位置姿勢の変位に基づき、物体のあ
る１点のＸ座標に関する軌跡を示している。ここで、物
体が正しく実時間追跡されていれば、軌跡は約２０秒周
期の正弦曲線を描くはずである。図８には、図７の点線
で示す時刻における物体の３次元位置姿勢推定結果を、
入力ステレオ画像の左画像上に投影して示す。
得られた対象物体の位置姿勢の変位に基づき、物体のあ
る１点のＸ座標に関する軌跡を示している。ここで、物
体が正しく実時間追跡されていれば、軌跡は約２０秒周
期の正弦曲線を描くはずである。図８には、図７の点線
で示す時刻における物体の３次元位置姿勢推定結果を、
入力ステレオ画像の左画像上に投影して示す。
【００５５】図８に示す実験（Ａ）において、Ａ０は画
像入力がスタートした時刻を示している。Ａ１はフレー
ムＦ（０）に対する物体認識が終了した時刻である。こ
こで、Ａ０からＡ１までが物体認識に要した時間ｔrec
であり、この実験では約２．３秒であった。Ａ１以後、
追跡モジュールの処理が実行され、時刻Ａ２に追跡処理
が画像入力に追い付いている（ＬＯＣＫ‐ＯＮモー
ド）。ここで、Ａ２での入力フレームはＦ（９９）であ
り、Ａ１からＡ２までに要した時間は約０．７３秒、１
フレームあたりの平均処理時間ｔtrは約７．４ミリ秒で
あった。Ａ２ 以後は、ＴＲＡＣＫＩＮＧモードに移行
し、実時間追跡が実行されていることがわかる。なお、
ｔ＝０ からＡ０までは、システムの初期化等に要した
時間である。
像入力がスタートした時刻を示している。Ａ１はフレー
ムＦ（０）に対する物体認識が終了した時刻である。こ
こで、Ａ０からＡ１までが物体認識に要した時間ｔrec
であり、この実験では約２．３秒であった。Ａ１以後、
追跡モジュールの処理が実行され、時刻Ａ２に追跡処理
が画像入力に追い付いている（ＬＯＣＫ‐ＯＮモー
ド）。ここで、Ａ２での入力フレームはＦ（９９）であ
り、Ａ１からＡ２までに要した時間は約０．７３秒、１
フレームあたりの平均処理時間ｔtrは約７．４ミリ秒で
あった。Ａ２ 以後は、ＴＲＡＣＫＩＮＧモードに移行
し、実時間追跡が実行されていることがわかる。なお、
ｔ＝０ からＡ０までは、システムの初期化等に要した
時間である。
【００５６】実験（Ｂ）では、テーブルが１回転するの
に要する約２０秒間のうち、約４秒間は対象物体の観測
が全隠れのために困難となり、追跡が失敗するようにし
た。また、式（５）の追跡失敗を判別するための閾値
は、θs＝０．５とした。またノイズ等の影響を考慮
し、追跡の評価値が３フレーム連続して閾値を下回った
場合、ＬＯＳＴモードに移行することとした。
に要する約２０秒間のうち、約４秒間は対象物体の観測
が全隠れのために困難となり、追跡が失敗するようにし
た。また、式（５）の追跡失敗を判別するための閾値
は、θs＝０．５とした。またノイズ等の影響を考慮
し、追跡の評価値が３フレーム連続して閾値を下回った
場合、ＬＯＳＴモードに移行することとした。
【００５７】図７から分るように、実験（Ｂ）において
も、処理開始から６秒後程度までは実験（Ａ）とほぼ同
様の軌跡が得られている。しかし、隠れのためＢ３で追
跡失敗と判定され、ＬＯＳＴモードに移行している。こ
のとき、物体認識モジュールがＦ（１７７）に対して直
ちに処理を開始し、時刻Ｂ４に処理を終了したが、その
認識結果は条件（６）を満たさなかった。これは、図８
から分るように、Ｂ３では物体のほぼ全体が隠れている
ためである。このため、Ｂ４でＦ（３２２）に対する認
識処理を改めて実行し、Ｂ５でＬＯＣＫ‐ＯＮモードに
移行、追跡失敗から回復することができた。
も、処理開始から６秒後程度までは実験（Ａ）とほぼ同
様の軌跡が得られている。しかし、隠れのためＢ３で追
跡失敗と判定され、ＬＯＳＴモードに移行している。こ
のとき、物体認識モジュールがＦ（１７７）に対して直
ちに処理を開始し、時刻Ｂ４に処理を終了したが、その
認識結果は条件（６）を満たさなかった。これは、図８
から分るように、Ｂ３では物体のほぼ全体が隠れている
ためである。このため、Ｂ４でＦ（３２２）に対する認
識処理を改めて実行し、Ｂ５でＬＯＣＫ‐ＯＮモードに
移行、追跡失敗から回復することができた。
【００５８】以上は、等速回転運動に対する実験結果で
あったが、対象物体を人間の手で動かす実験も行い、本
システムが物体の任意動作についても対応できることを
確認した。本システムの運動追跡モジュールはフレーム
間の物体の変位が微小であることを仮定しているため、
人間の手によって物体を急に動かした場合、追跡に失敗
するが、実験（Ｂ）と同様の過程を経て回復することが
可能であった。
あったが、対象物体を人間の手で動かす実験も行い、本
システムが物体の任意動作についても対応できることを
確認した。本システムの運動追跡モジュールはフレーム
間の物体の変位が微小であることを仮定しているため、
人間の手によって物体を急に動かした場合、追跡に失敗
するが、実験（Ｂ）と同様の過程を経て回復することが
可能であった。
【００５９】本方法が正常に動作するためには、前述の
ように、物体認識時間ｔrecと運動追跡のフレーム処理
時間ｔtrに関して、条件（１），（３）が満たされなけ
ればならなかった。実験で使用したシステムは最大フレ
ーム数が８７３なので、ｔre c？８７３×０．０３＝２
６．１９，ｔtr＜１／３０である。今回の実験における
設定では、実験結果からも分るように、この条件を満た
している。
ように、物体認識時間ｔrecと運動追跡のフレーム処理
時間ｔtrに関して、条件（１），（３）が満たされなけ
ればならなかった。実験で使用したシステムは最大フレ
ーム数が８７３なので、ｔre c？８７３×０．０３＝２
６．１９，ｔtr＜１／３０である。今回の実験における
設定では、実験結果からも分るように、この条件を満た
している。
【００６０】なお、以上述べた本発明の物体運動追跡方
法を実現するためのプログラムは所望の記憶媒体装置１
０に記録しておくことができ、コンピュータにより実行
させることができる。
法を実現するためのプログラムは所望の記憶媒体装置１
０に記録しておくことができ、コンピュータにより実行
させることができる。
【００６１】対象物体として、移動する人間または車両
を追跡するプログラムを記憶媒体装置１０に記憶してお
くこともできる。
を追跡するプログラムを記憶媒体装置１０に記憶してお
くこともできる。
【００６２】
【発明の効果】以上のように、本発明によれば、物体運
動の追跡を行うのに際して、初期位置が未知の物体や常
動物体を扱うことができ、処理の途中で追跡を失敗して
も回復することが可能となる。
動の追跡を行うのに際して、初期位置が未知の物体や常
動物体を扱うことができ、処理の途中で追跡を失敗して
も回復することが可能となる。
【図１】 本発明を実施するためのシステム構成を示す
ブロック図
ブロック図
【図２】 本発明の基本的な処理の流れを示すフローチ
ャート
ャート
【図３】 物体運動追跡装置の構成を示す模式図
【図４】 本発明の基本処理過程を示すタイムチャート
【図５】 追跡失敗からの回復プロセスを示す説明図
【図６】 回転テーブルを用いた運動追跡実験を示す説
明図
明図
【図７】 運動追跡結果を示す説明図
【図８】 運動追跡結果を示す図
１ コンピュータ ２ データバス ３ 観測装置 ４ Ａ／Ｄ変換器 ５ 画像メモリ装置 ６ ディスプレイ装置 ７ プリンタ ８ キーボードターミナル ９ ハードディスク １０ 記憶媒体装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 富田 文明 茨城県つくば市東１−１−１ 独立行政法 人 産業技術総合研究所 つくばセンター 内 (72)発明者 石山 豊 神奈川県横浜市青葉区荏田西１−３−１ スタンレー電気株式会社技術研究所内 (72)発明者 久保 文雄 神奈川県横浜市青葉区荏田西１−３−１ スタンレー電気株式会社技術研究所内 Ｆターム(参考） 5B057 BA02 BA13 CA12 CA13 CA16 CB12 CB16 DB02 DB03 DC01 DC08 DC30 DC32 5C054 AA01 CC02 CG03 EA01 EA05 EA07 FC12 GB01 GB12 5L096 AA09 CA05 FA69 FA70 HA01 HA05 JA11
Claims (10)
- 【請求項１】 時系列的に入力される画像から物体の運
動を実時間で検出して追跡する装置であって、前記物体
を含むシーンを観測し、毎秒所定フレーム以上の入力画
像データを得る観測装置と、該観測装置から逐次的に入
力される画像データを一時的に記憶する画像メモリ装置
とを備えたことを特徴とする物体運動追跡装置。 - 【請求項２】 観測装置として撮像素子を備えた単一の
カメラを用い、該カメラから時系列画像を入力すること
を特徴とする請求項１記載の物体運動追跡装置。 - 【請求項３】 観測装置として撮像素子を備えた複数の
カメラからなるステレオカメラを用い、該カメラから時
系列ステレオ画像を入力することを特徴とする請求項１
記載の物体運動追跡装置。 - 【請求項４】 観測装置として高速レーザレンジファイ
ンダを用い、該ファインダから時系列距離画像を入力す
ることを特徴とする請求項１記載の物体運動追跡装置。 - 【請求項５】 観測装置から逐次的に入力され、画像メ
モリ装置に一時的に記憶された画像データに基づき、物
体の運動を実時間で検出して追跡する方法であって、対
象物体の初期位置に関する情報を得るとともに、動いて
いる前記対象物体の運動の追跡処理の途中で追跡に失敗
したときに、該対象物体の追跡を回復して再び追跡処理
を行うようにしたことを特徴とする物体運動追跡方法。 - 【請求項６】 画像メモリ装置にフレーム毎に記憶され
た画像データから一つのフレームを選択し、そのフレー
ムにおける対象物体の位置姿勢を検出する物体認識モジ
ュールと、該物体認識モジュールが検出したあるフレー
ムの対象物体の位置姿勢を起点として、それ以後のフレ
ームの対象物体の位置姿勢を追跡する運動追跡モジュー
ルとを具備し、前記物体認識モジュールと運動追跡モジ
ュールは、互いに通信を行いながら並列的に動作するよ
うにしたことを特徴とする請求項５記載の物体運動追跡
方法。 - 【請求項７】 追跡の対象物体は、観測装置に対して剛
体運動をする、形状とサイズが既知の物体であることを
特徴とする請求項５または６記載の物体運動追跡方法。 - 【請求項８】 観測装置から逐次的に入力され、画像メ
モリ装置に一時的に記憶された画像データに基づき、物
体の運動を実時間で検出して追跡する運動追跡プログラ
ムを記録した記録媒体であって、対象物体の初期位置に
関する情報を得るとともに、動いている前記対象物体の
運動の追跡処理の途中で追跡に失敗したときに、該対象
物体の追跡を回復して再び追跡処理を行うためのプログ
ラムを記録したことを特徴とする記録媒体。 - 【請求項９】 画像メモリ装置にフレーム毎に記憶され
た画像データから一つのフレームを選択し、そのフレー
ムにおける対象物体の位置姿勢を検出する物体認識モジ
ュールのためのプログラムと、該物体認識モジュールが
検出したあるフレームの対象物体の位置姿勢を起点とし
て、それ以後のフレームの対象物体の位置姿勢を追跡す
る運動追跡モジュールのためのプログラムと、前記物体
認識モジュールと前記運動追跡モジュールが互いに通信
を行いながら並列的に動作するためのプログラムを記録
したことを特徴とする請求項８記載の記録媒体。 - 【請求項１０】 観測装置に対して剛体運動をする、形
状とサイズが既知の物体を追跡するプログラムを記録し
たことを特徴とする請求項８または９記載の記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001138546A JP2002334338A (ja) | 2001-05-09 | 2001-05-09 | 物体追跡装置及び物体追跡方法並びに記録媒体 |
| US10/078,882 US7064776B2 (en) | 2001-05-09 | 2002-02-19 | Object tracking apparatus, object tracking method and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001138546A JP2002334338A (ja) | 2001-05-09 | 2001-05-09 | 物体追跡装置及び物体追跡方法並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002334338A true JP2002334338A (ja) | 2002-11-22 |
Family
ID=18985463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001138546A Pending JP2002334338A (ja) | 2001-05-09 | 2001-05-09 | 物体追跡装置及び物体追跡方法並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7064776B2 (ja) |
| JP (1) | JP2002334338A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010279023A (ja) * | 2009-04-30 | 2010-12-09 | Canon Inc | 情報処理装置およびその制御方法 |
| JP2019003334A (ja) * | 2017-06-13 | 2019-01-10 | コニカミノルタ株式会社 | 物体追跡方法、物体追跡プログラム、および物体追跡システム |
Families Citing this family (68)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040100560A1 (en) * | 2002-11-22 | 2004-05-27 | Stavely Donald J. | Tracking digital zoom in a digital video camera |
| US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
| US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
| US7792335B2 (en) * | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
| US8155397B2 (en) | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
| US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
| US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
| US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
| US7440593B1 (en) * | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
| US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
| US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
| US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
| TWI244624B (en) * | 2004-06-04 | 2005-12-01 | Jin-Ding Lai | Device and method for defining an area whose image is monitored |
| US8059153B1 (en) | 2004-06-21 | 2011-11-15 | Wyse Technology Inc. | Three-dimensional object tracking using distributed thin-client cameras |
| US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
| US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
| US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
| US7321305B2 (en) * | 2005-07-05 | 2008-01-22 | Pinc Solutions | Systems and methods for determining a location of an object |
| US7245215B2 (en) * | 2005-02-10 | 2007-07-17 | Pinc Solutions | Position-tracking device for position-tracking system |
| US7236091B2 (en) * | 2005-02-10 | 2007-06-26 | Pinc Solutions | Position-tracking system |
| US20060210159A1 (en) * | 2005-03-15 | 2006-09-21 | Yea-Shuan Huang | Foreground extraction approach by using color and local structure information |
| JP4533824B2 (ja) * | 2005-08-30 | 2010-09-01 | 株式会社日立製作所 | 画像入力装置及び校正方法 |
| JP4413235B2 (ja) * | 2006-02-22 | 2010-02-10 | 三洋電機株式会社 | 電子カメラ |
| US7804983B2 (en) * | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
| US7965875B2 (en) | 2006-06-12 | 2011-06-21 | Tessera Technologies Ireland Limited | Advances in extending the AAM techniques from grayscale to color images |
| WO2008015586A2 (en) | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
| US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| WO2008104549A2 (en) | 2007-02-28 | 2008-09-04 | Fotonation Vision Limited | Separating directional lighting variability in statistical face modelling based on texture space decomposition |
| EP2188759A1 (en) | 2007-03-05 | 2010-05-26 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
| WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
| US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
| US20090062002A1 (en) * | 2007-08-30 | 2009-03-05 | Bay Tek Games, Inc. | Apparatus And Method of Detecting And Tracking Objects In Amusement Games |
| KR101187909B1 (ko) * | 2007-10-04 | 2012-10-05 | 삼성테크윈 주식회사 | 감시 카메라 시스템 |
| US20090097704A1 (en) * | 2007-10-10 | 2009-04-16 | Micron Technology, Inc. | On-chip camera system for multiple object tracking and identification |
| US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
| AU2008200926B2 (en) * | 2008-02-28 | 2011-09-29 | Canon Kabushiki Kaisha | On-camera summarisation of object relationships |
| US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
| US9019381B2 (en) * | 2008-05-09 | 2015-04-28 | Intuvision Inc. | Video tracking systems and methods employing cognitive vision |
| US20090300629A1 (en) * | 2008-06-02 | 2009-12-03 | Mois Navon | Scheduling of Multiple Tasks in a System Including Multiple Computing Elements |
| EP2277141A2 (en) | 2008-07-30 | 2011-01-26 | Tessera Technologies Ireland Limited | Automatic face and skin beautification using face detection |
| WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
| US8125529B2 (en) * | 2009-02-09 | 2012-02-28 | Trimble Navigation Limited | Camera aiming using an electronic positioning system for the target |
| US8379917B2 (en) | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
| FR2951565B1 (fr) * | 2009-10-20 | 2016-01-01 | Total Immersion | Procede, programme d'ordinateur et dispositif de suivi hybride de representations d'objets, en temps reel, dans une sequence d'images |
| JP2012133759A (ja) * | 2010-11-29 | 2012-07-12 | Canon Inc | 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 |
| EP2786307A1 (en) * | 2011-11-29 | 2014-10-08 | Layar B.V. | Dynamically configuring an image processing function |
| JP2014186547A (ja) * | 2013-03-22 | 2014-10-02 | Toshiba Corp | 移動物体追跡システム、方法及びプログラム |
| US10083368B2 (en) | 2014-01-28 | 2018-09-25 | Qualcomm Incorporated | Incremental learning for dynamic feature database management in an object recognition system |
| CN104905765B (zh) * | 2015-06-08 | 2017-01-18 | 四川大学华西医院 | 眼动跟踪中基于CamShift算法的FPGA实现方法 |
| CN106937052B (zh) * | 2017-03-29 | 2019-01-22 | 维沃移动通信有限公司 | 一种图像数据的处理方法及移动终端 |
| US10593049B2 (en) | 2018-05-30 | 2020-03-17 | Chiral Software, Inc. | System and method for real-time detection of objects in motion |
| CN112989938A (zh) * | 2021-02-07 | 2021-06-18 | 平安科技（深圳）有限公司 | 一种行人实时跟踪识别方法、装置、介质及设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5912980A (en) * | 1995-07-13 | 1999-06-15 | Hunke; H. Martin | Target acquisition and tracking |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| US5867584A (en) * | 1996-02-22 | 1999-02-02 | Nec Corporation | Video object tracking method for interactive multimedia applications |
| US5982420A (en) * | 1997-01-21 | 1999-11-09 | The United States Of America As Represented By The Secretary Of The Navy | Autotracking device designating a target |
| EP0893028A2 (en) * | 1997-02-06 | 1999-01-27 | Koninklijke Philips Electronics N.V. | Image segmentation and object tracking method and corresponding system |
| US6445409B1 (en) * | 1997-05-14 | 2002-09-03 | Hitachi Denshi Kabushiki Kaisha | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object |
| AU6005599A (en) * | 1998-10-07 | 2000-04-26 | Hamamatsu Photonics K.K. | High-speed vision sensor |
| US6690374B2 (en) * | 1999-05-12 | 2004-02-10 | Imove, Inc. | Security camera system for tracking moving objects in both forward and reverse directions |
| US6437819B1 (en) * | 1999-06-25 | 2002-08-20 | Rohan Christopher Loveland | Automated video person tracking system |
| US6678394B1 (en) * | 1999-11-30 | 2004-01-13 | Cognex Technology And Investment Corporation | Obstacle detection system |
| US6658136B1 (en) * | 1999-12-06 | 2003-12-02 | Microsoft Corporation | System and process for locating and tracking a person or object in a scene using a series of range images |
-
2001
- 2001-05-09 JP JP2001138546A patent/JP2002334338A/ja active Pending
-
2002
- 2002-02-19 US US10/078,882 patent/US7064776B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010279023A (ja) * | 2009-04-30 | 2010-12-09 | Canon Inc | 情報処理装置およびその制御方法 |
| US8823779B2 (en) | 2009-04-30 | 2014-09-02 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof |
| JP2019003334A (ja) * | 2017-06-13 | 2019-01-10 | コニカミノルタ株式会社 | 物体追跡方法、物体追跡プログラム、および物体追跡システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020167594A1 (en) | 2002-11-14 |
| US7064776B2 (en) | 2006-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002334338A (ja) | 物体追跡装置及び物体追跡方法並びに記録媒体 | |
| EP1952355B1 (en) | Robust online face tracking | |
| CN108961312B (zh) | 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统 | |
| US6973201B1 (en) | Person tagging in an image processing system utilizing a statistical model based on both appearance and geometric features | |
| US7231064B2 (en) | Mode-based multi-hypothesis tracking using parametric contours | |
| US8355530B2 (en) | Liveness detection method and apparatus of video image | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN108550162B (zh) | 一种基于深度强化学习的物体检测方法 | |
| CN112069879B (zh) | 一种目标人物跟随方法、计算机可读存储介质及机器人 | |
| JP7525990B2 (ja) | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム | |
| CN114339102B (zh) | 一种录像方法及设备 | |
| CN110378183B (zh) | 图像解析装置、图像解析方法及记录介质 | |
| Mikolajczyk et al. | Face detection in a video sequence-a temporal approach | |
| JP5225047B2 (ja) | 追尾撮像装置、追尾撮像方法、及びコンピュータプログラム | |
| Jiang et al. | A 500-fps pan-tilt tracking system with deep-learning-based object detection | |
| JP2002374521A (ja) | 移動体の監視方法および装置 | |
| JP4086422B2 (ja) | 被写体認識装置 | |
| WO2024114500A1 (zh) | 一种人体姿态识别方法及装置 | |
| CN113313739A (zh) | 目标跟踪方法、装置和存储介质 | |
| JP3505872B2 (ja) | 画像内動体追尾装置 | |
| KR100541618B1 (ko) | 감시용 카메라의 제어장치 및 방법 | |
| CN112184766B (zh) | 一种对象的跟踪方法、装置、计算机设备和存储介质 | |
| US20160364882A1 (en) | Image recognition system and semiconductor integrated circuit | |
| CN114529587A (zh) | 一种视频目标跟踪方法、装置、电子设备及存储介质 | |
| CN111265835A (zh) | 一种投掷运动训练设备及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080902 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081007 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081204 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081215 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090109 |