Nothing Special   »   [go: up one dir, main page]

JP6095018B2 - 移動オブジェクトの検出及び追跡 - Google Patents

移動オブジェクトの検出及び追跡 Download PDF

Info

Publication number
JP6095018B2
JP6095018B2 JP2015112896A JP2015112896A JP6095018B2 JP 6095018 B2 JP6095018 B2 JP 6095018B2 JP 2015112896 A JP2015112896 A JP 2015112896A JP 2015112896 A JP2015112896 A JP 2015112896A JP 6095018 B2 JP6095018 B2 JP 6095018B2
Authority
JP
Japan
Prior art keywords
tracking
motion
frame
feature
blob
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015112896A
Other languages
English (en)
Other versions
JP2015181042A (ja
Inventor
パンカンティ、シャラスチャンドラ、ウマパシラオ
ハンパプール、アルン
リー、ジュン
オットー、チャールズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2015181042A publication Critical patent/JP2015181042A/ja
Application granted granted Critical
Publication of JP6095018B2 publication Critical patent/JP6095018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/16Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、一般に、情報技術に関し、より詳細には、映像内のオブジェクトの画像解析に関する。
近年、民生及び軍用の目的で、偵察、監視、災害の救援、捜索及び救助、農業情報収集並びに高速リモート・センシング・マッピングへの関心はますます高まっている。例えば、無人航空機(UAV)は、そのセンサ・プラットフォームが小サイズで低コストであることから、そのような活動の実行のための魅力的なプラットフォームであり得る。しかしながら、UAVを監視システムにおいて用いる場合には、幾つかの重大な課題が生じる、カメラは高速で移動して不規則に回転し、かつ、UAV機の動きは通常は滑らかではないので、背景は著しく変化する。さらに、フレームレートが非常に低い(例えば、毎秒1フレーム)ことで、地上を移動しているターゲットの検出及び追跡の難しさはますます高まり、また、オブジェクトのサイズが小さいことで、オブジェクトの検出及び追跡に関して別の課題がもたらされることになる。また、カメラの強力な照明の変化及びストライプ・ノイズが、真の移動オブジェクトを背景から区別するときに幾つかの難問を生じさせることがある。
既存の手法はまた、オブジェクト初期化の問題も含んでおり、そのうえ、高精度の重ね合わせ(registration)結果を得ることも、ターゲットの回転及び拡大縮小変動を扱うことも、ターゲットと背景との間の類似した分布に対処することもできない。
特許文献1は、画像の多重ビューを同時に又は逐次的にキャプチャしてシーンの画像をキャプチャするための、多重のカメラの使用を開示する。画像シーケンスをレイヤ化された移動オブジェクトの2次元外観マップ及びマスクのグループに分解するための生成モデルの作成及び使用は、完全に透明であると判断されたスプライト・ピクセルが消去され、同時に、そのスプライトによって遮られる背景ピクセルも同様に消去されることを考慮している。
米国特許出願公開第2007/0104383号明細書
本発明は、移動オブジェクトの視覚的監視を行うための技術を提供することを目的とする。
本発明又はその要素の1つ又は複数の実施形態は、示される方法ステップを行うためのコンピュータ使用可能プログラム・コードを有する有形のコンピュータ可読ストレージ媒体を含むコンピュータ製品の形態で実装することができる。さらに、本発明又はその要素の1つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも1つのプロセッサとを含む装置の形態で実装することができる。さらにまた、別の態様において、本発明又はその要素の1つ又は複数の実施形態は、本明細書において説明される方法ステップの1つ又は複数を実行するための手段の形態で実装することができ、この手段は、(i)ハードウェア・モジュール、(ii)ソフトウェア・モジュール、又は(iii)ハードウェアとソフトウェアとの組み合わせを含むことができ、(i)−(iii)のいずれも、本明細書で示される特定の技術を実装し、ソフトウェア・モジュールは、有形のコンピュータ可読ストレージ媒体(又は複数のそのような媒体)内に格納される。
第1の態様の観点から見ると、本発明は、1つ又は複数の移動オブジェクトの視覚的監視を行うための方法を提供し、この方法は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることであって、1つ又は複数の画像を重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む、1つ又は複数の画像を重ね合わせることと、1つ又は複数の画像のモーション・セグメント化を行って、1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することと、1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、1つ又は複数の移動オブジェクトを追跡することと、を含む。
好ましくは、本発明は、1つ又は複数の画像を重ね合わせることが、1つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む方法を提供する。
好ましくは、本発明は、1つ又は複数の画像を重ね合わせることが、1つ又は複数のサブピクセル画像マッチング技術を用いることを含む方法を提供する。
好ましくは、本発明は、1つ又は複数の画像のモーション・セグメント化を行うことが、順方向及び逆方向フレーム差分を取ることを含む方法を提供する。
好ましくは、本発明は、順方向及び逆方向フレーム差分が、時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定を含む方法を提供する。
好ましくは、本発明は、順方向及び逆方向フレーム差分が、1つ又は複数の画像特徴の独立した動きに基づいて1つ又は複数の偽の移動ピクセルを除去することを含む方法を提供する。
好ましくは、本発明は、順方向及び逆方向フレーム差分が、形態学的操作を行うことと、1つ又は複数のモーション・ピクセルを生成することとを含む方法を提供する。
好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、ハイブリッド・ターゲット追跡を行うことを含む方法を提供し、ハイブリッド・ターゲット追跡は、Kanade−Lucas−Tomasi特徴トラッカ及び平均値シフトを用いることと、自動カーネル・スケール推定及び更新を用いることと、1つ又は複数の特徴軌道を用いることとを含む。
好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、1つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく1つ又は複数の多重ターゲット追跡アルゴリズムを用いることを含む、方法を提供する。
好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、モーション・マップを生成することと、1つ又は複数の移動オブジェクトを識別することと、オブジェクト初期化及びオブジェクト確認を行うことと、モーション・マップ内の1つ又は複数のオブジェクト領域を識別することと、1つ又は複数の特徴を抽出することと、モーション・マップ内に探索領域を設定することと、モーション・マップ内の1つ又は複数の候補領域を識別することと、平均値シフト(meanshift)追跡することと、1つ又は複数の候補領域内の1つ又は複数の移動オブジェクトを識別することと、Kanade−Lucas−Tomasi特徴マッチングを行うことと、アフィン変換を行うことと、Bhattacharyya係数によって最終領域決定を行うことと、ターゲット・モデル及び軌道の情報を更新することとを含む、方法を提供する。
好ましくは、本発明は、1つ又は複数の移動オブジェクトを追跡することが、基準面ベースの重ね合わせ及び追跡を含む方法を提供する。
好ましくは、本発明は、各カメラ・ビューを1つ又は複数の他のカメラ・ビューと関連付けることをさらに含む方法を提供する。
好ましくは、本発明は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像からパノラマ・ビューを形成することをさらに含む方法を提供する。
好ましくは、本発明は、各カメラの動きを、パノラマ・ビュー内の1つ又は複数の静止オブジェクトの映像情報に基づいて推定することをさらに含む方法を提供する。
好ましくは、本発明は、パノラマ・ビュー内の1つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる1つ又は複数の移動オブジェクトの統計的解析とに基づいて推定することをさらに含む方法を提供する。
好ましくは、本発明は、自動特徴抽出をさらに含む方法を提供し、自動特徴抽出は、画像をフレーム化することと、ガウス平滑化操作を行うことと、ケニー(canny)検出器を用いて1つ又は複数の特徴エッジを抽出することと、特徴解析のためのハフ変換を実施することと、変換空間における多重ピークの影響を低減するために最大応答ファインディング(finding)を決定することと、特徴の長さが特定の閾値を上回るか否か判定し、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を実施することとを含む。
好ましくは、本発明は、自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証を行うこととをさらに含む方法を提供する。
好ましくは、本発明は、外れ値除去を行って1つ又は複数の間違った移動オブジェクト・マッチを除去することをさらに含む方法を提供する。
好ましくは、本発明は、偽ブロブ・フィルタリングをさらに含む方法を提供し、偽ブロブフィルタリングは、モーション・マップを生成することと、連結成分プロセスを適用して各ブロブ・データをリンクすることと、モーション・ブロブ・テーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて1つ又は複数の特徴を抽出することと、Kanade−Lucas−Tomasi法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブをブロブ・テーブルから削除することとを含む。
好ましくは、本発明は、時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲット・モデルを更新することをさらに含む方法を提供する。
好ましくは、本発明は、パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成することをさらに含む方法を提供する。
好ましくは、本発明は、クエリと索引内のエントリとの間の類似度メトリックを決定することをさらに含む方法を提供する。
好ましくは、本発明は、システムを提供することをさらに含む方法を提供し、このシステムは、1つ又は複数の別個のソフトウェア・モジュールを含み、1つ又は複数の別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、1つ又は複数の別個のソフトウェア・モジュールは、ハードウェア・プロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む。
別の態様の観点から見ると、本発明は、1つ又は複数の移動オブジェクトの視覚的監視を行うためのコンピュータ使用可能プログラム・コードを含む有形のコンピュータ可読記録可能ストレージ媒体を含むコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせるためのコンピュータ使用可能プログラム・コードであって、1つ又は複数の画像を重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む、コンピュータ使用可能プログラム・コードと、1つ又は複数の画像のモーション・セグメント化を行って、1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出するためのコンピュータ使用可能プログラム・コードと、1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、1つ又は複数の移動オブジェクトを追跡するためのコンピュータ使用可能プログラム・コードとを含む。
別の態様の観点から見ると、本発明は、1つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムを提供し、このシステムは、メモリと、メモリに結合されたプロセッサとを含み、このプロセッサは、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることであって、1つ又は複数の画像を重ね合わせることが、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む、1つ又は複数の画像を重ね合わせることと、1つ又は複数の画像のモーション・セグメント化を行って、1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することと、1つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記1つ又は複数の移動オブジェクトを追跡することとを行うように動作可能である。
以下、添付の図面を参照して本発明の好ましい実施形態を例示をのみを目的として説明する。
本発明の好ましい実施形態によるサブピクセル位置推定を示す図である。 本発明の好ましい実施形態によるサブ領域選択を示す図である。 本発明の好ましい実施形態による順方向及び逆方向の幾何学的重ね合わせを示す図である。 本発明の好ましい実施形態による順方向及び逆方向フレーム差分を取ることを示す流れ図である。 本発明の好ましい実施形態による偽ブロブ・フィルタリングを示す流れ図である。 本発明の好ましい実施形態による多重オブジェクト追跡を示す流れ図である。 本発明の好ましい実施形態による基準面ベースの重ね合わせ及び追跡を示す図である。 本発明の好ましい実施形態による自動都市道路抽出を示す流れ図である。 本発明の好ましい態様によるオブジェクト検出及び追跡システムのアーキテクチャを示すブロック図である。 本発明の好ましい実施形態による1つ又は複数の移動オブジェクトの視覚的監視を行うための技術を示す流れ図である。 本発明の好ましい実施形態を実装することができる例示的なコンピュータ・システムのシステム図である。
本発明の原理は、視覚的監視における移動オブジェクトの検出、追跡、及び探索を含む。移動オブジェクト及び1つ又は複数の移動カメラを含む例示的な設定において、本発明の1つ又は複数の実施形態は、モーション・セグメント化(背景領域に対するモーション・ブロブ(blob))、多重オブジェクト追跡(例えば、経時的に一貫した追跡)、並びに基準面に基づく重ね合わせ及び追跡を含む。本明細書において詳述するように、本発明の1つ又は複数の実施形態は、例えば可動プラットフォーム(例えば、無人航空機(UAV)ビデオ)に取り付けられた、多重のカメラ(例えば、互いに位置合わせされたもの)を用いて、カメラから受け取った画像から、大域的/局所的幾何学的重ね合わせ、モーション・セグメント化、移動オブジェクト追跡、基準面ベースの重ね合わせ及び追跡、並びに自動都市道路抽出に基づいてパノラマ・ビューを形成することにより、移動オブジェクトを検出、追跡、及び探索することを含む。
本明細書において説明される技術は、再帰的な幾何学的重ね合わせを含み、これは、全フレームの代わりに隣接フレームに対する領域ベースの画像重ね合わせ、サブピクセル画像マッチング技術、及びレンズの幾何学的歪みを扱うための領域ベースの幾何学的変換を含む。また、本発明の1つ又は複数の実施形態は、2方向動き検出、並びに、色及び特徴を用いたハイブリッド・ターゲット追跡を含む。2方向動き検出は、順方向及び逆方向フレーム差分を取ること、時間的及び/又は空間的フィルタリングに基づく自動動的閾値推定、並びに、特徴の独立した動きに基づく偽の移動ピクセルの除去を含む。ハイブリッド・ターゲット追跡は、Kanade−Lucas−Tomasi特徴トラッカ(KLT)及び平均値シフト、自動カーネル・スケール推定及び更新、並びに特徴軌道のコヒーレント運動を用いた経時的に一貫した追跡を含む。
さらに、本明細書において詳述される技術は、小ターゲットのための特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズム、並びに、例えば、小型サイズのターゲット(例えば、既知の形状モデル無し)の検出及び追跡のための低フレームレート(1f/s)のUAV監視システムの実装を含む。
本明細書において記載されているように、本発明の1つ又は複数の実施形態は、映像(例えば、UAV映像)の大域的及び局所的幾何学的重ね合わせを含む。カメラの動きの影響を低減するために、フレーム毎の映像重ね合わせプロセスが実装される。2つの画像を正確に重ね合わせる方法は、各画像内の全てのピクセルのマッチングを含むことができる。しかしながら、この高い計算量は実行可能ではない。効率的な手法は、画像内の再び見つけ出しやすい特徴点の比較的小さい集合を見つけ出し、これらの点のみを用いてフレーム毎のホモグラフィを推定することである。例示のみを目的として、1280×1280ピクセルの画像に対して、500−600個の特徴点を抽出することができる。
Harrisコーナー検出器は、拡大縮小、回転及び照明の変動に対して不変であることから、画像重ね合わせ及び動き検出に適用することが可能である。本発明の1つ又は複数の実施形態において、Harrisコーナー検出器を特徴点検出器として使用することができる。そのアルゴリズムは以下のように記述することができる。
1.画像I内のピクセルについて、そのx及びy方向の導関数Ix及びIy、並びにIxy=IxIyを計算する。
2.窓関数Aを適用する。すなわち、hx=AIx、hy=AIy、hxy=AIxyとする。
3.
Figure 0006095018
(κは定数である)を計算して、両方向における変動を測定する。
4.Hに閾値を適用して局所極大を求め、コーナーを得る。
窓を比較するために、本発明の1つ又は複数の実施形態は、効率的な統計学的方法である正規化相関係数を用いることを含む。実際の特徴マッチングは、その点を囲む小さな窓にわたって相関係数を最大化することにより達成される。相関係数は、次式で与えられる。
Figure 0006095018
式中、
(r,c)は、テンプレート行列の個々のグレー値を表し、
は、テンプレート行列の平均グレー値を表し、
(r,c)は、サーチ行列の対応する部分の個々のグレー値を表し、
は、サーチ行列の対応する部分の平均グレー値を表し、
R、Cは、テンプレート行列の行及び列の数を表す。
従って、ブロックマッチング・プロセスは以下のようにして達成される。基準フレーム内の各点について、選択されたフレーム内の全ての点が検査され、その中で最も類似した点が選択される。次に、達成された相関が合理的に高いか否かが検定される。極大相関係数を有する点が候補点と採用される。
映像重ね合わせは、実時間実施を必要とする。本発明の1つ又は複数の実施形態において、ブロックマッチング・アルゴリズムは、特徴に対してのみ実施される。そのため、計算費用を著しく削減することができる。
本発明の1つ又は複数の実施形態は、対応する特徴の確認及び外れ値除去を含む。特徴ベースのブロックマッチングは、ときにはミスマッチを生じさせることがある。ミスマッチ問題を回避するために、本発明の1つ又は複数の実施形態は、順方向探索を用いて、手に余る場合のミスマッチ・データを処理して、最大勾配値を有する対応する特徴の候補を保持し、その他を除去することを含む。また、逆方向探索を使用して、同じ手法を用いて残りのミスマッチ問題を解決する。
多くの場合、類似した属性を有する一対の特徴は、マッチとして受理される。それでもなお、幾つかの偽マッチが生じることがある。従って、本発明の1つ又は複数の実施形態において、間違ったマッチを除去して重ね合わせの精度を改善するために、ランダム・サンプル・コンセンサス(RANSAC)外れ値除去手順が実行される。
本明細書において詳述される技術は、付加的に、粗密(coarse−to−fine)特徴マッチングを含むことができる。多重解像度特徴マッチングは、探索空間及び偽マッチングを低減することができる。最も粗い解像度のレイヤにおいて特徴マッチングが実行され、探索範囲が決定される。現在の解像度のレイヤにおいて、直前のレイヤにおけるマッチング結果を初期結果として採用することができ、マッチング・プロセスは、上記式(1)を用いて実行することができる。本発明の1つ又は複数の実施形態において、探索範囲は1−3ピクセルに制限される。さらに、最高解像度のレイヤに達するまで、同じ操作を繰り返すことができる。
本明細書においてさらに説明されるように、本発明の1つ又は複数の実施形態は、正確な位置決定を含む。映像の重ね合わせ及び動き検出の目的にとっては、ピクセル・レベルの精度では十分とはいえないことがある。そのような場合には、サブピクセル位置手法が検討され、ピークに対して距離ベースの重み付け補間が決定される。特徴に対して、ピークの水平位置及び垂直位置を別々に推定することができる。また、1次元の水平及び垂直相関曲線を得ることができる。さらに、x、y方向における相関値が別々に補間され、ピークの正確な位置が計算される。例として、図1は、本発明の実施形態によるサブピクセル位置推定を示す図である。
本明細書において説明される技術はまた、局所的幾何学的重ね合わせも含む。例として、サブ領域の幾何学的重ね合わせを選択することができ、フレーム全体を2×2のサブ領域に分割することができる。図2は、2つの選択モデルを示す。
図2は、本発明の好ましい実施形態によるサブ領域選択を示す図である。例として、図2は、サブ領域選択モデル202及びサブ領域選択モデル204を示す。
本発明の1つ又は複数の実施形態はまた、例えば、以下のようなアフィン・ベースの局所的変換も含む。
Figure 0006095018
式中、(x,y)は、(u,v)の新たに変換された座標であり、(a,b)(j,k=1,2,3)は、変換パラメータの集合である。さらに、各サブ領域について局所的変換パラメータを求めるために、本発明は1つ又は複数の実施形態は、最小二乗法を用いて変換パラメータを計算することを含む。
本発明の1つ又は複数の実施形態はまた、順方向/逆方向のフレーム毎の重ね合わせも含む。例えば、急速なカメラの動き、強い照明変動及び激しいストライプ・ノイズの場合には、残差の伝播を回避するために、順方向/逆方向のフレーム毎の重ね合わせを実行して多重フレーム差分を取る。図3は手法を示す。
図3は、本発明の一実施形態による順方向及び逆方向の幾何学的重ね合わせを示す図である。例として、図3は、フレーム302(F−1)、フレーム304(F)、及びフレーム306(F+1)を示す。基準フレームとして採用されるフレーム304(F)におけるオブジェクトの動きを推定するために、前のフレーム302(F−1)及び次のフレーム306(F+1)が基準フレームに幾何学的に重ね合わされる。各フレームに関する動きの推定がこのようにして実行される。
順方向/逆方向フレーム差分を取ることは、動き検出のために実施することもできる。本発明の1つ又は複数の実施形態で用いられる手法の図を図4に示す。図4は、本発明の一実施形態による順方向及び逆方向フレーム差分を取ることを示す流れ図である。ステップ408及び410において順方向/逆方向のフレーム毎の画像(例えば、フレーム402、フレーム404及びフレーム406)を幾何学的に重ね合わせて位置合わせした後、差分画像が計算される。位置合わせされた画像間での単純な引き算を用いる代わりに、本発明の1つ又は複数の実施形態は、ステップ412及び414において順方向/逆方向フレーム差分を取ることを用いて、モーション・ノイズを減らし、自動利得制御のような照明変動を補償する。
付加的に、ステップ416は、INEW=ΔIi−1,i AND Δi,i+1によって画像の算術演算を行う。ステップ418は、ランダムなモーション・ノイズを減らすことができる中央値フィルタリングを含む。移動オブジェクトの移動ピクセルを抽出するために、空間的フィルタリングに基づく自動動的閾値推定がステップ420において実行される。さらに、ステップ422は、前景画像内の小さい孤立スポットを除去して穴を埋めるために、形態学的操作を行うことを含み、ステップ424は、モーション・ピクセル(例えば、モーション・マップ)を生成することを含む。
ランダム・ノイズ及び照明変動の影響をさらに低減するために、順方向/逆方向差分画像に関して論理AND演算が実施され、最終差分画像を得る。
Figure 0006095018
各ピクセルに関する閾値は、差分画像の統計学的特性及び空間的高頻度データの観点から、自動的に統計計算される。さらに、形態学ステップを適用して、前景画像内の小さい孤立スポットを除去し、穴を埋めることができる。
本明細書において説明されるように、本発明の1つ又は複数の実施形態はまた、動きの検証も含む。図5は、本発明の一実施形態による偽ブロブ・フィルタリングを示す流れ図である。ステップ502は、モーション・マップを生成することを含む。ステップ504は、連結成分プロセスを適用して各々のブロブ・データをリンクすることを含む。ステップ506は、モーション・ブロブ・テーブルを作成することを含む。ステップ508は、オプティカルフロー推定を行うことを含む。ステップ510は、変位判定を行うことを含む。変位がある場合には、プロセスはステップ512に進み、ステップ512は、後処理、例えば、データの関連付け、オブジェクト追跡、軌道維持及び軌跡データ管理を行うことを含む。変位がない場合には、プロセスはステップ514に進み、ステップ514は、偽ブロブをフィルタリングすることを含む。
従って、ブロブ・テーブルが作成された後で、ブロブ・テーブルから偽のモーション・ブロブを除去するために、各ブロブ・データが検証される。本発明の1つ又は複数の実施形態は、順方向/逆方向のフレーム毎の重ね合わせを行った後で、KLTプロセスを適用して各ブロブの動きを推定することを含む。偽ブロブは、ブロブ・テーブルから除去されることになる。このプロセス・ステップは、例えば、連結成分プロセスを適用して各ブロブ・データをリンクすることと、ブロブ・テーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出することと、KLT法を適用して各ブロブの動きを推定することとを含むことができ、動きが生じなかった場合には、そのブロブはブロブ・テーブルから削除される。また、上記のステップを全てのブロブに対して繰り返すことができる。
これもまた本明細書において詳述されように、本発明の1つ又は複数の実施形態は、多重オブジェクト追跡を含む。図6は、本発明の一実施形態による多重オブジェクト追跡を示す流れ図である。ステップ602は、モーション・マップを生成することを含む。ステップ604は、移動ブロブを識別することを含む。ステップ606は、オブジェクト初期化を含み、ステップ608は、オブジェクト確認を含む。ステップ610は、オブジェクト領域を識別することを含む。ステップ612は、候補領域を識別することを含む。また、ステップ614は、平均値シフト追跡を含み、ステップ616は、新たな位置を識別することを含む。
付加的に、ステップ610においてオブジェクト領域を識別した後で、ステップ618において、特徴を抽出することができる。ひとたびステップ620において探索領域が設定されると、ステップ622において、移動ブロブを潜在的なオブジェクト候補として見つけ出すことができる。ステップ624において、KTLマッチングが行われ、ステップ626において、RANSACを用いたアフィン変換に基づいて、外れ値除去が行われる。ステップ628において、新たな領域候補が識別される。その間に、ステップ614において平均値シフトが適用され、フレーム間の並進が計算される。これが、ステップ616において候補領域位置を与える。ステップ628及び616から、プロセスはステップ630に進むことができ、ステップ630は、Bhattacharyya係数に基づいて最終領域位置を決定する。また、ステップ632は、ドリフト問題を解決するためにターゲット・モデルを更新することを含み、ステップ634は、軌道の更新を含む。また、移動オブジェクトを追跡するために、KLT及び平均値シフト法の組み合わせに基づくハイブリッド追跡モデルがステップ618からステップ630に適用される。
上述のように、本明細書において説明される技術は、オブジェクト初期化を含む。順方向/逆方向フレーム差分を取ることにより得られる動き検出結果は、幾つかの正しい実の移動オブジェクト及び幾つかの偽オブジェクトを含むことがあり、また幾つかの真のオブジェクトを見逃していることがある。例えば、低フレームレート(例えば、1フレーム/秒)のUAV映像に関して、ある移動オブジェクトが2つの連続したフレーム間でいかなる重なり領域も有さないと、オブジェクト初期化のための従来方法は機能しないことになる。現在のフレームについて全ての検出結果の中から有望な移動オブジェクトを効率的に分離するために、本発明の1つ又は複数の実施形態は、距離行列を類似尺度と組み合わせて移動オブジェクトを初期化することを含む。この処理ステップは、例えば、以下を含むことができる。
探索半径が設定され、マッチング・スコア閾値と、追跡履歴の最小長さが設定される。オブジェクト(オブジェクト候補を含む)とテーブル内の全てのブロブとの間の距離行列が計算される。オブジェクト軌道の距離が事前設定値を下回る場合には、カーネル・ベースのアルゴリズムが適用され、事前設定マッチング・スコアに関してオブジェクト候補とブロブとの間のマッチが見いだされる。また、オブジェクト候補が幾つかの連続したフレーム内に出現した場合には、この候補は、初期化されてオブジェクト・テーブル内に格納されることになる。そうでない場合には、このオブジェクト候補は、偽オブジェクトであると見なされることになる。
本発明の1つ又は複数の実施形態は、以前のフレームから、以前のブロブの集合を、幾何学的重ね合わせの後で現在のフレームに射影することを含む。各オブジェクトの以前の位置に従った動きは、KLT追跡プロセスにより推定することができる。KLT追跡プロセスにおいて、動きのモデルは、Icurr(A・x+T)=Iprev(x)のようなアフィン変換により近似的に表され、式中、Aは2次元(2D)変換行列であり、Tは並進ベクトルである。
本発明の1つ又は複数の実施形態において、アフィン変換パラメータは、わずか4つの特徴点から計算することができる。これらのパラメータを決定するために、最小二乗法を用いてこれらを計算することができる。
精度推定は、例えば、多数のミスマッチ対が発生した場合に行うことができる。追跡精度の1つの尺度は、アフィン変換式の前後でのマッチした点間の二乗平均誤差(RMSE)である。この尺度は、不正確であると考えられるマッチを排除するための基準として用いられる。
付加的に、外れ値を排除するために、本発明の1つ又は複数の実施形態は、RANSACアルゴリズムを実行して、RMSE値が所望の閾値を下回るまで反復的な方式で逐次的にミスマッチを除去することを含む。
本明細書において詳述される技術は、平均値シフト追跡及びオブジェクト表現を付加的に含む。例として、UAV追跡システムの場合、大きな拡大縮小変動及び視野の幾何学的歪みに起因して、従来の強度ベースのターゲット表現はもはや多重オブジェクト追跡には適さないものになっている。オブジェクトを効率的に特徴付けするために、ヒストグラム・ベースの特徴空間を選択することができる。本発明の1つ又は複数の実施形態において、Bhattacharyya係数に基づくメトリックを用いて、多重オブジェクト追跡のための基準オブジェクトと候補との間の類似尺度が定義される。基準フレーム内のオブジェクト領域ヒストグラムqが与えられると、Bhattacharyya係数に基づく目的関数は、
Figure 0006095018
で与えられ、式中、Mはヒストグラムの次元であり、xは2D中心である。
現在のフレーム内の2D中心xにおける候補領域ヒストグラムp(x)は、
Figure 0006095018
として定義される。ここで、u=1,2,...,Mである。k(x)は、ピクセル位置を重み付けする、非負の、非増加の、区分的に微分可能なカーネル・プロファイルを表し、hは、k(x)の2Dバンド幅ベクトルであり、δは、クロネッカーのデルタ関数であり、各ピクセル値は、b(x)によって表される。
付加的に、本発明の1つ又は複数の実施形態において、分布間の類似尺度の決定において、Bhattacharyya距離は、
Figure 0006095018
を含むことができ、式中、
Figure 0006095018
であり、式中、ρ及びρは、それぞれターゲット分布及び候補分布を表す。
本明細書において説明される技術は、オブジェクトの位置決めを付加的に含むことができる。オブジェクトに対応する位置を1つのフレームから次のフレームへと探索するために、本発明の1つ又は複数の実施形態は、全数探索ではなく勾配上昇最適化に基づく平均値シフト追跡アルゴリズムを適用することを含む。平均値シフト法の強みは、計算の効率性及び実時間用途に適していることを含む。しかしながら例えば、特に被追跡オブジェクトがすばやく動いているときに局所極大を探求することに内在する限界のせいで、ターゲットを見失うことがある。候補領域ヒストグラムp(x)は、上記の式から得ることができる。
被追跡オブジェクトの新たな位置は、
Figure 0006095018
として推定することができ、式中
Figure 0006095018
であり、g(x)=−k(x)であり、すなわちk(x)の導関数である。
本発明の1つ又は複数の実施形態はまた、時間ドメイン上でのターゲット・モデル更新も含む。幾つかの状況において、ターゲット・モデル更新を行わない平均値シフト手法は、ターゲット・モデルにおける突然の変化による悪影響を受ける可能性がある。その一方で、あらゆるフレームに対してモデル更新を行うと、擾乱を受けた(cluttered)環境、オクルージョン、ランダム・ノイズなどに起因して、追跡結果の信頼性の低下をもたらす可能性がある。ターゲット・モデルを変更する1つの方法は、ターゲット分布を定期的に更新することである。
正確な追跡結果を得るために、ターゲット・モデルを動的に更新することができる。従って、本発明の1つ又は複数の実施形態は、最近の追跡結果とより古いターゲット・モデルとの両方を用いて、オブジェクト追跡のための現在のモデルに影響を及ぼす、モデル更新を含む。更新手順は、以下のように定式化される。
Figure 0006095018
ここで、new及びoldの上付き文字は、それぞれ、新たに得られたターゲット・モデル及び古いモデルを表す。sは、最近の追跡結果を表す。αは、最近の追跡結果の寄与に重み付けする(通常は、<0.1)。q及びpは、それぞれ、ターゲット・モデル及び候補モデルを表す。
さらに、本発明の1つ又は複数の実施形態は、空間ドメイン上でのターゲット・モデル更新を含む。通常、平均値シフトに基づく追跡は、空間データの利用を欠いているので、被追跡オブジェクトの正確な境界位置を与えることはほとんどない。幸いなことに、KLTトラッカから導き出される検出結果及び動き検出結果は、平均値シフトトラッカに比べてはるかに正確な、精密な位置及びオブジェクトのサイズなどの情報を与えることができる。
各々の個別のアルゴリズムが、多重オブジェクト追跡において完璧なジョブを行うことは不可能であり得る。従って、それらのデータ間の融合を多重オブジェクト追跡手順において用いることができる。各々の方法の強みに応じて、本発明の1つ又は複数の実施形態は、以下のマージ方法を用いる。
Figure 0006095018
ここで、重なりは、重なり領域の程度を表す。
図7は、本発明の一実施形態による、基準面ベースの重ね合わせ及び追跡を示す図である。例として、図7は、地理基準面(geo−reference plane)702を示す。第1のフレーム704は、地理基準面702に重ね合わされ、第2のフレーム706は、第1の重ね合わされたフレーム及び対応するフレーム間変換パラメータTCi(図7の式712)から、地理基準702に重ね合わされる。このようにして、フレーム708及び710が、それぞれ、地理基準702に重ね合わされる。さらに、各オブジェクトは、ナビゲーション・データを用いて地理基準702へと射影される。
図8は、本発明の一実施形態による自動都市道路抽出を示す流れ図である。ステップ802は、画像をフレーム化することを含む。ステップ804は、ガウス平滑化操作を行うことを含む。また、ステップ806は、ケニー検出器を用いることを含み、ステップ808は、ハフ変換を実施することを含む。ステップ810は、最大応答ファインディングを決定することを含む。ステップ812は、ストライプの長さが事前定義された閾値を上回るか否かを判定することを含む。ストライプの長さが閾値を上回らない場合には、プロセスはステップ814において停止する。ストライプの長さが閾値を上回る場合には、プロセスはステップ816に続き、ステップ816は、直線抽出を行うことを含む。さらに、ステップ818は、ストライプ・ピクセル除去を行うことを含む(これは、例えば、ステップ808への復帰へと至ることができる)。
同じく図8において示されるように、ステップ820は、フレーム差分を取ることを含み、ステップ822は、モーション履歴画像(MHI)による検証を含む(これは、例えば、ステップ816への復帰へと至ることができる)。付加的に、本発明の1つ又は複数の実施形態は、反復ハフ変換による道路ストライプの抽出を含むこともできる。
本明細書において詳述されるように、本発明の1つ又は複数の実施形態は、未較正のカメラからの種々の幾何学的残差を扱うことができる、サブピクセルのマッチング精度を有する再帰的幾何学的重ね合わせを含む。付加的に、本明細書において詳述される技術は、移動オブジェクトを背景から効率的に区別することができる、順方向/逆方向フレーム差分を取ることに基づく動き検出を含む。さらに、経時的な色、特徴及び強度の統計学的特性を用いて多重の小オブジェクトを検出及び追跡する、ハイブリッド・オブジェクト・トラッカを実装することができる。
図9は、本発明の一態様による、オブジェクト検出及び追跡システムのアーキテクチャを示すブロック図である。検出及び追跡システム(例えば、UAVシステム)のための例示的なソフトウェア・アーキテクチャ構成を多重のサービス上に構築して、オブジェクト探索及びインテリジェント解析のための軌跡データベースを提供することができる。図9において示されるように、本ソフトウェア・アーキテクチャは、多重のセンサ・モジュール904、映像ストリーミング・サービス・モジュール906及び追跡スート・サービス・モジュール908、並びに、軌跡データベース(DB)サーバ・モジュール910、ユーザ・インターフェース・モジュール902及び視覚化コンソール912を含むことができる。映像ストリーミング・モジュール906は、多重センサからイメージをキャプチャして利用できるようにする役割を果たす。取得された画像は、追跡スート・モジュール908により、多重オブジェクト検出及び追跡のための基礎として用いられる。追跡スート・モジュール908は、幾何学的重ね合わせサブモジュール914、モーション抽出サブモジュール916、オブジェクト追跡サブモジュール918、追跡データ・サブ・モジュール920及び地理座標系マッピング・サブモジュール922を含む。
多重センサからの実時間画像を処理することにより、データから軌跡情報への精巧な変換が達成される。軌跡DBサーバ910は、軌跡メタデータ管理の役割を果たす。視覚化コンソール912は、グラフィカル・オーバーレイを作成し、これらをディスプレイ上の画像に索引付けし、ユーザにそれらを提示する。これらのオーバーレイは、例えば、クラス・タイプ、移動方向、軌道及びオブジェクト・サイズなどのような、より高水準のコンポーネントをサポートする、任意のタイプのグラフィカル情報とすることができる。ユーザ・インターフェース902は、データへのアクセス及びユーザによる操作を提供する。
図10は、本発明の一実施形態による、1つ又は複数の移動オブジェクトの視覚的監視を行うための技術を示す流れ図である。ステップ1002は、1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせることを含み、ここで、1つ又は複数の画像を重ね合わせることは、2つ又はそれ以上の隣接するフレーム内の1つ又は複数の画像の領域ベースの重ね合わせを含む。このステップは、例えば、追跡スート・サービス・モジュール908内の幾何学的重ね合わせサブモジュール914を用いて実行することができる。画像を重ね合わせることは、1つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせ(例えば、レンズの幾何学的歪みを扱うための領域ベースの幾何学的変換)を含むことができる。画像の重ね合わせは、サブピクセル画像マッチング技術を用いることを含むこともできる。
ステップ1004は、1つ又は複数の画像のモーション・セグメント化を行って、1つ又は複数の画像内で1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出することを含む。このステップは、例えば、追跡スート・サービス・モジュール908内のモーション抽出サブモジュール916を用いて実行することができる。画像のモーション・セグメント化を行うことは、順方向及び逆方向フレーム差分を取ることを含むことができる。順方向及び逆方向フレーム差分は、例えば、時間的フィルタリング及び/又は空間的フィルタリングに基づく自動動的閾値推定、画像の特徴の独立した動きに基づいて偽の移動ピクセルを除去すること、形態学的操作を行うこと、及び、モーション・ピクセルを生成することを含むことができる。
ステップ1006は、1つ又は複数の移動オブジェクトを追跡して1つ又は複数の移動オブジェクトの視覚的監視を促進することを含む。このステップは、例えば、追跡スート・サービス・モジュール908内のオブジェクト追跡サブモジュール918を用いて実行することができる。移動オブジェクトを追跡することは、ハイブリッド・ターゲット追跡を行うことを含むことができ、ハイブリッド・ターゲット追跡は、Kanade−Lucas−Tomasi特徴トラッカ及び平均値シフトを使用すること、自動カーネル・スケール推定を使用及び更新すること、及び、特徴軌道を使用することを含む。本発明の1つ又は複数の実施形態は、追跡のために色を使用することを含むこともできる。移動オブジェクトを追跡することは、1つ又は複数の(小さい)ターゲットについての特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズムを使用することを付加的に含むことができる。
また、移動オブジェクトを追跡することは、モーション・マップを生成すること、1つ又は複数の移動オブジェクト(ブロブ)を識別すること、オブジェクト初期化及びオブジェクト確認を行うこと、モーション・マップ内のオブジェクト領域を識別すること、特徴を抽出すること、モーション・マップ内に探索領域を設定すること、モーション・マップ内の候補領域を識別すること、平均値シフト追跡すること、候補領域内の移動オブジェクトを識別すること、Kanade−Lucas−Tomasi特徴マッチングを行うこと、アフィン変換を行うこと(RANSACを用いて)、Bhattacharyya係数によって最終領域決定を行うこと、並びに、ターゲット・モデル及び軌道情報を更新することを含むことができる。移動オブジェクトを追跡することは、基準面ベースの重ね合わせ及び追跡を付加的に含むことができる。
図10に示された技術はまた、各カメラ・ビューを1つ又は複数の他のカメラ・ビューと関連付けること、及び、1つ又は複数のカメラによりキャプチャされた画像からパノラマ・ビューを形成することをさらに含むことができる。本発明の1つ又は複数の実施形態は、各カメラの動きをパノラマ・ビュー内の静止オブジェクトの映像情報に基づいて推定すること、並びに、パノラマ・ビュー内の1つ又は複数の背景(例えば、道路)の構造を、直線構造の検出と、ある期間にわたる移動オブジェクトの統計的解析とに基づいて推定することを付加的に含む。
さらに、図10に示された技術は、自動特徴(例えば、道路)抽出を含み、自動特徴抽出は、画像をフレーム化すること、ガウス平滑化操作を行うこと、ケニー検出器を用いて1つ又は複数の特徴(例えば、道路)エッジを抽出すること、特徴(例えば、道路ストライプ)解析のためにハフ変換を実施すること、変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定すること、特徴(例えば、道路ストライプ)の長さが特定の閾値を上回るか否か判定すること、及び、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を行うことを含む。自動特徴抽出は、フレーム差分を取ること、及び、モーション履歴画像による検証を行うことを付加的に含むことができる。
本発明の1つ又は複数の実施形態は、外れ値除去を行って、間違った移動オブジェクト・マッチを除去する(及び重ね合わせ精度を改善する)ことを含む。図10において示される技術は、偽ブロブ・フィルタリングを付加的に含むことができる。偽ブロブフィルタリングは、モーション・マップを生成すること、連結成分プロセスを適用して各ブロブ・データをリンクすること、モーション・ブロブ・テーブルを作成すること、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出すること、Kanade−Lucas−Tomasi法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合にそのブロブをブロブ・テーブルから削除することを含む。
付加的に、本発明の1つ又は複数の実施形態は、時間ドメイン及び/又は空間ドメイン上でターゲット・モデルを更新すること、並びに、パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引(例えば、検索可能な索引)を作成することを含むことができる。また、オブジェクト外観及び軌跡のテンプレート索引は、検索を容易にするための対応する映像セグメントを指し示すポインタと共に、テンプレート・データ・ストア内に格納することができる。さらに、本発明の1つ又は複数の実施形態は、クエリと索引内のエントリとの間の類似度メトリックを決定することを含むことができ、これは、類似度メトリックに基づいてテンプレート・データ・ストア/索引内をオブジェクト外観及び軌跡に関して検索すること、及び、クエリの類似度に基づいて人間の操作者に対して検索結果を出力すること/リスト化することを、容易にすることができる。
図10において示される技術はまた、本明細書において説明されるように、システムを提供することを含むこともでき、このシステムは、別個のソフトウェア・モジュールを含み、別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で各々が具体化される。全てのモジュール(又はそのいずれかのサブセット)が同じ媒体上にあってもよく、又は、例えば、各々が異なる媒体上にあってもよい。モジュールは、図面内に示されるコンポーネントのいずれか又は全てを含むことができる。1つ又は複数の実施形態において、モジュールは、例えば1つ又は複数のハードウェア・プロセッサ上で稼働できる、センサ・モジュール、映像ストリーミング・サービス・モジュール、追跡スート・サービス・モジュール(本明細書において詳述されるサブモジュールを含む)、軌跡データベース(DB)サーバ・モジュール、ユーザ・インターフェース・モジュール及び視覚化コンソール・モジュールを含む。そして次に方法ステップは、1つ又は複数のハードウェア・プロセッサ上で実行される、上述のようなシステムの別個のソフトウェア・モジュールを用いて実行することができる。さらに、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含めて、本明細書において説明される1つ又は複数の方法ステップを行うように実行されるよう適合されたコードを有する、有形のコンピュータ可読記録可能ストレージ媒体を含むことができる。
付加的に、図10において示される技術は、データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラム・コードを含むことができる、コンピュータ・プログラム製品によって実装することができ、このコンピュータ使用可能プログラム・コードは、遠隔データ処理システムからネットワークを介してダウンロードされたものである。また、本発明の1つ又は複数の実施形態において、コンピュータ・プログラム製品は、サーバ型データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラム・コードを含むことができ、このコンピュータ使用可能プログラム・コードは、ネットワークを介して遠隔データ処理システムにダウンロードされ、この遠隔システムにより、コンピュータ可読ストレージ媒体内で使用される。
当業者により認識されるように、本発明の態様は、システム、方法、又はコンピュータ・プログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む)、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、これらは全て本明細書において一般的に「回路」、「モジュール」又は「システム」と呼ぶことができる。さらに、本発明の態様は、具体化されたコンピュータ使用可能プログラム・コードを有する1つ又は複数のコンピュータ可読媒体内で具体化された、コンピュータ・プログラム製品の形を取ることができる。
本発明又はその要素の1つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも1つのプロセッサとを含む装置の形で実装することができる。
1つ又は複数の実施形態は、汎用コンピュータ又はワークステーション上で実行されるソフトウェアを利用することができる。図11を参照すると、そのような実装は、例えば、プロセッサ1102、メモリ1104、並びに、例えば、ディスプレイ1106及びキーボード1108により形成される入力/出力インターフェースを使用することができる。本明細書において用いられる「プロセッサ」という用語は、例えば、CPU(中央演算処理ユニット)及び/又は他の形態の処理回路を含む処理デバイスのような、任意の処理デバイスを含むことが意図される。さらに、「プロセッサ」という用語は、1つより多くの個々のプロセッサのことを指すことがある。「メモリ」という用語は、プロセッサ又はCPUに関連付けられたメモリ、例えば、RAM(ランダム・アクセス・メモリ)、ROM(読み出し専用メモリ)、固定メモリ・デバイス(例えば、ハード・ドライブ)、取り外し可能メモリ・デバイス(例えば、ディスケット)、フラッシュ・メモリなどを含むことが意図される。さらに、本明細書において用いられる「入力/出力インターフェース」という語句は、例えば、処理ユニットにデータを入力するための1つ又は複数の機構(例えば、マウス)、並びに、処理ユニットに関連付けられた結果を提供するための1つ又は複数の機構(例えば、プリンタ)を含むことが意図される。プロセッサ1102、メモリ1104、並びに、ディスプレイ1106及びキーボード1108のような入力/出力インターフェースは、例えば、データ処理ユニット1112の一部としてバス1110を介して相互接続することができる。例えばバス1110を介した適切な相互接続を、コンピュータ・ネットワークとインターフェースするために設けることができるネットワーク・カードのようなネットワーク・インターフェース1114に対して設けることもでき、媒体1118とインターフェースするために設けることができるディスケット又はCD−ROMドライブのような媒体インターフェース1116に対しても設けることもできる。
従って、本明細書において説明されるような本発明の方法を行うための命令又はコードを含むコンピュータ・ソフトウェアは、1つ又は複数の関連付けられたメモリ・デバイス(例えば、ROM、固定又は取り外し可能メモリ)内に格納することができ、そして、使用の準備ができたときに、その一部又は全体が(例えば、RAM内に)ロードされ、CPUによって実施することができる。このようなソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロ・コードなどを含むことができるが、これらに限定されない。
プログラム・コードを格納し、及び/又は実行するのに適したデータ処理システムは、システム・バス1110を通じてメモリ要素1104に直接的又は間接的に結合される少なくとも1つのプロセッサ1102を含む。メモリ要素は、プログラム・コードの実際の実施中に使用されるローカル・メモリ、大容量記憶装置、及び、実施中に大容量記憶デバイスからコードを取り出さなければならない回数を減らすために少なくともプログラム・コードの一部の一時的な記憶域を提供するキャッシュ・メモリを含むことができる。
入力/出力すなわちI/Oデバイス(キーボード1108、ディスプレイ1106、ポインティング・デバイスなどを含むがこれらに限定されない)は、直接的に(例えばバス1110を介して)又は介在するI/Oコントローラ(分かりやすくするため省いた)を通じて、システムに結合することができる。
ネットワーク・インターフェース1114のようなネットワーク・アダプタをシステムに結合して、データ処理システムが、介在する私設ネットワークまたは公衆ネットワークを通じて他のデータ処理システム又は遠隔のプリンタ若しくは記憶デバイスに結合することを可能にすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、現在利用可能なネットワーク・アダプタ型式のうちのごく一部である。
特許請求の範囲を含めて本明細書において使用される「サーバ」は、サーバ・プログラムを実行する物理的データ処理システムを含む(例えば、図11に示されるシステム1112)。そのような物理サーバは、ディスプレイ及びキーボードを含んでいてもよく、含まなくてもよいことが理解されるであろう。
上記のように、本発明の態様は、具体化コンピュータ可読プログラム・コードを有する1つ又は複数のコンピュータ可読媒体に具体化されたコンピュータ・プログラム製品の形を取ることができる。1つ又は複数のコンピュータ可読媒体のいずれの組み合わせも利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線若しくは半導体のシステム、装置若しくはデバイス、又はこれらのいずれかの適切な組み合わせとすることができるが、これらに限定されるものではない。媒体ブロック1118は、非限定的な例である。コンピュータ可読ストレージ媒体のより具体的な例(非網羅的なリスト)として、以下のもの、即ち、1つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラム可能読み出し専用メモリ(EPROM又はフラッシュ・メモリ)、光ファイバ、ポータブル・コンパクト・ディスク型読み出し専用メモリ(CD−ROM)、光記憶装置、磁気記憶装置、又はこれらのいずれかの適切な組み合わせが挙げられる。本明細書の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによって又はそれらと関連して用いるためのプログラムを収容又は格納することが可能な、任意の有形媒体とすることができる。
コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードが、例えばベースバンド内に、又は搬送波の一部として具体化された、伝搬データ信号を含むことができる。このような伝搬信号は、電磁気、光又はこれらのいずれかの適切な組み合わせを含むがそれらに限定されない、種々の異なる形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、かつ、命令実行システム、装置若しくはデバイスによって又はこれらと関連して用いるためのプログラムを通信し、伝搬し又は搬送することができる、任意のコンピュータ可読媒体とすることができる。
コンピュータ可読媒体上に具体化されたプログラム・コードは、無線、有線、光ファイバ・ケーブル、無線周波数(RF)など、又はこれらのいずれかの適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を用いて、伝送することができる。
本発明の態様のための動作を実行するためのコンピュータ・プログラム・コードは、Java、Smalltalk、C++などのようなオブジェクト指向型プログラミング言語、及び「C]プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、1つ又は複数のプログラミング言語のいずれかの組み合わせで記述することができる。プログラム・コードは、完全にユーザのコンピュータ上で実行されるか、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行されるか、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行されるか、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合がある。最後のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)若しくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されるか、又は、(例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて)外部コンピュータへの接続がなされる場合がある。
本発明の態様は、本発明の実施形態による方法、装置(システム)及びコンピュータ・プログラム製品の流れ図及び/又はブロック図を参照して上記で説明される。流れ図及び/又はブロック図の各ブロック、及び、流れ図及び/又はブロック図におけるブロックの組み合わせは、コンピュータ・プログラム命令によって実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実装するための手段を生成するようにしてもよい。
また、これらのコンピュータ命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスを特定の様式で機能するように指令することができるコンピュータ可読媒体に格納し、それにより、そのコンピュータ可読媒体に格納された命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実装する命令を含む製品を作るようにしてもよい。
また、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスにロードして、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイス上で一連の動作ステップを行わせて、コンピュータ実装プロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実行するためのプロセスを提供するようにしてもよい。
図面内の流れ図及びブロック図は、本発明の種々の実施形態によるシステム、方法、及びコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。この点に関して、流れ図又はブロック図の中の各ブロックは、指定された1つ又は複数の論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装においては、ブロックに記載された機能が図に示された順序通りに行われない場合があることにも留意すべきである。例えば、逐次的に示された2つのブロックは、関与する機能に応じて、実際には、実質的に同時に実行されることもあり、ときにはブロックが逆順に実行されることもある。ブロック図及び/又は流れ図の各ブロック、及び、ブロック図及び/又は流れ図におけるブロックの組み合わせは、指定された機能又は動作を行う専用ハードウェアに基づくシステムによって、又は専用ハードウェアとコンピュータ命令との組み合わせによって、実装できることにも留意されたい。
本明細書で説明されるいずれの方法も、コンピュータ可読ストレージ媒体上で具体化される別個のソフトウェア・モジュールを含むシステムを提供する付加的なステップを含むことができ、このモジュールは、例えば、図9に示されるコンポーネントのいずれか又は全てを含むことができることに留意されたい。そして次に、この方法ステップは、1つ又は複数のハードウェア・プロセッサ1102上で実行されるシステムの別個のソフトウェア・モジュール及び/又はサブモジュールを用いて、上述のように実行することができる。さらに、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含めて、本明細書において説明される1つ又は複数の方法ステップを実行するように実装されるよう適合されたコードを有する、コンピュータ可読ストレージ媒体を含むことができる。
いずれにしても、本明細書で示されるコンポーネントは、例えば、特定用途向け集積回路(ASICS)、機能回路、関連付けられたメモリを有する適宜プログラムされた1つ又は複数の汎用デジタルコンピュータなどの、ハードウェア、ソフトウェア、又はそれらの組合せの種々の形態で実装することができることを理解されたい。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のコンポーネントのその他の実装を企図することが可能であろう。
本明細書で用いられる用語は、特定の実施形態を説明するためのものであり、本発明を限定することを意図するものではない。本明細書で用いられる場合、単数形の不定冠詞(「a」、「an」)及び定冠詞(「the」)は、文脈から明らかにそうではないことが示されていない限り、複数形も含むことが意図される。「含む」及び/又は「含んだ」という用語は、本明細書において用いられる場合、言及した特徴、整数、ステップ、動作、要素、及び/又はコンポーネントの存在を指定するが、1つ又は複数のその他の特徴、整数、ステップ、動作、要素、コンポーネント、及び/又はそれらの群の存在又は追加を排除するものではないこともさらに理解されるであろう。
以下の特許請求の範囲における全ての「手段又はステップと機能との組合せ(ミーンズ又はステップ・プラス・ファンクション)」要素の対応する構造、材料、動作及び均等のものは、明確に特許請求されている他の特許請求された要素と組み合わせてその機能を実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例証及び説明の目的で提示されたものであるが、網羅的であることを意図するものでもなく、開示された形態の発明に限定することを意図するものでもない。本発明の範囲及び思想から逸脱することのない多くの修正及び変形が当業者には明らかであろう。実施形態は、本発明の原理及び実際の適用を最も良く説明するように、及び、当業者が、企図される特定の使用に適するように種々の修正を伴う種々の実施形態について本発明を理解することを可能にするように、選択され、説明された。
本発明の少なくとも1つの実施形態は、例えば、時間及び/又は空間ドメインに基づく自動動的閾値決定のような、1つ又は複数の有益な効果を手供することができる。
上述の本発明の例示的な実施形態は、多数の異なる方式で実装することができることを認識し、理解すべきである。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のその他の実装を企図することが可能であろう。実際、本発明の例証的な実施形態を添付の図面を参照して本明細書において説明してきたが、本発明は、それら実施形態そのものに限定されるものではなく、当業者によればその他の種々の変更及び修正を行うことができることを理解されたい。
302:前のフレーム
304:基準フレーム
306:次のフレーム
702:地理基準面
704、706、708、710:フレーム
1110:システム・バス
1112:データ処理ユニット

Claims (24)

  1. 1つ又は複数の移動オブジェクトの視覚的監視を行うための方法であって、
    1つ又は複数のカメラによりキャプチャされた1つ又は複数の画像を重ね合わせるステップであって、前記1つ又は複数の画像を重ね合わせるステップが、複数の隣接するフレームにおいて前記1つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせるステップを含み、前記幾何学的重ね合わせが、画像内の特徴点の集合を見つけ出し、当該特徴点の集合を用いて、ブロックマッチング・プロセスを実行し、当該ブロックマッチング・プセスは、基準フレーム内の各特徴点について、選択されたフレーム内の全ての特徴点が検査され、その中で最も類似した特徴点を選択することによって行われる、前記重ね合わせるステップと、
    前記1つ又は複数の画像のモーション・セグメント化を行って、前記1つ又は複数の画像内の1つ又は複数の移動オブジェクト及び1つ又は複数の背景領域を検出するステップと、
    距離行列を類似尺度と組み合わせて移動オブジェクトを初期化するステップと、
    前記初期化された移動オブジェクトの視覚的監視を容易にするように、前記初期化された移動オブジェクトを追跡するステップであって、第1のフレームを地理基準面に重ね合わせること、そして第2のフレームを、前記地理的基準面に重ね合わされた前記第1のフレーム及び前記第1のフレームと前記第2のフレーム間の変換パラメータを使用して、前記地理的基準面に重ね合わせることを含む、前記追跡するステップ
    を含む、前記方法。
  2. 前記1つ又は複数の画像を重ね合わせるステップが、1つ又は複数のサブピクセル画像マッチング技術を用いるステップを含む、請求項1に記載の方法。
  3. 前記1つ又は複数の画像のモーション・セグメント化を行うステップが、順方向及び逆方向フレーム差分を取るステップを含む、請求項1に記載の方法。
  4. 前記順方向及び逆方向フレーム差分が、
    時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定をすること、又は、
    1つ又は複数の画像特徴の独立した動きに基づいて1つ又は複数の偽の移動ピクセルを除去すること
    を含む、請求項3に記載の方法。
  5. 前記順方向及び逆方向フレーム差分が、形態学的操作をおこなうことと、1つ又は複数のモーション・ピクセルを生成することとを含む、請求項3又は4に記載の方法。
  6. 前記1つ又は複数の移動オブジェクトを追跡するステップが、ハイブリッド・ターゲット追跡を行うステップを含み、
    前記ハイブリッド・ターゲット追跡を追跡するステップは、
    Kanade−Lucas−Tomasi特徴トラッカ及び平均値シフトを用いるステップと、
    自動カーネル・スケール推定及び更新を用いるステップと、
    1つ又は複数の特徴軌道を用いるステップと
    を含む、請求項1〜5のいずれか一項に記載の方法。
  7. 前記1つ又は複数の移動オブジェクトを追跡するステップが、
    1つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく1つ又は複数の多重ターゲット追跡アルゴリズムを用いるステップ
    を含む、請求項1〜6のいずれか一項に記載の方法。
  8. 前記1つ又は複数の移動オブジェクトを追跡するステップが、
    モーション・マップを生成するステップと、
    1つ又は複数の移動オブジェクトを識別するステップと、
    オブジェクト初期化及びオブジェクト確認を行うステップと、
    前記モーション・マップ内の1つ又は複数のオブジェクト領域を識別するステップと、
    1つ又は複数の特徴を抽出するステップと、
    前記モーション・マップ内に探索領域を設定するステップと、
    前記モーション・マップ内の1つ又は複数の候補領域を識別するステップと、
    平均値シフト追跡するステップと、
    前記1つ又は複数の候補領域内の1つ又は複数の移動オブジェクトを識別するステップと、
    Kanade−Lucas−Tomasi特徴マッチングを行うステップと、
    アフィン変換を行うステップと、
    Bhattacharyya係数によって最終領域決定を行うステップと、
    ターゲット・モデル及び軌道の情報を更新するステップと
    を含む、請求項1〜7のいずれか一項に記載の方法。
  9. 前記1つ又は複数の移動オブジェクトを追跡するステップが、基準面ベースの重ね合わせ及び追跡を含む、請求項1〜8のいずれか一項に記載の方法。
  10. 各カメラ・ビューを1つ又は複数の他のカメラ・ビューと関連付けるステップをさらに含む、請求項1〜9のいずれか一項に記載の方法。
  11. 1つ又は複数のカメラによりキャプチャされた前記1つ又は複数の画像からパノラマ・ビューを形成するステップをさらに含む、請求項1〜10のいずれか一項に記載の方法。
  12. 各カメラの動きを、前記パノラマ・ビュー内の1つ又は複数の静止オブジェクトの映像情報に基づいて推定するステップをさらに含む、請求項11に記載の方法。
  13. 前記パノラマ・ビュー内の1つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる前記1つ又は複数の移動オブジェクトの統計的解析とに基づいて推定するステップをさらに含む、請求項11又は12に記載の方法。
  14. 自動特徴抽出をさらに含み、前記自動特徴抽出は、
    画像をフレーム化するステップと、
    ガウス平滑化操作を行うステップと、
    ケニー検出器を用いて1つ又は複数の特徴エッジを抽出するステップと、
    特徴解析のためのハフ変換を実施するステップと、
    変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定することと、
    特徴の長さが特定の閾値を上回るか否か判定し、前記特徴の前記長さが前記閾値を上回る場合に特徴抽出及びピクセル除去を行うことと
    を含む、請求項1に記載の方法。
  15. 前記自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証とを行うこととをさらに含む、請求項14に記載の方法。
  16. 外れ値除去を行って、1つ又は複数の間違った移動オブジェクト・マッチを除去するステップをさらに含む、請求項1〜15のいずれか一項に記載の方法。
  17. 偽ブロブ・フィルタリングをさらに含み、前記偽ブロブ・フィルタリングは、
    モーション・マップを生成するステップと、
    連結成分プロセスを適用して各ブロブ・データをリンクするステップと、
    モーション・ブロブ・テーブルを作成するステップと、
    以前に重ね合わされたフレーム内の各ブロブについて1つ又は複数の特徴を抽出するステップと、
    Kanade−Lucas−Tomasi法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブを前記ブロブ・テーブルから削除するステップと
    を含む、請求項1〜16のいずれか一項に記載の方法。
  18. 時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲット・モデルを更新するステップをさらに含む、請求項1〜17のいずれか一項に記載の方法。
  19. パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成するステップをさらに含む、請求項1〜18のいずれかに記載の方法。
  20. クエリと前記索引内のエントリとの間の類似度メトリックを決定することをさらに含む、請求項19に記載の方法。
  21. 前記初期化するステップが、
    オブジェクト候補を含むオブジェクトとモーション・ブロブ・テーブル内の全てのブロブとの間の距離行列を計算するステップと、
    オブジェクト軌道の距離が事前設定値を下回る場合には、カーネル・ベースのアルゴリズムを適用するステップであって、事前設定マッチング・スコアに関してオブジェクト候補とブロブとの間のマッチが見いだされる、前記適用するステップと、
    オブジェクト候補が幾つかの連続したフレーム内に出現した場合には、当該オブジェクト候補を初期化しオブジェクト・テーブル内に格納するステップと、
    オブジェクト候補が幾つかの連続したフレーム内に出現しない場合には、当該オブジェクト候補を偽オブジェクトであると見なすステップと
    を含む、請求項1〜20のいずれか一項に記載の方法。
  22. システムを提供するステップをさらに含み、
    前記システムは、1つ又は複数の別個のソフトウェア・モジュールを備えており、前記1つ又は複数の別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、前記1つ又は複数の別個のソフトウェア・モジュールは、ハードウェア・プロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む、請求項1〜21のいずれか一項に記載の方法。
  23. 1つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムであって、
    メモリと、
    前記メモリに結合された少なくとも1つのプロセッサと
    を備えており、前記プロセッサは、請求項1〜22のいずれか一項に記載の方法の各ステップを実行する、前記システム。
  24. コンピュータ・システムに、請求項1〜22のいずれか一項に記載の方法を実行させる、コンピュータ・プログラム。
JP2015112896A 2010-12-20 2015-06-03 移動オブジェクトの検出及び追跡 Active JP6095018B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/972,836 2010-12-20
US12/972,836 US9147260B2 (en) 2010-12-20 2010-12-20 Detection and tracking of moving objects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013543794A Division JP2014504410A (ja) 2010-12-20 2011-12-15 移動オブジェクトの検出及び追跡

Publications (2)

Publication Number Publication Date
JP2015181042A JP2015181042A (ja) 2015-10-15
JP6095018B2 true JP6095018B2 (ja) 2017-03-15

Family

ID=45495895

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013543794A Pending JP2014504410A (ja) 2010-12-20 2011-12-15 移動オブジェクトの検出及び追跡
JP2015112896A Active JP6095018B2 (ja) 2010-12-20 2015-06-03 移動オブジェクトの検出及び追跡

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013543794A Pending JP2014504410A (ja) 2010-12-20 2011-12-15 移動オブジェクトの検出及び追跡

Country Status (6)

Country Link
US (2) US9147260B2 (ja)
JP (2) JP2014504410A (ja)
CN (1) CN103262121A (ja)
DE (1) DE112011103690T5 (ja)
GB (1) GB2500839B (ja)
WO (1) WO2012084703A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928749B2 (en) 2016-04-29 2018-03-27 United Parcel Service Of America, Inc. Methods for delivering a parcel to a restricted access area
US10126126B2 (en) 2015-11-23 2018-11-13 Kespry Inc. Autonomous mission action alteration
US10540901B2 (en) 2015-11-23 2020-01-21 Kespry Inc. Autonomous mission action alteration
US10730626B2 (en) 2016-04-29 2020-08-04 United Parcel Service Of America, Inc. Methods of photo matching and photo confirmation for parcel pickup and delivery
US10775792B2 (en) 2017-06-13 2020-09-15 United Parcel Service Of America, Inc. Autonomously delivering items to corresponding delivery locations proximate a delivery route
US10872534B2 (en) 2017-11-01 2020-12-22 Kespry, Inc. Aerial vehicle inspection path planning

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
SG172972A1 (en) * 2009-01-28 2011-08-29 Bae Systems Plc Detecting potential changed objects in images
US20110115913A1 (en) * 2009-11-17 2011-05-19 Werner Lang Automated vehicle surrounding area monitor and display system
JP5781743B2 (ja) * 2010-06-28 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9628755B2 (en) * 2010-10-14 2017-04-18 Microsoft Technology Licensing, Llc Automatically tracking user movement in a video chat application
US8625905B2 (en) * 2011-01-28 2014-01-07 Raytheon Company Classification of target objects in motion
CN103733226B (zh) * 2011-05-16 2017-06-06 马普科技促进协会 快速的有关节运动的跟踪
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
CN102982304B (zh) * 2011-09-07 2016-05-25 株式会社理光 利用偏光图像检测车辆位置的方法和系统
CN103196550A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
JP2015519016A (ja) * 2012-05-14 2015-07-06 ロッサト、ルカ 支持情報に基づく残存量データのエンコードおよび再構成
GB201213604D0 (en) 2012-07-31 2012-09-12 Bae Systems Plc Detectig moving vehicles
JP5983209B2 (ja) 2012-09-07 2016-08-31 株式会社Ihi 移動体検出方法
JP6094100B2 (ja) * 2012-09-07 2017-03-15 株式会社Ihi 移動体検出方法
JP6094099B2 (ja) * 2012-09-07 2017-03-15 株式会社Ihi 移動体検出方法
US9076062B2 (en) * 2012-09-17 2015-07-07 Gravity Jack, Inc. Feature searching along a path of increasing similarity
US9672605B2 (en) * 2012-09-27 2017-06-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
TWI482468B (zh) * 2012-11-23 2015-04-21 Inst Information Industry 物體偵測裝置、方法及其電腦可讀取紀錄媒體
US9201958B2 (en) * 2013-10-24 2015-12-01 TCL Research America Inc. Video object retrieval system and method
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN109008972A (zh) 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9165208B1 (en) * 2013-03-13 2015-10-20 Hrl Laboratories, Llc Robust ground-plane homography estimation using adaptive feature selection
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
US9625995B2 (en) 2013-03-15 2017-04-18 Leap Motion, Inc. Identifying an object in a field of view
US9430846B2 (en) * 2013-04-19 2016-08-30 Ge Aviation Systems Llc Method of tracking objects using hyperspectral imagery
US9317770B2 (en) * 2013-04-28 2016-04-19 Tencent Technology (Shenzhen) Co., Ltd. Method, apparatus and terminal for detecting image stability
JP6202879B2 (ja) * 2013-05-20 2017-09-27 株式会社朋栄 ローリングシャッタ歪み補正と映像安定化処理方法
US9384552B2 (en) * 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US9491360B2 (en) 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US9277129B2 (en) * 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
CN104424651A (zh) * 2013-08-26 2015-03-18 株式会社理光 跟踪对象的方法和系统
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
CN103914850B (zh) * 2014-04-22 2017-02-15 南京影迹网络科技有限公司 一种基于运动匹配的视频自动标注方法及自动标注系统
CN103957423A (zh) * 2014-05-14 2014-07-30 杭州古北电子科技有限公司 一种基于计算机视觉的视频压缩和重建方法
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP3060966B1 (en) * 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
CN104202559A (zh) * 2014-08-11 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于旋转不变特征的智能监控系统及方法
CN104217442B (zh) * 2014-08-28 2017-01-25 西北工业大学 基于多模型估计的航拍视频运动目标检测方法
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
CN104407619B (zh) * 2014-11-05 2017-03-15 沈阳航空航天大学 不确定环境下的多无人机同时到达多个目标方法
WO2016088027A1 (en) * 2014-12-04 2016-06-09 Koninklijke Philips N.V. Calculating a health parameter
US10713506B2 (en) 2014-12-18 2020-07-14 Magna Electronics Inc. Vehicle vision system with 3D registration for distance estimation
US9792664B2 (en) 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation
CN104766319B (zh) * 2015-04-02 2017-06-13 西安电子科技大学 提升夜间拍照图像配准精度的方法
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
US9940524B2 (en) 2015-04-17 2018-04-10 General Electric Company Identifying and tracking vehicles in motion
CN104767911A (zh) * 2015-04-28 2015-07-08 腾讯科技(深圳)有限公司 图像处理方法及装置
US10762112B2 (en) * 2015-04-28 2020-09-01 Microsoft Technology Licensing, Llc Establishing search radius based on token frequency
US9767572B2 (en) * 2015-05-01 2017-09-19 Raytheon Company Systems and methods for 3D point cloud processing
US9483839B1 (en) * 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US9936128B2 (en) * 2015-05-20 2018-04-03 Google Llc Automatic detection of panoramic gestures
JP6558951B2 (ja) * 2015-05-27 2019-08-14 株式会社パスコ トンネル壁面の損傷検出装置及びトンネル壁面の損傷検出プログラム
KR102359083B1 (ko) * 2015-06-02 2022-02-08 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
WO2016206108A1 (en) * 2015-06-26 2016-12-29 SZ DJI Technology Co., Ltd. System and method for measuring a displacement of a mobile platform
CN105974940B (zh) * 2016-04-29 2019-03-19 优利科技有限公司 适用于飞行器的目标跟踪方法
CN105023278B (zh) * 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
KR101645722B1 (ko) * 2015-08-19 2016-08-05 아이디어주식회사 자동추적 기능을 갖는 무인항공기 및 그 제어방법
JP6496323B2 (ja) * 2015-09-11 2019-04-03 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 可動物体を検出し、追跡するシステム及び方法
KR101756391B1 (ko) 2015-10-30 2017-07-26 이노뎁 주식회사 객체 이미지들을 링크하고, 빅데이터 분석 시스템과 연동이 가능한 객체 이미지 링크 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法
KR102576908B1 (ko) * 2016-02-16 2023-09-12 삼성전자주식회사 동적 파노라마 기능을 제공하는 방법 및 장치
US10339387B2 (en) 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
CN107172341B (zh) * 2016-03-07 2019-11-22 深圳市朗驰欣创科技股份有限公司 一种无人机控制方法、无人机、地面站及无人机系统
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
CN105913459B (zh) * 2016-05-10 2019-07-12 中国科学院自动化研究所 基于高分辨率连拍图像的运动目标检测方法
US10026193B2 (en) 2016-05-24 2018-07-17 Qualcomm Incorporated Methods and systems of determining costs for object tracking in video analytics
CN106127801A (zh) * 2016-06-16 2016-11-16 乐视控股(北京)有限公司 一种运动区域检测的方法和装置
US10284875B2 (en) 2016-08-08 2019-05-07 Qualcomm Incorporated Systems and methods for determining feature point motion
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
CN106355606A (zh) * 2016-08-30 2017-01-25 山东航天电子技术研究所 一种无人机高速目标图像跟踪方法
TWI616843B (zh) * 2016-09-12 2018-03-01 粉迷科技股份有限公司 動態影像去背方法、系統與電腦可讀取儲存裝置
US10289900B2 (en) 2016-09-16 2019-05-14 Interactive Intelligence Group, Inc. System and method for body language analysis
CN108885469B (zh) * 2016-09-27 2022-04-26 深圳市大疆创新科技有限公司 用于在跟踪系统中初始化目标物体的系统和方法
US10339671B2 (en) * 2016-11-14 2019-07-02 Nec Corporation Action recognition using accurate object proposals by tracking detections
US10636152B2 (en) * 2016-11-15 2020-04-28 Gvbb Holdings S.A.R.L. System and method of hybrid tracking for match moving
CN106548487B (zh) * 2016-11-25 2019-09-03 浙江光跃环保科技股份有限公司 用于检测和跟踪移动物体的方法和装置
US10269133B2 (en) * 2017-01-03 2019-04-23 Qualcomm Incorporated Capturing images of a game by an unmanned autonomous vehicle
CN108733042B (zh) * 2017-04-19 2021-11-09 上海汽车集团股份有限公司 自动驾驶车辆的目标跟踪方法及装置
KR101876349B1 (ko) * 2017-04-20 2018-07-09 사회복지법인 삼성생명공익재단 치료기 제어 시스템 및 방법
US11010630B2 (en) * 2017-04-27 2021-05-18 Washington University Systems and methods for detecting landmark pairs in images
CN108876811B (zh) * 2017-05-10 2024-02-02 中兴通讯股份有限公司 一种图像处理方法、设备及计算机可读存储介质
JP6737403B2 (ja) * 2017-06-13 2020-08-05 株式会社Ihi 移動体観測方法
DE102017113794A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Klassifizierung statischer und dynamischer Bildsegmente in einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs
CN109214243A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标跟踪方法、装置及无人机
CN109215056A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标追踪方法及装置
CN110473232B (zh) 2017-07-14 2024-02-09 腾讯科技(深圳)有限公司 图像识别方法、装置、存储介质及电子设备
US10453187B2 (en) * 2017-07-21 2019-10-22 The Boeing Company Suppression of background clutter in video imagery
US10210391B1 (en) * 2017-08-07 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos using contour sequences
CN109509210B (zh) * 2017-09-15 2020-11-24 百度在线网络技术(北京)有限公司 障碍物跟踪方法和装置
US10902615B2 (en) 2017-11-13 2021-01-26 Qualcomm Incorporated Hybrid and self-aware long-term object tracking
CN108446581B (zh) * 2018-01-22 2022-07-19 北京理工雷科电子信息技术有限公司 一种恶劣环境中的无人机检测方法
CN108596946A (zh) * 2018-03-21 2018-09-28 中国航空工业集团公司洛阳电光设备研究所 一种运动目标实时检测方法及系统
WO2019227352A1 (zh) * 2018-05-30 2019-12-05 深圳市大疆创新科技有限公司 飞行控制方法及飞行器
CN108848304B (zh) * 2018-05-30 2020-08-11 影石创新科技股份有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN110610514B (zh) * 2018-06-15 2023-09-19 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
US10916031B2 (en) * 2018-07-06 2021-02-09 Facebook Technologies, Llc Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
CN109146862A (zh) * 2018-08-04 2019-01-04 石修英 土壤修复状态智能化检测设备
CN108982521A (zh) * 2018-08-04 2018-12-11 石修英 可视化土壤健康水平检测设备
CN109118510A (zh) * 2018-08-10 2019-01-01 平安科技(深圳)有限公司 一种监控视频处理方法、装置及计算机可读介质
CN109087378A (zh) * 2018-09-11 2018-12-25 首都师范大学 图像处理方法及系统
CN109556596A (zh) 2018-10-19 2019-04-02 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
CN109584266B (zh) * 2018-11-15 2023-06-09 腾讯科技(深圳)有限公司 一种目标检测方法及装置
US10839531B2 (en) * 2018-11-15 2020-11-17 Sony Corporation Object tracking based on a user-specified initialization point
CN109522843B (zh) * 2018-11-16 2021-07-02 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN113168706A (zh) * 2018-12-05 2021-07-23 瑞典爱立信有限公司 视频流的帧中的对象位置确定
EP3671630A1 (en) * 2018-12-19 2020-06-24 Nokia Technologies Oy Movement indication
WO2020128587A1 (en) * 2018-12-20 2020-06-25 Pratik Sharma Intelligent image sensor
CN109685830B (zh) * 2018-12-20 2021-06-15 浙江大华技术股份有限公司 目标跟踪方法、装置和设备及计算机存储介质
CN109685062B (zh) * 2019-01-02 2023-07-25 南方科技大学 一种目标检测方法、装置、设备及存储介质
JP7093015B2 (ja) * 2019-04-24 2022-06-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
IT201900007815A1 (it) * 2019-06-03 2020-12-03 The Edge Company S R L Metodo per il rilevamento di oggetti in movimento
CN110223344B (zh) * 2019-06-03 2023-09-29 哈尔滨工程大学 一种基于形态学和视觉注意机制的红外小目标检测方法
CN110349172B (zh) * 2019-06-28 2022-12-16 华南理工大学 基于图像处理和双目立体测距的输电线路防外破预警方法
CN112446899A (zh) * 2019-08-30 2021-03-05 华为技术有限公司 一种目标用户锁定方法及电子设备
CN110675428B (zh) * 2019-09-06 2023-02-28 鹏城实验室 面向人机交互的目标跟踪方法、装置、计算机设备
CN113545028B (zh) 2019-09-25 2023-05-09 谷歌有限责任公司 用于面部认证的增益控制
US10984513B1 (en) 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
WO2021071497A1 (en) 2019-10-10 2021-04-15 Google Llc Camera synchronization and image tagging for face authentication
CN113496136B (zh) 2020-03-18 2024-08-13 中强光电股份有限公司 无人机及其影像识别方法
CN111951313B (zh) * 2020-08-06 2024-04-26 北京灵汐科技有限公司 图像配准方法、装置、设备及介质
KR102396830B1 (ko) * 2020-10-16 2022-05-11 한양대학교 산학협력단 이동체 판단 장치 및 그 판단 방법
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
TR202019736A2 (tr) 2020-12-04 2022-06-21 Aselsan Elektronik Sanayi Ve Ticaret As Tespi̇t uygulamalari i̇çi̇n gürültü önleme metodu
CN112947035B (zh) * 2021-01-28 2022-03-08 四川写正智能科技有限公司 一种护眼正姿智能手表测距传感器安装及测距方法
CN112785628B (zh) * 2021-02-09 2023-08-08 成都视海芯图微电子有限公司 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN113361651B (zh) * 2021-03-05 2022-01-04 牧今科技 生成用于物体检测的安全空间列表的方法和计算系统
CN113763419B (zh) * 2021-04-29 2023-06-20 腾讯科技(深圳)有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN113592922A (zh) * 2021-06-09 2021-11-02 维沃移动通信(杭州)有限公司 图像的配准处理方法及装置
CN113642463B (zh) * 2021-08-13 2023-03-10 广州赋安数字科技有限公司 一种视频监控和遥感图像的天地多视图对齐方法
CN113766089B (zh) * 2021-09-18 2023-08-18 北京百度网讯科技有限公司 检测视频滚动条纹的方法、装置、电子设备和存储介质
CN114037633B (zh) * 2021-11-18 2022-07-15 南京智谱科技有限公司 一种红外图像处理的方法及装置
CN114040114A (zh) * 2021-11-26 2022-02-11 重庆紫光华山智安科技有限公司 一种全景摄像及补光方法、系统、设备和介质
CN114283174A (zh) * 2021-12-24 2022-04-05 北京金山云网络技术有限公司 运动目标追踪方法、装置和电子设备
CN114419102B (zh) * 2022-01-25 2023-06-06 江南大学 一种基于帧差时序运动信息的多目标跟踪检测方法
CN114972440B (zh) * 2022-06-21 2024-03-08 江西省国土空间调查规划研究院 用于国土调查的es数据库图斑对象链式追踪方法
CN117095029B (zh) * 2023-08-22 2024-06-14 中国科学院空天信息创新研究院 空中飞行小目标检测方法及装置
CN117893581B (zh) * 2024-01-17 2024-08-02 微网优联科技(成都)有限公司 一种移动行人追踪方法及系统

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6284391A (ja) * 1985-10-09 1987-04-17 Fujitsu Ltd 細長い矩形抽出方式
JPH08185521A (ja) 1994-12-28 1996-07-16 Clarion Co Ltd 移動体カウント装置
US5757668A (en) * 1995-05-24 1998-05-26 Motorola Inc. Device, method and digital video encoder of complexity scalable block-matching motion estimation utilizing adaptive threshold termination
US7015945B1 (en) 1996-07-10 2006-03-21 Visilinx Inc. Video surveillance system and method
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
US6757008B1 (en) 1999-09-29 2004-06-29 Spectrum San Diego, Inc. Video surveillance system
JP3540696B2 (ja) 1999-12-06 2004-07-07 三洋電機株式会社 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
IL136080A0 (en) * 2000-05-11 2001-05-20 Yeda Res & Dev Sequence-to-sequence alignment
JP2002074369A (ja) 2000-08-28 2002-03-15 Ntt Data Corp 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
US7842727B2 (en) * 2001-03-27 2010-11-30 Errant Gene Therapeutics, Llc Histone deacetylase inhibitors
CN1706195A (zh) 2002-10-18 2005-12-07 沙诺夫股份有限公司 使用多个摄像机以允许全景可视的方法和系统
JP2004157908A (ja) 2002-11-08 2004-06-03 Dainippon Pharmaceut Co Ltd 移動情報抽出装置および方法
US7113185B2 (en) 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
AU2003280610A1 (en) 2003-01-14 2004-08-10 The Circle For The Promotion Of Science And Engineering Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
WO2005029264A2 (en) * 2003-09-19 2005-03-31 Alphatech, Inc. Tracking systems and methods
US20050063608A1 (en) * 2003-09-24 2005-03-24 Ian Clarke System and method for creating a panorama image from a plurality of source images
JP2005286656A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、車両、および運転支援方法
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
US7576767B2 (en) 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
JP2006285403A (ja) * 2005-03-31 2006-10-19 Konica Minolta Holdings Inc 画像処理方法および画像処理装置
US7583815B2 (en) 2005-04-05 2009-09-01 Objectvideo Inc. Wide-area site-based video surveillance system
US7884849B2 (en) 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
WO2007050707A2 (en) * 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
JP4040651B2 (ja) * 2005-12-02 2008-01-30 株式会社日立製作所 カメラ揺れ補正方法および画像システム
CN101375315B (zh) * 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
KR101195942B1 (ko) * 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP4668220B2 (ja) * 2007-02-20 2011-04-13 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US8417037B2 (en) * 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009134509A (ja) * 2007-11-30 2009-06-18 Hitachi Ltd モザイク画像生成装置及びモザイク画像生成方法
JP4337929B2 (ja) 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
FR2929734A1 (fr) * 2008-04-03 2009-10-09 St Microelectronics Rousset Procede et systeme de videosurveillance.
US8150165B2 (en) * 2008-04-11 2012-04-03 Recognition Robotics, Inc. System and method for visual recognition
FR2930211A3 (fr) 2008-04-21 2009-10-23 Renault Sas Dispositif de visualisation de l'environnement d'un vehicule et de detection d'objets autour du vehicule
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN101286232A (zh) * 2008-05-30 2008-10-15 中国科学院上海技术物理研究所 一种高精度亚像元图像的配准方法
JP5294343B2 (ja) * 2008-06-10 2013-09-18 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
US8345944B2 (en) * 2008-08-06 2013-01-01 Siemens Aktiengesellschaft System and method for coronary digital subtraction angiography
KR101498206B1 (ko) * 2008-09-30 2015-03-06 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
DE102009036200A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
US20110128385A1 (en) * 2009-12-02 2011-06-02 Honeywell International Inc. Multi camera registration for high resolution target capture
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10126126B2 (en) 2015-11-23 2018-11-13 Kespry Inc. Autonomous mission action alteration
US11798426B2 (en) 2015-11-23 2023-10-24 Firmatek Software, Llc Autonomous mission action alteration
US10540901B2 (en) 2015-11-23 2020-01-21 Kespry Inc. Autonomous mission action alteration
US10586201B2 (en) 2016-04-29 2020-03-10 United Parcel Service Of America, Inc. Methods for landing an unmanned aerial vehicle
US10726381B2 (en) 2016-04-29 2020-07-28 United Parcel Service Of America, Inc. Methods for dispatching unmanned aerial delivery vehicles
US10202192B2 (en) 2016-04-29 2019-02-12 United Parcel Service Of America, Inc. Methods for picking up a parcel via an unmanned aerial vehicle
US10453022B2 (en) 2016-04-29 2019-10-22 United Parcel Service Of America, Inc. Unmanned aerial vehicle and landing system
US10460281B2 (en) 2016-04-29 2019-10-29 United Parcel Service Of America, Inc. Delivery vehicle including an unmanned aerial vehicle support mechanism
US10482414B2 (en) 2016-04-29 2019-11-19 United Parcel Service Of America, Inc. Unmanned aerial vehicle chassis
US9969495B2 (en) 2016-04-29 2018-05-15 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
US9928749B2 (en) 2016-04-29 2018-03-27 United Parcel Service Of America, Inc. Methods for delivering a parcel to a restricted access area
US10706382B2 (en) 2016-04-29 2020-07-07 United Parcel Service Of America, Inc. Delivery vehicle including an unmanned aerial vehicle loading robot
US9981745B2 (en) 2016-04-29 2018-05-29 United Parcel Service Of America, Inc. Unmanned aerial vehicle including a removable parcel carrier
US10730626B2 (en) 2016-04-29 2020-08-04 United Parcel Service Of America, Inc. Methods of photo matching and photo confirmation for parcel pickup and delivery
US9957048B2 (en) 2016-04-29 2018-05-01 United Parcel Service Of America, Inc. Unmanned aerial vehicle including a removable power source
US10796269B2 (en) 2016-04-29 2020-10-06 United Parcel Service Of America, Inc. Methods for sending and receiving notifications in an unmanned aerial vehicle delivery system
US10860971B2 (en) 2016-04-29 2020-12-08 United Parcel Service Of America, Inc. Methods for parcel delivery and pickup via an unmanned aerial vehicle
US11472552B2 (en) 2016-04-29 2022-10-18 United Parcel Service Of America, Inc. Methods of photo matching and photo confirmation for parcel pickup and delivery
US11435744B2 (en) 2017-06-13 2022-09-06 United Parcel Service Of America, Inc. Autonomously delivering items to corresponding delivery locations proximate a delivery route
US10775792B2 (en) 2017-06-13 2020-09-15 United Parcel Service Of America, Inc. Autonomously delivering items to corresponding delivery locations proximate a delivery route
US10872534B2 (en) 2017-11-01 2020-12-22 Kespry, Inc. Aerial vehicle inspection path planning

Also Published As

Publication number Publication date
CN103262121A (zh) 2013-08-21
WO2012084703A1 (en) 2012-06-28
GB2500839A (en) 2013-10-02
DE112011103690T5 (de) 2013-09-05
JP2015181042A (ja) 2015-10-15
US9147260B2 (en) 2015-09-29
US20120154579A1 (en) 2012-06-21
GB2500839B (en) 2017-04-05
GB201311821D0 (en) 2013-08-14
JP2014504410A (ja) 2014-02-20
US20130002866A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN103325112B (zh) 动态场景中运动目标快速检测方法
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
US9864927B2 (en) Method of detecting structural parts of a scene
US9420265B2 (en) Tracking poses of 3D camera using points and planes
US8446468B1 (en) Moving object detection using a mobile infrared camera
US9934585B2 (en) Apparatus and method for registering images
GB2541153A (en) Processing a series of images to identify at least a portion of an object
CN102034355A (zh) 一种基于特征点匹配的车辆检测及跟踪方法
WO2018049704A1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
Linger et al. Aerial image registration for tracking
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
Lisanti et al. Continuous localization and mapping of a pan–tilt–zoom camera for wide area tracking
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN116188417A (zh) 基于slam和图像处理的裂缝检测及其三维定位方法
Amri et al. A robust framework for joint background/foreground segmentation of complex video scenes filmed with freely moving camera
Real-Moreno et al. Fast template match algorithm for spatial object detection using a stereo vision system for autonomous navigation
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram
Cui et al. Direct-ORB-SLAM: Direct Monocular ORB-SLAM
JP2014102805A (ja) 情報処理装置、情報処理方法及びプログラム
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160714

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161207

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170113

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20170113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170207

R150 Certificate of patent or registration of utility model

Ref document number: 6095018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150