JP6349418B2 - 高精度単眼移動によるオブジェクト位置特定 - Google Patents

Description

（関連出願情報）
本出願は、その内容が参照により本明細書に組み込まれている、２０１４年３月６日に出願した仮出願第61/948,981号および２０１５年３月４日に出願した仮出願第62/128,347号の優先権を主張するものである。

単一のカメラのみを使用するビデオストリーム内の移動オブジェクトの３次元位置特定（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｌｏｃａｌｉｚａｔｉｏｎ）は、困難な場合がある。特に、既存の方法は、疎な特徴点（ｓｐａｒｓｅ ｆｅａｔｕｒｅ ｐｏｉｎｔ）を使用するが、この技術は、安定した特徴点軌道（ｆｅａｔｕｒｅ ｔｒａｃｋ）を確立することが難しいので、たとえば、自動車などのオブジェクト上で使用するのは困難である。他の既存の方法は、高い位置特定誤差を引き起こす、固定されたグランドプレーンに対してオブジェクトバウンディングボックスを三角測量するものである。これらの既存の技術は、コストのかかる推論機構も伴い得る。

移動オブジェクト位置特定の方法は、ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ：ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ）情報に基づきビデオフレーム内のグランドプレーンを推定することを含む。フレーム内のオブジェクトに対するオブジェクト姿勢は、密な特徴点追跡（ｄｅｎｓｅ ｆｅａｔｕｒｅ ｔｒａｃｋｉｎｇ）を使用してＳＦＭ情報に基づき計算される。検出されたオブジェクトに対する３次元位置は、推定されたグランドプレーンおよび計算されたオブジェクト姿勢に基づき決定される。

移動オブジェクト位置特定のシステムは、ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ）情報に基づきビデオフレーム内のグランドプレーンを推定し、密特徴点追跡を使用してＳＦＭ情報に基づきフレーム内のオブジェクトに対するオブジェクト姿勢を計算し、推定されたグランドプレーンおよび計算されたオブジェクト姿勢に基づき検出されたオブジェクトに対する３次元位置を決定するように構成されたプロセッサを備えている。

本発明の原理によるオブジェクト位置特定のブロック／流れ図である。 本発明の原理による密な３次元推定（ｄｅｎｓｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｅｓｔｉｍａｔｉｏｎ）のブロック図である。 本発明の原理による結合３次元オブジェクト位置特定（ｊｏｉｎｔ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔ ｌｏｃａｌｉｚａｔｉｏｎ）のブロック図である。 本発明の原理による移動オブジェクト位置特定システムのブロック図である。

本発明の実施形態は、単眼ストラクチャフロムモーション（ＳＦＭ）を使用し、ＳＦＭ、密なフレーム間ステレオ、およびオブジェクト検出からのキューを組み合わせることによってグランドプレーンを適応的に推定する。オブジェクト姿勢は、ごく少数の疎な特徴に基づく姿勢推定は不安定なので、強度合わせによって推定される。密な特徴は、エピポーラ拘束を課す一次元オプティカルフロー機構を使用して追跡される。これらの軌道における外れ値は、推定されたオブジェクト姿勢を使用して排除される。本発明の実施態様によって採用されているＳＦＭキューは、追跡される３次元点の再投影誤差を最小にするが、オブジェクト検出キューは、オブジェクト追跡出力に関して最高である検出スコアを有する一連の二次元バウンディングボックスと最も整合する最良の３次元バウンディングボックスに適合する

本発明の実施態様は、さまざまなキューを使用することによってオブジェクト位置特定における優れた精度をもたらす。それに加えて、位置特定は、姿勢計算に対して密追跡および強度合わせを使用しているのでより安定しており、動領域抽出および複合推論が使用されないので、より素早く実行される。

次に、図１を参照すると、オブジェクト位置特定のブロック図が示されている。入力ビデオ１０２は、一般的な２Ｄオブジェクト検出１０４および適応グランドプレーン検出（ａｄａｐｔｉｖｅ ｇｒｏｕｎｄ ｐｌａｎｅ ｄｅｔｅｃｔｉｏｎ）１０６において使用されている。それに加えて、リアルタイム単眼ＳＦＭ１０８は、適応グラントプレーン検出１０６、さらには、密な３Ｄ推定１１０の両方に情報を提供するために使用される。２Ｄオブジェクト検出１０４、適応グランドプレーン検出１０６、および、密な３Ｄ推定１１０の結果は、３次元内の位置を決定するために結合３Ｄオブジェクト位置特定１１２で使用される。

次に図２を参照すると、密な３Ｄ推定１１０のより詳細な図が示されている。密な３Ｄ推定１１０は、強度合わせされたオブジェクト姿勢計算２０２およびエピポーラ誘導密度追跡（ｅｐｉｐｏｌａｒ−ｇｕｉｄｅｄ ｄｅｎｓｅ ｔｒａｃｋｉｎｇ）２０４を使用する。

強度合わせされたオブジェクト姿勢計算２０２について、オブジェクトの姿勢は、ベクトルΩ＝（ｘ_０，ｚ_０，ψ，θ，φ，ｈ）^Ｔによって定義され、ここで、ｘ_０およびｚ_０は、オブジェクトの背面がグランドと交差する直線の中心に対応するカメラの座標におけるオブジェクトの原点の座標であり、ψ、θ、φはオブジェクトのピッチ角、ロール角、およびヨー角であり、ｈは、グランドプレーンからのカメラの高さである。時刻ｔにおいてオブジェクト姿勢が与えられた場合、時刻ｔ＋１における姿勢は、

に従って投影された画像内のすべてのピクセルにおいて強度Ｉを最もよく合わせる姿勢として決定され、
ここで、π_Ωは、２Ｄ像平面へのオブジェクト座標における３Ｄ点の投影を表す。

エピポーラ誘導密度追跡２０４は、フレームｔとフレームｔ＋１との間のＴＶ−Ｌ１正則化オプティカルフローを推定する。フロー推定は、検出バウンディングボックス内のみで実行され、計算効率を最大化する。オプティカルフローベクトルは、エピポーラ幾何学の条件を満たすように制約される。このフロー推定は、オプティカルフロー問題を二次元探索から一次元探索に縮小するために使用される。特徴点軌道は、妥当性確認がなされ、三角測量される。オプティカルフロー問題は、以下の式で表すことができる。

ここで、ｘは画像位置であり、ｐ_０は画像上の点であり、ｐはｐ_０を通るエピポーラ直線の方向であり、ｕはエピポーラ直線に沿った距離である。

次に図３を参照すると、結合３Ｄオブジェクト位置特定１１２に対する結合最適化に関する追加の詳細が示されている。コスト関数は、オブジェクトバウンディングボックスからのコスト、ＳＦＭ、オブジェクト検出、およびグランドプレーン推定、軌跡平滑化、およびオブジェクトサイズからの事前分布を組み込む。レーベンバーグ−マーカート最適化が実行され、コスト関数を最小化する最良の３Ｄバウンディングボックスを見つける。

ここで、ε’_ＳＦＭは、ＳＦＭからのコストであり、ε’_ｏｂｊはオブジェクトバウンディングボックスからのコストであり、ε’ｐｒｉｏｒは組み合わされた平滑化およびオブジェクトサイズ事前分布からの事前分布である。例示的なパラメータ値は、λ_０＝０．７およびλ_ｐ＝２．７である。量ε’_ｏｂｊは、

として定義され、
ここで、ε’_ｂｏｘはオブジェクトバウンディングボックス誤差であり、ε’_ｄｅｔは検出コストであり、パラメータλ_ｄは０．０３の例示的な値を有する。量ε’_{ｐｒｉｏｒ}は、

として定義され、
ここで、ε’_{ｓｍｏｏｔｈ}は軌跡平滑化事前分布であり、ε’_ｓｉｚｅはオブジェクトサイズ事前分布であり、パラメータに対する例示的な値は、λ_ｓ＝０．０３である。

３Ｄオブジェクト位置特定１１２は、ＳＦＭキュー３０２と、ボンディングボックスキュー３０４と、オブジェクト検出キュー３０６とを使用する。ブロック３０２におけるＳＦＭキューからオブジェクト位置特定コストを見つけることで、シーン内のｉ＝１，．．．，Ｎ個のオブジェクトを追跡し、各オブジェクト上のｊ＝１，．．．，Ｍ個の特徴はフレームｔ＝ｓ_ｉ，．．．，ｅ_ｉ内で追跡され、ここで、ｓ_ｉおよびｅ_ｉはオブジェクトｉの最初と最後のフレームである。次いで、

が観察された投影であり、

がフレームｔにおけるマッチした２Ｄピクセルである場合、特徴点軌道に対するＳＦＭ再投影誤差は、

として定義されてよく、ここで、ｕおよびｖは像平面上の２Ｄピクセルの座標である。

Ｎ＝［ｎ_α，ｎ_β，ｎ_γ］を定義し、ｎ_γ＝（−ｎ_１，ｎ_３，−ｎ_２）^Ｔ、ｎ_β＝−ｎ、およびｎ_α＝ｎ_β×ｎ_γとすると、オブジェクト座標系内で３Ｄ点

が与えられた場合、オブジェクト座標からカメラ座標への変換は、

で与えられ、ただし、

であり、ここで、ω_ψ＝（０，ψ，０）^Ｔであり、［．.］_×は外積行列である。次いで、オブジェクト座標系内で３Ｄ点

を投影する式は、同次関係式

によって与えられ、ここで、λは未知のスケール係数であり、Ｋは３×３の内在的カメラ較正行列である。

２Ｄバウンディングボックスキュー３０４Ａからオブジェクト位置特定コストを決定することで、トラックレット（ｔｒａｃｋｌｅｔ）の集合は、位置特定に対する入力とみなされるが、ここで、トラックレットは、オブジェクトの軌道である。位置特定に対する２Ｄバウンディングボックスコストは、

によって与えられ、ここで、ｂ_ｉ（ｔ）は３Ｄバウンディングボックスの２Ｄ投影であり、Ｄ_ｉ（ｔ）は追跡からの２Ｄバウンディングボックスである。バウンディングボックスの８個の隅ｖ_ｉが与えられた場合、その投影ｑ_ｉは、

であり、ここで、

は同次スケール係数である。次いで、

を定義する。
頂点ｖ_１，．．．，ｖ_８を有する３Ｄバウンディングボックスについて、対応する像点は、ｑ_１，．．．，ｑ_８であり、ここで、各ｑ_ｉは２つの数（ｐ_ｉ，ｑ_ｉ）で表される像平面上の２Ｄピクセルである。

オブジェクト検出キュー３０６からのオブジェクト位置特定コストにより、本発明の実施態様は追跡出力にだけ依存するようにならない。ｓ（・）をバウンディングボックスの検出スコアを計算する関数として使用すると、検出項は、

となり、ここで、

はそれぞれの推定された３Ｄバウンディングボックスの投影である。

検出器を動作させることなく検出スコア関数ｓ（・）を構築するために、検出スコアは、モデルを当てはめることによって計算される。検出器は、いくつかのバウンディングボックス候補およびそれらのバウンディングボックスのスコアを提供する。モデルは、ガウス分布の混合である。各フレームで、４×４の最大階数共分散行列Σ_ｍは、μ_ｍを中心として

として推定され、ここで、ε_ｍｎ＝ｂ_ｎ−μ_ｍであり、Ｍはオブジェクトの数であり、Ｎは候補バウンディングボックスの数であり、ここで、ｋへの依存関係は便宜上抑制されている。Ａ_ｍはガウス分布の振幅であり、μ_ｍはガウス分布の平均であり、ε_ｍｎは平均からの距離であり、Σ_ｍは共分散であり、δ_ｎはガウス分布のこの総和によって近似されるスコアである。

本明細書で説明されている実施形態は、全体がハードウェアであるか、全体がソフトウェアであるか、またはハードウェアとソフトウェアの両方の要素を含んでいてよいことは理解されるべきである。好ましい一実施形態において、本発明は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む、ハードウェアおよびソフトウェアで実装される。

実施形態は、コンピュータまたは命令実行システムによってまたはコンピュータまたは命令実行システムと関連して使用するためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含んでいてよい。コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスで使用するための、または命令実行システム、装置、またはデバイスに関連して使用するためのプログラムを記憶する、伝達する、伝搬する、または搬送する任意の装置を含み得る。媒体は、磁気、光、電子、電磁、赤外線、もしくは半導体システム（または装置もしくはデバイス）、または伝搬媒体とすることができる。媒体は、半導体もしくはソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスク、および光ディスクなどのコンピュータ可読記憶媒体を含み得る。

プログラムコードを記憶し、および／または実行するのに適したデータ処理システムは、システムバスを通じてメモリ要素に直接的にまたは間接的に結合された少なくとも１つのプロセッサを備えていてよい。メモリ要素は、プログラムコードの実際の実行時に使用されるローカルメモリ、大容量記憶装置、および実行時にコードが大容量記憶装置から取り出される回数を減らすための少なくとも一部のプログラムコードを一時的に記憶するキャッシュメモリを含み得る。入出力またはＩ／Ｏデバイス（限定はしないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む）は、直接的に、または介在するＩ／Ｏコントローラを通じてのいずれかで、システムに結合され得る。

ネットワークアダプタもシステムに結合されてよく、これにより、データ処理システムを他のデータ処理システムまたはリモートプリンタまたは記憶装置デバイスに、介在するプライベートまたはパブリックネットワークを通じて結合させることが可能になる。モデム、ケーブルモデム、イーサネットカードは、現在利用可能な種類のネットワークアダプタのうちのごくわずかのものである。

次に図４を参照すると、オブジェクト位置特定システム４００が示されている。ハードウェアプロセッサ４０２は、メモリ４０４に記憶されているビデオデータにアクセスして、位置情報を提供する。２Ｄ検出モジュール４０６は、プロセッサ４０２を使用して、ＳＦＭモジュール４１０がリアルタイム単眼ＳＦＭを実行している間にビデオ上で二次元オブジェクト検出を実行する。グランドプレーンモジュール４０８は、２Ｄオブジェクト検出情報およびＳＦＭ情報を使用してフレーム内のオブジェクトに対するグランドプレーンを推定する。ブロック４１２では、プロセッサ４０２を使用して密な３Ｄ推定を実行する。結合３Ｄオブジェクト位置特定モジュールは、グランドプレーンモジュール４０８および密な３Ｄ推定モジュール４１２からの情報を使用してオブジェクト位置情報を提供する。

前記の内容は、あらゆる点で説明され例示されているが、制限的ではないものと理解されるべきであり、本明細書で開示されている発明の範囲は、詳細な説明から決定されるべきでなく、むしろ、特許法によって許される全範囲に従って解釈されるように請求項から決定されるべきである。追加の情報は、本出願の付録Ａおよび付録Ｂに掲載されている。図示され本明細書で説明されている実施形態は、本発明の原理を説明するだけであり、当業者であれば、本発明の範囲および精神から逸脱することなくさまざまな修正を実施することができることは理解されるであろう。当業者であれば、本発明の範囲および精神から逸脱することなく、さまざまな他の特徴の組合せを実施することも可能である。

Claims (8)

1. 移動オブジェクト位置特定の方法であって、
   ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ）情報に基づき前記ビデオフレーム内のグランドプレーンを推定することと、
   前記フレーム内のオブジェクトに対するオブジェクト姿勢を、密な特徴点追跡を使用して前記ＳＦＭ情報に基づき計算することと、
   前記検出されたオブジェクトに対する３次元位置を、前記推定されたグランドプレーンおよび前記計算されたオブジェクト姿勢に基づき決定することと、
   を含み、
   前記３次元位置を決定することは、コスト関数を最小化する３次元バウンディングボックスを見つけるレーベンバーグ−マーカート最適化を含み、
   前記コスト関数は、
   ε＝ε’ _ＳＦＭ ＋λ _０ ε’ _ｏｂｊ ＋λ _ｐ ε’ _{ｐｒｉｏｒ}
   であり、ここで、ε’ _ＳＦＭ は、ＳＦＭからのコストであり、ε’ _ｏｂｊ はオブジェクトバウンディングボックスからのコストであり、ε’ _{ｐｒｉｏｒ} は前記組み合わされた平滑化およびオブジェクトサイズ事前分布からの事前分布であり、λ _０ およびλ _ｐ は重み付け係数である方法。
2. 前記検出されたオブジェクトに対する前記３次元位置を決定することは、ＳＦＭキュー、バウンディングボックスキュー、およびオブジェクト検出キューに基づく請求項１に記載の方法。
3. 前記密な特徴点追跡は、密な強度合わせに基づきオブジェクト姿勢を決定することと、
   エピポーラ誘導オプティカルフローに基づき密な特徴を追跡することと、を含む請求項１に記載の方法。
4. オブジェクト位置特定の速度を上げるのに動領域抽出および複合推論が使用されない請求項１に記載の方法。
5. 移動オブジェクト位置特定のシステムであって、
   ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ）情報に基づき前記ビデオフレーム内のグランドプレーンを推定し、密特徴点追跡を使用して前記ＳＦＭ情報に基づき前記フレーム内のオブジェクトに対するオブジェクト姿勢を計算し、前記推定されたグランドプレーンおよび前記計算されたオブジェクト姿勢に基づき前記検出されたオブジェクトに対する３次元位置を決定するように構成されたプロセッサを備え、
   前記プロセッサは、コスト関数を最小化する３次元バウンディングボックスを見つけるレーベンバーグ−マーカート最適化を使用して前記３次元位置を決定するように構成され、
   前記コスト関数は、
   ε＝ε’ _ＳＦＭ ＋λ _０ ε’ _ｏｂｊ ＋λ _ｐ ε’ _{ｐｒｉｏｒ}
   であり、ここで、ε’ _ＳＦＭ は、ＳＦＭからのコストであり、ε’ _ｏｂｊ はオブジェクトバウンディングボックスからのコストであり、ε’ _{ｐｒｉｏｒ} は前記組み合わされた平滑化およびオブジェクトサイズ事前分布からの事前分布であり、λ _０ およびλ _ｐ は重み付け係数であるシステム。
6. 前記プロセッサは、前記検出されたオブジェクトに対する前記３次元位置を、ＳＦＭキュー、バウンディングボックスキュー、およびオブジェクト検出キューに基づき決定するように構成される請求項５に記載のシステム。
7. 前記プロセッサは、密な強度合わせに基づきオブジェクト姿勢を決定することと、エピポーラ誘導オプティカルフローに基づき密な特徴を追跡することとによって密な特徴を追跡するように構成される請求項５に記載のシステム。
8. 前記プロセッサは、オブジェクト位置特定の速度を上げるのに動領域抽出および複合推論を使用しないように構成される請求項５に記載のシステム。

Images