JP6483832B2 - Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム - Google Patents

Description

本開示は、物体の走査に関し、より正確には、ＲＧＢ−Ｄセンサを使用して、物体の３次元モデルを得ることに関する。

走査された物体の３次元モデルを得ることは、３次元再構築とも呼ばれ、過去数十年の間、コンピュータビジョンおよびロボット工学の分野において主要な焦点であった。深度情報を伴う画像をキャプチャする低コストのＲＧＢ−Ｄ（Ｒｅｄ−Ｇｅｅｎ−Ｂｌｕｅ ａｎｄ Ｄｅｐｔｈ）センサの開発は、３次元再構築における関心を高めた。ＲＧＢ−Ｄセンサは、色（カラー）付きの、計量的に正確な再構築を提供する方法の開発を可能にする。これらのＲＧＢ−Ｄセンサは、製造の検証、ゲーム、ロボット工学、物体認識、および物体操作のような多くの異なる分野に対してますます重要になってきた。

３次元モデルを再構築する方法はインハンドの方法を含み、この方法においては、カメラに面している物体を手により支える。この方法は、物体を背景から分離するために複雑な背景分割を必要とする。この問題を、物体を運ぶユーザの手にはめた色付グローブの使用により解決することが提案されている。インハンドセットアップは、明瞭な外観と、フレーム間の動きが少ない物体に対しては信頼性があることが証明されている。しかし、インハンドセットアップは、フレーム間の変換の決定に信頼性がないので、幾何学的および質感的特徴が少ない物体の処理にしばしば失敗する。

このため、物体を支え、アームの姿勢を登録して、フレームを他のフレームに変換するビジュアル変換を得るためのロボットアームの使用が提案されている。

代替的に、静的なセットアップもまた提案されており、走査または再構築される物体は、回転サポート表面上に置かれる。これらのセットアップは、サポート表面上のマーカーを使用でき、または、質感を十分に与えられたサポート表面の使用に基づいて構築できる。マーカーを有するサポート表面の使用は、分割を容易にし、物体に対する外観の制約なしに、任意の物体に対して静的なセットアップを使用することを可能にする。

モデル再構築の既知の方法の１つは、マイクロソフト（Ｍｉｃｒｏｓｏｆｔ）のキネクトフュージョン（Ｋｉｎｅｃｔｆｕｓｉｏｎ）である。この方法は、ＲＧＢ−Ｄセンサと、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔの略）で当業者には知られている方法を採用する。キネクトフュージョンは、種々の物体のモデルの再構築にしばしば失敗する。より正確には、対称の特徴または不明瞭な幾何学形状を有する物体は、キネクトフュージョンによりうまく再構築されない。キネクトフュージョンはまた、ユーザに容積間の境界を指定すること、および後処理工程を行うことを要求する。

良好なレベルの自動化を提供し、ユーザによる徹底的な管理を要求せずに物体のモデルを再構築するシステムへの傾向があることに留意すべきである。

開示の主な目的は、現在利用可能なシステムおよび方法の欠点を克服する方法およびシステムを提供することである。

本開示は、物体を走査する方法を提案することにより、従来技術の１つまたはそれ以上の欠点を克服する。

本開示の実施形態によれば、方法は、
ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する物体の複数の基本走査であって、前記各基本走査は前記物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供し、且つ、前記各基本走査は前記物体の位置と関連付けられている、前記複数の基本走査と、
各基本走査に対して、複数のキーフレームと走査の姿勢を使用して、物体の３次元モデルを精緻化することと、
各３次元モデルを物体の統合３次元モデルに統合することと、を含む。

ビジュアルオドメトリは、センサにより観測される動作に対応するワープ（ｗａｒｐ）を推定するために、色および深度の両方の情報を使用する技術である。この技術は、動きのより良好な推定を提供するので、ＩＣＰよりも良好な結果を示す。この技術は、文書「Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙ ｆｒｏｍ ｄｅｎｓｅ ＲＧＢ−Ｄ ｉｍａｇｅｓ」（Ｆｒａｎｋ Ｓｔｅｉｎｂｒｕｃｋｅｒ、Ｊｕｒｇｅｎ Ｓｔｕｒｍ、ａｎｄ Ｄａｎｉｅｌ Ｃｒｅｍｅｒｓ−ＩＣＣＶ Ｗｏｒｋｓｈｏｐ、２０１１）、および文書「Ｔａｂｌｅｔｏｐ Ｏｂｊｅｃｔ Ｓｃａｎｎｉｎｇ ｗｉｔｈ ａｎ ＲＧＢ−Ｄ Ｓｅｎｓｏｒ」（Ｍａｒｉａ Ｄｉｍａｓｈｏｖａ、Ｉｌｙａ Ｌｙｓｅｎｋｏｖ、Ｖｉｎｃｅｎｔ Ｒａｂａｕｄ、ａｎｄ Ｖｉｃｏｒ Ｅｒｕｈｉｍｏｖ−ＩＣＲＡ Ｗｏｒｋｓｈｏｐ、２０１３）において開示された。

好ましくは、物体が異なる位置にあるときに複数の走査を行うことにより、物体が前の位置にいた間はセンサにより見ることができなかった物体の部分を、見えるようにすることができる。従って、物体の統合３次元モデルは、物体の特徴の全体を含むことができる。

各基本走査は、基本走査と関連付けられている位置にある物体の回転または物体の周りのセンサの回転を含むことができる。

次に物体を、第１位置に置き、基本走査中に回転している間に走査し、好ましくは、これまでは隠されていた特徴を示す別の位置に置き、基本走査中に回転している間に再び走査できる。

ループ閉鎖は、物体の回転または物体の周りのセンサの回転の後に検出できる。

例えば、ループ閉鎖の検出は、センサが、センサにより撮像された初期フレームと比較して相当の量の変換を観測したことを検出した後に起こる。例として、この変換は、３３０度の回転または２メートルに対応することができる。

ポーズグラフ最適化を、ループ閉鎖を検出した後に、各基本走査の姿勢に対して行うことができる。

センサの姿勢を改善するために、ポーズグラフ最適化を、当業者には「Ｇ２ｏ：Ａ ｇｅｎｅｒａｌ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｇｒａｐｈ ｏｐｔｉｍｉｚａｔｉｏｎ」（Ｒａｉｎｅｒ Ｋｕｍｍｅｒｌｅ、Ｇｉｏｒｇｉｏ、Ｇｒｉｓｅｔｔｉ、Ｈａｕｋｅ Ｓｔｒａｓｄａｔ、Ｋｕｒｔ Ｋｏｎｏｌｉｇｅ、ａｎｄ Ｗｏｌｆｒａｍ Ｂｕｒｇａｒｄ−２０１１）に記載されているＧ２ｏとして知られているフレームワークを使用して行うことができる。

各基本走査に対する３次元モデルの精緻化は、カラー符号付距離場および近似Ｌ¹最小化を使用する変分法を使用して行うことができる。

カラー符号付距離場は、深度を表現するための精度の良い方法を提供する。カラー符号付距離場は、文書「Ｒｅａｌｔｉｍｅ ｃａｍｅｒａ ｔｒａｃｋｉｎｇ ａｎｄ ３ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ｓｉｇｎｅｄ ｄｉｓｔａｎｃｅ ｆｕｎｃｔｉｏｎｓ」（Ｅｒｉｋ Ｂｙｌｏｗ、Ｊｕｒｇｅｎ Ｓｔｒｕｍ、Ｃｈｒｉｓｔｉａｎ Ｋｅｒｌ、Ｆｒｅｄｅｒｉｋ、Ｋａｈｌ、ａｎｄ Ｄａｎｉｅｌ Ｃｒｅｍｅｒｓ−ＲＳＳ、２０１３）に記載されている。

Ｌ¹最小化に関して、Ｌ¹ノルムの使用は、大きな変換（１つのキーフレームから別のキーフレームへの）に対して精度のよい整列をさせるために、キーフレームから得られる点を精度よく区別することを可能にする。

物体の統合３次元モデルの精緻化は、各３次元モデルを初期３次元モデル（例えば、最初の基本走査の後に得られる３次元モデル）に変換する変換の決定を含むことができ、前記変換の決定は、近似Ｌ¹ノルムを使用して、各３次元モデルを初期３次元モデルに整列することを含む。

物体の３次元メッシュを得るために、物体の統合３次元モデルに対してマーチングキューブアルゴリズムを使用できる。

少なくとも２回の基本走査中の物体の位置は異なり、センサに対する物体の異なる部分を表示できる。

方法は、キーフレーム上の背景から物体を分離するために、各キーフレームの分割を含むことができる。

本開示の実施形態によれば、物体を走査するシステムが提供される。このシステムは、物体に向けられるように意図されているＲＧＢ−Ｄセンサを備える。

このシステムの一般的な態様によれば、システムは、前記ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用して、ある位置の物体を走査して、物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供する手段と、複数のキーフレームと物体の走査の姿勢を使用して、物体の３次元モデルを精緻化する手段と、複数の３次元モデルを物体の統合３次元モデルに統合する手段と、を備える。

システムは、物体を回転または物体の周りでセンサを回転する手段を備えることができる。

システムは、物体の回転または物体の周りのセンサの回転の後に、ループ閉鎖を検出する手段を備えることができる。

システムは、ループ閉鎖を検出した後に、各基本走査の姿勢に対してポーズグラフ最適化を行う手段を備えることができる。

システムは、上記に定義した方法のステップを行うように構成できるということに留意すべきである。

本発明をどのように実施できるかを、一例として、以下に添付の図面を参照して説明する。

本開示の実施形態による物体を走査する例示的な方法のブロック図である。 図１の方法の模式図である。 キネクトフュージョンおよび本開示の実施形態により得られるメッシュの比較である。 キネクトフュージョンおよび本開示の実施形態により得られるメッシュの比較である。

ここで、添付の図面に例示されている、開示の例示的な実施形態を詳細に言及する。可能なときは常に、同一または同類の部品を示すため、図面全体を通して、同じ参照番号を使用する。

図１は、物体を走査して、この物体の３次元モデルを再構築する例示的な方法のブロック図である。この方法は、ＲＧＢ−Ｄセンサを使用し、下記の例においては、センサが物体に向けられている間に、物体を回転する手段も使用する。物体を回転するそのような手段は、回転テーブルを備えることができる。

本開示によれば、物体を回転する手段は、マーカーを備えていなくてもよいということに留意すべきである。

図１の方法のステップは、センサからデータを受信し、このデータを処理するコンピュータに実装されたプロセッサを使用して実行できるということにも留意すべきである。

図１の方法は、第１基本走査ＳＣ０１および第２基本走査ＳＣ０２を含む。複数の走査を必要とする幾何学形状を有している物体に対しては、より多くの基本走査を行うことができる。

第１基本走査ＳＣ０１の第１ステップＳ０１においては、物体の位置が選択され、物体は、物体を回転する手段上のこの位置に置かれる。

次に、２つのステップＳ０２とＳ０３が、ほぼ同時に行われる。ステップＳ０２は、キーフレームと姿勢の取得に対応し、ステップＳ０３は、物体を回転する手段を使用しての物体の回転に対応する。

物体に対するセンサの正確な姿勢を得るために、キーフレーム取得の後に、前景を背景から分離するために分割を行うことができる。この分割を行うために、ＲＧＢ−Ｄセンサは、対として定義される。
［Ｉ：Ω₂→［０、１］³、Ｄ：Ω₂→Ｒ⁺］

ここでΩ₂は画像プレーン、Ｉはカラー画像データ、Ｄは深度である。カメラ射影は、π：Ｒ³→Ω₂で表わされる。プレーンは、クラウドデータＣ：＝π_D ^-1に合わせられ、法線方向に沿うサポート平面にまたがる角柱（プリズム）が、角柱の内部にある３次元点を決定して、これらの点を前景分割マスクを作成する画像プレーンに射影するために計算される。

前記角柱は、物体を取り囲む３次元形状に対応する。例として、角柱は、物体が置かれているサポートを検出して、このサポートへの法線を計算して、３次元ボックスを、法線に沿って押し出すことにより画定される。他の形状も、サポートの形状に適合するために使用できる。

次に、センサ変換は、文書「Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙｆｒｏｍ ｄｅｎｓｅ ＲＧＢ−Ｄ ｉｍａｇｅｓ」（Ｆｒａｎｋ Ｓｔｅｉｎｂｒｕｃｋｅｒ、Ｊｕｒｇｅｎ Ｓｔｕｒｍ、ａｎｄ Ｄａｎｉｅｌ Ｃｒｅｍｅｒｓ -ＩＣＣＶ Ｗｏｒｋｓｈｏｐ、２０１１）に記述されているように、ビジュアルオドメトリを使用して決定される。より正確には、フォトコンシステンシ（ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ）を最大化することによる、２つの連続するセンサ対[Ｉ₀、Ｄ₀]、[Ｉ₁、Ｄ₁]の間のセンサのＳＥ（３）に対してΞ∈ＳＥ（３）となる剛体の動きΞである。

ここで、ｗ_Ξ：Ω₂→Ω₂であり、ｗ_Ξ（ｘ）＝πＤ₀（Ξ・π_D1 ^-1（ｘ））として定義され、カラーポイントクラウドを、１つのフレームから他のフレームに変換および射影する関数である。これは、最小二乗問題として解くことができ、コースツーファインの方式を使用するガウス−ニュートンのアプローチを使用して解くことができる。

ＲＧＢ−Ｄセンサおよびビジュアルオドメトリを使用することは、幾何学的に区別できる特徴が少ない物体を扱うのに適しているので有利であるということに留意すべきである。ビジュアルオドメトリもまた、高い程度の質感を呈示する物体、およびこれもまた高い程度の質感を呈示するサポートを扱うためにも非常に適している。

フレーム間での変換の推定の間、キーフレーム対[Ｉ_i、Ｄ_j]が、対応する姿勢Ｐ_iおよび前に格納されたキーフレームからの姿勢Ｐ_i-1と共に格納される。２つの連続するキーフレームと姿勢は、最小角度および距離、例えば１０°および１０センチメートルで分離できる。

ステップＳ０４において、相当な量の変換が（[Ｉ₀、Ｄ₀]および対応する姿勢Ｐ₀から）観測された後に、ループ閉鎖が検出される。例として、３３０°または２メートルの変換は、ループ閉鎖に対応することができる。

次にポーズグラフ最適化が実行され（ステップＳ０５）、例えば、ビジュアルオドメトリエネルギーに基づくエラー測度が使用されている間のカメラの姿勢を改善するためのＧ２ｏフレームワークを使用する。次に、文書「Ｇ２ｏ：Ａ ｇｅｎｅｒａｌ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｇｒａｐｈ ｏｐｔｉｍｉｚａｔｉｏｎ」（Ｒａｉｎｅｒ Ｋｕｍｍｅｒｌｅ、Ｇｉｏｒｇｉｏ Ｇｒｉｓｅｔｔｉ、Ｈａｕｋｅ Ｓｔｒａｓｄａｔ、Ｋｕｒｔ Ｋｏｎｏｌｉｇｅ、ａｎｄ Ｗｏｌｆｒａｍ Ｂｕｒｇａｒｄ−２０１１）に記述されているように、最小化されたエラー関数は、ビジュアルオドメトリエネルギーである。

ステップＳ０６において、３次元モデルが得られる。より正確には、センサ対と姿勢が、半球Ｈ＝｛（Ｉ_i、Ｄ_i、Ｐ_i）ｉ｝として表わされる３次元モデルを画定する。

ステップＳ０６において、滑らかに１つの融合モデルにするために、半球に対応するデータが容積測定場ｆ_i：Ω₃ ⊂Ｒ³→Ｒに投入され、ここにおいてｉは、基本走査のインディシア（ｉｎｄｉｃｉａ）である。切断（ｔｒｕｎｃａｔｅｄ）符号付距離場が、光線を当て、視線に沿って、各点ｘ∈Ω₃に対する表面からの符号付距離を計算することにより作成される。物体の前部の点には正の値が、一方、表面の背後の点には、負の値が与えられる。容積測定場は、下記のように記述される。

Ｐ_i ^xyzは、姿勢Ｐ_iに対するカメラの中心であり、δは、深度データにおける測定ノイズに対する許容誤差に対応するパラメータであり、深度センサの忠実度を考慮して設定されるべきである。例として、δは、２ミリメートルのオーダーであってよい。

ｆ_iは、符号付距離場のどの部分を融合の間に考慮すべきかを示す２変数関数ｗ_i：Ω₃→｛０、１｝と関連付けられており、ｗ_iは下記のように表される。

ここにおいてηは、観測された表面の背後においてどのくらいの量が見られたかを定義するパラメータであり、ソリッド（ｓｏｌｉｄ）であると仮定される（例えば、ηは１センチメートルに等しくてよい）。物体の色もまた復旧するために、色容積ｃ_i：Ω₃→［０、１］³が、下記のように定義される。
ｃ_i（ｘ）＝Ｉ_i（π（ｘ））

従って、カラー符号付距離場は、［ｆ_i、ｃ_i］と称してよい。再構築された物体の幾何学形状と発色それぞれ対応する２つの関数ｕ、ｖを得るために、問題は、変分エネルギー最適化公式化に投入され、ミニマイザが求められる。

最先端技術とは反対に、幾何学場は、統合または融合された場だけではなく、本開示によれば、色情報もまた公式化に使用されるということに留意すべきである。

次に、トータルバリエーションレギュラライザ

これらのエネルギーを解くために、問題の項を、

重み付けされた近似絶対差

は、追加的正規化因子Γ（Σ_iｗ_i）^-1と近似トータルバリエーションレギュラライザを伴っていると見られる。

上記に定義した凸且つ微分可能な公式化は、勾配降下方程式の定常状態において見出すことができる下記のミニマイザに繋がる。

これらのグローバルミニマイザは、ｕ^*、ｖ^*と決定され表記される。次に、再構築された３次元モデルは、

ここでφ＝［ｕ^*、ｖ^*］である。

上記に定義した計算は、各基本走査ＳＣ０ｊに対して実行でき、複数のモデルφ_jを提供する。

２つのモデルが基本走査ＳＣ０１とＳＣ０２から得られる。これらの２つのモデルは、ステップＳ０７において統合または融合される。

ステップＳ０７において、モデルφ_jは、第１モデルであるφ₀に整列される。３次元剛体変換Ξ_jを決定する必要がある。この問題は、６自由度を有しており、ツイストベクトルξ＝［ω_x、ω_y、ω_z、ｔ_x、ｔ_y、ｔ_z］^T∈Ｒ⁶を介してパラメータ化された変換の表現の最小表現が選択される。対応するリー代数のツイストは、ξ∈ｓｅ（３）と表わされ、リー群Ξ∈ＳＥ（３）からの指数マッピングは、

ここでＲは３×３の回転行列、Ｔは３成分ｔ_x、ｔ_y、ｔ_zを有する平行移動ベクトルである。

目標は、すべての点Ｘに対して、φ₀（ｘ）＝φ_j（Ξ（ｘ））となるようにすることであり、ここで、Ξ（ｘ）：Ｒ³→Ｒ³は、ξによりパラメータ化され、点Ｘに適用された同次変換を表している。厳密解は実際には存在しないため、最小化が行われる。より正確には、距離が、適切な手段Ｍを使用するエネルギー公式により最小化される。

キネクトフュージョンによるアプローチとは反対に、レジストレーション問題は、代数誤差を解決しながら連続的な方法で解けるということに留意すべきである。

この段階において、Ｌ²ノルムを使用できる。

しかし、近似Ｌ¹ノルムの方がより強固であることが示された。

Ｌ¹ノルムは、より広い収束ベイスン（convergence basin）と速度の点においてＬ²ノルムより勝っている。

相関比または相互情報のような、他の手段Ｍもまた適用できる。次に、変換パラメータを更新するための匂配降下方式が適用される。初期変換Ξ⁰から開始して、下記の方程式が、反復して解かれる（使用する手段に依存する）。

適切な数値更新を確実にするために、ヤコビアン

提案されるエネルギーは局所最適値を許容するので、従って、初期設定に依存する。強固な収束が観測された。モデル間の大きな回転差を処理するために、範囲θ∈（０、π）、κ∈（０、２π）の球座標を離散ステップでサンプリングすることにより球状格子内を検索し、収束するまで整列を行うことが提案されている。

レジストレーションプロセスの速度を高めるために、コースツ−ファインピラミッドスキームを、３つのレベルで使用することができ、その場合、ダウンサンプリングされたモデルは大まかに整列され、結果としての整列が、次のピラミッドステージへの初期設定とされる。

最良の整列Ξ_jを決定した後に、姿勢を変換しながら、モデルからの要素を第１モデルに統合することにより、モデルは統合または融合される。次に、再構築が行われる。

次に、マーチングキューブアルゴリズムを使用して、３次元統合モデルのメッシュを抽出できる。

図２は、図１の方法の模式図であり、２回の基本走査ＳＣ０１とＳＣ０２は、表面上の電話機の基本走査と、表面上の逆さまの電話機の基本走査とにそれぞれ対応している。

第１基本走査ＳＣ０１において、何枚かのキーフレーム１１が撮像される（図１のステップＳ０２とＳ０３）。物体、そのサポート、および背景が分離されている分割されたキーフレーム１２を得るために分割（セグメント化）が行われる。次に、ビジュアルオドメトリとポーズグラフ最適化を使用して（ステップＳ０４とＳ０５）、キーフレーム１３を得る。これらのフレームはモデル１４に統合されて、表面上に位置している電話機の３次元モデルとなる。

電話機の底部の特徴を取り込むために、第２基本走査ＳＣ０２が行われる。何枚かのキーフレーム１２が撮像される（図１のステップＳ０２とＳ０３）。分割が行われて、分割されたキーフレーム２２が得られる。次に、ビジュアルオドメトリとポーズグラフ最適化を使用して（ステップＳ０４とＳ０５）、キーフレーム２３を得る。これらのフレームはモデル２４に統合されて、表面上に逆さまに位置している電話機の３次元モデルとなる。

得られた２つのモデルは整列且つ統合されて、統合３次元モデル３０となる。

図３と図４は、キネクトフュージョンにより得られた３次元モデルと、本開示の実施形態に従って得られた３次元モデルを示している。より正確には、ドイツの会社であるＩｍｆｕｓｉｏｎ ＧｍｂＨにより、Ｒｅｃｆｕｓｉｏｎという名称で商品化されているソフトウェアを使用して、キネクトフュージョンにより得られた結果を提示している。各物体に対して、固定センサにより８００フレームが取得され、回転サポートが使用された。サポートは手により動かし、８００フレームを取得する間に、約３６０°回転させた。連続するフレームは、小さな回転差しかなく、この小さな回転角度は、手による回転のためにランダムである。

ＩＣＰにおいては、すべてのフレームが使用されて姿勢を推定した。発明の実施形態によれば、ビジュアルオドメトリを介して姿勢を得るためにすべてのフレームを使用できるが、グラフ最適化およびモデルへの融合のために特定のキーフレームのみを使用できる。例として、キーフレームは、その前のキーフレームと、１５°または１０センチメートルの動きの差があるフレームであってよく、これらの基準は、物体の良好な再構築を提供し、計算時間を制限する。

図３と図４に示されている物体は、複数回の基本走査の結果の観測を可能にする複数の側面または複雑な幾何学形状を示していない。しかし、これらの物体は、ポーズグラフ最適化とＬ¹ノルムの利点のある使用法を示している。

図３には、牛乳パックの２つの３次元モデルが表現されている。第一３次元モデル４０は、キネクトフュージョンを使用して得られる。モデル４０から観測できるように、キネクトフュージョンは対称物体を再構築する能力がないので、牛乳パックの大きな部分が欠けている。

モデル５０は、本開示の実施形態に従って得られた。図から分かるように、牛乳パックは全体的に再構築されている。

モデル４０と５０は両方とも１ミリメートルのボクセルサイズを使用して作成され、両方のモデルは、初期データとして同じフレームを使用して得られた。

図４は、再構築された物体の別の例であり、ここではマンゴーである。モデル６０は、キネクトフュージョンにより得られたものであり、不完全である。モデル７０は、本開示の実施形態に従って得られたもので、完全なマンゴーを表示している。

本開示の実施形態によれば、完全な３次元再構築方法が得られる。

この方法は、より正確な結果を提供することにより、現在のソリューションを凌いでいる。

Claims (12)

1. 物体を走査する方法であって、
   ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する物体の複数の基本走査（ＳＣ０１、ＳＣ０２）であって、各基本走査は前記物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供し（Ｓ０２）、且つ、各基本走査は前記物体の位置と関連付けられており、前記物体の前記位置は、２つの異なる基本走査間で異なる、前記複数の基本走査と、
   各基本走査に対して、前記複数のキーフレームと前記走査の姿勢を使用して、前記物体の３次元モデルを精緻化する（Ｓ０６）ことと、
   各３次元モデルを前記物体の統合３次元モデルに統合すること（Ｓ０７）と、を含み、
   各基本走査に対する前記３次元モデルの前記精緻化は、カラー符号付距離場と近似Ｌ1最小化を使用する変分法を使用して行われる、
   ことを特徴とする方法。
2. 各基本走査に対して、前記物体の回転（Ｓ０３）又は前記物体の周りの前記センサの回転を含み、前記物体は前記基本走査と関連付けられている前記位置にある、請求項１に記載の方法。
3. ループ閉鎖は、前記物体の回転または前記物体の周りの前記センサの回転の後に検出される（Ｓ０４）、請求項２に記載の方法。
4. ポーズグラフ最適化（Ｓ０５）が、ループ閉鎖を検出した後に、各基本走査の前記姿勢に対して行われる、請求項３に記載の方法。
5. 前記物体の前記統合３次元モデルの前記精緻化は、各３次元モデルを初期３次元モデルに変換する変換の決定を含み、前記変換の決定は、近似Ｌ¹ノルムを使用して、各３次元モデルを前記初期３次元モデルに整列することを含む、請求項１から４のいずれか１項に記載の方法。
6. 前記物体の３次元メッシュを得るために、前記物体の前記統合３次元モデルに対してマーチングキューブアルゴリズムを使用することを含む、請求項１から５のいずれか１項に記載の方法。
7. 少なくとも２つの基本走査中の前記物体の前記位置は異なり、前記センサに対し前記物体の異なる部分を表示する、請求項１から６のいずれか１項に記載の方法。
8. 前記キーフレーム上の背景から前記物体を分離するために、各キーフレームの分割を含む、請求項１から７のいずれか１項に記載の方法。
9. 物体に向けられるように意図されているＲＧＢ−Ｄセンサを備える、前記物体を走査するシステムであって、
   前記ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用して、ある位置の前記物体を走査して、前記物体に対する前記センサの姿勢と関連付けられている複数のキーフレームを提供する手段と、
   複数のキーフレームと前記物体の走査の姿勢を使用して、前記物体の３次元モデルを精緻化する手段と、
   複数の３次元モデルを前記物体の統合３次元モデルに統合する手段と、を備え、
   前記システムは、カラー符号付距離場と近似Ｌ1最小化を使用する変分法を使用して、前記物体の走査に対する前記３次元モデルの前記精緻化を実行するように構成される、
   ことを特徴とするシステム。
10. 前記物体を回転または前記物体の周りで前記センサを回転する手段を備える、請求項９に記載のシステム。
11. 前記物体の回転または前記物体の周りの前記センサの回転の後に、ループ閉鎖を検出する手段を備える、請求項１０に記載のシステム。
12. ループ閉鎖を検出した後に、各基本走査の前記姿勢に対してポーズグラフ最適化を行う手段を備えることを特徴とする請求項１１に記載のシステム。

Images