JP2024127790A - マッピングシステム、マッピングシステムを使用する方法、およびプログラム - Google Patents

Abstract

【課題】不正確さが生じにくい、質の高いマップを生成するマッピングシステムの提供。【解決手段】マッピングシステムは、シーンの画像データを含む入力信号を受信し、シーンの基準マップに対して画像データを取り込むために使用されるセンサの位置を判定し、センサの判定された位置と基準マップとに基づいてシーンの変化点および変化スコアを判定し、変化点および変化スコアに基づいて変化マップを生成し、変化マップと基準マップとの比較に基づいて更新マップを生成し、基準マップの内容を変化させずに維持する。【選択図】図１

Description

本開示は、マッピングシステム、マッピングシステムを使用する方法、およびプログラムに関する。

マッピングシステムは、部屋、工場などのシーンのスキャンまたは画像を取り込み、シーンの３次元（３Ｄ）マップを作成するために使用可能である。マッピングシステムは、シーンの後続のスキャンまたは撮像を実行し、シーンの中のオブジェクトの動き、シーンの中の新しいオブジェクト、またはシーンの中のオブジェクトの除去など、シーンの中の変化を判定する。次いで、マッピングシステムは、シーンの中の判定された変化に基づいて、３Ｄマップを更新する。マッピングシステムによって生成されたマップおよび更新されたマップは、拡張現実（ＡＲ）ゲーム、仮想現実（ＶＲ）ゲーム、自律車両制御、および他の適切な活動を含む広範囲の技術に使用可能である。

不正確さが生じにくい、質の高いマップを生成するマッピングシステムが望まれている。

本明細書の態様は、命令を記憶するように構成された非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体に接続されたプロセッサとを含むマッピングシステムに関する。前記プロセッサは、シーンの画像データを含む入力信号を受信し、前記シーンの基準マップに対して前記画像データを取り込むために使用されるセンサの位置を判定し、前記センサの前記判定された位置と前記基準マップとに基づいて前記シーンの変化点および変化スコアを判定し、前記変化点および前記変化スコアに基づいて変化マップを生成し、前記変化マップと前記基準マップとの比較に基づいて更新マップを生成し、前記基準マップの内容を変化させずに維持するための前記命令を実行するように構成される。

本明細書の態様は、シーンの画像データを含む入力信号を受信することと、前記シーンの基準マップに対する前記画像データを取り込むために使用されるセンサの位置を判定することと、前記センサの前記判定された位置および前記基準マップに基づいて前記シーンの変化点および変化スコアを判定することと、前記変化点および前記変化スコアに基づいて変化マップを生成することと、前記変化マップと前記基準マップとの比較に基づいて更新マップを生成することと、前記基準マップの内容を変化させずに維持することとを含む、マッピングシステムを使用する方法に関する。

本明細書の態様は、シーンの画像データを含む入力信号を受信し、前記シーンの基準マップに対する前記画像データを取り込むために使用されるセンサの位置を判定し、前記センサの前記判定された位置および前記基準マップに基づいて前記シーンの変化点および変化スコアを判定し、前記変化点および前記変化スコアに基づいて変化マップを生成し、前記変化マップと前記基準マップとの比較に基づいて更新マップを生成し、前記基準マップの内容を変化させずに維持することをプロセッサに実行させるためのプログラムに関する。

本開示の態様は、添付の図面と併せて読むと、以下の詳細な説明から最もよく理解される。業界の標準的な慣行に従って、様々な特徴は原寸に比例して描かれていないことに留意されたい。実際、様々な特徴の寸法は、説明を明確にするために任意に増減され得る。

いくつかの実施形態による、マッピングシステムの概略図である。 いくつかの実施形態による、基準マップを生成するためのシステムの概略図である。 いくつかの実施形態による、マッピングシステムを使用する方法のフローチャートである。 いくつかの実施形態による、マッピングシステムの概略図である。 いくつかの実施形態による、マッピングシステムを使用する方法のフローチャートである。 いくつかの実施形態による、マッピングシステムの概略図である。 いくつかの実施形態による、マッピングシステムを使用する方法のフローチャートである。 いくつかの実施形態による、マッピングシステムの概略図である。 いくつかの実施形態による、マッピングシステムを使用する方法のフローチャートである。 いくつかの実施形態による、マッピングシステムのブロック図である。

以下の開示では、設けられている主題の異なる特徴を実装するための多くの異なる実施形態または例を提供する。本開示を簡略化するために、構成要素、値、動作、材料、配置などの特定的な例を、以下に説明する。もちろん、これらは単なる例であり、限定することを意図するものではない。他の構成要素、値、動作、材料、配置などが考えられる。例えば、以下の説明において、第２の特徴の上（ｏｖｅｒまたはｏｎ）へ第１の特徴を形成することは、第１の特徴および第２の特徴が直接接触して形成される実施形態を含むことができ、第１の特徴および第２の特徴が直接接触し得ないように、第１の特徴と第２の特徴との間に追加の特徴が形成され得る実施形態も含むことができる。さらに、本開示は、様々な例において参照符号および／または文字を繰り返すことがある。この繰り返しは、簡素化および明瞭化のためのものであり、それ自体は、説明した様々な実施形態および／または構成の間の関係を規定するものではない。

シーンの以前の画像またはスキャンからの変化を判定するためにマップを直接更新するマッピングシステムは、更新されたマップの中の変化を不正確に判定するリスクが高い。不正確さのリスクの増加は、撮像デバイスまたはスキャン用デバイスの質、変化登録時の閾値処理、画像またはスキャンにおけるオブジェクトの検証の失敗、または他のそのような欠点を含むいくつかの要因に起因する。コストを削減するために、マッピングシステムでは低解像度の撮像デバイスまたはスキャン用デバイスが使用されることが多い。これらの低解像度デバイスでは、オブジェクトの識別がより困難になり、オブジェクトが特定の光の条件下で検出され、次いで異なる光の条件下で検出されないリスクが増大する。そのような状況により、マッピングシステムは、オブジェクトが実際にはまだ存在しているが単に検出されなかったというときに、後の画像またはスキャンにおいて検出されなかったオブジェクトをシーンへの変化とみなす。閾値処理は、マッピングシステムの計算の負荷を低減するために使用される技術である。閾値処理は、光の条件、一過性の移動するオブジェクト（例えば、移動する人々）、または他のそのような状況に起因するシーンの中のわずかな違いに対応する試みである。閾値値を過度に厳しく設定すると、シーンの中の変化を識別することができないリスクが増大する。対照的に、閾値が緩く設定されすぎると、シーンの中の変化に対する偽陽性のリスクが増加する。シーンの中のオブジェクトのジオメトリを検証できないと、前のオブジェクトと同様の位置にある異なるオブジェクトが同じオブジェクトとして扱われ、シーンにおける違いが識別されないリスクが高まる。

不正確さのリスクを増加させる項目に加えて、シーンのマップを直接的に更新することは、シーンの画像またはスキャンの連続的な反復を通じて、誤差を伝播させる。例えば、同時定位マッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｓｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）技術では、画像またはスキャンを分析する間に、閾値処理および仮定が利用される。ＳＬＡＭ技術は、シーンの中のオブジェクトの位置を判定するために、マップのデータポイントを一度に１つずつ測定する。以前の分析に何らかの誤りがあると、その後の分析に不正確さが生じる。誤差の伝播は、そのようなマッピングシステムによって生成されたマップの全体的な信頼性を低下させる。

不正確さが生じにくい、質の高いマップを生成するマッピングシステムは、車両の移動の自動化、現実的なゲーム環境の向上、および他の用途の前進に役立つ。高解像度イメージャまたはスキャナを継続的に使用する費用を回避しながらマップ生成の質を改善するよう促すために、本明細書のいくつかの実施形態によるマッピングシステムは、マッピングシステムの動作中に変化させないままである基準マップを利用する。基準マップの利用は、シーンの撮像またはスキャンの連続的な反復を通じて伝播する誤差のリスクを低減するために、高い質の固定基準点を設ける。さらに、本明細書のいくつかの実施形態によるマッピングシステムはまた、他の手法と比較してマッピングシステムの精度を改善するためにオブジェクトジオメトリ検証を利用する。結果として、本明細書のいくつかの実施形態のマッピングシステムは、様々な用途で使用するための正確なマップを生成しながら、マッピングシステムの実装中に低解像度の撮像デバイスまたはスキャン用デバイスを利用することができる。

簡潔にするために、以下の説明では、シーンの画像に焦点を当てる。当業者は、画像が単なる例示であり、点群などの他のタイプのシーン検出がこの説明の範囲内であることを認識するであろう。以下の説明では、シーンに関するデータを取り込むためのセンサについても言及する。いくつかの実施形態では、センサは、１つまたは複数のカメラ、１つまたは複数のサーマルカメラ、１つまたは複数のビデオカメラ、１つまたは複数の光および距離検出器（ＬｉＤＡＲ：ｌｉｇｈｔ ａｎｄ ｒａｎｇｅ ｄｅｔｅｃｔｏｒ）、これらの要素の組み合わせ、または別の適切なセンサを含む。

図１は、いくつかの実施形態による、マッピングシステム１００の概略図である。マッピングシステム１００は、入力信号を受信するように構成される。入力信号は、画像および深度データの両方を含む。いくつかの実施形態では、画像データは、赤、緑、青（ＲＧＢ）の画像データを含む。いくつかの実施形態では、画像データは、グレースケール、熱、または別の適切な種類の画像データなどの別の種類の画像データを含む。マッピングシステム１００は、入力信号から画像データおよび基準三次元（３Ｄ）マップ１２５を受信するように構成された登録モジュール１０５を含む。登録モジュール１０５は、基準３Ｄマップ１２５に対する入力信号を収集するために使用されるセンサの位置を示すグローバルポーズ（ｇｌｏｂａｌ ｐｏｓｅ）を生成するように構成される。マッピングシステム１００は、入力信号から深度データ、登録モジュール１０５からのグローバルポーズ、および基準３Ｄマップ１２５を受信するように構成された変化検出モジュール１１０をさらに含む。変化検出モジュール１１０は、シーンの中の各オブジェクトの変化スコアおよび変化点を生成するように構成される。マッピングシステム１００は、変化検出モジュール１１０から変化スコアおよび変化点を受信するように構成された変化改善モジュール１１５をさらに含む。変化改善モジュール１１５は、シーンの中のオブジェクトがシーンのマッピングの前の反復に対して変化したかどうかを判定するために後処理を実行するように構成される。マッピングシステム１００は、変化改善モジュール１１５から最終変化点を受信するように構成された変化３Ｄマップ１２０をさらに含む。変化３Ｄマップ１２０は、基準３Ｄマップ１２５に対する入力信号に基づくシーンの中の変化に関する情報を記憶する。マッピングシステム１００は、シーンのマッピングの連続的な反復による誤差の伝播を低減するのを促すために、基準３Ｄマップの更新を回避する。マッピングシステム１００は、シーンの更新されたマップを判定するために、基準３Ｄマップ１２５を変化マップ１２０と組み合わせるように構成されたマップ更新モジュール１３０をさらに含む。マッピングシステム１００は、マップ更新モジュール１３０から受信した更新されたマップに基づいて決定または命令を生成するように構成された下流タスクモジュール１３５をさらに含む。

入力信号は、シーンの中のテクスチャ／色の特性を取り込むための画像データと、シーンの中の点の相対位置の検出を容易にするための深度データとの両方を含む。いくつかの実施形態では、画像データはカラー画像データを含む。いくつかの実施形態では、画像データはグレースケールのデータを含む。本明細書はカラーの画像データに焦点を当てている。しかしながら、当業者は、本願がカラーの画像データに限定されないことを認識するであろう。いくつかの実施形態では、入力信号は、画像および深度検出機能の両方を含む単一のセンサから受信される。いくつかの実施形態では、入力信号は、２つ以上のセンサから受信される。いくつかの実施形態では、複数のセンサは、同じタイプのセンサ、例えば画像検出センサを含む。いくつかの実施形態では、複数のセンサは、異なるタイプのセンサ、例えば、ＬｉＤＡＲセンサおよび画像検出センサを含む。いくつかの実施形態では、深度データは、三角測量を使用してステレオ画像検知に基づいて生成される。いくつかの実施形態では、深度データは、構造化光センサを使用して生成される。いくつかの実施形態では、深度データは、飛行時間（ＴｏＦ：ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）センサを使用して生成される。

いくつかの実施形態では、入力信号は、マッピングシステム１００への処理の負荷について補助するためにフレームに分解される。フレームはシーンのより小さな部分である。入力信号のすべてのフレームは、同時に取り込まれ、取り込みは基準３Ｄマップ１２５の作成後である。マッピングシステム１００は、以下に説明するように、各フレームを別々に分析して、変化点および変化スコアを判定する。入力信号内の幾何学的に意味のあるオブジェクトの識別は、幾何学的に意味のあるオブジェクトの判定の精度を高めるのを助けるために、複数のフレームを利用して実行される。いくつかの実施形態では、幾何学的に意味のあるオブジェクトの判定中にフレームのすべてが分析される。いくつかの実施形態では、幾何学的に意味のあるオブジェクトが識別されるのに十分なフレームが分析されると、識別された幾何学的に意味のあるオブジェクトに対するフレームの分析が行われる。

登録モジュール１０５は、入力信号から基準３Ｄマップ１２５および画像データを受信するように構成される。登録モジュール１０５は、画像データを取り込むために使用されるセンサの位置を判定するように構成される。登録モジュール１０５は、基準３Ｄマップ１２５に対するセンサの判定された位置に基づいてグローバルポーズを出力するように構成される。グローバルポーズは、画像データおよびセンサの位置を含む。深度データを考慮せずに画像データを使用することにより、入力信号全体を使用してグローバルポーズを生成するシステムと比較して、登録モジュール１０５の処理の負荷が低減される。複数のセンサを含むいくつかの実施形態では、登録モジュール１０５は、入力信号を取り込むために使用されるセンサの各々の位置を判定するように構成される。登録モジュール１０５は、センサの位置を判定するために基準３Ｄマップ１２５内の恒久的なオブジェクトまたは点を利用する。登録モジュール１０５は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。

変化検出モジュール１１０は、基準３Ｄマップ１２５、登録モジュール１０５からのグローバルポーズ、および入力信号からの深度データを受信するように構成される。変化検出モジュール１１０は、基準３Ｄマップ１２５の情報をグローバルポーズおよび深度データからのデータと比較して、基準３Ｄマップ１２５に対してシーンに変化が生じたかどうかを判定するように構成される。変化検出モジュール１１０による変化の判定は、マッピングシステム１００によるシーンのマッピングの前の反復に対してではなく、基準３Ｄマップ１２５に対するものである。変化検出モジュール１１０は、グローバルポーズに基づいて、現在分析中のフレームに対応する３Ｄ基準マップ１２５の領域を識別するように構成される。変化検出モジュール１１０は、深度またはポイントツーポイント距離データを使用してシーンの中の点およびシーンの中の検出された点の位置を識別するようにさらに構成される。いくつかの実施形態では、変化検出モジュール１１０は、深度またはポイントツーポイント距離データに基づいてシーンの中のオブジェクトおよび検出されたオブジェクトの位置を識別するように構成される。変化検出モジュール１１０は、識別された点および識別された点の位置を基準３Ｄマップ１２５と比較して、シーンに追加された、またはシーンの中で移動された、いずれかの識別された点があるかどうかを判定するように構成される。変化検出モジュール１１０はまた、グローバルポーズおよび深度データに基づいて基準３Ｄマップ１２５が生成されてから、基準３Ｄマップ１２５からの任意の点がシーンから除去されたかどうかを判定するように構成される。変化検出モジュール１１０は、識別された変化の位置を示す変化点と、識別された変化の可能性を示す変化スコアとを生成するように構成される。いくつかの実施形態では、変化検出モジュール１１０は、カラーの画像データが利用可能である場合、検出された変化の位置に加えて、色を示す変化点を生成するようにさらに構成される。当業者は、グレースケールの画像データが利用可能である場合、グレースケールを示す変化点も可能であることを認識するであろう。

変化点は、基準３Ｄマップ１２５の中の同じ位置とは異なるシーンの中の位置を示す。変化スコアは、変化点が実際の変化である可能性の高さを示す。すなわち、変化点は、シーンの中の位置で何らかの種類の変化が発生したことを示し、変化スコアは、識別された変化が、異なる光の条件またはオブジェクト検出の精度に影響を及ぼす他の要因によって生成されたアーチファクトではなく、シーンの実際の変化である可能性がどの程度高いかを示す。以下の説明は、変化点および変化スコアを明確にするための例を提示する。当業者は、マッピングシステム１００が以下に説明する例に限定されないことを理解するであろう。

少なくとも１つの例では、基準３Ｄマップ１２５は、テーブルに物体が配置されていないテーブルを含む。入力信号は、テーブル上に配置されたボックスを含むシーンの画像を含む。深度データを利用して、変化検出モジュール１１０は、シーンの中の位置が変化したことを判定することができる。例えば、基準３Ｄマップ１２５の最も近いオブジェクト、例えばシーンの後方の壁と、入力信号、すなわちボックスとの間の距離は異なる。変化検出モジュール１１０は、基準３Ｄマップ１２５と入力信号との間の深度データの差に基づいて変化点を示す。次に、変化検出モジュール１１０は、変化が見つかった各点の変化スコアを生成する。変化スコアの生成は、識別された変化点の偽陽性を低減するのに役立つ。シーンの後壁とボックスの上部との間の距離の大きさが大きいため、ボックスの上部の変化スコアは大きくなる。対照的に、テーブルの上面とボックスの底部との間の距離の大きさが小さいため、ボックスの底部の変化スコアは小さくなる。以下に説明するように、変化点と変化スコアとの組み合わせは、変化改善モジュール１１５が入力信号の中の潜在的な変化の検出された点の境界を判定するのに役立つ。

変化検出モジュール１１０は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。いくつかの実施形態では、変化検出モジュール１１０は、登録モジュール１０５と同じプロセッサを使用して実装される。いくつかの実施形態では、変化検出モジュール１１０は、登録モジュール１０５とは異なるプロセッサを使用して実装される。

変化改善モジュール１１５は、変化検出モジュール１１０から変化点および変化スコアデータを受信するように構成される。変化改善モジュール１１５は、画像データを受信するようにさらに構成される。変化改善モジュール１１５は、変化点および変化スコアデータの幾何学的分析を実行して、変化点および変化スコアデータに関連するオブジェクトの境界の判定を改善するように構成される。いくつかの実施形態では、変化改善モジュール１１５は、基準３Ｄマップ１２５を受信するか、またはオブジェクトの境界の改善を補助するようにさらに構成される。

上方からのテーブル上のボックスという非限定的な例に戻ると、変化改善モジュール１１５は、ボックスの境界を判定するのを助けるように構成される。上述したように、ボックスの下部の変化スコアは小さい。ある値を下回る変化スコアを変化ではないと判定する閾値処理のみを行うシステムでは、「浮遊物（ｆｌｏａｔｉｎｇ ｏｂｊｅｃｔ）」のリスクが高まる。すなわち、ボックスの上部は変化として表示されるが、ボックスの下部は変化として表示されない。その結果、シーンのマップ更新においてボックスの上部がテーブル上に浮いているように見える。しかしながら、変化改善モジュール１１５は、変化点および変化スコアデータのジオメトリが、シーンのマップに追加するための意味のある形状を生成するかどうかを判定するように構成される。そのような判定を行うために、変化改善モジュール１１５は、幾何学的に意味のあるオブジェクトが変化点および変化スコアデータによって表されるかどうかを判定するのを補助するために、隣接する変化点の変化スコアを利用するように構成される。幾何学的に意味のあるオブジェクトは、明確な境界を有し、物理的な意味を成す他のオブジェクトとの空間的関係を有するオブジェクトを含む。例えば、「浮遊物」は物理的な意味を成さないが、テーブルに静置されているオブジェクトは物理的な意味を成す。幾何学的に意味のあるオブジェクトは、１つまたは複数の幾何学的に意味のある形状から構築される。いくつかの実施形態では、単一のオブジェクトは、複数の幾何学的に意味のある形状を含む。例えば、自転車は、場合によっては、複数の円ならびに少なくとも１つの長方形を含む。

テーブル上のボックスの非限定的な例を続けると、変化改善モジュール１１５は、ボックスの上部の変化スコアが、オブジェクトが存在する可能性が高いことを示すと判定するように構成される。変化改善モジュール１１５は、幾何学的に意味のあるオブジェクトを識別しようと試みるために、近くの変化点、例えばボックスの底部の閾値を調整するように構成される。変化改善モジュール１１５は、幾何学的に意味のあるオブジェクトの全体に関連する変化を示すか、または幾何学的に意味のあるオブジェクトを判定できないことに応答して潜在的なオブジェクトの全体の可能性を拒むように構成される。当業者は、変化を示すことが、オブジェクトを追加すること、シーンの中でオブジェクトを移動させること、またはシーンからオブジェクトを除去することを含むことを理解するであろう。オブジェクトの全体に対する変化を実施することにより、３Ｄマップを更新するときの誤差のリスクが低減し、更新された３Ｄマップは、「浮遊物」がないなど、現実的なシーンに似ている可能性がより高い。変化改善モジュール１１５は、例えばクラスタリングまたはセグメント化を使用して、変化点を分析してオブジェクトの境界を推定するように構成される。変化改善モジュール１１５は、次に、幾何学的に意味のあるオブジェクトが検出されたかどうかを判定するために、推定されたオブジェクトの境界の中に潜在的にあると考えられる変化点を利用することができる。いくつかの実施形態では、変化改善モジュール１１５は、潜在的なオブジェクトの推定された境界の中の全変化スコアの平均を利用して、オブジェクトが変化であると判定するかどうかを判定するように構成される。いくつかの実施形態では、変化改善モジュール１１５は、オブジェクトが変化であるかどうかを判定するために、潜在的なオブジェクトの推定された境界の中の変化点の閾値の割合が、閾値スコアを上回る変化スコアを有するかどうかを判定するように構成される。いくつかの実施形態では、ユーザは、入力信号を取り込むために使用されるセンサに基づいて、変化改善モジュール１１５が使用するアルゴリズムを選択することができる。例えば、いくつかの実施形態では、変化スコアの閾値を上回る変化点の割合を使用することは、平均の変化スコアアルゴリズムと比較して、センサがノイズの多い入力信号を生成する場合に正確な結果を生成する可能性がより高い。

変化改善モジュール１１５は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。いくつかの実施形態では、変化改善モジュール１１５は、登録モジュール１０５および変化検出モジュール１１０と同じプロセッサを使用して実装される。いくつかの実施形態では、変化改善モジュール１１５は、登録モジュール１０５または変化検出モジュール１１０とは異なるプロセッサを使用して実装される。

変化３Ｄマップ１２０は、変化改善モジュール１１５から受信した最終変化点に基づいて生成される。最終変化点は、シーンの中のオブジェクト全体の変化の位置を示す。いくつかの実施形態では、変化は、オブジェクトの追加、オブジェクトの除去、またはシーンの中でのオブジェクトの移動を示す。いくつかの実施形態では、変化３Ｄマップ１２０は、基準３Ｄマップ１２５に対する３Ｄマップへの変化を判定するために、最終変化点と共に画像データを含む。変化３Ｄマップ１２０は、後述するマッピングシステム１０００（図１０）のメモリなどの非一時的コンピュータ可読媒体（コンピュータ可読媒体）に記憶される。

基準３Ｄマップ１２５は、シーンを取り込むために高解像度センサを使用して生成されたマップを含む。いくつかの実施形態では、基準３Ｄマップ１２５は、シーンの中のオブジェクトの寸法を含む。いくつかの実施形態では、基準３Ｄマップ１２５の寸法は、シーンの中のオブジェクトの真の寸法のスケーリングされた寸法である。いくつかの実施形態では、基準３Ｄマップ１２５は、後述するシステム２００（図２）を使用して生成される。基準３Ｄマップ１２５は、マッピングシステム１００の使用中は一定のままである。基準３Ｄマップ１２５は、マッピングシステム１００を使用してシーンをマッピングする後続の反復の間に誤差の伝播を防止または低減するよう補助するために、マッピングシステム１００を使用する間に比較するための安定した基礎として、使用可能である。基準３Ｄマップ１２５は、後述するマッピングシステム１０００（図１０）のメモリなどの非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、基準３Ｄマップ１２５は、変化３Ｄマップ１２０と同じ非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、基準３Ｄマップ１２５は、変化３Ｄマップ１２０と異なる非一時的コンピュータ可読媒体に記憶される。

マップ更新モジュール１３０は、更新されたマップを生成するために、変化３Ｄマップ１２０からの変化を基準３Ｄマップ１２５と組み合わせるように構成される。更新されたマップは、変化改善モジュール１１５によって識別されたオブジェクト全体に対する変化を含む。いくつかの実施形態では、更新されたマップは、後述するマッピングシステム１０００（図１０）のメモリなどの非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、更新されたマップは、変化３Ｄマップ１２０および基準３Ｄマップ１２５と同じ非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、変化マップは、変化３Ｄマップ１２０または基準３Ｄマップ１２５とは異なる非一時的コンピュータ可読媒体に記憶される。

下流タスクモジュール１３５は、受信した変化マップに基づいて命令を実施するように構成される。以下の説明は、自律型車両制御の非限定的な例を利用する。当業者は、本明細書がこの例に限定されないことを理解するであろう。例えば、いくつかの実施形態では、下流タスクモジュール１３５は、更新されたマップを利用して、車両、例えば工場の車両に、シーンの中の新たに追加されたオブジェクト、例えば材料のパレットの周りをナビゲートするよう命令する。いくつかの実施形態では、下流タスクモジュール１３５は、命令を車両に直接送信するように構成される。いくつかの実施形態では、下流タスクモジュール１３５は、車両を制御するために使用可能な外部デバイスに命令を与えるように構成される。いくつかの実施形態では、命令は無線で送信される。いくつかの実施形態では、命令は有線接続を介して送信される。

下流タスクモジュール１３５は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。いくつかの実施形態では、下流タスクモジュール１３５は、登録モジュール１０５、変化検出モジュール１１０、および変化改善モジュール１１５と同じプロセッサを使用して実装される。いくつかの実施形態では、下流タスクモジュール１３５は、登録モジュール１０５、変化検出モジュール１１０、または変化改善モジュール１１５とは異なるプロセッサを使用して実装される。

マッピングシステム１００を利用すると、変化の判定がオブジェクト全体に対して行われるため、他の手法と比較してより高い精度を有する更新マップを生成することができる。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。結果として、更新されたマップに基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図２は、いくつかの実施形態による、基準マップを生成するためのシステム２００の概略図である。システム２００は、基準３Ｄマップ１２５を作成するために使用可能である。いくつかの実施形態では、システム２００は、マッピングシステム１００（図１）によって使用可能な基準３Ｄマップ１２５を作成するために使用可能である。いくつかの実施形態では、システム２００は、マッピングシステム１００（図１）とは異なるマッピングシステムで使用可能な基準３Ｄマップ１２５を作成するために使用可能である。システム２００は、シーンの高解像度スキャンを受信するように構成されたマップ作成モジュール２０５を含む。マップ作成モジュール２０５は、基準３Ｄマップ１２５として記憶されるマップを生成するように構成される。

高解像度スキャンは、シーンに関する画像データおよび深度データの両方を取り込むように構成された少なくとも１つの高解像度センサを使用して実行される。いくつかの実施形態では、高解像度スキャンは、マッピングシステム１００（図１）の入力信号を取り込むために使用されるものよりも高い解像度を有するセンサを使用して実行される。いくつかの実施形態では、高解像度スキャンは、基準３Ｄマップ１２５の正確性および精度を確実にするのを補助するために、シーンに対して複数の位置で実行される。いくつかの実施形態では、高解像度スキャンは、画像および深度検出機能の両方を含む単一のセンサを使用して実行される。いくつかの実施形態では、高解像度スキャンは、２つ以上のセンサを使用して実行される。いくつかの実施形態では、複数のセンサは、同じタイプのセンサ、例えば画像検出センサを含む。いくつかの実施形態では、複数のセンサは、異なるタイプのセンサ、例えば、ＬｉＤＡＲセンサおよび画像検出センサを含む。いくつかの実施形態では、深度データは、三角測量を使用してステレオ画像検知に基づいて生成される。いくつかの実施形態では、深度データは、構造化光センサを使用して生成される。いくつかの実施形態では、深度データはＴｏＦセンサを使用して生成される。いくつかの実施形態では、高解像度スキャンは、基準３Ｄマップ１２５の正確性および精度を確実にするのを補助するように、例えば画像データまたは深度データなどの同じタイプの情報を受信するように構成された複数のセンサを使用して実行される。

マップ作成モジュール２０５は、高解像度スキャンを受信し、マップを生成するように構成される。マップ作成モジュール２０５は、シーンの中のオブジェクトを識別するためにオブジェクトの識別を実行するように構成される。マップ作成モジュール２０５は、深度データを利用して、シーンの識別されたオブジェクトの互いに対する配置を判定するように構成される。いくつかの実施形態では、マップ作成モジュール２０５は、シーンの中の恒久的なオブジェクトおよび可動のオブジェクトを識別するために、例えば訓練されたニューラルネットワークを使用して、オブジェクトの認識を実行するように構成される。いくつかの実施形態では、訓練されたニューラルネットワークは、シーンの中で発生する可能性が高いオブジェクトのタイプのデータベースを含む。いくつかの実施形態では、マップ作成モジュール２０５は、識別されたオブジェクトが恒久的なオブジェクトであるか可動オブジェクトであるかを示すメタデータを含むマップを生成するように構成される。マップ作成モジュール２０５は、マップが基準３Ｄマップ１２５として非一時的コンピュータ可読媒体に記憶されるように命令するように構成される。

マップ作成モジュール２０５は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。いくつかの実施形態では、マップ作成モジュール２０５は、マッピングシステム１００（図１）の各モジュールと同じプロセッサを使用して実装される。いくつかの実施形態では、マップ作成モジュール２０５は、マッピングシステム１００（図１）のモジュールのうちの少なくとも１つとは異なるプロセッサを使用して実装される。

図３は、いくつかの実施形態による、マッピングシステムを使用する方法３００のフローチャートである。方法３００は、変化マップを生成し、下流で実施するための命令を生成するために、マッピングシステムによって実施される。いくつかの実施形態では、方法３００は、マッピングシステム１００（図１）を使用して実施される。いくつかの実施形態では、方法３００は、マッピングシステム１００（図１）以外のマッピングシステムを使用して実施される。

動作３０５において、入力データがマッピングシステムによって受信される。入力データは、シーンの中のオブジェクト検出を可能にする画像データと、シーンの中の点の相対的な位置の検出を容易にする深度データとの両方を含む。いくつかの実施形態では、画像データはカラー画像データを含む。いくつかの実施形態では、画像データはグレースケールのデータを含む。本明細書はカラーの画像データに焦点を当てている。しかしながら、当業者は、本願がカラーの画像データに限定されないことを認識するであろう。いくつかの実施形態では、入力データは、画像および深度検出機能の両方を含む単一のセンサから受信される。いくつかの実施形態では、入力データは、より多くの１つのセンサから受信される。いくつかの実施形態では、複数のセンサは、同じタイプのセンサ、例えば画像検出センサを含む。いくつかの実施形態では、複数のセンサは、異なるタイプのセンサ、例えば、ＬｉＤＡＲセンサおよび画像検出センサを含む。いくつかの実施形態では、深度データは、三角測量を使用してステレオ画像検知に基づいて生成される。いくつかの実施形態では、深度データは、構造化光センサを使用して生成される。いくつかの実施形態では、深度データはＴｏＦセンサを使用して生成される。

動作３１０において、入力データからの画像データの登録が実行される。登録は、画像データと基準３Ｄマップ１２５とに基づいて行われる。いくつかの実施形態では、登録は、登録モジュール１０５（図１）を使用して実行される。いくつかの実施形態では、登録は、登録モジュール１０５（図１）とは異なるデバイスを使用して実行される。登録は、画像データを取り込むために使用されるセンサの位置を判定する。登録は、３Ｄ基準マップ１２５に対するセンサの判定された位置に基づいて、グローバルポーズを出力する。グローバルポーズは、画像データおよびセンサの位置を含む。深度データを考慮せずに画像データを使用することにより、入力信号全体を用いてグローバルポーズを生成する方法と比較して、登録時の処理の負荷が軽減される。複数のセンサを含むいくつかの実施形態では、登録は、入力信号を取り込むために使用されるセンサの各々の位置を判定する。登録は、センサの位置を判定するために基準３Ｄマップ１２５の中の恒久的なオブジェクトを利用する。

動作３１５において、入力データからのグローバルポーズおよび深度データを使用して変化の検出が実行される。変化の検出は、基準３Ｄマップ１２５と深度データとを比較することによって行われる。いくつかの実施形態では、変化の検出は、変化検出モジュール１１０（図１）を使用して実行される。いくつかの実施形態では、変化の検出は、変化検出モジュール１１０（図１）とは異なるデバイスを使用して実行される。変化の検出は、基準３Ｄマップ１２５の情報をグローバルポーズおよび深度データからのデータと比較して、基準３Ｄマップ１２５に対してシーンに変化が生じたかどうかを判定するように構成される。変化の判定は、シーンをマッピングする前の反復に対してではなく、基準３Ｄマップ１２５に対して行われる。変化の検出は、グローバルポーズに基づいて現在分析しているフレームに対応する３Ｄ基準マップ１２５の識別された領域を比較する。変化の検出は、深度データまたはポイントツーポイント距離データを使用して、シーンの中の点およびシーンの中の検出された点の位置をさらに識別する。いくつかの実施形態では、変化の検出は、深度データに基づいて、シーンの中の点および検出された点の位置を識別する。変化の検出はまた、グローバルポーズおよび深度データに基づいて基準３Ｄマップ１２５が生成されてから、基準３Ｄマップ１２５からの任意の点がシーンから除去されたかどうかを判定する。変化の検出は、識別された変化の位置を示す変化点と、識別された変化の可能性を示す変化スコアとを生成する。いくつかの実施形態では、変化の検出は、カラーの画像データが利用可能である場合、検出された変化の位置に加えて、色を示す変化点を生成することを含む。当業者は、グレースケールの画像データが利用可能である場合、グレースケールを示す変化点も可能であることを認識するであろう。

動作３１５に続いて、入力データのすべてのフレームが分析されてシーンの中で何らかの変化が生じたかどうかを判定するまで、動作３０５から３１５が繰り返される。いくつかの実施形態では、登録および変化の検出を実行するための処理の負荷を低減するために、入力データはシーン全体のフレームまたはセクションに分解される。各フレームは同時に取り込まれる。入力データを取り込むために複数のセンサが使用されるいくつかの実施形態では、全フレームの分析は、すべてのセンサからの入力データの分析を含む。

動作３２０において、動作３１５における変化の検出からの変化点および変化スコアを使用して、変化の改善が実行される。変化の改善は、シーンの中の潜在的な変化を評価するときにオブジェクト全体が考慮されることを確実にするのに役立つ。いくつかの実施形態では、変化の改善は、変化改善モジュール１１５（図１）を使用して実行される。いくつかの実施形態では、変化の改善は、変化改善モジュール１１５（図１）以外のデバイスを使用して実行される。変化の改善は、識別されたオブジェクトの境界を判定するのに役立つ。変化の改善は、変化点および変化スコアデータのジオメトリが、シーンのマップに追加するための意味のある形状を生成するかどうかを判定する。そのような判定を行うために、変化の改善は、幾何学的に意味のあるオブジェクトが変化点および変化スコアデータによって表されるかどうかを判定するのを補助するために、隣接する変化点の変化スコアを利用する。変化の改善は、例えばクラスタリングまたはセグメント化を使用して、変化点を分析してオブジェクトの境界を推定する。いくつかの実施形態では、変化の改善は、潜在的なオブジェクトの推定されているオブジェクトの境界の中に、潜在的にあると考えられるすべての変化スコアの平均を利用して、オブジェクトが変化したものであるかどうかを判定する。いくつかの実施形態では、変化の改善は、オブジェクトが変化したものであるかどうかを判定するために、潜在的なオブジェクトの推定されたオブジェクトの境界の中の変化点の閾値の割合が、閾値スコアを上回る変化スコアを有するかどうかを判定する。いくつかの実施形態では、ユーザは、入力信号を取り込むために使用されるセンサに基づいて、変化の改善を実施するためのアルゴリズムを選択することができる。例えば、いくつかの実施形態では、変化スコアの閾値を上回る変化点の割合を使用することは、平均の変化スコアアルゴリズムと比較して、センサがノイズの多い入力信号を生成する場合に正確な結果を生成する可能性がより高い。

動作３２０の変化の改善は、変化３Ｄマップ１２０に記憶される最終変化点を出力する。変化３Ｄマップ１２０および基準３Ｄマップ１２５は、上述した変化３Ｄマップ１２０および基準３Ｄマップ１２５と同様であり、簡潔にするためにここでは詳細を説明しない。

動作３２５において、変化の改善３２０によって判定された最終変化点に基づいて命令が出力される。命令は、変化３Ｄマップ１２０と基準３Ｄマップ１２５との間の比較に基づいて形成された更新されたマップに基づいて生成される。いくつかの実施形態では、更新されたマップは後述するマッピングシステム１０００（図１０）のメモリなどの非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、命令は下流タスクモジュール１３５（図１）を使用して出力される。いくつかの実施形態では、命令は、下流タスクモジュール１３５（図１）以外のデバイスを使用して出力される。いくつかの実施形態では、命令は、更新されたマップに基づいて外部デバイスを制御するために、外部デバイス、例えば車両に直接送信される。いくつかの実施形態では、命令は、外部デバイスを制御するために使用可能な外部コントローラに与えられる。いくつかの実施形態では、命令は無線で送信される。いくつかの実施形態では、命令は有線接続を介して送信される。

当業者は、方法３００が調整可能であることを認識するであろう。いくつかの実施形態では、少なくとも１つの動作が方法３００に追加される。例えば、いくつかの実施形態では、方法３００は、更新されたマップの生成動作をさらに含む。いくつかの実施形態では、方法３００から少なくとも１つの動作が省かれる。例えば、いくつかの実施形態では、動作３２５が省かれ、変化３Ｄマップ１２０は、別個の方法により使用するために非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、方法３００の動作の順序が調整される。例えば、いくつかの実施形態では、動作３２０が、各フレームの反復動作の一部として含まれる。

方法３００を利用して、変化３Ｄマップ１２０は、変化の判定がオブジェクト全体に対して実行されるため、他の手法と比較してより高い精度を有する。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。その結果、変化３Ｄマップ１２０に基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図４は、いくつかの実施形態による、マッピングシステム４００の概略図である。マッピングシステム４００は、マッピングシステム１００（図１）と同様の要素を含む。マッピングシステム４００での同じ参照符号を有する要素は、マッピングシステム１００（図１）での対応する参照符号を有する要素と同様である。同じ参照符号を有する要素の説明は、簡潔にするために縮められている。

マッピングシステム１００（図１）と比較して、マッピングシステム４００は、入力信号から画像データおよび深度データの両方を受信するように構成されたセグメント化モジュール４０５を含む。セグメント化モジュール４０５は、二次元（２Ｄ）セグメントをセグメントベース改善モジュール４１０に出力するように構成される。さらに、セグメント化モジュール４０５は、深度データを変化検出モジュール１１０に出力するように構成される。いくつかの実施形態では、変化検出モジュール１１０は、入力信号がセグメント化モジュール４０５を通過することなく、入力信号から深度データを直接受信するように構成される。セグメントベース改善モジュール４１０は、セグメント化モジュール４０５からの２Ｄセグメント、ならびに変化検出モジュール１１０からの変化点および変化スコアを受信するように構成される。セグメントベース改善モジュール４１０は、最終変化点を変化３Ｄマップ１２０に出力するように構成される。

セグメント化モジュール４０５は、シーンにおけるオブジェクトを識別するために、深度データのみ、または画像データと深度データの両方を含む入力信号を解析するように構成される。セグメント化モジュール４０５は、アルゴリズムを利用して入力信号のピクセルを分類し、シーンの中のオブジェクトの境界を識別するのに役立つ。いくつかの実施形態では、セグメント化モジュール４０５は、ｋ平均クラスタリングアルゴリズム、ファジーｃ平均クラスタリング（ＦＣＭ：ｆｕｚｚｙ ｃ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）アルゴリズム、ニューラルネットワーク、または別の適切なアルゴリズムを利用する。セグメント化モジュール４０５は、シーンの中の変化の判定の正確性を向上させるために、オブジェクトの境界を識別し、セグメントベースの改善によって使用可能な２Ｄセグメントを出力する。２Ｄセグメントは、セグメント化モジュール４０５によって識別されたオブジェクトの境界を含む。いくつかの実施形態では、セグメント化モジュール４０５は、３Ｄセグメントを生成するように構成されるが、３Ｄセグメントの生成は、２Ｄセグメントを生成するより、多くの処理の負荷を利用する。

セグメント化モジュール４０５は、画像セグメント化を含まない他の手法と比較して、マッピングシステム４００におけるオブジェクトの識別を改善するのに役立つ。しかしながら、セグメント化モジュール４０５は、画像セグメント化を含まない他の手法と比較して、マッピングシステム４００の処理の負荷を増加させる。セグメント化モジュール４０５は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。いくつかの実施形態では、セグメント化モジュール４０５は、登録モジュール１０５、変化検出モジュール１１０、セグメントベース改善モジュール４１０、および下流タスクモジュール１３５と同じプロセッサを使用して実装される。いくつかの実施形態では、セグメント化モジュール４０５は、登録モジュール１０５、変化検出モジュール１１０、セグメントベース改善モジュール４１０、または下流タスクモジュール１３５と異なるプロセッサを使用して実装される。

セグメントベース改善モジュール４１０は、セグメント化モジュール４０５からの２Ｄセグメント、ならびに変化検出モジュール１１０からの変化点、ならびに変化スコアを受信するように構成される。セグメントベース改善モジュール４１０は、上述の変化改善モジュール１１５（図１）と同様に機能する。変化改善モジュール１１５（図１）と同様に、セグメントベース改善モジュール４１０は、受信したデータを分析して、シーンの中の変化を判定するためにシーンの中の幾何学的に意味のあるオブジェクトを識別する。変化改善モジュール１１５（図１）と比較して、セグメントベース改善モジュール４１０は、変化の判定の正確性を向上させるために、変化点および変化スコアを２Ｄセグメントと比較することができる。上述したテーブルのボックスの非限定的な例に戻ると、２Ｄセグメントは、変化改善モジュール１１５（図１）に関して上述したように変化スコアのみに依存するよりも、ボックスの底部をより正確に識別するのに有用である。２Ｄセグメントは、ボックスがシーンの変化を示すために使用可能な幾何学的に意味のあるオブジェクトであるかどうかの判定を補助するために、ボックスの底部の判定された位置に関連するデータを与える。セグメントベース改善モジュール４１０は、入力信号に基づいてシーンに１つまたは複数の変化が存在するかどうかの判定に続いて、最終変化点を変化３Ｄマップ１２０に出力する。

セグメントベース改善モジュール４１０は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。いくつかの実施形態では、セグメントベース改善モジュール４１０は、登録モジュール１０５、変化検出モジュール１１０、セグメント化モジュール４０５、および下流タスクモジュール１３５と同じプロセッサを使用して実装される。いくつかの実施形態では、セグメントベース改善モジュール４１０は、登録モジュール１０５、変化検出モジュール１１０、セグメント化モジュール４０５、または下流タスクモジュール１３５と異なるプロセッサを使用して実装される。

マッピングシステム４００を利用して、変化３Ｄマップ１２０は、変化の判定がオブジェクト全体に対して実行されるため、他の手法と比較してより高い精度を有する。マッピングシステム４００にセグメント化分析を含めることは、オブジェクトの識別の精度をさらに高めるのに役立つ。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。その結果、変化３Ｄマップ１２０に基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図５は、いくつかの実施形態による、マッピングシステムを使用する方法５００のフローチャートである。方法５００は、変化マップを生成し、下流で実施するための命令を生成するために、マッピングシステムによって実施される。いくつかの実施形態では、方法５００は、マッピングシステム４００（図４）を使用して実施される。いくつかの実施形態では、方法５００は、マッピングシステム４００（図４）以外のマッピングシステムを使用して実施される。方法５００は、方法３００（図３）と同様の要素を含む。方法５００での同じ参照符号を有する要素は、方法３００（図３）での対応する参照符号を有する要素と同様である。同じ参照符号を有する要素の説明は、簡潔にするために縮められている。

方法３００（図３）と比較して、方法５００は、入力データのセグメント化を実行し、２Ｄセグメントを生成するための動作５０５を含む。方法５００はまた、オブジェクトの識別の精度を向上させるのを補助するために、変化点および変化スコアならびに２Ｄセグメントに基づいて変化の改善を実行するための動作５１０を含む。

動作５０５において、入力信号に対してセグメント化が実行される。セグメント化は、深度データのみ、または画像データと深度データの両方を利用して実行される。セグメント化は、変化の判定を補助するために、シーンの中の潜在的なオブジェクトの境界を識別するのに寄与する。セグメント化は、アルゴリズムを利用して入力信号のピクセルを分類し、シーンの中のオブジェクトの境界を識別するのに役立つ。いくつかの実施形態では、セグメント化は、ｋ平均クラスタリングアルゴリズム、ＦＣＭアルゴリズム、または別の適切なアルゴリズムを利用する。セグメント化は、オブジェクトの境界を識別し、シーンの中の変化の判定の正確性を向上させるために、セグメントベースの改善によって使用可能な２Ｄセグメントを出力する。２Ｄセグメントは、セグメント化中に識別されたオブジェクトの境界を含む。

いくつかの実施形態では、動作５０５は、マッピングシステム４００（図４）のセグメント化モジュール４０５（図４）を使用して実施される。いくつかの実施形態では、動作５０５は、セグメント化モジュール４０５（図４）以外のデバイスを使用して実施される。セグメント化は、セグメント化を含まない他の手法と比較して、方法５００におけるオブジェクトの識別を改善するのに役立つ。しかしながら、セグメント化は、セグメント化を含まない他の手法と比較して、方法５００を実施するための処理の負荷を増加させる。

動作５１０において、セグメントベースの改善が実行されて、シーンの中の幾何学的に意味のあるオブジェクトを識別し、シーンの中の変化を判定するのを補助する。セグメントベースの改善は、動作３１５からの変化点および変化スコアに加えて、動作５０５からの２Ｄセグメントを使用して実行される。セグメントベースの改善は、上述した動作３２０（図３）の変化の改善と同様に機能する。動作３２０（図３）の変化の改善と同様に、動作５１０のセグメントベースの改善は、受信したデータを分析して、シーンの中の変化を判定するためにシーンの中の幾何学的に意味のあるオブジェクトを識別する。動作３２０（図３）の変化の改善と比較して、動作５１０のセグメントベースの改善は、変化の判定の正確性を向上させるために、変化点および変化スコアを２Ｄセグメントと比較することができる。２Ｄセグメントは、オブジェクトがシーンの変化を示すために使用可能な幾何学的に意味のあるオブジェクトであるかどうか判定するのを補助するために、潜在的なオブジェクトの境界の判定された位置に関連するデータを与える。セグメントベースの改善は、入力信号に基づいてシーンに１つまたは複数の変化が存在するかどうかの判定に続いて、最終変化点を変化３Ｄマップ１２０に出力する。いくつかの実施形態では、動作５１０は、マッピングシステム４００（図４）のセグメントベース改善モジュール４１０（図４）を使用して実施される。いくつかの実施形態では、動作５１０は、セグメントベース改善モジュール４１０（図４）以外のデバイスを使用して実施される。

当業者は、方法５００が調整可能であることを認識するであろう。いくつかの実施形態では、少なくとも１つの動作が方法５００に追加される。例えば、いくつかの実施形態では、方法５００は、更新されたマップの生成動作をさらに含む。いくつかの実施形態では、方法５００から少なくとも１つの動作が省かれる。例えば、いくつかの実施形態では、動作３２５が省かれ、変化３Ｄマップ１２０は、別個の方法により使用するために非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、方法５００の動作の順序が調整される。例えば、いくつかの実施形態では、動作５０５は動作３１５の前に実行され、変化の検出は動作５０５から出力された２Ｄセグメントに基づいて実行される。

方法５００を利用して、変化３Ｄマップ１２０は、変化の判定がオブジェクト全体に対して実行されるため、他の手法と比較してより高い精度を有する。マッピングシステム４００にセグメント化分析を含めることは、オブジェクトの識別の精度をさらに高めるのに役立つ。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。その結果、変化３Ｄマップ１２０に基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図６は、いくつかの実施形態による、マッピングシステム６００の概略図である。マッピングシステム６００は、マッピングシステム４００（図４）と同様の要素を含む。マッピングシステム６００での同じ参照符号を有する要素は、マッピングシステム４００（図４）での対応する参照符号を有する要素と同様である。同じ参照符号を有する要素の説明は、簡潔にするために縮められている。

マッピングシステム４００（図４）と比較して、マッピングシステム６００は、深度データを欠く入力信号を受信するように構成される。結果として、マッピングシステム６００は、登録モジュール１０５からグローバルポーズを受信し、変化点および変化スコアを生成するために変化検出モジュール１１０によって使用可能な３Ｄのマップデータを生成するように構成された３Ｄ再構成モジュール６０５を含む。

３Ｄ再構成モジュール６０５は、３Ｄのマップデータを生成するために、画像データおよびグローバルポーズを受信するように構成される。いくつかの実施形態では、複数のセンサを使用して入力信号を生成する場合、３Ｄのマップデータは精度が向上する。グローバルポーズによるセンサの既知の位置に基づいて、３Ｄ再構成モジュール６０５は、画像データのオブジェクト間の相対的な距離を判定することができる。これらの相対的な距離に基づいて、３Ｄ再構成モジュール６０５は、変化検出モジュール１１０によって使用可能な３Ｄのマップデータを生成することができる。

３Ｄ再構成モジュール６０５は、深度データ収集を欠く低コストのセンサを使用してシーンマッピングを実施するのを補助する。これにより、より多様な状況で、マッピングシステム６００を利用することが可能になる。３Ｄ再構成モジュール６０５は、以下のマッピングシステム１０００（図１０）に関して説明するプロセッサなどの、１つまたは複数のプロセッサを使用して実装される。いくつかの実施形態では、３Ｄ再構成モジュール６０５は、登録モジュール１０５、変化検出モジュール１１０、セグメント化モジュール４０５、セグメントベース改善モジュール４１０、および下流タスクモジュール１３５と同じプロセッサを使用して実装される。いくつかの実施形態では、３Ｄ再構成モジュール６０５は、登録モジュール１０５、変化検出モジュール１１０、セグメント化モジュール４０５、セグメントベース改善モジュール４１０、または下流タスクモジュール１３５と異なるプロセッサを使用して実装される。

いくつかの実施形態では、３Ｄのマップデータを利用する変化検出モジュール１１０は、３Ｄのマップデータの再構成における不正確さを補償するために、ポイントツーポイント距離閾値化技術を利用する。ポイントツーポイント閾値化技術は、入力信号が深度データを含まなかったため、変化点および変化スコアを判定するときに、偽陽性のリスクを低減するのに役立つ。

いくつかの実施形態では、セグメント化モジュール４０５は、マッピングシステム６００から省かれる。セグメント化モジュール４０５が省かれるいくつかの実施形態では、マッピングシステムは、セグメントベース改善モジュール４１０の代わりに変化改善モジュール１１５（図１）を利用する。

マッピングシステム６００を利用して、変化３Ｄマップ１２０は、変化の判定がオブジェクト全体に対して実行されるため、他の手法と比較してより高い精度を有する。３Ｄ再構成を含めることは、深度データを取り込むことができるセンサが利用できない状況においてマッピングシステム６００を使用するのに役立つ。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。その結果、変化３Ｄマップ１２０に基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図７は、いくつかの実施形態による、マッピングシステムを使用する方法７００のフローチャートである。方法７００は、変化マップを生成し、下流で実施するための命令を生成するために、マッピングシステムによって実施される。いくつかの実施形態では、方法７００は、マッピングシステム６００（図６）を使用して実施される。いくつかの実施形態では、方法７００は、マッピングシステム６００（図６）以外のマッピングシステムを使用して実施される。方法７００は、方法５００（図５）と同様の要素を含む。方法７００での同じ参照符号を有する要素は、方法５００（図５）での対応する参照符号を有する要素と同様である。同じ参照符号を有する要素の説明は、簡潔にするために縮められている。

方法５００（図５）と比較して、方法７００は、画像データの３Ｄ再構成を実行するための動作７０５を含む。動作７０５において、動作３１０において判定された画像データおよびグローバルポーズに基づいて、３Ｄのマップデータが再構成される。いくつかの実施形態では、複数のセンサを使用して入力信号を生成する場合、３Ｄのマップデータは精度が向上する。センサの既知の位置に基づいて、動作３１０からのグローバルポーズにより、画像データのオブジェクト間の相対的な距離に関する判定が行われる。これらの相対的な距離に基づいて、シーンの変化を判定するための３Ｄマップが生成される。

いくつかの実施形態では、セグメント化を実行するための動作５０５は、方法７００から省かれる。動作５０５が省かれるいくつかの実施形態では、方法７００は、動作５１０の代わりに動作３２０（図３）を利用する。

当業者は、方法７００が調整可能であることを認識するであろう。いくつかの実施形態では、少なくとも１つの動作が方法７００に追加される。例えば、いくつかの実施形態では、方法７００は、更新されたマップの生成動作をさらに含む。いくつかの実施形態では、方法７００から少なくとも１つの動作が省かれる。例えば、いくつかの実施形態では、動作３２５が省かれ、変化３Ｄマップ１２０は、別個の方法により使用するために非一時的コンピュータ可読媒体に記憶される。いくつかの実施形態では、方法７００の動作の順序が調整される。例えば、いくつかの実施形態では、動作５０５は動作３１５の前に実行され、変化の検出は動作５０５から出力された２Ｄセグメントに基づいて実行される。

方法７００を利用して、変化３Ｄマップ１２０は、変化の判定がオブジェクト全体に対して実行されるため、他の手法と比較してより高い精度を有する。３Ｄ再構成を含めることは、深度データを取り込むことができるセンサが利用できない状況において、方法７００を使用することを可能にする。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。その結果、変化３Ｄマップ１２０に基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図８は、いくつかの実施形態による、マッピングシステム８００の概略図である。マッピングシステム８００は、マッピングシステム１００（図１）と同様の要素を含む。マッピングシステム８００での同じ参照符号を有する要素は、マッピングシステム１００（図１）での対応する参照符号を有する要素と同様である。同じ参照符号を有する要素の説明は、簡潔にするために縮められている。

マッピングシステム１００（図１）と比較して、マッピングシステム８００は、マップ更新モジュール１３０によって生成された更新されたマップを、変化検出モジュール１１０に与えるように構成される。更新されたマップを変化検出モジュール１１０に供給することにより、マッピングシステム８００は、シーンの中の一時的なオブジェクトを考慮することができる。例えば、基準３Ｄマップ１２５の生成中にオブジェクトが存在しない場合、オブジェクトは後で追加され、変化検出モジュール１１０によって検出され、オブジェクトは変化として識別される。オブジェクトの検出に続いて、シーンの後続のマッピングの間にオブジェクトが除去される場合、基準３Ｄマップと（オブジェクトを除去した後の）入力信号との間の比較は、変化がないことを示す。その結果、変化点が発生せず、更新されたマップを生成する際にオブジェクトの除去に失敗するリスクが高まる。更新されたマップを変化検出モジュール１１０にフィードバックすることにより、変化検出モジュール１１０は、より新しいマップに基づいて変化点および変化スコアを生成することができる。

いくつかの実施形態では、更新されたマップのフィードバックは、シーンの以前のマッピングからの変化３Ｄマップ１２０へのクエリに基づいて、判定される。変化３Ｄマップ１２０が空である、すなわち、基準３Ｄマップからの変化がないという判定に応答して、更新されたマップは変化検出モジュール１１０にフィードバックされない。変化検出モジュール１１０は、基準３Ｄマップ１２５との比較に基づいて変化点および変化スコアを生成する。変化３Ｄマップ１２０が少なくとも１つの変化を含むという判定に応答して、更新されたマップが変化検出モジュール１１０にフィードバックされる。

当業者であれば、マップ更新モジュール１３０から変化検出モジュール１１０への更新されたマップのフィードバックは、マッピングシステム４００（図４）およびマッピングシステム６００（図６）においても使用可能であることを認識するであろう。

マッピングシステム８００を利用して、変化３Ｄマップ１２０は、変化の判定がオブジェクト全体に対して実行されるため、他の手法と比較してより高い精度を有する。更新されたマップのフィードバックを変化検出モジュール１１０に含めることは、シーンの中の一時的なオブジェクトを考慮するのに役立つ。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。その結果、変化３Ｄマップ１２０に基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図９は、いくつかの実施形態による、マッピングシステムを使用する方法９００のフローチャートである。方法９００は、変化マップを生成し、下流で実施するための命令を生成するために、マッピングシステムによって実施される。いくつかの実施形態では、方法９００は、マッピングシステム８００（図８）を使用して実施される。いくつかの実施形態では、方法９００は、マッピングシステム８００（図８）以外のマッピングシステムを使用して実施される。方法９００は、方法３００（図３）と同様の要素を含む。方法９００での同じ参照符号を有する要素は、方法３００（図３）での対応する参照符号を有する要素と同様である。同じ参照符号を有する要素の説明は、簡潔にするために縮められている。

方法３００（図３）と比較して、方法９００は、基準３Ｄマップ１２５と変化３Ｄマップ１２０との比較に基づいて生成された更新マップ１３０を含む。更新マップ１３０は、シーンの一時的なオブジェクトを考慮するのを補助するために、動作３１５に使用される。

いくつかの実施形態では、動作３１５における更新マップ１３０の使用は、シーンの以前のマッピングからの変化３Ｄマップ１２０へのクエリに基づいて判定される。変化３Ｄマップ１２０が空である、すなわち、基準３Ｄマップからの変化がないという判定に応答して、更新されたマップは動作３１５において使用されない。動作３１５は、代わりに基準３Ｄマップ１２５に依存する。変化３Ｄマップ１２０が少なくとも１つの変化を含むという判定に応答して、更新されたマップが動作３１５で使用される。

当業者であれば、更新されたマップ１３０の動作３１５へのフィードバックは、方法５００（図５）および方法７００（図７）においても使用可能であることを認識するであろう。

当業者は、方法９００が調整可能であることを認識するであろう。いくつかの実施形態では、少なくとも１つの操作が方法９００に追加される。例えば、いくつかの実施形態では、方法９００は、更新されたマップの生成動作をさらに含む。いくつかの実施形態では、方法９００から少なくとも１つの動作が省かれる。例えば、いくつかの実施形態では、動作３１５における更新されたマップ１３０の使用は、前のシーンマッピングからの変化３Ｄマップ１２０が空である場合には省かれる。いくつかの実施形態では、方法９００の動作の順序が調整される。例えば、いくつかの実施形態では、動作３２０が、各フレームの反復動作の一部として含まれる。

方法９００を利用して、変化３Ｄマップ１２０は、変化の判定がオブジェクト全体に対して実行されるため、他の手法と比較してより高い精度を有する。更新されたマップ１３０を使用することは、方法９００がシーンの中の一時的なオブジェクトを考慮するのに役立つ。さらに、シーンのマッピングの間に基準３Ｄマップ１２５を元の状態で維持することは、複数のシーンマッピングの反復による誤差の伝播を低減または防止するのに役立つ。その結果、変化３Ｄマップ１２０に基づいて外部デバイスに与えられる命令は、他のシステムを使用して生成されたマップを使用する命令よりも正確である。

図１０は、一部の実施形態による、マッピングシステム１０００のブロック図である。マッピングシステム１０００は、ハードウェアプロセッサ１００２と、コンピュータプログラムコード１００６、すなわち一組の実行可能命令で符号化された、すなわち記憶している非一時的コンピュータ可読記憶媒体１００４とを含む。コンピュータ可読記憶媒体１００４はまた、外部デバイスとインターフェースするための命令１００７で符号化される。プロセッサ１００２は、バス１００８を介してコンピュータ可読記憶媒体１００４に電気的に結合される。プロセッサ１００２はまた、バス１００８によって入力／出力（Ｉ／Ｏ）インターフェース１０１０に電気的に結合されている。ネットワークインターフェース１０１２はまた、バス１００８を介してプロセッサ１００２に電気的に接続されている。ネットワークインターフェース１０２１は、プロセッサ１００２およびコンピュータ可読記憶媒体１００４がネットワーク１０１４を介して外部要素に接続することができるように、ネットワーク１０１４に接続される。プロセッサ１００２は、マッピングシステム１０００に、マッピングシステム１００（図１）、マッピングシステム２００（図２）、方法３００（図３）、マッピングシステム４００（図４）、方法５００（図５）、マッピングシステム６００（図６）、方法７００（図７）、マッピングシステム８００（図８）、または方法９００（図９）で説明した動作の一部または全部を実行するために使用可能にさせるために、コンピュータ可読記憶媒体１００４に符号化されたコンピュータプログラムコード１００６を実行するように構成される。

いくつかの実施形態では、プロセッサ１００２は、中央処理装置（ＣＰＵ）、マルチプロセッサ、分散処理システム、特定用途向け集積回路（ＡＳＩＣ）、および／または適切な処理装置である。

いくつかの実施形態では、コンピュータ可読記憶媒体１００４は、電子、磁気、光学、電磁、赤外線、および／または半導体システム（または装置もしくはデバイス）である。例えば、コンピュータ可読記憶媒体１００４は、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、剛性磁気ディスク、および／または光ディスクを含む。光ディスクを使用するいくつかの実施形態では、コンピュータ可読記憶媒体１００４は、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク読み出し／書き込み（ＣＤ－Ｒ／Ｗ）、および／またはデジタルビデオディスク（ＤＶＤ）を含む。

いくつかの実施形態では、記憶媒体１００４は、マッピングシステム１０００に、マッピングシステム１００（図１）、マッピングシステム２００（図２）、方法３００（図３）、マッピングシステム４００（図４）、方法５００（図５）、マッピングシステム６００（図６）、方法７００（図７）、マッピングシステム８００（図８）、または方法９００（図９）で説明した動作の一部または全部を実行させるように構成されたコンピュータプログラムコード１００６を記憶する。いくつかの実施形態では、記憶媒体１００４はまた、マッピングシステム１００（図１）、マッピングシステム２００（図２）、方法３００（図３）、マッピングシステム４００（図４）、方法５００（図５）、マッピングシステム６００（図６）、方法７００（図７）、マッピングシステム８００（図８）、または方法９００（図９）で説明した動作の一部またはすべての実行のために使用される情報、ならびにマッピングシステム１００（図１）、マッピングシステム２００（図２）、方法３００（図３）、マッピングシステム４００（図４）、方法５００（図５）、マッピングシステム６００（図６）、方法７００（図７）、マッピングシステム８００（図８）、または方法９００（図９）で説明したような動作の一部またはすべてを実行する間に生成される情報、例えば、深度パラメータ１０１６、画像パラメータ１０１８、基準マップパラメータ１０２０、変化マップパラメータ１０２２、更新マップパラメータ１０２４、および／または一組の実行可能な命令を記憶して、マッピングシステム１００（図１）、マッピングシステム２００（図２）、方法３００（図３）、マッピングシステム４００（図４）、方法５００（図５）、マッピングシステム６００（図６）、方法７００（図７）、マッピングシステム８００（図８）、または方法９００（図９）で説明したような動作の一部またはすべてを実行する。

いくつかの実施形態では、記憶媒体１００４は、外部デバイスとインターフェースするための命令１００７を記憶する。命令１００７は、マッピングシステム１００（図１）、マッピングシステム２００（図２）、方法３００（図３）、マッピングシステム４００（図４）、方法５００（図５）、マッピングシステム６００（図６）、方法７００（図７）、マッピングシステム８００（図８）、または方法９００（図９）で説明した動作の一部またはすべてを効果的に実施するために、外部デバイスによって読み取り可能な命令をプロセッサ１００２が生成することを可能にする。

マッピングシステム１０００は、Ｉ／Ｏインターフェース１０１０を含む。Ｉ／Ｏインターフェース１０１０は、外部回路に結合されている。いくつかの実施形態では、Ｉ／Ｏインターフェース１０１０は、情報およびコマンドをプロセッサ１００２に通信するためのキーボード、キーパッド、マウス、トラックボール、トラックパッド、および／またはカーソル方向キーを含む。

マッピングシステム１０００はまた、プロセッサ１００２に結合されたネットワークインターフェース１０１２を含む。ネットワークインターフェース１０１２は、マッピングシステム１０００が、１つまたは複数の他のコンピュータシステムが接続されているネットワーク１０１４と通信することを可能にする。ネットワークインターフェース１０１２は、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＷＩＦＩ、ＷＩＭＡＸ、ＧＰＲＳ、またはＷＣＤＭＡ（登録商標）などの無線ネットワークインターフェース、またはＥＴＨＥＲＮＥＴ、ＵＳＢ、ＩＥＥＥ－１３９４などの有線ネットワークインターフェースを含む。いくつかの実施形態では、マッピングシステム１００（図１）、マッピングシステム２００（図２）、方法３００（図３）、マッピングシステム４００（図４）、方法５００（図５）、マッピングシステム６００（図６）、方法７００（図７）、マッピングシステム８００（図８）、または方法９００（図９）で説明した動作の一部または全部は、２つ以上のマッピングシステム１０００に実装され、深度パラメータ１０１６、画像パラメータ１０１８、基準マップパラメータ１０２０、変化マップパラメータ１０２２、または更新マップパラメータ１０２４などの情報は、ネットワーク１０１４を介して異なるマッピングシステム１０００間で交換される。

上記の実施形態の一部又は全部は、以下の付記のようにも記述され得るが、以下に限定されるものではない。

（付記１）
命令を記憶するように構成された非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に接続されたプロセッサとを含み、前記プロセッサは、
シーンの画像データを含む入力信号を受信し、
前記シーンの基準マップに対して前記画像データを取り込むために使用されるセンサの位置を判定し、
前記センサの前記判定された位置と前記基準マップとに基づいて前記シーンの変化点および変化スコアを判定し、
前記変化点および前記変化スコアに基づいて変化マップを生成し、
前記変化マップと前記基準マップとの比較に基づいて更新マップを生成し、
前記基準マップの内容を変化させずに維持する
ための前記命令を実行するように構成される、マッピングシステム。

（付記２）
前記プロセッサは、
前記変化点および前記変化スコアを利用して、前記変化点および前記変化スコアが前記画像データの中の幾何学的に意味のある形状を示すかどうかを判定することによって、前記変化マップを生成する
ための前記命令を実行するようにさらに構成される、付記１に記載のマッピングシステム。

（付記３）
前記プロセッサは、
前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示さないことに応答して、前記基準マップに対して前記点に関連する変化を示さない前記変化マップを生成する
ための前記命令を実行するようにさらに構成される、付記１または付記２に記載のマッピングシステム。

（付記４）
前記プロセッサは、
前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示すことに応答して、前記基準マップに対して前記点に関する変化を示す前記変化マップを生成する
ための前記命令を実行するようにさらに構成される、付記１から３のいずれか一つに記載のマッピングシステム。

（付記５）
前記プロセッサは、
深度データを含む前記入力信号を受信する
ための前記命令を実行するようにさらに構成される、付記１から４のいずれか一つに記載のマッピングシステム。

（付記６）
前記プロセッサは、
２次元（２Ｄ）セグメントを生成するために前記入力信号をセグメント化し、
前記２Ｄセグメントを利用して前記変化マップを生成する
ための前記命令を実行するようにさらに構成される、付記１から５のいずれか一つに記載のマッピングシステム。

（付記７）
前記プロセッサは、
前記入力信号に基づいて３次元（３Ｄ）データを再構成し、
前記再構成された３Ｄデータに基づいて前記変化点および前記変化スコアを判定する
ための前記命令を実行するようにさらに構成される、付記１から６のいずれか一つに記載のマッピングシステム。

（付記８）
シーンの画像データを含む入力信号を受信することと、
前記シーンの基準マップに対する前記画像データを取り込むために使用されるセンサの位置を判定することと、
前記センサの前記判定された位置および前記基準マップに基づいて前記シーンの変化点および変化スコアを判定することと、
前記変化点および前記変化スコアに基づいて変化マップを生成することと、
前記変化マップと前記基準マップとの比較に基づいて更新マップを生成することと、
前記基準マップの内容を変化させずに維持することと
を含む、マッピングシステムを使用する方法。

（付記９）
前記変化マップを生成することは、前記変化点および前記変化スコアが前記画像データの中の幾何学的に意味のある形状を示すかどうかを判定するために、前記変化点および前記変化スコアを利用することを含む、付記８に記載の方法。

（付記１０）
前記変化マップを生成することは、前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示さないことに応答して、前記基準マップに対して前記点に関連する変化を示さないことを含む、付記８または付記９に記載のマッピングシステムを使用する方法。

（付記１１）
前記変化マップを生成することは、前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示すことに応答して、前記基準マップに対して前記点に関連する変化を示すことを含む、付記８から付記１０のいずれか一つに記載のマッピングシステムを使用する方法。

（付記１２）
前記入力信号を受信することは、深度データを受信することを含む、付記８から付記１１のいずれか一つに記載のマッピングシステムを使用する方法。

（付記１３）
２次元（２Ｄ）セグメントを生成するために前記入力信号をセグメント化することと、
前記２Ｄセグメントを利用して前記変化マップを生成することと
をさらに含む、付記８から付記１２のいずれか一つに記載のマッピングシステムを使用する方法。

（付記１４）
前記入力信号に基づいて３次元（３Ｄ）データを再構成することと、
前記再構成された３Ｄデータに基づいて前記変化点および前記変化スコアを判定することと
をさらに含む、付記８から付記１３のいずれか一つに記載のマッピングシステムを使用する方法。

（付記１５）
シーンの画像データを含む入力信号を受信し、
前記シーンの基準マップに対する前記画像データを取り込むために使用されるセンサの位置を判定し、
前記センサの前記判定された位置および前記基準マップに基づいて前記シーンの変化点および変化スコアを判定し、
前記変化点および前記変化スコアに基づいて変化マップを生成し、
前記変化マップと前記基準マップとの比較に基づいて更新マップを生成し、
前記基準マップの内容を変化させずに維持する
ことをプロセッサに実行させるためのプログラム。

（付記１６）
前記変化点および前記変化スコアを利用して、前記変化点および前記変化スコアが前記画像データの中の幾何学的に意味のある形状を示すかどうかを判定することによって、前記変化マップを生成することを前記プロセッサに実行させる、付記１５に記載のプログラム。

（付記１７）
前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示さないことに応答して、前記基準マップに対して前記点に関連する変化を示さない前記変化マップを生成することを前記プロセッサに実行させる、付記１５または付記１６に記載のプログラム。

（付記１８）
前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示すことに応答して、前記基準マップに対して前記点に関連する変化を示す前記変化マップを生成することを前記プロセッサに実行させる、付記１５から付記１７のいずれか一つに記載のプログラム。

（付記１９）
２次元（２Ｄ）セグメントを生成するために前記入力信号をセグメント化し、
前記２Ｄセグメントを利用して前記変化マップを生成する
ことを前記プロセッサに実行させる、付記１５から付記１８のいずれか一つに記載のプログラム。

（付記２０）
前記入力信号に基づいて３次元（３Ｄ）データを再構成し、
前記再構成された３Ｄデータに基づいて前記変化点および前記変化スコアを判定する
ことを前記プロセッサに実行させる、付記１５から付記１９のいずれか一つに記載のプログラム。

（付記２１）
マッピングシステムは、命令を記憶するように構成された非一時的コンピュータ可読媒体を含む。マッピングシステムは、非一時的コンピュータ可読媒体に接続されたプロセッサを含む。プロセッサは、シーンの画像データを含む入力信号を受信するための命令を実行するように構成される。プロセッサは、シーンの基準マップに対する画像データを取り込むために使用されるセンサの位置を判定するための命令を実行するように構成される。プロセッサは、センサの判定された位置、基準マップ、およびシーンの以前のマッピングからの第１の変化マップに基づいて、シーンの変化点および変化スコアを判定するための命令を実行するように構成される。プロセッサは、変化点および変化スコアに基づいて第２の変化マップを生成するための命令を実行するように構成される。プロセッサは、第２の変化マップと基準マップとの比較に基づいて更新マップを生成するための命令を実行するように構成される。プロセッサは、基準マップの内容を変化させずに維持するための命令を実行するように構成される。

（付記２２）
マッピングシステムは、命令を記憶するように構成された非一時的コンピュータ可読媒体を含む。マッピングシステムは、非一時的コンピュータ可読媒体に接続されたプロセッサを含む。プロセッサは、シーンの入力信号を受信するための命令を実行するように構成され、入力信号は画像データおよび深度データを含む。プロセッサは、画像データに基づいてシーンの基準マップに対する画像データを取り込むために使用されるセンサの位置を判定するための命令を実行するように構成される。プロセッサは、深度データ、センサの判定された位置、および基準マップに基づいてシーンの変化点および変化スコアを判定するための命令を実行するように構成される。プロセッサは、変化点および変化スコアに基づいて、オブジェクトが幾何学的に意味のあるオブジェクトであるかどうかを判定するための命令を実行するように構成される。プロセッサは、オブジェクトを幾何学的に意味のあるオブジェクトと判定したことに応答して、更新されたマップを生成するための命令を実行するように構成される。プロセッサは、オブジェクトが幾何学的に意味のあるオブジェクトではないという判定に応答して、基準マップに対する変化を示さないための命令を実行するように構成される。

（付記２３）
マッピングシステムは、命令を記憶するように構成された非一時的コンピュータ可読媒体を含む。マッピングシステムは、非一時的コンピュータ可読媒体に接続されたプロセッサをさらに含む。プロセッサは、シーンの画像データを含む入力信号を受信するための命令を実行するように構成される。プロセッサは、シーンの基準マップに対する画像データを取り込むために使用されるセンサの位置を判定するための命令を実行するように構成される。プロセッサは、画像データをセグメント化して２次元（２Ｄ）セグメントを生成するための命令を実行するように構成される。プロセッサは、センサの判定された位置および基準マップに基づいてシーンの変化点および変化スコアを判定するための命令を実行するように構成される。プロセッサは、変化点および変化スコアならびに２Ｄセグメントに基づいて変化マップを生成するための命令を実行するように構成される。プロセッサは、変化マップと基準マップとの比較に基づいて更新マップを生成するための命令を実行するように構成される。プロセッサは、基準マップの内容を変化させずに維持するための命令を実行するように構成される。

（付記２４）
マッピングシステムは、命令を記憶するように構成された非一時的コンピュータ可読媒体を含む。マッピングシステムは、非一時的コンピュータ可読媒体に接続されたプロセッサを含む。プロセッサは、第１のセンサからのデータに基づいて基準マップを生成するための命令を実行するように構成され、第１のセンサは第１の解像度を有する。プロセッサは、シーンの画像データを含む入力信号を受信するための命令を実行するように構成される。プロセッサは、シーンの基準マップに対する画像データを取り込むために使用される第２のセンサの位置を判定するための命令を実行するように構成され、第２のセンサは、第１の解像度よりも小さい第２の解像度を有する。プロセッサは、センサの判定された位置および基準マップに基づいてシーンの変化点および変化スコアを判定するための命令を実行するように構成される。プロセッサは、変化点および変化スコアに基づいて変化マップを生成するための命令を実行するように構成される。プロセッサは、変化マップと基準マップとの比較に基づいて更新マップを生成するための命令を実行するように構成される。プロセッサは、基準マップの内容を変化させずに維持するための命令を実行するように構成される。

上記は、当業者が本開示の態様をよりよく理解することができるように、いくつかの実施形態の特徴を概説している。当業者は、本明細書に導入された実施形態と同じ目的を実行し、および／または同じ利点を達成するための他のプロセスおよび構造を設計または変更するための基礎として本開示を容易に使用することができることを理解するはずである。当業者はまた、そのような同等の構成が本開示の精神および範囲から逸脱するものではなく、本開示の精神および範囲から逸脱することなく本明細書において様々な変化、置換、および変更を行うことができることを理解すべきである。

この出願は、２０２３年３月９日に出願された米国特願１８／１８０，８６１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ マッピングシステム
１０５ 登録モジュール
１１０ 変化検出モジュール
１１５ 変化改善モジュール
１２０ 変化３Ｄマップ
１２５ 基準３Ｄマップ
１３０ マップ更新モジュール
１３５ 下流タスクモジュール
２００ マッピングシステム
２０５ マップ作成モジュール
３００ 方法
４００ マッピングシステム
４０５ セグメント化モジュール
４１０ セグメントベース改善モジュール
５００ 方法
６００ マッピングシステム
６０５ ３Ｄ再構成モジュール
７００ 方法
８００ マッピングシステム
９００ 方法
１０００ マッピングシステム
１００２ プロセッサ
１００４ コンピュータ可読記憶媒体
１００６ コンピュータプログラムコード
１００７ 命令
１００８ バス
１０１０ Ｉ／Ｏインターフェース
１０１２ ネットワークインターフェース
１０１４ ネットワーク
１０１６ 深度パラメータ
１０１８ 画像パラメータ
１０２０ 基準マップパラメータ
１０２１ ネットワークインターフェース
１０２２ 変化マップパラメータ
１０２４ 更新マップパラメータ

Claims (10)

1. 命令を記憶するように構成された非一時的コンピュータ可読媒体と、
   前記非一時的コンピュータ可読媒体に接続されたプロセッサとを含み、前記プロセッサは、
   シーンの画像データを含む入力信号を受信し、
   前記シーンの基準マップに対して前記画像データを取り込むために使用されるセンサの位置を判定し、
   前記センサの前記判定された位置と前記基準マップとに基づいて前記シーンの変化点および変化スコアを判定し、
   前記変化点および前記変化スコアに基づいて変化マップを生成し、
   前記変化マップと前記基準マップとの比較に基づいて更新マップを生成し、
   前記基準マップの内容を変化させずに維持する
   ための前記命令を実行するように構成される、マッピングシステム。
2. 前記プロセッサは、
   前記変化点および前記変化スコアを利用して、前記変化点および前記変化スコアが前記画像データの中の幾何学的に意味のある形状を示すかどうかを判定することによって、前記変化マップを生成する
   ための前記命令を実行するようにさらに構成される、請求項１に記載のマッピングシステム。
3. 前記プロセッサは、
   前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示さないことに応答して、前記基準マップに対して前記点に関連する変化を示さない前記変化マップを生成する
   ための前記命令を実行するようにさらに構成される、請求項２に記載のマッピングシステム。
4. 前記プロセッサは、
   前記変化点および前記変化スコアが前記幾何学的に意味のある形状を示すことに応答して、前記基準マップに対して前記点に関する変化を示す前記変化マップを生成する
   ための前記命令を実行するようにさらに構成される、請求項２に記載のマッピングシステム。
5. 前記プロセッサは、
   深度データを含む前記入力信号を受信する
   ための前記命令を実行するようにさらに構成される、請求項１または請求項２に記載のマッピングシステム。
6. 前記プロセッサは、
   ２次元（２Ｄ）セグメントを生成するために前記入力信号をセグメント化し、
   前記２Ｄセグメントを利用して前記変化マップを生成する
   ための前記命令を実行するようにさらに構成される、請求項１または請求項２に記載のマッピングシステム。
7. 前記プロセッサは、
   前記入力信号に基づいて３次元（３Ｄ）データを再構成し、
   前記再構成された３Ｄデータに基づいて前記変化点および前記変化スコアを判定する
   ための前記命令を実行するようにさらに構成される、請求項１または請求項２に記載のマッピングシステム。
8. シーンの画像データを含む入力信号を受信することと、
   前記シーンの基準マップに対する前記画像データを取り込むために使用されるセンサの位置を判定することと、
   前記センサの前記判定された位置および前記基準マップに基づいて前記シーンの変化点および変化スコアを判定することと、
   前記変化点および前記変化スコアに基づいて変化マップを生成することと、
   前記変化マップと前記基準マップとの比較に基づいて更新マップを生成することと、
   前記基準マップの内容を変化させずに維持することと
   を含む、マッピングシステムを使用する方法。
9. 前記変化マップを生成することは、前記変化点および前記変化スコアが前記画像データの中の幾何学的に意味のある形状を示すかどうかを判定するために、前記変化点および前記変化スコアを利用することを含む、請求項８に記載の方法。
10. シーンの画像データを含む入力信号を受信し、
    前記シーンの基準マップに対する前記画像データを取り込むために使用されるセンサの位置を判定し、
    前記センサの前記判定された位置および前記基準マップに基づいて前記シーンの変化点および変化スコアを判定し、
    前記変化点および前記変化スコアに基づいて変化マップを生成し、
    前記変化マップと前記基準マップとの比較に基づいて更新マップを生成し、
    前記基準マップの内容を変化させずに維持する
    ことをプロセッサに実行させるためのプログラム。

Images