WO2024180688A1

WO2024180688A1 - 位置姿勢推定システム、位置姿勢推定装置、及び、位置姿勢推定方法

Info

Publication number: WO2024180688A1
Application number: PCT/JP2023/007421
Authority: WO
Inventors: 一峰小倉; 翼中村; 侑也松本; ナグマサムリーンカーン; 次朗安倍
Original assignee: 日本電気株式会社
Priority date: 2023-02-28
Filing date: 2023-02-28
Publication date: 2024-09-06

Abstract

情報処理装置（１）は、環境の三次元点群データと、環境に含まれる構造物をカメラ（２）で撮像して得られる撮像画像と、に基づいて、カメラ（２）の撮像時における位置姿勢を推定する。情報処理装置（１）は、記憶部（３）と、取得部（４）、推定部（５）を含む。記憶部（３）は、三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データ（ＤＰＣ）を記憶する。取得部（４）は、撮像画像を取得する。推定部（５）は、複数の派生点群データ（ＤＰＣ）のうち少なくとも何れか１つの派生点群データ（ＤＰＣ）と撮像画像に基づいて位置姿勢を推定する。

Description

位置姿勢推定システム、位置姿勢推定装置、及び、位置姿勢推定方法

本開示は、位置姿勢推定システム、位置姿勢推定装置、及び、位置姿勢推定方法に関する。

特許文献１は、構造物を撮像して得られた画像を、当該構造物の三次元設計データが構成する仮想空間上の構造物の表面にマッピングする技術を開示している。

国際公開第２０１９／１９８５６２号

ところで、本願発明者らは、三次元点群データと撮像画像に基づいて撮像装置の撮像時における位置姿勢を推定する技術を開発している。

本開示の目的は、三次元点群データと撮像画像に基づいて撮像装置の撮像時における位置姿勢を高い確度（accuracy）で推定する技術を提供することにある。

本開示の第１の観点によれば、環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定システムであって、前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する記憶手段と、前記撮像画像を取得する取得手段と、前記複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定手段と、を含む、位置姿勢推定システムが提供される。

本開示の第２の観点によれば、環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定システムであって、前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する記憶手段と、前記撮像画像を取得する取得手段と、前記複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定手段と、を含む、位置姿勢推定装置が提供される。

本開示の第３の観点によれば、環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定方法であって、前記撮像画像を取得する取得ステップと、前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定ステップと、を含む、位置姿勢推定方法が提供される。

本開示によれば、位置姿勢を高い確度で推定することができる。

位置姿勢推定システムの機能ブロック図である。（本開示の概要）情報処理装置の機能ブロック図である。（第１実施形態）派生点群DBのデータ構造である。（第１実施形態）各派生点群データにおける静的安定度の説明図である。（第１実施形態）各派生点群データの生成方法の説明図である。（第１実施形態）情報処理装置の制御フローである。（第１実施形態）情報処理装置の制御フローである。（第２実施形態）情報処理装置の制御フローである。（第３実施形態）情報処理装置の制御フローである。（第４実施形態）情報処理装置の制御フローである。（第５実施形態）

（本開示の概要）
まず、図１を参照して、本開示の概要を説明する。図１には、位置姿勢推定システム１００の機能ブロック図を示している。

位置姿勢推定システム１００は、環境の三次元点群データと、環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、撮像装置の撮像時における位置姿勢を推定する。位置姿勢推定システム１００は、記憶手段１０１、取得手段１０２、推定手段１０３を含む。

記憶手段１０１は、三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する。

取得手段１０２は、撮像画像を取得する。

推定手段１０３は、複数の派生点群データのうち少なくとも何れか１つの派生点群データと撮像画像に基づいて位置姿勢を推定する。

以上の構成によれば、撮像装置の撮像時における位置姿勢を高い確度で推定することができる。

（第１実施形態）
次に、図２から図６を参照して、第１実施形態を説明する。

図２には、情報処理装置１の機能ブロック図を示している。情報処理装置１は、位置姿勢システムの一具体例である。情報処理装置１は、位置姿勢装置の一具体例である。

図２に示す情報処理装置１は、典型的には、橋梁、ダム、トンネル、タワー、家屋などの構造物を管理するのに供される。即ち、構造物は、時間の経過と共に劣化するため、定期的に変状の有無を点検し、変状を発見した場合は適切な対処が求められる。変状とは、典型的には、構造物を構成するコンクリートの浮き、剥離、ひび割れである。

点検員が構造物の変状を発見した場合、点検員は当該変状をカメラ２（撮像装置）で撮像し、撮像画像を取得する。ここで、構造物の三次元点群データが得られている場合、当該三次元点群データが構成する仮想空間上の構造物に上記の撮像画像をマッピングすることが考えられる。撮像画像をマッピングした仮想空間上の構造物をディスプレイ上に表示できれば、ディスプレイ上で当該変状が構造物のどこに位置し、どのくらいの大きさであるのか容易に把握できるようになる。これにより、点検員が変状をカメラ２で撮像するに際し、点検員は、当該変状の位置を詳細に記録したり、当該変状の大きさを現場で測定したりする必要がなくなるので、構造物の点検を短時間でかつ少人数で行うことができるようになる。

ところで、三次元点群データに撮像画像をマッピングするには、カメラ２の撮像時における位置姿勢が不可欠である。カメラ２の撮像時における位置姿勢とは、典型的には、三次元点群データの点群座標系と、カメラ２のカメラ座標系と、の間の変換パラメータを意味する。即ち、三次元点群データを変換パラメータにより座標変換することで、三次元点群データをカメラ座標系で表現することができるようになる。これとは逆に、撮像画像を変換パラメータにより座標変換することで、撮像画像を点群座標系で表現することができるようになる。変換パラメータは、典型的には、回転行列と並進行列を含んでいる。

ここで、カメラ２の撮像時における位置姿勢を推定する方法として、DeepI2P（Image-to-Point Cloud Registration via Deep Classification）、Direct Regression、Monodepth2+USIP、Monodepth2+GT-ICP、2D3D-MatchNetなどのレジストレーション技術が知られている。何れの方法を使用するにせよ、上記位置姿勢を算出するに際し、推定確度（マッチングスコア）を著しく低下させる以下の未解決の問題が取り残されている。未解決の問題とは、端的に言えば、三次元点群データを生成するために構造物を測距する際に構造物以外の物体も同時に測距してしまうこと、そして、カメラ２で構造物を撮像する際に構造物以外の物体も同時に撮像してしまうこと、である。例えば、三次元点群データを生成するために構造物を測距する際に構造物の近くに自動車が駐車しており、カメラ２で構造物を撮像する際に当該自動車が同じ場所にいないことは十分に想定し得る。この理由としては、実際の運用上、三次元点群データを生成するために構造物を測距するのは一度だけであり、点検員は、その後の半年ごとにカメラ２で構造物を撮像するからである。即ち、三次元点群データを生成するために構造物を測距する測距時刻と、点検員がカメラ２で構造物を撮像する撮像時刻と、の間には大きな差分があることが上記の問題の主たる原因となっている。この場合、三次元点群データ上での特徴点と、撮像画像上での特徴点と、の間の良好な対応関係を構築することができず、結果として変換パラメータの推定確度が頭打ちとなっていた。

図２に示す情報処理装置１は上記の技術的課題を解決すべく考案されたものであって、情報処理装置１を以下、詳細に説明する。

図２に示すように、情報処理装置１は、CPU１ａ（Central Processing Unit）及びメモリ１ｂ、LCD１ｃ（Liquid Crystal Display）、通信インターフェース１ｄ、入力手段１ｅを備える。

メモリ１ｂは、RAM（Random Access Memory）やROM（Read Only Memory）、HDD（Hard Disc Drive）などで構成されている。メモリ１ｂには、制御プログラムが格納されている。

入力手段１ｅは、典型的には、キーボードである。

CPU１ａは、メモリ１ｂに記憶されている制御プログラムを読み出して実行する。これにより、制御プログラムは、CPU１ａなどのハードウェアを、記憶部３、取得部４、推定部５、マッピング部６、出力部７として機能させる。

記憶部３は、記憶手段の一具体例である。記憶部３は、環境の三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する。ここで、「環境」は、点検対象である構造物と、当該構造物の周囲に存在する物体と、を含む。記憶部３には、具体的には、図３に示す派生点群ＤＢ８が格納されている。以下、図３を参照して、派生点群ＤＢ８を説明する。

図３に示すように、派生点群ＤＢ８は、一例として、３つの派生点群データＤＰＣ（Derived Point Cloud）を保有する。３つの派生点群データＤＰＣは、派生点群データＤＰＣ１、派生点群データＤＰＣ２、派生点群データＤＰＣ３から構成されている。本実施形態において、派生点群ＤＢ８が保有する派生点群データＤＰＣの数は３つとしたが、これに限定されず、２つでもよく、４つ以上であってもよい。

各派生点群データＤＰＣは、何れも、三次元点群データであって、環境の三次元点群データから生成されたものである。

派生点群ＤＢ８において、各派生点群データＤＰＣは静的安定度ＳＳ（Static Stability）と関連付けられている。図３に示すように、一例として、派生点群データＤＰＣ１の静的安定度ＳＳは「６０年」であり、派生点群データＤＰＣ２の静的安定度ＳＳは「３年」であり、派生点群データＤＰＣ３の静的安定度ＳＳは「１秒」である。このように静的安定度ＳＳは、一例として、時間軸上での期間の長短によって表現されている。そして、期間が相対的に長いほど静的安定度ＳＳは相対的に高く、期間が相対的に短いほど静的安定度ＳＳは相対的に低い、と言える。従って、派生点群データＤＰＣ１の静的安定度ＳＳは、派生点群データＤＰＣ２の静的安定度ＳＳよりも高い。派生点群データＤＰＣ２の静的安定度ＳＳは、派生点群データＤＰＣ３の静的安定度ＳＳよりも高い。即ち、派生点群データＤＰＣ１の静的安定度ＳＳは、派生点群ＤＢ８が保有する複数の派生点群データＤＰＣの中で最も高いと言える。そして、派生点群ＤＢ８は、互いに異なる静的安定度ＳＳを有する複数の派生点群データＤＰＣを保有すると言える。なお、静的安定度ＳＳは、時間軸上での期間の長短によって直接的に表現されてことに代えて、レベル１、レベル２、レベル３といったようにレベル表記で間接的に表現されてもよい。

ここで、派生点群データＤＰＣ１と派生点群データＤＰＣ２、派生点群データＤＰＣ３の違いについて説明する。端的に言えば、派生点群データＤＰＣ２は、派生点群データＤＰＣ３の一部の点群を除去したものであり、派生点群データＤＰＣ１は、派生点群データＤＰＣ２の一部の点群を除去したものである。図３に示すように、派生点群データＤＰＣ３は、建造物に対応する建造物点群ＰＰＣ１（Partial Point Cloud）と、樹木に対応する樹木点群ＰＰＣ２と、自動車に対応する自動車点群ＰＰＣ３と、歩行者に対応する歩行者点群ＰＰＣ４と、を含む。これに対し、派生点群データＤＰＣ２は、建造物点群ＰＰＣ１と樹木点群ＰＰＣ２を含むものの、自動車点群ＰＰＣ３と歩行者点群ＰＰＣ４を含まない。また、派生点群データＤＰＣ１は、建造物点群ＰＰＣ１を含むものの、樹木点群ＰＰＣ２及び自動車点群ＰＰＣ３、歩行者点群ＰＰＣ４を含まない。

次に、図４を参照して、静的安定度ＳＳを詳細に説明する。図４には、各派生点群データＤＰＣの静的安定度ＳＳを示している。図４の横軸は時間軸である。

図４に示すように、派生点群データＤＰＣ１は建造物点群ＰＰＣ１のみを含む。そして、建造物点群ＰＰＣ１に対応する建造物は一般的に６０年程度、時間軸上で静止した状態を維持する。従って、建造物の維持期間は６０年となる。これにより、派生点群データＤＰＣ１の静的安定度ＳＳは、建造物の維持期間である６０年となる。

これに対し、派生点群データＤＰＣ２は、建造物点群ＰＰＣ１及び樹木点群ＰＰＣ２を含む。そして、樹木点群ＰＰＣ２に対応する樹木は一般的に３年程度、時間軸上で静止した状態を維持する。即ち、樹木は、数年経過すれば伐採されたり、移植されたりする。従って、樹木の維持期間は３年となる。これにより、派生点群データＤＰＣ２の静的安定度ＳＳは、建造物の維持期間と樹木の維持期間のうち最も短い維持期間である３年となる。換言すれば、派生点群データＤＰＣ２の静的安定度ＳＳは、建造物及び樹木のうち、時間軸上で静止した状態を維持する維持期間が最も短い物体である樹木の当該維持期間の長さとなる。

また、派生点群データＤＰＣ３は、建造物点群ＰＰＣ１及び樹木点群ＰＰＣ２、自動車点群ＰＰＣ３、歩行者点群ＰＰＣ４を含む。そして、自動車点群ＰＰＣ３に対応する自動車は駐車している場合、一般的に９時間程度、時間軸上で静止した状態を維持する。従って、自動車の維持期間は９時間となる。また、歩行者点群ＰＰＣ４に対応する歩行者は時間軸上でほとんど静止せず、静止したとしてもせいぜい１秒である。従って、歩行者の維持期間は１秒である。これにより、派生点群データＤＰＣ３の静的安定度ＳＳは、建造物の維持期間、樹木の維持期間、自動車の維持期間、歩行者の維持期間のうち最も短い維持期間である１秒となる。換言すれば、派生点群データＤＰＣ３の静的安定度ＳＳは、建造物及び樹木、自動車、歩行者のうち、時間軸上で静止した状態を維持する維持期間が最も短い物体である歩行者の当該維持期間の長さとなる。

次に、図５を参照して、各派生点群データＤＰＣの生成方法を例示する。

（ステップ１）
まず、環境の三次元点群データを取得する。環境の三次元点群データを取得する方法としては、Lidar（Light Detection And Ranging）を用いる方法と、写真測量を用いる方法と、が挙げられる。

Lidarを用いる方法では、Lidarを用いて様々な角度から環境を測距し、Lidarから出力される複数の三次元点群データを例えばICP（Iterative Closest Point）などのレジストレーション技術を用いて合成することで、環境の三次元点群データを生成する。

写真測量を用いる方法では、環境を様々な角度から撮像することで得られた複数の撮像画像から幾何学的な逆問題を解くことによって環境の三次元構造を復元し、これにより、環境の三次元点群データを生成する。複数の撮像画像から環境の三次元構造を復元するための手法は、典型的には、SfM（Structure from Motion）が挙げられる。このとき、MVS（Multi-View Stereo）を併用すると、より精密な環境の三次元点群データを生成することができる。

また、Lidarと写真測量の双方を利用して、環境の三次元点群データを生成してもよい。即ち、Lidarを用いて生成した環境の三次元点群データと、写真測量によって生成した環境の三次元点群データを前述のレジストレーション技術を用いて合成することで、環境の三次元点群データを生成してもよい。

（ステップ２）
次に、ステップ１で得られた環境の三次元点群データを、当該環境に含まれる各物体の維持期間に応じて分類する。具体的には、維持期間が１０年よりも長い建造物に対応する建造物点群ＰＰＣ１はレイヤー１に分類し、維持期間が１０年以下１年以上である樹木に対応する樹木点群ＰＰＣ２はレイヤー２に分類し、自動車に対応する自動車点群ＰＰＣ３及び歩行者に対応する歩行者点群ＰＰＣ４はレイヤー３に分類する。

まず、環境の三次元点群データに基づいて環境に含まれる物体を検出する方法としては、PointNet、PointNet++、VoteNetなどの公知のDNN（Deep Neural Network）を利用することができる。測距と同時に環境を撮像することで撮像画像が得られているのであれば、R-CNN（Regions with Convolutional Neural Networks）やYOLO（You Only Look Once）などの公知のDNNを利用して環境に含まれる物体を検出してもよい。そして、物体と維持期間との対応関係をテーブル形式で予め作成しておき、当該テーブルを参照することで、ステップ１で得られた環境の三次元点群データを、当該環境に含まれる各物体の維持期間に応じて分類する。

なお、ステップ１で得られた環境の三次元点群データを当該環境に含まれる各物体の維持期間に応じて分類する作業は、オペレータによる手作業で行ってもよい。

図５において、レイヤー１に分類される物体としては、例示する構造物に限定されない。例えば、路面や地形などの物体は、構造物の維持期間よりも長い維持期間を有する。従って、これらの物体もレイヤー１に分類される。

レイヤー２に分類される物体としては、例示する樹木に限定されない。例えば、椅子や机、扉などの物体はレイヤー２に分類してもよい。

レイヤー３に分類される物体としては、例示する自動車及び歩行者に限定されない。例えば、動物やドローンなどの物体はレイヤー３に分類してもよい。

（ステップ３）
次に、レイヤー１を派生点群データＤＰＣ１として派生点群ＤＢ８に格納する。また、レイヤー１とレイヤー２を合成した点群データを派生点群データＤＰＣ２として派生点群ＤＢ８に格納する。また、レイヤー１とレイヤー２、レイヤー３を合成した点群データを派生点群データＤＰＣ３として派生点群ＤＢ８に格納する。

上述した各派生点群データＤＰＣの生成は、典型的には、環境の三次元点群データを生成した当日に、又は、数日以内に行われる。当該生成は、少なくとも、カメラ２を用いた撮像前に完了しておくとよい。これにより、点検を開始してからマッピングが完了するまでの所要時間を短縮することができる。ただし、カメラ２を用いた撮像後に上記の各派生点群データＤＰＣを生成してもよい。

図２に戻り、取得部４は、取得手段の一具体例である。取得部４は、通信インターフェース１ｄを介してカメラ２のメモリに保存されている撮像画像を取得する。これに代えて、取得部４は、記憶媒体に保存されている撮像画像を読み込むことで取得してもよい。

推定部５は、推定手段の一具体例である。推定部５は、複数の派生点群データＤＰＣのうち少なくとも何れか１つの派生点群データＤＰＣと取得部４が取得した撮像画像に基づいてカメラ２の撮像時における位置姿勢を推定する。カメラ２の撮像時における位置姿勢を推定する手法としては、前述したように、DeepI2P（Image-to-Point Cloud Registration via Deep Classification）、Direct Regression、Monodepth2+USIP、Monodepth2+GT-ICP、2D3D-MatchNetなどのレジストレーション技術を採用することができる。何れのレジストレーション技術も、カメラ２の撮像時における位置姿勢の推定結果として、推定した位置姿勢を推定確度（マッチングスコア）と共に出力する。

本実施形態において、推定部５は、複数の派生点群データＤＰＣのうち静的安定度ＳＳが相対的に高い派生点群データＤＰＣから静的安定度ＳＳが相対的に低い派生点群データＤＰＣに向かって順に、派生点群データＤＰＣと撮像画像に基づく位置姿勢の推定を繰り返す。そして、推定部５は、位置姿勢の推定確度が所定値を超えたことに応じて、カメラ２の撮像時における位置姿勢を、最後に推定した位置姿勢に決定する。

マッピング部６は、推定部５が推定したカメラ２の撮像時における位置姿勢に基づいて、撮像画像を、環境の三次元点群データが構成する仮想空間上の環境モデルに投影する。

出力部７は、仮想空間上の環境モデルを撮像画像が投影された状態でLCD１ｃに表示する。LCD１ｃ上に表示された撮像画像に映り込む変状を点検員が入力手段１ｅで選択することにより、出力部７は、当該変状を四角で囲んで強調表示すると共に、当該四角の近傍に当該四角の長辺と短辺の長さを表示する。これにより、点検員は、構造物における変状の発生箇所と当該変状の大きさを容易に把握することができる。

次に、図６を参照して、情報処理装置１の制御フローを説明する。

まず、取得部４は、撮像画像を取得する（Ｓ１００）。

次に、推定部５は、派生点群データＤＰＣ１と取得部４が取得した撮像画像に基づいてカメラ２の撮像時における位置姿勢を推定する（Ｓ１１０）。

次に、推定部５は、ステップＳ１１０における推定確度が所定値を上回ったか判定する（Ｓ１２０）。ステップＳ１１０における推定確度が所定値を上回ったと推定部５が判定した場合、推定部５は、処理をステップＳ１６０に進める。一方、ステップＳ１１０における推定確度が所定値を上回っていないと推定部５が判定した場合、推定部５は、処理をＳ１３０に進める。

次に、推定部５は、派生点群データＤＰＣ２と取得部４が取得した撮像画像に基づいてカメラ２の撮像時における位置姿勢を推定する（Ｓ１３０）。

次に、推定部５は、ステップＳ１３０における推定確度が所定値を上回ったか判定する（Ｓ１４０）。ステップＳ１３０における推定確度が所定値を上回ったと推定部５が判定した場合、推定部５は、処理をステップＳ１６０に進める。一方、ステップＳ１３０における推定確度が所定値を上回っていないと推定部５が判定した場合、推定部５は、処理をＳ１５０に進める。

次に、推定部５は、派生点群データＤＰＣ３と取得部４が取得した撮像画像に基づいてカメラ２の撮像時における位置姿勢を推定する（Ｓ１５０）。

次に、マッピング部６は、推定部５が最後に推定したカメラ２の撮像時における位置姿勢に基づいて、撮像画像を、環境の三次元点群データが構成する仮想空間上の環境モデルに投影する（Ｓ１６０）。

次に、出力部７は、仮想空間上の環境モデルを撮像画像が投影された状態でLCD１ｃに表示する（Ｓ１７０）。

以上に、第２実施形態を説明したが、上記第２実施形態は以下の特徴を有する。

例えば、図２及び図６に示すように、情報処理装置１（位置姿勢推定システム、位置姿勢推定装置）は、環境の三次元点群データと、環境に含まれる構造物（撮像対象）をカメラ２（撮像装置）で撮像して得られる撮像画像と、に基づいて、カメラ２の撮像時における位置姿勢を推定する。情報処理装置１は、記憶部３（記憶手段）と、取得部４（取得手段）、推定部５（推定手段）を含む。記憶部３は、三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データＤＰＣを記憶する。取得部４は、撮像画像を取得する。推定部５は、複数の派生点群データＤＰＣのうち少なくとも何れか１つの派生点群データＤＰＣと撮像画像に基づいて位置姿勢を推定する。以上の構成によれば、位置姿勢を高い確度で推定することができる。

また、図６に示すように、推定部５は、複数の派生点群データＤＰＣのうち静的安定度ＳＳが相対的に高い派生点群データＤＰＣ１から静的安定度ＳＳが相対的に低い派生点群データＤＰＣ３に向かって順に、派生点群データＤＰＣと撮像画像に基づく位置姿勢の推定を繰り返す（Ｓ１１０、Ｓ１３０、Ｓ１５０）。そして、推定部５は、位置姿勢の推定確度が所定値を超えたことに応じて、カメラ２の撮像時における位置姿勢を、最後に推定した位置姿勢に決定する。以上の構成によれば、短時間で、位置姿勢を高い確度で推定することができる。

以下、上記のように派生点群データＤＰＣ毎に推定確度が変わるメカニズムを説明する。即ち、図３に示すように、派生点群データＤＰＣが構造物以外の物体を含む場合、当該物体が位置姿勢の推定に寄与する場合もあれば邪魔する場合もあるだろう。例えば、派生点群データＤＰＣ２に含まれる樹木点群ＰＰＣ２は、位置姿勢を推定する際の、派生点群データＤＰＣ２の有力な特徴点となり得る。また、派生点群データＤＰＣ３に含まれる自動車点群ＰＰＣ３や歩行者点群ＰＰＣ４は、位置姿勢を推定する際の、派生点群データＤＰＣ３の有力な特徴点となり得る。このように、派生点群データＤＰＣが構造物以外の物体を含んでいても、当該物体が位置姿勢の推定に寄与する場合が往々にしてある。従って、派生点群データＤＰＣ１に基づく推定確度よりも、派生点群データＤＰＣ２や派生点群データＤＰＣ３に基づく推定確度の方が高くなることもあるし、低くなることもある。このように上記のように派生点群データＤＰＣ毎に異なる推定確度が得られるので、情報処理装置１は、互いに異なる静的安定度ＳＳを有する複数の派生点群データＤＰＣを記憶する記憶部３を備えることで、位置姿勢を高い確度で推定することができると言える。

上記第２実施形態は、例えば以下のように変更できる。

即ち、上記第２実施形態において、推定部５は、複数の派生点群データＤＰＣのうち静的安定度ＳＳが相対的に高い派生点群データＤＰＣから静的安定度ＳＳが相対的に低い派生点群データＤＰＣに向かって順に、派生点群データＤＰＣと撮像画像に基づく位置姿勢の推定を繰り返すとした。しかし、これに代えて、推定部５は、複数の派生点群データＤＰＣのうち静的安定度ＳＳが相対的に低い派生点群データＤＰＣから静的安定度ＳＳが相対的に高い派生点群データＤＰＣに向かって順に、派生点群データＤＰＣと撮像画像に基づく位置姿勢の推定を繰り返してもよい。また、推定部５は、複数の派生点群データＤＰＣをランダムに並べ替え、並べ替えた順に、派生点群データＤＰＣと撮像画像に基づく位置姿勢の推定を繰り返してもよい。

また、本実施形態において、位置姿勢推定システムは、単一の装置である情報処理装置１により実現されている。しかし、これに代えて、位置姿勢推定システムは、複数の装置に跨る分散処理により実現してもよい。即ち、位置姿勢推定システムは、派生点群ＤＢ８を備える外部サーバーと、外部サーバーの派生点群ＤＢ８にアクセス可能な情報処理装置１と、により実現してもよい。

（第３実施形態）
以下、図７を参照して、第３実施形態を説明する。以下、本実施形態が上記第２実施形態と相違する点を中心に説明し、重複する説明は省略する。図７は、情報処理装置１の処理フローを示している。

まず、取得部４は、撮像画像を取得する（Ｓ２００）。

次に、推定部５は、派生点群ＤＢ８が保有するすべての派生点群データＤＰＣと撮像画像に基づいて複数の位置姿勢を推定する（Ｓ２１０）。本実施形態において派生点群ＤＢ８は、図３に示すように、３つの派生点群データＤＰＣを保有するので、推定部５は、位置姿勢を３通り、推定することになる。

次に、推定部５は、カメラ２の撮像時における位置姿勢を、複数の位置姿勢のうち最も推定確度が高い位置姿勢に決定する（Ｓ２２０）。

次に、マッピング部６は、推定部５が推定したカメラ２の撮像時における位置姿勢に基づいて、撮像画像を、環境の三次元点群データが構成する仮想空間上の環境モデルに投影する（Ｓ２３０）。

そして、出力部７は、仮想空間上の環境モデルを撮像画像が投影された状態でLCD１ｃに表示する（Ｓ２４０）。

以上の構成によれば、カメラ２の撮像時における位置姿勢を最も高い推定確度で推定できる。

（第４実施形態）
以下、図８を参照して、第４実施形態を説明する。以下、本実施形態が上記第２実施形態と相違する点を中心に説明し、重複する説明は省略する。図８は、情報処理装置１の処理フローを示している。

まず、取得部４は、撮像画像を取得する（Ｓ３００）。

次に、推定部５は、派生点群ＤＢ８が保有する複数の派生点群データＤＰＣの中から１つの派生点群データＤＰＣを選択するユーザー入力を受け付ける（Ｓ３１０）。

次に、推定部５は、ユーザー入力により指定された派生点群データＤＰＣと撮像画像に基づいて位置姿勢を推定する（Ｓ３２０）。

次に、マッピング部６は、推定部５が推定したカメラ２の撮像時における位置姿勢に基づいて、撮像画像を、環境の三次元点群データが構成する仮想空間上の環境モデルに投影する（Ｓ３３０）。

そして、出力部７は、仮想空間上の環境モデルを撮像画像が投影された状態でLCD１ｃに表示する（Ｓ３４０）。

以上の構成によれば、上記第２実施形態と比較して推定部５の推定処理に要する処理時間を短縮することができる。

例えば、点検員は、三次元点群データを生成するために構造物を測距した時刻と、カメラ２で構造物を撮像する時刻と、の差分に応じて派生点群データＤＰＣを選択することができる。点検員は、当該差分が相対的に小さければ派生点群データＤＰＣ２や派生点群データＤＰＣ３を選択し、当該差分が相対的に大きければ派生点群データＤＰＣ１を選択し得る。

また、点検員は、情報処理装置１を用いてマッピングを繰り返した結果として、推定確度が常に高く出る派生点群データＤＰＣを特定できた場合、以降は、当該派生点群データＤＰＣを選択することができる。これにより、情報処理装置１の処理時間を短縮しつつ、高い推定確度の位置姿勢を得ることができる。

（第５実施形態）
以下、図９を参照して、第５実施形態を説明する。以下、本実施形態が上記第２実施形態と相違する点を中心に説明し、重複する説明は省略する。図９は、情報処理装置１の処理フローを示している。

まず、取得部４は、撮像画像を取得する（Ｓ４００）。

次に、推定部５は、事前に選択された派生点群データＤＰＣと撮像画像に基づいて位置姿勢を推定する（Ｓ４１０）。

次に、マッピング部６は、推定部５が推定したカメラ２の撮像時における位置姿勢に基づいて、撮像画像を、環境の三次元点群データが構成する仮想空間上の環境モデルに投影する（Ｓ４３０）。

そして、出力部７は、仮想空間上の環境モデルを撮像画像が投影された状態でLCD１ｃに表示する（Ｓ４４０）。

例えば、点検員は、情報処理装置１を用いてマッピングを繰り返した結果として、推定確度が常に高く出る派生点群データＤＰＣを特定できた場合、以降は、点検の度に当該派生点群データＤＰＣを選択する必要もなく、以降の推定処理に用いる派生点群データＤＰＣを事前に選択して固定してもよい。これにより、情報処理装置１の処理時間を短縮しつつ、高い推定確度の位置姿勢を得ることができると共に、ユーザー入力の手間を省くことができる。

（第６実施形態）
以下、図１０を参照して、第６実施形態を説明する。以下、本実施形態が上記第２実施形態と相違する点を中心に説明し、重複する説明は省略する。図１０は、情報処理装置１の処理フローを示している。

まず、取得部４は、撮像画像を取得する（Ｓ５００）。

次に、推定部５は、三次元点群データを生成するために構造物を測距した測距時刻と、カメラ２で構造物を撮像した撮像時刻と、の差分を算出する（Ｓ５１０）。

次に、推定部５は、ステップＳ５１０で算出した差分に基づいて、派生点群ＤＢ８が保有する複数の派生点群データＤＰＣの中から１つの派生点群データＤＰＣを選択する（Ｓ５２０）。具体的には、推定部５は、当該差分が相対的に小さければ派生点群データＤＰＣ２や派生点群データＤＰＣ３を選択し、当該差分が相対的に大きければ派生点群データＤＰＣ１を選択する。

次に、推定部５は、ステップＳ５２０で選択した派生点群データＤＰＣと撮像画像に基づいて位置姿勢を推定する（Ｓ５３０）。

次に、マッピング部６は、推定部５が推定したカメラ２の撮像時における位置姿勢に基づいて、撮像画像を、環境の三次元点群データが構成する仮想空間上の環境モデルに投影する（Ｓ５４０）。

そして、出力部７は、仮想空間上の環境モデルを撮像画像が投影された状態でLCD１ｃに表示する（Ｓ５５０）。

以上の構成によれば、上記第２実施形態と比較して推定部５の推定処理に要する処理時間を短縮できると共に、複数の派生点群データＤＰＣの中から最適な派生点群データＤＰＣが推定処理に用いられるので、位置姿勢を高い推定確度で推定することができる。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。非一時的なコンピュータ可読媒体の例は、更に、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭを含む。非一時的なコンピュータ可読媒体の例は、更に、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定システムであって、
前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する記憶手段と、
前記撮像画像を取得する取得手段と、
前記複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定手段と、
を含む、
位置姿勢推定システム。
（付記２）
前記推定手段は、
前記複数の派生点群データのうち前記静的安定度が相対的に高い派生点群データから前記静的安定度が相対的に低い派生点群データに向かって順に、前記派生点群データと前記撮像画像に基づく前記位置姿勢の推定を繰り返し、
前記位置姿勢の推定確度が所定値を超えたことに応じて、前記撮像装置の撮像時における位置姿勢を、最後に推定した前記位置姿勢に決定する、
付記１に記載の位置姿勢推定システム。
（付記３）
前記推定手段は、
前記記憶手段に記憶されているすべての派生点群データと前記撮像画像に基づいて複数の位置姿勢を推定し、
前記撮像装置の撮像時における位置姿勢を、前記複数の位置姿勢のうち推定確度が最も高い位置姿勢に決定する、
付記１に記載の位置姿勢推定システム。
（付記４）
前記推定手段は、
前記撮像画像の撮像時刻と、前記三次元点群データの測距時刻と、の差分を算出し、算出した差分に基づいて、前記複数の派生点群データの何れか１つを選択し、選択した派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記１に記載の位置姿勢推定システム。
（付記５）
前記推定手段は、
前記複数の派生点群データのうち、事前に選択された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記１に記載の位置姿勢推定システム。
（付記６）
前記推定手段は、
前記複数の派生点群データのうち、ユーザー入力により指定された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記１に記載の位置姿勢推定システム。
（付記７）
前記派生点群データの前記静的安定度とは、当該派生点群データが示す複数の物体のうち、時間軸上で静止した状態を維持する維持期間が最も短い物体の当該維持期間の長さに対応する、
付記１から６までの何れか１項に記載の位置姿勢推定システム。
（付記８）
環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定システムであって、
前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する記憶手段と、
前記撮像画像を取得する取得手段と、
前記複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定手段と、
を含む、
位置姿勢推定装置。
（付記９）
前記推定手段は、
前記複数の派生点群データのうち前記静的安定度が相対的に高い派生点群データから前記静的安定度が相対的に低い派生点群データに向かって順に、前記派生点群データと前記撮像画像に基づく前記位置姿勢の推定を繰り返し、
前記位置姿勢の推定確度が所定値を超えたことに応じて、前記撮像装置の撮像時における位置姿勢を、最後に推定した前記位置姿勢に決定する、
付記８に記載の位置姿勢推定装置。
（付記１０）
前記推定手段は、
前記記憶手段に記憶されているすべての派生点群データと前記撮像画像に基づいて複数の位置姿勢を推定し、
前記撮像装置の撮像時における位置姿勢を、前記複数の位置姿勢のうち推定確度が最も高い位置姿勢に決定する、
付記８に記載の位置姿勢推定装置。
（付記１１）
前記推定手段は、
前記撮像画像の撮像時刻と、前記三次元点群データの測距時刻と、の差分を算出し、算出した差分に基づいて、前記複数の派生点群データの何れか１つを選択し、選択した派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記８に記載の位置姿勢推定装置。
（付記１２）
前記推定手段は、
前記複数の派生点群データのうち、事前に選択された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記８に記載の位置姿勢推定装置。
（付記１３）
前記推定手段は、
前記複数の派生点群データのうち、ユーザー入力により指定された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記８に記載の位置姿勢推定装置。
（付記１４）
環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定方法であって、
前記撮像画像を取得する取得ステップと、
前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定ステップと、
を含む、
位置姿勢推定方法。
（付記１５）
前記推定ステップでは、
前記複数の派生点群データのうち前記静的安定度が相対的に高い派生点群データから前記静的安定度が相対的に低い派生点群データに向かって順に、前記派生点群データと前記撮像画像に基づく前記位置姿勢の推定を繰り返し、
前記位置姿勢の推定確度が所定値を超えたことに応じて、前記撮像装置の撮像時における位置姿勢を、最後に推定した前記位置姿勢に決定する、
付記１４に記載の位置姿勢推定方法。
（付記１６）
前記推定ステップでは、
前記複数の派生点群データのうちすべての派生点群データと前記撮像画像に基づいて複数の位置姿勢を推定し、
前記撮像装置の撮像時における位置姿勢を、前記複数の位置姿勢のうち推定確度が最も高い位置姿勢に決定する、
付記１４に記載の位置姿勢推定方法。
（付記１７）
前記推定ステップでは、
前記撮像画像の撮像時刻と、前記三次元点群データの測距時刻と、の差分を算出し、算出した差分に基づいて、前記複数の派生点群データの何れか１つを選択し、選択した派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記１４に記載の位置姿勢推定方法。
（付記１８）
前記推定ステップでは、
前記複数の派生点群データのうち、事前に選択された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記１４に記載の位置姿勢推定方法。
（付記１９）
前記推定ステップでは、
前記複数の派生点群データのうち、ユーザー入力により指定された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記１４に記載の位置姿勢推定方法。
（付記２０）
環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定するための位置姿勢推定プログラムであって、
コンピュータに、
前記撮像画像を取得する取得ステップと、
前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定ステップと、
を実行させる、
位置姿勢推定プログラム。
（付記２１）
前記推定ステップでは、
前記複数の派生点群データのうち前記静的安定度が相対的に高い派生点群データから前記静的安定度が相対的に低い派生点群データに向かって順に、前記派生点群データと前記撮像画像に基づく前記位置姿勢の推定を繰り返し、
前記位置姿勢の推定確度が所定値を超えたことに応じて、前記撮像装置の撮像時における位置姿勢を、最後に推定した前記位置姿勢に決定する、
付記２０に記載の位置姿勢推定プログラム。
（付記２２）
前記推定ステップでは、
前記複数の派生点群データのうちすべての派生点群データと前記撮像画像に基づいて複数の位置姿勢を推定し、
前記撮像装置の撮像時における位置姿勢を、前記複数の位置姿勢のうち推定確度が最も高い位置姿勢に決定する、
付記２０に記載の位置姿勢推定プログラム。
（付記２３）
前記推定ステップでは、
前記撮像画像の撮像時刻と、前記三次元点群データの測距時刻と、の差分を算出し、算出した差分に基づいて、前記複数の派生点群データの何れか１つを選択し、選択した派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記２０に記載の位置姿勢推定プログラム。
（付記２４）
前記推定ステップでは、
前記複数の派生点群データのうち、事前に選択された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記２０に記載の位置姿勢推定プログラム。
（付記２５）
前記推定ステップでは、
前記複数の派生点群データのうち、ユーザー入力により指定された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
付記２０に記載の位置姿勢推定プログラム。

本開示は、撮像装置の撮像時における位置姿勢を推定する技術に適用できる。

１　情報処理装置
１ｂ　メモリ
１ｄ　通信インターフェース
１ｅ　入力手段
２　カメラ
３　記憶部
４　取得部
５　推定部
６　マッピング部
７　出力部
８　派生点群ＤＢ
ＤＰＣ　派生点群データ
ＤＰＣ１　派生点群データ
ＤＰＣ２　派生点群データ
ＤＰＣ３　派生点群データ
ＳＳ　静的安定度
ＰＰＣ１　建造物点群
ＰＰＣ２　樹木点群
ＰＰＣ３　自動車点群
ＰＰＣ４　歩行者点群

Claims

環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定システムであって、
前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する記憶手段と、
前記撮像画像を取得する取得手段と、
前記複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定手段と、
を含む、
位置姿勢推定システム。
前記推定手段は、
前記複数の派生点群データのうち前記静的安定度が相対的に高い派生点群データから前記静的安定度が相対的に低い派生点群データに向かって順に、前記派生点群データと前記撮像画像に基づく前記位置姿勢の推定を繰り返し、
前記位置姿勢の推定確度が所定値を超えたことに応じて、前記撮像装置の撮像時における位置姿勢を、最後に推定した前記位置姿勢に決定する、
請求項１に記載の位置姿勢推定システム。
前記推定手段は、
前記記憶手段に記憶されているすべての派生点群データと前記撮像画像に基づいて複数の位置姿勢を推定し、
前記撮像装置の撮像時における位置姿勢を、前記複数の位置姿勢のうち推定確度が最も高い位置姿勢に決定する、
請求項１に記載の位置姿勢推定システム。
前記推定手段は、
前記撮像画像の撮像時刻と、前記三次元点群データの測距時刻と、の差分を算出し、算出した差分に基づいて、前記複数の派生点群データの何れか１つを選択し、選択した派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項１に記載の位置姿勢推定システム。
前記推定手段は、
前記複数の派生点群データのうち、事前に選択された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項１に記載の位置姿勢推定システム。
前記推定手段は、
前記複数の派生点群データのうち、ユーザー入力により指定された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項１に記載の位置姿勢推定システム。
前記派生点群データの前記静的安定度とは、当該派生点群データが示す複数の物体のうち、時間軸上で静止した状態を維持する維持期間が最も短い物体の当該維持期間の長さに対応する、
請求項１から６までの何れか１項に記載の位置姿勢推定システム。
環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定システムであって、
前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データを記憶する記憶手段と、
前記撮像画像を取得する取得手段と、
前記複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定手段と、
を含む、
位置姿勢推定装置。
前記推定手段は、
前記複数の派生点群データのうち前記静的安定度が相対的に高い派生点群データから前記静的安定度が相対的に低い派生点群データに向かって順に、前記派生点群データと前記撮像画像に基づく前記位置姿勢の推定を繰り返し、
前記位置姿勢の推定確度が所定値を超えたことに応じて、前記撮像装置の撮像時における位置姿勢を、最後に推定した前記位置姿勢に決定する、
請求項８に記載の位置姿勢推定装置。
前記推定手段は、
前記記憶手段に記憶されているすべての派生点群データと前記撮像画像に基づいて複数の位置姿勢を推定し、
前記撮像装置の撮像時における位置姿勢を、前記複数の位置姿勢のうち推定確度が最も高い位置姿勢に決定する、
請求項８に記載の位置姿勢推定装置。
前記推定手段は、
前記撮像画像の撮像時刻と、前記三次元点群データの測距時刻と、の差分を算出し、算出した差分に基づいて、前記複数の派生点群データの何れか１つを選択し、選択した派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項８に記載の位置姿勢推定装置。
前記推定手段は、
前記複数の派生点群データのうち、事前に選択された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項８に記載の位置姿勢推定装置。
前記推定手段は、
前記複数の派生点群データのうち、ユーザー入力により指定された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項８に記載の位置姿勢推定装置。
環境の三次元点群データと、前記環境に含まれる撮像対象を撮像装置で撮像して得られる撮像画像と、に基づいて、前記撮像装置の撮像時における位置姿勢を推定する位置姿勢推定方法であって、
前記撮像画像を取得する取得ステップと、
前記三次元点群データから生成され、互いに異なる静的安定度を有する複数の派生点群データのうち少なくとも何れか１つの派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する推定ステップと、
を含む、
位置姿勢推定方法。
前記推定ステップでは、
前記複数の派生点群データのうち前記静的安定度が相対的に高い派生点群データから前記静的安定度が相対的に低い派生点群データに向かって順に、前記派生点群データと前記撮像画像に基づく前記位置姿勢の推定を繰り返し、
前記位置姿勢の推定確度が所定値を超えたことに応じて、前記撮像装置の撮像時における位置姿勢を、最後に推定した前記位置姿勢に決定する、
請求項１４に記載の位置姿勢推定方法。
前記推定ステップでは、
前記複数の派生点群データのうちすべての派生点群データと前記撮像画像に基づいて複数の位置姿勢を推定し、
前記撮像装置の撮像時における位置姿勢を、前記複数の位置姿勢のうち推定確度が最も高い位置姿勢に決定する、
請求項１４に記載の位置姿勢推定方法。
前記推定ステップでは、
前記撮像画像の撮像時刻と、前記三次元点群データの測距時刻と、の差分を算出し、算出した差分に基づいて、前記複数の派生点群データの何れか１つを選択し、選択した派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項１４に記載の位置姿勢推定方法。
前記推定ステップでは、
前記複数の派生点群データのうち、事前に選択された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項１４に記載の位置姿勢推定方法。
前記推定ステップでは、
前記複数の派生点群データのうち、ユーザー入力により指定された派生点群データと前記撮像画像に基づいて前記位置姿勢を推定する、
請求項１４に記載の位置姿勢推定方法。