JP7183058B2 - 三次元計測装置および三次元計測プログラム - Google Patents
三次元計測装置および三次元計測プログラム Download PDFInfo
- Publication number
- JP7183058B2 JP7183058B2 JP2019014141A JP2019014141A JP7183058B2 JP 7183058 B2 JP7183058 B2 JP 7183058B2 JP 2019014141 A JP2019014141 A JP 2019014141A JP 2019014141 A JP2019014141 A JP 2019014141A JP 7183058 B2 JP7183058 B2 JP 7183058B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- camera
- measurement
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
特許文献1には、地物の三次元データを用いて車両の位置を高精度に推定する方法が開示されている。
第1地点で前記カメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影部と、
前記第1撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測部と、
前記第1画像を前記ディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付部と、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定部と、
前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出部とを備える。
三次元計測システム100について、図1から図13に基づいて説明する。
図1に基づいて、三次元計測システム100の構成を説明する。
三次元計測システム100は、物体の三次元位置を計測するためのシステムである。
三次元計測装置200と情報管理装置300とは、ネットワーク102を介して互いに通信する。
三次元計測装置200は、プロセッサ201とメモリ202と補助記憶装置203と通信装置204とタッチパネル205とカメラ206と計測センサ207といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
三次元計測装置200を実現するコンピュータの具体例は、スマートフォンまたはタブレットPCである。PCはパーソナルコンピュータの略称である。但し、その他の種類のコンピュータが三次元計測装置200として使用されてもよい。
メモリ202は揮発性の記憶装置である。メモリ202は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ202はRAM(Random Access Memory)である。メモリ202に記憶されたデータは必要に応じて補助記憶装置203に保存される。
補助記憶装置203は不揮発性の記憶装置である。例えば、補助記憶装置203は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、またはフラッシュメモリである。補助記憶装置203に記憶されたデータは必要に応じてメモリ202にロードされる。
通信装置204は、レシーバおよびトランスミッタである。例えば、通信装置204は、通信チップまたはNICである。NICはNetwork Interface Cardの略称である。
タッチパネル205は、ディスプレイを有する入出力装置である。三次元計測装置200は、タッチパネル205とは別の種類の入出力装置を備えてもよい。例えば、三次元計測装置200は、タッチパネル205の代わりに、ディスプレイおよびテンキーなどを備えてもよい。
カメラ206は、デジタルカメラである。
計測センサ207は、三次元計測装置200の位置および姿勢を計測するための1つ以上のセンサである。例えば、計測センサ207は、GPSセンサ、ジャイロセンサおよび加速度センサなどである。GPSセンサはGPS受信機またはGPSモジュールとも呼ばれる。GPSはGlobal Positioning Systemの略称である。
さらに、補助記憶装置203にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ202にロードされて、プロセッサ201によって実行される。
つまり、プロセッサ201は、OSを実行しながら、三次元計測プログラムを実行する。
三次元計測プログラムを実行して得られるデータは、メモリ202、補助記憶装置203、プロセッサ201内のレジスタ、または、プロセッサ201内のキャッシュメモリといった記憶装置に記憶される。
情報管理装置300は、プロセッサ301とメモリ302と補助記憶装置303と通信装置304と入出力インタフェース305といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
情報管理装置300を実現するコンピュータの具体例は、データベースサーバである。但し、その他の種類のコンピュータが情報管理装置300として使用されてもよい。
メモリ302は揮発性の記憶装置である。メモリ302は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ302はRAMである。メモリ302に記憶されたデータは必要に応じて補助記憶装置303に保存される。
補助記憶装置303は不揮発性の記憶装置である。例えば、補助記憶装置303は、ROM、HDDまたはフラッシュメモリである。補助記憶装置303に記憶されたデータは必要に応じてメモリ302にロードされる。
通信装置304は、レシーバおよびトランスミッタである。例えば、通信装置304は通信チップまたはNICである。
入出力インタフェース305は入出力装置が接続されるポートである。例えば、入出力インタフェース305はUSB端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。USBはUniversal Serial Busの略称である。
さらに、補助記憶装置303にはOSが記憶されている。OSの少なくとも一部は、メモリ302にロードされて、プロセッサ301によって実行される。
つまり、プロセッサ301は、OSを実行しながら、情報管理プログラムを実行する。
情報管理プログラムを実行して得られるデータは、メモリ302、補助記憶装置303、プロセッサ301内のレジスタ、または、プロセッサ301内のキャッシュメモリといった記憶装置に記憶される。
点群データベース390は、三次元点群データを管理するためのデータベースである。
三次元点群データは、三次元点群を表す。三次元点群データの形式は、例えば、LASファイルである。LASファイルとは、航空機または車両で計測されたLIDARデータを格納するための業界標準のバイナリ形式を指す。LIDARは、Light Detection and Ranging、または、Laser Imaging Detection and Rangingの略称である。
三次元点群は、1つ以上の三次元点である。
1つの三次元点は、1つの地点に対応する。各三次元点は三次元座標値を有する。
三次元計測システム100の動作は三次元計測方法に相当する。また、三次元計測方法の手順は三次元計測プログラムの手順に相当する。
ステップS110において、撮影部211は、第1地点でカメラ206を用いて行われる第1撮影によって、第1画像を得る。
第1撮影は、第1地点でカメラ206を用いて行われる撮影である。
第1画像は、計測対象が映った画像であり、第1撮影によって得られる。
三次元位置は、三次元座標値で表される。
三次元姿勢は、ロール角とピッチ角とヨー角とで表される。
図5の説明において、三次元計測装置200を「スマートフォン」と称する。
そして、撮影部211は、カメラ206を動作させることによって、第1撮影を行う。これにより、第1画像が得られる。
そして、位置姿勢計測部212は、第1撮影時における三次元計測装置200の三次元位置にカメラ206の位置オフセットを加算する。これにより、第1撮影時におけるカメラ206の三次元位置が算出される。カメラ206の位置オフセットは、記憶部290に予め登録されている。
さらに、位置姿勢計測部212は、第1撮影時における三次元計測装置200の三次元姿勢にカメラ206の姿勢オフセットを加算する。これにより、第1撮影時におけるカメラ206の三次元姿勢が算出される。カメラ206の姿勢オフセットは、記憶部290に予め登録されている。
第1点群データは、第1点群を表す。
第1点群は、第1画像に映っている範囲の三次元点群である。
まず、点群取得部213は、通信装置204を用いて、第1点群要求データを情報管理装置300へ送信する。第1点群要求データは、第1撮影時におけるカメラ206の三次元位置と、第1撮影時におけるカメラ206の三次元姿勢と、第1撮影時におけるカメラパラメータと、を含む。例えば、カメラパラメータは、焦点距離、画像サイズまたは画素サイズである。
次に、要求受付部311は、通信装置304を用いて、第1点群要求データを受信する。
次に、点群抽出部312は、要求受付部311からの第1点群要求データに基づいて、点群データベース390から第1点群データを抽出する。
次に、点群応答部313は、通信装置304を用いて、点群抽出部312からの第1点群データを三次元計測装置200へ送信する。なお、カメラの位置からの奥行き方向に制限をかけることで、三次元点群データのデータ量を抑えることができる。制限の一例は、カメラ中心から奥行き10メートル以内である。
そして、点群取得部213は、通信装置204を用いて、第1点群データを受信する。
点群抽出部312は、第1画像平面に投影される三次元点群の点群データを点群データベース390から抽出する。抽出される点群データが第1点群データである。
第1画像平面への三次元点群の投影についてステップS114で説明する。
利用者がスマートフォンのタッチパネル205を操作してアプリケーションを起動すると、カメラ画像を定期的に取得できるようになる。その状態から、定期的に(例えば、数秒に1回)、カメラ206の概略位置およびカメラ206の概略姿勢が送付されるタイミングで第1点群要求データが出る。第1撮影要求データが送付され、第1点群がタッチパネル205のディスプレイに表示される。位置姿勢の微調整が終わった後、メッセージ“ターゲット選択”がディスプレイに表示され、ターゲット選択用ゲートがディスプレイに現れる。利用者は、ゲート内にターゲットを収め、ディスプレイに表示されるメッセージ“第1撮影OK?”をクリックする。これにより、カメラ206によって第1撮影が行われて第1画像が得られ、第1撮影時が確定する。第1撮影時刻と第1画像はメモリ202に一時記憶される。その後、後述する第2撮影が行われる。
利用者がタッチパネル205の点群取得ボタンを押してもよい。点群取得ボタンが押されると、スマートフォンのカメラ206が起動し、撮影が開始される。その状態で、利用者は、タッチパネル205の撮影ボタンを通じて撮影指示を入力する。すると、カメラ206によって第1撮影が行われて第1画像が得られ、第1撮影時が確定する。第1撮影時刻と第1画像はメモリ202に一時記憶される。そして、第1点群要求データが発生する。
第1画像への第1点群の投影は、第1画像平面への第1点群の投影に相当する。
第1画像平面は、第1画像に対応する画像平面である。
画像平面は、画像に対応する三次元平面である。画像平面は、カメラの位置からカメラの視線方向に焦点距離離れた地点を含み、カメラの視線方向と直交する。画像平面の大きさは、カメラのパラメータによって決まる。
各三次元点は、カメラから三次元点への視線ベクトルと画像平面との交点に投影される。視線ベクトルはLOSベクトルともいう。LOSはLine Of Sightの略称である。
特許文献4には、デジタル画像面における対象点の投影点について開示されている(図3参照)。
特許文献5には、三次元点群データをカメラの画像平面に対して投影する投影変換処理が開示されている。
第1特徴部分は、第1画像に含まれる特徴部分である。例えば、特徴部分はエッジ部分である。特徴部分の具体例は、路肩のエッジである。
第1特徴点群は、第1点群データにおける第1特徴部分を表す三次元点群である。
特許文献2には、点群が表すエッジ部分を特定すること、および、各エッジが路肩、歩道、壁面またはポールであることが開示されている(図21参照)。特許文献3にも同様の開示がされている。
例えば、位置姿勢補正部222は、第1画像の中の第1特徴部分と第1画像に投影されている第1特徴点群との位置のずれ量を算出し、算出されたずれ量を誤差閾値と比較する。ずれ量が誤差閾値以下である場合、位置姿勢補正部222は、第1特徴点群が第1特徴部分に投影されていると判定する。
第1特徴点群が第1特徴部分に投影されている場合、第1地点処理(S110)は終了する。
第1特徴点群が第1特徴部分に投影されていない場合、処理はステップS117に進む。
特許文献5には、画像に投影された点群が形成する段差と画像に映った段差とのマッチングについて開示されている(図13参照)。
具体的には、位置姿勢補正部222は、第1撮影時におけるカメラ206の三次元位置に位置補正量を加算する。また、位置姿勢補正部222は、第1撮影時におけるカメラ206の三次元姿勢に姿勢補正量を加算する。位置補正量と姿勢補正量とのそれぞれは、規定値であってもよいし、第1特徴部分と第1特徴点群との位置のずれ量に基づいて算出される値であってもよい。また、利用者が、第1特徴部分と第1特徴点群との位置のずれ量をディスプレイで見て、カメラ206の位置姿勢を補正しても構わない。
ステップS117の後、処理はステップS114に進む。
ステップS120において、計測箇所受付部231は、第1画像をタッチパネル205のディスプレイに表示し、計測箇所を受け付ける。
計測箇所は、第1画像の中で計測対象が映っている箇所であり、利用者によって指定される。
図6の説明において、三次元計測装置200を「スマートフォン」と称する。
具体的には、点群投影部221が第1点群を第1画像に投影する(図5のステップS114を参照)。そして、計測箇所受付部231は、第1点群の各三次元点を第1画像の中の投影箇所に描画する。
そして、計測箇所受付部231は、タッチパネル205を介して、計測箇所の指定を受け付ける。
ステップS130において、撮影部211は、第2地点でカメラ206を用いて行われる第2撮影によって、第2画像を得る。
第2地点は、第1地点とは異なる地点である。例えば、第2地点は、利用者がスマートフォンを構えたまま徒歩で横方向に数メートル移動した地点である。
第2撮影は、第2地点でカメラ206を用いて行われる撮影である。
第2画像は、第1画像の中の計測対象が映った画像であり、第2撮影によって得られる。
図7の説明において、三次元計測装置200を「スマートフォン」と称する。
そして、撮影部211は、カメラ206を動作させることによって、第2撮影を行う。これにより、第2画像が得られる。
そして、位置姿勢計測部212は、第2撮影時における三次元計測装置200の三次元位置にカメラ206の位置オフセットを加算する。これにより、第2撮影時におけるカメラ206の三次元位置が算出される。カメラ206の位置オフセットは、記憶部290に予め登録されている。
さらに、位置姿勢計測部212は、第2撮影時における三次元計測装置200の三次元姿勢にカメラ206の姿勢オフセットを加算する。これにより、第2撮影時におけるカメラ206の三次元姿勢が算出される。カメラ206の姿勢オフセットは、記憶部290に予め登録されている。
第2点群データは、第2点群を表す。
第2点群は、第2画像に映っている範囲の三次元点群である。
移動ステレオ方式のため、利用者は、第2地点に移動してカメラ206の位置姿勢を決める。その後、第1点群要求データと同様に第2点群要求データが出る。そして、第2地点への利用者の移動が完了し、第2点群がタッチパネル205のディスプレイに表示される。位置姿勢の微調整およびターゲット選択が終わった段階で、利用者は、ディスプレイに表示されるメッセージ“第2撮影OK?”をクリックする。これにより、カメラ206によって第2撮影が行われて第2画像が得られ、第2撮影時が確定する。第2撮影時刻と第2画像はがメモリ202に一時記憶される。
利用者がタッチパネル205の点群取得ボタンを押してもよい。点群取得ボタンが押されると、スマートフォンのカメラ206が起動し、撮影が開始される。その状態で、利用者は、タッチパネル205の撮影ボタンを通じて撮影指示を入力する。すると、カメラ206によって第2撮影が行われて第2画像が得られ、第2撮影時が確定する。第2撮影時刻と第2画像はメモリ202に一時記憶される。そして、第2点群要求データが発生する。
第2特徴部分は、第2画像に含まれる特徴部分である。例えば、特徴部分はエッジ部分である。特徴部分の具体例は、路肩のエッジである。
第2特徴点群は、第2点群データにおける第2特徴部分を表す三次元点群である。
第2特徴点群が第2特徴部分に投影されている場合、第2地点処理(S130)は終了する。
第2特徴点群が第2特徴部分に投影されていない場合、処理はステップS137に進む。
ステップS137の後、処理はステップS134に進む。
ステップS140において、対応箇所特定部232は、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元位置と、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元姿勢とに基づいて、第2画像の中の対応箇所を特定する。
対応箇所は、第2画像の中で計測箇所に対応する箇所である。言い換えると、対応箇所は、第2画像の中で第1画像の中の計測箇所に映っている地点と同じ地点が映っている箇所である。つまり、第1画像の中の計測箇所と第2画像の中の対応箇所とのそれぞれには、計測対象が映っている。
図8の説明において、三次元計測装置200を「スマートフォン」と称する。
特許文献2には、カメラ位置姿勢に基づいてエピポーラ線を算出する第1のエピポーラ線算出処理が開示されている(図16参照)。特許文献3にも同様の開示がされている。
特許文献4には、エピポーラ拘束線の算出方法が開示されている(図3参照)。
そして、対応箇所特定部232は、タッチパネル205を介して、対応箇所の指定を受け付ける。
ステップS150において、対象位置算出部233は、第1画像の中の計測箇所と第2画像の中の対応箇所とに基づいて、計測対象の三次元位置を算出する。
ステップS151において、対象位置算出部233は、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元位置と、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元姿勢とに基づいて、第1画像の中の計測箇所と第2画像の中の対応箇所との視差を算出する。
特許文献4には、視差を利用することによって物体の形状を三次元的に復元する三次元復元手段が開示されている(図2参照)。
特許文献6には、視差を利用することによって三次元モデルを作成するGISモデル作成部が開示されている(図1参照)。特許文献7にも同様の開示がされている。
図10において、三次元計測装置200を「スマートフォン112」と称する。
利用者は、第1地点113でスマートフォン112を計測対象111に向けて、撮影操作を行う。計測対象111は、電信柱から垂れ下がっている電線である。
撮影部211は、撮影範囲110を撮影することによって、第1画像114を得る。第1画像114には計測対象111が映っている。
計測箇所受付部231は、第1画像114をタッチパネル205に表示する。表示された第1画像114には三次元点群が重畳されている(図示省略)。利用者は、第1画像114に三次元点群が重畳されていることを確認する。
利用者は、タッチパネル205を操作することによって、第1画像114の中の計測箇所に、計測箇所を指定するためのマーカ115を設定する。マーカ115は、ダブルクリック等によって設定される。マーカ115の大きさは可変であり、計測箇所受付部231は、マーカ115の大きさを適切に調整する。
なお、図10に示したマーカ115は十字形状であるが、マーカ115は丸形状であってもよいし、四角形状または矢尻形状などの多角形状であってもよい。
計測箇所受付部231は、第1画像114の中のマーカ115の位置を計測箇所として受け付ける。
ここでのマーカ115の位置は、マーカ115における特定の指定点の位置を意味する。マーカ115における特定の指定点は予め適宜に設定すればよい。例えば、マーカ115が十字形状または丸形状であれば、マーカ115の中心を特定の指定点とすればよい。また、マーカ115が四角形状であれば、マーカ115の中心またはマーカ115の四隅のいずれかを特定の指定点とすればよい。また、マーカ115が矢尻形状であれば、マーカ115の先端を特定の指定点とすればよい。
利用者は、スマートフォン112を持って第2地点116に移動する。
利用者は、第2地点116でスマートフォン112を計測対象111に向けて、撮影操作を行う。
撮影部211は、撮影範囲110を撮影することによって、第2画像117を得る。第2画像117には計測対象111が映っている。
対応箇所特定部232は、第2画像117をタッチパネル205に表示する。表示された第2画像117にはエピポーラ線118が記されている。さらに、表示された第2画像117には三次元点群が重畳されている(図示省略)。
利用者は、タッチパネル205を操作することによって、エピポーラ線118上の対応箇所にマーカ119を設定する。マーカ119は、ダブルクリック等によって設定される。マーカ119の大きさは可変であり、対応箇所特定部232は、マーカ119の大きさを適切に調整する。
対応箇所特定部232は、エピポーラ線118上のマーカ119の位置を対応箇所として受け付ける。
対象位置算出部233は、マーカ115が設定された計測箇所とマーカ119が設定された対応箇所との視差を利用して、計測対象111の三次元位置を算出する。これにより、電信柱から垂れ下がっている電線の最も低い部分の三次元座標値が得られる。
図11において、三次元計測装置200を「スマートフォン112」と称する。
利用者は、第1地点113でスマートフォン112を計測対象111に向けて、撮影操作を行う。計測対象111は、道路に新たに標示された路面マーカ(道路標示)である。
撮影部211は、撮影範囲110を撮影することによって、第1画像114を得る。第1画像114には計測対象111が映っている。
計測箇所受付部231は、第1画像114をタッチパネル205に表示する。表示された第1画像114には三次元点群が重畳されている(図示省略)。利用者は、第1画像114に三次元点群が重畳されていることを確認する。
利用者は、タッチパネル205を操作することによって、第1画像114の中の計測箇所にマーカ115を設定する。マーカ115は、ダブルクリック等によって設定される。マーカ115の大きさは可変であり、計測箇所受付部231は、マーカ115の大きさを適切に調整する。
計測箇所受付部231は、第1画像114の中のマーカ115の位置を計測箇所として受け付ける。
利用者は、スマートフォン112を持って第2地点116に移動する。
利用者は、第2地点116でスマートフォン112を計測対象111に向けて、撮影操作を行う。
撮影部211は、撮影範囲110を撮影することによって、第2画像117を得る。第2画像117には計測対象111が映っている。
対応箇所特定部232は、第2画像117をタッチパネル205に表示する。表示された第2画像117にはエピポーラ線118が記されている。さらに、表示された第2画像117には三次元点群が重畳されている(図示省略)。
利用者は、タッチパネル205を操作することによって、エピポーラ線118上の対応箇所にマーカ119を設定する。マーカ119は、ダブルクリック等によって設定される。マーカ119の大きさは可変であり、対応箇所特定部232は、マーカ119の大きさを適切に調整する。
対応箇所特定部232は、エピポーラ線118上のマーカ119の位置を対応箇所として受け付ける。
対象位置算出部233は、マーカ115が設定された計測箇所とマーカ119が設定された対応箇所との視差を利用して、計測対象111の三次元位置を算出する。これにより、道路に新たに標示された路面マーカ(道路標示)の三次元座標値が得られる。
三次元計測装置200が点群データベース390を備えてもよい。
その場合、点群取得部213が、情報管理装置300の点群抽出部312の代わりに、点群データベース390から、第1点群データと第2点群データとを抽出する。情報管理装置300は不要となる。
その場合、対象位置算出部233は、位置姿勢計測部212によって計測されたカメラ206の三次元位置と三次元姿勢とを用いて、計測対象の三次元位置を算出する。
図12に基づいて、対応箇所を自動で特定するための対応箇所特定処理(S140)の手順を説明する。
ステップS141において、対応箇所特定部232は、第2画像におけるエピポーラ線を算出する。算出方法は、図8に基づいて説明した通りである。
特許文献2には、エピポーラ線上を探索することによって画像平面Aの特徴点に対応する画像平面Bの対応点を求める第1の対応点探索処理が開示されている(図16参照)。特許文献3にも同様の開示がされている。
特許文献4には、エピポーラ拘束線上の画像を第1地点での第1画像と対比することによって双方の画像で同一となる部分を特定する画像マッチング手段が開示されている(図4参照)。
特許文献6には、二地点の画像上で互いに対応する注視点を特定するGISモデル作成部が開示されている(図1参照)。特許文献7にも同様の開示がされている。
図13に基づいて、視線ベクトルに基づいて計測対象の三次元位置を算出するための三次元位置算出処理(S150)の手順を説明する。
ステップS151において、対象位置算出部233は、第1撮影時におけるカメラ206の三次元位置と、第1撮影時におけるカメラ206の三次元姿勢と、第1画像の中の計測箇所とに基づいて、第1視線ベクトルを算出する。
第1視線ベクトルは、第1撮影時におけるカメラ206の視線ベクトルであり、第1画像平面における計測箇所を通る。
第1画像平面は、第1画像に対応する三次元平面である。
第2視線ベクトルは、第2撮影時におけるカメラ206の視線ベクトルであり、第2画像平面における対応箇所を通る。
第2画像平面は、第2画像に対応する三次元平面である。
算出される三次元座標値が計測対象の三次元位置である。
特許文献2には、2つのLOSベクトルの交点が示す三次元座標を計測対象点の三次元座標として算出する画像三次元復元処理が開示されている(図15参照)。
三次元計測装置200は、カメラ206と計測センサ207とディスプレイとプロセッサ201とを備える。例えば、ディスプレイはタッチパネル205である。
計測センサ207は、三次元位置および三次元姿勢を計測する。
カメラ206は、第1撮影時に計測対象が映った第1画像を得るとともに、第1撮影時の位置とは異なる位置で第2撮影時に前記計測対象が映った第2画像を得る。
ディスプレイは、前記第1画像と前記第2画像とのそれぞれに、計測箇所を指定するマーカを表示する。
プロセッサ201は、外部の情報管理装置との通信によって、位置が既知の三次元点群情報を得る。プロセッサ201は、前記計測センサの計測情報に基づいて、前記三次元点群情報を前記第1画像と前記第2画像とに投影する。プロセッサ201は、前記三次元点群情報の位置合わせを行う。プロセッサ201は、前記第1画像の中の前記マーカによる前記計測箇所の指定点と、前記第2画像の中の前記マーカによる前記計測箇所の指定点とに基づいて、前記計測箇所の三次元位置を算出する。
既存の三次元点群が存在する屋内外において、概略の位置情報と概略の姿勢情報とカメラ画像とを用いて、既存の三次元点群と同じ精度で物体の三次元位置を計測することができる。
既存の三次元点群は、レーザおよび画像などを使って予め計測された三次元点群である。既存の三次元点群は点群データベース390に相当する。
概略の位置情報は、計測センサ207を用いて計測されたカメラ206の三次元位置に相当する。
概略の姿勢情報は、計測センサ207を用いて計測されたカメラ206の三次元姿勢に相当する。
カメラ画像は、第1画像と第2画像とに相当する。
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
実施の形態で説明された装置の各要素は、ソフトウェア、ハードウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
各要素の名称における「部」は、「処理」または「工程」と読み替えてもよい。
Claims (6)
- カメラと計測センサとディスプレイとを備える三次元計測装置であって、
第1地点で前記カメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影部と、
前記第1撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測部と、
前記第1画像を前記ディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付部と、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定部と、
前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出部と
を備え、
前記対応箇所特定部は、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と、前記第1画像の中の前記計測箇所とに基づいて、前記第2画像におけるエピポーラ線を算出し、
算出されたエピポーラ線が記された状態で前記第2画像を前記ディスプレイに表示し、
表示された第2画像に記されたエピポーラ線上で指定される箇所を前記対応箇所として受け付ける
三次元計測装置。 - 前記対象位置算出部は、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と、前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所との視差とに基づいて、前記計測対象の前記三次元位置を算出する
請求項1に記載の三次元計測装置。 - 前記対象位置算出部は、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と前記第1画像の中の前記計測箇所とに基づいて第1視線ベクトルを算出し、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と前記第2画像の中の前記対応箇所とに基づいて第2視線ベクトルを算出し、前記第1視線ベクトルと前記第2視線ベクトルとの交点の三次元座標値を前記計測対象の前記三次元位置として算出する
請求項1に記載の三次元計測装置。 - カメラと計測センサとディスプレイとを備える三次元計測装置であって、
第1地点で前記カメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影部と、
前記第1撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測部と、
前記第1画像を前記ディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付部と、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定部と、
前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出部と、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第1画像に映っている範囲の三次元点群である第1点群を表す第1点群データを取得し、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像に映っている範囲の三次元点群である第2点群を表す第2点群データを取得する点群取得部と、
取得された第1点群データと前記第1撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて前記第1点群を前記第1画像に投影し、取得された第2点群データと前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて前記第2点群を前記第2画像に投影する点群投影部と、
前記第1点群から前記第1画像の中の第1特徴部分に対応する第1特徴点群を検出し、検出された第1特徴点群が前記第1特徴部分に投影されるように前記第1撮影時における前記カメラの三次元位置と三次元姿勢とを補正し、前記第2点群から前記第2画像の中の第2特徴部分に対応する第2特徴点群を検出し、検出された第2特徴点群が前記第2特徴部分に投影されるように前記第2撮影時における前記カメラの三次元位置と三次元姿勢とを補正する位置姿勢補正部と、
を備え、
前記点群取得部は、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢とを含む第1点群要求データを情報管理装置へ送信し、前記情報管理装置から前記第1点群データを受信し、
前記第2撮影時における前記カメラの三次元位置と三次元姿勢とを含む第2点群要求データを前記情報管理装置へ送信し、前記情報管理装置から前記第2点群データを受信する三次元計測装置。 - 三次元位置および三次元姿勢を計測する計測センサと、
第1撮影時に計測対象が映った第1画像を得るとともに、第1撮影時の位置とは異なる位置で第2撮影時に前記計測対象が映った第2画像を得るカメラと、
前記第1画像と前記第2画像とのそれぞれに、計測箇所を指定するマーカを表示するディスプレイと、
外部の情報管理装置との通信によって、位置が既知の三次元点群情報を得て、前記計測センサの計測情報に基づいて、前記三次元点群情報を前記第1画像と前記第2画像とに投影し、前記三次元点群情報の位置合わせを行い、前記第1画像の中の前記マーカによる前記計測箇所の指定点と、前記第2画像の中の前記マーカによる前記計測箇所の指定点とに基づいて、前記計測箇所の三次元位置を算出するプロセッサと、
を備える三次元計測装置。 - 第1地点でカメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影処理と、
前記第1撮影時に計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測処理と、
前記第1画像をディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付処理と、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定処理と、
前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出処理と
をコンピュータに実行させるための三次元計測プログラムであって、
前記対応箇所特定処理は、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と、前記第1画像の中の前記計測箇所とに基づいて、前記第2画像におけるエピポーラ線を算出し、
算出されたエピポーラ線が記された状態で前記第2画像を前記ディスプレイに表示し、
表示された第2画像に記されたエピポーラ線上で指定される箇所を前記対応箇所として受け付ける
三次元計測プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014141A JP7183058B2 (ja) | 2019-01-30 | 2019-01-30 | 三次元計測装置および三次元計測プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014141A JP7183058B2 (ja) | 2019-01-30 | 2019-01-30 | 三次元計測装置および三次元計測プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020122697A JP2020122697A (ja) | 2020-08-13 |
JP7183058B2 true JP7183058B2 (ja) | 2022-12-05 |
Family
ID=71992524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019014141A Active JP7183058B2 (ja) | 2019-01-30 | 2019-01-30 | 三次元計測装置および三次元計測プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7183058B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230360265A1 (en) * | 2020-11-16 | 2023-11-09 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
JP7117408B1 (ja) | 2021-02-26 | 2022-08-12 | 株式会社パスコ | 位置算出装置、プログラム及び位置算出方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234703A (ja) | 2005-02-28 | 2006-09-07 | Univ Waseda | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム |
JP2009075117A (ja) | 2007-02-16 | 2009-04-09 | Mitsubishi Electric Corp | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
JP2012127896A (ja) | 2010-12-17 | 2012-07-05 | Kumamoto Univ | 移動体位置測定装置 |
JP2016170060A (ja) | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 |
-
2019
- 2019-01-30 JP JP2019014141A patent/JP7183058B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234703A (ja) | 2005-02-28 | 2006-09-07 | Univ Waseda | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム |
JP2009075117A (ja) | 2007-02-16 | 2009-04-09 | Mitsubishi Electric Corp | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
JP2012127896A (ja) | 2010-12-17 | 2012-07-05 | Kumamoto Univ | 移動体位置測定装置 |
JP2016170060A (ja) | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020122697A (ja) | 2020-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3469306B1 (en) | Geometric matching in visual navigation systems | |
US9842399B2 (en) | Image processing device and image processing method | |
JP6338021B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6307553B2 (ja) | ナビゲーション調整のためのクロススペクトル特徴相関 | |
CN109425348B (zh) | 一种同时定位与建图的方法和装置 | |
EP3716210B1 (en) | Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device | |
JP2013186816A (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
JP6589636B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP7107166B2 (ja) | 床面検出プログラム、床面検出方法及び端末装置 | |
WO2022183685A1 (zh) | 目标检测方法、电子介质和计算机存储介质 | |
JP2015138428A (ja) | 付加情報表示装置および付加情報表示プログラム | |
JP2021106025A5 (ja) | ||
US20160169662A1 (en) | Location-based facility management system using mobile device | |
CN112967344A (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
JP7183058B2 (ja) | 三次元計測装置および三次元計測プログラム | |
JP2010128608A (ja) | ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
JP2014209680A (ja) | 土地境界表示プログラム、方法、及び端末装置 | |
JP5769248B2 (ja) | ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム | |
Bakuła et al. | Capabilities of a smartphone for georeferenced 3dmodel creation: An evaluation | |
JP2008203991A (ja) | 画像処理装置 | |
CN114387532A (zh) | 边界的识别方法及其装置、终端、电子设备和无人设备 | |
JP5464671B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7075090B1 (ja) | 情報処理システム、及び、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7183058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |