Nothing Special   »   [go: up one dir, main page]

JP7183058B2 - 三次元計測装置および三次元計測プログラム - Google Patents

三次元計測装置および三次元計測プログラム Download PDF

Info

Publication number
JP7183058B2
JP7183058B2 JP2019014141A JP2019014141A JP7183058B2 JP 7183058 B2 JP7183058 B2 JP 7183058B2 JP 2019014141 A JP2019014141 A JP 2019014141A JP 2019014141 A JP2019014141 A JP 2019014141A JP 7183058 B2 JP7183058 B2 JP 7183058B2
Authority
JP
Japan
Prior art keywords
dimensional
image
camera
measurement
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019014141A
Other languages
English (en)
Other versions
JP2020122697A (ja
Inventor
亮一 志水
純一 瀧口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019014141A priority Critical patent/JP7183058B2/ja
Publication of JP2020122697A publication Critical patent/JP2020122697A/ja
Application granted granted Critical
Publication of JP7183058B2 publication Critical patent/JP7183058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、三次元計測に関するものである。
地物の三次元データは、車両の位置を高精度に推定するために用いられる。
特許文献1には、地物の三次元データを用いて車両の位置を高精度に推定する方法が開示されている。
特許文献2から特許文献7については実施の形態において言及する。
特開2018-116014号公報 特許第5582691号公報 特許第4344869号公報 特許第4132068号公報 特許第4619962号公報 特許第4568845号公報 特許第3966419号公報
本発明は、地物の三次元位置を計測できるようにすることを目的とする。
本発明の三次元計測装置は、カメラと計測センサとディスプレイとを備える。
第1地点で前記カメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影部と、
前記第1撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測部と、
前記第1画像を前記ディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付部と、
前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定部と、
前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出部とを備える。
本発明によれば、地物の三次元位置を計測することができる。
実施の形態1における三次元計測システム100の構成図。 実施の形態1における三次元計測装置200の構成図。 実施の形態1における情報管理装置300の構成図。 実施の形態1における三次元計測方法のフローチャート。 実施の形態1における第1地点処理(S110)のフローチャート。 実施の形態1における計測箇所受付処理(S120)のフローチャート。 実施の形態1における第2地点処理(S130)のフローチャート。 実施の形態1における対応箇所特定処理(S140)のフローチャート。 実施の形態1における対象位置算出処理(S150)のフローチャート。 実施の形態1における三次元計測方法の第1具体例を示す図。 実施の形態1における三次元計測方法の第2具体例を示す図。 実施の形態1における対応箇所特定処理(S140)の別例のフローチャート。 実施の形態1における対象位置算出処理(S150)の別例のフローチャート。
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態1.
三次元計測システム100について、図1から図13に基づいて説明する。
***構成の説明***
図1に基づいて、三次元計測システム100の構成を説明する。
三次元計測システム100は、物体の三次元位置を計測するためのシステムである。
三次元計測システム100は、情報管理センサ101と三次元計測装置200とを備える。情報管理センサ101は、情報管理装置300を備える。
三次元計測装置200と情報管理装置300とは、ネットワーク102を介して互いに通信する。
図2に基づいて、三次元計測装置200の構成を説明する。
三次元計測装置200は、プロセッサ201とメモリ202と補助記憶装置203と通信装置204とタッチパネル205とカメラ206と計測センサ207といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
三次元計測装置200を実現するコンピュータの具体例は、スマートフォンまたはタブレットPCである。PCはパーソナルコンピュータの略称である。但し、その他の種類のコンピュータが三次元計測装置200として使用されてもよい。
プロセッサ201は、演算処理を行うIC(Integrated Circuit)であり、他のハードウェアを制御する。例えば、プロセッサ201は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、またはGPU(Graphics Processing Unit)である。
メモリ202は揮発性の記憶装置である。メモリ202は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ202はRAM(Random Access Memory)である。メモリ202に記憶されたデータは必要に応じて補助記憶装置203に保存される。
補助記憶装置203は不揮発性の記憶装置である。例えば、補助記憶装置203は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、またはフラッシュメモリである。補助記憶装置203に記憶されたデータは必要に応じてメモリ202にロードされる。
通信装置204は、レシーバおよびトランスミッタである。例えば、通信装置204は、通信チップまたはNICである。NICはNetwork Interface Cardの略称である。
タッチパネル205は、ディスプレイを有する入出力装置である。三次元計測装置200は、タッチパネル205とは別の種類の入出力装置を備えてもよい。例えば、三次元計測装置200は、タッチパネル205の代わりに、ディスプレイおよびテンキーなどを備えてもよい。
カメラ206は、デジタルカメラである。
計測センサ207は、三次元計測装置200の位置および姿勢を計測するための1つ以上のセンサである。例えば、計測センサ207は、GPSセンサ、ジャイロセンサおよび加速度センサなどである。GPSセンサはGPS受信機またはGPSモジュールとも呼ばれる。GPSはGlobal Positioning Systemの略称である。
三次元計測装置200は、撮影部211と位置姿勢計測部212と点群取得部213と位置姿勢補正部222と点群投影部221と計測箇所受付部231と対応箇所特定部232と対象位置算出部233といった要素を備える。これらの要素はソフトウェアで実現される。
補助記憶装置203には、撮影部211と位置姿勢計測部212と点群取得部213と位置姿勢補正部222と点群投影部221と計測箇所受付部231と対応箇所特定部232と対象位置算出部233としてコンピュータを機能させるための三次元計測プログラムが記憶されている。三次元計測プログラムは、メモリ202にロードされて、プロセッサ201によって実行される。
さらに、補助記憶装置203にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ202にロードされて、プロセッサ201によって実行される。
つまり、プロセッサ201は、OSを実行しながら、三次元計測プログラムを実行する。
三次元計測プログラムを実行して得られるデータは、メモリ202、補助記憶装置203、プロセッサ201内のレジスタ、または、プロセッサ201内のキャッシュメモリといった記憶装置に記憶される。
メモリ202は記憶部290として機能する。但し、他の記憶装置が、メモリ202の代わりに、又は、メモリ202と共に、記憶部290として機能してもよい。
三次元計測装置200は、プロセッサ201を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ201の役割を分担する。
三次元計測プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
図3に基づいて、情報管理装置300の構成を説明する。
情報管理装置300は、プロセッサ301とメモリ302と補助記憶装置303と通信装置304と入出力インタフェース305といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
情報管理装置300を実現するコンピュータの具体例は、データベースサーバである。但し、その他の種類のコンピュータが情報管理装置300として使用されてもよい。
プロセッサ301は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ301はCPU、DSPまたはGPUである。
メモリ302は揮発性の記憶装置である。メモリ302は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ302はRAMである。メモリ302に記憶されたデータは必要に応じて補助記憶装置303に保存される。
補助記憶装置303は不揮発性の記憶装置である。例えば、補助記憶装置303は、ROM、HDDまたはフラッシュメモリである。補助記憶装置303に記憶されたデータは必要に応じてメモリ302にロードされる。
通信装置304は、レシーバおよびトランスミッタである。例えば、通信装置304は通信チップまたはNICである。
入出力インタフェース305は入出力装置が接続されるポートである。例えば、入出力インタフェース305はUSB端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。USBはUniversal Serial Busの略称である。
情報管理装置300は、要求受付部311と点群抽出部312と点群応答部313といった要素を備える。これらの要素はソフトウェアで実現される。
補助記憶装置303には、要求受付部311と点群抽出部312と点群応答部313としてコンピュータを機能させるための情報管理プログラムが記憶されている。情報管理プログラムは、メモリ302にロードされて、プロセッサ301によって実行される。
さらに、補助記憶装置303にはOSが記憶されている。OSの少なくとも一部は、メモリ302にロードされて、プロセッサ301によって実行される。
つまり、プロセッサ301は、OSを実行しながら、情報管理プログラムを実行する。
情報管理プログラムを実行して得られるデータは、メモリ302、補助記憶装置303、プロセッサ301内のレジスタ、または、プロセッサ301内のキャッシュメモリといった記憶装置に記憶される。
メモリ302および補助記憶装置303は点群データベース390として機能する。
点群データベース390は、三次元点群データを管理するためのデータベースである。
三次元点群データは、三次元点群を表す。三次元点群データの形式は、例えば、LASファイルである。LASファイルとは、航空機または車両で計測されたLIDARデータを格納するための業界標準のバイナリ形式を指す。LIDARは、Light Detection and Ranging、または、Laser Imaging Detection and Rangingの略称である。
三次元点群は、1つ以上の三次元点である。
1つの三次元点は、1つの地点に対応する。各三次元点は三次元座標値を有する。
情報管理装置300は、プロセッサ301を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ301の役割を分担する。
情報管理プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
***動作の説明***
三次元計測システム100の動作は三次元計測方法に相当する。また、三次元計測方法の手順は三次元計測プログラムの手順に相当する。
図4に基づいて、三次元計測方法を説明する。
ステップS110において、撮影部211は、第1地点でカメラ206を用いて行われる第1撮影によって、第1画像を得る。
第1撮影は、第1地点でカメラ206を用いて行われる撮影である。
第1画像は、計測対象が映った画像であり、第1撮影によって得られる。
また、位置姿勢計測部212は、第1撮影時に計測センサ207を用いて、カメラ206の三次元位置と三次元姿勢とを計測する。
三次元位置は、三次元座標値で表される。
三次元姿勢は、ロール角とピッチ角とヨー角とで表される。
図5に基づいて、第1地点処理(S110)の手順を説明する。
図5の説明において、三次元計測装置200を「スマートフォン」と称する。
ステップS111において、利用者は、スマートフォンを持って第1地点に移動し、スマートフォンのカメラ206を計測対象に向け、撮影操作を行う。
そして、撮影部211は、カメラ206を動作させることによって、第1撮影を行う。これにより、第1画像が得られる。
ステップS112において、位置姿勢計測部212は、計測センサ207を動作させる。これにより、第1撮影時における三次元計測装置200の三次元位置と、第1撮影時における三次元計測装置200の三次元姿勢とが計測される。
そして、位置姿勢計測部212は、第1撮影時における三次元計測装置200の三次元位置にカメラ206の位置オフセットを加算する。これにより、第1撮影時におけるカメラ206の三次元位置が算出される。カメラ206の位置オフセットは、記憶部290に予め登録されている。
さらに、位置姿勢計測部212は、第1撮影時における三次元計測装置200の三次元姿勢にカメラ206の姿勢オフセットを加算する。これにより、第1撮影時におけるカメラ206の三次元姿勢が算出される。カメラ206の姿勢オフセットは、記憶部290に予め登録されている。
ステップS113において、点群取得部213は、第1撮影時におけるカメラ206の三次元位置と第1撮影時におけるカメラ206の三次元姿勢とに基づいて、第1点群データを取得する。
第1点群データは、第1点群を表す。
第1点群は、第1画像に映っている範囲の三次元点群である。
点群取得部213は、第1点群データを次のように取得する。
まず、点群取得部213は、通信装置204を用いて、第1点群要求データを情報管理装置300へ送信する。第1点群要求データは、第1撮影時におけるカメラ206の三次元位置と、第1撮影時におけるカメラ206の三次元姿勢と、第1撮影時におけるカメラパラメータと、を含む。例えば、カメラパラメータは、焦点距離、画像サイズまたは画素サイズである。
次に、要求受付部311は、通信装置304を用いて、第1点群要求データを受信する。
次に、点群抽出部312は、要求受付部311からの第1点群要求データに基づいて、点群データベース390から第1点群データを抽出する。
次に、点群応答部313は、通信装置304を用いて、点群抽出部312からの第1点群データを三次元計測装置200へ送信する。なお、カメラの位置からの奥行き方向に制限をかけることで、三次元点群データのデータ量を抑えることができる。制限の一例は、カメラ中心から奥行き10メートル以内である。
そして、点群取得部213は、通信装置204を用いて、第1点群データを受信する。
第1点群データの抽出について説明する。
点群抽出部312は、第1画像平面に投影される三次元点群の点群データを点群データベース390から抽出する。抽出される点群データが第1点群データである。
第1画像平面への三次元点群の投影についてステップS114で説明する。
第1点群データの取得時に第1撮影が行われてもよい。具体例を以下に説明する。
利用者がスマートフォンのタッチパネル205を操作してアプリケーションを起動すると、カメラ画像を定期的に取得できるようになる。その状態から、定期的に(例えば、数秒に1回)、カメラ206の概略位置およびカメラ206の概略姿勢が送付されるタイミングで第1点群要求データが出る。第1撮影要求データが送付され、第1点群がタッチパネル205のディスプレイに表示される。位置姿勢の微調整が終わった後、メッセージ“ターゲット選択”がディスプレイに表示され、ターゲット選択用ゲートがディスプレイに現れる。利用者は、ゲート内にターゲットを収め、ディスプレイに表示されるメッセージ“第1撮影OK?”をクリックする。これにより、カメラ206によって第1撮影が行われて第1画像が得られ、第1撮影時が確定する。第1撮影時刻と第1画像はメモリ202に一時記憶される。その後、後述する第2撮影が行われる。
利用者がタッチパネル205の点群取得ボタンを押してもよい。点群取得ボタンが押されると、スマートフォンのカメラ206が起動し、撮影が開始される。その状態で、利用者は、タッチパネル205の撮影ボタンを通じて撮影指示を入力する。すると、カメラ206によって第1撮影が行われて第1画像が得られ、第1撮影時が確定する。第1撮影時刻と第1画像はメモリ202に一時記憶される。そして、第1点群要求データが発生する。
ステップS114において、点群投影部221は、通信装置204から取得された第1点群データと、第1撮影時におけるカメラ206の三次元位置と、第1撮影時におけるカメラ206の三次元姿勢とに基づいて、第1点群を第1画像に投影する。
第1画像への第1点群の投影について説明する。
第1画像への第1点群の投影は、第1画像平面への第1点群の投影に相当する。
第1画像平面は、第1画像に対応する画像平面である。
画像平面は、画像に対応する三次元平面である。画像平面は、カメラの位置からカメラの視線方向に焦点距離離れた地点を含み、カメラの視線方向と直交する。画像平面の大きさは、カメラのパラメータによって決まる。
各三次元点は、カメラから三次元点への視線ベクトルと画像平面との交点に投影される。視線ベクトルはLOSベクトルともいう。LOSはLine Of Sightの略称である。
ステップS114では、特許文献4または特許文献5に開示されている技術を利用することができる。
特許文献4には、デジタル画像面における対象点の投影点について開示されている(図3参照)。
特許文献5には、三次元点群データをカメラの画像平面に対して投影する投影変換処理が開示されている。
ステップS115において、位置姿勢補正部222は、第1点群から第1画像の中の第1特徴部分に対応する第1特徴点群を検出する。
第1特徴部分は、第1画像に含まれる特徴部分である。例えば、特徴部分はエッジ部分である。特徴部分の具体例は、路肩のエッジである。
第1特徴点群は、第1点群データにおける第1特徴部分を表す三次元点群である。
ステップS115では、特許文献2および特許文献3に開示されている技術を利用することができる。
特許文献2には、点群が表すエッジ部分を特定すること、および、各エッジが路肩、歩道、壁面またはポールであることが開示されている(図21参照)。特許文献3にも同様の開示がされている。
ステップS116において、位置姿勢補正部222は、検出された第1特徴点群が第1特徴部分に投影されているか判定する。
例えば、位置姿勢補正部222は、第1画像の中の第1特徴部分と第1画像に投影されている第1特徴点群との位置のずれ量を算出し、算出されたずれ量を誤差閾値と比較する。ずれ量が誤差閾値以下である場合、位置姿勢補正部222は、第1特徴点群が第1特徴部分に投影されていると判定する。
第1特徴点群が第1特徴部分に投影されている場合、第1地点処理(S110)は終了する。
第1特徴点群が第1特徴部分に投影されていない場合、処理はステップS117に進む。
ステップS116では、特許文献5に開示されている技術を利用することができる。
特許文献5には、画像に投影された点群が形成する段差と画像に映った段差とのマッチングについて開示されている(図13参照)。
ステップS117において、位置姿勢補正部222は、第1撮影時におけるカメラ206の三次元位置と第1撮影時におけるカメラ206の三次元姿勢との少なくとも一方を補正する。
具体的には、位置姿勢補正部222は、第1撮影時におけるカメラ206の三次元位置に位置補正量を加算する。また、位置姿勢補正部222は、第1撮影時におけるカメラ206の三次元姿勢に姿勢補正量を加算する。位置補正量と姿勢補正量とのそれぞれは、規定値であってもよいし、第1特徴部分と第1特徴点群との位置のずれ量に基づいて算出される値であってもよい。また、利用者が、第1特徴部分と第1特徴点群との位置のずれ量をディスプレイで見て、カメラ206の位置姿勢を補正しても構わない。
ステップS117の後、処理はステップS114に進む。
図4に戻り、ステップS120から説明を続ける。
ステップS120において、計測箇所受付部231は、第1画像をタッチパネル205のディスプレイに表示し、計測箇所を受け付ける。
計測箇所は、第1画像の中で計測対象が映っている箇所であり、利用者によって指定される。
図6に基づいて、計測箇所受付処理(S120)の手順を説明する。
図6の説明において、三次元計測装置200を「スマートフォン」と称する。
ステップS121において、計測箇所受付部231は、タッチパネル205のディスプレイに第1画像を表示させる。
ステップS122において、計測箇所受付部231は、表示された第1画像に第1点群を重畳させる。
具体的には、点群投影部221が第1点群を第1画像に投影する(図5のステップS114を参照)。そして、計測箇所受付部231は、第1点群の各三次元点を第1画像の中の投影箇所に描画する。
計測箇所受付部231は、特許文献5に開示されている技術を利用することができる。 特許文献5には、光学画像に重畳された三次元点群データが開示されている(図13参照)。
ステップS123において、利用者は、スマートフォンのタッチパネル205を操作することによって、第1画像の中の計測箇所を指定する。
そして、計測箇所受付部231は、タッチパネル205を介して、計測箇所の指定を受け付ける。
図4に戻り、ステップS130から説明を続ける。
ステップS130において、撮影部211は、第2地点でカメラ206を用いて行われる第2撮影によって、第2画像を得る。
第2地点は、第1地点とは異なる地点である。例えば、第2地点は、利用者がスマートフォンを構えたまま徒歩で横方向に数メートル移動した地点である。
第2撮影は、第2地点でカメラ206を用いて行われる撮影である。
第2画像は、第1画像の中の計測対象が映った画像であり、第2撮影によって得られる。
また、位置姿勢計測部212は、第2撮影時に計測センサ207を用いて、カメラ206の三次元位置と三次元姿勢とを計測する。
図7に基づいて、第2地点処理(S130)の手順を説明する。
図7の説明において、三次元計測装置200を「スマートフォン」と称する。
ステップS131において、利用者は、スマートフォンを持って第2地点に移動し、スマートフォンのカメラ206を計測対象に向け、撮影操作を行う。
そして、撮影部211は、カメラ206を動作させることによって、第2撮影を行う。これにより、第2画像が得られる。
ステップS132において、位置姿勢計測部212は、計測センサ207を動作させる。これにより、第2撮影時における三次元計測装置200の三次元位置と、第2撮影時における三次元計測装置200の三次元姿勢とが計測される。
そして、位置姿勢計測部212は、第2撮影時における三次元計測装置200の三次元位置にカメラ206の位置オフセットを加算する。これにより、第2撮影時におけるカメラ206の三次元位置が算出される。カメラ206の位置オフセットは、記憶部290に予め登録されている。
さらに、位置姿勢計測部212は、第2撮影時における三次元計測装置200の三次元姿勢にカメラ206の姿勢オフセットを加算する。これにより、第2撮影時におけるカメラ206の三次元姿勢が算出される。カメラ206の姿勢オフセットは、記憶部290に予め登録されている。
ステップS133において、点群取得部213は、第2撮影時におけるカメラ206の三次元位置と第2撮影時におけるカメラ206の三次元姿勢とに基づいて、第2点群データを取得する。
第2点群データは、第2点群を表す。
第2点群は、第2画像に映っている範囲の三次元点群である。
第2点群データを取得する方法は、第1点群データを取得する方法と同じである(図5のステップS113を参照)。つまり、点群取得部213は、通信装置204を用いて、情報管理装置300から第2点群データを取得する。
第2点群データの取得時に第2撮影が行われてもよい。具体例を以下に説明する。
移動ステレオ方式のため、利用者は、第2地点に移動してカメラ206の位置姿勢を決める。その後、第1点群要求データと同様に第2点群要求データが出る。そして、第2地点への利用者の移動が完了し、第2点群がタッチパネル205のディスプレイに表示される。位置姿勢の微調整およびターゲット選択が終わった段階で、利用者は、ディスプレイに表示されるメッセージ“第2撮影OK?”をクリックする。これにより、カメラ206によって第2撮影が行われて第2画像が得られ、第2撮影時が確定する。第2撮影時刻と第2画像はがメモリ202に一時記憶される。
利用者がタッチパネル205の点群取得ボタンを押してもよい。点群取得ボタンが押されると、スマートフォンのカメラ206が起動し、撮影が開始される。その状態で、利用者は、タッチパネル205の撮影ボタンを通じて撮影指示を入力する。すると、カメラ206によって第2撮影が行われて第2画像が得られ、第2撮影時が確定する。第2撮影時刻と第2画像はメモリ202に一時記憶される。そして、第2点群要求データが発生する。
ステップS134において、点群投影部221は、取得された第2点群データと、第2撮影時におけるカメラ206の三次元位置と、第2撮影時におけるカメラ206の三次元姿勢とに基づいて、第2点群を第2画像に投影する。
第2点群を第2画像に投影する方法は、第1点群を第1画像に投影する方法と同じである(図5のステップS114を参照)。
ステップS135において、位置姿勢補正部222は、第2点群から第2画像の中の第2特徴部分に対応する第2特徴点群を検出する。
第2特徴部分は、第2画像に含まれる特徴部分である。例えば、特徴部分はエッジ部分である。特徴部分の具体例は、路肩のエッジである。
第2特徴点群は、第2点群データにおける第2特徴部分を表す三次元点群である。
第2特徴点群を検出する方法は、第1特徴点群を検出する方法と同じである(図5のステップS115を参照)。つまり、位置姿勢補正部222は、特許文献2および特許文献3に開示されている技術を利用することによって、第2特徴点群を検出することができる。
ステップS136において、位置姿勢補正部222は、検出された第2特徴点群が第2特徴部分に投影されているか判定する。判定方法は、ステップS116における方法と同じである(図5参照)。
第2特徴点群が第2特徴部分に投影されている場合、第2地点処理(S130)は終了する。
第2特徴点群が第2特徴部分に投影されていない場合、処理はステップS137に進む。
ステップS137において、位置姿勢補正部222は、第2撮影時におけるカメラ206の三次元位置と第2撮影時におけるカメラ206の三次元姿勢との少なくとも一方を補正する。補正方法は、ステップS117における方法と同じである(図5参照)。
ステップS137の後、処理はステップS134に進む。
図4に戻り、ステップS140から説明を続ける。
ステップS140において、対応箇所特定部232は、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元位置と、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元姿勢とに基づいて、第2画像の中の対応箇所を特定する。
対応箇所は、第2画像の中で計測箇所に対応する箇所である。言い換えると、対応箇所は、第2画像の中で第1画像の中の計測箇所に映っている地点と同じ地点が映っている箇所である。つまり、第1画像の中の計測箇所と第2画像の中の対応箇所とのそれぞれには、計測対象が映っている。
図8に基づいて、対応箇所特定処理(S140)の手順を説明する。
図8の説明において、三次元計測装置200を「スマートフォン」と称する。
ステップS141において、対応箇所特定部232は、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元位置と、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元姿勢と、第1画像の中の計測箇所とに基づいて、第2画像におけるエピポーラ線を算出する。
ステップS141では、特許文献2、特許文献3または特許文献4に開示されている技術を利用することができる。
特許文献2には、カメラ位置姿勢に基づいてエピポーラ線を算出する第1のエピポーラ線算出処理が開示されている(図16参照)。特許文献3にも同様の開示がされている。
特許文献4には、エピポーラ拘束線の算出方法が開示されている(図3参照)。
ステップS142において、対応箇所特定部232は、算出されたエピポーラ線が記された状態で、第2画像をタッチパネル205のディスプレイに表示する。
ステップS143において、対応箇所特定部232は、表示された第2画像に第2点群を重畳させる。重畳方法は、ステップS122における方法と同じである(図6参照)。
ステップS144において、利用者は、スマートフォンのタッチパネル205を操作することによって、表示された第2画像に記されたエピポーラ線上で対応箇所を指定する。
そして、対応箇所特定部232は、タッチパネル205を介して、対応箇所の指定を受け付ける。
図4に戻り、ステップS150を説明する。
ステップS150において、対象位置算出部233は、第1画像の中の計測箇所と第2画像の中の対応箇所とに基づいて、計測対象の三次元位置を算出する。
図9に基づいて、対象位置算出処理(S150)の手順を説明する。
ステップS151において、対象位置算出部233は、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元位置と、第1撮影時と第2撮影時とのそれぞれにおけるカメラ206の三次元姿勢とに基づいて、第1画像の中の計測箇所と第2画像の中の対応箇所との視差を算出する。
ステップS152において、対象位置算出部233は、算出された視差に基づいて、計測対象の三次元位置を算出する。
対象位置算出処理(S150)では、特許文献4、特許文献6または特許文献7に開示されている技術を利用することができる。
特許文献4には、視差を利用することによって物体の形状を三次元的に復元する三次元復元手段が開示されている(図2参照)。
特許文献6には、視差を利用することによって三次元モデルを作成するGISモデル作成部が開示されている(図1参照)。特許文献7にも同様の開示がされている。
図10に基づいて、三次元計測方法の第1具体例を説明する。
図10において、三次元計測装置200を「スマートフォン112」と称する。
利用者は、第1地点113でスマートフォン112を計測対象111に向けて、撮影操作を行う。計測対象111は、電信柱から垂れ下がっている電線である。
撮影部211は、撮影範囲110を撮影することによって、第1画像114を得る。第1画像114には計測対象111が映っている。
計測箇所受付部231は、第1画像114をタッチパネル205に表示する。表示された第1画像114には三次元点群が重畳されている(図示省略)。利用者は、第1画像114に三次元点群が重畳されていることを確認する。
利用者は、タッチパネル205を操作することによって、第1画像114の中の計測箇所に、計測箇所を指定するためのマーカ115を設定する。マーカ115は、ダブルクリック等によって設定される。マーカ115の大きさは可変であり、計測箇所受付部231は、マーカ115の大きさを適切に調整する。
なお、図10に示したマーカ115は十字形状であるが、マーカ115は丸形状であってもよいし、四角形状または矢尻形状などの多角形状であってもよい。
計測箇所受付部231は、第1画像114の中のマーカ115の位置を計測箇所として受け付ける。
ここでのマーカ115の位置は、マーカ115における特定の指定点の位置を意味する。マーカ115における特定の指定点は予め適宜に設定すればよい。例えば、マーカ115が十字形状または丸形状であれば、マーカ115の中心を特定の指定点とすればよい。また、マーカ115が四角形状であれば、マーカ115の中心またはマーカ115の四隅のいずれかを特定の指定点とすればよい。また、マーカ115が矢尻形状であれば、マーカ115の先端を特定の指定点とすればよい。
利用者は、スマートフォン112を持って第2地点116に移動する。
利用者は、第2地点116でスマートフォン112を計測対象111に向けて、撮影操作を行う。
撮影部211は、撮影範囲110を撮影することによって、第2画像117を得る。第2画像117には計測対象111が映っている。
対応箇所特定部232は、第2画像117をタッチパネル205に表示する。表示された第2画像117にはエピポーラ線118が記されている。さらに、表示された第2画像117には三次元点群が重畳されている(図示省略)。
利用者は、タッチパネル205を操作することによって、エピポーラ線118上の対応箇所にマーカ119を設定する。マーカ119は、ダブルクリック等によって設定される。マーカ119の大きさは可変であり、対応箇所特定部232は、マーカ119の大きさを適切に調整する。
対応箇所特定部232は、エピポーラ線118上のマーカ119の位置を対応箇所として受け付ける。
対象位置算出部233は、マーカ115が設定された計測箇所とマーカ119が設定された対応箇所との視差を利用して、計測対象111の三次元位置を算出する。これにより、電信柱から垂れ下がっている電線の最も低い部分の三次元座標値が得られる。
図11に基づいて、三次元計測方法の第2具体例を説明する。
図11において、三次元計測装置200を「スマートフォン112」と称する。
利用者は、第1地点113でスマートフォン112を計測対象111に向けて、撮影操作を行う。計測対象111は、道路に新たに標示された路面マーカ(道路標示)である。
撮影部211は、撮影範囲110を撮影することによって、第1画像114を得る。第1画像114には計測対象111が映っている。
計測箇所受付部231は、第1画像114をタッチパネル205に表示する。表示された第1画像114には三次元点群が重畳されている(図示省略)。利用者は、第1画像114に三次元点群が重畳されていることを確認する。
利用者は、タッチパネル205を操作することによって、第1画像114の中の計測箇所にマーカ115を設定する。マーカ115は、ダブルクリック等によって設定される。マーカ115の大きさは可変であり、計測箇所受付部231は、マーカ115の大きさを適切に調整する。
計測箇所受付部231は、第1画像114の中のマーカ115の位置を計測箇所として受け付ける。
利用者は、スマートフォン112を持って第2地点116に移動する。
利用者は、第2地点116でスマートフォン112を計測対象111に向けて、撮影操作を行う。
撮影部211は、撮影範囲110を撮影することによって、第2画像117を得る。第2画像117には計測対象111が映っている。
対応箇所特定部232は、第2画像117をタッチパネル205に表示する。表示された第2画像117にはエピポーラ線118が記されている。さらに、表示された第2画像117には三次元点群が重畳されている(図示省略)。
利用者は、タッチパネル205を操作することによって、エピポーラ線118上の対応箇所にマーカ119を設定する。マーカ119は、ダブルクリック等によって設定される。マーカ119の大きさは可変であり、対応箇所特定部232は、マーカ119の大きさを適切に調整する。
対応箇所特定部232は、エピポーラ線118上のマーカ119の位置を対応箇所として受け付ける。
対象位置算出部233は、マーカ115が設定された計測箇所とマーカ119が設定された対応箇所との視差を利用して、計測対象111の三次元位置を算出する。これにより、道路に新たに標示された路面マーカ(道路標示)の三次元座標値が得られる。
***実施例の説明***
三次元計測装置200が点群データベース390を備えてもよい。
その場合、点群取得部213が、情報管理装置300の点群抽出部312の代わりに、点群データベース390から、第1点群データと第2点群データとを抽出する。情報管理装置300は不要となる。
三次元計測装置200は、位置姿勢補正部222を備えなくてもよい。
その場合、対象位置算出部233は、位置姿勢計測部212によって計測されたカメラ206の三次元位置と三次元姿勢とを用いて、計測対象の三次元位置を算出する。
計測箇所受付部231は、タッチパネル205に表示させる画像に三次元点群を重畳しなくてもよい。
対応箇所特定部232は、利用者の指定を受けずに、対応箇所を自動で特定してもよい。
図12に基づいて、対応箇所を自動で特定するための対応箇所特定処理(S140)の手順を説明する。
ステップS141において、対応箇所特定部232は、第2画像におけるエピポーラ線を算出する。算出方法は、図8に基づいて説明した通りである。
ステップS142において、対応箇所特定部232は、第2画像におけるエピポーラ線に位置する複数の画素から、第1画像の中の計測箇所に位置する画素と合致する画素を特定する。特定される画素が位置する箇所が対応箇所である。
対応箇所特定処理(S140)では、特許文献2、特許文献3、特許文献4、特許文献6または特許文献7に開示されている技術を利用することができる。
特許文献2には、エピポーラ線上を探索することによって画像平面Aの特徴点に対応する画像平面Bの対応点を求める第1の対応点探索処理が開示されている(図16参照)。特許文献3にも同様の開示がされている。
特許文献4には、エピポーラ拘束線上の画像を第1地点での第1画像と対比することによって双方の画像で同一となる部分を特定する画像マッチング手段が開示されている(図4参照)。
特許文献6には、二地点の画像上で互いに対応する注視点を特定するGISモデル作成部が開示されている(図1参照)。特許文献7にも同様の開示がされている。
対象位置算出部233は、計測対象の三次元位置を視線ベクトルに基づいて算出してもよい。
図13に基づいて、視線ベクトルに基づいて計測対象の三次元位置を算出するための三次元位置算出処理(S150)の手順を説明する。
ステップS151において、対象位置算出部233は、第1撮影時におけるカメラ206の三次元位置と、第1撮影時におけるカメラ206の三次元姿勢と、第1画像の中の計測箇所とに基づいて、第1視線ベクトルを算出する。
第1視線ベクトルは、第1撮影時におけるカメラ206の視線ベクトルであり、第1画像平面における計測箇所を通る。
第1画像平面は、第1画像に対応する三次元平面である。
ステップS152において、対象位置算出部233は、第2撮影時におけるカメラ206の三次元位置と、第2撮影時におけるカメラ206の三次元姿勢と、第2画像の中の計測箇所とに基づいて、第2視線ベクトルを算出する。
第2視線ベクトルは、第2撮影時におけるカメラ206の視線ベクトルであり、第2画像平面における対応箇所を通る。
第2画像平面は、第2画像に対応する三次元平面である。
ステップS153において、対象位置算出部233は、第1視線ベクトルと第2視線ベクトルとの交点の三次元座標値を算出する。
算出される三次元座標値が計測対象の三次元位置である。
三次元位置算出処理(S150)では、特許文献2に開示されている技術を利用することができる。
特許文献2には、2つのLOSベクトルの交点が示す三次元座標を計測対象点の三次元座標として算出する画像三次元復元処理が開示されている(図15参照)。
三次元計測装置200は、以下のような構成であってもよい。
三次元計測装置200は、カメラ206と計測センサ207とディスプレイとプロセッサ201とを備える。例えば、ディスプレイはタッチパネル205である。
計測センサ207は、三次元位置および三次元姿勢を計測する。
カメラ206は、第1撮影時に計測対象が映った第1画像を得るとともに、第1撮影時の位置とは異なる位置で第2撮影時に前記計測対象が映った第2画像を得る。
ディスプレイは、前記第1画像と前記第2画像とのそれぞれに、計測箇所を指定するマーカを表示する。
プロセッサ201は、外部の情報管理装置との通信によって、位置が既知の三次元点群情報を得る。プロセッサ201は、前記計測センサの計測情報に基づいて、前記三次元点群情報を前記第1画像と前記第2画像とに投影する。プロセッサ201は、前記三次元点群情報の位置合わせを行う。プロセッサ201は、前記第1画像の中の前記マーカによる前記計測箇所の指定点と、前記第2画像の中の前記マーカによる前記計測箇所の指定点とに基づいて、前記計測箇所の三次元位置を算出する。
***実施の形態1の効果***
既存の三次元点群が存在する屋内外において、概略の位置情報と概略の姿勢情報とカメラ画像とを用いて、既存の三次元点群と同じ精度で物体の三次元位置を計測することができる。
既存の三次元点群は、レーザおよび画像などを使って予め計測された三次元点群である。既存の三次元点群は点群データベース390に相当する。
概略の位置情報は、計測センサ207を用いて計測されたカメラ206の三次元位置に相当する。
概略の姿勢情報は、計測センサ207を用いて計測されたカメラ206の三次元姿勢に相当する。
カメラ画像は、第1画像と第2画像とに相当する。
***実施の形態の補足***
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
実施の形態で説明された各装置は、複数の装置で実現されてもよい。つまり、実施の形態で説明された各装置は、システムとして実現されてもよい。
実施の形態で説明された装置の各要素は、ソフトウェア、ハードウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
各要素の名称における「部」は、「処理」または「工程」と読み替えてもよい。
100 三次元計測システム、101 情報管理センサ、102 ネットワーク、110 撮影範囲、111 計測対象、112 スマートフォン、113 第1地点、114 第1画像、115 マーカ、116 第2地点、117 第2画像、118 エピポーラ線、119 マーカ、200 三次元計測装置、201 プロセッサ、202 メモリ、203 補助記憶装置、204 通信装置、205 タッチパネル、206 カメラ、207 計測センサ、211 撮影部、212 位置姿勢計測部、213 点群取得部、221 点群投影部、222 位置姿勢補正部、231 計測箇所受付部、232 対応箇所特定部、233 対象位置算出部、290 記憶部、300 情報管理装置、301 プロセッサ、302 メモリ、303 補助記憶装置、304 通信装置、305 入出力インタフェース、311 要求受付部、312 点群抽出部、313 点群応答部、390 点群データベース。

Claims (6)

  1. カメラと計測センサとディスプレイとを備える三次元計測装置であって、
    第1地点で前記カメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影部と、
    前記第1撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測部と、
    前記第1画像を前記ディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付部と、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定部と、
    前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出部と
    を備え
    前記対応箇所特定部は、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と、前記第1画像の中の前記計測箇所とに基づいて、前記第2画像におけるエピポーラ線を算出し、
    算出されたエピポーラ線が記された状態で前記第2画像を前記ディスプレイに表示し、
    表示された第2画像に記されたエピポーラ線上で指定される箇所を前記対応箇所として受け付ける
    三次元計測装置。
  2. 前記対象位置算出部は、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と、前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所との視差とに基づいて、前記計測対象の前記三次元位置を算出する
    請求項1に記載の三次元計測装置。
  3. 前記対象位置算出部は、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢と前記第1画像の中の前記計測箇所とに基づいて第1視線ベクトルを算出し、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と前記第2画像の中の前記対応箇所とに基づいて第2視線ベクトルを算出し、前記第1視線ベクトルと前記第2視線ベクトルとの交点の三次元座標値を前記計測対象の前記三次元位置として算出する
    請求項1に記載の三次元計測装置。
  4. カメラと計測センサとディスプレイとを備える三次元計測装置であって、
    第1地点で前記カメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影部と、
    前記第1撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測部と、
    前記第1画像を前記ディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付部と、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定部と、
    前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出部と
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第1画像に映っている範囲の三次元点群である第1点群を表す第1点群データを取得し、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像に映っている範囲の三次元点群である第2点群を表す第2点群データを取得する点群取得部と、
    取得された第1点群データと前記第1撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて前記第1点群を前記第1画像に投影し、取得された第2点群データと前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて前記第2点群を前記第2画像に投影する点群投影部と、
    前記第1点群から前記第1画像の中の第1特徴部分に対応する第1特徴点群を検出し、検出された第1特徴点群が前記第1特徴部分に投影されるように前記第1撮影時における前記カメラの三次元位置と三次元姿勢とを補正し、前記第2点群から前記第2画像の中の第2特徴部分に対応する第2特徴点群を検出し、検出された第2特徴点群が前記第2特徴部分に投影されるように前記第2撮影時における前記カメラの三次元位置と三次元姿勢とを補正する位置姿勢補正部と、
    を備え、
    前記点群取得部は、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢とを含む第1点群要求データを情報管理装置へ送信し、前記情報管理装置から前記第1点群データを受信し、
    前記第2撮影時における前記カメラの三次元位置と三次元姿勢とを含む第2点群要求データを前記情報管理装置へ送信し、前記情報管理装置から前記第2点群データを受信する三次元計測装置。
  5. 三次元位置および三次元姿勢を計測する計測センサと、
    第1撮影時に計測対象が映った第1画像を得るとともに、第1撮影時の位置とは異なる位置で第2撮影時に前記計測対象が映った第2画像を得るカメラと、
    前記第1画像と前記第2画像とのそれぞれに、計測箇所を指定するマーカを表示するディスプレイと、
    外部の情報管理装置との通信によって、位置が既知の三次元点群情報を得て、前記計測センサの計測情報に基づいて、前記三次元点群情報を前記第1画像と前記第2画像とに投影し、前記三次元点群情報の位置合わせを行い、前記第1画像の中の前記マーカによる前記計測箇所の指定点と、前記第2画像の中の前記マーカによる前記計測箇所の指定点とに基づいて、前記計測箇所の三次元位置を算出するプロセッサと、
    を備える三次元計測装置。
  6. 第1地点でカメラを用いて行われる第1撮影によって、計測対象が映った第1画像を得て、第2地点で前記カメラを用いて行われる第2撮影によって、前記計測対象が映った第2画像を得る撮影処理と、
    前記第1撮影時に計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測し、前記第2撮影時に前記計測センサを用いて前記カメラの三次元位置と三次元姿勢とを計測する位置姿勢計測処理と、
    前記第1画像をディスプレイに表示し、前記第1画像の中で前記計測対象が映っている箇所である計測箇所を受け付ける計測箇所受付処理と、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢とに基づいて、前記第2画像の中で前記計測箇所に対応する箇所である対応箇所を特定する対応箇所特定処理と、
    前記第1画像の中の前記計測箇所と前記第2画像の中の前記対応箇所とに基づいて、前記計測対象の三次元位置を算出する対象位置算出処理と
    をコンピュータに実行させるための三次元計測プログラムであって、
    前記対応箇所特定処理は、
    前記第1撮影時における前記カメラの三次元位置と三次元姿勢と、前記第2撮影時における前記カメラの三次元位置と三次元姿勢と、前記第1画像の中の前記計測箇所とに基づいて、前記第2画像におけるエピポーラ線を算出し、
    算出されたエピポーラ線が記された状態で前記第2画像を前記ディスプレイに表示し、
    表示された第2画像に記されたエピポーラ線上で指定される箇所を前記対応箇所として受け付ける
    三次元計測プログラム。
JP2019014141A 2019-01-30 2019-01-30 三次元計測装置および三次元計測プログラム Active JP7183058B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019014141A JP7183058B2 (ja) 2019-01-30 2019-01-30 三次元計測装置および三次元計測プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019014141A JP7183058B2 (ja) 2019-01-30 2019-01-30 三次元計測装置および三次元計測プログラム

Publications (2)

Publication Number Publication Date
JP2020122697A JP2020122697A (ja) 2020-08-13
JP7183058B2 true JP7183058B2 (ja) 2022-12-05

Family

ID=71992524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019014141A Active JP7183058B2 (ja) 2019-01-30 2019-01-30 三次元計測装置および三次元計測プログラム

Country Status (1)

Country Link
JP (1) JP7183058B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230360265A1 (en) * 2020-11-16 2023-11-09 Sony Group Corporation Information processing apparatus, information processing method, and program
JP7117408B1 (ja) 2021-02-26 2022-08-12 株式会社パスコ 位置算出装置、プログラム及び位置算出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234703A (ja) 2005-02-28 2006-09-07 Univ Waseda 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP2009075117A (ja) 2007-02-16 2009-04-09 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2012127896A (ja) 2010-12-17 2012-07-05 Kumamoto Univ 移動体位置測定装置
JP2016170060A (ja) 2015-03-13 2016-09-23 三菱電機株式会社 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234703A (ja) 2005-02-28 2006-09-07 Univ Waseda 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP2009075117A (ja) 2007-02-16 2009-04-09 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2012127896A (ja) 2010-12-17 2012-07-05 Kumamoto Univ 移動体位置測定装置
JP2016170060A (ja) 2015-03-13 2016-09-23 三菱電機株式会社 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法

Also Published As

Publication number Publication date
JP2020122697A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
EP3469306B1 (en) Geometric matching in visual navigation systems
US9842399B2 (en) Image processing device and image processing method
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6307553B2 (ja) ナビゲーション調整のためのクロススペクトル特徴相関
CN109425348B (zh) 一种同时定位与建图的方法和装置
EP3716210B1 (en) Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device
JP2013186816A (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
JP6589636B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP7107166B2 (ja) 床面検出プログラム、床面検出方法及び端末装置
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
JP2015138428A (ja) 付加情報表示装置および付加情報表示プログラム
JP2021106025A5 (ja)
US20160169662A1 (en) Location-based facility management system using mobile device
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
JP7183058B2 (ja) 三次元計測装置および三次元計測プログラム
JP2010128608A (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
JP2014209680A (ja) 土地境界表示プログラム、方法、及び端末装置
JP5769248B2 (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
Bakuła et al. Capabilities of a smartphone for georeferenced 3dmodel creation: An evaluation
JP2008203991A (ja) 画像処理装置
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
JP5464671B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221122

R150 Certificate of patent or registration of utility model

Ref document number: 7183058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150