JP2018522348A - センサーの3次元姿勢を推定する方法及びシステム - Google Patents
センサーの3次元姿勢を推定する方法及びシステム Download PDFInfo
- Publication number
- JP2018522348A JP2018522348A JP2018500745A JP2018500745A JP2018522348A JP 2018522348 A JP2018522348 A JP 2018522348A JP 2018500745 A JP2018500745 A JP 2018500745A JP 2018500745 A JP2018500745 A JP 2018500745A JP 2018522348 A JP2018522348 A JP 2018522348A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- line
- scene
- data
- scene data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000007423 decrease Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 11
- 230000004807 localization Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001607510 Daphne virus S Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003994 retinal ganglion cell Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
- G01B21/24—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes for testing alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
センサーの3次元(3D)姿勢を推定する方法およびシステムは、最初に、センサーによって3次元(3D)シーンのシーンデータを取得することによって、センサーの3次元(3D)姿勢を推定する。2次元(2D)線は、シーンデータにおいて検出され、また2D線は、シーンの3次元(3D)モデルの3D線とマッチングされて、マッチング線が生成される。その次に、センサーの3次元(3D)姿勢がマッチング線を用いて推定される。
Description
本発明は、包括的には、コンピュータビジョンに関し、より詳細には、センサーの姿勢の推定に関する。
従来のカメラは、通常、固定のフレームレートで取得される画像のシーケンスとしてシーンを観測する。この画像に基づく表現は、シーンの不十分で冗長な符号化であり、パワー、メモリ及び時間を浪費する。各画像の露出時間は同じであるため、これによって、高ダイナミックレンジを有するシーン、すなわち、非常に暗い領域及び非常に明るい領域を含むシーンの撮像が困難になる可能性もある。
ダイナミックビジョンセンサー(DVS)は、従来のカメラと異なる。DVSは、実際のピクセル輝度値を出力しない。代わりに、DVSは、信号ピクセルレベルの変化、すなわち、ピクセルの輝度が増加するか又は減少するかを出力する。DVSは、人間の網膜モデルによって着想を得ている。これについては非特許文献1を参照されたい。これらのセンサーは、固定フレームレートにおいて画像全体を送信しない。代わりに、DVSは、網膜神経節細胞からの信号と同様に0及び1のバイナリイベントとして、ピクセルレベル変化のみを、変化が生じたまさにその時点に送信する。例えば、0は、輝度における減少を示し、1は、特定のピクセルの輝度における増加を示す。結果として、イベントは、毎秒数千フレームで動作する従来の高速カメラと同等か又はより良好なマイクロ秒時間分解能で送信される。すなわち、固定フレームレートで画像全体を無駄に送信する代わりに、本発明が対象とする用途では、DVSは、イベントの発生時にセンサーの動きによって生じるローカルピクセルレベル変化のみを送信する。
特許文献1「Apparatus and method for recognizing gesture using sensor」2015において、ジェスチャ認識のためにダイナミックビジョンセンサー(DVS)が用いられている。特許文献2「Apparatus and method for processing user input using motion of object」2014において、動いている物体を追跡するためにDVSが用いられている。オプティカルフロー等の従来の手順がDVSのために開発されている。特許文献3「Method of estimating optical flow on the basis of an asynchronous light sensor」2014を参照されたい。
いくつかの方法は、従来のカメラを用いてビジュアルオドメトリをDVSに拡張する。非特許文献2を参照されたい。Censi他は、DVS及び相補型金属酸化膜半導体(CMOS)カメラと共に用いられるビジュアルオドメトリ手順を開示している。新規の較正手順は、DVS及びCMOSカメラの時空間較正を実行する。それらの手法は、以前のCMOSフレームに関するDVSイベントの相対運動を推定する。本方法は、回転推定値について正確であるのに対し、並進推定値はノイズが多い傾向にある。
SLAM技法及び3D再構成方法もDVSのために開発された。これについては非特許文献3及び非特許文献4を参照されたい。オプティカルフロー推定のためのLucas−Kanade追跡手順がDVSのために拡張された。反復最近傍点(ICP)等の或る特定のレジストレーション方法が、マイクログリッパーを制御するためにDVSのために拡張された。DVSは、クワッドローターの回避操縦にも有用とすることができる。一対のDVSを、衝突を予測し回避するためにクワッドローター付近でオブジェクトを再構成するためのステレオカメラとして用いることができる。
非同期DVSの場合、エピポーラ幾何学の概念を直接用いることができない。エピポーラ幾何学は、様々な観点から取得された画像の対における対応する点間の関係を提供する。最近では、非同期イベントベースのステレオ構成のために適用可能なエピポーラ幾何学の一般的なバージョンが開発された。これについては、非特許文献5を参照されたい。
ステレオマッチングは、イベントヒストグラムを用いて行うことができ、ジェスチャ認識のために推定深度を用いることができる。ステレオを超えて、いくつかの方法は、3D再構成のために3つ以上のイベントセンサーを用いる。
DVSベースの解決策は、粒子フィルターベースの位置特定及びマッピングについても知られている。更なるセンサーなしでDVSのみを用いてシーンのモザイクを構築することが可能である。これは、センサーの運動を追跡し、データのレジストレーション及び統合のために推定運動を用いることによって達成される。
Delbruck他「A silicon early visual system as a model animal」Vision Research, 2004
Censi他「Low-latency event-based visual odometry」ICRA, 2014
Weikersdorfer他「Simultaneous localization and mapping for event-based vision systems」Computer Vision Systems, 2013
Carneiro他「Event-based 3D reconstruction from neuromorphic retinas」Neural Networks, 2013
Benosman他「Asynchronous event-based Hebbian epipolar geometry」IEEE Trans. Neural Network, 2011
Mahony他「Nonlinear complementary filters on the special orthogonal group」Automatic Control, IEEE Transactions on, 53(5):1203-1218, 2008
一方、欠点として、通常のDVSのコストは、数千ドルの範囲内にある。
本発明の実施の形態は、シーンデータを取得するセンサーを用いた位置特定及び追跡のための方法及びシステムを提供する。本発明は、2つの主要な実施の形態を提供する。低速の用途及び低コストのシステムの場合、センサーは、従来のカメラとすることができる。高速の用途の場合、ダイナミックビジョンセンサー(DVS)を用いることができるが、そのようなセンサーのコストは、20ドル未満とすることができるカメラのコストよりも2桁高くなり得る。
DVSにより、通常、大きな時間勾配を有するピクセルについてイベントがシグナリングされる。時間勾配は、通常、センサーがシーンに対して動くときに、シーン内のエッジ(高空間勾配)によって生じる。実施の形態は、高速時空間ビニング方式を用いて、垂直エッジに関連付けられたこれらのイベントから2D線を検出する。シーンの3Dモデルは、シーンデータにおいて観測された2D線のうちのいくつかに関連付けられた3D垂直エッジを含む。2D線と3Dエッジとの正しい対応を確立することにより、3Dモデルに対するセンサーの位置特定が可能になる。
実施の形態は、センサーを用いた正確な絶対位置推定方法を提供する。特に、エッジベースの3Dモデルを用いて現実世界のシーンを表し、シーンデータから取得された2D線を3Dシーンモデルの3D線とマッチングすることによってセンサーを位置特定する。
本発明の実施の形態は、センサーの姿勢を推定する方法及びシステムを提供する。センサーは、デジタルビジョンセンサー等のカメラ又はイベントセンサーとすることができ、ピクセルが、減少又は増加の輝度の変化を検知するときにのみイベントをシグナリングする。そのようなピクセルは、通例、センサーが動かされるときのワールド内のエッジ等の大きな勾配に関連付けられる。
高速応答を達成するために、本発明は、例えば、3D垂直線に対応する強い特徴を有する現実世界のシーンに焦点を当てる。本方法は、時空間ビニング方式を用いて垂直線を検出することができる。
姿勢推定方法は、シーンデータから得られた(2D)線と、シーンモデルによって表されるようなワールド内の3次元(3D)線との間の対応を用いる。
慣性計測装置(IMU)は、絶対ロール角及び絶対ピッチ角を測定して、シーンデータを、現実世界のシーンにおける垂直方向と位置合わせする。
本発明者らの知る限り、本明細書において記載される垂直線ベースの姿勢推定問題は、従来のフレームベースのセンサー及びカメラ、並びにデジタルビジョンセンサーにおいては解決されていない。
ダイナミックビジョンセンサー
例示的なイベントセンサーは、iniLabs DAVIS 240Bダイナミックビジョンセンサー(DVS)である。このセンサーは、アクティブピクセルセンサー(APS)回路、(DVS)回路、及び単一の基板上のIMUを含む。ピクセル内のAPS回路及びDVS回路は、単一のフォトダイオードを共有する。APSフレームの解像度は、240×180ピクセルであり、シーンデータの寸法は、190×180である。APSフレームレートは23Hzであり、IMUは2300Hzで動作する。IMUは、6次元で位置合わせデータ、例えば加速度及び角速度を提供する。APSデータを用いて、結果を視覚化することができる。IMUデータに依拠して、シーンデータを、現実世界のシーンにおける垂直方向と位置合わせする。
例示的なイベントセンサーは、iniLabs DAVIS 240Bダイナミックビジョンセンサー(DVS)である。このセンサーは、アクティブピクセルセンサー(APS)回路、(DVS)回路、及び単一の基板上のIMUを含む。ピクセル内のAPS回路及びDVS回路は、単一のフォトダイオードを共有する。APSフレームの解像度は、240×180ピクセルであり、シーンデータの寸法は、190×180である。APSフレームレートは23Hzであり、IMUは2300Hzで動作する。IMUは、6次元で位置合わせデータ、例えば加速度及び角速度を提供する。APSデータを用いて、結果を視覚化することができる。IMUデータに依拠して、シーンデータを、現実世界のシーンにおける垂直方向と位置合わせする。
DVSは、バイナリ状態を用いてピクセルレベルの輝度変化をシグナリングする。各ピクセルは、非同期で、対数圧縮された輝度が所定の量だけ増大する場合、ONイベントを発し、輝度が減少するとき、OFFイベントを発する。イベントEがタプル<x,y,t,s>として記される。ここで、(x,y)はピクセルロケーションであり、tは時点であり、sはイベント状態である。1はONを表し、0はOFFを表す。センサーは、毎秒約百万個のイベントを生成することができる。
センサーは、従来のカメラ又はビデオカメラとすることができることが理解される。なぜなら、カメラのフレームレートはより低速であるが、カメラはイベントセンサーをエミュレートすることができるためである。そのようなエミュレーションは、連続フレーム間の差異を取得し、各ピクセルにおける差異を、差異の大きさに基づいてイベント又は非イベントとして分類することによって行うことができる。0からの或る閾値距離内の差は、非イベントとみなされる。閾値よりも大きい差は、正のイベントであり、<x,y,1>として符号化される。ここで、(x,y)はピクセル座標である。閾値よりも小さい差は、<x,y,0>として符号化される。カメラフレームレートは、DVSのフレームレートと比較して相対的に低速であるため、イベントは通常、フレームごとの単位でグループ化され、フレーム数の時間的変動を保持する必要がない。ただし、DVSと完全に類似させるためにこれを行ってもよい。
姿勢推定方法
図1に示すように、本方法は、イベントセンサー103によるシーン102のシーンデータ(x,y,t,s)及びIMU107による位置合わせデータを含むデータ101を同時に取得する(110)。位置合わせデータを用いて、シーンに対するイベントセンサー103のロール及びピッチを求めることができる。シーンデータは、位置合わせデータを用いて、シーンの垂直方向106に対し位置合わせされ(120)、位置合わせされたシーンデータが生成される。次に、位置合わせされたシーンデータにおいて2D垂直線が検出される(130)。検出は、時空間領域内のイベントデータに平面を当てはめることによって、空間領域内の2D線を当てはめる。
図1に示すように、本方法は、イベントセンサー103によるシーン102のシーンデータ(x,y,t,s)及びIMU107による位置合わせデータを含むデータ101を同時に取得する(110)。位置合わせデータを用いて、シーンに対するイベントセンサー103のロール及びピッチを求めることができる。シーンデータは、位置合わせデータを用いて、シーンの垂直方向106に対し位置合わせされ(120)、位置合わせされたシーンデータが生成される。次に、位置合わせされたシーンデータにおいて2D垂直線が検出される(130)。検出は、時空間領域内のイベントデータに平面を当てはめることによって、空間領域内の2D線を当てはめる。
2D垂直線は、シーンの3Dモデルにおける垂直線とマッチングされ(140)、マッチング線が生成される。次に、姿勢105は、マッチング線から推定することができる(150)。当該技術分野において既知のセンサー及びメモリに接続されたプロセッサ100において実行することができるステップは、センサーが異なる観点及び姿勢に動く(104)間、繰り返すことができる。センサーが動いている場合、本方法は、複数の観点においてイベントセンサーのための姿勢の軌道を推定する。軌道は、カルマンフィルターを用いて平滑化することができる。
本発明では、シーンの3D(ワールド)モデルを所与として、垂直線を特徴として用いて、センサー103の姿勢105を推定する。高さを無視することによって、6自由度(DOF)の位置特定問題が3DOF問題に簡略化される。3DOF(平面ロケーション及びヨー)は、車両及び移動ロボットの位置特定においてより重要である一方で、残りの変数(高さ、ロール、ピッチ)はIMUを用いて及び他の形で得ることができる。垂直線のみを検出することにより、特徴抽出が、異なる向きを有する全ての線を見つけるよりはるかに速くなる。
IMUを用いるセンサー位置合わせ
IMU位置合わせデータを用いて、(ワールド)シーン内の垂直方向にシーンデータを位置合わせする(120)。これによって、検知された2D線がセンサーの姿勢に関わらず、シーン内の現実の垂直線に対応することが確実になる。IMUジャイロスコープは、大きな時間依存のドリフトを有する可能性がある。したがって、ワールド座標系におけるセンサーの姿勢を得るために姿勢機首基準(AHRS)手順を適用する。これについては非特許文献6を参照されたい。加速度計は重力ベクトルのみを測定するため、IMUは、正確なヨー角を取得することができない。したがって、IMUからのロール角及びピッチ角のみを用いる。
IMU位置合わせデータを用いて、(ワールド)シーン内の垂直方向にシーンデータを位置合わせする(120)。これによって、検知された2D線がセンサーの姿勢に関わらず、シーン内の現実の垂直線に対応することが確実になる。IMUジャイロスコープは、大きな時間依存のドリフトを有する可能性がある。したがって、ワールド座標系におけるセンサーの姿勢を得るために姿勢機首基準(AHRS)手順を適用する。これについては非特許文献6を参照されたい。加速度計は重力ベクトルのみを測定するため、IMUは、正確なヨー角を取得することができない。したがって、IMUからのロール角及びピッチ角のみを用いる。
IMUによって測定される姿勢に基づいて、Rを用いてセンサーの垂直ビューとワールドの垂直方向とを位置合わせするための回転オフセットを表す。位置合わせされたシーンデータ内のピクセルp’(x’,y’)と、取得されたシーンデータ内のロケーションp(x,y)との間の関係は、
であり、ここで、Kはセンサーのための固有パラメーターの行列であり、sは、関係がスケール次第であることを示すスケール係数である。
図2は、位置合わせを図式的に示す。左側において、立方体210の画像を取得するセンサーを示す。3D点P(X1,Y1,Z1)220が画像ピクセルp(x1,y1)230上に投影される。立方体を用いて、ワールド座標系がどのセンサーに対して僅かに回転されるかを示す。IMUを用いて、ロール軸及びピッチ軸における、カメラ座標系(原点Ocを有する)とワールド座標系(原点Owを有する)との間の回転オフセットRを求める。右側において、回転オフセットR及び較正行列を用いた画像補正を示す。p(x1,y1)及びp’(x’1,y’1)が、それぞれ位置合わせ前及び位置合わせ後のピクセルを示す。見てとることができるように、2つのピクセルp’(x’1,y’1)及びq’(x’2,y’2)は、位置合わせ後、x’1=x’2を有する垂直軸240上に位置合わせされている。
時空間ビニングを用いた線検出
イベントのピクセルロケーション及び関連付けられた時間に基づく投票手順を用いて、位置合わせされたシーンデータ内の線を、時空間ビニング手順を用いて検出する(130)。手順は、同じ垂直線又はエッジ上のピクセルが、類似のx座標及び類似の輝度コントラストを有することに基づく。
イベントのピクセルロケーション及び関連付けられた時間に基づく投票手順を用いて、位置合わせされたシーンデータ内の線を、時空間ビニング手順を用いて検出する(130)。手順は、同じ垂直線又はエッジ上のピクセルが、類似のx座標及び類似の輝度コントラストを有することに基づく。
図3に示すように、薄いストリップビンVdx(xi)310を用いて、(xi,1)から(xi+dx,ymax)へのピクセルの矩形エリアを表す。ワールド内のエッジの輝度コントラストは、複数のイベントが同じピクセルについてシグナリングされているとき、時間間隔に密に関係している。これは、同じワールドエッジが、センサー運動中、同じピクセルにおける複数のイベントを引き起こし、これにより、高コントラストエッジにおけるピクセルが、同じ時間間隔内で更なるイベントを引き起こすことに起因する。これは、同じロケーションについてシグナリングされた2つのイベント間の時間間隔Δtが、高コントラストエッジの場合に、より短いことを暗に意味する。ビンVdx,dt(xi,Δtj)を用いて、Vdx(xi)内にありかつΔtjとΔtj+dtとのシグナリング間隔を有するピクセルを表す。
図3に示すように、空間間隔の重複する組をプリセットし、ビンが、近傍のビンに対して極大である、所定の閾値よりも多くのイベント数を有するとき、このビンが線を含むとみなす。特に、以下の条件が満たされるとき、ビンVdx,dt(xi,Δtj)を選択することを確実にする。
1.空間近傍ピクセルが、以下の制約によって与えられるような、より少ない票を有する。
1.空間近傍ピクセルが、以下の制約によって与えられるような、より少ない票を有する。
2.Δtk<Δtjのとき、上記の閾値条件を満たす他のビンVdx,dt(xi,Δtj)が存在しない。
ビンが選択された後、IMUベースの位置合わせにおける任意の誤差を考慮するために、最小二乗手順を用いて、線をビン内のイベントと当てはめる。
垂直線を用いた姿勢推定
IMUを利用して、現実世界の垂直方向106を取得し、これにより、3つの未知の運動パラメーター、すなわち、2つの並進パラメーター及び1つの回転角を復元するための3点姿勢推定問題を解決する。3DOFを復元した後、合計6つの未知数のうち、5つの未知の運動パラメーターを有する。6番目のパラメーター(高さ=Y)が必要とされる場合、任意の非垂直線を用いて高さを容易に復元することができる。
IMUを利用して、現実世界の垂直方向106を取得し、これにより、3つの未知の運動パラメーター、すなわち、2つの並進パラメーター及び1つの回転角を復元するための3点姿勢推定問題を解決する。3DOFを復元した後、合計6つの未知数のうち、5つの未知の運動パラメーターを有する。6番目のパラメーター(高さ=Y)が必要とされる場合、任意の非垂直線を用いて高さを容易に復元することができる。
本発明の焦点は、優勢な垂直構造(dominant vertical structures)を有するシーンに対してセンサーを位置特定及び追跡することを可能にする3つの重要な運動パラメーター(X、Z及びヨー)を抽出することである。
線投影
図4は、平面上の3つの2D点への3つの3D点の投影を概略的に示す。左側に、立方体210から画像平面410への線の投影を示す。右側に、シーン内の垂直線が2D点(X1,Z1)、(X2,Z2)、(X3,Z3)によって表され、画像(シーンデータ)内の垂直線が2D点(x1,z1)、(x2,z2)、(x3,z3)によって表され、原点がOによって表される投影の上面図を示す。
図4は、平面上の3つの2D点への3つの3D点の投影を概略的に示す。左側に、立方体210から画像平面410への線の投影を示す。右側に、シーン内の垂直線が2D点(X1,Z1)、(X2,Z2)、(X3,Z3)によって表され、画像(シーンデータ)内の垂直線が2D点(x1,z1)、(x2,z2)、(x3,z3)によって表され、原点がOによって表される投影の上面図を示す。
ワールド座標系における3D点
は、変換(R,t)を用いてセンサー座標系に転送することができる。
図4に示すように、シーン内の垂直線と、画像(シーンデータ)内の対応する2D線との間の変換は、以下によって与えられる。
式(2)を再構成し、スケール変数siを消去し、3つの3D対2Dの対応のための等式をスタックして、連立方程式AX=0を得る。ここで、A及びXは以下となる。
3つの線により、解は通常一意となる。被約階段行列(reduced row-echelon form)を用いて、上記の式から以下の連立方程式を得る。
ここで、α、β及びγは、行列Aのための被約階段行列を求める間に得られる定数である。
上記の連立方程式を用いて、3つの未知の動きパラメーターθ、Tx及びTzを以下のように求める。
n個の2D対3Dの線対応の組を所与として、全ての対応を用いて連立方程式AX=0を形成し、最小二乗手順を用いて運動変数を解くことができる。ここで、nは3以上である。
本発明の方法は2つのモジュールを用いる。信頼性のある以前の姿勢を有しないとき、2D対3D線対応を求めて全数探索を用いてセンサーを位置特定する。以前の姿勢を有するとき、2D対3Dの線対応が既知であり、小さな変化について位置を更新するのみでよい。位置特定のための全数探索には、更新よりも多くの時間がかかる。
上記で説明したように、従来のカメラはDVSをエミュレートすることができる。一方、そのようなエミュレーションは、本発明による方法の用途に必要でない。線は、2Dエッジ抽出によって単一のカメラ画像から直接抽出することができ、IMUデータに基づく垂直線への制限は、高速な姿勢推定を可能にする。
対応探索
姿勢推定は、2D対3Dの線対応を必要とする。対応探索は、線検出における繰り返されるシーン幾何学、ノイズの多いシーンデータ、欠落した線及びスプリアス線、並びにワールドの誤ったモデリング等の多くの要因に起因して非常に困難である。1つの明確な解決策は、全ての可能なマッチを検討し、いくつかの誤差判断基準に基づいて最良のマッチを選ぶことである。一方、この戦略は、20本ほどの少ない線の場合であっても失敗する可能性がある。
姿勢推定は、2D対3Dの線対応を必要とする。対応探索は、線検出における繰り返されるシーン幾何学、ノイズの多いシーンデータ、欠落した線及びスプリアス線、並びにワールドの誤ったモデリング等の多くの要因に起因して非常に困難である。1つの明確な解決策は、全ての可能なマッチを検討し、いくつかの誤差判断基準に基づいて最良のマッチを選ぶことである。一方、この戦略は、20本ほどの少ない線の場合であっても失敗する可能性がある。
探索問題を解決するために、線の視認方向間の角度に基づいて制約を用いるグリッド探索方法を用いる。この場合、最良の対応を探索することは、全ての線対応についての再投影誤差を用いて決定される最小マッチングコストとの対応の最も大きな組を得ることを意味する。
再投影誤差
推定姿勢を用いて、3D線を画像に再投影し、再投影誤差、すなわち、イベントに関連付けられたピクセルと、再投影された3D線との間の距離を測定する。姿勢推定のための再投影誤差は、通常、姿勢推定が正確であることを示す2ピクセル未満である。
推定姿勢を用いて、3D線を画像に再投影し、再投影誤差、すなわち、イベントに関連付けられたピクセルと、再投影された3D線との間の距離を測定する。姿勢推定のための再投影誤差は、通常、姿勢推定が正確であることを示す2ピクセル未満である。
本発明を好ましい実施の形態の例として説明したが、本発明の趣旨及び範囲内で様々な他の適応及び変更を行うことができることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨及び範囲に入る全てのそのような変形及び変更を包含することである。
本発明のセンサーの3次元(3D)姿勢を推定するための方法及びシステムは、多くの分野におけるセンサーに適用可能である。
Claims (17)
- センサーの3次元(3D)姿勢を推定する方法であって、
前記センサーによって3Dシーンのシーンデータを取得するステップと、
前記シーンデータ内の2次元(2D)線を検出するステップと、
前記2D線を前記シーンの3Dモデルの3D線とマッチングして、マッチング線を生成するステップと、
前記マッチング線を用いて前記センサーの前記3D姿勢を推定するステップであって、前記センサーはカメラであり、前記2D線及び前記3Dは垂直線であるもとの、
を含み、前記ステップはプロセッサにおいて実行される、方法。 - 慣性計測装置(IMU)を用いて前記センサーのための位置合わせデータを取得することであって、前記位置合わせデータは前記センサーのロール角及びピッチ角を含むものと、
前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせすることと、
を更に含む、請求項1に記載の方法。 - 前記シーンデータはピクセルを含み、
前記検出することは、
空間領域内の前記2D線を、高い空間勾配を有する前記ピクセルに当てはめること、
を更に含む、請求項1に記載の方法。 - 姿勢機首基準(AHRS)手順を適用して、ワールド座標系内の前記センサーの姿勢を得ること、を更に含む、請求項1に記載の方法。
- 前記2D線を検出することは、時空間ビニング及び投票手順を用いる、請求項1に記載の方法。
- 前記2D線は、最小二乗手順を用いて当てはめられる、請求項3に記載の方法。
- 3つの2D線及び3つの3D線の最小値が前記推定に用いられる、請求項1に記載の方法。
- センサーの3次元(3D)姿勢を推定する方法であって、
前記センサーによって3Dシーンのシーンデータを取得するステップと、
前記シーンデータ内の2次元(2D)線を検出するステップと、
前記2D線を前記シーンの3Dモデルの3D線とマッチングして、マッチング線を生成するステップと、
前記マッチング線を用いて前記センサーの前記3D姿勢を推定するステップであって、前記センサーはデジタルイベントセンサーであり、前記3D線は垂直であるものと、
を含み、前記ステップはプロセッサにおいて実行される、方法。 - 慣性計測装置(IMU)を用いて前記センサーのための位置合わせデータを取得することであって、前記位置合わせデータは前記センサーのロール角及びピッチ角を含むものと、
前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせすることと、
を更に含む、請求項9に記載の方法。 - 前記検出することは、
時空間領域内の前記シーンデータに平面を当てはめることによって、空間領域内の前記2D線を当てはめること、
を更に含む、請求項9に記載の方法。 - 前記2D線を検出することは、時空間ビニング及び投票手順を用いる、請求項9に記載の方法。
- 前記イベントデータは<x,y,t,s>であり、ここで、(x,y)は前記シーンデータにおけるピクセルのロケーションであり、tは時点であり、sは状態であり、ここで、0は前記ピクセルの輝度における減少を示し、1は前記ピクセルの輝度における増加を示す、請求項9に記載の方法。
- センサーの3次元(3D)姿勢を推定するシステムであって、
3Dシーンのシーンデータを取得するように構成されたセンサーと、
前記センサーに接続され、前記シーンデータ内の2次元(2D)線を検出し、前記2D線を前記シーンの3Dモデルの3D線とマッチングして、マッチング線を生成し、前記マッチング線を用いて前記センサーの前記3D姿勢を推定するように構成されたプロセッサと、
を備え、
前記センサーはカメラであり、前記2D線及び前記3Dは垂直線である、システム。 - 前記センサーのための位置合わせデータを取得するように構成された内部計測装置(IMU)を更に備え、
前記位置合わせデータは、前記センサーのロール角及びピッチ角を含む、請求項14に記載のシステム。 - 前記シーンデータは、前記位置合わせデータを用いて前記シーンの垂直方向に位置合わせされる、請求項14に記載のシステム。
- 前記センサーは、デジタルビジョンセンサーである、請求項14に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/929,517 US10260862B2 (en) | 2015-11-02 | 2015-11-02 | Pose estimation using sensors |
US14/929,517 | 2015-11-02 | ||
PCT/JP2016/081790 WO2017077925A1 (en) | 2015-11-02 | 2016-10-20 | Method and system for estimating three-dimensional pose of sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018522348A true JP2018522348A (ja) | 2018-08-09 |
Family
ID=57389486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018500745A Pending JP2018522348A (ja) | 2015-11-02 | 2016-10-20 | センサーの3次元姿勢を推定する方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10260862B2 (ja) |
JP (1) | JP2018522348A (ja) |
WO (1) | WO2017077925A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020091163A (ja) * | 2018-12-05 | 2020-06-11 | 株式会社ソニー・インタラクティブエンタテインメント | 電子機器、補正方法およびプログラム |
JP2020154502A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社デンソー | 車両における運転支援制御装置、運転支援システムおよび運転支援方法 |
JP2021523440A (ja) * | 2018-05-22 | 2021-09-02 | オムニビジョン センサー ソリューション (シャンハイ) カンパニー リミテッド | オプティカルフロー計算方法及びコンピューティング機器 |
WO2022130555A1 (ja) * | 2020-12-17 | 2022-06-23 | 日本電信電話株式会社 | 3次元情報推定方法、3次元情報推定装置およびプログラム |
WO2024069805A1 (ja) * | 2022-09-28 | 2024-04-04 | 株式会社ソニー・インタラクティブエンタテインメント | 信号処理回路、信号処理方法およびプログラム |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10582179B2 (en) * | 2016-02-01 | 2020-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus for processing binocular disparity image |
CN108073857B (zh) * | 2016-11-14 | 2024-02-27 | 北京三星通信技术研究有限公司 | 动态视觉传感器dvs事件处理的方法及装置 |
DE102016224095A1 (de) * | 2016-12-05 | 2018-06-07 | Robert Bosch Gmbh | Verfahren zum Kalibrieren einer Kamera und Kalibriersystem |
US10510160B2 (en) | 2016-12-20 | 2019-12-17 | Samsung Electronics Co., Ltd. | Multiscale weighted matching and sensor fusion for dynamic vision sensor tracking |
US10638124B2 (en) * | 2017-04-10 | 2020-04-28 | Intel Corporation | Using dynamic vision sensors for motion detection in head mounted displays |
CN107274368B (zh) * | 2017-06-16 | 2019-11-22 | 大连交通大学 | 兼容性视觉处理系统及方法 |
US10529074B2 (en) | 2017-09-28 | 2020-01-07 | Samsung Electronics Co., Ltd. | Camera pose and plane estimation using active markers and a dynamic vision sensor |
US10839547B2 (en) | 2017-09-28 | 2020-11-17 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
JP6916091B2 (ja) * | 2017-11-10 | 2021-08-11 | 株式会社デンソーアイティーラボラトリ | 位置姿勢推定システム及び位置姿勢推定装置 |
US10502819B2 (en) * | 2017-12-21 | 2019-12-10 | GM Global Technology Operations LLC | Systems and methods for aligning an inertial measurement unit in a vehicle |
US11202006B2 (en) * | 2018-05-18 | 2021-12-14 | Samsung Electronics Co., Ltd. | CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
US10636190B2 (en) | 2018-05-31 | 2020-04-28 | Robert Bosch Gmbh | Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems |
US10885657B2 (en) | 2018-10-31 | 2021-01-05 | Disney Enterprises, Inc. | Configuration for indicating image capture device position |
CN109697734B (zh) * | 2018-12-25 | 2021-03-09 | 浙江商汤科技开发有限公司 | 位姿估计方法及装置、电子设备和存储介质 |
US10955245B2 (en) * | 2019-04-30 | 2021-03-23 | Samsung Electronics Co., Ltd. | System and method for low latency, high performance pose fusion |
CN112017239B (zh) * | 2019-05-31 | 2022-12-20 | 北京市商汤科技开发有限公司 | 确定目标对象朝向方法、智能驾驶控制方法和装置及设备 |
US11610330B2 (en) | 2019-10-08 | 2023-03-21 | Samsung Electronics Co., Ltd. | Method and apparatus with pose tracking |
DE102019128814B4 (de) | 2019-10-25 | 2021-05-20 | Sick Ag | Kamera zur Erfassung eines Objektstroms und Verfahren zur Bestimmung der Höhe von Objekten |
US11430150B2 (en) | 2020-01-03 | 2022-08-30 | Samsung Electronics Co., Ltd. | Method and apparatus for processing sparse points |
CN113129361B (zh) * | 2020-01-14 | 2024-03-15 | 北京地平线机器人技术研发有限公司 | 一种可移动设备的位姿确定方法及装置 |
KR20220015964A (ko) * | 2020-07-31 | 2022-02-08 | 삼성전자주식회사 | 시각적 주행 거리 측정 애플리케이션들을 위한 손실된 이미지 특징 복원을 위한 방법 및 시스템 |
CN114137247B (zh) * | 2021-11-30 | 2024-01-19 | 上海科技大学 | 基于事件相机的速度感知方法、装置、设备和介质 |
CN115077467B (zh) * | 2022-06-10 | 2023-08-08 | 追觅创新科技(苏州)有限公司 | 清洁机器人的姿态估计方法、装置及清洁机器人 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011174879A (ja) * | 2010-02-25 | 2011-09-08 | Canon Inc | 位置姿勢推定装置及びその方法 |
JP2014169990A (ja) * | 2013-02-07 | 2014-09-18 | Canon Inc | 位置姿勢計測装置及び方法 |
JP2014529727A (ja) * | 2012-01-13 | 2014-11-13 | ソフトキネティック ソフトウェア | 自動シーン較正 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2001250802A1 (en) * | 2000-03-07 | 2001-09-17 | Sarnoff Corporation | Camera pose estimation |
US20060023228A1 (en) * | 2004-06-10 | 2006-02-02 | Geng Zheng J | Custom fit facial, nasal, and nostril masks |
US8170278B2 (en) * | 2008-08-06 | 2012-05-01 | Sri International | System and method for detecting and tracking an object of interest in spatio-temporal space |
US8442304B2 (en) * | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
JP5388932B2 (ja) * | 2009-04-30 | 2014-01-15 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
US20130038694A1 (en) * | 2010-04-27 | 2013-02-14 | Sanjay Nichani | Method for moving object detection using an image sensor and structured light |
US9148649B2 (en) * | 2011-10-07 | 2015-09-29 | Massachusetts Institute Of Technology | Methods and apparatus for imaging of occluded objects from scattered light |
FR2985065B1 (fr) | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
US9696812B2 (en) | 2013-05-29 | 2017-07-04 | Samsung Electronics Co., Ltd. | Apparatus and method for processing user input using motion of object |
US9406137B2 (en) * | 2013-06-14 | 2016-08-02 | Qualcomm Incorporated | Robust tracking using point and line features |
KR20150068001A (ko) | 2013-12-11 | 2015-06-19 | 삼성전자주식회사 | 센서를 이용한 동작 인식 방법 및 장치 |
-
2015
- 2015-11-02 US US14/929,517 patent/US10260862B2/en active Active
-
2016
- 2016-10-20 WO PCT/JP2016/081790 patent/WO2017077925A1/en active Application Filing
- 2016-10-20 JP JP2018500745A patent/JP2018522348A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011174879A (ja) * | 2010-02-25 | 2011-09-08 | Canon Inc | 位置姿勢推定装置及びその方法 |
JP2014529727A (ja) * | 2012-01-13 | 2014-11-13 | ソフトキネティック ソフトウェア | 自動シーン較正 |
JP2014169990A (ja) * | 2013-02-07 | 2014-09-18 | Canon Inc | 位置姿勢計測装置及び方法 |
Non-Patent Citations (4)
Title |
---|
CLEMENS ARTH ET AL.: ""Instant Outdoor Localization and SLAM Initialization from 2.5D Maps"", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 21, no. 11, JPN6019008514, 22 July 2015 (2015-07-22), US, pages 1309 - 1318, XP055343176, ISSN: 0004128437, DOI: 10.1109/TVCG.2015.2459772 * |
ELIAS MUEGGLER ET AL.: ""Event-based, 6-DOF Pose Tracking for High-Speed Maneuvers"", IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, JPN6019008517, 14 September 2014 (2014-09-14), US, pages 2761 - 2768, XP032676802, ISSN: 0004128439, DOI: 10.1109/IROS.2014.6942940 * |
JULIEN LI-CHEE-MING ET AL.: ""DETERMINATION OF UAS TRAJECTORY IN A KNOWN ENVIRONMENT FROM FPV VIDEO"", INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, vol. Vol.XL-1/W2, JPN7019000694, 4 September 2013 (2013-09-04), DE, pages 247 - 252, XP055343235, ISSN: 0004128436, DOI: 10.5194/isprsarchives-XL-1-W2-247-2013 * |
SAMUEL WILLIAMS ET AL.: ""Hybrid Tracking using Gravity Aligned Edges"", PROCEEDINGS OF THE 14TH ANNUAL ACM SIGCHI_NZ CONFERENCE ON COMPUTER-HUMAN INTERACTION, JPN7019000695, 15 November 2013 (2013-11-15), US, pages 1 - 8, XP055343278, ISSN: 0004128438, DOI: 10.1145/2542242.2542248 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021523440A (ja) * | 2018-05-22 | 2021-09-02 | オムニビジョン センサー ソリューション (シャンハイ) カンパニー リミテッド | オプティカルフロー計算方法及びコンピューティング機器 |
JP7031947B2 (ja) | 2018-05-22 | 2022-03-08 | オムニビジョン センサー ソリューション (シャンハイ) カンパニー リミテッド | オプティカルフロー計算方法及びコンピューティング機器 |
JP2020091163A (ja) * | 2018-12-05 | 2020-06-11 | 株式会社ソニー・インタラクティブエンタテインメント | 電子機器、補正方法およびプログラム |
JP7152285B2 (ja) | 2018-12-05 | 2022-10-12 | 株式会社ソニー・インタラクティブエンタテインメント | 電子機器、補正方法およびプログラム |
JP2020154502A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社デンソー | 車両における運転支援制御装置、運転支援システムおよび運転支援方法 |
JP7259437B2 (ja) | 2019-03-19 | 2023-04-18 | 株式会社デンソー | 車両における運転支援制御装置、運転支援システムおよび運転支援方法 |
WO2022130555A1 (ja) * | 2020-12-17 | 2022-06-23 | 日本電信電話株式会社 | 3次元情報推定方法、3次元情報推定装置およびプログラム |
JPWO2022130555A1 (ja) * | 2020-12-17 | 2022-06-23 | ||
JP7376839B2 (ja) | 2020-12-17 | 2023-11-09 | 日本電信電話株式会社 | 3次元情報推定方法、3次元情報推定装置およびプログラム |
WO2024069805A1 (ja) * | 2022-09-28 | 2024-04-04 | 株式会社ソニー・インタラクティブエンタテインメント | 信号処理回路、信号処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10260862B2 (en) | 2019-04-16 |
US20170124693A1 (en) | 2017-05-04 |
WO2017077925A1 (en) | 2017-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018522348A (ja) | センサーの3次元姿勢を推定する方法及びシステム | |
US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Rambach et al. | Learning to fuse: A deep learning approach to visual-inertial camera pose estimation | |
JP6475772B2 (ja) | 視覚的測位によるナビゲーション装置およびその方法 | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101708659B1 (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
JP6902028B2 (ja) | Rgbdカメラ姿勢のラージスケール判定のための方法およびシステム | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
US10636190B2 (en) | Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems | |
KR20150144730A (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
WO2019127518A1 (zh) | 避障方法、装置及可移动平台 | |
CN113052907B (zh) | 一种动态环境移动机器人的定位方法 | |
Hadviger et al. | Feature-based event stereo visual odometry | |
Yuan et al. | Fast localization and tracking using event sensors | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
Herghelegiu et al. | Robust ground plane detection and tracking in stereo sequences using camera orientation | |
CN112492195A (zh) | 光学传感装置及方法 | |
KR102025696B1 (ko) | 스테레오 이미지를 이용한 비주얼 오도메트리 장치 및 그 방법 | |
JP2017182564A (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
Russo et al. | Blurring prediction in monocular slam | |
CN116259001A (zh) | 一种多视角融合的三维行人姿态估计与追踪方法 | |
CN116151320A (zh) | 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置 | |
Xu et al. | Dynamic object detection using improved vibe for RGB-D SLAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191008 |