JP3322278B2 - 3次元物体位置姿勢検出法 - Google Patents
3次元物体位置姿勢検出法Info
- Publication number
- JP3322278B2 JP3322278B2 JP09468493A JP9468493A JP3322278B2 JP 3322278 B2 JP3322278 B2 JP 3322278B2 JP 09468493 A JP09468493 A JP 09468493A JP 9468493 A JP9468493 A JP 9468493A JP 3322278 B2 JP3322278 B2 JP 3322278B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- model
- orientation
- measurement
- advance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
距離計測により対象物体の3次元形状データを獲得し、
それを基に対象物体が未知の姿勢に置かれた場合を想定
して計測した距離のデータを用いて当該対象物体の現在
置かれた未知なる位置と姿勢を検出する3次元物体位置
姿勢検出法に関するものである。
投影法(長島,坂内,中嶋著「3次元画像データの取得
・蓄積・表示」画像電子学会誌第20巻第4号1991
年pp.508−522)等によって次のように獲得さ
れる。図14(a)に示すよう投影部1から投影された
スリット光2が物体αに照射され、照射された光を受光
部3で撮影し、三角測量の原理でスリット光2の照射さ
れた部分α1の距離が算出される。ここで、回転テーブ
ル4を回転させながら距離データを得ることにより、物
体モデルα′の全3次元形状データが作成される。
成される物体αの場合、得られた距離データに対して平
面を割付け、図14(b)に示すようS1〜S6の平面
で物体モデルα′を表現する。隣接する平面の関係を示
すと図14(d)のようになる。
場合に、その物体モデルα″の位置と姿勢を検出する方
法として、前記物体モデルα′のデータ作成時と同様に
して物体モデルα″を表現すると、隣接する平面の関係
は図14(e)に示すようになる。
着目することにより物体モデルα′上の平面と物体モデ
ルα″上の平面との対応関係が得られる。例えば図14
(b)と図14(c)において平面S1と平面P1が対
応し、平面S2と平面P5が対応することが分かったと
すると、図14(d)及び図14(e)から全ての平面
の対応が取れ、未知姿勢の物体モデルα″の距離データ
上に割付けられた平面3次元空間内の位置と向きが明か
となるので、物体αの位置と姿勢が算出される。
来の検出方法では、平面の組合わせによる物体αにのみ
しか適用できず、また、物体αの位置姿勢検出に先立
ち、得られた距離データに平面を割付け、未知の姿勢状
態の物体モデルα″の全形状を再構成し、物体モデル
α′の面と再構成された物体モデルα″の面との対応づ
けをしなければならないので、検出に多大な処理時間を
要する等の問題点がある。
ジセンサがポイントセンサのみの組合わせやラインセン
サのみに限定される等、ある特定の種類にしか使用でき
ない検出方法であり、様々な形状の物体αの位置姿勢を
検出し得るものではない。ここにおいて、本発明は前記
従来の課題に鑑み、予め対象物体の3次元形状データを
レンジセンサにより計測し、対象物体が未知の姿勢状態
に置かれた場合を想定し、ポイントセンサ、ラインセン
サ、エリアセンサ等の任意の組合わせによる3次元距離
測定装置によって得られる3次元形状データを用いて、
対象物体の表面が平面に限らず任意の形状を有する物体
においても位置及び姿勢の検出が行える3次元物体位置
姿勢検出法を提供せんとするものである。
明が次に列挙する新規な特徴的構成方式を採用すること
により達成される。即ち、本発明の第1の特徴は、物体
の形状である物体モデルに基づいて物体の位置及び姿勢
を検出する方法において、まず、対象物体の形状を予め
計測して前記物体モデルを作成するとともに、当該物体
モデルの各座標軸の符号を反転させることにより得られ
る反転モデルを生成しておき、次いで、未知の位置姿勢
に置かれた当該対象物体に対して、予め位置と計測方向
が決定されている二個以上の任意個数及び任意種別の距
離センサーにより当該対象物体の距離を観測し、引続
き、前記物体あるいは物体モデル上の着目点に対する前
記反転モデル上の点を前記距離センサー観測点に一致さ
せた時の当該反転モデルの表面を当該各距離センサー計
測点について得、全ての共通領域を求めることにより前
記物体モデル上の任意の一点としての着目点の位置及び
方向を定め、前記物体の位置及び姿勢を確定してなる3
次元物体位置姿勢検出法である。
物体モデルに基づいて物体の位置及び姿勢を検出する方
法において、まず、対象物体の形状を予め計測して前記
物体モデルを作成するとともに、当該物体モデルの各座
標軸の符号を反転させることにより得られる反転モデル
を生成しておき、次いで、未知の位置姿勢に置かれた当
該対象物体に対して、予め位置と計測方向が決定されて
いる二個以上の任意個数及び任意種別の距離センサーに
より当該対象物体の距離を観測し、引続き、前記物体あ
るいは物体モデル上の着目点に対する前記反転モデル上
の点を前記距離センサー観測点に一致させた時の当該反
転モデルの表面を前記各距離センサー計測点について
得、全ての共通領域を求めることにより前記物体モデル
上の任意の一点としての着目点の位置及び方向を定め、
さらに、前記物体の置かれる作業台あるいは当該物体を
固定するための治具部材の存在位置によって前記物体モ
デル上の任意の一点としての着目点の存在候補領域を限
定することにより、前記物体の位置及び姿勢を確定して
なる3次元物体位置姿勢検出法である。
物体モデルに基づいて物体の位置及び姿勢を検出する方
法において、まず、対象物体の形状を予め計測して前記
物体モデルを作成するとともに、当該物体モデルの各座
標軸の符号を反転させることにより得られる反転モデル
を生成しておき、次いで、予め作業台に水平な面で前記
物体を切断した断面輪郭パターンを作業台からの距離に
応じて複数用意しておき、引続き、姿勢検出時は未知の
位置姿勢に置かれた当該対象物体に対して、予め位置と
計測方向が決定されている二個以上の任意個数及び任意
種別の距離センサーにより当該対象物体の距離を観測
し、さらに、1点目の計測点に対する前記断面輪郭パタ
ーン上の各点について、1点目の計測座標に対する座標
変換を施した上で、2点目以降の計測点に対する当該断
面輪郭パターンを参照し、参照したパターンの値が前記
断面輪郭を示す場合に位置姿勢の候補の一つとし、参照
したパターンの値が前記断面輪郭を示さない場合には、
当該点は候補から除外する操作を繰り返すことにより前
記各距離センサー計測点の座標に応じて重ね合わせた前
記断面輪郭パターン共通領域を求めることで前記物体モ
デル上の任意の一点としての着目点の位置及び方向を定
めることにより、前記物体の位置及び姿勢を確定してな
る3次元物体位置姿勢検出法である。
物体モデルに基づいて物体の位置及び姿勢を検出する方
法において、まず、対象物体の形状を予め計測して前記
物体モデルを作成するとともに、当該物体モデルの各座
標軸の符号を反転させることにより得られる反転モデル
を生成しておき、次いで、予め作業台に水平な面で前記
物体を切断した断面輪郭パターンを作業台からの距離に
応じて複数用意しておき、引続き、姿勢検出時は未知の
位置姿勢に置かれた当該対象物体に対して、予め位置と
計測方向が決定されている二個以上の任意個数及び任意
種別の距離センサーにより当該対象物体の距離を観測
し、さらに、1点目の計測点に対する前記断面輪郭パタ
ーン上の各点について、1点目の計測座標に対する座標
変換を施した上で、2点目以降の計測点に対する当該断
面輪郭パターンを参照し、参照したパターンの値が前記
断面輪郭を示す場合に位置姿勢の候補の一つとし、参照
したパターンの値が前記断面輪郭を示さない場合には、
当該点は候補から除外する操作を繰り返すことにより前
記各距離センサー計測点の座標に応じて重ね合わせた前
記断面輪郭パターンの共通領域を求めることで前記物体
モデル上の任意の一点としての着目点の位置及び方向を
定め、その上、前記物体の置かれる作業台あるいは前記
物体を固定するための治具部材の存在位置によって前記
物体モデル上の任意の一点としての着目点の存在候補領
域を限定することにより、前記物体の位置及び姿勢を確
定してなる3次元物体位置姿勢検出法である。
発明では、モデルに基づく物体の位置及び姿勢を検出す
るにあたり、先ず、対象のモデルを作成するために、回
転台に対象物体を置いて、台を回転させながら距離計測
を行って物体モデルを作成し、続いて、得られた物体モ
デルを用いて、物体の反転モデルおよび断面形状パター
ンを作成する。
デルと同一形状の物体が未知の姿勢の状態におかれた場
合の姿勢検出処理を行なう。姿勢検出に用いるセンサー
の個数、種類は任意の組み合わせが可能である。物体の
形状、作業対象箇所に応じて、ポイントセンサー、ライ
ンセンサー等、複数各種センサーの配置を行なう。
て、各センサーによる計測を行なう。物体自体の位置お
よび姿勢は、物体モデル上の任意の着目点の位置および
方向を定めることにより決定できるので、その着目点の
位置を求めればよい。姿勢検出処理は、任意個数および
任意種別のセンサーにより観測される位置データ、およ
び、物体の置かれる作業台等は物体表面のいずれかの部
分で物体と接触することにより、物体の存在し得る範囲
が限られた範囲内に拘束されるという原理に基づくもの
である。
補領域の共通部分、あるいは、断面形状パターンの共通
領域を求める。この処理により、各センサーによる姿勢
候補を統合して、物体の位置・姿勢を得ることができ
る。存在候補の領域を順次狭めたり、回転の刻み幅を徐
々に変えることにより、検出精度を向上させることがで
きる。なお、この処理は、物体の大まかな位置決め処理
として用い、モデルと観測データとの距離の二乗誤差を
最小化する精モードの姿勢検出法としての後処理を設け
ることもできる。
位置姿勢検出方法では、物体の位置姿勢を求める操作
は、物体上の着目点の位置・姿勢を求めることであり、
この操作は、3次元物体の反転モデル上の着目点をセン
サー計測点に位置させた時に、各センサー計測点に対す
る反転モデルの共通領域を求める操作として効率的に、
かつ、物体の形状に依存することなく柔軟に行なうこと
ができる。
としての着目点の位置および方向を定めることにより、
物体自体の位置および姿勢が決定できること、さらに、
任意個数および任意種別のセンサーにより観測される位
置データ、および、物体の置かれる作業台、等は物体表
面のいずれかの部分で物体と接触することによって物体
の存在し得る範囲が限られた範囲内に拘束されるという
原理に基づいて、モデルに基づく物体の位置および姿勢
を検出する方法である。
させることにより得られる反転モデルを生成し、物体上
の着目点に対する反転モデル上の点をセンサー観測点に
一致させた時の反転モデルの表面を、各センサー計測点
について得、全ての共通領域を求めることにより、物体
の位置および姿勢を確定する。
反転モデル上の着目点をセンサー計測点に一致させた時
に、各センサー計測点に対する反転モデルの共通領域を
求めるにあたり、予め作業台に水平な面で物体を切断し
た断面輪郭パターンを、作業台からの距離に応じて複数
用意しておき、姿勢検出時は、各センサー計測点の座標
に応じて重ね合わせた断面輪郭パターンの共通領域を求
めるために、1点目の計測点に対する断面輪郭パターン
上の各点について、1点目の計測座標に対する座標変換
を施した上で、2点目移行の断面輪郭パターンを参照
し、参照したパターンの値が断面輪郭を示す場合に位置
姿勢の候補点とし、参照したパターンの値が断面輪郭を
示さない場合には、当該点は候補点から除外する操作を
繰り返すことで、候補領域を限定することにより、物体
の位置姿勢を確定するという、極めてに簡素な構成によ
る。
および個数に依存せず、複数のセンサーの計測結果を統
合することにより、物体の位置姿勢検出処理が高速に行
なえ、センサーの個数や観測条件の不足により、位置や
姿勢を限定できない場合でも、物体の位置および姿勢の
候補を領域として示すことができる。
で、本実施例の説明に先立って、その基本原理について
図面を参照しながら説明する。図1(a)(b)(c)
はそれぞれ物体モデル図と複数のセンサーによる物体の
距離計測図と1つのポイントセンサーの計側点に対して
存在し得る着目点の軌跡図、図2(a)(b)はそれぞ
れ反転モデル図と反転モデルを用いた着目点の存在領域
の検出手順を示す図である。図中、βは平面物体、β′
は平面物体モデル、β″は反転平面モデル、5a〜5c
はポイントセンサーである。
の直線β2〜β4によって構成される対象平面物体βを
ポイントセンサー5a〜5cで計測しそれを基に平面物
体モデルβ′を作成する。この平面物体モデルβ′の位
置と姿勢は、2次元平面上での座標と回転の3つの値に
よって表現できる。これは、平面物体モデルβ′上の任
意の1点のx,y座標と回転の3つの値であり、例えば
図1(a)に示す点Aを選んでもよい。
センサー5a〜5cにより距離データが得られたとする
(ポイントセンサーは平面物体βに当る1点のみの座標
値を計測する)。平面物体モデルβ′はポイントセンサ
ー5a〜5cにより計測された計測点K1〜K3に必ず
接する。平面物体モデルβ′の回転を図1(a)に示す
向きに固定して考えると、ポイントセンサー5aによっ
て計測され得る平面物体モデルβ′は、図1(c)に示
すように様々な位置を取り得る。
β′上の点Aの軌跡として図1(c)における領域Lが
作成される。同様にして、ポイントセンサー5b,5c
についても図示しない点Aの軌跡が作成される。これら
軌跡が点Aの存在範囲の候補領域Lであり、ポイントセ
ンサー5a〜5cまでに関する点Aの軌跡の交点を求め
ることで実際の点Aの位置が確定できる。
デルβ′上の点Aの候補領域Lを求めるには、ポイント
センサー5aの計測点K1に平面物体モデルβ′を接す
るようにしたのであるから、その平面物体モデルβ′上
の任意の点は、平面物体モデルβ′の表面形状に対し
て、x,y平面上で考えればx方向に−x,y方向に−
yの反転を行なった形状を描く。
デルβ′の表面の形状をy=f(x)(但しこれは原点
を通りf(0)=0)、各ポイントセンサー5a〜5c
により計測された点をP(xp ,yp )とし、平面物体
モデルβ′の表面を点Pに接した場合、平面物体モデル
β′上の原点(0,0)が描く点は(xp −x,yp−
y)となり、これは平面物体モデルβ′を原点を中心に
点対称に反転させ、さらに(xp ,yp )だけ平行移動
させて得られる形状となる。
面物体モデルβ′がf(x,y)=0で表されるものと
すると、姿勢検出のために着目する点Aを(x A ,
y A )とする。なお、点Aは平面物体モデルβ′上の点
である。ここで未知の位置に置かれた対象平面物体βを
観測した時の各ポイントセンサー5a〜5cの計測点を
P(x p ,y p )とする。平面物体モデルβ′の全外形
(外形上の任意の点をX0 とする)を計測点Pに接した
ときの点Aの軌跡は次式の通り、(x T ,y T )として
示される。
平行移動させた時の反転平面モデルβ″の外形を示して
いる。
のポイントセンサー5aによって計測され得る対象平面
物体βの表面範囲は、対象平面物体β表面の法線ベクト
ルと、ポイントセンサー5a〜5cの方向ベクトルとの
内積が負である範囲である(ポイントセンサー5aの方
向ベクトルは、センサー本体を始点として計測方向を向
くものである)。
ルβ′をx,y方向に反転させ、得られるモデルを図2
(a)に示すように反転平面モデルβ″とすると、図1
(a)における平面物体モデルβ′上の点Aに対する図
2(a)における反転平面モデルβ″上の点は点A′と
なる。以上により、1つのポイントセンサー5a対する
平面物体モデルβ′上の点Aの軌跡を求めるには、ポイ
ントセンサー5aの計測点K1に反転平面モデルβ″の
点A′を一致させ、平面物体モデルβ′の表面の法線方
向ベクトルと、ポイントセンサー5aの方向ベクトルと
の関係に応じて計測され得る表面の部分を描くことによ
り、図1(c)に示す点Aの存在範囲の候補領域として
領域Lが得られる。
トセンサー5a〜5cについて行うことにより、ポイン
トセンサー5a〜5cに対応する点A′の軌跡である領
域L1〜L3が得られ、平面物体モデルβ′上の点Aの
存在範囲の候補となる。実際の点Aの位置はこれらの存
在範囲の候補が一致する点、即ち領域L1,L2,L3
が交わる領域であり図2(b)に示す点C1として平面
物体モデルβ′の点Aの位置が得られる。
外す場合は、反転平面モデルβ″を微小量ずつ回転させ
るごとに、前記の点Aの存在範囲を求める処理を行うこ
とにより、平面物体モデルβ′の姿勢を求めることがで
きる。なお、処理速度を向上させるため、反転平面モデ
ルβ″を回転させる時の回転角度の刻み幅θに応じて次
のような処理を行う。即ち、図2(b)における、1つ
のポイントセンサー5aによって得られる点Aの軌跡で
ある領域L1を図3に示すようポイントセンサー5aの
計測点K1の回りにθだけ回転させて得られる斜線部の
領域が、ポイントセンサー5aに対する候補領域であ
り、他のポイントセンサー5b,5cに対しても同様
に、L2,L3の領域を各々K2,K3の回りにθだけ
回転させて得られる領域が、ポイントセンサー5b,5
cの候補領域となる。このようにして3つのセンサー5
a,5b,5cに対する候補領域に共通範囲が存在すれ
ば、その範囲内で回転の刻み幅θを小さくし、再び共通
の存在範囲を求めることにより、平面物体モデルβ′の
位置及び姿勢の検出精度を向上することができる。
ンサーを用いて平面物体の未知なる位置及び姿勢を確定
するには、1つのポイントセンサー5aと1つのライン
センサー6a(投影光の平面と平面物体表面との交線上
の点列の座標値を計測する)を用いて、直角三角形DE
Fを平面対象物体γとし、その位置及び姿勢を検出する
場合、始めに図4(a)に示すようにポイントセンサー
5dとラインセンサー6aにより対象平面物体γの距離
計測を行い、計測点K4を端点とした点列t1と、計測
点K5で対象平面物体γと接触するという結果に基づき
平面物体モデルγ′を作成する。ここでは、対象平面物
体γは回転しないものとする。
γ′の点Fに対する反転平面モデルγ″上の点F′を計
測点K4,K5に合わせ、前記で述べたように点Fの存
在範囲の候補領域L4,L5を求めると、ラインセンサ
ー6aによる候補領域L4とする軌跡と、ポイントセン
サー5dによる候補領域L5とする軌跡が得られ、共通
領域L4,L5とする軌跡相互の交点である点C2が対
象平面物体γの点Fの位置となる。但し、ラインセンサ
ー6aに対する点Fの候補領域L4とする軌跡は、実際
の計測領域が点列t1で示す幅を有しているので、反転
平面モデルγ″上の点D′より点列t1の長さ分、E′
方向に変位した点から点E′までの範囲となる。
し、例えば直角三角形DEFの辺DEが水平となる場
合、平面物体モデルγ′の点Dの位置を確定するものと
して、図4(c)に示すように反転平面モデルγ″の点
D′を計測点K6,K7に一致させ、前記同様にして点
Dの候補領域L6,L7とする軌跡を得、軌跡相互の交
点である点C3が対象平面物体γの点Dの位置として得
られる。これにより得られた平面物体モデルγ′の状態
は図4(c)の破線によって示される。
ー5d,6aによる計測の結果、角度条件を変えること
により複数の姿勢候補が得られたが、計測点不足により
限定されない複数の物体モデルγ′の姿勢候補を得るこ
とが可能であるということが言える。
上に置かれた場合につき図面を参照しながら説明する。
図5(a)に示すよう対象平面物体γが拘束面7上に置
かれている。但し、対象平面物体γの辺EFは拘束面7
に接するように置かれているものとする。ポイントセン
サー5e,5fの計測の結果、計測点K8,K9で対象
平面物体γと接することが分かったとする。これにより
平面物体モデルγ′を作成し、前記で述べたように反転
平面モデルγ″により点Fの存在範囲の候補領域を求め
る。
ることはあり得ないので、図5(b)に示すよう計測点
K8に対する点Fの候補領域として領域L8を得、計測
点K9に対する点Fの候補領域として領域L9を得る。
平面物体モデルγ′上の点Fの位置は、前記両候補領域
である領域L8と領域L9との共通領域である交点C4
として求められる。
ていることが分かっているとすれば、点Fは、拘束面7
上にあることになるので、一方向のみの計測点K8又は
計測点9に対する領域L8又は領域L9と拘束面7との
交点を、点C4の位置とすることができる。次に図5
(a)における対象物体γが図5(c)に示すよう18
0度回転した状態にあるとする。但しポイントセンサー
5e,5fによる計測点は同じ点K8,K9とする。
γ″より計測点K8に対する点Fの候補領域として領域
L10と領域L11を得、計測点K9に対する点Fの候
補領域として領域L12を得る。領域L11と領域L1
2は点C5において交わるが、平面物体モデルγ′は拘
束面7から距離d1以上(d1は対象平面物体γの辺D
Fの長さ)離れていなければならないので、点C5は平
面物体モデルγ′の点Fの位置とはならない。
物体γの辺DEが拘束面7にある間隔で平行になるよう
にした状態にあるとした時の平面物体モデルγ′上の点
Dの候補領域を求めるものであり、前記と同様にして図
6(b)に示すように計測点K8,K9に対する平面物
体モデルγ′の点Dの候補領域である領域L13,L1
4の共通領域として点C6が得られる。図6(b)に示
す破線は求められた平面物体モデルγ′の姿勢を示すも
のである。
置および姿勢の確定手順を踏まえて以下の本発明の3次
元物体位置姿勢検出法に応用した実施例につき説明す
る。
(b)はそれぞれ本実施例において3次元物体に対しラ
インセンサーとポイントセンサーによる計測斜視図と反
転モデルを用いて着目点の位置を求める手順の説明図で
ある。
はポイントセンサー、6bはラインセンサー、8は作業
台である。本実施例は図7(a)に示すような5面体D
EFGHIである3次元の対象物体δの位置姿勢検出を
ポイントセンサー5gとラインセンサー6bを用いて行
う場合を説明する。
元の対象平面物体γのときと同様にして行える。図7
(a)に示すように対象物体δが作業台8上に置かれて
いるものとする。これに対してポイントセンサー5gに
よる計測点K17及び、ラインセンサー6bによる計測
点K18を端点とした点列t2が得られたとする。これ
を基に物体モデルδ′を作成する。
ルδ″上の点D′を図7(b)に示すように、計測点K
17と計測点K18に合わせると、計測点K17に対す
る物体モデルδ′上の点Dの存在範囲の候補領域は、面
DHGに対する反転モデルδ″上の面D′H′G′であ
り、計測点K18に対する物体モデルδ′上の点Dの存
在範囲の候補領域は、面FGHIに対する反転モデル
δ″上の面F′G′H′I′となり、2つの面の交線が
物体モデルδ′上の点Dの候補領域となる。
置かれているので、点Dは作業台8上に存在することに
なり、図7(b)に示すように計測点K17に対する候
補領域は領域L19,計測点K18を端点としたセンサ
域t2に対する候補領域は領域L18となり、2つの領
域L18,L19の交点C8が求める物体モデルδ′上
点Dの存在位置となる。
ついて説明する。図8(a)(b)(c)はそれぞれ本
実施例において3次元物体が作業台上に置かれた時の2
つのラインセンサーによる計測斜視図と反転モデルを用
いた着目点の位置を求める図と同図(b)を真上から見
た平面図である。図中、δは物体、δ′は物体モデル、
6c,6dはラインセンサー、8は作業台である。
c,6dを用いて前記3次元の対象物体δを位置姿勢検
出を行う。前記同様、図8(a)に示すように対象物体
δが作業台8上に置かれているものとし、これに対して
2つのラインセンサー6c,6dによる点列t3,t4
が得られたとする。これを基に物体モデルδ′を作成す
る。
ル上の着目点の存在領域を得る場合は、次のようにして
もよい。姿勢未知の状態として、図8(a)に示すよう
に、5面体が置かれており、2つのラインセンサー6c
及び6dによって計測された結果、点列t3 及び点列
t4が得られたとする。点列t3の両端点をK19及び
K20とし、各々、作業台8からの高さをh1及びh2
とする。また、点列t4の一方の端点をK21、中間の
一点をK22、終点をK23とし、各々、作業台8から
の高さをh3,h4及びh5とする。ここでは、反転モ
デルδ″を用いて、物体δ上の点Eの位置を求めるもの
とする。
るので、点列上の各点について、前述のポイントセンサ
ーの計測点に対する存在候補領域獲得の処理と同様の処
理を施すことにより、点列に対する着目点の存在候補領
域を得ることができる。例えば、点列t4上の計測点K
21に反転モデルδ″の点E′を合わせた反転モデル
δ″をδ2″、計測点K22に対するものをδ3″など
のように、反転モデルδ″上の点E′を点列t4に沿っ
てスライドさせる。物体モデルδ′上の面DEIHに対
応する反転モデルδ″上の面も、これに伴ってスライド
するが、スライドした全ての反転モデルδ″上の面の共
通範囲が、求める点Eの存在範囲候補領域となる。
い、全てのセンサー6c,6dにより得られる反転モデ
ルδ″上の着目点の存在範囲候補領域の共通部分をもと
めることにより、物体モデルδ′の点Eの位置、即ち、
未知姿勢にある物体δの姿勢を定めることができる。な
お、センサー数の制限により、物体δの姿勢が一つの状
態に確定できなくとも、そのセンサー数およびセンサー
配置におけるセンサー計測結果に対して、可能な物体δ
の位置・姿勢の状態を得ることができる。
上の各点について、反転モデルδ″を合わせ、対応する
候補領域の共通範囲を求めることにより、候補領域を得
ることができるが、着目する物体δ上の点が、作業台8
上に存在することが分かっていれば、次のように処理を
簡素化して示すことができる。
さ)における物体モデル
19,K20,K21,K22,K
る。図8(c)は図8(a)を真上から見た図となって
いる。例として、図8(a)のセンサー計測点K19
に、点Eに対応する反転モデルδ″上の点E′を合わせ
たとき、作業台8と反転モデルδ″との交線は、物体モ
デルδ′をK19の高さの水平面、即ち、高さh1の平
面で切って得られる断面を反転させたものとなる。この
結果、図8(c)に示すように、K19に対応する候補
領域として、長方形J1の上辺が得られ、同様に、K2
0に対応する候補領域として長方形J2の上辺が得られ
る。
列t3に添ってスライドさせた時の候補の共通領域とし
て、図8(c)のL20が得られる。一方、センサー計
測点列t4に関しても同様の処理を行なうことにより、
例えば、計測点K21,K22,K23に対する候補領
域として、図8(c)の長方形U1,U2,U3の左辺
が得られ、共通領域としてL21が得られる。L20と
L21との共通点C9が求めるE点の位置となる。
さは、計測点の違い応じて可変としてもよい。例えば、
センサーの観測方向と、物体面の法線方向との関係に応
じて、観測される距離データの信頼性が異なる場合、信
頼性が高い部分では候補領域を狭くしておき、信頼性が
低い部分では候補領域にさらに幅を持たせるようにして
もよい。
ついて説明する。図9(a)は本実施例において作業平
面と平行な面上の点列による物体モデルの表現図、同図
(b)(c)(d)はそれぞれ断面輪郭パターンの説明
図および交差点座標値表図、図10(a)(b)はそれ
ぞれ本実施例において作業テーブル上で断面輪郭パター
ンの共通領域を求める手順についての説明図および交差
点座標値表図である。
示すように、テーブル4を回転させながら距離データを
獲得することにより得られた物体モデルα′のデータを
用いて、図9(a)に示すように、水平面に平行な断面
形状によって、モデルを作成し直すことが容易にでき
る。即ち、高さに応じて、H1,H2,…Hi,…のよ
うな点列によって構成される輪郭を得ることができる。
なお、図14(a)で示した操作により得られたデータ
のみでは、回転刻みの粗さのために各水平面の一周分の
輪郭を表現できない場合には、データを補間して、Hi
(i=1,2,…)などの輪郭点列を作成すればよい。
また、水平断面の高さ方向の刻みは任意に設定すればよ
い。
ターンとして表現できる。輪郭部の値を1、その他を0
で示している。値が1の点を図9(c)のようなテーブ
ルとして表にしておくこともできる。また、物体のモデ
ルの外形形状の精度に応じて、図9(b)で示す水平断
面の輪郭に厚みを設けてもよい。さらに、値が0または
1の2値に限らず、図9(d)に示すように、輪郭を表
す箇所の値を多値とし、例えば、断面の中央部に高い値
を設定し、周辺部に低い値を設定するようにしてもよ
い。
により、姿勢を検出することができる。図8(c)の長
方形J1,J2,U3,U2,U3等が図9(b)の断
面形状の輪郭に相当するものである。前述したように、
検出原理は、各観測点に応じて得られる、反転モデル
δ″上の候補点の共通部分を求めることである。図9
(b)のパターンを用いれば、図10(a)に示すよう
に、物体上の着目する1点の候補領域として、各観測点
に対してH1,H2,H3の領域ができる。これらの共
通部分Sが、求める着目点の位置となる。この際の操作
として、まず、初期状態として、全要素の値が0の作業
テーブルに、H1,H2,H3の各領域の値を累積加算
して行き、累積値が候補領域の個数と同じ値(この場合
は3)である領域を得る操作を行えばよい。
ために、値が加算累積された領域についてのみ、さらに
断面形状を重ねた際の共通領域存在の判定を行なうよう
にしてもよい。例えば、図10(a)において、H1,
H2の共通領域についてのみ、H3との共通領域が存在
するかどうかのチェックを行なうようにすればよい。
状の全てが共通領域を有する領域は存在しない。H1と
H2が点1および点2で共通領域を持つとする。図10
(c)に示すように、点1および点2の座標を示す交差
点テーブルを作成することができる。続いて、H3との
共通領域を求める場合は、交差点テーブルに記述された
座標に対してのみ、H3との共通領域が存在するかどう
かのチェックを行なえばよい。共通領域存在のチェック
は次のように、2次元パターン参照操作として実現する
ことができる。
示すパターン(図9(b)のパターンに相当する)をH
1とし、H1上の点を(XH1,YH1)とする。そ
平断面輪郭を示すパターンHj上の点を(XHj,yHj)
とする。ここで、回転θに対する行列Aθ をつぎの通
り定める。即ち、
次元座標に対して、次式による変換を行なうことによっ
て得られる点(XGj,YGj)における、水平断面輪郭パ
ターンHjの値を参照する。
(“1”あるいは“ON”)であれば、共通領域が存在
することがいえる。また、断面輪郭が、図9(d)に示
すような多値で表現される場合は、参照した値の大きさ
により、共通領域が存在する程度を得ることもできる。
参照した値がON(あるいは図9(d)の多値のパター
ンに関して、ある指定した値以上)であった点を、図1
0(c)に示す交差点テーブルに記述する。次回以降の
交差点判定の際には、(5)式における点(XH1,YH
1)として、交差点テーブルに記述された点のみについ
て、判定を行ない、2次元パターン参照操作の結果に従
って、交差点テーブルを更新してゆくようにすればよ
い。
合、交差点テーブルに、座標値と参照値とを共に記述す
るようにしてもよい。この場合、例えば、H1 とH2 と
の共通領域チェックでは参照値が低くても、他の断面形
状輪郭との共通領域チェックにおいて参照値が高けれ
ば、候補から削除しないように処理することができる。
記操作を行なうことにより、物体の位置姿勢を求めるこ
とができる。センサーの観測方向によっては、図3
(b)等で示したように、着目点の存在候補の領域は、
物体の断面輪郭の全部ではなく、一部分のみになるた
め、図9および図10の方法おいても、センサーの観測
方向を考慮した、共通領域存在のチェックを行なうよう
にしてもよい。
物体の姿勢がある範囲まで限定され、計測点が対応する
物体モデル上の範囲が限定されれば、最小二乗法などに
より、物体の姿勢を確定することができる。即ち、前記
第1乃至第3実施例の物体の位置姿勢検出法によって、
図11に示すように、ポイントセンサーとラインセンサ
ーの観測点と、物体モデル上の点との対応関係が、斜線
で示すように、ある程度の局所領域にまで、限定され
る。この場合、さらに精度の高い位置姿勢を算出するた
めに、複数のセンサーによる全ての計測点データを用い
て、物体モデル上の対応位置の点をx,y方向の並進と
回転を施した結果の位置と、センサーによる計測位置と
の差の二乗和が最小となるように、並進量と回転角を決
定すればよい。
用いていたが、作業によって、物体の局所部の位置・姿
勢が分かればよい場合、モデルとして物体の全形状をと
らなくてもよく、局所部のみのデータをモデルとしても
っておくようにしてもよい。
等を用いた非接触式もの、触覚センサーによる接触式の
ものなど、計測の方式には依存しない。3次元の場合、
センサーとしてエリアセンサーを使用することができ
る。また、上述の説明では、ラインセンサーによる観測
点では、1つの平面と物体との交線によって示される3
次元点列が観測されるものとしたが、これに限らず、任
意の点列の組が観測されるものとしてよい。例えば、ポ
イントセンサーの方向を任意の方向に振りながら計測さ
れる点列とすることもできる。
る。先ず、回転台に対象物体をおいて距離計測すること
により、対象の形状を入力する。続いて、得られた距離
データを用いて、物体の反転モデルおよび断面形状パタ
ーンを作成する。物体の形状、作業対象箇所に応じて、
複数各種センサーの配置を行なう。ここまでの処理を、
前処理として行なう。即ち、物体の形状が同じ物につい
ては、以上の処理を一回で行なった上で、未知の姿勢に
置かれた同一値形状の物体に対して、以下の処理を行な
う。
て、各センサーによる計測を行なう。物体の位置・姿勢
は、物体上の一点の位置と向きによって示すことができ
るので、その着目点の位置を求めるために、各センサー
計測点に対する反転モデルの候補領域の共通部分、ある
いは、断面形状パターンの共通領域を求める。この処理
により、各センサーによる姿勢候補を統合して、物体の
位置・姿勢を得ることができる。存在候補の領域を順次
狭めたり、回転の刻み幅を徐々に変えることにより、検
出精度を向上させることができる。この処理のみによ
り、精度の向上も可能であるが、以上の結果を大まかな
位置決め処理として用い、モデルと観測データとの距離
の二乗誤差を最小化するなどの方法により、精モードの
姿勢検出を行なうことができる。
うかのチェックにおいて、2値パターンの参照処理を行
なう方法を示したが、これに限らず、例えば、図13に
示すように、断面輪郭形状を覆う外接矩形枠を、予め階
層的に作成しておき、矩形枠同士の交差判定処理を行な
い、交差していれば、下層の矩形枠について同様な交差
判定を行なうという、たんざく木(strip tree)(文献
参照:Ballard Brown:“コンピュータ・ビジョン”,p
p.307−312,日本コンピュータ協会)を用いる
交差判定を行なうようにしてもよい。
な構成により次の優れた効果が得られる。即ち、物体形
状の違いに依存せず、また、センサーの種別に依存せ
ず、統一した手法で物体の位置姿勢検出が行なえるとと
もに、複数のセンサーの計測結果を統合することにより
姿勢決定が行なえ、しかも、センサーの個数や観測条件
の不足により、位置や姿勢を限定できない場合でも、物
体の位置および姿勢の候補を領域として示すことができ
る。その上、反転モデルあるいは断面形状パターンの共
通領域が存在するかどうかのチェックにより物体の位置
姿勢の候補を得ることができるので、高速処理が可能で
ある。
ある物体の平面図、(b)は複数のポイントセンサーに
よるある物体の観測図、(c)は一つのポイントセンサ
ーの観測点に対して存在し得る着目点の軌跡図である。
反転モデルを用いた着目点の存在領域の検出手順を示す
図である。
の領域の広がりを示す図である。
て、(a)は直角三角形平面物体をポイントセンサーと
ラインセンサーによる2種類のセンサーでの計測図、
(b)(c)は同・反転平面モデルをそれぞれ用いた姿
勢確定手順の説明図である。
場合、(a)は直角三角形平面物体を拘束面上に置いた
計測図、(b)(c)(d)は同・反転平面モデルをそ
れぞれ用いた姿勢確定手順の説明図である。
が拘束面に対し平行に置いた計測図、(b)は同・反転
モデルを用いた姿勢確定手順の説明図、(c)は同・E
F底辺が拘束面に対し30°回転した計測図、(d)は
同・反転モデルを用いた姿勢確定手順の説明図である。
物体に対してラインセンサーとポイントセンサーによる
計測斜面図、(b)は同・反転モデルを用いて着目点の
位置を求める手順の説明図である。
物体が作業台上に置かれたときの2つのラインセンサー
による計測斜面図、(b)は反転モデルを用いてセンサ
ー観測点の高さに応じた物体断面形状の共通領域を求め
ることにより着目点位置を確定する手順についての説明
図、(c)は(a)の真上から見た図である。
面と平行な面上の点列による物体モデルの表現図、
(b)(c)(d)は同・それぞれ断面輪郭パターンの
説明図および交差点座標値表図である。
輪郭パターンの共通領域を求める手順に付いての説明
図、(c)は交差点座標値表図である。
点とそれぞれ対応する物体モデル上の局所領域を示す図
である。
ら姿勢検出までの流れ図である。
用した場合について説明する図である。
距離計測斜面図、(b)(c)(d)(e)は従来の多
面体の姿勢検出手順の説明図である。
Claims (4)
- 【請求項1】物体の形状である物体モデルに基づいて物
体の位置及び姿勢を検出する方法において、まず、対象
物体の形状を予め計測して前記物体モデルを作成すると
ともに、当該物体モデルの各座標軸の符号を反転させる
ことにより得られる反転モデルを生成しておき、次い
で、未知の位置姿勢に置かれた当該対象物体に対して、
予め位置と計測方向が決定されている二個以上の任意個
数及び任意種別の距離センサーにより当該対象物体の距
離を観測し、引続き、前記物体あるいは物体モデル上の
着目点に対する前記反転モデル上の点を前記距離センサ
ー観測点に一致させた時の当該反転モデルの表面を当該
各距離センサー計測点について得、全ての共通領域を求
めることにより前記物体モデル上の任意の一点としての
着目点の位置及び方向を定め、前記物体の位置及び姿勢
を確定することを特徴とした3次元物体位置姿勢検出
法。 - 【請求項2】物体の形状である物体モデルに基づいて物
体の位置及び姿勢を検出する方法において、まず、対象
物体の形状を予め計測して前記物体モデルを作成すると
ともに、当該物体モデルの各座標軸の符号を反転させる
ことにより得られる反転モデルを生成しておき、次い
で、未知の位置姿勢に置かれた当該対象物体に対して、
予め位置と計測方向が決定されている二個以上の任意個
数及び任意種別の距離センサーにより当該対象物体の距
離を観測し、引続き、前記物体あるいは物体モデル上の
着目点に対する前記反転モデル上の点を前記距離センサ
ー観測点に一致させた時の当該反転モデルの表面を前記
各距離センサー計測点について得、全ての共通領域を求
めることにより前記物体モデル上の任意の一点としての
着目点の位置及び方向を定め、さらに、前記物体の置か
れる作業台あるいは当該物体を固定するための治具部材
の存在位置によって前記物体モデル上の任意の一点とし
ての着目点の存在候補領域を限定することにより、前記
物体の位置及び姿勢を確定することを特徴とした3次元
物体位置姿勢検出法。 - 【請求項3】物体の形状である物体モデルに基づいて物
体の位置及び姿勢を検出する方法において、まず、対象
物体の形状を予め計測して前記物体モデルを作成すると
ともに、当該物体モデルの各座標軸の符号を反転させる
ことにより得られる反転モデルを生成しておき、次い
で、予め作業台に水平な面で前記物体を切断した断面輪
郭パターンを作業台からの距離に応じて複数用意してお
き、引続き、姿勢検出時は未知の位置姿勢に置かれた当
該対象物体に対して、予め位置と計測方向が決定されて
いる二個以上の任意個数及び任意種別の距離センサーに
より当該対象物体の距離を観測し、さらに、1点目の計
測点に対する前記断面輪郭パターン上の各点について、
1点目の計測座標に対する座標変換を施した上で、2点
目以降の計測点に対する当該断面輪郭パターンを参照
し、参照したパターンの値が前記断面輪郭を示す場合に
位置姿勢の候補の一つとし、参照したパターンの値が前
記断面輪郭を示さない場合には、当該点は候補から除外
する操作を繰り返すことにより前記各距離センサー計測
点の座標に応じて重ね合わせた前記断面輪郭パターン共
通領域を求めることで前記物体モデル上の任意の一点と
しての着目点の位置及び方向を定めることにより、前記
物体の位置及び姿勢を確定することを特徴とした3次元
物体位置姿勢検出法。 - 【請求項4】物体の形状である物体モデルに基づいて物
体の位置及び姿勢を検出する方法において、まず、対象
物体の形状を予め計測して前記物体モデルを作成すると
ともに、当該物体モデルの各座標軸の符号を反転させる
ことにより得られる反転モデルを生成しておき、次い
で、予め作業台に水平な面で前記物体を切断した断面輪
郭パターンを作業台からの距離に応じて複数用意してお
き、引続き、姿勢検出時は未知の位置姿勢に置かれた当
該対象物体に対して、予め位置と計測方向が決定されて
いる二個以上の任意個数及び任意種別の距離センサーに
より当該対象物体の距離を観測し、さらに、1点目の計
測点に対する前記断面輪郭パターン上の各点について、
1点目の計測座標に対する座標変換を施した上で、2点
目以降の計測点に対する当該断面輪郭パターンを参照
し、参照したパターンの値が前記断面輪郭を示す場合に
位置姿勢の候補の一つとし、参照したパターンの値が前
記断面輪郭を示さない場合には、当該点は候補から除外
する操作を繰り返すことにより前記各距離センサー計測
点の座標に応じて重ね合わせた前記断面輪郭パターンの
共通領域を求めることで前記物体モデル上の任意の一点
としての着目点の位置及び方向を定め、その上、前記物
体の置かれる作業台あるいは前記物体を固定するための
治具部材の存在位置によって前記物体モデル上の任意の
一点としての着目点の存在候補領域を限定することによ
り、前記物体の位置及び姿勢を確定することを特徴とし
た3次元物体位置姿勢検出法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09468493A JP3322278B2 (ja) | 1993-04-21 | 1993-04-21 | 3次元物体位置姿勢検出法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09468493A JP3322278B2 (ja) | 1993-04-21 | 1993-04-21 | 3次元物体位置姿勢検出法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06307821A JPH06307821A (ja) | 1994-11-04 |
JP3322278B2 true JP3322278B2 (ja) | 2002-09-09 |
Family
ID=14117039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09468493A Expired - Lifetime JP3322278B2 (ja) | 1993-04-21 | 1993-04-21 | 3次元物体位置姿勢検出法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3322278B2 (ja) |
-
1993
- 1993-04-21 JP JP09468493A patent/JP3322278B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH06307821A (ja) | 1994-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ayache et al. | Trinocular stereovision for robotics | |
JPH04500408A (ja) | 変形体の表面のひずみ分布を測定するためのコンピュータ化された方法 | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
Lartigue et al. | Digitised point quality in relation with point exploitation | |
US11421980B2 (en) | Method for determining a position and orientation of an object using a profilometer | |
Martin | Estimation of principal curvatures from range data | |
JP3764773B2 (ja) | 注視点を用いた頑健な認識装置 | |
US6611791B1 (en) | Method for combining partially measured data | |
US6571173B1 (en) | Three-dimensional space curve comparison using spatial angle variance metric and applications thereof | |
US6683977B1 (en) | Method of taking three-dimensional measurements of object surfaces | |
JP2001141441A (ja) | 筒形状加工物の評価方法および評価装置 | |
EP0356727A2 (en) | Symmetrie-based target position measurement | |
JP3322278B2 (ja) | 3次元物体位置姿勢検出法 | |
US6961459B2 (en) | Three-dimensional data processing device, three-dimensional data processing method, and program providing medium | |
CN112230194B (zh) | 一种基于平移阵列的解模糊方法、设备及存储介质 | |
Liu et al. | Comparison study of three camera calibration methods considering the calibration board quality and 3D measurement accuracy | |
Zhang et al. | An efficient method for dynamic calibration and 3D reconstruction using homographic transformation | |
JP2001099641A (ja) | 表面形状測定方法 | |
Lu et al. | Calibration of a 3D vision system using pattern projection | |
Krishnan et al. | Boole: A system to compute boolean combinations of sculptured solids | |
CN117807875B (zh) | 石英器件的三维数据逆向重建和尺寸测量系统及方法 | |
Aichinger et al. | Studies on deformation analysis of TLS point clouds using B-splines–A control point based approach (Part I) | |
Ding et al. | Point cloud measurements-uncertainty calculation on spatial-feature based registration | |
JPH1166324A (ja) | エッジ検出方法及び装置 | |
Sánchez et al. | Simpler approach to virtual multiaxis machines: Fundamentals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090628 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090628 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100628 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100628 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110628 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120628 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130628 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term |