Nothing Special   »   [go: up one dir, main page]

JPH03295405A - 3次元位置及び姿勢の計測方法 - Google Patents

3次元位置及び姿勢の計測方法

Info

Publication number
JPH03295405A
JPH03295405A JP2097308A JP9730890A JPH03295405A JP H03295405 A JPH03295405 A JP H03295405A JP 2097308 A JP2097308 A JP 2097308A JP 9730890 A JP9730890 A JP 9730890A JP H03295405 A JPH03295405 A JP H03295405A
Authority
JP
Japan
Prior art keywords
orientation
image
light
dimensional position
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2097308A
Other languages
English (en)
Inventor
Mitsuo Hiraizumi
平泉 満男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2097308A priority Critical patent/JPH03295405A/ja
Publication of JPH03295405A publication Critical patent/JPH03295405A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は3次元空間の対象物の位置及び姿勢を視覚セン
サによって計測する3次元位置及び姿勢の計測方法に関
し、特に対象物が3次元空間上で任意の位置及び姿勢を
取り得る場合の3次元位置及び姿勢の計測方法に関する
〔従来の技術〕
ロボットがハンドリングするような対象物は対象物がデ
ープルの上に置かれたりし7ていて、その位置あるいは
姿勢が特定される場合とそうでない場合がある。
姿勢が特定されている場合は、予め対象物の姿勢等に条
件を設定できるので、その位置及び姿勢を認識すること
は比較的容易である。
しかし、ケーブルによって宙づりされた箱型コネクタの
ような対象物をロボットでハンドリングするように、対
象物の位置、姿勢が3次元的に自由に変化するような場
合は対象物の認識はそれほど簡単ではない。
一方、このような、3次元上の位置、姿勢が特定しない
ような対象物を正確に認識できれば、ロボットのハンド
リング、組立等への応用範囲を飛躍的に広げることがで
きる。
このような対象物の位置、姿勢を計測する方法はステレ
オビジョンを使用する方法と、距離画像を用いる方法が
ある。
〔発明が解決しようとする課題〕
しかし、ステレオビジョンによる方法は、基本的には濃
淡画像の処理であり、取り込んだ画像から微分処理等に
よってエツジを求める必要がある。
対象物が3次元的に姿勢を変え得るような場合は、対象
物の面の姿勢によってエツジを得るのが困難な場合が少
なくない。特に、対象物の2つの面によって構成される
ようなルーフエツジについては、光線が両方の面に同じ
強さで照射されていると、検出がほとんど不可能になる
場合がある。さらに、プラスチック製の箱型コネクタ等
では表面に社名や、品番を示す凹凸があり、エツジ検出
上の障害となる場合が多い。
また、距離画像を用いる方法は距離画像を求め、小領域
毎に法線ベクトルを求め、法線ベクトルが一致するよう
に隣接する小領域を統合していき、領域拡大を行う。領
域同士が隣接する部分については、周平面の交線を求め
る。また、領域の境界のエツジも求められる。そして、
得られた画像と、予め内部にある対象物の形状データと
を照合して、位置及び姿勢を決定する。このために、距
離画像による方法は、長時間を要し、ロボットのハンド
リングのように短時間に対象物の位置、姿勢を認識しな
ければならないような応用には向かない。
本発明はこのような点に鑑みてなされたものであり、3
次元上の位置及び姿勢を変え得る対象物の位置及び姿勢
を短時間で計測できる3次元位置及び姿勢の計測方法を
提供することを目的とする。
〔課題を解決するための手段〕
本発明では上記課題を解決するために、3次元空間の対
象物の位置及び姿勢を視覚センサによって計測する3次
元位置及び姿勢の計測方法において、前記対象物の空間
コード化画像を求め、前記空間コード化画像から前記対
象物の概略の位置を’R11kし、前記対象物に幅広光
を照射して、光切断画像を求め、前記光切断画像から前
記対象物の特定の平面の3次元空間上の式を求め、前記
空間コード化画像からジャンプエツジを求め、前記ジャ
ンプエツジと前記式から、前記対象物の3次元位置及び
姿勢を求めることを特徴とする3次元位置及び姿勢の計
測方法が、提供される。
〔作用〕
対象物の空間コード化画像を求めることにより、対象物
の概略の位置を認識することができる。この概略の位置
を基に、対象物に幅広光をあて、光切断画像を得る。光
切断画像の線上の点から対象物の特定の平面の3次元上
の式を求める。
次に空間コード化画像からジャンプエツジを求め、ジャ
ンプエツジと平面の式から対象物の位置と姿勢を求める
〔実施例〕
以下、本発明の一実施例を図面に基づいて説明する。
第2図は本発明を実施するためのハードウェアの構成図
である。画像処理装置1は通常の32ビツト構成のワー
クステーションに画像処理用のハードウェアを追加して
構成されている。すなわち、追加されたハードウェアは
撮像信号をディジタルな画像信号に変換し、ワークステ
ーションに送る。
画像処理装置1には画像をモニタするためのモニタテレ
ビ2、画像処理された画像、データ等を表示するデイス
プレィ3、必要な指令、データを入力するためのキーボ
ード4が接続されている。
また、画像処理装置1には液晶コントローラ5が接続さ
れており、画像処理装置1からの指令に従って、投光装
置6内の液晶シャッタアレイ7を制御する。液晶シャッ
タアレイ7の詳細については後述する。投光装置6には
光源装置8から光ファイバ8aによって、光が供給され
る。
投光装置6からの光は対象物である箱型コネクタ10に
照射され、その反射光はカメラ9によって受光され、画
像処理装置1に撮像信号が入力され、画像処理装置1で
処理し、対象物10の3次元上の位置及び姿勢を計測す
る。
第3図(a)は空間コード化画像を得るための説明図で
ある。投光装置6からは投光中心6aから放射状に光が
投光される。この光は液晶シャッタアレイ7を通る。液
晶シャッタアレイ7の詳細を第3図(b)に示す。ここ
では、簡単のために液晶シャッタアレイ7は3枚のアレ
イで構成されているものとして説明する。すなわち、全
体を2分割したアレイ7a14分割したアレイ7b18
分割したアレイ7cを液晶コントローラ5で切す換える
。ここで、各アレイの斜線で示す部分は光を遮断し、そ
れ以外の部分は光を通す。
一方、カメラ9はこれらのアレイ毎に撮影をして、画像
を取り込む。これらの画像に重みを付ける。すなわち、
最初のアレイ7aでの画像は4、次のアレイ7bでの画
像には2、アレイ7cでの画像には1の重みを付ける。
このような画像を重ね合わせる。
この結果、空間は空間コード6cで示すように、8分割
されたことになる。また、例えば点P1に対象物がある
とすると、点P1はカメラ9側から見れば、空間コード
0 (0,O,O)であり、この光は光線11aである
ことが判別できる。また、点P1は撮像面9a上の位置
から光線12a上にあることが分かる。従って、投光中
心6aと、カメラ中心9bを結ぶ線13と光線11aの
なす角θ1が分かる。同様に反射光線12aと線13と
の角度θ2が分かる。また、投光中心6aとカメラ中心
9bの距離daは分かっているので、3角測量によって
、点P1とカメラ中心9bの位置が計算できる。従って
、空間コード化画像によって、対象物の距離が計測でき
る。
上記の説明では理解し易いように、3個のアレイで、そ
のコードはバイナリコードで説明したが、実際の空間コ
ード化画像は7個のアレイを使用し、空間を128分割
し、コードはグレイコードを使用する。グレイコードは
一部に誤り信号があっても、その値が大きく変わらない
から、このような画像を処理するには有用である。
第4図は空間コード化画像を得るために、対象物に投光
して得た画像の例を示す図である。得られた画像は各ア
レイ毎に重みを持たせているので、15aの部分が一番
明るく、15b、15Cと下にいく程暗くなっていく。
この空間コード化画像から対象物である箱型コネクタ1
0の概略の位置を得ることができる。
空間コード化画像から箱型コネクタ10の概略の位置が
分かると、次に幅広光を当てて、光切断画像を得る。第
5図は第1の幅広光を箱型コネクタに当てた画像の例を
示す図である。第1の幅広光は21a、23aの部分が
明で22aの部分が暗である。
第6図は第2の幅広光を箱型コネクタ10に当てた画像
の例を示す図である。第2の幅広光は21b、23bの
部分が暗で、22bの部分が明である。
第7図は光切断画像を示す図である。第5図に示す第1
の幅広光と、第6図に示す第2の幅広光を当てた画像の
境界値を取ると、第7図に示す光切断画像が得られる。
光切断画像は第1の線24と、第2の線25が得られる
。これらの線」二の点を第4図に示した空間コード化画
像を利用して、3角測量によって求める。これらの点の
座標が分かれば、箱型コネクタ10の面Sの式、すなわ
ち面Sの3次元空間上の式が分かる。理論的には線24
と線25上の3点が分かれば面Sは決まるが、実際には
精度を上げるために10〜20程度の点をとり、最小2
乗法によって面Sの式を求める。
面Sの式は一般に、下記の式で与えられる。
a x + b y + c z + d = O(1
)ただし、この式は面Sの無限平面を表すのみで、エツ
ジ等は未だわからない。
次に空間コード化画像からジャンプエツジを求めること
を説明する。空間コード化画像の微分値、即ち画像のピ
クセルの値が急激に変化する点を求約る。これによって
、ジャンプエツジが求まる。
第8図はジャンプエツジを示す図である。既に、箱型コ
ネクタ10の面Sの式は分かっているので、エツジ32
と、エツジ31が求められればよい。
しかし、画像処理上縦方向のジャンプエツジ31.34
のいずれを使用するかは、箱型コネクタ10の姿勢によ
って異なる。これは、次のように選択する。すなわち面
Sの、箱型コネクタ10の内部に向かう法線Vnが、視
点から見て手前から奥に向かっているときは、遠い側の
ジャンプエツジ31を選択する。上下のジャンプエツジ
32.33の選択も同様にして、ジャンプエツジ32が
選択できる。
ただし、このジャンプエツジ31.32は箱型コネクタ
10の面Sを求めたときと異なり、あくまでも撮像面9
a上で得られている。従って、ジャンプエツジ31,3
2を実際の箱型コネクタlOの位置まで座標変換する必
要がある。
第9図はジャンプエツジを撮像面から実際の対象物の位
置に座標変換することを説明するための図である。カメ
ラ中心9bと撮像面9aの距離りはカメラ9によって決
まっている。また、カメラ中心9bと箱型コネクタ10
の面Sまでの距離βも面Sの式が分かっているので、ジ
ャンプエツジ31.32をジャンプエツジ41.42に
座標変換できる。
これによって、箱型コネクタ10の面S、エツジ41.
42が分かり、箱型コネクタ10の形状寸法から中心点
Pcが計算できる。
従って、箱型コネクタ10の位置、即ち中心点Pc、面
Sの向き、すなわち法線ベクトルVn、エツジ41から
法線ベクトルVnの回転姿勢が分かる。これによって、
箱型コネクタ10をハンドリングするための、位置及び
姿勢を決定することができる。これによって、ロボット
のハンドで箱型コネクタ10を把持することができる。
ロボットのハンドに第2図の投光機6と、カメラ9を固
定して、箱型コネクタ10をロボットで自動的に把持し
、組立作業を行うことができる。
次にこのような、投光機6及びカメラ9をロボットのハ
ンドに固定して得たデータを簡単に説明する。第10図
はデータを説明するための箱型コネクタの位置関係を定
義する図である。すなわち、紙面に対し垂直な方向をX
軸、横方向をY軸、ケ−プルの方向をZ軸とする。
第11図は箱型コネクタをX軸方向に移動させたときの
測定データを示す図である。図において、横軸は実際の
移動量(mm)、縦軸は計測誤差である。図のように、
測定誤差は絶対値で0.5mm以内になっている。
第12図は箱型コネクタをY軸方向に移動させたときの
測定データを示す図である。図において、横軸は実際の
移動量(mm) 、縦軸は計測誤差である。図のように
、測定誤差は0.3mm以内になっている。
第13図は箱型コネクタを2軸の回りに回転させたとき
の測定データを示す図である。図において、横軸は実際
の回転角度(度)、縦軸は計測誤差(度)である。図の
ように、測定誤差は絶対値で0.7度以内になっている
第14図は箱型コネクタをY軸の回りに回転させたとき
の測定データを示す図である。図において、横軸は実際
の回転角度(度)、縦軸は計測誤差(度)である。図の
ように、測定誤差は絶対値で0.5度以内になっている
このようなデータから、位置の誤差は0.5mm以内、
角度の誤差は0.1度以内であり、ロボットのハンドリ
ング等に充分使用できる。
次に本発明の全体の制御について述べる。第1図は本発
明の3次元位置及び姿勢の計測方法のフローチャートで
ある。図において、Sに続く数値はステップ番号を示す
〔S1〕空間コード化画像を求める。
〔S2〕空間コード化画像から箱型コネクタ10の概略
の位置を求め、これを基に幅広光を箱型コネクタ10に
照射する。このときの幅広光は第5図と第6図に示す幅
広光を与える。
〔S3〕幅広光を与えた画像から光切断画像を得る。光
切断画像の例は第7図に示した。
〔S4〕光切断画像上の点列から箱型コネクタ10の平
面Sを求める。
〔S5〕空間コード化画像からジャンプエツジを求め、
必要なエツジを選択する。ジャンプエツジの例を第8図
に示した。
〔S6〕撮像面上のジャンプエツジを実際の箱型コネク
タ10の位置へ座標変換し、箱型コネクタ10の位置及
び姿勢を求める。座標変換の仕方は第9図を基に説明し
た。
このように、本発明によって、ロボット等で対象物を把
持するためのデータを得るのに充分な精度を得られるこ
とができる。また、これらのデータを得る時間は数秒以
内であり、ロボットのハンドリング等に実用的に使用で
きる。
上記の説明では、対象物の例として箱型コネクタを例に
説明したがこのような形状に限定されることなく、他の
形状のものでも適用することができる。特に、本発明は
ルーフエツジを位置及び姿勢の検出に使用しないので、
ジャンプエツジさえ取れるような対象物で、一部に平面
を有していれば、適用することができる。
空間コード化画像のアレイ数は7としたが、これらの数
字は単なる例であり、カメラ、対象物に応じて、アレイ
数を変えることができる。
〔発明の効果〕
以上説明したように本発明では、空間コード化画像から
対象物の平面とジャンプエツジから対象物の3次元上の
位置及び姿勢を求めるようにしたので、短時間で正確に
対象物の位置及び姿勢を求めることができ、ロボットの
ハンドリングのように実時間で対象物の3次元空間での
位置及び姿勢を認識しなければならないような適用分野
に広く使用することができる。
【図面の簡単な説明】
第1図は本発明の3次元位置及び姿勢の計測方法のフロ
ーチャート、 第2図は本発明を実施するためのハードウェアの構成図
、 第3図(a)は空間コード化画像を得るための説明図、 第3図(b)は液晶シャッタアレイの詳細を示す図、 第4図は空間コード化画像を得るために、対象物に投光
して得た画像の例を示す図、 第5図は第1の幅広光を幅広光10に当てた画像の例を
示す図、 第6図は第2の幅広光を箱型コネクタ10に当てた画像
の例を示す図、 第7図は光切断画像を示す図、 第8図はジャンプエツジを示す図、 第9図はジャンプエツジを撮像面から実際の対象物の位
置に座標変換することを説明するた約の図、 第10図はデータを説明するだめの箱型コネクタの位置
関係を定義する図、 第11図は箱型コネクタをX軸方向に移動させたときの
測定データを示す図、 第12図は箱型コネクタをY軸方向に移動させたときの
測定データを示す図、 第13図は箱型コネクタをZ軸の回りに回転させたとき
の測定データを示す図、 第14図は箱型コネクタをY軸の回りに回転させたとき
の測定データを示す図である。 第1図 面像処理装置 テレビモニタ デイスプレィ キーボード 液晶コントローラ 投光装置 液晶シャッタアレイ 光源装置 カメラ 撮像面 カメラ中心 箱型コネクタ ジャンプエツジ ジャンプエツジ

Claims (10)

    【特許請求の範囲】
  1. (1)3次元空間の対象物の位置及び姿勢を視覚センサ
    によって計測する3次元位置及び姿勢の計測方法におい
    て、 前記対象物の空間コード化画像を求め、前記空間コード
    化画像から前記対象物の概略の位置を認識し、 前記対象物に幅広光を照射して、光切断画像を求め、 前記光切断画像から前記対象物の特定の平面の3次元空
    間上の式を求め、 前記空間コード化画像からジャンプエッジを求め、 前記ジャンプエッジと前記式から、前記対象物の3次元
    位置及び姿勢を求めることを特徴とする3次元位置及び
    姿勢の計測方法。
  2. (2)前記空間コード化画像は複数のコード板を有する
    液晶シャッタアレイ毎に前記対象物の画像を撮影して得
    ることを特徴とする請求項1記載の3次元位置及び姿勢
    の計測方法。
  3. (3)前記コード板はグレイコードであることを特徴と
    する請求項1記載の3次元位置及び姿勢の計測方法。
  4. (4)前記光切断画像は互いに反転した幅広光を前記対
    象物に照射して、両者の光強度の変化位置から得ること
    を特徴とする請求項1記載の3次元位置及び姿勢の計測
    方法。
  5. (5)前記空間コード化画像から3角測量によって、前
    記光切断画像上の点の位置を計算し、前記平面の式を求
    めることを特徴とする請求項1記載の3次元位置及び姿
    勢の計測方法。
  6. (6)前記光切断画像から前記対象物の平面の式は最小
    2乗法によって得ることを特徴とする請求項1記載の3
    次元位置及び姿勢の計測方法。
  7. (7)前記ジャンプエッジは前記平面の法線ベクトルと
    の関係において、選択することを特徴とする請求項1記
    載の3次元位置及び姿勢の計測方法。
  8. (8)前記対象物はケーブルによって、3次元空間上に
    宙づりになった箱型コネクタであることを特徴とする請
    求項1記載の3次元位置及び姿勢の計測方法。
  9. (9)前記ジャンプエッジを前記3次元空間上の前記対
    象物の平面にシフトして前記対象物の姿勢を求めること
    を特徴とする請求項1記載の3次元位置及び姿勢の計測
    方法。
  10. (10)投光装置及びカメラをロボットの先端に設けて
    、前記対象物の3次元上の位置及び姿勢を認識して、前
    記ロボットで対象物を把持させることを特徴とする請求
    項1記載の3次元位置及び姿勢の計測方法。
JP2097308A 1990-04-12 1990-04-12 3次元位置及び姿勢の計測方法 Pending JPH03295405A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2097308A JPH03295405A (ja) 1990-04-12 1990-04-12 3次元位置及び姿勢の計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2097308A JPH03295405A (ja) 1990-04-12 1990-04-12 3次元位置及び姿勢の計測方法

Publications (1)

Publication Number Publication Date
JPH03295405A true JPH03295405A (ja) 1991-12-26

Family

ID=14188861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2097308A Pending JPH03295405A (ja) 1990-04-12 1990-04-12 3次元位置及び姿勢の計測方法

Country Status (1)

Country Link
JP (1) JPH03295405A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042015A (ja) * 2007-08-08 2009-02-26 Ckd Corp 三次元計測装置及び基板検査機
JP2021096081A (ja) * 2019-12-13 2021-06-24 倉敷紡績株式会社 コネクタの3次元計測方法、コネクタの把持位置算出方法、コネクタの把持方法、コネクタの接続方法およびコネクタ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042015A (ja) * 2007-08-08 2009-02-26 Ckd Corp 三次元計測装置及び基板検査機
JP2021096081A (ja) * 2019-12-13 2021-06-24 倉敷紡績株式会社 コネクタの3次元計測方法、コネクタの把持位置算出方法、コネクタの把持方法、コネクタの接続方法およびコネクタ

Similar Documents

Publication Publication Date Title
Zhuang et al. Simultaneous calibration of a robot and a hand-mounted camera
EP3619498B1 (en) Triangulation scanner having flat geometry and projecting uncoded spots
JP2511246B2 (ja) ロボット制御方法
US10310054B2 (en) Relative object localization process for local positioning system
CA2292491A1 (en) Method and device for robot tool frame calibration
JPH09105613A (ja) 非接触型の三次元測定装置および測定方法
US10661442B2 (en) Calibration article for a 3D vision robotic system
Kim Computer vision assisted virtual reality calibration
US11446822B2 (en) Simulation device that simulates operation of robot
US5160977A (en) Position detection device
Thomas et al. Multi sensor fusion in robot assembly using particle filters
Johnson et al. 3-D object modeling and recognition for telerobotic manipulation
Zhuang A self-calibration approach to extrinsic parameter estimation of stereo cameras
Grudziński et al. Stereovision tracking system for monitoring loader crane tip position
Ravn et al. Auto-calibration in automation systems using vision
JPH03295405A (ja) 3次元位置及び姿勢の計測方法
WO2023135764A1 (ja) 3次元センサを備えるロボット装置およびロボット装置の制御方法
Secil et al. A robotic system for autonomous 3-D surface reconstruction of objects
JPH02110788A (ja) 3次元物体の形状認識方法
JP2005186193A (ja) ロボットのキャリブレーション方法および三次元位置計測方法
Mosnier et al. A New Method for Projector Calibration Based on Visual Servoing.
JPH04269194A (ja) 平面計測方法
Chen et al. A new robotic hand/eye calibration method by active viewing of a checkerboard pattern
JP2661118B2 (ja) 画像処理装置を利用した物体座標と視覚座標の換算方法
RU2713570C1 (ru) Способ формирования изображения дополненной реальности и робототехническая система для его осуществления