JPH09128549A - Relative position attitude detecting method for robot system - Google Patents
Relative position attitude detecting method for robot systemInfo
- Publication number
- JPH09128549A JPH09128549A JP7288298A JP28829895A JPH09128549A JP H09128549 A JPH09128549 A JP H09128549A JP 7288298 A JP7288298 A JP 7288298A JP 28829895 A JP28829895 A JP 28829895A JP H09128549 A JPH09128549 A JP H09128549A
- Authority
- JP
- Japan
- Prior art keywords
- stereo image
- robot arm
- image measuring
- robot
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明はロボット装置の相対
位置姿勢検出方法に関し、特に、ロボットアーム装置と
ステレオ画像計測装置とを備えたロボット装置におい
て、ロボットアーム装置とステレオ画像計測装置との相
対位置姿勢関係を求める検出方法（キャリブレーション
手段）に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a relative position / orientation detection method for a robot apparatus, and more particularly, in a robot apparatus including a robot arm apparatus and a stereo image measuring apparatus, the relative position between the robot arm apparatus and the stereo image measuring apparatus. The present invention relates to a detection method (calibration means) for obtaining a posture relationship.
【０００２】[0002]
【従来の技術】ロボットアーム装置とステレオ画像計測
装置との相対位置姿勢関係（以下「相対関係」と略す）
を求める従来方法としては次のようなものがある。 上記両装置を含むロボットシステムの設計データか
ら相対関係を求める方法。 ロボットシステムを製作した後、人手により必要な
データを計測し、相対関係を求める方法。 上記の方法で最初のデータを求め、ロボットシス
テムを動作させた時の誤差を上記の方法で求めて、相
対関係を求める方法。2. Description of the Related Art Relative position / orientation relationship between a robot arm device and a stereo image measuring device (hereinafter abbreviated as "relative relationship").
There are the following conventional methods for obtaining. A method for obtaining a relative relationship from design data of a robot system including both of the above devices. A method of obtaining the relative relationship by manually measuring the necessary data after manufacturing the robot system. A method in which the first data is obtained by the above method, the error when the robot system is operated is obtained by the above method, and the relative relationship is obtained.
【０００３】[0003]
【発明が解決しようとする課題】上記の方法では設計
データと実際のロボットシステムのデータとの間に、シ
ステム製作時の誤差が生じるため、正しいキャリブレー
ションを行うことができない。この方法によって正しい
キャリブレーションを行うには製作誤差を無くす必要が
あるが、ロボットシステムに使用する各部品の加工およ
び取り付けにかなりの高精度が要求されるため現実的で
はない。According to the above method, an error occurs in the system fabrication between the design data and the data of the actual robot system, so that correct calibration cannot be performed. In order to perform correct calibration by this method, it is necessary to eliminate manufacturing errors, but it is not realistic because machining and mounting of each part used in the robot system requires considerably high accuracy.
【０００４】上記，の方法では人手によってキャリ
ブレーションに必要なデータを採取し、計算するという
面倒な作業が必要になる。また作業者によって計測誤差
が異なりキャリブレーションデータがまちまちになる。The above method requires a laborious work of manually collecting and calculating data necessary for calibration. In addition, the measurement error varies depending on the operator, and the calibration data varies.
【０００５】本発明は、上記従来技術に鑑み、ロボット
アーム装置とステレオ画像計測装置との相対関係を正確
かつ簡単に求めることのできるロボット装置の相対位置
姿勢検出方法を提供することを目的とする。In view of the above-mentioned prior art, the present invention has an object to provide a relative position / orientation detecting method for a robot apparatus capable of accurately and easily obtaining the relative relationship between the robot arm apparatus and the stereo image measuring apparatus. .
【０００６】[0006]
【課題を解決するための手段】上記課題を解決する本発
明では、ロボットアームを、ステレオ画像計測装置の画
像装置の画面内で動作させた時の位置データを基に、ロ
ボットアームの座標系およびステレオ画像計測装置の座
標系に共通な中間座標系を作り、その座標系を介するこ
とでロボットアームとステレオ画像計測装置の相対関係
を求める。According to the present invention for solving the above problems, the coordinate system of the robot arm and the coordinate system of the robot arm are calculated based on the position data when the robot arm is operated within the screen of the image device of the stereo image measuring device. An intermediate coordinate system common to the coordinate system of the stereo image measuring device is created, and the relative relationship between the robot arm and the stereo image measuring device is obtained through the coordinate system.
【０００７】[0007]
【発明の実施の形態】以下に本発明の実施の形態を説明
する。Embodiments of the present invention will be described below.
【０００８】本発明では次の（１）（２）の順に計算を
進める。 （１）ロボットアーム装置とステレオ画像計測装置の相
対関係の計算。 （２）ロボット系・ビジョン系から中間系への座標変換
データの計算。In the present invention, the calculation proceeds in the order of (1) and (2) below. (1) Calculation of the relative relationship between the robot arm device and the stereo image measuring device. (2) Calculation of coordinate conversion data from robot system / vision system to intermediate system.
【０００９】まずはじめに上記（１）の「ロボットアー
ム装置とステレオ画像計測装置の相対関係の計算」につ
いて説明する。First, the above-mentioned (1) "calculation of relative relationship between robot arm device and stereo image measuring device" will be described.
【００１０】図１の様に各座標系を設定する。ここで各
座標系は次のものである。 ロボット系 ：ロボットアーム装置１の座標系 ビジョン系 ：ステレオ画像計測装置２の座標系 テンポラリィ系：ロボットアーム装置１のアーム先端部
１ａを、ステレオ画像計測装置２の画像装置２ａの画面
内で動作させた時の位置データを基に計算した、ロボッ
トアーム装置の座標系およびステレオ画像計測装置の座
標系に共通な中間座標系Each coordinate system is set as shown in FIG. Here, each coordinate system is as follows. Robot system: Coordinate system of the robot arm device 1 Vision system: Coordinate system of the stereo image measuring device 2 Temporary system: The arm tip 1a of the robot arm device 1 operates within the screen of the image device 2a of the stereo image measuring device 2. An intermediate coordinate system common to the coordinate system of the robot arm device and the coordinate system of the stereo image measuring device, calculated based on the position data when
【００１１】ロボットアーム装置１とステレオ画像計測
装置２との相対関係は、ロボット系ΣR からビジョン系
ΣV への座標変換データＴRV（４×４同次変換行列）と
して求められる。The relative relationship between the robot arm device 1 and the stereo image measuring device 2 is obtained as coordinate conversion data T RV (4 × 4 homogeneous conversion matrix) from the robot system Σ R to the vision system Σ V.
【００１２】図１の場合、ビジョン系ΣV 、ロボット系
ΣR 、テンポラリィな中間系ΣT の関係は次式で表され
る。 ＴRT＝ＴRVＴVT …（１） ＴRV：ロボット系ΣR からビジョン系ΣV へ座標変換 ＴRT：ロボット系ΣR からテンポラリィな中間系ΣT へ
の座標変換 ＴVT：ビジョン系ΣV からテンポラリィな中間系ΣT へ
の座標変換 ∴ＴRV＝ＴRTＴVT -1 …（２）In the case of FIG. 1, the relationship between the vision system Σ V , the robot system Σ R , and the temporary intermediate system Σ T is expressed by the following equation. T RT = T RV T VT (1) T RV : Coordinate conversion from robot system Σ R to vision system Σ V T RT : Coordinate conversion from robot system Σ R to temporary intermediate system Σ T T VT : Vision system Coordinate conversion from Σ V to temporary intermediate system Σ T ∴ T RV = T RT T VT -1 (2)
【００１３】よってロボット系ΣR ・ビジョン系ΣV そ
れぞれから中間系ΣT への座標変換データＴRT，ＴVTを
求めれば、ロボット系からビジョン系への変換データＴ
RVは式（２）により求めることができる。Therefore, if coordinate transformation data T RT and T VT from the robot system Σ R and the vision system Σ V to the intermediate system Σ T are obtained, the transformation data T from the robot system to the vision system is obtained.
RV can be calculated by the equation (2).
【００１４】次に上記（２）の「ロボット系・ビジョン
系から中間系への座標変換データの計算」について説明
する。Next, the above (2) "calculation of coordinate conversion data from robot system / vision system to intermediate system" will be described.
【００１５】ある任意の座標系から中間系への座標変換
データを求めるには次のベクトルデータが分かればよ
い。 ・任意の座標系から中間系原点への位置ベクトル。 ・任意の座標系に対する中間系の各軸（Ｘ−Ｙ−Ｚ）ベ
クトルの内２つの方向ベクトル。To obtain coordinate conversion data from an arbitrary coordinate system to an intermediate system, the following vector data should be known.・ Position vector from arbitrary coordinate system to intermediate system origin. Two direction vectors of each axis (XYZ) vector of the intermediate system with respect to an arbitrary coordinate system.
【００１６】本発明では、図２のように任意の座標系に
対するある平面上にある長方形の頂点の位置データを基
に、上記のベクトルを計算する。この時、中間系は設定
した長方形に対して次の条件を満たすものとする。 ・原点：長方形の中心。 ・Ｘ軸：直線ｐ1 ｐ2 と平行。 ・Ｙ軸：直線ｐ2 ｐ3 と平行。In the present invention, the above vector is calculated based on the position data of the vertices of a rectangle on a plane with respect to an arbitrary coordinate system as shown in FIG. At this time, the intermediate system satisfies the following conditions for the set rectangle.・ Origin: The center of the rectangle. -X axis: parallel to straight lines p 1 and p 2 .・ Y-axis: Parallel to straight line p 2 p 3 .
【００１７】(2.1）「中間系の座標軸ベクトルの計算」
について説明する。中間系の各軸の方向ベクトルを次の
ように求める。 Ｘ軸：ｐ1 →ｐ2 （ｘベクトル） Ｙ軸：ｐ2 →ｐ3 （ｙベクトル） Ｚ軸：Ｘ軸とＹ軸の外積（ｘ×ｙ）(2.1) "Calculation of coordinate system vector of intermediate system"
Will be described. The direction vector of each axis of the intermediate system is calculated as follows. X axis: p 1 → p 2 (x vector) Y axis: p 2 → p 3 (y vector) Z axis: cross product of X axis and Y axis (xxy)
【００１８】[0018]
【数１】 (Equation 1)
【００１９】[0019]
【数２】 (Equation 2)
【００２０】(2.2）「中間系原点への位置ベクトル計
算」について説明する。任意の座標系から中間系原点の
位置ベクトルを次のように求める。(2.2) "Calculation of position vector to origin of intermediate system" will be described. The position vector of the origin of the intermediate system is obtained from an arbitrary coordinate system as follows.
【００２１】[0021]
【数３】 (Equation 3)
【００２２】(2.3）「任意の座標系から中間系への座標
変換データの設定」について説明する。上記(2.1), (2.
2)で得られた各軸の方向ベクトルおよび原点の位置ベク
トルより、任意の座標系から中間系への座標変換データ
は次のように設定できる。(2.3) "Setting of coordinate conversion data from arbitrary coordinate system to intermediate system" will be described. Above (2.1), (2.
From the direction vector of each axis and the position vector of the origin obtained in 2), the coordinate conversion data from an arbitrary coordinate system to the intermediate system can be set as follows.
【００２３】[0023]
【数４】 (Equation 4)
【００２４】よって式（６）より任意の座標系から中間
系への座標変換データを計算できる。Therefore, the coordinate conversion data from the arbitrary coordinate system to the intermediate system can be calculated from the equation (6).
【００２５】(2.4）「ロボット系・ビジョン系から中間
系への座標変換データの計算」について説明する。式
（６）を用いてロボット系およびビジョン系から中間系
への座標変換データを求めるには、ロボット系に関する
長方形の頂点位置データ（ｐR1，ｐR2，ｐR3，ｐR4）お
よびビジョン系に関する長方形の頂点位置データ
（ｐV1，ｐV2，ｐV3，ｐV4）を計測し、それらに関して
式（６）を計算する。(2.4) "Calculation of coordinate conversion data from robot system / vision system to intermediate system" will be described. To obtain coordinate transformation data from the robot system and the vision system to the intermediate system using the equation (6), the rectangular vertex position data (p R1 , p R2 , p R3 , p R4 ) relating to the robot system and the vision system are calculated. The rectangular vertex position data (p V1 , p V2 , p V3 , p V4 ) is measured, and equation (6) is calculated for them.
【００２６】各座標系に関する長方形の頂点位置データ
の計測については、ロボット系においてはロボット各関
節の内部センサ（エンコーダー等）のデータを基に、ロ
ボットコントローラから容易に得ることができる。また
ビジョン系においてはそれを一般に知られているステレ
オ計測によって得ることができる。よってロボットアー
ムの示す長方形の頂点をステレオ計測することで、ロボ
ット系・ビジョン系両方に共通の中間系への座標変換デ
ータを求めるために必要な位置データを得ることができ
る。Regarding the measurement of the rectangular vertex position data regarding each coordinate system, in the robot system, it can be easily obtained from the robot controller based on the data of the internal sensor (encoder or the like) of each joint of the robot. In the vision system, it can be obtained by the generally known stereo measurement. Therefore, by stereo-measuring the vertices of the rectangle indicated by the robot arm, it is possible to obtain the position data necessary for obtaining the coordinate conversion data common to both the robot system and the vision system.
【００２７】［実施例］以下に本発明の実施例を説明す
る。特に、ロボット系及びビジョン系に関する長方形の
頂点位置データを計測する手法について説明する。なお
以下の各実施例においては、ステレオ画像計測装置２の
画像装置２ａの画面内に、ロボットアーム装置１のアー
ム先端部１ａが映し出される状態で、ロボットアーム装
置１を動作させているものとする。[Examples] Examples of the present invention will be described below. In particular, a method of measuring rectangular vertex position data relating to the robot system and the vision system will be described. In each of the following embodiments, it is assumed that the robot arm device 1 is operated in a state where the arm tip portion 1a of the robot arm device 1 is displayed on the screen of the image device 2a of the stereo image measuring device 2. .
【００２８】第１実施例は、指し棒により長方形位置を
指示する方法である。即ち、図３に示すように、背景と
のコントラストの大きい指し棒３をアーム先端部１ａに
把持させ、指し棒３の先端が長方形を描くようにロボッ
トアーム装置１を動作させたときの頂点の位置データを
計測し、そのデータを基に座標変換データを計算するこ
とでロボットアーム装置１とステレオ画像計測装置２の
相対関係を求める。The first embodiment is a method of indicating a rectangular position with a pointer. That is, as shown in FIG. 3, when the robot arm device 1 is operated so that the arm tip portion 1a holds the pointer rod 3 having a large contrast with the background and the tip of the pointer rod 3 draws a rectangle, The relative relationship between the robot arm device 1 and the stereo image measuring device 2 is obtained by measuring position data and calculating coordinate conversion data based on the data.
【００２９】第２実施例は、ロボットに付けたマークに
より長方形位置を指示する方法である。即ち、図４に示
すように、アーム先端部１ａのある部分に、ロボットの
色とのコントラストの大きなマーク４を付け、マーク４
が長方形を描くようにロボットアーム装置１を動作させ
たときの頂点の位置データを計測し、そのデータを基に
座標変換データを計算することでロボットアーム装置１
とステレオ画像計測装置２の相対関係を求める。この方
法ではマーク４を付けなくてもロボットアーム装置１上
の特定の部分がステレオ画像計測に適する場合はその部
分をマークに代用できる。The second embodiment is a method of indicating a rectangular position by a mark attached to a robot. That is, as shown in FIG. 4, a mark 4 having a large contrast with the color of the robot is attached to a portion where the arm tip portion 1a is present.
The robot arm device 1 is operated by measuring the position data of the vertices when the robot arm device 1 is operated so as to draw a rectangle, and calculating coordinate conversion data based on the data.
The relative relationship between the stereo image measuring device 2 and the stereo image measuring device 2 is obtained. In this method, even if the mark 4 is not attached, if a specific portion on the robot arm device 1 is suitable for stereo image measurement, that portion can be substituted for the mark.
【００３０】第３実施例は、長方形の頂点の位置にマー
クを付けたプレートを用いる方法である。即ち、図５
（ａ）（ｂ）に示すように長方形の頂点に背景とコント
ラストの大きなマークを付けたプレート５ａ，５ｂをア
ーム先端部１ａに固定し、マークの指定位置をステレオ
画像計測し、そのデータを基に座標変換データを計算す
ることでロボットアーム装置１とステレオ画像計測装置
２の相対関係を求める。The third embodiment is a method of using a plate in which the positions of the vertices of a rectangle are marked. That is, FIG.
As shown in (a) and (b), the plates 5a and 5b, each having a rectangular vertex with a mark having a large contrast with the background, are fixed to the arm tip 1a, the designated position of the mark is measured by a stereo image, and the data is used as a basis. By calculating the coordinate conversion data, the relative relationship between the robot arm device 1 and the stereo image measuring device 2 is obtained.
【００３１】第４実施例は、長方形を描いたプレートを
用いる方法である。即ち、図６（ａ）（ｂ）に示すよう
に背景とコントラストの大きな色の長方形を描いたプレ
ート６ａ，６ｂをアーム先端部１ａに固定し、その長方
形の頂点位置をステレオ画像計測し、そのデータを基に
座標変換データを計算することでロボットアーム装置１
とステレオ画像計測装置２の相対関係を求める。The fourth embodiment is a method of using a rectangular plate. That is, as shown in FIGS. 6 (a) and 6 (b), plates 6a and 6b in which rectangles of a color having a large contrast with the background are drawn are fixed to the arm tip portion 1a, and the vertex positions of the rectangles are measured by a stereo image. Robot arm device 1 by calculating coordinate conversion data based on the data
The relative relationship between the stereo image measuring device 2 and the stereo image measuring device 2 is obtained.
【００３２】第５実施例は、ロボットアーム装置とステ
レオ画像計測装置の自動キャリブレーションである。即
ち第１〜第４の実施例での、頂点を示す「マーク」，
「指し棒先端」，「長方形の角」の画像データをステレ
オ画像計測時のパターンマッチングによる対応点検出に
用いるパターンとして保存しておけば、長方形の頂点位
置データを取得してロボットアーム装置１とステレオ画
像計測装置２の相対関係を求める一連の作業を全て自動
化できる。このフローチャートを図７に示す。つまり、
まずステレオ計測のためのパッチ（小領域）を設定し、
次に、長方形頂点位置計測をし、中間座標系の軸方向ベ
クトルを計算し、中間座標系の原点位置ベクトルを計算
し、中間座標系へ変換データ計算をし、そして相対位置
姿勢関係データを計算する。The fifth embodiment is automatic calibration of the robot arm device and the stereo image measuring device. That is, in the first to fourth embodiments, the "mark" indicating the apex,
If the image data of the "pointer tip" and "rectangle corner" is saved as a pattern used for corresponding point detection by pattern matching at the time of stereo image measurement, the vertex position data of the rectangle is acquired and the robot arm device 1 is obtained. It is possible to automate a series of operations for obtaining the relative relationship of the stereo image measuring device 2. This flowchart is shown in FIG. That is,
First, set the patch (small area) for stereo measurement,
Next, the rectangular vertex position is measured, the axial direction vector of the intermediate coordinate system is calculated, the origin position vector of the intermediate coordinate system is calculated, the conversion data is calculated to the intermediate coordinate system, and the relative position / orientation relationship data is calculated. To do.
【００３３】[0033]
【発明の効果】以上具体的に説明したように本発明によ
れば、ステレオ画像計測装置の画像装置の画像内に、ロ
ボットアーム装置のアーム先端部が映し出される状態で
ロボットアーム装置を動作させ、このときの位置データ
を基に座標変換データを計算することにより、ロボット
系及びビジョン系をテンポラリ系（中間座標系）に変換
するようにしたので、次のような効果が得られる。As described above in detail, according to the present invention, the robot arm device is operated while the arm tip of the robot arm device is projected in the image of the image device of the stereo image measuring device, The robot system and the vision system are converted into the temporary system (intermediate coordinate system) by calculating the coordinate conversion data based on the position data at this time, so that the following effects can be obtained.
【００３４】（１）設計データでなく、実際にロボット
システムにより計測したデータを用いるので、システム
を製作した際に生じる加工および取り付けによる誤差の
影響を受けないため、ロボットアーム装置とステレオ画
像計測装置の正確な相対位置姿勢関係を求めることがで
きる。 （２）作業に人手を必要としないため、作業者が変わる
ことによるキャリブレーションデータの相違を取り除く
ことができる。 （３）作業の自動化ができるため、キャリブレーション
作業に要する時間を短縮できる。(1) Since the data actually measured by the robot system is used instead of the design data, the robot arm device and the stereo image measuring device are not affected by an error due to machining and mounting which occur when the system is manufactured. The accurate relative position and orientation relationship of (2) Since no labor is required for the work, it is possible to eliminate the difference in the calibration data due to the change of worker. (3) Since the work can be automated, the time required for the calibration work can be shortened.
【図１】各座標系の関係を示す説明図。FIG. 1 is an explanatory diagram showing a relationship between coordinate systems.
【図２】長方形の頂点位置データを示す説明図。FIG. 2 is an explanatory view showing vertex position data of a rectangle.
【図３】長方形位置を指示する指し棒を備えたアーム先
端部を示す斜視図。FIG. 3 is a perspective view showing an arm tip portion provided with a pointer rod indicating a rectangular position.
【図４】長方形位置を指示するマークを付したアーム先
端部を示す斜視図。FIG. 4 is a perspective view showing an arm tip end portion with a mark indicating a rectangular position.
【図５】長方形の頂点位置にマークを付けたプレートを
備えたアーム先端部を示す平面図。FIG. 5 is a plan view showing an arm tip portion including a plate in which a rectangular vertex position is marked.
【図６】長方形を描いたプレートを備えたアーム先端部
を示す平面図。FIG. 6 is a plan view showing an arm tip portion provided with a rectangular plate.
【図７】自動キャリブレーションの手順を示すフローチ
ャート。FIG. 7 is a flowchart showing the procedure of automatic calibration.
１ ロボットアーム装置 １ａ アーム先端部 ２ ステレオ画像計測装置 ２ａ 画像装置 ３ 指し棒 ４ マーク ５ａ，５ｂ プレート ６ａ，６ｂ プレート 1 Robot Arm Device 1a Arm Tip 2 Stereo Image Measuring Device 2a Image Device 3 Pointing Rod 4 Mark 5a, 5b Plate 6a, 6b Plate
Claims (6)
装置を備えるロボット装置の、前記ロボットアーム装置
を前記ステレオ画像計測装置の画面内で動作させたとき
の位置データを基に、ロボットアーム装置の座標系およ
びステレオ画像計測装置の座標系の両方に共通する中間
座標系を作り、この中間座標系を介することでロボット
アーム装置とステレオ画像計測装置との相対位置姿勢関
係を求める方法であって、 前記ロボットアーム装置のアーム先端部に、背景に対し
てコントラストの大きい指し棒を把持させ、指し棒の先
端が長方形を描くようにロボットアーム装置を動作させ
たときの長方形の各頂点の位置を、前記ステレオ画像計
測装置によりステレオ画像計測し、その計測データを基
に座標変換データを計算して中間座標系を求めることで
ロボットアーム装置とステレオ画像計測装置の相対位置
姿勢関係を求めることを特徴とするロボット装置の相対
位置姿勢検出方法。1. A coordinate system of a robot arm apparatus based on position data of a robot apparatus including a robot arm apparatus and a stereo image measuring apparatus when the robot arm apparatus is operated within a screen of the stereo image measuring apparatus. And a method for determining a relative position and orientation relationship between the robot arm device and the stereo image measuring device by creating an intermediate coordinate system common to both coordinate systems of the stereo image measuring device, The position of each of the vertices of the rectangle when the robot arm device is operated so that the arm tip of the arm device holds a pointer rod having a large contrast with the background and the tip of the pointer rod draws a rectangle, A stereo image is measured by an image measuring device, and coordinate conversion data is calculated based on the measured data to obtain an intermediate coordinate system. The relative position and orientation detecting method of the robot apparatus, characterized by determining the relative position and orientation relationship between the robotic arm mechanism and the stereo image measuring device by.
装置を備えるロボット装置の、前記ロボットアーム装置
を前記ステレオ画像計測装置の画面内で動作させたとき
の位置データを基に、ロボットアーム装置の座標系およ
びステレオ画像計測装置の座標系の両方に共通する中間
座標系を作り、この中間座標系を介することでロボット
アーム装置とステレオ画像計測装置との相対位置姿勢関
係を求める方法であって、 ロボットアーム装置のある部分にロボットアーム装置の
色に対してコントラストの大きなマークを付け、マーク
が長方形を描くようにロボットアーム装置を動作させた
ときの長方形の各頂点の位置を、前記ステレオ画像計測
装置によりステレオ画像計測し、その計測データを基に
座標変換データを計算して中間座標系を求めることでロ
ボットアーム装置とステレオ画像計測装置の相対位置姿
勢関係を求めることを特徴とするロボット装置の相対位
置姿勢検出方法。2. A coordinate system of a robot arm device based on position data of a robot device including the robot arm device and the stereo image measuring device when the robot arm device is operated within a screen of the stereo image measuring device. And a stereo image measuring apparatus, a common intermediate coordinate system is created, and a relative position / orientation relationship between the robot arm apparatus and the stereo image measuring apparatus is obtained through the intermediate coordinate system. A mark having a large contrast to the color of the robot arm device is attached to a part of the device, and the position of each vertex of the rectangle when the robot arm device is operated so that the mark draws a rectangle is determined by the stereo image measuring device. Measure the stereo image and calculate the coordinate conversion data based on the measured data to obtain the intermediate coordinate system. The relative position and orientation detecting method of the robot apparatus, characterized by determining the relative position and orientation relationship between the robotic arm mechanism and the stereo image measuring device in the.
装置を備えるロボット装置の、前記ロボットアーム装置
を前記ステレオ画像計測装置の画面内で動作させたとき
の位置データを基に、ロボットアーム装置の座標系およ
びステレオ画像計測装置の座標系の両方に共通する中間
座標系を作り、この中間座標系を介することでロボット
アーム装置とステレオ画像計測装置との相対位置姿勢関
係を求める方法であって、 ロボットアーム装置のある特定の部分が長方形を描くよ
うにロボットアーム装置を動作させたときの長方形の各
頂点の位置を、前記ステレオ画像計測装置によりステレ
オ画像計測し、その計測データを基に座標変換データを
計算して中間座標系を求めることでロボットアーム装置
とステレオ画像計測装置の相対位置姿勢関係を求めるこ
とを特徴とするロボット装置の相対位置姿勢検出方法。3. The coordinate system of the robot arm device based on position data of the robot device including the robot arm device and the stereo image measuring device when the robot arm device is operated within the screen of the stereo image measuring device. And a stereo image measuring device, a common intermediate coordinate system is created, and a relative position / orientation relationship between the robot arm device and the stereo image measuring device is obtained through this intermediate coordinate system. The position of each vertex of the rectangle when the robot arm device is operated so that a certain part of the device draws a rectangle, the stereo image is measured by the stereo image measuring device, and the coordinate conversion data is calculated based on the measured data. By calculating and calculating the intermediate coordinate system, the relative position and orientation relationship between the robot arm device and the stereo image measuring device can be calculated. The relative position and orientation detecting method of the robot and wherein the mel.
装置を備えるロボット装置の、前記ロボットアーム装置
を前記ステレオ画像計測装置の画面内で動作させたとき
の位置データを基に、ロボットアーム装置の座標系およ
びステレオ画像計測装置の座標系の両方に共通する中間
座標系を作り、この中間座標系を介することでロボット
アーム装置とステレオ画像計測装置との相対位置姿勢関
係を求める方法であって、 長方形の頂点に背景に対してコントラストの大きなマー
クを付けたプレートを前記ロボットアーム装置のアーム
先端部に固定し、マークの指定位置を前記ステレオ画像
計測装置によりステレオ画像計測し、その計測データを
基に座標変換データを計算して中間座標系を求めること
でロボットアーム装置とステレオ画像計測装置の相対位
置姿勢関係を求めることを特徴とするロボット装置の相
対位置姿勢検出方法。4. A coordinate system of the robot arm device based on position data of the robot device including the robot arm device and the stereo image measuring device when the robot arm device is operated within the screen of the stereo image measuring device. And a stereo image measuring apparatus, a common intermediate coordinate system is created, and a relative position / orientation relationship between the robot arm apparatus and the stereo image measuring apparatus is obtained through this intermediate coordinate system. A plate with a mark with a large contrast at the apex against the background is fixed to the arm tip of the robot arm device, the specified position of the mark is measured in stereo image by the stereo image measuring device, and coordinates are based on the measured data. A robot arm device and a stereo image measuring device by calculating the transformed data and obtaining the intermediate coordinate system The relative position and orientation detecting method of the robot apparatus, characterized by determining the relative position and orientation relationship.
装置を備えるロボット装置の、前記ロボットアーム装置
を前記ステレオ画像計測装置の画面内で動作させたとき
の位置データを基に、ロボットアーム装置の座標系およ
びステレオ画像計測装置の座標系の両方に共通する中間
座標系を作り、この中間座標系を介することでロボット
アーム装置とステレオ画像計測装置との相対位置姿勢関
係を求める方法であって、 背景に対してコントラストの大きな色の長方形を描いた
プレートを前記ロボットアーム装置のアーム先端部に固
定し、その長方形の各頂点の位置を前記ステレオ画像計
測装置によりステレオ画像計測し、その計測データを前
記座標変換データを計算して中間座標系を求めることで
ロボットアーム装置とステレオ画像計測装置の相対位置
姿勢関係を求めることを特徴とするロボット装置の相対
位置姿勢検出方法。5. A coordinate system of the robot arm device based on position data of the robot device including the robot arm device and the stereo image measuring device when the robot arm device is operated within the screen of the stereo image measuring device. And a stereo image measuring apparatus, a common intermediate coordinate system is created, and a relative position / orientation relationship between the robot arm apparatus and the stereo image measuring apparatus is obtained through this intermediate coordinate system. On the other hand, a plate in which a rectangle of a color having a large contrast is drawn is fixed to the arm tip of the robot arm device, and the positions of the vertices of the rectangle are measured by a stereo image with the stereo image measuring device, and the measurement data is the coordinates. By calculating the conversion data and obtaining the intermediate coordinate system, the robot arm device and the stereo image measuring device The relative position and orientation detecting method of the robot apparatus, characterized by determining the relative position and orientation relationship.
装置を備えるロボット装置の、前記ロボットアーム装置
を前記ステレオ画像計測装置の画面内で動作させたとき
の位置データを基に、ロボットアーム装置の座標系およ
びステレオ画像計測装置の座標系の両方に共通する中間
座標系を作り、この中間座標系を介することでロボット
アーム装置とステレオ画像計測装置との相対位置姿勢関
係を求める方法であって、 前記請求項（１）または請求項（２）または請求項
（３）または請求項（４）または請求項（５）の方法に
おける長方形の各頂点を示す「マーク」，「指し棒先
端」，「長方形の角」の画像データをステレオ画像計測
時のパターンマッチングによる対応点検出に用いるパタ
ーンとして予め保存しておき、そのパターンによって自
動的に長方形の頂点位置をステレオ計測し、そのデータ
を基に座標変換データを計算することでロボットアーム
装置とステレオ画像計測装置の相対位置姿勢関係を自動
的に求めることを特徴とする請求項（１）または請求項
（２）または請求項（３）または請求項（４）または請
求項（５）のロボット装置の相対位置姿勢検出方法。6. The coordinate system of the robot arm device based on position data of the robot device including the robot arm device and the stereo image measuring device when the robot arm device is operated within the screen of the stereo image measuring device. And a coordinate system of the stereo image measuring device, which is common to both, and a method of obtaining a relative position / orientation relationship between the robot arm device and the stereo image measuring device by way of this intermediate coordinate system. In the method of claim (1) or claim (2) or claim (3) or claim (4) or claim (5), "mark", "pointing rod tip", "rectangular "Corner" image data is stored in advance as a pattern used for corresponding point detection by pattern matching during stereo image measurement. The relative position / orientation relationship between the robot arm device and the stereo image measuring device is automatically obtained by dynamically stereo-measuring the positions of the vertices of the rectangle and calculating coordinate conversion data based on the data. (1) or claim (2) or claim (3) or claim (4) or claim (5) relative position attitude detection method of the robot device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28829895A JP3402021B2 (en) | 1995-11-07 | 1995-11-07 | Method for detecting relative position and orientation of robot device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28829895A JP3402021B2 (en) | 1995-11-07 | 1995-11-07 | Method for detecting relative position and orientation of robot device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09128549A true JPH09128549A (en) | 1997-05-16 |
| JP3402021B2 JP3402021B2 (en) | 2003-04-28 |
Family
ID=17728359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28829895A Expired - Lifetime JP3402021B2 (en) | 1995-11-07 | 1995-11-07 | Method for detecting relative position and orientation of robot device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3402021B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6909513B1 (en) | 1999-05-26 | 2005-06-21 | Sanyo Electric Co., Ltd. | Shape measuring device |
| JP2010064200A (en) * | 2008-09-11 | 2010-03-25 | Cognex Corp | Control system, control method, and program |
| JP2010066117A (en) * | 2008-09-10 | 2010-03-25 | Hitachi Constr Mach Co Ltd | Stereo image processor of working machine |
| JP2010172986A (en) * | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | Robot vision system and automatic calibration method |
| JP2011011321A (en) * | 2009-07-06 | 2011-01-20 | Fuji Electric Holdings Co Ltd | Robot system and calibration method for the same |
| JP2011069796A (en) * | 2009-09-28 | 2011-04-07 | Saxa Inc | Method of calibrating camera and image processing apparatus |
| JP2014014912A (en) * | 2012-07-11 | 2014-01-30 | Seiko Epson Corp | Robot system, robot, robot control device, robot control method and robot control program |
| CN103852012A (en) * | 2014-03-31 | 2014-06-11 | 河海大学常州校区 | Adaptive binocular vision turbine blade detection device |
| JP2014518775A (en) * | 2011-05-13 | 2014-08-07 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Estimating the position and orientation of the frame used to control the tool's movement |
| US9075411B2 (en) | 2012-04-12 | 2015-07-07 | Seiko Epson Corporation | Robot system, calibration method of robot system, robot, calibration device, and digital camera |
| WO2018043524A1 (en) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | Robot system, robot system control device, and robot system control method |
| JP2018065231A (en) * | 2016-10-21 | 2018-04-26 | 株式会社アマダホールディングス | Calibration jig, sheet metal carrying-in system, and calibration method |
| CN109732611A (en) * | 2019-03-12 | 2019-05-10 | 重庆微浪生物科技有限公司 | A kind of mechanical arm control method |
| CN115383740A (en) * | 2022-07-21 | 2022-11-25 | 江苏航鼎智能装备有限公司 | Mechanical arm target object grabbing method based on binocular vision |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4418841B2 (en) | 2008-01-24 | 2010-02-24 | キヤノン株式会社 | Working device and calibration method thereof |
| JP5523392B2 (en) * | 2011-05-23 | 2014-06-18 | 三菱電機株式会社 | Calibration apparatus and calibration method |
| CN105217324A (en) * | 2015-10-20 | 2016-01-06 | 上海影火智能科技有限公司 | A kind of novel de-stacking method and system |
-
1995
- 1995-11-07 JP JP28829895A patent/JP3402021B2/en not_active Expired - Lifetime
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6909513B1 (en) | 1999-05-26 | 2005-06-21 | Sanyo Electric Co., Ltd. | Shape measuring device |
| JP2010066117A (en) * | 2008-09-10 | 2010-03-25 | Hitachi Constr Mach Co Ltd | Stereo image processor of working machine |
| JP2010064200A (en) * | 2008-09-11 | 2010-03-25 | Cognex Corp | Control system, control method, and program |
| JP2010172986A (en) * | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | Robot vision system and automatic calibration method |
| JP2011011321A (en) * | 2009-07-06 | 2011-01-20 | Fuji Electric Holdings Co Ltd | Robot system and calibration method for the same |
| JP2011069796A (en) * | 2009-09-28 | 2011-04-07 | Saxa Inc | Method of calibrating camera and image processing apparatus |
| JP2014518775A (en) * | 2011-05-13 | 2014-08-07 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Estimating the position and orientation of the frame used to control the tool's movement |
| US9827057B2 (en) | 2011-05-13 | 2017-11-28 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
| US10582974B2 (en) | 2011-05-13 | 2020-03-10 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
| US11284952B2 (en) | 2011-05-13 | 2022-03-29 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
| US11801100B2 (en) | 2011-05-13 | 2023-10-31 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
| US9075411B2 (en) | 2012-04-12 | 2015-07-07 | Seiko Epson Corporation | Robot system, calibration method of robot system, robot, calibration device, and digital camera |
| JP2014014912A (en) * | 2012-07-11 | 2014-01-30 | Seiko Epson Corp | Robot system, robot, robot control device, robot control method and robot control program |
| CN103852012A (en) * | 2014-03-31 | 2014-06-11 | 河海大学常州校区 | Adaptive binocular vision turbine blade detection device |
| WO2018043524A1 (en) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | Robot system, robot system control device, and robot system control method |
| JPWO2018043524A1 (en) * | 2016-09-02 | 2019-06-24 | 倉敷紡績株式会社 | Robot system, robot system control apparatus, and robot system control method |
| JP2018065231A (en) * | 2016-10-21 | 2018-04-26 | 株式会社アマダホールディングス | Calibration jig, sheet metal carrying-in system, and calibration method |
| CN109732611A (en) * | 2019-03-12 | 2019-05-10 | 重庆微浪生物科技有限公司 | A kind of mechanical arm control method |
| CN115383740A (en) * | 2022-07-21 | 2022-11-25 | 江苏航鼎智能装备有限公司 | Mechanical arm target object grabbing method based on binocular vision |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3402021B2 (en) | 2003-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3402021B2 (en) | Method for detecting relative position and orientation of robot device | |
| US10618166B2 (en) | Teaching position correction device and teaching position correction method | |
| US6990215B1 (en) | Photogrammetric measurement system and method | |
| JP4021413B2 (en) | Measuring device | |
| US20180021955A1 (en) | Robot zero-point calibration device and method | |
| EP1607194B1 (en) | Robot system comprising a plurality of robots provided with means for calibrating their relative position | |
| US9199379B2 (en) | Robot system display device | |
| US20070075048A1 (en) | Welding teaching point correction system and calibration method | |
| JP6466661B2 (en) | Robot teaching point conversion method, apparatus, and robot cell | |
| JPH08210816A (en) | Coordinate system connection method for determining relationship between sensor coordinate system and robot tip part in robot-visual sensor system | |
| JP2000241120A (en) | Measuring apparatus | |
| JPH08384B2 (en) | Tool tip point automatic setting method | |
| JP2012240174A (en) | Calibration device and calibration method | |
| JP4020994B2 (en) | Robot tool coordinate system correction setting method and end effector used in the method | |
| JP4387476B2 (en) | Bin picking position data calibration device | |
| JPH02194302A (en) | Method for calibrating coordinate system of visual robot and displacement measuring instrument for coordinate calibration used for the method | |
| CN115200475B (en) | Rapid correction method for arm-mounted multi-vision sensor | |
| CN114474069B (en) | Robot line structure light hand-eye calibration method based on space orthogonal constraint | |
| JPH03287343A (en) | Base coordinate system correcting device | |
| JP4096415B2 (en) | Position data calibration device | |
| CN115235340B (en) | Rapid correction method for arm-mounted vision sensor | |
| JP2661118B2 (en) | Conversion method of object coordinates and visual coordinates using image processing device | |
| JPH01207610A (en) | Measuring method for reference position of vehicle body component | |
| KR100225883B1 (en) | Method and measuring jig for tuning tcp of laser vision sensor mounted in articulated robot | |
| JP2003014449A (en) | Calibration method for surface property measuring apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090228 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100228 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |