Nothing Special   »   [go: up one dir, main page]

JP4167954B2 - ロボット及びロボット移動方法 - Google Patents

ロボット及びロボット移動方法 Download PDF

Info

Publication number
JP4167954B2
JP4167954B2 JP2003310409A JP2003310409A JP4167954B2 JP 4167954 B2 JP4167954 B2 JP 4167954B2 JP 2003310409 A JP2003310409 A JP 2003310409A JP 2003310409 A JP2003310409 A JP 2003310409A JP 4167954 B2 JP4167954 B2 JP 4167954B2
Authority
JP
Japan
Prior art keywords
camera
image
movement
moving
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003310409A
Other languages
English (en)
Other versions
JP2005074600A (ja
Inventor
一訓 伴
克俊 滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2003310409A priority Critical patent/JP4167954B2/ja
Priority to EP04255297A priority patent/EP1512499A3/en
Priority to US10/930,850 priority patent/US20050065653A1/en
Publication of JP2005074600A publication Critical patent/JP2005074600A/ja
Application granted granted Critical
Publication of JP4167954B2 publication Critical patent/JP4167954B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36431—Tv camera in place of tool, on display operator marks points, crosshair
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40003—Move end effector so that image center is shifted to desired position

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Description

本発明は、産業用ロボットを所定の場所に移動させるための移動方法及びその移動を実施するロボットに関する。
一般にロボットを手動操作で移動させるときの移動操作は、教示操作盤を用いてロボットの各軸（関節）毎の移動操作、もしくは直交座標系の各座標軸に沿った移動操作を人手によって行っている。前者はロボットの指定する関節軸について正方向移動もしくは負方向移動をさせるもので、ロボットの機構構造によって回転運動する軸もあれば、並進運動する軸もあり、指定する軸によってその動きが変わる。後者はロボットの作業空間中に定義された直交ＸＹＺ座標系における指定する座標軸の正負方向にロボットのツール先端点（ＴＣＰ）を移動させるか、もしくはＴＣＰを中心とした指定する軸周りの正負方向の回転移動をさせるものである。
実空間においてロボットを手動操作で移動させたいとした場合、それは任意方向への移動であるのが普通である。そうすると、上述した従来の手動操作方法でロボットを移動させようとすると、ロボットを移動させたい方向と教示操作盤を通してロボットを移動させられる方向の関係を、操作者が思考の上で巧みに変換し、教示操作盤で実現できる移動を複数種組み合わせて必要な移動を達成する必要がでてくる。話を単純にするために、実空間においてＺ軸の座標値が一定なＺ平面上をＸ軸正方向とＹ軸正方向の丁度真ん中方向（Ｘ軸とＹ軸の双方から４５度隔たった方向）に向かってロボットを移動させたいものと仮定する。操作者はＸ軸正方向への移動操作を少し行ってロボットをＸ軸方向に少し移動させ、次にＹ軸正方向への移動操作を同程度行ってロボットをＹ軸正方向へ同程度移動させ、以後これらを繰り返すことで目的とする移動を達成する必要がある。いわゆるジグザグ移動である。単純なケースでこの通りであるから、任意方向への移動となれば、熟練を必要とする難しい操作となる。また移動の正負を間違えることも往々にしてあり、意図しない方向へ誤ってロボットを移動させてしまい、危険を招く場合もある。特に、ロボットを移動させる方向は、一般的に作業対象物に接近させる方向であることが多いことから、対象物と衝突させるという事故を発生しやすい。これが操作をさらに難しいものにしている。
そこで、本発明の目的は、任意の目標とする位置に自動的に移動するロボット及びその移動方法を提供することにある。
請求項１に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、前記指定された点の前記画像上での第１の位置情報を取得する手段と、前記カメラの光軸と直交し前記指定された点への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する手段と、前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記指定された点と同一の点を新たに撮像された画像中で再指定する手段と、前記再指定された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段とを備えたことを特徴とするロボットであり、請求項１１に係わる発明は、このロボットによる移動方法である。
請求項２に係わる発明は、請求項１に係わる発明における、前記カメラの光軸と直交し前記指定された点への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する手段と、前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる手段の代わりに、カメラの光軸と直交し前記指定された点への方向の前記カメラの第１の移動方向を決定する手段と、前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段を設けたものである。また、請求項１２に係わる発明は、このロボットによる移動方法である。
請求項３に係わる発明は、請求項１に係わる発明において、カメラの第１の移動方向および移動量を決定する手段を設けずに、カメラの第１の移動方向および移動量を予め指定しておき、この指定された第１の移動方向および移動量にもとづいて前記ロボットを移動させるようにしたものである。又、第２の移動方向および移動量を決定する手段を、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段に変えたものである。また請求項１３に係わる発明はこのロボットの移動方法である。
請求項４に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、前記検出された対象物の前記画像上での第１の位置情報を取得する手段と、前記カメラの光軸と直交し前記指定された対象物への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する手段と、前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、を備えたことを特徴とするロボットであり、請求項１４に係わる発明は、このロボットによる移動方法である。
請求項５に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、前記検出された対象物の前記画像上での第１の位置情報を取得する手段と、前記カメラの光軸と直交し前記指定された対象物への方向の前記カメラの第１の移動方向を決定する手段と、前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、を備えたことを特徴とするロボットである。また、請求項１５に係わる発明は、このロボットによる移動方法である。
請求項６に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、前記検出された対象物の前記画像上での第１の位置情報を取得する手段と、前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、を備えたことを特徴とするロボットである。また請求項１６に係わる発明はこのロボットの移動方法である。
請求項７に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、前記検出された対象物の前記画像上での第１のサイズ情報を取得する手段と、前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、前記再検出された対象物の前記新たに撮像された画像上での第２のサイズ情報および位置情報を取得する手段と、前記所定距離と、前記第１のサイズ情報と、前記第２のサイズ情報と、前記位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段とを備えたことを特徴とするロボットであり、また請求項１７に係わる発明はこのロボットの移動方法である。
請求項８に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、前記指定された点の前記画像上での第１の位置情報を取得する手段と、前記指定された点の前記画像上での近傍領域から画像モデルを生成する手段と、前記カメラの光軸と直交し前記指定された点への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する手段と、前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する手段と、前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段とを備えたことを特徴とするロボットであり、請求項１８に係わる発明はこのロボットの移動方法である。
請求項９に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、前記指定された点の前記画像上での第１の位置情報を取得する手段と、前記指定された点の前記画像上での近傍領域から画像モデルを生成する手段と、前記カメラの光軸と直交し前記指定された点への方向の前記カメラの第１の移動方向を決定する手段と、前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する手段と、前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段とを備えたことを特徴とするロボットである。また、請求項１９に係わる発明は、このロボットによる移動方法である。
請求項１０に係わる発明は、手先部にカメラを装着したロボットにおいて、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、前記カメラで撮像した画像を取得する手段と、前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、前記指定された点の前記画像上での第１の位置情報を取得する手段と、前記指定された点の前記画像上での近傍領域から画像モデルを生成する手段と、前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、前記移動後、前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する手段と、前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段とを備えたことを特徴とするロボットである。また請求項２０に係わる発明はこのロボットの移動方法である。
カメラを手先部に装着したロボットにおいて、カメラによって得られた画像上で対象物上の標的を指定するだけで、対象物とロボットの相対関係が所定の状態になるようにロボットを自動移動させることができるので、ロボットの移動操作が非常に簡単にかつ安全に行えるようになる。
図１は本発明の一実施形態におけるロボットの全体構成を示す図である。従来から公知の典型的なロボット制御装置１ａとＣＣＤカメラ２ａを含む画像処理装置２が用意され、両者間は通信I/Fによって接続される。ＣＣＤカメラ２ａはロボットのアーム１ｂ上の先端の手先部に装着され、ロボット１の最終リンク上のメカニカルインタフェース座標系Σｆとカメラの基準座標系Σcとの相対関係は予め設定されている。ＣＣＤカメラ２ａを通して撮像された画像はモニタ２ｂ上に出力され、対象物上の標的がマウス２ｃを用いて操作者に指示されると、その位置が画素情報として得られる。得られた画素情報は、予め用意されたカメラ２ａのキャリブレーションデータによってメートル単位の位置の情報に変換されて、ロボット制御装置１ａ側に送られる。そしてさらにロボット１の移動情報にまで変換される。この画素情報からロボットの移動情報を得るまでの変換過程の詳細については後述する。
図２は同実施形態におけるロボット制御装置１ａの要部ブロック図であり、従来のロボット制御装置と同一構成である。符号１７で示されるバスに、メインプロセッサ１１、ＲＡＭ、ＲＯＭ、不揮発性メモリ（ＥＥＰＲＯＭなど）からなるメモリ１２、教示操作盤用インターフェイス１３，画像処理装置用インタフェース１４、外部装置用のインターフェイス１６及びサーボ制御部１５が接続されている。又、教示操作盤用インターフェイス１３には教示操作盤１８が接続されている。
ロボット及びロボット制御装置の基本機能を支えるシステムプログラムは、メモリ１２のＲＯＭに格納されている。又、アプリケーションに応じて教示されるロボットの動作プログラム並びに関連設定データは、メモリ１２の不揮発性メモリに格納される。
サーボ制御部１５は、複数のサーボ制御器＃１〜＃ｎ（ｎ：ロボットの総軸数、さらには必要に応じてロボット手首に取り付けるツールの可動軸数を加算した数）を備えており、各サーボ制御器＃１〜＃ｎは、プロセッサ、ＲＯＭ、ＲＡＭ等で構成され、各軸を駆動するサーボモータの位置・速度のループ制御、さらには電流ループ制御を行っている。いわゆる、ソフトウエアで位置、速度、電流のループ制御を行うデジタルサーボ制御器を構成している。サーボ制御器＃１〜＃ｎの出力は各サーボアンプＡ１〜Ａｎを介して各軸サーボモータＭ１〜Ｍｎを駆動制御する。なお、図示はしていないが、各サーボモータＭ１〜Ｍｎには位置・速度検出器が取り付けられており、該位置・速度検出器で検出した各サーボモータの位置、速度は各サーボ制御器＃１〜＃ｎにフィードバックされるようになっている。又、外部装置用インターフェイス１６には、ロボットに設けられたセンサや周辺機器のアクチュエータやセンサが接続されている。
図３は、ロボット制御装置のインターフェイスに接続される画像処理装置２の要部ブロック図である。プロセッサ２０を備え、該プロセッサ２０にはバス３０を介してこのプロセッサ２０が実行するシステムプログラム等を記憶するＲＯＭ２１、画像処理プロセッサ２２、カメラ２ａに接続されたカメラインターフェイス２３、ＣＲＴや液晶等で構成されたモニタ表示装置用のインターフェイス２４、フレームメモリ２６、不揮発性メモリ２７，データの一時記憶等に利用されるＲＡＭ２８、ロボット制御装置１ａに接続された通信インターフェイス２９が接続されている。カメラ２ａで撮像された画像は、フレームメモリ２６に格納される。画像処理プロセッサ２２は、フレームメモリ２６に格納された画像をプロセッサ２０の指令により画像処理して対象物を認識する。この画像処理装置２の構成、作用は従来の画像処理装置と同一であり差異はない。
図４は、カメラ２ａのキャリブレーションの概略を説明する図である。カメラ２ａのレンズ３の中心からＬ0の距離に対象物５を置き、キャリブレーションが行われる。具体的にはカメラ２ａの受光素子４の１画素がＬ0の距離にある対象物上のどれだけの長さに相当するかが求められる。図４中では、受光素子の画素数Ｎ0が対象物上のＷ0[mm]に相当するものとして得られ、変換係数Ｃ0が次の（１）式で求められる。
Figure 0004167954
また図４中より ｆ：Ｌ0＝Ｙ0：Ｗ0の関係があるので（ｆはレンズの焦点距離、Ｙ０は画素数Ｎ０の長さ［mm］）
Figure 0004167954
である。このキャリブレーションで用いた距離Ｌ0はこれ以降、既知の値として利用する。
図５は、対象物５上の任意の１標的Ｑを、カメラ２ａで撮像した画像上で指定したときの、カメラ２ａのレンズ３中心からその対象物５上の標的Ｑに向かう視線ベクトルｐの求め方の説明図である。便宜的にカメラのレンズ中心には基準となる座標系が定義されるが、これは図１の座標系Σcに相当する。この図５ではＸＺ座標平面上で光学系を記述している。実際のカメラの受光素子はＸ方向、Ｚ方向に直交するＹ方向にも広がりを持つものであり、それに応じてこの光学系は３次元的な広がりをもつものになる。しかし便宜上これ以降は、このような２次元平面的な光学系で説明を行なう。２次元平面的な記述を実際の３次元空間的な内容に置き換えるのは容易である。
対象物５上の任意の１標的Ｑに対応する画像上の１点Ｒが指定されると、画面中心からの画素数をＮとして次の３式、４式が導かれる。
Figure 0004167954
Figure 0004167954
図６（ａ）、（ｂ）は、本発明の上述した図１に示した構成により実施する第１の実施形態の動作原理説明図である。カメラ２ａの光軸が対象物５に対して垂直方向でその距離が予め決められたＬ1の位置に位置決めして、撮像し、画像上で対象物５上の標的Ｑを指定することによって、図６（ａ）に示すように、レンズ３中心から対象物５上の標的Ｑに向かう視線ベクトルｐが求まり、図６中の点Ｖを標的Ｑに一致させるための移動ベクトルｑが算出され、図６（ｂ）のようにカメラ２ａのレンズ３中心が標的Ｑの正面で、かつレンズ中心とＱの距離がＬ0である位置にカメラを移動させることが出来る。
図６（ａ）において、指定した画像上で対象物５上の１標的Ｑに対応する画像上の指定点Ｒ１の画面中心（光軸位置）からの画素数Ｎ１を測定する。
Figure 0004167954
Figure 0004167954
であり、移動ベクトルｑは、次の（７）式によって求まる。
Figure 0004167954
以上のように、指令標的Ｑの画像上の中心からの画素数Ｎ１を求めれば、予め決められた対象物５とカメラ２ａ間の距離Ｌ１、キャリブレーションのデータであるＬ０より移動ベクトルｑが求まり、この移動ベクトルｑだけカメラ２ａを移動させれば、図６（ｂ）に示すように、指定標的Ｑにカメラ２ａのレンズ３中心が向き、かつキャリブレーションの距離Ｌ０の位置に位置付けることができる。
上述した第１の実施形態では、カメラ２ａと対象物５間の距離Ｌ１が既知の状態、即ち、カメラ２ａを位置決めし対象物５に対して所定の距離Ｌ１に位置付けたその後は、自動的に指定標的Ｑにカメラ２ａが対向する位置に移動させるようにしたものであった。この距離Ｌ１が既知でない場合で、カメラ２ａを指定標的Ｑに対向する位置に移動させることのできる第２の実施形態について、図７（ａ）、（ｂ）を用いて説明する。
図７（ａ）において、標的Ｑに対応する画像上の位置Ｒ1を指定する。Ｒ1の画面中心からの画素数をＮ1とすると、レンズ中心から距離Ｌ0のところにおける距離Ｗ1が次の（８）式で求められる。
Figure 0004167954
次に、カメラ２ａの光軸が対象物５と交差する点と標的Ｑとを結ぶ直線に平行な線に沿ってカメラ２ａを距離Ｗ1だけ移動させる。すなわちこの例では、カメラ２ａの基準座標系ΣcのＸ軸正方向にカメラを距離Ｗ1だけ移動させている。実際にはロボットによってカメラが移動される。移動後の状態が図７（ｂ）である。さらに図７（ｂ）の状態のときに標的Ｑに対応する画像上の位置Ｒ2を指定する。Ｒ2の画面中心からの画素数をＮ2とすると、次の関係式が成り立つ。
Figure 0004167954
これより次の（１０）式によりカメラ２ａと対象物５間の距離Ｌ1が求められる。
Figure 0004167954
また図７（ｂ）の状態のときの視線ベクトルｐは次の（１１）式の通りである。
Figure 0004167954
以上から移動ベクトルｑは次の（１２）式で算出される。
Figure 0004167954
なお、（１２）式において、「Ｔ」は転置を表す。
このようにして求めた移動ベクトルｑ分だけカメラ２ａを移動させれば、カメラ２ａは標的をカメラ中心に捉えた状態に位置づけることができる。
上述した第２の実施形態では、カメラ２ａを最初に移動させる移動量を（８）式の演算を行って求めたが、この移動量を予め決められた量にしてもよい。
図８（ａ）、（ｂ）は、この予め決められた量Ｌ２移動させるときの第３の実施形態の説明図である。図８（ａ）において、標的Ｑに対応する画像上の位置Ｒ1を指定する。Ｒ1の画面中心からの画素数をＮ1とすると、レンズ中心から距離Ｌ0のところにおける長さＷ1が次のようにして求められる。
Figure 0004167954
次にカメラ２ａの光軸が対象物５と交差する点と標的Ｑとを結ぶ直線に平行な線に沿って予め指定しておいたＬ2だけ移動させる。実際にはロボット１によってカメラ２ａが移動される。移動後の状態が図８（ｂ）である。さらに図８（ｂ）の状態のときに標的Ｑに対応する画像上の位置Ｒ2を指定する。Ｒ2の画面中心からの画素数をＮ2とすると、次の（１４）式が成り立つ。
Figure 0004167954
また図８（ａ）より、
Figure 0004167954
である。これら（１３）、（１４）、（１５）式から距離Ｌ1が求められる。
Figure 0004167954
また図８（ｂ）の状態のときの視線ベクトルｐは次の通りである。
Figure 0004167954
以上から移動ベクトルｑが次のように算出される。
Figure 0004167954
よって、この移動ベクトルｑ分カメラ２ａを移動させれば、カメラ２ａのレンズ中心に標的Ｑを対向させることができる。
上述した第１〜第３の実施形態においては、最初にカメラ２ａを対象物５の面と平行（受光素子）に平行に移動させたが、この移動を光軸方向に移動させるようにしてもよい。
図９（ａ）、（ｂ）はこのカメラを光軸方向に移動させる場合の本発明の第４の実施形態の説明図である。図９（ａ）において、標的Ｑに対応する画像上の位置Ｒ1を指定する。Ｒ1の画面中心からの画素数をＮ1とすると、レンズ中心から距離Ｌ0のところにおける長さＷ1が次のようにして求められる。
Figure 0004167954
次にカメラの受光素子に垂直で、標的Ｑに近づく方向にカメラ２ａを予め指定しておいたＬ2だけ移動させる。実際にはロボット１によってカメラ２ａが移動される。移動後の状態が図９（ｂ）である。さらに図９（ｂ）の状態のときに標的Ｑに対応する画像上の位置Ｒ2を指定する。Ｒ2の画面中心からの画素数をＮ2とすると、次の関係式が成り立つ。
Figure 0004167954
これより次の（２１）式により距離Ｌ1が求められる。
Figure 0004167954
また、図９（ｂ）の状態のときの視線ベクトルｐは次の通りである。
Figure 0004167954
以上から移動ベクトルｑが次のように算出される。
Figure 0004167954
上述した、第１〜第４の実施形態では、対象物５上の標的Ｑを画像上で指定する方法を説明したが、標的Ｑの形状が予め既知である場合には、標的Ｑの画像モデルを教示しておき、パターンマッチング等の画像処理によって標的Ｑを自動検出するようにしてもよい。
また、標的Ｑの検出サイズの情報も併用してカメラ２ａを標的Ｑの近傍に接近移動させるようにしてもよく図１０（ａ）、（ｂ）に、この場合の例を第５の実施形態として説明する。まず、標的Ｑの画像モデルを教示しておき、図１０（ａ）において、標的Ｑの画像モデルに対応する画像上の位置Ｒ1およびサイズＳ1を検出する。次にカメラの受光素子に垂直で標的Ｑに近づく方向、すなわちカメラ２ａの基準座標系ΣcのＺ軸負方向にカメラ２ａを予め指定された距離Ｌ2だけ移動させる。実際にはロボット１によってカメラ２ａが移動される。移動後の状態が図１０（ｂ）である。さらに図１０（ｂ）の状態のときに標的Ｑの画像モデルに対応する画像上の位置Ｒ2およびサイズＳ2を検出する。ここで次の関係式が成り立つ。
Figure 0004167954
これより次の（２５）式により距離Ｌ1が求められる。
Figure 0004167954
またＲ2の画面中心からの画素数をＮ2とすると、図１０（ｂ）の状態のときの視線ベクトルｐは次の通りである。
Figure 0004167954
以上から移動ベクトルｑが次のように算出される。
Figure 0004167954
上述した各実施形態においては、いずれも、対象物上の標的Ｑの正面にカメラがあり、かつ両者間の距離がカメラのキャリブレーション時と同じ距離Ｌ0であるような相対関係になるように、ロボット１を自動的に移動するものである。しかし、別の状態を到達目標としたい場合には、例えばロボットに装着されたツールのアーク溶接トーチの先端を標的Ｑに一致させた状態を到達目標としたい場合には、上記のカメラに関する到達位置と溶接トーチに関する到達位置の間の相対関係を予め設定しておれば、カメラに関する到達位置を求めた上でこの相対位置を加味すれば溶接トーチに関する到達位置を算出することが容易にできる。
具体的には、図１１（ａ）、（ｂ）に示すように、カメラ２ａが到達目標に達した状態でのロボットのメカニカルインタフェース座標系の位置をΣf 、溶接トーチ１ｃが到達目標に達した状態でのロボットのメカニカルインタフェース座標系の位置をΣf' 、また溶接トーチ先端に定義されたツール座標系をΣtとして、
Ｔf : Σf を基準にΣf' を表す同次変換行列
Ｔc : Σf を基準にΣc を表す同次変換行列
Ｔt : Σf' を基準にΣt を表す同次変換行列
と表すものとする。すると、図１１（ａ）に示すカメラの到達目標位置をＵ として、図１１（ｂ）に示す溶接トーチ１ｃの到達目標位置Ｕ’は次のようにして算出することができる。
Figure 0004167954
図１２は、上述した図６で説明した第１の実施形態における動作フローチャートである。この第１の実施形態は、対象物５に対してカメラ２ａが予め決められたＬ１の距離の位置に位置決めされるものである。
まず、ロボット制御装置１ａのメインプロセッサ１１はロボット１を駆動し、予め決められた対象物５から距離Ｌ１の撮像位置に位置決めする（ステップ１００）。そして画像処理装置２に撮像指令を出力し、画像処理装置２のプロセッサ２１は、対象物５をカメラ２ａで撮像し（ステップ１０１）、フレームメモリ２６に格納されたその画像をモニタ２ｂに表示する（ステップ１０２）。画像処理装置２のプロセッサ２１は、標的Ｑがマウス等で選択指定されたか判断し、指定されると、指定された標的Ｑの位置に対応する画素数Ｎ１を求める（ステップ１０４）。上述した（５）式の演算を行ってキャリブレーション時の対象物５とカメラ２ａ間の距離Ｌ０における標的Ｑに対応する位置（距離）Ｗ１を求める（ステップ１０５）。そして、この距離Ｗ１、予め設定されている距離Ｌ１、キャリブレーション時の距離Ｌ０に基づいて（７）式の演算を行って移動ベクトルｑを求め、ロボット制御装置１ａに送信する（ステップ１０６）。ロボット制御装置１ａは、送られてきた移動ベクトルｑのデータに基づいてロボットの移動位置を求めその位置に移動させてカメラ２ａが標的Ｑに距離Ｌ０だけ離れて対向する位置（カメラ光軸上に標的Ｑがある位置）に位置決めする（ステップ１０７）。さらに、ツールによる加工を行う場合には、（２８）式の演算を行って、ツールの先端が標的Ｑに位置決めされるようにロボットを移動させる（ステップ１０８）。
図１３は、図７で説明した第２の実施形態における動作フローチャートである。
この第２の実施形態においては、最初、カメラ２ａは、対象物に対して撮像できる任意の位置に位置決めされる。それ以後は、図１２に示したステップ１０１〜１０５と同一の処理を実施する（ステップ２００〜２０４）。そして、ステップ２０４で求められた位置（距離）Ｗ1だけ、カメラ２ａの光軸が対象物５と交差する点と標的Ｑを結ぶ線に平行な方向に移動するようロボット制御装置１ａに指令し、ロボット制御装置１ａはカメラ２ａを距離Ｗ1だけ標的Ｑ方向に対象物５の面に対して平行移動させ位置決めする（ステップ２０５）。そして再び撮像し、撮像画面をモニタ２ｂに表示し、標的が選択指定されたか判断し（ステップ２０６〜２０８）、選択されると、その選択点の画素数Ｎ2を求める（ステップ２０９）。求められた画素数Ｎ1，Ｎ2、キャリブレーションにより予め求められている変換係数Ｃ0、距離Ｌ0に基づいて、（１２）式の演算を行い移動ベクトルｑを求め、ロボット制御装置１ａに送信する（ステップ２１０）。ロボット制御装置１ａは、送られてきた移動ベクトルｑのデータに基づいてロボット１の移動位置を求めその位置に移動させてカメラ２ａが標的Ｑに距離Ｌ0だけ離れて対向する位置（カメラ光軸上に標的Ｑがある位置）に位置決めする（ステップ２１１）。さらに、ツールによる加工を行う場合には、（２８）式の演算を行って、ツールの先端が標的Ｑに位置決めされるようにロボットを移動させる（ステップ２１２）。
図１４は、図８で説明した第３の実施形態における動作フローチャートである。
この第３の実施形態にいてステップ３００〜３０３までの処理は、図１３で示した第２の実施形態のステップ２００〜２０３までの処理と同一である。この第３の実施形態では、画素数Ｎ１を求めたあと、カメラ２ａの光軸方向に垂直方向（対象物の面と平行な方向）で、標的Ｑがある方向に予め設定された距離Ｌ２だけロボット１を駆動してカメラ２ａを移動させる（ステップ３０４）。そして、対象物を撮像し、標的Ｑが指定されるとその画素数Ｎ２を求める（ステップ３０５〜３０８）。
そして、求められた画素数Ｎ１，Ｎ２、キャリブレーションにより予め求められている変換係数Ｃ０、距離Ｌ０及び距離Ｌ２に基づいて、（１８）式の演算を行い移動ベクトルｑを求め、ロボット制御装置に送信する（ステップ３０９）。ロボット制御装置１ａは、送られてきた移動ベクトルｑのデータに基づいてロボットの移動位置を求めその位置に移動させてカメラ２ａが標的Ｑに距離Ｌ０だけ離れて対向する位置に位置決めする（ステップ３１０）。さらに、ツールによる加工を行う場合には、（２８）式の演算を行って、ツールの先端が標的Ｑに位置決めされるようにロボットを移動させる（ステップ３１１）。
図１５は、第４の実施形態における動作フローチャートである。
この第４の実施形態の処理は、第３の実施形態でステップ３０４で光軸と垂直方向にカメラ２ａを移動させたステップ３０４の処理が、光軸方向であるＺ軸方向にカメラ２ａを予め決められた距離Ｌ２だけ移動させるステップ４０４の処理に代わるだけで、ステップ４００〜ステップ４０８までの処理は第３の実施形態のステップ３００〜ステップ３０８の処理と同一である。そして、この第４の実施形態では、求められた画素数Ｎ１，Ｎ２、キャリブレーションにより予め求められている変換係数Ｃ０、距離Ｌ０及び予め決められた距離Ｌ２によって、（２３）式の演算を行い移動ベクトルｑを求め、ロボット制御装置１ａに送信する（ステップ４０９）。ロボット制御装置１ａは、送られてきた移動ベクトルｑのデータに基づいてロボットの移動位置を求めその位置に移動させてカメラ２ａが標的Ｑに距離Ｌ０だけ離れて対向する位置に位置決めする（ステップ４１０）。さらに、ツールによる加工を行う場合には、（２８）式の演算を行って、ツールの先端が標的Ｑに位置決めされるようにロボットを移動させる（ステップ４１１）。
図１６は、第５の実施形態における動作フローチャートである。
この第５の実施形態では、標的Ｑの画像モデルを教示しておき、ステップ５０２で、撮像した画像から標的Ｑの画像モデルを検出すること、そして、ステップ５０３で検出された標的ＱのサイズＳ１を求めることと、ステップ５０７で標的Ｑの画像モデルを検出するステップ５０８で、標的Ｑの位置の画素数Ｎ２とサイズＳ２を求める点を除けば、図１５に示した処理フローチャートのステップ４００〜４０８と同一のステップ５００〜５０８の処理を実施するものである。
そして、この第５の実施形態では、求められた標的Ｑの検出サイズＳ１，Ｓ２、画素数Ｎ２、キャリブレーションにより予め求められている変換係数Ｃ０、距離Ｌ０及び予め決められた距離Ｌ２によって、（２７）式の演算を行い移動ベクトルｑを求め、ロボット制御装置１ａに送信する（ステップ５０９）。ロボット制御装置１ａは、送られてきた移動ベクトルｑのデータに基づいてロボットの移動位置を求めその位置に移動させてカメラ２ａが標的Ｑに距離Ｌ０だけ離れて対向する位置に位置決めする（ステップ５１０）。さらに、ツールによる加工を行う場合には、（２８）式の演算を行って、ツールの先端が標的Ｑに位置決めされるようにロボットを移動させる（ステップ５１１）。
上述した第１〜４の各実施形態では、標的Ｑを画面上でカーソル等を利用して指定するようにしたものであるが、標的Ｑの形状が予め既知である場合には、標的Ｑのモデルを教示しておき、パターンマッチング等の画像処理により、この標的Ｑを自動検出するようにしてもよい。この場合、図１２のステップ１０３、図１３のステップ２０２，２０８、図１４のステップ３０２，３０７、図１５のステップ４０２，４０７が、モデル形状の検出処理に代わることになる。
また、モデル形状を教示しない場合でも、１回目に標的Ｑを指定したとき、その指定された近傍領域から画像モデルを生成して、第２回目の標的Ｑの検出は、この生成した画像モデルに基づいて標的Ｑを自動的に検出するようにしてもよい。この場合は、第２の実施形態における図１３のステップ２０２の後、第３の実施形態における図１４のステップ３０２の後、第４の実施形態における図１５のステップ４０２の後に画像モデル生成処理が加わり、ステップ２０８、ステップ３０７、ステップ４０７が、画像モデルの検出処理に代わることになる。
本発明の一実施形態におけるロボットの全体構成を示す図である。 同実施形態におけるロボット制御装置の要部ブロック図である。 同実施形態における画像処理装置の要部ブロック図である。 同実施形態におけるカメラのキャリブレーションの概略を説明する図である。 本発明における視線ベクトルの求め方の説明図である。 本発明の第１の実施形態の動作原理説明図である。 本発明の第２の実施形態の動作原理説明図である。 本発明の第３の実施形態の動作原理説明図である。 本発明の第４の実施形態の動作原理説明図である。 本発明の第５の実施形態の動作原理説明図である。 カメラが標的に対向した位置からツールが標的に対向した位置に変換する説明図である。 本発明の第１の実施形態の動作処理フローチャートである。 本発明の第２の実施形態の動作処理フローチャートである。 本発明の第３の実施形態の動作処理フローチャートである。 本発明の第４の実施形態の動作処理フローチャートである。 本発明の第５の実施形態の動作処理フローチャートである。
符号の説明
１ ロボット
１ａ ロボット制御装置
１ｂ ロボットアーム
１ｃ 溶接トーチ
２ 画像処理装置
２ａ ＣＣＤカメラ
２ｂ モニタ
３ レンズ
４ 受光素子
１８ 教示操作盤

Claims (20)

  1. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、
    前記指定された点の前記画像上での第１の位置情報を取得する手段と、
    前記カメラの光軸と直交し前記指定された点への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する手段と、
    前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記指定された点と同一の点を新たに撮像された画像中で再指定する手段と、
    前記再指定された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  2. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、
    前記指定された点の前記画像上での第１の位置情報を取得する手段と、
    前記カメラの光軸と直交し前記指定された点への方向の前記カメラの第１の移動方向を決定する手段と、
    前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記指定された点と同一の点を新たに撮像された画像中で再指定する手段と、
    前記再指定された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  3. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、
    前記指定された点の前記画像上での第１の位置情報を取得する手段と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記指定された点と同一の点を新たに撮像された画像中で再指定する手段と、
    前記再指定された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  4. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、
    前記検出された対象物の前記画像上での第１の位置情報を取得する手段と、
    前記カメラの光軸と直交し前記指定された対象物への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する手段と、
    前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、
    前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する手段と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  5. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、
    前記検出された対象物の前記画像上での第１の位置情報を取得する手段と、
    前記カメラの光軸と直交し前記指定された対象物への方向の前記カメラの第１の移動方向を決定する手段と、
    前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、
    前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する手段と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  6. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、
    前記検出された対象物の前記画像上での第１の位置情報を取得する手段と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、
    前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する手段と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  7. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で予め指定された対象物を検出する手段と、
    前記検出された対象物の前記画像上での第１のサイズ情報を取得する手段と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記検出された対象物と同一の対象物を新たに撮像された画像中で再検出する手段と、
    前記再検出された対象物の前記新たに撮像された画像上での第２のサイズ情報および位置情報を取得する手段と、
    前記所定距離と、前記第１のサイズ情報と、前記第２のサイズ情報と、前記位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  8. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、
    前記指定された点の前記画像上での第１の位置情報を取得する手段と、
    前記指定された点の前記画像上での近傍領域から画像モデルを生成する手段と、
    前記カメラの光軸と直交し前記指定された点への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する手段と、
    前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する手段と、
    前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  9. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、
    前記指定された点の前記画像上での第１の位置情報を取得する手段と、
    前記指定された点の前記画像上での近傍領域から画像モデルを生成する手段と、
    前記カメラの光軸と直交し前記指定された点への方向の前記カメラの第１の移動方向を決定する手段と、
    前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する手段と、
    前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  10. 手先部にカメラを装着したロボットにおいて、
    前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する手段と、
    前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する手段と、
    前記指定された点の前記画像上での第１の位置情報を取得する手段と、
    前記指定された点の前記画像上での近傍領域から画像モデルを生成する手段と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる手段と、
    前記移動後、前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する手段と、
    前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する手段と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する手段と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる手段と、
    を備えたことを特徴とするロボット。
  11. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で対象物上の任意の点を指定する段階と、
    前記指定された点の前記画像上での第１の位置情報を取得する段階と、
    前記カメラの光軸と直交し前記指定された点への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する段階と、
    前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記新たに取得された画像上で前記指定された点と同一の点を再指定する段階と、
    前記再指定された点の前記新たに取得された画像上での第２の位置情報を取得する段階と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  12. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記画像取得手段により撮像された画像中で対象物上の任意の点を指定する段階と、
    前記指定された点の前記画像上での第１の位置情報を取得する段階と、
    前記カメラの光軸と直交し前記指定された点への方向の前記カメラの第１の移動方向を決定する段階と、
    前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記指定された点と同一の点を新たに撮像された画像中で再指定する段階と、
    前記再指定された点の前記新たに撮像された画像上での第２の位置情報を取得する段階と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  13. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で対象物上の任意の点を指定する段階と、
    前記指定された点の前記画像上での第１の位置情報を取得する段階と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記新たに取得された画像上で前記指定された点と同一の点を再指定する段階と、
    前記再指定された点の前記新たに取得された画像上での第２の位置情報を取得する段階と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  14. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で予め指定された対象物を検出する段階と、
    前記検出された対象物の前記画像上での第１の位置情報を取得する段階と、
    前記カメラの光軸と直交し前記指定された対象物への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する段階と、
    前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記新たに取得された画像上で前記検出された対象物と同一の対象物を再検出する段階と、
    前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する段階と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  15. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で予め指定された対象物を検出する段階と、
    前記検出された対象物の前記画像上での第１の位置情報を取得する段階と、
    前記カメラの光軸と直交し前記指定された対象物への方向の前記カメラの第１の移動方向を決定する段階と、
    前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記新たに取得された画像上で前記検出された対象物と同一の対象物を再検出する段階と、
    前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する段階と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  16. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で予め指定された対象物を検出する段階と、
    前記検出された対象物の前記画像上での第１の位置情報を取得する段階と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記新たに取得された画像上で前記検出された対象物と同一の対象物を再検出する段階と、
    前記再検出された対象物の前記新たに撮像された画像上での第２の位置情報を取得する段階と、
    前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  17. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で予め指定された対象物を検出する段階と、
    前記検出された対象物の前記画像上での第１のサイズ情報を取得する段階と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記新たに取得された画像上で前記検出された対象物と同一の対象物を再検出する段階と、
    前記再検出された対象物の前記新たに撮像された画像上での第２のサイズ情報および位置情報を取得する段階と、
    前記所定距離と、前記第１のサイズ情報と、前記第２のサイズ情報と、前記位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  18. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で対象物上の任意の点を指定する段階と、
    前記指定された点の前記画像上での第１の位置情報を取得する段階と、
    前記指定された点の前記画像上での近傍領域から画像モデルを生成する段階と、
    前記カメラの光軸と直交し前記指定された点への方向の第１の移動方向及び前記第１の位置情報と前記キャリブレーションデータを元に該第１の移動方向への移動量を決定する段階と、
    前記決定された第１の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する段階と、
    前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する段階と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  19. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で対象物上の任意の点を指定する段階と、
    前記指定された点の前記画像上での第１の位置情報を取得する段階と、
    前記指定された点の前記画像上での近傍領域から画像モデルを生成する段階と、
    前記カメラの光軸と直交し前記指定された点への方向の前記カメラの第１の移動方向を決定する段階と、
    前記決定された第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する段階と、
    前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する段階と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
  20. 手先部にカメラを装着したロボットの移動方法であり、前記カメラは、該カメラと所定距離離れた物体における画像上の距離と空間上の距離が対応させられたキャリブレーションデータが予め求められたものであって、
    前記カメラで撮像した画像を取得する段階と、
    前記取得された画像中で対象物上の任意の点を指定する段階と、
    前記指定された点の前記画像上での第１の位置情報を取得する段階と、
    前記指定された点の前記画像上での近傍領域から画像モデルを生成する段階と、
    前記カメラの受光素子に垂直で前記対象物に近づく予め指定された前記カメラの第１の移動方向および予め指定された第１の移動量にもとづいて前記ロボットを移動させる段階と、
    前記移動後、前記カメラで新たに撮像した画像を取得する段階と、
    前記指定された点と同一の点を前記画像モデルを用いて前記新たに撮像された画像中から検出する段階と、
    前記検出された点の前記新たに撮像された画像上での第２の位置情報を取得する段階と、前記所定距離と、前記第１の位置情報と、前記第２の位置情報、前記第１の移動量および前記キャリブレーションデータを元に、前記カメラが前記指定した点の実際の位置に対して前記所定距離離れて対向するように前記カメラの第２の移動方向および移動量を決定する段階と、
    前記決定された第２の移動方向および移動量にもとづいて前記ロボットを移動させる段階と、
    を含むロボットの移動方法。
JP2003310409A 2003-09-02 2003-09-02 ロボット及びロボット移動方法 Expired - Fee Related JP4167954B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003310409A JP4167954B2 (ja) 2003-09-02 2003-09-02 ロボット及びロボット移動方法
EP04255297A EP1512499A3 (en) 2003-09-02 2004-09-01 Robot having a camera mounted at the distal end of its arm and method for operating such a robot
US10/930,850 US20050065653A1 (en) 2003-09-02 2004-09-01 Robot and robot operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003310409A JP4167954B2 (ja) 2003-09-02 2003-09-02 ロボット及びロボット移動方法

Publications (2)

Publication Number Publication Date
JP2005074600A JP2005074600A (ja) 2005-03-24
JP4167954B2 true JP4167954B2 (ja) 2008-10-22

Family

ID=34131821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003310409A Expired - Fee Related JP4167954B2 (ja) 2003-09-02 2003-09-02 ロボット及びロボット移動方法

Country Status (3)

Country Link
US (1) US20050065653A1 (ja)
EP (1) EP1512499A3 (ja)
JP (1) JP4167954B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727053B2 (en) 2011-08-26 2017-08-08 Canon Kabushiki Kaisha Information processing apparatus, control method for information processing apparatus, and recording medium

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3961408B2 (ja) * 2002-11-21 2007-08-22 ファナック株式会社 組立て方法及び装置
JP2005108144A (ja) * 2003-10-02 2005-04-21 Fanuc Ltd ロボットの補正データ確認装置
EP1728600B1 (en) * 2005-05-31 2008-03-12 Honda Research Institute Europe GmbH Controlling the trajectory of an effector
DE102005040714B4 (de) * 2005-08-27 2015-06-18 Abb Research Ltd. Verfahren und System zur Erstellung eines Bewegungsablaufes für einen Roboter
JP4221014B2 (ja) * 2006-06-20 2009-02-12 ファナック株式会社 ロボット制御装置
WO2008036354A1 (en) 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
US20080181485A1 (en) * 2006-12-15 2008-07-31 Beis Jeffrey S System and method of identifying objects
JP2009269134A (ja) * 2008-05-08 2009-11-19 Denso Wave Inc 視覚検査装置のシミュレーション装置
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
US8457791B2 (en) * 2009-03-10 2013-06-04 GM Global Technology Operations LLC Method for dynamically controlling a robotic arm
US8730314B2 (en) * 2010-04-13 2014-05-20 Varian Medical Systems, Inc. Systems and methods for monitoring radiation treatment
TW201247373A (en) * 2011-05-23 2012-12-01 Hon Hai Prec Ind Co Ltd System and method for adjusting mechanical arm
EP2729850A4 (en) * 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
US9505130B2 (en) * 2012-07-13 2016-11-29 General Electric Company System and method for performing remote welding operations on an apparatus
US9025856B2 (en) 2012-09-05 2015-05-05 Qualcomm Incorporated Robot control information
JP5664629B2 (ja) * 2012-10-19 2015-02-04 株式会社安川電機 ロボットシステムおよび加工品の製造方法
US9498625B2 (en) * 2012-12-19 2016-11-22 Viscardia, Inc. Hemodynamic performance enhancement through asymptomatic diaphragm stimulation
JP2014176922A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
JP6188440B2 (ja) * 2013-06-17 2017-08-30 キヤノン株式会社 ロボット装置及びロボット制御方法
JP6309476B2 (ja) * 2015-03-18 2018-04-11 美津濃株式会社 ウッド型ゴルフクラブヘッドおよびウッド型ゴルフクラブ
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6605611B2 (ja) 2015-09-03 2019-11-13 株式会社Ｆｕｊｉ ロボットシステム
US9855661B2 (en) * 2016-03-29 2018-01-02 The Boeing Company Collision prevention in robotic manufacturing environments
GB201614989D0 (en) * 2016-09-05 2016-10-19 Rolls Royce Plc Welding process
CN110582733B (zh) 2017-03-27 2023-03-07 Abb瑞士股份有限公司 用于估计工业机器人的调试工具的系统误差的方法和装置
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
US10828716B2 (en) 2017-06-19 2020-11-10 Lincoln Global, Inc. Systems and methods for real time, long distance, remote welding
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
US11358290B2 (en) * 2017-10-19 2022-06-14 Canon Kabushiki Kaisha Control apparatus, robot system, method for operating control apparatus, and storage medium
CN111971529A (zh) 2018-09-03 2020-11-20 Abb瑞士股份有限公司 用于管理机器人系统的方法和装置
CN110026980A (zh) * 2019-04-04 2019-07-19 飞依诺科技(苏州)有限公司 一种机械臂控制终端的控制方法
TWI782709B (zh) * 2021-09-16 2022-11-01 財團法人金屬工業研究發展中心 手術機械臂控制系統以及手術機械臂控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891767A (en) * 1988-06-02 1990-01-02 Combustion Engineering, Inc. Machine vision system for position sensing
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
IT1303239B1 (it) 1998-08-07 2000-11-02 Brown & Sharpe Dea Spa Dispositivo e metodo per il posizionamento di una testa di misura inuna macchina per la misura tridimensionale senza contatto.
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6788018B1 (en) * 1999-08-03 2004-09-07 Intuitive Surgical, Inc. Ceiling and floor mounted surgical robot set-up arms
US6194860B1 (en) * 1999-11-01 2001-02-27 Yoder Software, Inc. Mobile camera-space manipulation
WO2003064116A2 (en) 2002-01-31 2003-08-07 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US6925357B2 (en) * 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
US7262573B2 (en) * 2003-03-06 2007-08-28 Intouch Technologies, Inc. Medical tele-robotic system with a head worn device
US7127101B2 (en) * 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727053B2 (en) 2011-08-26 2017-08-08 Canon Kabushiki Kaisha Information processing apparatus, control method for information processing apparatus, and recording medium

Also Published As

Publication number Publication date
US20050065653A1 (en) 2005-03-24
JP2005074600A (ja) 2005-03-24
EP1512499A2 (en) 2005-03-09
EP1512499A3 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
JP4167954B2 (ja) ロボット及びロボット移動方法
JP4021413B2 (ja) 計測装置
JP4844453B2 (ja) ロボットの教示装置及び教示方法
US8964001B2 (en) Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
US10052765B2 (en) Robot system having augmented reality-compatible display
JP3946711B2 (ja) ロボットシステム
US9679385B2 (en) Three-dimensional measurement apparatus and robot system
JP4508252B2 (ja) ロボット教示装置
EP1584426A1 (en) Tool center point calibration system
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
EP3421930A1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
US11446822B2 (en) Simulation device that simulates operation of robot
JP2001060108A (ja) ロボット動作教示装置および動作教示方法
US12128571B2 (en) 3D computer-vision system with variable spatial resolution
JP5428639B2 (ja) ロボットの制御装置及びロボットのティーチング方法
CN116761979A (zh) 根据由视觉传感器取得的三维的位置信息生成截面图像的处理装置以及处理方法
JP4558682B2 (ja) 移動型ロボットシステムにおけるマニピュレータ遠隔操作方法
US12036663B2 (en) Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
CN113084827B (zh) 一种摄像装置光心位置标定方法及装置
JP2005205519A (ja) ロボットハンド装置
CN110900606B (zh) 一种基于小型机械臂手眼联动系统及其控制方法
CN118510633A (zh) 具备三维传感器的机器人装置以及机器人装置的控制方法
JP2001191285A (ja) ロボットシステムおよびその利用方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061002

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070502

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070511

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080804

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees