JP6490037B2 - 移動可能な台車に支持されたロボットを備えるロボットシステム - Google Patents

Description

本発明は、移動可能な台車に支持されたロボットを備えるロボットシステムに関する。

従来の技術においては、走行台車にロボットを配置して走行台車が移動することにより、ロボットの作業領域を拡大するロボットシステムが知られている。例えば、ロボットが固定された走行台車が地面に敷設されたレール上を走行することが知られている。走行台車は、高精度で位置を決めることが可能である一方で、走行の為に必要なレール等の専用の設備が必要になる。また、設置後に設備を容易に変更することができないために、生産工程および生産方法等の変更に容易に対応できないという欠点がある。

一方で、任意の方向に動く台車の上にロボットを配置して、ロボットを作業領域まで移動する装置が知られている（たとえば、特許第５０６１９６５号公報および特開平１１−５８２７３号公報）。この装置では、台車の上にロボットが配置されているために、台車の移動に伴うロボットの位置決め精度が保証されないという問題がある。この装置では、カメラや力センサを用いることにより台車の位置のずれを計測する。そして、所定の位置からずれた量についてロボットの動作を補正する。ロボットの教示位置を計算によって補正することにより、台車が所定の位置からずれていてもロボットが正しい作業を実施することができる。

また、特許第４８２０３９５号公報には、双腕ロボットが行う作業の位置が移動した場合に、双腕ロボットが自力で作業位置を修正できるシステムが開示されている。このシステムでは、自動で台車の位置を調整することが開示されている。

視覚センサについては、特開２００４−１３８４６２号公報に、ワークの位置および姿勢が変化してもワークの３次元の位置および姿勢を正確に計測する３次元視覚センサが開示されている。また、特許第２６０２８１２号公報には、台車に装着された３台の視覚センサを用いて、第１のマーク、第２のマーク、および第３のマークを撮像し、物体の３次元の位置および姿勢を計測する方法が開示されている。

特許第５０６１９６５号公報 特開平１１−５８２７３号公報 特許第４８２０３９５号公報 特開２００４−１３８４６２号公報 特許第２６０２８１２号公報

台車を備えるロボットシステムでは、ロボットの教示位置を計算によって補正する方法ではロボットが作業を実施できない場合がある。例えば、工作機械の扉を開いて加工室の内部でロボットが作業を行う場合がある。ロボットは、狭い開口部からアームを加工室に挿入して作業を行う必要がある。ところが、ロボットを支持する台車の位置が不適切である場合には、ロボットの教示位置を補正してもロボットが工作機械に干渉してしまう場合がある。このため、正確な位置決め機構を有しない台車であっても、ある程度の精度で台車の位置を調整することが好ましい。

作業者が台車の位置を決める場合に、台車を配置する領域に目印を配置して、台車が目印に合うように位置を決める方法が考えられる。または、台車を突き当てる治具などを設置して台車の位置を決める方法が考えられる。しかしながら、ロボットのアーム長および作業を行うワークなどに依存して、台車を配置する適切な位置が変化する。このために、多くの品種の対応が必要なシステムにおいては、複数の目印または複数の治具を用意する必要がある。また、作業者は、ロボットシステムの構成を熟知した上で台車を配置しなくてはならないという問題がある。

上記の特許第４８２０３９５号公報に開示されている装置では、所望の位置に台車を配置することができる。しかしながら、台車を移動する駆動装置および作業台をロボットが把持する機構などの専用の装置が必要であるために、ロボットシステムの構造が複雑になるという問題がある。

本発明のロボットシステムは、予め定められた作業を行うロボットと、ロボットを支持し、作業者の操作により移動する台車とを備える。ロボットシステムは、ロボットの手首部に固定された１個の視覚センサと、ロボットが作業を行う時に台車が配置される作業場所に配置された第１のマークおよび第２のマークとを備える。ロボットシステムは、視覚センサにて取得した情報を処理する演算処理装置を含み、ロボットの動作を制御する制御装置と、演算処理装置にて処理した結果を表示する表示器とを備える。制御装置は、台車が作業場所まで移動した状態で視覚センサにて第１のマークを撮像した後に、第２のマークを撮像する位置に視覚センサを移動するようにロボットの位置および姿勢を変更し、視覚センサにて第２のマークを撮像する。演算処理装置は、視覚センサが撮像した画像に基づいて、第１のマークおよび第２のマークの位置を取得する位置取得部を含む。演算処理装置は、位置取得部にて取得した第１のマークおよび第２のマークの位置に基づいて、ロボットが予め定められた判定範囲内の位置に配置されているか否かを判定する判定部を含む。判定部は、ロボットの位置が判定範囲から逸脱していると判断した場合に、ロボットが目標位置に到達するように台車を移動する方向および移動量を算出する。表示器は、台車を移動する方向および移動量を表示する。

上記発明において、視覚センサは、ロボットの位置と視覚センサにて取得される第１のマークの画像および第２のマークの画像との関係が予め較正されていることができる。位置取得部は、作業場所との位置関係が定められている第１のマークの画像および第２のマークの画像を処理することにより第１のマークおよび第２のマークの位置を算出することができる。

上記発明において、判定部は、位置取得部にて取得した第１のマークおよび第２のマークの位置に基づいて、予め定められた複数の方向における実際のマークの位置とマークの目標位置との距離を算出することができる。判定部は、それぞれの方向において、距離が判定範囲内であるか否かを判定することができる。

上記発明において、表示器は、作業者が表示器を見ながら台車の位置を調整できるように、判定部による結果に基づいて表示を更新することができる。

本発明の他のロボットシステムは、予め定められた作業を行うロボットと、ロボットを支持し、作業者の操作により移動する台車とを備える。ロボットシステムは、ロボットが作業を行う時に台車が配置される作業場所に配置された第１の視覚センサおよび第２の視覚センサと、ロボットの手首部に配置された１個のマークとを備える。ロボットシステムは、視覚センサにて取得した情報を処理する演算処理装置を含み、ロボットの動作を制御する制御装置と、演算処理装置にて算出した結果を表示する表示器とを備える。制御装置は、台車が作業場所まで移動した状態で第１の視覚センサにてマークを撮像した後に、第２の視覚センサにてマークを撮像する位置にマークを移動するようにロボットの位置および姿勢を変更し、第２の視覚センサにてマークを撮像する。演算処理装置は、第１の視覚センサおよび第２の視覚センサが撮像した画像に基づいて、マークの位置を取得する位置取得部を含む。演算処理装置は、位置取得部にて取得したマークの位置に基づいて、ロボットが予め定められた判定範囲内の位置に配置されているか否かを判定する判定部を含む。判定部は、ロボットの位置が判定範囲から逸脱していると判断した場合に、ロボットが目標位置に到達するように台車を移動する方向および移動量を算出する。表示器は、台車を移動する方向および移動量を表示する。

本発明によれば、ロボットを支持する台車の位置を容易に決めることができるロボットシステムを提供することができる。

実施の形態における第１のロボットシステムの斜視図である。 第１のロボットシステムのカメラおよびマークの部分の拡大斜視図である。 実施の形態におけるロボットシステムのブロック図である。 台車の位置を決める作業のフローチャートである。 台車の位置を決める作業が完了していない時の表示器の画面である。 台車の位置を決める作業が完了した時の表示器の画面である。 実施の形態における制御装置の制御のフローチャートである。 実施の形態における第２のロボットシステムの斜視図である。 実施の形態における第３のロボットシステムの斜視図である。

図１から図９を参照して、実施の形態におけるロボットシステムについて説明する。ロボットシステムは、ロボットを備え、ロボットが所定の作業を行う装置である。本実施の形態のロボットシステムでは、任意の方向に移動する台車にロボットが固定されている。作業者は、台車を移動することによりロボットの位置を変更することができる。

図１は、本実施の形態における第１のロボットシステムの斜視図である。第１のロボットシステム９１は、ロボット１を備える。本実施の形態のロボット１は、複数のアーム１１と複数の関節部１２とを含む多関節ロボットである。アーム１１の先端には、手首部１３が連結されている。ロボット１は、手首部１３の位置および姿勢を自由に変化させることができる。手首部１３には、エンドエフェクタとしてのハンド３が固定されている。ハンド３は、ワークを保持したり放したりすることができるように形成されている。エンドエフェクタはハンドに限られず、作業の内容に応じて任意の装置を用いることができる。ロボット１は、ハンド４により把持されるワークを所望の位置および姿勢に配置することができる。また、ロボット１は、ワークを把持して搬送することができる可搬重量と動作範囲を有する。

実施の形態におけるロボットシステム９１は、工作機械６に対して作業を行う。工作機械６は、枠体６４を備える。工作機械６は、枠体６４に配置された扉６３を含む。扉６３は、開いたり閉じたりするように形成されている。枠体６４に囲まれる加工室には、工具を支持する主軸ヘッド６２およびワークを支持するテーブル６１が配置されている。ワークの加工期間中には主軸ヘッド６２およびテーブル６１の少なくとも一方が移動することにより、ワークに対する工具の相対位置が変化する。そして、ワークは、任意の形状に加工される。

ロボット１は、予め定められた作業を実施する。本実施の形態におけるロボット１は、テーブル６１に加工前のワークを配置したり、加工後のワークをテーブル６１から取り出したりする。ワークを交換する期間中には、扉６３は開いた状態になる。ロボット１は、開口部からアーム１１を加工室に挿入することにより、加工室の内部で作業を行うことができる。

ロボットシステム９１は、ロボット１を支持する台車５を備える。本実施の形態の台車５は、地面を走行するように形成されている。台車５は、枠体５１と、枠体５１に取り付けられた車輪５２とを含む。台車５は、枠体５１の上部に配置された天板５３と、枠体５１に固定されたハンドル５４とを含む。作業者９は、ハンドル５４をつかんで任意の方向に台車５を移動させることができる。すなわち、作業者は、ロボット１を所望の位置に移動させることができる。図１に示す例では、工作機械６の扉６３の前側は、ロボット１が作業を行う作業場所になる。作業者９は、工作機械６の前側に台車５を配置している。

ロボット１は、天板５３に固定されている。すなわち、ロボット１は、台車５に固定されている。台車５およびロボット１は、一体的に移動する。台車は、ロボットを支持することができて、作業者の操作により移動する任意の構造を採用することができる。たとえば、台車は、モータにより移動するように形成されており、作業者は操作盤を操作して台車を移動しても構わない。

台車５は、位置を固定する為のストッパー５５を含む。本実施の形態のストッパー５５は、車輪５２の回転を阻止する機能を有する。ストッパー５５により、車輪を固定することができる。作業者９は、台車５の位置が定まった後には、ストッパー５５により台車５の位置を固定する。この後に、ロボット１により、所望の作業を行うことができる。なお、台車を固定させる装置としては任意の機構を採用することができる。例えば、台車にアジャスターが配置されていても構わない。

ロボットシステム９１は、ロボット１を制御する制御装置２を含む。本実施の形態においては、制御装置２は、台車５に支持されている。制御装置２は、台車５と一体的に移動する。ロボットシステム９１は、ロボットの制御装置２にて算出した結果を表示する表示器３１を含む。表示器３１は、例えば液晶パネル等の表示パネルを含む。表示器３１は、天板５３の上に配置されている。また、天板５３には、ロボット１の位置を判定する制御を開始する開始ボタン３２が配置されている。

図２に、本実施の形態におけるロボットおよびマークの部分の拡大斜視図を示す。図１および図２を参照して、ロボットシステム９１は、ロボット１の手首部１３に固定された視覚センサとしてのカメラ４１を含む。第１のロボットシステム９１のカメラ４１は、２次元カメラである。

ロボットシステム９１は、ロボット１が作業行う時に台車５が配置される作業場所に配置されているマーク４６ａ，４６ｂを備える。作業場所には、柱部材４５が配置されている。図１に示す例では、互いに離れた２つの柱部材４５が配置されている。それぞれの柱部材４５の頂面にマーク４６ａ，４６ｂが記載されている。マーク４６ａ，４６ｂは、作業場所との位置関係が予め定められている。

マーク４６ａ，４６ｂは、画像処理にて形状を識別することができる任意の記号や文字を採用することができる。マーク４６ａ，４６ｂとしては、カメラ４１にて撮像した画像を処理した時に、マークの水平方向における位置に加えて、鉛直軸周りの回転角度を検出可能な図形が好ましい。本実施の形態におけるマーク４６ａ，４６ｂでは、円の中に互いに直交する２本の直線が記載されている。

図３に、本実施の形態におけるロボットシステムのブロック図を示す。制御装置２は、バスを介して互いに接続されたＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）等を有する演算処理装置を含む。制御装置２は、作業に関する情報を記憶する記憶部２１を含む。記憶部２１としては、例えば、電気を切断しても情報が消失しない不揮発性メモリを採用することができる。制御装置２は、ロボット１およびハンド３の動作を制御する動作制御部２２を含む。また、動作制御部２２は、カメラ４１の動作も制御する。

本実施の形態においては、制御装置２に、ロボット１、ハンド３およびカメラ４１を駆動するための動作プログラム２７が予め入力される。動作プログラム２７は、記憶部２１に記憶される。動作制御部２２は、動作プログラム２７に従って、ロボット１、ハンド３およびカメラ４１を駆動する。または、制御装置２には教示盤２６が接続されている。作業者は、教示盤２６によってロボット１の教示点を設定することができる。教示点は、記憶部２１に記憶される。動作制御部２２は、教示点を通るようにロボット１を駆動することができる。

制御装置２は、視覚センサにて取得した情報を処理する。制御装置２は、カメラ４１が撮像した画像に基づいてマーク４６ａ，４６ｂの位置を取得する位置取得部２３を含む。位置取得部２３は、カメラ４１にて撮像した画像を処理する画像処理部２８を含む。作業者は、台車５を作業場所まで移動する。カメラ４１にてマーク４６ａ，４６ｂを撮像する時には、台車５を作業場所における目標の位置の近傍まで移動した状態で行う。制御装置２は、位置取得部２３にて取得したマーク４６ａ，４６ｂの位置に基づいて、ロボット１が予め定められた判定範囲内の位置に配置されているか否かを判定する判定部２４を含む。また、制御装置２は、表示器３１が表示する画像を制御する表示制御部２５を含む。

判定部２４は、ロボット１の位置が判定範囲内に到達していないと判断する場合がある。この場合に、判定部２４は、ロボット１が目標位置に到達するように台車５を移動する方向および移動量を算出する。表示制御部２５は、台車５を移動する方向および移動量を表示する指令を表示器３１に送出する。表示器３１は、台車５を移動する方向および移動量を表示する。作業者９は、表示器３１の表示に従って、台車５の位置を調整することができる。

図４に、台車の位置を決める時に作業者が行う作業のフローチャートを示す。ステップ１０１において、作業者９は、台車５を工作機械６の前側の作業場所に移動させる。作業者９は、作業場所の目標の位置の近傍に台車５を移動する。

ステップ１０２において、作業者９は、ロボットシステム９１に対してロボット１の位置の判定の開始を指示する。作業者９は、開始ボタン３２を押す。制御装置２は、ロボット１の位置の判定制御を開始する。なお、本実施の形態においては、開始ボタン３２を押すことにより、ロボット１の位置の判定制御を開始しているが、この形態に限られず、例えば、教示盤２６を操作することにより、ロボット１の位置の判定制御を開始しても構わない。

次に、ステップ１０３において、制御装置２は、現在のロボット１の位置が判定範囲内であるか否かを判定する。そして、制御装置２は、判定結果を表示器３１に表示する。

図５に、表示器に表示される画像の例を示す。図５は、ロボット１の位置が判定範囲から逸脱しているときの画像である。表示器３１には、台車５の位置の調整が終わっていないことが表示されている。表示器３１には、矢印にて台車５を移動させる方向が表示されている。また、表示器３１には、目標位置までの移動量が表示されている。

図６に、表示器に表示される画像の他の例を示す。図６は、ロボット１が判定範囲内の位置に配置されているときの表示の例である。表示器３１には、台車５の位置の調整が終終了していることが表示されている。

図４を参照して、ステップ１０４において、作業者９は、表示器３１の表示により、ロボット１の位置が判定範囲内であるか否かを取得する。ステップ１０４において、ロボットの位置が判定範囲内でない場合には、作業はステップ１０５に移行する。

ステップ１０５において、作業者９は、図５に示す表示器３１の表示に従って台車５を移動する。例えば、作業者９は、表示された移動量にて矢印の方向に台車５を移動する。そして、台車５を移動した後に、作業はステップ１０２に戻る。作業者９は、台車５を移動した後に、開始ボタン３２を再び押す。制御装置２は、ロボット１の位置の判定制御を再び実施する。

このように、作業者９は、表示器３１の表示に従って台車５の位置を調整することができる。そして、ロボット１の位置の判定を行うたびに、制御装置２は表示器３１にロボット１の位置の情報を表示する。表示器３１は、制御装置２による判定の結果が出る度に表示を更新する。

ステップ１０４において、ロボット１の位置が判定範囲内である場合に、作業はステップ１０６に移行する。表示器３１には、図６に示す様に位置の調整が完了したことが表示される。

ステップ１０６において、作業者９は、台車５の位置を固定する。本実施の形態においては、作業者９は、ストッパー５５により車輪５２の回転を阻止する。そして、ステップ１０７において、作業者９は、ロボット１に作業の開始を指示する。例えば、作業者９は教示盤２６を操作して、ロボット１の作業を開始する。ロボット１は、予め定められた動作プログラム２７に基づいて、工作機械６のテーブル６１にワークを配置したり、テーブル６１に配置されたワークを取り出したりすることができる。

なお、作業者９が台車の位置を固定した後に、カメラ４１にて撮像した画像を用いて、ロボット１と工作機械６との位置関係を正確に検出することが好ましい。制御装置２は、カメラ４１が撮像したマーク４６ａ，４６ｂの画像に基づいて、工作機械６に対するロボット１の位置のずれを算出することができる。そして、制御装置２は、ロボット１の動作を補正することができる。例えば、制御装置２は、ロボット１の位置のずれ量および回転のずれ量を算出し、ロボット１が駆動するときの位置および姿勢を補正することができる。

次に、ロボットの位置を判定する制御について説明する。図７に、ロボットの位置を判定する制御のフローチャートを示す。図７は、図４のステップ１０３の制御である。

ロボット１の位置の判定制御におけるロボット１およびカメラ４１の動作は、動作プログラム２７に設定されている。例えば、マーク４６ａ，４６ｂを撮像する時のロボット１の位置および姿勢は動作プログラム２７に定められている。作業者９が開始ボタン３２を押すことにより、制御装置２は、ロボット１の位置を判定する制御を開始する。

ステップ１２１において、ロボット１は、第１のマーク４６ａを撮像する位置に、カメラ４１を移動する。次に、ステップ１２２において、カメラ４１は、第１のマーク４６ａを撮像する。ステップ１２３において、位置取得部２３の画像処理部２８は、第１のマーク４６ａの画像をカメラ４１から受信する。

ここで、図２を参照して、カメラ４１の視野７１から第１のマーク４６ａが外れている場合がある。すなわち、カメラ４１が第１のマーク４６ａの全体を撮像できない場合がある。画像処理部２８は、第１のマーク４６ａの全体が画像に含まれているか否かを判定する。カメラ４１の視野７１から第１のマーク４６ａが外れている場合に、表示制御部２５は、表示器３１に警告を表示することができる。作業者９は、視野７１の内部に第１のマーク４６ａが配置されるように台車５を移動する。本実施の形態では、作業者９は、第１のマーク４６ａの真上にカメラ４１が配置されるように台車５の位置を調整することができる。

また、表示制御部２５は、カメラ４１にて撮像した画像を所定の時間間隔ごとに表示器３１に表示しても構わない。作業者９は、表示器３１の画像を見ながら、第１のマーク４６ａの全体が写るように台車５の位置を調整することができる。

次に、ステップ１２４において、画像処理部２８は、画像処理を行うことにより第１のマーク４６ａの位置を算出する。ここでの例では、画像処理部２８は、第１のマーク４６ａの直線の交点の位置を算出する。マークの位置の検出方法としては、マークの２次元的な位置が検出できる任意の方法を採用することができる。例えば、位置の検出には、正規化相関を用いたテンプレートマッチング方法を用いることができる。このように、位置取得部２３は、第１のマーク４６ａの位置を取得する。

次に、ステップ１２５において、ロボット１は、カメラ４１を第２のマーク４６ｂを撮像する位置に移動する。ステップ１２６において、カメラ４１は、第２のマーク４６ｂを撮像する。ステップ１２７において、画像処理部２８は、第２のマーク４６ｂの画像を受信する。

ステップ１２７において、第２のマーク４６ｂがカメラ４１の視野７１から外れる場合がある。作業者９は、カメラ４１が第２のマーク４６ｂを撮像できる位置まで台車５を移動することができる。この場合に、制御装置２は、第１のマーク４６ａをもう一度撮像して、第１のマーク４６ａの位置を再び取得する制御を実施することが好ましい。

または、制御装置２は、第１のマーク４６ａを検出した結果に基づいて、第２のマーク４６ｂを撮像するロボット１の位置を補正していても構わない。制御装置２は、第１のマーク４６ａの位置に基づいて、目標の位置に対してロボット１の位置がずれている方向とずれの量を算出することができる。これらのずれの方向およびずれの量に基づいて、第２のマーク４６ｂを撮像するときのロボット１の位置および姿勢を補正しても構わない。この制御により、より確実に第２のマーク４６ｂを撮像することができる。

ステップ１２８において、画像処理部２８は、画像処理を行うことにより、第２のマーク４６ｂの位置を取得する。ここでの例では、第２のマーク４６ｂの直線の交点の位置を算出する。

ステップ１２９において、判定部２４は、第１のマーク４６ａの位置と第２のマーク４６ｂの位置とを合成する。例えば、位置取得部２３は、第１のマーク４６ａの位置と第２のマーク４６ｂの位置とを結ぶ線分の中点の位置を算出することができる。

次に、ステップ１３０において、位置取得部２３は、算出した中点の位置をロボット座標系の位置に変換する。ロボット１には、ロボットの動作および視覚センサの計測の基準となるロボット座標系が予め設定されている。ロボット座標系は、ロボット１における任意の点を原点とする座標系である。例えば、ロボット座標系では、鉛直方向に延びる回転軸としてのＪ１軸とロボットの底面に最も近い水平方向に延びるＪ２軸との交点を原点にすることができる。または、ロボット座標系では、台車の天板５３とＪ１軸との交点を原点にしても構わない（図１参照）。

このように、位置取得部２３は、ロボット１から見た時のマーク４６ａ，４６ｂの位置を取得することができる。工作機械６に対するマーク４６ａ，４６ｂの位置は予め定められている。このために、位置取得部２３は、工作機械６に対するロボット１の相対位置を算出していると言える。なお、位置取得部２３は、第１のマーク４６ａの位置および第２のマーク４６ｂの位置をロボット座標系の座標値に変換した後に、２つの位置を合成しても構わない。

ステップ１３１において、判定部２４は、ロボット１の位置が判定範囲内であるか否かを判定する。判定範囲は、中点の目標位置から任意の距離の範囲を設定することができる。判定部２４は、予め設定された中点の目標位置と中点の現在の位置との距離を算出することができる。この距離が予め定められた閾値以内の場合に、判定部２４は、ロボット１の位置が判定範囲内であると判定することができる。

ステップ１３１において、ロボット１の位置が判定範囲内である場合には、制御はステップ１３２に移行する。ステップ１３２において、表示制御部２５は、図６に示すように、表示器３１に位置の調整の完了を表示する。ステップ１３１において、ロボット１の位置が判定範囲を逸脱している場合には、制御はステップ１３３に移行する。

ステップ１３３においては、判定部２４は、ロボット１の目標位置とロボット１の現在の位置に基づいて、ロボット１を移動させる方向と移動量とを算出する。判定部２４は、現在の位置から目標位置までの方向および移動量を算出する。ロボット１の位置は、台車５の位置に対応する。そして、ロボット１を移動させる方向および移動量は、台車５を移動させる方向および移動量に相当する。表示制御部２５は、図５に示すように、ロボット１が目標位置に到達するように台車５を移動する方向と移動量を表示器３１に表示する。

このように、作業者が開始ボタン３２を押すことにより、制御装置２は、自動的に現在の台車５の位置のずれを算出して表示器３１に表示させることができる。そして、作業者は、表示器３１の表示を見て台車５の位置を調整することができる。

図５を参照して、本実施の形態における表示器は、台車を移動する方向を矢印にて表示している。この表示を採用することにより、作業者は移動させる方向を容易に把握することができる。図５および図６に示すように、ロボット１が判定範囲内に配置されているか否かの表示は、「完了」または「未完了」にて表示することができる。または、表示器は、「ＯＫ」または「ＮＧ」を表示しても構わない。

また、表示器が表示する画像は、台車を移動する方向および移動量に限られず、任意の情報を表示することができる。表示器は、マークの位置を検出した時の詳細な情報を表示しても構わない。例えば、表示器は、検出したマークの位置およびマッチングスコア等を表示しても構わない。または、表示器は、マークを撮像した画像を表示しても構わない。

視覚センサとしてのカメラ４１は、ロボット座標系Ｒ０に対して較正されている。すなわち、カメラ４１は、ロボットの位置とカメラ４１にて取得されるマークの画像との関係が予め較正されている。制御装置２は、カメラ４１の画像上に検出されたマークの位置を、ロボット座標系の位置に変換することができる。カメラ４１の位置をロボット座標系に対して較正した情報（キャリブレーションデータ）は、記憶部２１に記憶しておくことができる。一般的に、視覚センサの較正は、視覚センサとロボット座標系との相対的な位置が変わらなければ、一度実施すれば良い。

また、本実施の形態において、位置取得部２３は、マーク４６ａ，４６ｂの位置をロボット座標系に変換してロボット１の位置を取得しているが、この形態に限られない。制御装置２は、カメラ４１にて撮像した画像上の位置に基づいて、ロボット１の位置の判定を行っても構わない。例えば、カメラにて撮像した画像の左上の頂点を原点にする座標系を設定することができる。そして、位置取得部は、画像上のマークの位置を検出する。判定部は、画像上の座標系の座標値を用いてロボットの位置を判定しても構わない。

本実施の形態の第１のロボットシステムでは、マークを２箇所に配置して、ロボットの位置の判定を行っている。ここで、矢印の記号等をマークに採用した場合に、制御装置は、マークに対するロボットの位置のずれの他に角度のずれを検出することができる。このために、ロボットシステムは、１箇所のマークに基づいてロボットの位置の判定を行っても構わない。本実施の形態のように、２個のマークを用いてロボットの位置を判定する制御では、１箇所のマークに基づいてロボットの位置を判定する制御より回転方向のずれを正確に算出することができる。このように、複数個のマークを配置して、測定結果を合成することで視覚センサの識別精度を向上させても構わない。

ここで、本実施の形態における位置取得部２３および判定部２４の制御の例について詳細に説明する。ここでは、１つのマークを用いて判定する例を説明する。ロボット座標系Ｒ０におけるマークの位置を記号Ｐにて表す。マークの位置Ｐは、ロボットの位置および台車の位置に対応する。マークの目標位置Ｐ０は、予め設定されている。目標位置Ｐ０は、記憶部２１に記憶させておくことができる。マークの位置Ｐが目標位置Ｐ０に到達したときに、ロボット１も目標位置に配置されている。

位置取得部２３の画像処理部２８は、カメラ４１の画像を用いてマークの位置Ｐ１を算出することができる。判定部２４は、実際のマークの位置Ｐ１と目標位置Ｐ０の距離を算出することができる。判定部２４は、マークの位置Ｐ１と目標位置Ｐ０との距離が予め設定した閾値を超えている場合に、ロボット１の位置が判定範囲から逸脱していると判定することができる。判定部２４は、マークの位置Ｐ１と目標位置Ｐ０との距離が閾値内である場合に、ロボット１の位置が判定範囲内であると判定することができる。

このような実際のマークの位置Ｐ１と目標位置Ｐ０との距離としては、マークの位置Ｐ１と目標位置Ｐ０との直線距離を用いることができる。または、２次元の位置のずれを検出するために、方向成分として平行移動の成分と回転移動の成分とを設定することができる。すなわち、所定の面の内部に互いに直交するｘ軸およびｙ軸を定めて、更に、所定の面に垂直に延びるｚ軸の周りのｒ軸を定めても構わない。ｒ軸の座標値は回転角度にて表すことができる。そして、判定部２４は、それぞれの成分の方向に関するずれを算出しても構わない。例えば、ｘ軸方向のずれを算出してｘ軸方向の閾値を用いて判定を行うと共に、ｙ軸方向のずれを算出してｙ軸方向の閾値を用いて判定を行っても構わない。

判定部は、位置取得部にて取得したマークの位置に基づいて、予め定められた方向におけるロボットの位置のずれを算出することができる。そして、判定部は、ロボットの位置のずれが判定範囲内であるか否かを判定することができる。また、判定部は、複数の方向について判定を行うことができる。この制御を実施することにより、ロボット１の作業に応じて詳細な判定を行うことができる。

なお、後述する変形例のように、３次元の位置および姿勢のずれを算出する場合には、ロボット１の姿勢の成分を追加して、ｘ軸方向、ｙ軸方向、ｚ軸方向、ｗ軸方向（ｘ軸の周りの方向）、ｐ軸方向（ｙ軸の周りの方向）、およびｒ軸方向（ｚ軸の周りの方向）の各成分で評価しても構わない。

第１のロボットシステムでは、マークの位置は予め設定しておく必要がある。そして、マークは、工作機械に対する位置が一定である。第１のロボットシステムでは、マークは地面から立設するは柱状部材の頂面に配置されているが、この形態に限られない。マークは、視覚センサにて撮像できる範囲内に配置することができる。視覚センサをロボットに固定する場合には、ロボットの動作にて撮像が可能な位置にマークを配置することができる。

例えば、ロボットの作業の対象になる装置にマークを配置しても構わない。本実施の形態では、工作機械の枠体にマークを配置しても構わない。または、工作機械の本体の一部の形状をマークとして採用しても構わない。例えば、工作機械の枠体の一部分をマークとして採用して、カメラにて撮像しても構わない。マークの位置は、作業の対象となる装置の位置に対応する。マークは、作業の対象となる装置との相対的な位置関係が変わらなければ、任意の位置に配置することができる。

図８に、本実施の形態における第２のロボットシステムの斜視図を示す。第２のロボットシステム９２は、複数のカメラ４２，４３を備える。カメラ４２，４３は、台車５に固定されている。カメラ４２，４３は、支持部材５６を介して天板５３に固定されている。カメラ４２，４３は、ロボット１が目標位置に配置された時に、マーク４６ａ，４６ｂの位置に対応するように配置されている。

このように、カメラは、台車５に固定されていても構わない。第２のロボットシステム９２では、ロボット１を駆動することなく台車５の位置の調整を行うことができる。すなわち、ロボット１を駆動することなくロボット１の位置の調整を行うことができる。または、第１のマーク４６ａと第２のマーク４６ｂの撮像を同時に行うことができる。このために、台車５の位置の調整を短時間にて行うことができる。

カメラ４２，４３が台車５に固定されている場合には、台車５に対してカメラ４２，４３の画像を較正することができる。この場合には、検出したマークの位置をロボット座標系の座標値に変換せずに、他の座標系の座標値に変換しても構わない。例えば、制御装置は、台車上の予め定められた点が原点に設定された座標系の座標値に変換することができる。

第２のロボットシステム９２において、位置取得部２３は、カメラ４２，４３が撮像した画像に基づいて、マーク４６ａ，４６ｂの位置を算出することができる。判定部２４は、マーク４６ａ，４６ｂの位置に基づいて、ロボット１の位置が予め定められた判定範囲内であるか否かを判定する。そして、ロボット１の位置が判定範囲から逸脱する場合に、表示器３１は、台車５を移動すべき方向と移動量を表示することができる。

上記の実施の形態においては、台車５が配置される作業場所にマーク４６ａ，４６ｂが配置され、ロボット１または台車５にカメラ４１，４２，４３が配置されているが、この形態に限られず、作業場所にカメラが配置され、ロボットまたは台車にマークが配置されていても構わない。

図９に、本実施の形態における第３のロボットシステムの斜視図を示す。第３のロボットシステム９３においては、工作機械６にカメラ４２，４３が固定されている。すなわち、作業場所にカメラが配置されている。そして、台車５にマーク４６ａ，４６ｂが配置されている。台車５の天板５３には、マーク４６ａ，４６ｂが記載された板状部材４７が固定されている。カメラ４２，４３は、工作機械６の枠体６４の上部に固定されている。カメラ４２，４３は、ロボット１が目標位置に配置された時のマーク４６ａ，４６ｂの位置に対応するように配置されている。カメラ４２，４３にて撮像した画像は、無線装置を介して制御装置２に送信することができる。または、カメラ４２，４３にて撮像した画像は、有線の通信装置を介して制御装置２に送信しても構わない。例えば、作業者は、台車５を工作機械６の近傍に配置した後に、カメラ４２，４３に接続されている通信線を制御装置２に接続することができる。

第３のロボットシステム９３では、第２のロボットシステム９２と同様の制御により、ロボット１の位置の調整を行うことができる。第３のロボットシステム９３ではカメラ４２，４３が撮像したマーク４６ａ，４６ｂの画像に基づいて、台車５を移動してロボット１の位置の調整を行うことができる。

このように、カメラ４２，４３は、台車５が配置される作業場所に配置することができる。カメラを配置する部分としては、工作機械の枠体に限られず、例えば、工作機械の側方に地面から立設する支持部材を配置して、支持部材にカメラを固定しても構わない。

また、図９に示す例では、２つのマーク４６ａ，４６ｂが台車５に配置されているが、この形態に限られず、１つのマークがロボット１の手首部１３に配置されていても構わない。例えば、１つのマークが記載された板状部材が手首部１３に固定されることができる。このロボットシステムでは、ロボットの位置および姿勢を変更することにより、２つのカメラがマークを撮像することができる。また、本実施の形態の第１のロボットシステムと同様の制御により、ロボット１の位置の調整を行うことができる。

前述のロボットシステムにおいては、ロボットの制御装置２は視覚センサが撮像した画像を処理して判定する機能を有しているが、この形態に限られず、ロボットシステムは、画像を処理して判定する機能を有する画像処理装置を備えることができる。画像処理装置は、ＣＰＵおよびＲＡＭ等を備える演算処理装置を含む。そして、画像処理装置は、通信装置を介して制御装置と通信可能に形成することができる。たとえば、画像処理部を含む位置取得部、判定部、表示制御部、およびカメラを制御する動作制御部を備える画像処理装置が制御装置に接続されていても構わない。

前述の視覚センサとしてのカメラは２次元カメラであるが、マークの位置を検出可能な任意の視覚センサおよび制御方法を採用することができる。次に、視覚センサおよびロボットの位置の判定制御について、変形例を説明する。

（視覚センサおよび位置の判定制御の変形例１）
変形例１では、ロボットシステムは、ステレオ計測にてロボットの位置を検出する。ロボットのアームの先端に２次元カメラを配置する。台車を配置する作業場所には、第１のマークおよび第２のマークに加えて、第３のマークを配置する。それぞれのマークは、互いに離れた位置に配置する。

始めに、カメラは第１のマークを撮像する。次に、第１のマークがカメラの視野からはみ出ない程度にロボットが移動した後に、カメラが第１のマークをもう一度撮像する。カメラが異なる２つの視点から同一のマークを撮像する。このステレオ計測により、第１のマークの３次元の位置の座標値（ｘ，ｙ，ｚ）を取得することができる。次に、同様の計測を第２のマークおよび第３のマークに対して実施する。第１のマーク、第２のマーク、および第３のマークの３次元の位置を用いて、３点を通る３次元の平面を算出することができる。この結果、ロボットと工作機械との３次元的な位置関係を取得ことができる。３次元の計測を行うことで、平面的な位置に加えて台車の傾きの判定も実施することができる。

（視覚センサおよび位置の判定制御の変形例２）
変形例２では、ロボットのアームの先端に視覚センサとして、３次元カメラを配置する。そして、ロボットシステムは、３次元計測により工作機械の位置を検出する。視覚センサは第１のマークを撮像して、制御装置は２次元の位置を検出する。次に、視覚センサは、第１のマークが配置されている平面に２本の交差するレーザ光を照射する。制御装置は、画像上に映るレーザ光を識別することで平面の傾きを求める。制御装置は、２次元計測の結果と算出した平面を合成することで第１のマークの３次元の位置および姿勢の座標値（ｘ，ｙ，ｚ，ｗ，ｐ，ｒ）を求めることができる。

第１のマークの３次元の位置および姿勢を検出することにより、ロボットの３次元的な位置および姿勢の判定を行うことができる。更に、第２のマークおよび第３のマークの計測を行って、各点の３次元の位置の座標値を合成することで、より高精度に３次元の位置および姿勢の座標値（ｘ，ｙ，ｚ，ｗ，ｐ，ｒ）を求めても構わない。

ここでの例では、３次元カメラとしてレーザ光を照射するカメラを取り上げたが、マークの３次元の位置および姿勢を取得することができる任意の視覚センサを採用することができる。

（視覚センサおよび位置の判定制御の変形例３）
変形例３では、台車に視覚センサとしての３台の２次元カメラを配置して、３次元計測にて工作機械の位置を求める。３台のカメラは、視線が互いに平行でなく、視線が互いに異なる方向を向くように配置されている。作業場所には、第１のマーク、第２のマーク、および第３のマークが配置されている。３つのマークの位置により作成される三角形の大きさと形状は予め定められている。

台車に配置された３台のカメラを用いて、第１のマーク、第２のマークおよび第３のマークをそれぞれ撮像する。制御装置は、第１のマーク、第２のマーク、および第３のマークの撮像結果から３本の視線を算出する。制御装置は、３本の視線を既知の三角形を当てはめることで、三角形の頂点の３次元の位置を算出することができる。制御装置は、この３次元の位置に基づいて判定を行うことができる。

なお、上記に挙げた変形例の他にも、台車に３次元カメラを配置しても構わない。または、ロボットのアームの先端に配置した２次元カメラで変形例３を実施しても構わない。なお、上記の位置の判定制御は適宜組み合わせることができる。

本実施の形態のマークとしては、記号を採用している。マークは、視覚センサにて識別ができれば構わない。例えば、マークとしては、ＱＲコード（登録商標）またはマトリクスコードのようなバーコードを採用することができる。または、マークは、記号に加えてバーコードを含んでいても構わない。例えば、作業を行う複数台の工作機械が並んでいる場合がある。この場合に、作業者による工作機械の選定の誤りを防止するために、マークは工作機械とロボットとの対応を示すバーコードを含むことができる。視覚センサがバーコードを撮像して、制御装置が表示器に工作機械の番号等を表示することができる。

本実施の形態の視覚センサは、工作機械の位置を検出するためにマークを撮像するが、この形態に限られず、視覚センサは、ワークの検査やワークの位置の検出等のために用いられていても構わない。

本実施の形態におけるロボットを駆動する機構は、垂直多関節機構であるが、この形態に限られず、任意の機構を採用することができる。例えば、ロボットを駆動する機構としては、直動機構またはパラレルリンク機構などを採用することができる。

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。

１ ロボット
２ 制御装置
６ 工作機械
５ 台車
９ 作業者
１３ 手首部
２３ 位置取得部
２４ 判定部
２５ 表示制御部
３１ 表示器
３２ 開始ボタン
４１〜４３ カメラ
４６ａ，４６ｂ マーク
９１，９２，９３ ロボットシステム

Claims (5)

1. 予め定められた作業を行うロボットと、
   前記ロボットを支持し、作業者の操作により移動する台車と、
   前記ロボットの手首部に固定された１個の視覚センサと、
   前記ロボットが作業を行う時に台車が配置される作業場所に配置された第１のマークおよび第２のマークと、
   視覚センサにて取得した情報を処理する演算処理装置を含み、前記ロボットの動作を制御する制御装置と、
   演算処理装置にて処理した結果を表示する表示器とを備え、
   制御装置は、台車が作業場所まで移動した状態で視覚センサにて第１のマークを撮像した後に、第２のマークを撮像する位置に視覚センサを移動するようにロボットの位置および姿勢を変更し、視覚センサにて第２のマークを撮像し、
   演算処理装置は、視覚センサが撮像した画像に基づいて、第１のマークおよび第２のマークの位置を取得する位置取得部と、前記位置取得部にて取得した第１のマークおよび第２のマークの位置に基づいて、前記ロボットが予め定められた判定範囲内の位置に配置されているか否かを判定する判定部とを含み、
   前記判定部は、前記ロボットの位置が判定範囲から逸脱していると判断した場合に、前記ロボットが目標位置に到達するように台車を移動する方向および移動量を算出し、表示器は、台車を移動する方向および移動量を表示することを特徴とする、ロボットシステム。
2. 視覚センサは、前記ロボットの位置と視覚センサにて取得される第１のマークの画像および第２のマークの画像との関係が予め較正されており、
   前記位置取得部は、作業場所との位置関係が定められている第１のマークの画像および第２のマークの画像を処理することにより第１のマークおよび第２のマークの位置を算出する、請求項１に記載のロボットシステム。
3. 前記判定部は、前記位置取得部にて取得した第１のマークおよび第２のマークの位置に基づいて、予め定められた複数の方向における実際のマークの位置とマークの目標位置との距離を算出し、それぞれの方向において、前記距離が判定範囲内であるか否かを判定する、請求項１または２に記載のロボットシステム。
4. 表示器は、作業者が表示器を見ながら台車の位置を調整できるように、前記判定部による結果に基づいて表示を更新する、請求項１から３のいずれか一項に記載のロボットシステム。
5. 予め定められた作業を行うロボットと、
   前記ロボットを支持し、作業者の操作により移動する台車と、
   前記ロボットが作業を行う時に台車が配置される作業場所に配置された第１の視覚センサおよび第２の視覚センサと、
   前記ロボットの手首部に配置された１個のマークと、
   視覚センサにて取得した情報を処理する演算処理装置を含み、前記ロボットの動作を制御する制御装置と、
   演算処理装置にて算出した結果を表示する表示器と、を備え、
   制御装置は、台車が作業場所まで移動した状態で第１の視覚センサにてマークを撮像した後に、第２の視覚センサにてマークを撮像する位置にマークを移動するようにロボットの位置および姿勢を変更し、第２の視覚センサにてマークを撮像し、
   演算処理装置は、第１の視覚センサが撮像した画像および第２の視覚センサが撮像した画像に基づいて、マークの位置を取得する位置取得部と、前記位置取得部にて取得したマークの位置に基づいて、前記ロボットが予め定められた判定範囲内の位置に配置されているか否かを判定する判定部とを含み、
   前記判定部は、前記ロボットの位置が判定範囲から逸脱していると判断した場合に、前記ロボットが目標位置に到達するように台車を移動する方向および移動量を算出し、表示器は、台車を移動する方向および移動量を表示することを特徴とする、ロボットシステム。

Images