JP7364285B1

JP7364285B1 - ロボット操作システムの動作方法

Info

Publication number: JP7364285B1
Application number: JP2022180752A
Authority: JP
Inventors: 正 ▲高▼丸; 泰幸 ▲高▼丸
Original assignee: 高丸工業株式会社
Priority date: 2022-11-11
Filing date: 2022-11-11
Publication date: 2023-10-18
Anticipated expiration: 2042-11-11
Also published as: JP2024070336A

Abstract

【課題】ロボット操作に発生する手間や工数を低減させることができるロボット操作システムの動作方法を提供することを目的としている。【解決手段】表示部（８）に表示された３次元モデル（９）を、操作手段（６１）を用いて所定位置に移動させると、それに応じて該３次元モデル（９）が所定位置に移動するステップと、３次元モデル（９）が所定位置に移動したとしても、操作手段（６１）を用いて、許可動作を行わない限り、制御手段（６０）にてロボット（２）を所定位置に移動させず、操作手段（６１）を用いて、許可動作が行われると、制御手段（６０）にてロボット（２）を所定位置に移動させるステップと、を含んでなることを特徴とする。【選択図】図２

Description

本発明は、ロボット操作システムの動作方法に関する。

従来から、ワークに対して溶接等の作業を行う産業用ロボットを使用するにあたっては、前準備として、目的地へ移動するための動作をロボットに予め記憶させるティーチングが行われる。

ティーチング方法は、一般に、ティーチペンダント（特許文献１の図１参照）を用いたオンラインティーチング方法と、オフラインティーチング方法（特許文献２）という２つの方法が知られている。

オンラインティーチング方法とは、作業現場でワークを直接見ながら、ティーチペンダントを用いてロボットに動作を教示する方法である。

一方、オフラインティーチング方法とは、コンピュータにインストールされているオフラインティーチングソフトを使用して、ワーク、ロボット、周辺の設備のＣＡＤ（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄｄｅｓｉｇｎ）データを作成し、画面上に疑似的なワーク、ロボット、周辺の設備の画像を描画した上で、キーボードやマウス等によって作業者に座標位置等のデータを入力させることで、上記ロボットに動作を教示する方法である。

特開２０１３－１３２７２８号公報特開平９－１７９６２４号公報

ところで、前準備としてのティーチングを行うことなく、直接ロボットを動作させたい要請がある（例えば、形状の異なる製品を少数ずつ製造する場合）。しかし、ロボットを直接動作させるにあたり、オンラインティーチング方法のように作業現場でワークを直接見ながら、ティーチペンダントを用いてロボットを動作させることにも、オフラインティーチング方法のようにオフラインティーチングソフトを使用することにも、各々に欠点がある。

まず、オンラインティーチング方法は、難易度の高い作業をおこないつつ、同時に、安全性に配慮する必要があるという欠点がある。

すなわち、まず、ティーチペンダントには、非常に多くのボタンが設けられており、ロボットを移動させたい方向が、所定の３次元座標上のどの方向であるか、また、ロボットをどの速さで移動させるか、等に注意しながら、この複数のボタンを使い分ける必要がある。そのため、ティーチペンダントの操作は、熟練の技術を要する難易度の高い作業である。しかも、このようなティーチペンダントの操作と同時に、ロボットが周辺の設備と干渉しないかについても注意する必要がある。このように、ティーチペンダントを用いたオンラインティーチングは、難易度が高いティーチペンダントの操作と、安全にロボットを移動させるための干渉の有無の確認、という作業を同時にこなす必要がある、という欠点がある。

一方、オフラインティーチング方法は、ティーチペンダントは使用しないものの、コンピュータ上のロボットのＣＡＤデータを動かすだけであるから、ロボットを動作させるためのプログラムを生成することはできるが、直接にロボットを動作させることができない。また、当該方法は、ワークや設備のレイアウトに変更があった場合、その変更をオフラインティーチングソフトのＣＡＤデータに反映する必要がある、という欠点がある。

そこで、本発明は、上記の問題に鑑み、容易な操作により、ロボットを動作させることができるロボット操作システムの動作方法を提供することを目的としている。

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１に記載のロボット操作システムの動作方法は、
ワーク（例えば図２に示すワークＷ）に対して所定の加工作業を行うロボット（例えば図２に示すロボット２）と、
前記ロボット（例えば図２に示すロボット２）および前記ワーク（例えば図２に示すワークＷ）を撮像可能な第１カメラ（例えば図２に示す第１カメラ３１～３９）と、
前記ロボット（例えば図２に示すロボット２）の３次元モデル（例えば図４に示す３次元モデル９、図５～６に示す移動後の３次元モデル９Ａ）を格納する３次元モデル格納部（例えば図２に示すＲＯＭ６２）と、
前記第１カメラ（例えば図２に示す第１カメラ３１～３９）が撮像する前記ロボット（例えば図２に示すロボット２）の画像（例えば図４～６に示す作業現場の画像Ｐ１～Ｐ３）と３次元モデル（例えば図４に示す３次元モデル９、図５～６に示す移動後の３次元モデル９Ａ）とを重ね合わせて表示させる表示部（例えば図２に示す表示部８）と、
前記３次元モデル（例えば図４に示す３次元モデル９、図５～６に示す移動後の３次元モデル９Ａ）を操作する操作手段（例えば図２に示す操作端末６の入力部６１）と、
前記ロボット（例えば図２に示すロボット２）を制御する制御手段（例えば図２に示すＣＰＵ６０）と、
を備えたロボット操作システムの動作方法であって、
前記表示部（例えば図２に示す表示部８）に前記ロボット（例えば図４に示すロボット２）と前記３次元モデル（例えば図４に示す３次元モデル９）とが重ね合わさった状態で表示されている該３次元モデル（例えば図４に示す３次元モデル９）を、前記操作手段（例えば図２に示す操作端末６の入力部６１）を用いて所定位置に移動させると、それに応じて該３次元モデル（例えば図４に示す３次元モデル９）を所定位置に移動させるものの、前記ロボットは移動せず（例えば図５に示すロボット２）、その移動していない前記ロボット（例えば図５に示すロボット２）と、前記所定位置に移動させた３次元モデル（例えば図５に示す３次元モデル９Ａ）とを前記表示部（例えば図２に示す表示部８）に重ね合わせて表示するステップ（例えば図３に示すステップＳ４）と、
前記ロボット（例えば図５に示すロボット２）を前記所定位置に移動してよいか判断させるために、作業者に、前記表示部（例えば図２に示す表示部８）の表示を確認させるステップと、
前記３次元モデル（例えば図４に示す３次元モデル９、図５～６に示す移動後の３次元モデル９Ａ）が所定位置に移動したとしても、前記操作手段（例えば図２に示す操作端末６の入力部６１）を用いて、許可動作（例えば図３に示すステップＳ６：Ｙ）を行わない限り、前記制御手段（例えば図２に示すＣＰＵ６０）にて前記ロボット（例えば図２に示すロボット２）を前記所定位置に移動させず、前記操作手段（例えば図２に示す操作端末６の入力部６１）を用いて、前記許可動作（例えば図３に示すステップＳ６：Ｙ）が行われると、前記制御手段（例えば図２に示すＣＰＵ６０）にて前記ロボット（例えば図２に示すロボット２）を前記所定位置に移動させるステップ（例えば図３に示すステップＳ７）と、を含んでなることを特徴とする。

請求項２に記載のロボット操作システムの動作方法は、
前記ロボット（例えば図２に示すロボット２）のアーム（例えば図２に示すアーム２２）に設けられた作業ツール（例えば図７に示す作業ツール２４）の先端部を撮像可能な第２カメラ（例えば図８に示す第２カメラ２８）と、
前記ロボット（例えば図２に示すロボット２）が前記ワーク（例えば図２に示すワークＷ）に対して前記所定の加工作業を行っている際、前記第２カメラ（例えば図８に示す第２カメラ２８）を保護する保護部材（例えば図８に示すカメラ筐体２８ａ、遮蔽板２８ｄ）と、をさらに備えてなることを特徴とする。

請求項３に記載のロボット操作システムの動作方法は、
前記表示部（例えば図２に示す表示部８）に表示させる画像（例えば図４～６に示す作業現場の画像Ｐ１～Ｐ３）を制御する表示制御手段（例えば図２に示す撮像処理端末５のＣＰＵ５０）をさらに備え、
前記第１カメラ（例えば図２に示す第１カメラ３１～３９）は複数の第１カメラ（例えば図２に示す第１カメラ３１～３９）であって、
前記表示部（例えば図２に示す表示部８）に表示される前記３次元モデル（例えば図５に示す移動後の３次元モデル９Ａ）の位置情報に基づき、前記表示制御手段（例えば図２に示す撮像処理端末５のＣＰＵ５０）にて、前記複数の第１カメラ（例えば図２に示す第１カメラ３１～３９）から１つを選択するステップ（例えば図３に示すステップＳ１０３）と、
前記選択された第１カメラ（例えば図２に示す第１カメラ３１）によって撮像された画像（例えば図５に示す作業現場の画像Ｐ２）を、前記表示制御手段（例えば図２に示す撮像処理端末５のＣＰＵ５０）にて、前記表示部（例えば図２に示す表示部８）に表示させるステップ（例えば図３に示すステップＳ１０４）と、をさらに備えてなることを特徴とする。

請求項４に記載のロボット操作システムの動作方法は、
前記３次元モデル（例えば図４に示す３次元モデル９、図５～６に示す移動後の３次元モデル９Ａ）は、前記ロボットのアームに対応する部分（例えば図６に示すロボット２のアーム２２に相当する部分の３次元モデル９ｂ）を透過させて、前記表示部（例えば図２に示す表示部８）に表示されてなることを特徴とする。

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１に係る発明によれば、作業者は、ロボット（例えば図２に示すロボット２）を所定位置に移動させるに先立ち、表示部（例えば図２に示す表示部８）にロボット（例えば図２に示すロボット２）と重ね合わさった状態で表示されている３次元モデル（例えば図４に示す３次元モデル９）を所定位置に移動させる。これにより、作業者は、ロボット（例えば図２に示すロボット２）を所定位置に移動させるには３次元モデル（例えば図４に示す３次元モデル９）を所定位置に移動させればよく、難易度が高いティーチペンダントを使用することなく、ロボットを動作することができる。

また、請求項１に係る発明によれば、上記のように移動された、移動後の３次元モデル（例えば図５に示す移動後の３次元モデル９Ａ）は、第１カメラ（例えば図２に示す第１カメラ３１～３９）が撮像する移動前のロボット（例えば図５に示すロボット２）やワーク（例えば図２に示すワークＷ）、およびその周辺の設備の画像（例えば図５に示す作業現場の画像Ｐ２）と重ね合わせて表示される。よって、作業者は、上記のように、３次元モデル（例えば図４に示す３次元モデル９）を所定位置に移動させる操作を完了させてから、移動後の３次元モデル（例えば図５に示す移動後の３次元モデル９Ａ）と重ね合わせで表示される実際のワーク（例えば図２に示すワークＷ）や周辺の設備を表示部８で目視確認しながら、移動前のロボット（例えば図５に示すロボット２）を移動後の３次元モデル（例えば図５に示す移動後の３次元モデル９Ａ）のように移動させたときに周辺の設備と干渉を生じさせないか等を確認することができる。すなわち、移動の操作と確認作業を同時に行う必要がなく、これら作業を分けて行うことができるから、操作の難易度を下げつつ、安全性を強化することができる。

また、重ね合わせで表示されるのは第１カメラ（例えば図２に示す第１カメラ３１～３９）が撮像する実際のワーク（例えば図２に示すワークＷ）や周辺の設備であるから、ワークや周辺の設備のレイアウトに変更があった場合も、従来のオフラインティーチングソフトでは必要であったＣＡＤデータの修正等の特別な対応が不要である。

さらに、請求項１に係る発明によれば、作業者が所定位置への移動に問題がないと判断し許可動作（例えば図３に示すステップＳ６：Ｙ）を行わない限り、制御手段（例えば図２に示すＣＰＵ６０）は、ロボット（例えば図５に示すロボット２）を移動させない。このため、作業者は、ロボット（例えば図５に示すロボット２）は移動させないまま、３次元モデル（例えば図５に示す移動後の３次元モデル９Ａ）だけを移動する操作をやり直しながら、最適な移動方法を見つけることができる。このとき、ロボット（例えば図５に示すロボット２）は移動させていないから、ロボット（例えば図５に示すロボット２）を一旦元の位置に戻し、移動をやり直す、という手間や工数が発生しない。

もって、請求項１に係る発明によれば、容易な操作により、ロボットを動作させることができるロボット操作システムの動作方法を提供することができる。

請求項２にかかる発明によれば、作業者は、作業ツールの先端部（例えば図７に示す先端部２４ａ）および先端部付近の画像を確認しながら、作業ツールの先端部（例えば図７に示す先端部２４ａ）が、ワーク（例えば図２に示すワークＷ）を加工作業するのに最適な位置にくるように、アーム（例えば図２に示すアーム２２）を移動させることができる。さらに、保護部材（例えば図８に示すカメラ筐体２８ａ、遮蔽板２８ｄ）により、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の飛散物等から第２カメラ（例えば図８に示す第２カメラ２８）を保護することができる。

請求項３にかかる発明によれば、３次元モデル（例えば図５に示す移動後の３次元モデル９Ａ）の位置情報に基づき、第１カメラ（例えば図２に示す第１カメラ３１）が選択され、画像（例えば図５に示す作業現場の画像Ｐ２）が表示部（例えば図２に示す表示部８）に表示されるから、３次元モデル（例えば図５に示す移動後の３次元モデル９Ａ）の位置情報に対応した作業現場の画像（例えば図５に示す作業現場の画像Ｐ２）が表示される。

請求項４にかかる発明によれば、表示部（例えば図２に示す表示部８）に表示される３次元モデル（例えば図４に示す３次元モデル９、図５～６に示す移動後の３次元モデル９Ａ）を所定位置に移動させるにあたり、作業ツールの先端部に相当する部分の３次元モデル（例えば図６に示す先端部２４ａに相当する部分の３次元モデル９ａ）が、ロボットのアームに対応する部分の３次元モデル（例えば図６に示すアーム２２に相当する部分の３次元モデル９ｂ）に隠れてしまい、表示部（例えば図２に示す表示部８）で確認できない、ということが起きない。

本発明の一実施形態に係るロボット操作システムの全体図である。同実施形態に係るロボット操作システムの全体概略図である。同実施形態に係るロボット操作システムの動作内容を示すフローチャート図である。３次元モデルとロボットとが重ね合わさった状態を表示する表示部を示す図である。３次元モデルを所定位置に移動した状態を表示する表示部を示す図である。３次元モデルを所定位置に移動した後、作業者が許可動作を行ったことに伴い、ロボットが所定位置に移動した状態を表示する表示部を示す図である。ロボットアームの先端部にカメラ筐体が取り付けられた状態を示す斜視図である。（ａ）はカメラ筐体の縦断面図、（ｂ）はカメラ筐体の遮蔽板が上方に回動した状態を示す縦断面図である。

以下、本発明に係るロボット操作システムの動作方法によるロボット操作システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

＜ロボット操作システムの概要説明＞
まず、本実施形態におけるロボット操作システム１の概要を説明する。本実施形態におけるロボット操作システム１は、図１に示すように、ワークＷ（図２参照）が載置されるターンテーブルＴと、溶接や研磨等の所定の加工作業をワークＷに行うロボット２が、複数の第１カメラ３１～３９により撮像される。そして、作業者が、操作端末６（図２参照）を用いて、第１カメラ３１～３９により撮像されるロボット２やワークＷ及び周囲の状況を見ながら、ロボット２を操作するものである。

図２を用いて、より具体的に、本実施形態におけるロボット操作システム１の構成について説明する。まず、図２に示すように、ロボット２は、ネットワークＮにより、プログラマブルロジックコントローラ（以下、ＰＬＣ２９と呼ぶ）を介して操作端末６と接続されている。一方、第１カメラ３１～３９は、ネットワークＮにより、撮像処理端末５と接続されている。さらに、撮像処理端末５と操作端末６も、ネットワークＮにより接続されている。

さらに、撮像処理端末５は投影装置７０と、操作端末６は投影装置７１と、各々ネットワークＮにより接続されている。また、投影装置７０からの画像（第１カメラ３１～３９の撮像画像）と、投影装置７１からの画像（操作端末６の表示部６４の表示）とが、重ね合わせて表示される表示部８を備える。

ここで、上記のような構成のロボット操作システム１によりロボット２を移動する方法を簡単に説明する。作業者は、まず操作端末６を用いて、操作端末６の表示部６４に表示されるロボット２の３次元モデル９（図４参照）を、ドラッグ等の操作により移動させる。これにより、ロボット２やワークＷ及び周囲の状況と移動後の３次元モデル９Ａが表示部８に重ね合わせて表示される（図５参照）。作業者は、表示部８の表示を確認し、ロボット２を移動後の３次元モデル９Ａの位置姿勢に移動すると干渉等の問題が生じると判断したら、図示しないキャンセルボタンを押下する。そうすると、ロボット２を移動させないまま、作業者は３次元モデル９の移動をやり直すことができる。一方、ロボット２を移動後の３次元モデル９Ａの位置姿勢に移動して問題ないと判断したら、作業者は図示しないＯＫボタンを押下する。これにより、ロボット２が移動後の３次元モデル９Ａの位置まで移動する（図６参照）。

本実施形態におけるロボット操作システムの概要は以上のとおりである。次に、図２の各部について詳細に説明する。

＜ロボットの説明＞
ロボット２は、６自由度の多関節汎用ロボットである。より詳しく説明すると、このロボット２は、作業場の床等に固定される基台２０と、基台２０に対して基端が回転可能に連結されているアーム２２と、アーム２２の先端部２２ａに取り付けられ、ターンテーブルＴ上に載置されたワークＷに対し、溶接やシーリング、あるいは塗装、切断、研磨、ハンドリング等の作業を行う作業ツール２４を備える。なお、本実施形態において、ロボット１は、６軸の多関節汎用ロボットを例示したが、これに限らずどのようなロボットを用いてもよい。

＜第１カメラの説明＞
第１カメラ３１～３９は、色彩画像とともに視差画像を撮ることのできるデジタルカメラである。第１カメラ３１～３９を作業現場に設置するにあたって、本実施形態では、図１に示すように、ロボット２やターンテーブルＴが設置される安全柵Ｄ内に、カメラ設置枠３０を設置している。カメラ設置枠３０は、図示右側から第１枠３０ｂ、第２枠３０ｃ、第３枠３０ｄと、第１枠３０ｂ、第２枠３０ｃ、第３枠３０ｄを連結する共通横材３０ａとからなる。第１枠３０ｂ、第２枠３０ｃ、第３枠３０ｄは、各々、左右１対の縦材と、両縦材の上端間を連結する横材とからなる。共通横材３０ａは、第１枠３０ｂ、第２枠３０ｃ、第３枠３０ｄの各横材の中央を連結するように設けられている。

そして、第１枠３０ｂの図示左側の縦材に、第１カメラ３１、３２が上下に間隔を隔てて設置され、図示右側の縦材に、第１カメラ３３、３４が上下に間隔を隔てて設置されている。また、第２枠３０ｃの図示左側の縦材に、第１カメラ３６が設置され、図示右側の縦材に、第１カメラ３７が設置されている。さらに、第２枠３０ｃの左右１対の縦材には、図示左側に向かって延びる部材３０ｃ１、３０ｃ２が設けられており、その先端部分に第１カメラ３８、３９が設置されている。

＜第２カメラの説明＞
アーム２２の先端部２２ａには、図２には表れていないが、図８に示す第２カメラ２８が設けられる。より詳しくは、図７に示すように、アーム２２の先端部２２ａに、作業ツール２４を取り付けるための取付ブラケット２６が設けられる。この取付ブラケット２６を横方向に延長させた部分に、カメラ筐体２８ａがビスなどで取り付け固定されている。このカメラ筐体２８ａは、図８（ａ）に示すように、中空状に形成されると共に、断面視弾頭状に形成されている。そして、このようなカメラ筐体２８ａの前部（図示左部）には、図８（ｂ）に示すように、開口部２８ｂが形成されている。この開口部２８ｂは、図８に示すように、カメラ筐体２８ａの前部（図示左部）に設けられている回転軸２８ｃを基点として回転可能に取り付けられている遮蔽板２８ｄにて、開閉できるようになっている。なお、この回転軸２８ｃは、図示はしないが、ソレノイドなどで駆動できるようなっている。

かくして、このようなカメラ筐体２８ａ内には、図８に示すように第２カメラ２８が設置固定されており、作業ツール２４の先端部２４ａを撮像できるようになっている。

なお、図示しないが、この第２カメラ２８は操作端末６（図２参照）と通信可能に接続されている。

＜撮像処理端末の説明＞
撮像処理端末５は、例えばＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）で構成される、情報処理装置である。具体的には、図２に示すように、ＣＰＵ５０と、マウスやキーボード、タッチパネル、或いは、ＵＳＢコネクタ、Ｌｉｇｈｔｎｉｎｇコネクタ等を用いて外部から所定データを撮像処理端末５に入力することができる入力部５１と、所定のアプリケーションプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ５２と、作業領域やバッファメモリ等として機能するＲＡＭ５３と、種々の画像を表示可能な表示部５４と、無線ＬＡＮ，有線ＬＡＮ，ダイヤルアップ等の通信手段でネットワークＮに接続が可能な通信部５５と、で構成されている。

＜操作端末の説明＞
操作端末６は、例えばＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）で構成される、情報処理装置である。具体的には、撮像処理端末５と同様の構成を備え、図２に示すように、ＣＰＵ６０、入力部６１、ＲＯＭ６２と、ＲＡＭ６３、表示部６４、通信部６５と、で構成されている。なお、ＲＯＭ６２には、本実施形態により作業者がロボット２を移動するのに使用するロボット操作用プログラム、及び、そのプログラムにおいて使用される３次元モデル９（図４参照）が格納される。

＜表示部の説明＞
表示部８は、一つのスクリーンからなる。表示部８には、撮像処理端末５が第１カメラ３１～３９のうち選択した１つの第１カメラ３１～３９から受信した画像と、操作端末６において作業者により起動されたロボット操作用プログラムが表示部６４に表示された画面とが、投影装置７０と投影装置７１とにより、各々表示部８上に投影され、重ね合わせて表示される。

＜ロボット操作システムの使用例の説明＞
上記のように構成される、ロボット操作システム１の動作方法の使用例について、図３を参照して具体的に説明する。なお、以下の内容はあくまで一例であり、これに限定されるものではない。

図２に示す撮像処理端末５のＣＰＵ５０（以下、撮像処理端末５と省略することがある）は、入力部５１を介して作業者から指示を受け、図２に示す第１カメラ３１～３９の画像の受信を開始する（ステップＳ１０１）。

次に、撮像処理端末５は、図２に示す第１カメラ３１～３９から受信した画像のうち、所定の１つの第１カメラの画像を投影装置７０に送信し、図２に示す表示部８に表示させる（ステップＳ１０２）。なお、最初にいずれの第１カメラの画像を表示部８に表示させるかは、撮像処理端末５のＲＯＭ５２に予め記憶しておけばよい。ここでは、第１カメラ３１が撮像する画像Ｐ１（図４参照）を表示部８に表示させるものとする。

一方、図２に示す操作端末６のＣＰＵ６０（以下、操作端末６と省略することがある）は、ＲＯＭ６２に格納されるロボット操作用プログラムを起動する（ステップＳ１）。

次に、操作端末６は、操作端末６のＲＯＭ６２に格納される３次元モデル９（図４参照）を読み出す（ステップＳ２）。

次に、操作端末６は、図４に示すように、ＲＯＭ６２から読みだした３次元モデル９を、表示部８に表示し、撮像処理端末５により表示部８に表示される画像Ｐ１のロボット２に重ね合わせる（ステップＳ３）。具体的には、操作端末６は、ロボット２やワークＷが配置される作業現場に対応する仮想空間を、３次元座標空間として生成し、ステップＳ２にて読みだした３次元モデル９を、仮想空間内に配置する。そして、操作端末６は、仮想空間内の、第１カメラ３１に対応する位置から見た３次元モデル９を描写し、表示部８（あるいは操作端末６の表示部６４）に表示させる。

次に、操作端末６は、作業者の操作に従い、３次元モデル９（図４参照）を移動させる（ステップＳ４）。具体的には、作業者は、表示部８を見ながら、ロボット２と重ね合わされた状態の３次元モデル９（図４参照）を、入力部６１を用いた所定の操作（例えばマウスによるドラッグ・アンド・ドロップ）により、３次元モデル９を所望の位置姿勢になるよう、移動する操作を行う。操作端末６は、この作業者の操作に従い、３次元モデル９を移動させる。その結果、３次元モデル９は、図５に示す移動後の３次元モデル９Ａのように、作業現場の画像Ｐ２のロボット２とは異なる位置姿勢を取った状態が、表示部８に表示される。

次に、操作端末６は、表示部８に表示される３次元モデル９の位置情報（仮想空間内のどの位置から見た３次元モデル９を描写し、表示部８（あるいは操作端末６の表示部６４）に表示させているか）を、撮像処理端末５に送信する（ステップＳ５）。

この点について詳しく説明すると、操作端末６は、仮想空間内の任意の位置からから見た３次元モデル９を描写し、表示部８（あるいは操作端末６の表示部６４）に表示させることができる。このため、作業者は、ステップＳ４において３次元モデル９を移動させるにあたり、側面側から見た３次元モデル９（図４参照）だけでなく、上や斜め下から見た３次元モデル９（図示せず）を表示部８（あるいは操作端末６の表示部６４）に表示させ、確認することができる。

ステップＳ５では、この、仮想空間内のどの位置から見た３次元モデル９を描写し、表示部８（あるいは操作端末６の表示部６４）に表示させているかの位置情報（例えば３次元座標）を、操作端末６が撮像処理端末５に送信するものである。

次に、撮像処理端末５（図２参照）は、受信した位置情報に基づき、表示部８（図２参照）に表示させる画像の受信元となる第１カメラを、第１カメラ３１～３９（図２参照）から１つ選択する（ステップＳ１０３）。具体的には、操作端末６は、例えば、位置情報がしきい値Ａ以上Ｂ未満の場合は第１カメラ３１、しきい値Ｂ以上Ｃ未満の場合は第１カメラ３２、・・・というように、予め、操作端末６から受信する位置情報と、第１カメラ３１～３９を対応付けて記憶する。そして、受信した位置情報に対応する第１カメラを第１カメラ３１～３９から選択する。ここでは、第１カメラ３１が選択されたものとする。

撮像処理端末５は、上記のようにして選択した第１カメラ３１の画像を受信し、投影装置７０を介して表示部８に表示する。

次に、操作端末６は、ＯＫボタン（図示せず）が押下されるかどうかを検出する（ステップＳ６）。具体的には、作業者は、図５に示すように、表示部８に表示される移動後の３次元モデル９Ａ、および、作業現場の画像Ｐ２のロボット２、ワークＷ、及び周囲の状況を確認する。そして、作業者は、移動後の３次元モデル９Ａの通りロボット２を移動させたときに、作業現場の周辺の設備との干渉を生じさせないかを確認する。

さらに、作業者は、ロボット２が取ることができる位置姿勢となっているかも確認する。なお、操作端末６は、ロボット２の取ることができる位置姿勢の範囲を予めＲＯＭ６２に記憶しておいてもよい。そして、作業者がこの範囲を越える位置姿勢を取るよう３次元モデル９を移動させた場合、ロボット２が取ることができない位置姿勢となっていると判断し、操作端末６は３次元モデル９の色を所定の色（例えば赤色）に変色させ、作業者への注意喚起や操作の取り消し等を行ってもよい。

次に、操作端末６は、作業者がキャンセルボタン（図示せず）を押下した場合（ステップＳ６：Ｎ）、ステップＳ４に戻る。具体的には、作業者は、ロボット２を移動後の図５に示す３次元モデル９Ａの位置姿勢に移動させないと判断したため、キャンセルボタン（図示せず）を押下する。これを受け、操作端末６は、ロボット２は移動後の３次元モデル９Ａの位置に移動させずステップＳ４に戻り、再度、作業者の操作に従い３次元モデル９を移動させる。

一方、操作端末６は、作業者によりＯＫボタン（図示せず）が押下されたことを検出した場合（ステップＳ６：Ｙ）、ロボット２を移動させる（ステップＳ７）。具体的には、操作端末６は、図５に示す移動後の３次元モデル９Ａの位置姿勢を示すパラメータをＰＬＣ２９に送信し、ＯＫボタン（図示せず）の押下が続いている間（長押しされている間）、ロボット２を移動後の３次元モデル９Ａの位置姿勢に移動するよう制御する。その結果、図６に示すように、ロボット２が移動後の３次元モデル９Ａに重なる位置姿勢となる。

なお、作業者は、ロボット２が移動中に周囲の装置等と干渉しそうになったら、長押ししているＯＫボタン（図示せず）を離すことで、干渉を回避することができる。

次に、操作端末６は、図７に示す第２カメラ２８の画像を受信し、表示させる（ステップＳ８）。すなわち、作業者は、第１カメラ３１の画像（図６参照）では、作業ツール２４の先端部２４ａとワークＷとの位置関係が詳細に確認できない場合がある。そのため、操作端末６は、第２カメラ２８に作業ツール２４の先端部２４ａやワークＷを撮像させ、撮像した画像を第２カメラ２８から受信し、表示部８（あるいは操作端末６の表示部６４）に表示させる（図示せず）。これにより、作業者は、作業ツール２４の先端部２４ａとワークＷの位置をより詳細に確認し、より正確に、先端部２４ａをワークＷの所定位置に移動させることができる。なお、この際、ＰＬＣ２９は、図８に示す回転軸２８ｃを回転させて、カメラ筐体２８ａの遮蔽板２８ｄを回動させ、図８（ｂ）に示すように、開口部２８ｂを開放するようにしている。

次に、操作端末６は、ロボット２に対し溶接等の加工作業を指示する（ステップＳ９）。具体的には、操作端末６は、ロボット操作プログラムあるいはその他の所定のプログラムにより、ロボット２に溶接等の加工作業を指示する。この際、ＰＬＣ２９は、図８に示す回転軸２８ｃを回転させて、カメラ筐体２８ａの遮蔽板２８ｄを回動させ、図８（ａ）に示すように、開口部２８ｂを閉止するようにしている。これにより、加工作業の間、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の飛散物等から第２カメラ２８を保護することができる。

所定の加工作業が終了したら、撮像処理端末５および操作端末６は処理を終了する。

なお、この後、異なる形状のワークＷに対し処理を行う場合、作業者は、その異なる形状のワークＷをターンテーブルＴに載置すればよい。図２に示す第１カメラ３１～３９がそのワークＷを撮像するから、作業者は表示部８にてそのワークＷを確認しながら、上述の動作方法にてロボット２を動作させることができる。

したがって、以上説明してきた本実施形態によれば、容易な操作により、ロボットを動作させることができるロボット操作システムの動作方法を提供することができる。

すなわち、従来から、作業現場でワークを直接見ながら、ティーチペンダントを用いてロボットを動作させることは可能であったが、難易度が高いティーチペンダントの操作と、安全にロボットを移動させるための干渉の有無の確認、という作業を同時にこなす必要がある。一方、オフラインティーチングソフトはティーチペンダントを使用しないものの、コンピュータ上のロボットのＣＡＤデータを動かすだけであるから、実際にロボットを移動させることができない。また、ワークや設備のレイアウトに変更があった場合、その変更をオフラインティーチングソフトのＣＡＤデータに反映する必要がある。

しかし、本実施形態によれば、表示部８に表示される３次元モデル９を、マウスなどの入力部６１で操作することによりロボットを所定位置に移動させる事ができるから、ティーチペンダントを操作することなく、オフラインティーチングソフトのような容易な操作により、ロボットを動作させることができる。

また、本実施形態によれば、３次元モデル９と、第１カメラ３１～３９が撮像する作業現場の画像Ｐ２と重ね合わせて表示される。このため、３次元モデル９を移動させてから、その３次元モデル９と、実際のワークＷや周辺の設備を目視確認しながら、周辺の設備と干渉を生じさせないか等を確認することができる。すなわち、移動の操作と確認作業を同時に行う必要がなく、これら作業を分けて行うことができる。なお、ワークＷや周辺の設備のレイアウトに変更があった場合、作業現場の画像Ｐ２にて即時にその変更が確認でき、アプリケーションにてＣＡＤデータを修正する等の必要はない。

さらに、本実施形態によれば、移動した３次元モデル９と、実際のワークＷや周辺の設備を目視確認した結果、周辺の設備と干渉しそう等の好ましくない状態になることがわかった場合、キャンセルボタンを押下し、３次元モデル９の移動をやり直す事ができる。このように、ロボット２は移動させないまま、３次元モデル９Ａだけを移動する操作をやり直しながら、最適な移動方法を見つけることができる。このとき、ロボット２は移動させていないから、ロボット２を一旦元の位置に戻し、移動をやり直す、という手間や工数が発生しない。

以上のことより、本実施形態によれば、オンラインティーチング方法、オフラインティーチング方法それぞれの欠点を克服し、なおかつ利点を利用し、容易な操作によりロボットを動作させることができるロボット操作システムの動作方法とすることができる。

＜変形例の説明＞
なお、本実施形態において示したロボット操作システム１の動作方法はあくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。例えば、本実施形態においては、遮蔽板２８ｄを例示したが、それに限らず、遮光板を用いても良い。このようにすれば、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の飛散物等からカメラ２８を保護しつつ、カメラ２８にて、その加工作業を撮像することもできる。

また、本実施形態において例示したカメラ筐体２８ａは、あくまで一例であり、どのような形状でも良く。要は、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の際に生じる飛散物等からカメラ２８を保護できれば良い。

また、本実施形態においては、３次元モデル９は全体が単色にて表されるが、操作端末６は、図６に示すロボット２のアーム２２に対応する部分の３次元モデル９ｂを透過させて、表示部８（あるいは操作端末６の表示部６４）に表示させても良い。このようにすれば、図６に示す作業ツール２４の先端部２４ａに相当する部分の３次元モデル９ａが、ロボット２のアーム２２に相当する部分の３次元モデル９ｂに隠れて見えない、ということがない。

また、本実施形態においては、撮像処理端末５と操作端末６は２台の情報処理装置である。このように２台に分けた場合、処理速度が速いという利点がある。しかし、撮像処理端末５と操作端末６の両方の処理を１台の情報処理装置で行っても良い。

上記のように撮像処理端末５と操作端末６の両方の処理を１台の情報処理装置で行うにあたっては、第１カメラ３１～３９が撮像した画像をその情報処理装置に受信させ、受信した画像に３次元モデル９をその情報処理装置内で重ね合わせたものを、操作端末６の表示部６４あるいは表示部８に表示させても良い。

また、本実施形態においては、表示部８は、一つのスクリーンとしたが、一つのモニターとしても良い。その場合、撮像処理端末５とモニターをモニターケーブル（図示せず）で接続し、撮像処理端末５の画像をモニターに表示させても良い。そして、操作端末６において作業者により起動されたロボット操作用プログラムが表示部６４に表示された画面を、投影装置７１により表示部８上に投影し、モニターに表示される画像に重ね合わせてもよい。

また、本実施形態においては、ステップＳ１０３において、撮像処理端末５が表示部８に表示する画像の受信元となる第１カメラを、第１カメラ３１～３９から１つ選択したが、自由視点画像を生成し、表示部８に表示させても良い。

撮像処理端末５が自由視点画像を生成するには、例えば次のように行う。

まず、撮像処理端末５は、仮想空間内のどの位置から見た３次元モデル９を描写し、表示部８（あるいは操作端末６の表示部６４）に表示させているかの位置情報（例えば３次元座標）を操作端末６から受信する（ステップＳ５参照）。

次に、撮像処理端末５は、受信した位置情報が、作業現場のどの位置に相当するかを算出し、この算出した位置から見た画像となるよう、第１カメラ３１～３９から受信する画像をキャリブレーションする。なお、仮想空間内の位置を示す位置情報を、作業現場の位置に変換するにあたっては、例えば透視投影行列を利用した方法など、公知の変換方法を利用して算出すれば良い。

最後に、撮像処理端末５は、上記のようにして得られた各画像を合成した画像（自由視点画像）を、表示部８に表示させる。

上記のようにして、自由視点画像を生成し、表示部８に表示させても良い。

さらに、自由視点画像を生成するのではなく、第１カメラ３１～３９を移動させるようにしてもよい。

具体的には、ステップＳ５において撮像処理端末５が操作端末６から受信した位置情報が、作業現場のどの位置に相当するかを算出し、この算出した位置に移動できる第１カメラを第１カメラ３１～３９から選択し、選択した第１カメラ３１～３９を算出した位置に移動させ、画像を表示部８に表示させる。

上記のようにして、第１カメラ３１～３９のうち任意の１つの第１カメラを移動させて、表示部８に表示させても良い。なお、本実施形態においては、ターンテーブルＴを例示したが、それに限らず、２軸ポジショナなど、どのようなものにも適用可能である。

２ロボット
２２アーム
２４作業ツール
２８第２カメラ
２８ａカメラ筐体２８（保護部材）
２８ｄ遮蔽板（保護部材）
３１～３９第１カメラ
５０撮像処理端末５のＣＰＵ（表示制御手段）
６０操作端末６のＣＰＵ（制御手段）
６１操作端末６の入力部（操作手段）
６２操作端末６のＲＯＭ（３次元モデル格納部）
８表示部
９、９Ａ３次元モデル
９ｂアーム２２に相当する部分の３次元モデル
Ｗワーク
Ｐ１～Ｐ３作業現場の画像

Claims

ワークに対して所定の加工作業を行うロボットと、
前記ロボットおよび前記ワークを撮像可能な第１カメラと、
前記ロボットの３次元モデルを格納する３次元モデル格納部と、
前記第１カメラが撮像する前記ロボットの画像と３次元モデルとを重ね合わせて表示させる表示部と、
前記３次元モデルを操作する操作手段と、
前記ロボットを制御する制御手段と、
を備えたロボット操作システムの動作方法であって、
前記表示部に前記ロボットと前記３次元モデルとが重ね合わさった状態で表示されている該３次元モデルを、前記操作手段を用いて所定位置に移動させると、それに応じて該３次元モデルが所定位置に移動するステップと、
前記表示部に表示された前記３次元モデルを、前記操作手段を用いて所定位置に移動させると、それに応じて該３次元モデルを所定位置に移動させるものの、前記ロボットは移動せず、その移動していない前記ロボットと、前記所定位置に移動させた３次元モデルとを前記表示部に重ね合わせて表示するステップと、
前記ロボットを前記所定位置に移動してよいか判断させるために、作業者に、前記表示部の表示を確認させるステップと、
前記３次元モデルが所定位置に移動したとしても、前記操作手段を用いて、許可動作を行わない限り、前記制御手段にて前記ロボットを前記所定位置に移動させず、前記操作手段を用いて、前記許可動作が行われると、前記制御手段にて前記ロボットを前記所定位置に移動させるステップと、を含んでなるロボット操作システムの動作方法。
前記ロボットのアームに設けられた作業ツールの先端部を撮像可能な第２カメラと、
前記ロボットが前記ワークに対して前記所定の加工作業を行っている際、前記第２カメラを保護する保護部材と、をさらに備えてなる、請求項１に記載のロボット操作システムの動作方法。
前記表示部に表示させる画像を制御する表示制御手段をさらに備え、
前記第１カメラは複数の第１カメラであって、
前記表示部に表示される前記３次元モデルの位置情報に基づき、前記表示制御手段にて、前記複数の第１カメラから１つを選択するステップと、
前記選択された第１カメラによって撮像された画像を、前記表示制御手段にて、前記表示部に表示させるステップと、をさらに備えてなる、請求項１に記載のロボット操作システムの動作方法。
前記３次元モデルは、前記ロボットのアームに対応する部分を透過させて、前記表示部に表示されてなる、請求項１に記載のロボット操作システムの動作方法。