Nothing Special   »   [go: up one dir, main page]

JP2011251395A - Robot teaching system - Google Patents

Robot teaching system Download PDF

Info

Publication number
JP2011251395A
JP2011251395A JP2010128477A JP2010128477A JP2011251395A JP 2011251395 A JP2011251395 A JP 2011251395A JP 2010128477 A JP2010128477 A JP 2010128477A JP 2010128477 A JP2010128477 A JP 2010128477A JP 2011251395 A JP2011251395 A JP 2011251395A
Authority
JP
Japan
Prior art keywords
robot
image
work
teaching
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010128477A
Other languages
Japanese (ja)
Inventor
Tadashi Takamaru
正 高丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAKAMARU KOGYO KK
Original Assignee
TAKAMARU KOGYO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAKAMARU KOGYO KK filed Critical TAKAMARU KOGYO KK
Priority to JP2010128477A priority Critical patent/JP2011251395A/en
Publication of JP2011251395A publication Critical patent/JP2011251395A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a robot teaching system with which working efficiency is improved and which is free from any risk.SOLUTION: The robot teaching system includes: the robot 1 for performing operations such as welding for a workpiece W; a plurality of multi-viewpoint image photographing cameras 2 for photographing the work sites of the robot 1; an image generation means for acquiring the images photographed by the plurality of multi-viewpoint image photographing cameras 2 and generating the optional-viewpoint images of the work sites of the robot 1 from the acquired images; a display means for displaying the generated optional-viewpoint image; an indication means capable of indicating the operations of the robot 1 by using the displayed image; and a robot control means for controlling the robot 1 according to the operation indicated by the indication means.

Description

本発明は、ワークに対して溶接等の作業を行うロボットを教示（ティーチング）するロボット教示システムに関する。   The present invention relates to a robot teaching system for teaching (teaching) a robot that performs work such as welding on a workpiece.

近年、様々な分野においてロボットによる作業が行われている。そして、この種のロボットは、制御装置からの信号に基づき、ワークに対して溶接やシーリング、あるいは塗装、切断、研磨、ハンドリング等の作業を行っている。また、そのロボットの作動にあたっては、作業者が、ティーチペンダントやコンピュータを用いて上記作業装置に上記ロボットの作業手順を教示させることで作動させている。   In recent years, robot work has been performed in various fields. This type of robot performs welding, sealing, painting, cutting, polishing, handling, and the like on the workpiece based on a signal from the control device. Further, when the robot is operated, the operator is operated by teaching the operation procedure of the robot to the operation device using a teach pendant or a computer.

ところで、この作業手順を教示させる方法としては、一般に、オンラインティーチング方法とオフラインティーチング方法という２つの方法が知られている。オンラインティーチング方法とは、作業現場でワークを直接見ながら、ティーチペンダントを用いて上記ロボットの作業位置等を教示する方法である。一方、オフラインティーチング方法とは、作業現場以外のコンピュータにインストールされているオフラインティーチングソフトを使用して、ワーク及びロボットのＣＡＤ（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎ）データを作成し、画面上に疑似的なワーク及びロボットの画像を描画した上で、キーボードやマウス等によって作業者に座標位置等のデータを入力させることで、上記ロボットに作業手順を教示させる方法である（例えば、特許文献１）。   By the way, as methods for teaching this work procedure, two methods of an online teaching method and an offline teaching method are generally known. The online teaching method is a method of teaching the work position of the robot using the teach pendant while directly viewing the workpiece at the work site. On the other hand, the offline teaching method is to create CAD (computer-aided design) data of a workpiece and a robot using offline teaching software installed on a computer other than the work site, This is a method in which the robot is instructed in a work procedure by drawing data of the robot and causing the operator to input data such as coordinate positions using a keyboard, mouse, or the like (for example, Patent Document 1).

特開平９−１７９６２４号公報JP-A-9-179624

しかしながら、上記のようなティーチング方法には次のような問題があった。すなわち、上記オンラインティーチング方法は、作業現場での作業となるため、ロボットへの教示作業中はロボット自体を停止させなければならず、それゆえ、設備稼働率の低下による生産性の悪化を招いてしまうという問題があった。また、当該方法は、実際の作業現場での作業となるため危険を伴うという問題があった。   However, the teaching method as described above has the following problems. In other words, since the above online teaching method is a work at the work site, the robot itself must be stopped during the teaching work to the robot, and hence the productivity is deteriorated due to a decrease in the equipment operation rate. There was a problem that. In addition, this method has a problem that it is dangerous because it is an actual work site.

一方、上記オフラインティーチング方法は、当該ロボットへの教示中も作業が行え、オンラインティーチング方法より利点を有する。しかしながら、当該方法では、実際の作業現場に存在するロボットのケーブル、ホース等が、ワークやロボット自身に、実際にどのように干渉するのか不明であり、そしてまた、当該方法では、ワークのＣＡＤデータを作成しているため、コンピュータ上の疑似的なワークと、実際のワークとの誤差が生じることが多々あり、実際はオフラインティーチング方法のみでロボットへの教示作業を完了させることができず、作業現場での修正作業が必要となっていた。そのため、作業者の作業負担が増大するばかりか、実際の作業現場での作業が必要となるため危険を伴うという問題があった。   On the other hand, the off-line teaching method can work even while teaching the robot, and has an advantage over the on-line teaching method. However, in this method, it is unclear how the robot cables, hoses, etc. that exist in the actual work site actually interfere with the workpiece and the robot itself. Also, in this method, the CAD data of the workpiece Therefore, there are many cases where errors occur between the pseudo work on the computer and the actual work. Actually, the teaching work to the robot cannot be completed only by the off-line teaching method. It was necessary to make corrections. For this reason, there is a problem that not only the work burden on the worker increases but also there is a danger because the work at the actual work site is required.

そこで本発明は、上記事情に鑑み、作業効率の向上化が図れ、なお且つ、危険も伴わないロボット教示システムを提供することを目的としている。   In view of the above circumstances, an object of the present invention is to provide a robot teaching system that can improve work efficiency and does not involve danger.

上記目的を達成するために、本発明の請求項１に係るロボット教示システムを、図面の参照符号を付して示せば、ワークＷに対して溶接等の作業を行うロボット１と、前記ロボット１の作業現場を撮影可能な複数の多視点画像撮影カメラ２と、前記各多視点画像撮影カメラ２によって撮影された画像を取得し、且つ、その取得した画像から前記ロボット１の作業現場の任意視点画像を生成する画像生成手段（画像生成部３０）と、前記生成された任意視点画像を表示する表示手段（表示部３５）と、前記表示された画像を用いて前記ロボット１の作動を指示可能な指示手段（指示部３３）と、前記指示手段（指示部３３）によって指示された作動に応じて前記ロボット１を制御するロボット制御手段（ロボット制御部３７）とを有してなることを特徴としている。   In order to achieve the above object, if a robot teaching system according to claim 1 of the present invention is shown with reference numerals in the drawings, a robot 1 that performs welding or the like on a workpiece W, and the robot 1 A plurality of multi-viewpoint image capturing cameras 2 capable of capturing the work site, and images captured by each of the multi-viewpoint image capturing cameras 2, and an arbitrary viewpoint of the work site of the robot 1 from the acquired images An image generating unit (image generating unit 30) for generating an image, a display unit (display unit 35) for displaying the generated arbitrary viewpoint image, and an operation of the robot 1 can be instructed using the displayed image. And a robot control unit (robot control unit 37) for controlling the robot 1 in accordance with an operation instructed by the instruction unit (instruction unit 33). It is characterized in.

また、請求項２に係るロボット教示システムは、上記請求項１に記載のロボット教示システムにおいて、前記ロボット１の３次元ＣＡＤモデルを格納する３次元ＣＡＤモデル格納手段（３次元ＣＡＤモデル格納部３１）と、前記３次元ＣＡＤモデル格納手段（３次元ＣＡＤモデル格納部３１）に格納されている前記ロボット１の３次元ＣＡＤモデルと前記画像生成手段（画像生成部３０）によって生成される任意視点画像とを合成する画像合成手段（画像合成部３６）とをさらに有し、前記画像合成手段（画像合成部３６）によって合成された画像は、前記表示手段（表示部３５）に表示され、その表示された画像は、前記指示手段（指示部３３）によって前記ロボット１の作動を指示するために用いられてなることを特徴としている。   A robot teaching system according to a second aspect is the robot teaching system according to the first aspect, wherein a three-dimensional CAD model storage means (three-dimensional CAD model storage unit 31) stores a three-dimensional CAD model of the robot 1. A three-dimensional CAD model of the robot 1 stored in the three-dimensional CAD model storage unit (three-dimensional CAD model storage unit 31) and an arbitrary viewpoint image generated by the image generation unit (image generation unit 30) And an image composition means (image composition section 36) for composing the image, and the image synthesized by the image composition means (image composition section 36) is displayed on the display means (display section 35) and displayed. The image is used to instruct the operation of the robot 1 by the instruction means (instruction unit 33).

一方、請求項３に係るロボット教示システムは、上記請求項１又は２に記載のロボット教示システムにおいて、前記指示手段（指示部３３）はマウスであり、前記表示手段（表示部３５）に表示された画像をマウス操作することにより、前記ロボット１の作動を指示してなることを特徴としている。   On the other hand, the robot teaching system according to claim 3 is the robot teaching system according to claim 1 or 2, wherein the instruction unit (instruction unit 33) is a mouse and is displayed on the display unit (display unit 35). The operation of the robot 1 is instructed by operating the image with a mouse.

次に、本発明の効果について、図面の参照符号を付して説明する。まず請求項１の発明にかかるロボット教示システムでは、複数の多視点画像撮影カメラ２によって撮影されたワークＷに対して溶接等の作業を行うロボット１の作業現場の撮影画像が、画像生成手段（画像生成部３０）にて任意視点画像として生成される。そして、その生成された任意視点画像が表示手段（表示部３５）に表示される。これにより、作業者は、表示手段（表示部３５）に表示された画像を用いて、マウス等の指示手段（指示部３３）を用いて上記ロボット１の作動を指示することができる。そして、この作動指示に応じてロボット制御手段（ロボット制御部３７）はロボット１の作動を制御することとなる。   Next, effects of the present invention will be described with reference numerals in the drawings. First, in the robot teaching system according to the first aspect of the present invention, a photographed image of the work site of the robot 1 performing a work such as welding on the workpiece W photographed by a plurality of multi-viewpoint image photographing cameras 2 is an image generating means ( An arbitrary viewpoint image is generated by the image generation unit 30). Then, the generated arbitrary viewpoint image is displayed on the display means (display unit 35). Thus, the operator can instruct the operation of the robot 1 using the instruction means (instruction part 33) such as a mouse, using the image displayed on the display means (display part 35). The robot control means (robot control unit 37) controls the operation of the robot 1 in accordance with this operation instruction.

そのため、表示手段（表示部３５）にロボット１の作業現場のリアルタイム画像を表示することができ、その画像を用いて作業者は、ロボット１の教示作業を行うことができる。それゆえ、ロボット１のケーブル、ホース等が、ワークＷやロボット１自身に、実際にどのように干渉するのか判断することができ、さらには、ワークＷのＣＡＤデータを作成する必要がないため、コンピュータ上の疑似的なワークと、実際のワークとの誤差が生じにくくなる。したがって、作業現場での修正作業が必要なくなり、作業負担が大幅に軽減されるばかりか、遠隔地で作業を行うことができるため、危険を伴うということもない。また、作業現場で直接、ロボット１への教示作業を行う必要がないため、ロボット１への教示作業中にロボット１自体を停止させることがない。そのため、設備稼働率の低下による生産性の悪化を招いてしまうということもない。   Therefore, a real-time image of the work site of the robot 1 can be displayed on the display means (display unit 35), and the worker can perform the teaching work of the robot 1 using the image. Therefore, it is possible to determine how the cables, hoses, etc. of the robot 1 actually interfere with the work W and the robot 1 itself, and further, it is not necessary to create CAD data of the work W. Errors between the pseudo work on the computer and the actual work are less likely to occur. Therefore, the correction work at the work site is not required, and the work load is greatly reduced. Further, the work can be performed at a remote place, so there is no danger. Further, since it is not necessary to perform the teaching work directly on the robot 1 at the work site, the robot 1 itself is not stopped during the teaching work on the robot 1. As a result, productivity does not deteriorate due to a decrease in equipment availability.

したがって、本発明によれば、作業効率の向上化が図れると共に、危険が伴うということもない。   Therefore, according to the present invention, work efficiency can be improved and there is no danger.

また、請求項２の発明によれば、画像生成手段（画像生成部３０）にて生成したロボット１の作業現場の任意視点画像と３次元ＣＡＤモデル格納手段（３次元ＣＡＤモデル格納部３１）にて格納されているロボット１の３次元ＣＡＤモデルを、画像合成手段（画像合成部３６）にて合成した画像を用いてロボット１の教示作業を行うことができる。そのため、教示作業の指示対象であるロボット１は表示手段（表示部３５）に明確に表示されることとなるため、作業者は、その明確に表示された３次元ＣＡＤモデルを用いてロボット１に対して的確な教示作業を行うことが可能となる。   According to the second aspect of the present invention, the arbitrary viewpoint image of the work site of the robot 1 generated by the image generation means (image generation section 30) and the three-dimensional CAD model storage means (three-dimensional CAD model storage section 31) are stored. The robot 1 can be taught using an image synthesized by the image synthesis means (image synthesis unit 36) of the three-dimensional CAD model of the robot 1 stored. Therefore, since the robot 1 that is the instruction target of the teaching work is clearly displayed on the display means (display unit 35), the worker uses the clearly displayed three-dimensional CAD model to the robot 1. Accordingly, it is possible to perform accurate teaching work.

したがって、本発明によれば、高精度な教示作業を行うことができる。   Therefore, according to the present invention, highly accurate teaching work can be performed.

一方、請求項３の発明によれば、上記指示手段（指示部３３）はマウスであり、上記表示手段（表示部３５）に表示された画像をマウス操作することで、上記ロボット１の作動を指示している。そのため、作業者は、上記表示手段（表示部３５）に表示された画像を見ながら、その画像を、マウスを用いて例えばドラック＆ドロップ等の操作をすることで、上記ロボット１の作動指令を行うことができる。   On the other hand, according to the invention of claim 3, the instruction means (instruction part 33) is a mouse, and the operation of the robot 1 is controlled by operating the mouse on the image displayed on the display means (display part 35). I am instructing. For this reason, the operator can operate the robot 1 by operating, for example, drag and drop using the mouse while viewing the image displayed on the display means (display unit 35). It can be carried out.

しかして、作業者はマウス操作のみで、ロボット１の教示作業を行うことができるため、熟練を要さずとも直感的な操作でロボット１の教示作業を行うことができる。さらに、マウス操作のみであるから、従来のティーチング方法で用いていたティーチペンダントやオフラインソフトのように操作方法がロボットメーカによって異なるということがない。   Thus, since the operator can perform the teaching work of the robot 1 only by operating the mouse, the teaching work of the robot 1 can be performed by an intuitive operation without requiring skill. Furthermore, since only the mouse operation is performed, the operation method does not differ depending on the robot manufacturer, unlike the teach pendant and the off-line software used in the conventional teaching method.

したがって、本発明によればロボットの教示作業が非常に簡単容易となる。   Therefore, according to the present invention, the teaching work of the robot becomes very simple and easy.

本発明の一実施形態に係るロボット教示システムの概略構成図である。1 is a schematic configuration diagram of a robot teaching system according to an embodiment of the present invention. 同実施形態に係るロボット教示装置のブロック図である。It is a block diagram of the robot teaching device according to the embodiment.

以下、本発明に係る一実施形態について、図１及び図２を参照して具体的に説明する。   Hereinafter, an embodiment according to the present invention will be specifically described with reference to FIGS. 1 and 2.

本実施形態に係るロボット教示システムは、図１に示すように、ワークＷに対して溶接等の作業を行う６軸の多関節汎用ロボット１と、複数の多視点画像撮影カメラ（図示では、５台）２と、ロボット教示装置３とで構成されている。この多関節汎用ロボット１は、ロボット教示装置３にてその作動が制御され、そのロボット１の作業現場が上記複数の多視点画像撮影カメラ２にて撮影されている。なお、本実施形態において、ロボット１は、６軸の多関節汎用ロボットを例示したが、これに限らずどのようなロボットを用いてもよい。   As shown in FIG. 1, the robot teaching system according to the present embodiment includes a 6-axis multi-joint general-purpose robot 1 that performs work such as welding on a workpiece W, and a plurality of multi-viewpoint imaging cameras (in the drawing, 5 Stand) 2 and a robot teaching device 3. The operation of the multi-joint general-purpose robot 1 is controlled by the robot teaching device 3, and the work site of the robot 1 is photographed by the plurality of multi-viewpoint imaging cameras 2. In the present embodiment, the robot 1 is exemplified by a 6-axis multi-joint general-purpose robot. However, the present invention is not limited to this, and any robot may be used.

一方、多視点画像撮影カメラ２は、色彩画像とともに視差画像を撮ることのできるデジタルカメラであり、図示はしないがワークＷ及びロボット１の周囲に設けられた安全柵上に取付けられている。そして、このように安全柵上に取付けられた多視点画像撮影カメラ２は、上記多関節汎用ロボット１の作業現場を撮影し、その撮影した画像をロボット教示装置３に出力する。なお、この複数の多視点画像撮影カメラ２から出力された画像は、ロボット教示装置３によって取得される。   On the other hand, the multi-viewpoint image capturing camera 2 is a digital camera capable of taking a parallax image together with a color image, and is mounted on a safety fence provided around the work W and the robot 1 (not shown). The multi-viewpoint image capturing camera 2 mounted on the safety fence in this way captures the work site of the multi-joint general-purpose robot 1 and outputs the captured image to the robot teaching device 3. Note that images output from the plurality of multi-viewpoint image capturing cameras 2 are acquired by the robot teaching device 3.

また一方、このロボット教示装置３は、汎用のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等からなるもので、図２に示すような構成からなる。すなわち、ロボット教示装置３は、画像生成部３０と、３次元ＣＡＤモデル格納部３１と、教示プログラム格納部３２と、指示部３３と、中央制御部３４と、表示部３５と、画像合成部３６と、ロボット制御部３７とで構成されている。なお、ロボット教示装置３は、１台の汎用ＰＣ等で構成しても良いし、処理内容を分散させ、複数台の汎用ＰＣ等で構成しても良い。   On the other hand, the robot teaching device 3 is composed of a general-purpose PC (Personal Computer) or the like, and has a configuration as shown in FIG. That is, the robot teaching apparatus 3 includes an image generation unit 30, a three-dimensional CAD model storage unit 31, a teaching program storage unit 32, an instruction unit 33, a central control unit 34, a display unit 35, and an image composition unit 36. And a robot control unit 37. Note that the robot teaching device 3 may be configured by a single general-purpose PC or the like, or may be configured by a plurality of general-purpose PCs by distributing processing contents.

ところで、上記画像生成部３０は、画像取得部３０ａを有しており、この画像取得部３０ａにて上記複数の多視点画像撮影カメラ２にて撮影された色彩画像及び視差画像が取得される。そして、これら取得された画像は、画像生成部３０が有する画像処理部３０ｂに出力される。   Incidentally, the image generation unit 30 includes an image acquisition unit 30a, and the image acquisition unit 30a acquires color images and parallax images captured by the plurality of multi-viewpoint image capturing cameras 2. These acquired images are output to the image processing unit 30b included in the image generation unit 30.

このように画像取得部３０ａによって出力された画像は、画像処理部３０ｂによって、シルエット（輪郭）が抽出され、シルエット画像として生成される。そして、画像処理部３０ｂは、生成したシルエット画像及び色彩画像をＪＰＥＧ圧縮し、画像生成部３０が有する復元処理部３０ｃに出力する。   The image output by the image acquisition unit 30a is extracted from the silhouette (contour) by the image processing unit 30b and generated as a silhouette image. Then, the image processing unit 30b performs JPEG compression on the generated silhouette image and color image, and outputs the result to the restoration processing unit 30c included in the image generation unit 30.

一方、このようにＪＰＥＧ圧縮した画像を用いて、復元処理部３０ｃは、８分木モデルの生成を行う。なお、８分木モデルの生成には、シルエット法による形状生成手法とともに、８分木生成アルゴリズム（ｏｃｔｒｅｅ ｇｅｎｅｒａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）の手法を用いる。この手法を用いれば、処理時間を短縮することができるためである。   On the other hand, using the JPEG-compressed image as described above, the restoration processing unit 30c generates an octree model. The generation of the octree tree model uses not only the shape generation method by the silhouette method but also the octree generation algorithm method. This is because the processing time can be shortened by using this method.

また、復元処理部３０ｃは、８分木モデルを生成した後、ボクセルモデルを生成し、その後内部ボクセルの除去を行う。このように内部ボクセルの除去を行った後、復元処理部３０ｃは、表面ボクセルに彩色を施す。これにより、ロボット１の作業現場の任意視点画像が生成されることとなる。   In addition, the restoration processing unit 30c generates a voxel model after generating an octree model, and then removes internal voxels. After removing the internal voxels in this way, the restoration processing unit 30c colors the surface voxels. As a result, an arbitrary viewpoint image of the work site of the robot 1 is generated.

他方、３次元ＣＡＤモデル格納部３１には、予め作成しておいたロボット１の３次元ＣＡＤモデルが格納されている。また、教示プログラム格納部３２には、上記ロボット１を教示するための教示プログラムが格納されている。なお、ロボット１の３次元ＣＡＤモデルを作成する方法は、上記教示プログラム格納部３２に格納されている教示プログラムを用いて作成しても良いし、他のプログラムを用いて作成しても良い。   On the other hand, the three-dimensional CAD model storage unit 31 stores a three-dimensional CAD model of the robot 1 created in advance. The teaching program storage unit 32 stores a teaching program for teaching the robot 1. The method for creating the three-dimensional CAD model of the robot 1 may be created using the teaching program stored in the teaching program storage unit 32 or may be created using another program.

ところで、このように教示プログラム格納部３２に格納されている教示プログラムを起動させるには、作業者がマウスからなる指示部３３を用いて起動指令を行うことにより、その起動指令を受け取ったＣＰＵ等からなる中央制御部３４が上記教示プログラムを起動させることとなる。そして、その教示プログラムを起動させた中央制御部３４は、その起動内容を液晶等からなる表示部３５に表示させる。   By the way, in order to start the teaching program stored in the teaching program storage unit 32 in this way, the CPU or the like that has received the start command by the operator giving a start command using the instruction unit 33 made of a mouse. The central control unit 34 comprising the above activates the teaching program. Then, the central control unit 34 that has activated the teaching program displays the activation content on the display unit 35 made of liquid crystal or the like.

かくして、作業者は、表示部３５に表示された教示プログラムの内容に応じて、上記ロボット１の作動指令を行うこととなる。すなわち、作業者は、まず、マウスからなる指示部３３を用いて、上記３次元ＣＡＤモデル格納部３１に格納されているロボット１の３次元ＣＡＤモデル及び上記画像生成部３０にて生成したロボット１の作業現場の任意視点画像を読み出す指令を行う。これにより、中央制御部３４は、上記３次元ＣＡＤモデル格納部３１に格納されているロボット１の３次元ＣＡＤモデル及び上記画像生成部３０にて生成したロボット１の作業現場の任意視点画像を読み出し、画像合成部３６に出力する。そして、画像合成部３６は、そのロボット１の作業現場の任意視点画像とロボット１の３次元ＣＡＤモデルとを合成した画像を生成する。すなわち、上記任意視点画像で表現されているロボット１にロボット１の３次元ＣＡＤモデルを融合させた合成画像を生成するものである。このように、画像合成部３６にて合成された合成画像は、中央制御部３４を介して表示部３５に表示される。   Thus, the operator issues an operation command for the robot 1 in accordance with the contents of the teaching program displayed on the display unit 35. That is, the operator first uses the instruction unit 33 made of a mouse to store the three-dimensional CAD model of the robot 1 stored in the three-dimensional CAD model storage unit 31 and the robot 1 generated by the image generation unit 30. Command to read an arbitrary viewpoint image of the work site. As a result, the central control unit 34 reads out the three-dimensional CAD model of the robot 1 stored in the three-dimensional CAD model storage unit 31 and the arbitrary viewpoint image of the work site of the robot 1 generated by the image generation unit 30. And output to the image composition unit 36. Then, the image synthesis unit 36 generates an image obtained by synthesizing the arbitrary viewpoint image of the work site of the robot 1 and the three-dimensional CAD model of the robot 1. That is, a composite image is generated by fusing the robot 1 represented by the arbitrary viewpoint image with the three-dimensional CAD model of the robot 1. Thus, the composite image synthesized by the image synthesis unit 36 is displayed on the display unit 35 via the central control unit 34.

そして次に、作業者は、ロボット１の作動指令を行うため、上記表示部３５に表示された合成画像のうち３次元ＣＡＤモデルで作成したロボット１をマウスからなる指示部３３を用いて、例えばドラック＆ドロップ等のマウス操作を行う。これにより作業者は、ロボット１の作動指令を行うことができる。   Next, in order to issue an operation command for the robot 1, the worker uses the instruction unit 33 made of a mouse to select the robot 1 created by the three-dimensional CAD model from the composite image displayed on the display unit 35, for example. Perform mouse operations such as drag and drop. Thus, the operator can issue an operation command for the robot 1.

しかして作業者は、マウス操作のみで、ロボット１の教示作業を行うことができるため、熟練を要さずとも直感的な操作でロボット１の教示作業を行うことができる。さらに、マウス操作のみであるから、従来のティーチング方法で用いていたティーチペンダントやオフラインソフトのように操作方法がロボットメーカによって異なるということがない。したがって、ロボット１の教示作業が非常に簡単容易となる。   Thus, since the operator can perform the teaching work of the robot 1 only by operating the mouse, the teaching work of the robot 1 can be performed by an intuitive operation without requiring skill. Furthermore, since only the mouse operation is performed, the operation method does not differ depending on the robot manufacturer, unlike the teach pendant and the off-line software used in the conventional teaching method. Therefore, the teaching work of the robot 1 becomes very simple and easy.

またこのように、ロボット１の教示作業を行う際、画像生成部３０にて生成したロボット１の作業現場の任意視点画像にロボット１の３次元ＣＡＤモデルを融合させた合成画像を使用しているため、指示対象であるロボット１は表示部３５に明確に表示されることとなる。したがって、作業者は、その明確に表示された３次元ＣＡＤモデルを用いてロボット１に対して的確な教示作業を行うことができる。そのため、高精度な教示作業をロボット１に対して行うことができる。なお、指示部３３としてはマウスを用いて構成した方が好ましいが、他の機器を用いてもよい。   As described above, when performing the teaching work of the robot 1, a composite image obtained by fusing the three-dimensional CAD model of the robot 1 with an arbitrary viewpoint image of the work site of the robot 1 generated by the image generation unit 30 is used. Therefore, the robot 1 that is the instruction target is clearly displayed on the display unit 35. Therefore, the operator can perform an accurate teaching operation on the robot 1 using the clearly displayed three-dimensional CAD model. Therefore, highly accurate teaching work can be performed on the robot 1. The instruction unit 33 is preferably configured using a mouse, but other devices may be used.

一方、上記のように、作業者が、表示部３５に表示された教示プログラム内容に応じて、上記ロボット１の作動指令を行うと、中央制御部３４はロボット制御部３７にその作動指令を出力する。そしてロボット制御部３７は、その作動指令の内容に応じてロボット１を作動させるための制御を行う。これにより、ロボット１はその制御内容に応じて作動し、ワークＷに対して溶接等の作業を行うこととなる。   On the other hand, as described above, when the operator issues an operation command for the robot 1 in accordance with the contents of the teaching program displayed on the display unit 35, the central control unit 34 outputs the operation command to the robot control unit 37. To do. And the robot control part 37 performs control for operating the robot 1 according to the content of the operation command. Thereby, the robot 1 operates according to the control content, and performs work such as welding on the workpiece W.

したがって、以上説明した本実施形態によれば、複数の多視点画像撮影カメラ２によって撮影されたワークＷに対して溶接等の作業を行うロボット１の作業現場の撮影画像が、画像生成部３０にて任意視点画像として生成される。そして、その生成された任意視点画像が表示部３５に表示される。これにより、作業者は、表示部３５に表示された画像を用いて、マウス等の指示部３３を用いて上記ロボット１の作動を指示することができる。そして、この作動指示に応じてロボット制御部３７はロボット１の作動を制御することとなる。   Therefore, according to the present embodiment described above, a captured image of the work site of the robot 1 that performs welding or the like on the workpiece W photographed by the plurality of multi-viewpoint image capturing cameras 2 is displayed on the image generation unit 30. Are generated as arbitrary viewpoint images. Then, the generated arbitrary viewpoint image is displayed on the display unit 35. As a result, the operator can instruct the operation of the robot 1 using the instruction unit 33 such as a mouse using the image displayed on the display unit 35. Then, the robot controller 37 controls the operation of the robot 1 in accordance with this operation instruction.

そのため、表示部３５にロボット１の作業現場のリアルタイム画像を表示することができ、その画像を用いて作業者は、ロボット１の教示作業を行うことができる。それゆえ、ロボット１のケーブル、ホース等が、ワークＷやロボット１自身に、実際にどのように干渉するのか判断することができ、さらには、ワークＷのＣＡＤデータを作成する必要がないため、コンピュータ上の疑似的なワークと、実際のワークとの誤差が生じにくくなる。そのため、作業現場での修正作業が必要なくなり、作業負担が大幅に軽減されるばかりか、遠隔地で作業を行うことができ、危険を伴うということもない。また、作業現場で直接、ロボット１への教示作業を行う必要がないため、ロボット１への教示作業中にロボット１自体を停止させることがない。そのため、設備稼働率の低下による生産性の悪化を招いてしまうということもない。   Therefore, a real-time image of the work site of the robot 1 can be displayed on the display unit 35, and an operator can perform teaching work of the robot 1 using the image. Therefore, it is possible to determine how the cables, hoses, etc. of the robot 1 actually interfere with the work W and the robot 1 itself, and further, it is not necessary to create CAD data of the work W. Errors between the pseudo work on the computer and the actual work are less likely to occur. This eliminates the need for correction work at the work site, greatly reduces the work load, and allows work to be performed remotely, without any danger. Further, since it is not necessary to perform the teaching work directly on the robot 1 at the work site, the robot 1 itself is not stopped during the teaching work on the robot 1. As a result, productivity does not deteriorate due to a decrease in equipment availability.

したがって、本実施形態によれば、作業効率の向上化が図れると共に、危険が伴うということもない。   Therefore, according to this embodiment, work efficiency can be improved and there is no danger.

なお、多視点画像撮影カメラによって撮影された画像から任意視点画像を生成する方法は、本実施形態において例示した方法に限らず、種々様々な方法を用いることが可能である。   Note that the method for generating an arbitrary viewpoint image from an image captured by the multi-viewpoint image capturing camera is not limited to the method exemplified in the present embodiment, and various methods can be used.

Ｗ ワーク
１ ロボット
２ 多視点画像撮影カメラ
３ ロボット教示装置
３０ 画像生成部（画像生成手段）
３１ ３次元ＣＡＤモデル格納部（３次元ＣＡＤモデル格納手段）
３３ 指示部（指示手段）
３５ 表示部（表示手段）
３６ 画像合成部（画像合成手段）
３７ ロボット制御部（ロボット制御手段） W Work 1 Robot 2 Multi-viewpoint imaging camera 3 Robot teaching device 30 Image generation unit (image generation means)
31 3D CAD model storage unit (3D CAD model storage means)
33 Instruction section (instruction means)
35 Display section (display means)
36 Image composition section (image composition means)
37 Robot control unit (robot control means)

Claims (3)

ワークに対して溶接等の作業を行うロボットと、
前記ロボットの作業現場を撮影可能な複数の多視点画像撮影カメラと、
前記各多視点画像撮影カメラによって撮影された画像を取得し、且つ、その取得した画像から前記ロボットの作業現場の任意視点画像を生成する画像生成手段と、
前記生成された任意視点画像を表示する表示手段と、
前記表示された画像を用いて前記ロボットの作動を指示可能な指示手段と、
前記指示手段によって指示された作動に応じて前記ロボットを制御するロボット制御手段とを有してなることを特徴とするロボット教示システム。 A robot that performs work such as welding on the workpiece;
A plurality of multi-viewpoint imaging cameras capable of imaging the robot work site;
An image generation means for acquiring an image captured by each of the multi-viewpoint image capturing cameras, and generating an arbitrary viewpoint image of the work site of the robot from the acquired image;
Display means for displaying the generated arbitrary viewpoint image;
Instruction means capable of instructing the operation of the robot using the displayed image;
A robot teaching system comprising: robot control means for controlling the robot according to an operation instructed by the instruction means. 前記ロボットの３次元ＣＡＤモデルを格納する３次元ＣＡＤモデル格納手段と、
前記３次元ＣＡＤモデル格納手段に格納されている前記ロボットの３次元ＣＡＤモデルと前記画像生成手段によって生成される任意視点画像とを合成する画像合成手段とをさらに有し、
前記画像合成手段によって合成された画像は、前記表示手段に表示され、その表示された画像は、前記指示手段によって前記ロボットの作動を指示するために用いられてなることを特徴とする請求項１に記載のロボット教示システム。 Three-dimensional CAD model storage means for storing a three-dimensional CAD model of the robot;
Image synthesis means for synthesizing the three-dimensional CAD model of the robot stored in the three-dimensional CAD model storage means and an arbitrary viewpoint image generated by the image generation means;
2. The image synthesized by the image synthesizing means is displayed on the display means, and the displayed image is used for instructing the operation of the robot by the instruction means. The robot teaching system described in 1. 前記指示手段はマウスであり、前記表示手段に表示された画像をマウス操作することにより、前記ロボットの作動を指示してなることを特徴とする請求項１又は２に記載のロボット教示システム。   The robot teaching system according to claim 1 or 2, wherein the instruction means is a mouse, and the operation of the robot is instructed by operating a mouse on an image displayed on the display means.
JP2010128477A 2010-06-04 2010-06-04 Robot teaching system Pending JP2011251395A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010128477A JP2011251395A (en) 2010-06-04 2010-06-04 Robot teaching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010128477A JP2011251395A (en) 2010-06-04 2010-06-04 Robot teaching system

Publications (1)

Publication Number Publication Date
JP2011251395A true JP2011251395A (en) 2011-12-15

Family

ID=45415758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010128477A Pending JP2011251395A (en) 2010-06-04 2010-06-04 Robot teaching system

Country Status (1)

Country Link
JP (1) JP2011251395A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2783812A3 (en) * 2013-03-18 2015-04-01 Kabushiki Kaisha Yaskawa Denki Robot device and method for manufacturing an object
CN104552298A (en) * 2013-10-17 2015-04-29 株式会社安川电机 Teaching system and teaching method
JP2015168249A (en) * 2014-03-11 2015-09-28 株式会社スター精機 Gate cutting position data setting method in resin molding stripping machine and resin molding stripping machine
CN106363635A (en) * 2016-12-01 2017-02-01 广汽本田汽车有限公司 Robot operation simulation calibration method and device
JP2020049558A (en) * 2018-09-25 2020-04-02 ファナック株式会社 Article extraction system
JP7364285B1 (en) 2022-11-11 2023-10-18 高丸工業株式会社 How the robot handling system works

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11207670A (en) * 1998-01-21 1999-08-03 Kawasaki Heavy Ind Ltd Teaching method for industrial robot and device therefor
JP2007026061A (en) * 2005-07-15 2007-02-01 Ritsumeikan Three-dimensional body model generating method based upon haptic vision, and haptic vision system
JP2008168372A (en) * 2007-01-10 2008-07-24 Toyota Motor Corp Robot device and shape recognition method
JP2009214212A (en) * 2008-03-10 2009-09-24 Toyota Motor Corp Action teaching system, and action teaching method
JP2010121945A (en) * 2008-11-17 2010-06-03 Nippon Hoso Kyokai <Nhk> Three-dimensional shape forming system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11207670A (en) * 1998-01-21 1999-08-03 Kawasaki Heavy Ind Ltd Teaching method for industrial robot and device therefor
JP2007026061A (en) * 2005-07-15 2007-02-01 Ritsumeikan Three-dimensional body model generating method based upon haptic vision, and haptic vision system
JP2008168372A (en) * 2007-01-10 2008-07-24 Toyota Motor Corp Robot device and shape recognition method
JP2009214212A (en) * 2008-03-10 2009-09-24 Toyota Motor Corp Action teaching system, and action teaching method
JP2010121945A (en) * 2008-11-17 2010-06-03 Nippon Hoso Kyokai <Nhk> Three-dimensional shape forming system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2783812A3 (en) * 2013-03-18 2015-04-01 Kabushiki Kaisha Yaskawa Denki Robot device and method for manufacturing an object
CN104552298A (en) * 2013-10-17 2015-04-29 株式会社安川电机 Teaching system and teaching method
JP2015168249A (en) * 2014-03-11 2015-09-28 株式会社スター精機 Gate cutting position data setting method in resin molding stripping machine and resin molding stripping machine
CN106363635A (en) * 2016-12-01 2017-02-01 广汽本田汽车有限公司 Robot operation simulation calibration method and device
CN106363635B (en) * 2016-12-01 2018-08-31 广汽本田汽车有限公司 Robot operation simulation calibration method and device
JP2020049558A (en) * 2018-09-25 2020-04-02 ファナック株式会社 Article extraction system
JP7364285B1 (en) 2022-11-11 2023-10-18 高丸工業株式会社 How the robot handling system works
JP2024070336A (en) * 2022-11-11 2024-05-23 高丸工業株式会社 Method for operating robot operation system

Similar Documents

Publication Publication Date Title
US10052765B2 (en) Robot system having augmented reality-compatible display
JP6725727B2 (en) Three-dimensional robot work cell data display system, display method, and display device
US10980606B2 (en) Remote-control manipulator system and method of operating the same
CN104722926B (en) A kind of robot three-dimensional laser automatic cutting system method
JP6420229B2 (en) A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot
CN112839764B (en) System and method for weld path generation
CN106457569B (en) Robot system and the method for operating robot system
JP2011251395A (en) Robot teaching system
JP6171457B2 (en) Robot control apparatus, robot system, robot, robot control method, and robot control program
JP2005074600A (en) Robot and robot moving method
JP2004213673A (en) Toughened reality system and method
JP5090496B2 (en) Image generating apparatus and operation support system
JP2018202514A (en) Robot system representing information for learning of robot
US20170197308A1 (en) Teaching data generating device and teaching data-generating method for work robot
JP7517803B2 (en) ROBOT TEACHING SYSTEM, IMAGE GENERATION METHOD, AND PROGRAM
JP2006026790A (en) Teaching model production device
JP6256874B2 (en) Overhead image display device for construction machinery
JP2010182210A (en) Robot teaching program correction apparatus
JP2021038649A5 (en)
CN116569545A (en) Remote assistance method and device
JPH11338532A (en) Teaching device
JP2007331061A (en) Manipulator remote operation method in mobile robot system
JP2020181531A (en) Construction method of installation, video display device, and inspection method of installation position
JP2005252831A (en) Support system for facility monitoring
JP2016201007A (en) Transportation facility remote maintenance system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140827