Nothing Special   »   [go: up one dir, main page]

JP4228871B2 - Robot grip control device and robot grip control method - Google Patents

Robot grip control device and robot grip control method Download PDF

Info

Publication number
JP4228871B2
JP4228871B2 JP2003353467A JP2003353467A JP4228871B2 JP 4228871 B2 JP4228871 B2 JP 4228871B2 JP 2003353467 A JP2003353467 A JP 2003353467A JP 2003353467 A JP2003353467 A JP 2003353467A JP 4228871 B2 JP4228871 B2 JP 4228871B2
Authority
JP
Japan
Prior art keywords
gripping
force
external force
robot
change value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003353467A
Other languages
Japanese (ja)
Other versions
JP2004167674A5 (en
JP2004167674A (en
Inventor
修作 岡本
雅通 中川
安直 岡崎
隆 姉崎
球夫 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003353467A priority Critical patent/JP4228871B2/en
Publication of JP2004167674A publication Critical patent/JP2004167674A/en
Publication of JP2004167674A5 publication Critical patent/JP2004167674A5/ja
Application granted granted Critical
Publication of JP4228871B2 publication Critical patent/JP4228871B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、ロボットが把持する物品に外部から力が作用した場合、典型的には人の力によって把持対象物が取り去られようとした場合に、そのことを認識し、ロボットの把持手段を解放するように、ロボットの把持手段の把持力を制御するロボット把持制御装置及びロボットハンド把持制御ロボット把持制御方法に関する。   The present invention recognizes when an external force is applied to an article gripped by the robot, typically when an object to be gripped is removed by human force, and the gripping means of the robot is controlled. The present invention relates to a robot grip control device and a robot hand grip control robot grip control method for controlling a grip force of a grip means of a robot so as to release.

ロボットに物品を把持させて何らかの仕事をやらせることは、今日では実に多くの分野で利用されている。例えば、工場での自動製品組み立てラインにおける部品の把持運搬、自動化された倉庫での在庫品の運搬・管理など、その例を挙げるときりがない。   Making a robot hold an article and do some work is used in many fields today. For example, there are no examples such as gripping and transportation of parts in an automatic product assembly line in a factory, transportation and management of inventory in an automated warehouse.

このような産業用のロボットにおいて把持に求められる一つの重要な技術は、把持している物品を落とさないようにするために把持力を制御する技術である。例えば、ロボットハンドの指先に把持対象物の滑りを検出するセンサを設置しておき、把持対象物の滑りがこのセンサで検知された場合は、指の把持力を把持力制御装置により所定量増加する。これにより把持対象物を落とすことなく最小限の把持力で確実に把持できる(例えば、特許文献1参照)。   One important technique required for gripping in such an industrial robot is a technique for controlling the gripping force so as not to drop the gripped article. For example, if a sensor that detects slipping of the gripping object is installed at the fingertip of the robot hand and the gripping of the gripping object is detected by this sensor, the gripping force of the finger is increased by a predetermined amount by the gripping force control device. To do. Accordingly, it is possible to reliably grip with a minimum gripping force without dropping the gripping object (see, for example, Patent Document 1).

これら従来の把持制御技術は主な用途が産業用であり、予め決められたプログラムに従って物品を把持し移動させて解放するという作業を正確に行うために必要な技術である。   These conventional grip control techniques are mainly used for industrial purposes, and are techniques necessary for accurately performing an operation of gripping, moving, and releasing an article according to a predetermined program.

一方で近年では、人間と共存しながら人間の生活を支援するという目標に向けて、ヒューマノイド型ロボットの開発が盛んに行われている。   On the other hand, in recent years, humanoid robots have been actively developed toward the goal of supporting human life while coexisting with humans.

さてヒューマノイド型ロボットは、その開発の主な目的の一つが人間との共存の可能性を探ることであり、これが従来の産業用ロボットとの大きな違いの一つである。   Now, one of the main purposes of humanoid robots is to explore the possibility of coexistence with humans, which is one of the major differences from conventional industrial robots.

人間との共存のためには人間とのインタラクションの実現が不可欠であり、そのためには、人の認識、音声対話などソフトウェアで実現できる機能に加え、ハード的に実現できる機能が必要となる。ハード的なインタラクション機能とは例えば、人間と握手する機能や把持した物品を人間とやりとりする機能である。
特開平4−189484号公報(第4頁左下欄第14行〜右下欄第1行、第5図)
In order to coexist with humans, realization of human interaction is indispensable. For this purpose, in addition to functions that can be realized by software, such as human recognition and voice interaction, functions that can be realized by hardware are required. The hardware interaction function is, for example, a function of shaking hands with a person or a function of exchanging gripped articles with a person.
JP-A-4-189484 (page 4, lower left column, line 14 to lower right column, first line, FIG. 5)

しかしながら、ロボットと人間とのインタラクションの例として、ロボットが把持している物品を人に渡す際のロボットハンド把持力の制御に特許文献1に記載された技術を適用することは難しい。なぜならば、ロボットの把持物品を人間が持ち取ろうとすると、ロボットは把持物品を取られないように、更に強く把持するように制御される。従って場合によっては把持物品を破損させてしまうなどの問題が起こりうるからである。   However, as an example of interaction between a robot and a human, it is difficult to apply the technique described in Patent Document 1 to control of the robot hand gripping force when an article held by the robot is handed over to a person. This is because, when a person tries to take a gripped article of the robot, the robot is controlled to grip it more strongly so that the gripped article cannot be taken. Therefore, depending on the case, problems such as damage to the gripped article may occur.

また、従来のヒューマノイド型ロボットでは、物品を把持する機能は備えているものの、ロボットから人に把持物を渡す機能については、リアルタイムでの把持力コントロールを必要としない、非常に単純な方法のみが実現されているにすぎない。例えば、人間の手を模したロボットハンドの手のひらを上に向け、ロボットハンドを解放して把持物を手のひらにのせ、いつでも把持物を取れる状態にしておいてから人に取らせるようにするなど
の方法を採用している。したがって、人間とのハード的なインタラクション機能を備えていない。
In addition, the conventional humanoid robot has a function of gripping an article, but the function of passing a gripped object from a robot to a person is only a very simple method that does not require real-time gripping force control. It has only been realized. For example, with the palm of a robot hand imitating a human hand pointing up, releasing the robot hand and placing the grasped object on the palm, making it possible to remove the grasped object at any time and letting the person take it The method is adopted. Therefore, it does not have a hardware interaction function with humans.

本発明はこのような課題を解決するもので、人とロボットがあたかも人間同士のように、リアルなインタラクションを行うことを実現する一つのハードウェア制御の技術として、ロボットから人に把持物を渡す際に把持力の制御をリアルタイムで行い、人と人が物品を授受するかのようにロボットハンドの制御を実現するロボット把持制御装置及びロボット把持制御方法を提供することを目的とするものである。   The present invention solves such a problem. As a hardware control technique for realizing a real interaction between a human and a robot as if they were humans, a handed object is transferred from the robot to the human. It is an object of the present invention to provide a robot gripping control device and a robot gripping control method that perform gripping force control in real time and realize control of a robot hand as if a person transfers an article. .

また、ロボットハンドが把持している物品に外力が作用した場合に、この外力が、人によって物品を持ち取られようとして生じた力か、それ以外の力なのかを識別することができるロボット把持制御装置及びロボット把持制御方法を提供することを目的とするものである。   In addition, when an external force is applied to an article held by the robot hand, it is possible to identify whether the external force is a force generated when a person tries to pick up the article or any other force. An object of the present invention is to provide a control device and a robot grip control method.

この課題を解決するために本発明のロボット把持制御装置は、物品を把持する機構をなすロボットハンドと、前記ロボットハンドに作用する力を検知する力センサと、前記ロボットハンドが物品を把持し、検知された前記ロボットハンドに作用する力が変化した場合に、前記ロボットハンドを解放する信号である解放指示を出力する把持力制御手段とを含み、ロボットの動作毎に把持解放の命令をロボットに与えることなく、ロボットの把持している物品を人間が持ち取ることを可能としたものである。   In order to solve this problem, a robot grip control device of the present invention includes a robot hand that forms a mechanism for gripping an article, a force sensor that detects a force acting on the robot hand, and the robot hand grips the article. Gripping force control means for outputting a release instruction, which is a signal for releasing the robot hand when the detected force acting on the robot hand changes, and a command to release the grip to the robot every time the robot moves. This makes it possible for a human to take an article held by a robot without giving it.

本発明の第1の態様に係る発明は、物品を把持し、把持物に作用する外力の変化値を検出する把持手段と、前記外力の変化値が予め定めた閾値以上である場合に、前記外力の変化値の要因を推定する把持物外力推定手段と、前記推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する把持力制御手段とを含むロボット把持制御装置としたものであり、把持物に作用する外力から、人によって物品を持ち取られようとして生じた力か、それ以外の力なのかを識別することで、把持解放の命令を、外部からロボットに、明示的に与えることなく、ロボットの把持している物品を人間が持ち取ることが可能となるという作用を有する。
If the first invention according to the aspect of the present invention, by lifting the bunch of articles, and gripping means for detecting a change value of the external force acting on the grasped, the change value of the external force is a predetermined threshold value or more, Grasping object external force estimation means for estimating a factor of a change value of the external force, and a gripping force relaxation signal for relaxing the gripping force of the gripping means based on the estimation result or a gripping force strengthening signal for strengthening the gripping force of the gripping means. It is a robot grip control device that includes a gripping force control means for outputting, and identifies whether the force generated when a person tries to pick up an article or other force from the external force acting on the gripped object Thus, it is possible to allow a person to take an article held by the robot without explicitly giving a grip release command to the robot from the outside.

本発明の第2の態様に係る発明は、第1の態様のロボット把持制御装置において、把持物外力推定手段は、外力の変化値が予め定めた閾値以上である場合に、把持物の解放要求であると推定し、更に、前記把持物外力推定手段は、把持手段が、前記把持物を解放した後に、前記把持物の落下運動により生じる重力方向の動摩擦力を検知した場合に、前記把持物の受け渡しではないと推定するものであり、把持物に作用する外力から、人によって物品を持ち取られようとして生じた力か、それ以外の力なのかを識別することができるという作用を有する。   According to a second aspect of the present invention, in the robot gripping control device according to the first aspect, the gripping object external force estimation means is configured to request the gripping object release when the external force change value is equal to or greater than a predetermined threshold value. Furthermore, the gripping object external force estimation means is configured to detect the gripping object when the gripping means detects a dynamic frictional force in a gravitational direction generated by a falling motion of the gripping object after releasing the gripping object. It is presumed that it is not a handing over, and it has the effect that it is possible to identify whether the force is generated when an article is taken by a person or other force from the external force acting on the grasped object.

本発明の第3の態様に係る発明は、第1の態様のロボット把持制御装置において、把持物外力推定手段は、外力の変化値が予め定めた閾値以上であり、前記外力の作用する方向とは異なる少なくとも1つの方向に把持手段を移動させ、前記把持手段が反力を検知した場合に、前記把持物の受け渡しであると推定するものであり、ロボットの把持している物品に外部の力がかかった際に、方向にわざと力をかけ、その力に対しての反力があったかどうかで物品が持ち取られているかどうかを確かめることができるという作用を有する。   According to a third aspect of the present invention, in the robot gripping control device according to the first aspect, the gripping object external force estimation means has a change value of the external force equal to or greater than a predetermined threshold value, and the direction in which the external force acts Moves the gripping means in at least one different direction, and when the gripping means detects a reaction force, it is assumed that the gripped object is delivered, and an external force is applied to the article gripped by the robot. When it is applied, it has an effect that it is possible to confirm whether or not the article is being taken by checking whether or not there is a reaction force against the force.

本発明の第4の態様に係る発明は、第1または第2の態様のロボット把持制御装置において、把持手段は、物品を把持するロボットハンドと、把持物に作用する外力の変化値を検知する力センサとを含む構成であり、把持物外力推定手段が、把持物の解放要求を推定した場合に、把持力制御手段が把持力緩和信号を前記ロボットハンドに出力して前記ロボットハンドの把持力を緩め、前記把持物外力推定手段が、把持物の受け渡しでないと推定した場合に、前記把持力制御手段が前記把持力を強化する把持力強化信号を前記ロボットハンドに出力するものであり、把持物に作用する外力から、人によって物品を持ち取られようとして生じた力か、それ以外の力なのかを識別することができるという作用を有する。
The invention according to a fourth aspect of the present invention is a robot gripping control apparatus of the first or second aspect, the gripping means includes a Carlo bots hand to grip the article, the change in value of the external force acting on grasped A force sensor for detecting, and when the gripping object external force estimation means estimates a gripping object release request, the gripping force control means outputs a gripping force relaxation signal to the robot hand to When the gripping force is loosened and the gripping object external force estimation means estimates that the gripping object is not delivered, the gripping force control means outputs a gripping force enhancement signal for strengthening the gripping force to the robot hand. The external force acting on the grasped object has the effect that it is possible to identify whether the force is generated when a person tries to take the article or the other force.

本発明の第5の態様に係る発明は、第1または第3の態様のロボット把持制御装置において、把持手段は、物品を把持するロボットハンドと、外力の変化値を検知する力センサと、前記ロボットハンドが取り付けられたロボットアームと、前記ロボットアームの動作を制御するアーム制御手段とを含み、前記アーム制御手段は、前記ロボットハンドに作用する外力の変化値が予め定めた閾値以上である場合に、前記外力の作用する方向とは異なる少なくとも1つの方向に前記ロボットアームを移動させ、把持力制御手段は、前記ロボットアームが移動した後に、前記力センサが反力を検知し、更に、把持物外力推定手段が、前記把持物の受け渡しであると推定した場合には、把持力緩和信号をロボットハンドに出力するものであり、ロボットの把持している物品に外部の力がかかった際に、方向にわざと力をかけ、その力に対しての反力があったかどうかで物品が持ち取られているかどうかを確かめることができるという作用を有する。
The invention according to a fifth aspect of the present invention is a robot gripping control apparatus of the first or third aspect, the gripping means includes a force sensor for detecting a Carlo bots hand to grip the article, the change in value of the external force A robot arm to which the robot hand is attached, and arm control means for controlling the operation of the robot arm, wherein the arm control means has a change value of an external force acting on the robot hand equal to or greater than a predetermined threshold value. In some cases, the robot arm is moved in at least one direction different from the direction in which the external force acts, and the gripping force control means detects the reaction force after the robot arm has moved, When the gripping object external force estimation means estimates that the gripping object is delivered, a gripping force relaxation signal is output to the robot hand. When an external force is applied to the object being held, the force can be applied intentionally in the direction, and it can be confirmed whether the article is being taken or not by the reaction force against the force. Have.

本発明の第6の態様に係る発明は、複数の関節と、前記関節の回転角を検知する関節角センサとを含むロボットアームと、前記ロボットアームに取り付けられ、物品を把持するロボットハンドと、前記物品を解放する解放指示が入力され、更に、検知された前記関節の回転角に変化が生じた場合に、前記ロボットハンドに把持力緩和信号を出力する把持力制御手段とを有するロボット把持制御装置としたものであり、ロボットの把持している物品に外部の力がかかった際に、関節が動かされたかどうかで物品が持ち取られているかどうかを確かめることができるという作用を有する。   An invention according to a sixth aspect of the present invention includes a robot arm including a plurality of joints and a joint angle sensor that detects a rotation angle of the joint, a robot hand attached to the robot arm and gripping an article, A robot grip control having a gripping force control means for outputting a gripping force relaxation signal to the robot hand when a release instruction for releasing the article is input and a change occurs in the detected rotation angle of the joint. This is an apparatus, and has an effect that when an external force is applied to an article held by the robot, it can be confirmed whether or not the article is being taken by whether or not the joint is moved.

本発明の第7の態様に係る発明は、第6の態様のロボット把持制御装置において、更に、ロボットアームの動作を制御するアーム制御手段を含み、ロボットハンドに、把持力緩和信号が入力された場合に、前記アーム制御手段が、関節の剛性を低下させるものであり、ロボットの把持している物品に外部の力がかかった際に弱い力でも関節が動かされるため、外部の力によってロボットの関節を破壊してしまうことを防ぐことができるという作用を有する。   The invention according to a seventh aspect of the present invention is the robot gripping control device according to the sixth aspect, further comprising arm control means for controlling the operation of the robot arm, wherein a gripping force relaxation signal is input to the robot hand. In this case, the arm control means reduces the joint rigidity. When an external force is applied to an article held by the robot, the joint is moved even by a weak force. It has the effect of preventing the joint from being destroyed.

本発明の第8の態様に係る発明は、第7の態様のロボット把持制御装置において、更に、関節の剛性が低下する場合に、外部に注意を喚起するアラームを含むものであり、このアラームによって人はロボットがロボットアームの力を抜いたことを認識できるようになり、ロボットアームの関節の剛性が高い状態に気づかず物品を持ち取ろうとして、関節に負荷をかけ、ロボットの関節を破壊してしまうことを防ぐことができるという作用を有する。   The invention according to the eighth aspect of the present invention is the robot gripping control apparatus according to the seventh aspect, further comprising an alarm for calling attention to the outside when the joint rigidity is lowered. Humans can now recognize that the robot has pulled out of the robot arm, load the joints and destroy the robot's joints, trying to pick up items without noticing the high rigidity of the robot arm's joints. It has the effect | action that it can prevent.

本発明の第9の態様に係る発明は、第1乃至第8の態様のいずれかのロボット把持制御装置において、更に、ロボットハンドの把持力を緩和する場合に、外部に注意を喚起するアラームを含むものであり、ロボットハンドで把持している物品を持ち取る際に、どのタイミングで前記物品を握れば良いかが容易に分かるようになるという作用を有する。   According to a ninth aspect of the present invention, in the robot gripping control device according to any one of the first to eighth aspects, when the gripping force of the robot hand is further reduced, an alarm for calling attention to the outside is provided. It is included, and has an effect that it becomes easy to know when to hold the article when the article held by the robot hand is taken.

本発明の第10の態様に係る発明は、物品を把持する把持手段の把持物に作用する外力の変化値を検出する第1のステップと、前記外力の変化値が予め定めた閾値と比較する第2のステップと、前記外力の変化値が前記閾値以上である場合に、前記外力の変化値の要因を推定する第3のステップと、前記第3のステップの推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する第4のステップとを含むロボット把持制御方法としたものであり、把持解放の命令をロボットに与えることなく、ロボットの把持している物品を人間が持ち取ることが可能となるという作用を有する。
The invention according to a tenth aspect of the present invention, the threshold value a first step of detecting a change in value of the external force acting on the grip of that bunch lifting means to grip the article, the change value of the external force is predetermined A second step of comparing, a third step of estimating a factor of the change value of the external force when the change value of the external force is equal to or greater than the threshold value, and the gripping means based on an estimation result of the third step And a fourth step of outputting a gripping force strengthening signal for strengthening the gripping force of the gripping means, and a grip release command. It has the effect that it is possible for a human to carry an article held by the robot without giving it to the robot.

本発明の第11の態様に係る発明は、第10の態様のロボット把持制御方法において、第3のステップは、外力の変化値が予め定めた閾値以上である場合に、把持物の解放要求であると推定し、更に、把持手段が、前記把持物を解放した後に、前記把持物の落下運動により生じる重力方向の動摩擦力を検知した場合には、前記把持物の受け渡しではないと推定し、第4のステップは、把持手段の把持力を緩和させる把持力緩和信号を出力するものであり、ロボットの把持している物品に持ち取り以外の外力が作用し、そのためにロボットハンドを解放して物品を落としそうになった際に、それを認識し物品の落下を防ぐことが可能となるという作用を有する。   According to an eleventh aspect of the present invention, in the robot gripping control method according to the tenth aspect, the third step is a request to release the gripped object when the change value of the external force is equal to or greater than a predetermined threshold value. In addition, if the gripping means detects a dynamic frictional force in the gravitational direction generated by the falling motion of the gripped object after releasing the gripped object, it is estimated that the gripped object is not delivered, The fourth step is to output a gripping force relaxation signal that relaxes the gripping force of the gripping means, and an external force other than carrying is applied to the article gripped by the robot. When an article is about to be dropped, it can be recognized to prevent the article from falling.

本発明の第12の態様に係る発明は、第10の態様のロボット把持制御方法において、第3のステップは、外力の変化値が予め定めた閾値以上であり、前記外力の作用する方向とは異なる少なくとも1つの方向に把持手段を移動させ、前記把持手段が反力を検知した場合には、前記把持物の受け渡しであると推定し、第4のステップは、把持力を強化する把持力強化信号を前記把持手段に出力するものであり、ロボットの把持している物品に外力が作用した場合に、1つの方向にわざと力をかけ、その力に対しての反力があったかどうかで物品が持ち取られているかどうかを確かめることができるという作用を有する。   According to a twelfth aspect of the present invention, in the robot gripping control method according to the tenth aspect, in the third step, the change value of the external force is greater than or equal to a predetermined threshold value, and the direction in which the external force acts When the gripping means is moved in at least one different direction and the gripping means detects a reaction force, it is assumed that the gripping object is delivered, and the fourth step is a gripping force enhancement that strengthens the gripping force. A signal is output to the gripping means, and when an external force is applied to the article gripped by the robot, the article is applied depending on whether or not there is a reaction force against the force. It has the effect that it can be confirmed whether it is taken or not.

本発明の第13の態様に係る発明は、物品を把持するロボットハンドに設置された力センサが把持物に作用する外力の変化値を検出する第1のステップと、前記外力の変化値が予め定めた閾値と比較する第2のステップと、前記外力の変化値が前記閾値以上である場合に、前記外力の変化値の要因を推定する第3のステップと、前記ロボットハンドに作用する外力の変化値が予め定めた閾値以上である場合に、前記外力の作用する方向とは異なる少なくとも1つの方向に、前記ロボットハンドが取り付けられたロボットアームを移動させる第4のステップと、前記ロボットアームが移動した後に、前記力センサが反力を検知した場合に、把持物の受け渡しであると推定する第5のステップと、前記第5のステップの推定結果が把持物の受け渡しである場合に、把持力緩和信号を前記ロボットハンドに出力する第6のステップとを有するロボット把持制御方法としたものであり、ロボットの把持している物品に持ち取り以外の外力が作用し、そのためにロボットハンドを解放して物品を落としそうになった際に、それを認識し物品の落下を防ぐことが可能となるという作用を有する。 The invention according to a thirteenth aspect of the present invention includes a first step of detecting a change in value of the external force to the force sensor installed in Carlo bots hand to grip the article is applied to the holding object, the external force change value Acting on the robot hand, a second step of comparing with a predetermined threshold value, a third step of estimating a factor of the change value of the external force when the change value of the external force is greater than or equal to the threshold value, and A fourth step of moving the robot arm to which the robot hand is attached in at least one direction different from the direction in which the external force acts when the change value of the external force is greater than or equal to a predetermined threshold; When the force sensor detects a reaction force after the arm has moved, a fifth step for estimating that the grasped object is delivered, and an estimated result of the fifth step is the delivery result of the grasped object. And a robot grip control method having a sixth step of outputting a grip force relaxation signal to the robot hand, and an external force other than carrying is applied to an article gripped by the robot, Therefore, when the robot hand is released and the article is about to be dropped, the robot hand can be recognized to prevent the article from falling.

本発明の第14の態様に係る発明は、複数の関節と、前記関節の回転角を検知する関節角センサとを含むロボットアームに物品を把持するロボットハンドが取り付けられ、前記ロボットハンドに前記物品を解放する解放指示が入力され、更に、前記関節の回転角に変化が生じた場合に、前記ロボットハンドに把持力緩和信号を出力するステップとを有するロボット把持制御方法としたものであり、ロボットの把持している物品に外部の力がかかった際に、関節が動かされたかどうかで物品が持ち取られているかどうかを確かめることができるという作用を有する。   According to a fourteenth aspect of the present invention, a robot hand that holds an article is attached to a robot arm that includes a plurality of joints and a joint angle sensor that detects a rotation angle of the joint, and the article is attached to the robot hand. And a step of outputting a gripping force relaxation signal to the robot hand when a release instruction for releasing the joint is input and a change occurs in the rotation angle of the joint. When an external force is applied to the article being held, it is possible to confirm whether or not the article is being taken by whether or not the joint has been moved.

本発明の第15の態様に係る発明は、第14の態様のロボット把持制御方法において、更に、ロボットアームの動作を制御し、ロボットハンドに、把持力緩和信号が入力された場合に、関節の剛性を低下させるステップを含むものであり、ロボットの把持している物品に外部の力がかかった際に弱い力でも関節が動かされるため、外部の力によってロボットの関節を破壊してしまうことを防ぐことができるという作用を有する。   The invention according to a fifteenth aspect of the present invention is the robot gripping control method according to the fourteenth aspect, further comprising controlling the operation of the robot arm, and when a gripping force relaxation signal is input to the robot hand, It includes a step to reduce the rigidity, and when an external force is applied to the object gripped by the robot, the joint is moved even with a weak force. It has the effect that it can be prevented.

本発明の第16の態様に係る発明は、第15の態様のロボット把持制御方法において、更に、関節の剛性が低下する場合に、外部に注意を喚起するステップを含むものであり、このアラームによって人はロボットがロボットアームの力を抜いたことを認識できるようになり、ロボットアームの関節の剛性が高い状態に気づかず物品を持ち取ろうとして、関節に負荷をかけ、ロボットの関節を破壊してしまうことを防ぐことができるという作用を有する。   The invention according to a sixteenth aspect of the present invention is the robot gripping control method according to the fifteenth aspect, further comprising a step of calling attention to the outside when the joint rigidity is reduced. Humans can now recognize that the robot has pulled out of the robot arm, load the joints and destroy the robot's joints, trying to pick up items without noticing the high rigidity of the robot arm's joints. It has the effect | action that it can prevent.

本発明の第17の態様に係る発明は、第10乃至第16の態様のいずれかに記載のロボット把持制御方法において、更に、ロボットハンドの把持力を緩和する場合に、外部に注意を喚起するステップを含むものであり、ロボットハンドで把持している物品を持ち取る際に、どのタイミングで前記物品を確実に握れば良いかが容易に分かるようになるという作用を有する。   The invention according to a seventeenth aspect of the present invention is the robot gripping control method according to any one of the tenth to sixteenth aspects, further alerting the outside when the gripping force of the robot hand is reduced. It includes steps, and has an effect that it becomes easy to know at what timing the article should be securely grasped when the article held by the robot hand is taken.

本発明のロボット把持制御装置及びロボット把持制御方法によれば、ロボットが把持している物品を人間が持ち取ろうとしていることの判断をロボット自身が自律的に行うので、ロボットハンドで把持している物品を人間が掴んで持ち取ろうとした場合に、その人間の操作を理解し、把持力を強めて物品を握り潰してしまうことなく、人間が人間に物を手渡すがごとく、把持力を緩める制御を実現することが可能となる。   According to the robot gripping control apparatus and the robot gripping control method of the present invention, since the robot itself autonomously determines that the person is trying to carry the article gripped by the robot, When a person tries to grab and pick up an article, he understands the person's operation and loosens the gripping force as if the person handed the object to the person without increasing the gripping force and crushing the article. Control can be realized.

また、人間がロボットが掴んでいる物品を持ち取ろうとしていることを判断した場合には、その旨をアラーム手段によって知らせることで、より安心して物品を取ることができる。   Further, when it is determined that a human is about to take an article held by the robot, the article can be picked up more safely by notifying the fact by an alarm means.

以下、本発明の実施の形態について図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(実施の形態1)
図1は本発明のロボット把持制御装置の構成を示すブロック図である。図1において、ロボットアーム101はロボットの腕としてのロボットアーム101であり、ロボットハンド102はロボットアーム101に取り付けられ物品を把持する機構を有している。ロボットアーム101には関節角センサ112が、またロボットハンド102には力センサ103が配設されている。
(Embodiment 1)
FIG. 1 is a block diagram showing the configuration of the robot grip control device of the present invention. In FIG. 1, a robot arm 101 is a robot arm 101 as a robot arm, and a robot hand 102 is attached to the robot arm 101 and has a mechanism for gripping an article. The robot arm 101 is provided with a joint angle sensor 112, and the robot hand 102 is provided with a force sensor 103.

力センサ103は、それに作用する力を検出するセンサで、本発明においてはロボットハンド102に配設され、ロボットハンド102に作用する力を検出するセンサである。   The force sensor 103 is a sensor that detects a force acting on the force sensor 103. In the present invention, the force sensor 103 is disposed on the robot hand 102 and detects a force acting on the robot hand 102.

力センサ103としては様々な方式があるが、例えば、ひずみゲージで検出するもの、トルクを検出するもの、すべり摩擦を検出するものなどを使えばよい。   There are various types of the force sensor 103. For example, a sensor that detects with a strain gauge, a sensor that detects torque, or a sensor that detects sliding friction may be used.

関節角センサ112は、代表的には光学的なロータリエンコーダによって絶対角度や相対角度を検出するものである。ロータリエンコーダとは、スリット付きの回転板と固定板、発光素子、受光素子などから構成され、回転板が回転したときに、回転板と固定板のスリットを透過した光のパルスを計数して回転角を算出するものである。   The joint angle sensor 112 typically detects an absolute angle or a relative angle by an optical rotary encoder. A rotary encoder is composed of a rotating plate with a slit, a fixed plate, a light emitting element, a light receiving element, and the like. When the rotating plate rotates, it counts and rotates the light pulses that have passed through the slits of the rotating plate and the fixed plate. The angle is calculated.

重力補償手段104は、力センサ103が検出した力より、把持物体にかかる重力成分やロボットアーム101の運動により生じる慣性力、遠心力、コリオリ力などを排除し、人間が物体を受け取ろうとして物体に及ぼす外力を算出する。   The gravity compensation means 104 eliminates the gravity component applied to the grasped object and the inertial force, centrifugal force, Coriolis force, etc. generated by the movement of the robot arm 101 from the force detected by the force sensor 103, and the human is trying to receive the object. The external force exerted on is calculated.

センサ値変量測定手段105は、力センサ103や関節角センサ112のセンサ値を所
定の時間間隔で測定するものであり、物品把持判断手段106は、ロボットハンド102が物品を把持しているかを判断する。把持解放判断手段107は、センサ値変量測定手段105での測定結果として、力センサ103によるセンサ値の変化情報の有無と、物品把持判断手段106の判断において、ロボットハンド102による物品の把持の有無との2つの状況を踏まえて、ロボットハンド102の把持力を弱めるか否かを判断し、弱める場合には、後で説明する把持力制御手段108に把持力緩和の信号を送出するものである。
The sensor value variable measuring means 105 measures the sensor values of the force sensor 103 and the joint angle sensor 112 at predetermined time intervals, and the article gripping judgment means 106 judges whether the robot hand 102 is gripping an article. To do. The grip release determination means 107 uses the sensor value variable measurement means 105 as a measurement result to determine whether or not the sensor value change information is detected by the force sensor 103 and whether or not the article is determined by the robot hand 102 in the determination by the article grip determination means 106. Based on these two situations, it is determined whether or not the gripping force of the robot hand 102 is to be weakened, and in the case of weakening, a gripping force relaxation signal is sent to the gripping force control means 108 described later. .

把持力制御手段108は、把持解放判断手段107からの信号、重力補償手段104の信号、解放指示認識手段109からの信号を受け、それらの信号の内容を踏まえて、ロボットハンド102の把持力を制御する信号を出力する。解放指示認識手段109は、外部からのロボットハンド102の解放の指示を認識する。
アラーム手段110は、把持力制御手段108がロボットハンド102を解放する場合や、センサ値変量測定手段105が関節角センサ112の閾値を越える変量を測定した場合に、外部に注意を喚起するアラームを行う。アーム制御手段111は、関節角センサ112からの関節角のフィードバック信号を受け、ロボットアーム101の各関節を駆動するモーター等のアクチュエータに指令を与えることで、ロボットアーム101に取り付けられたロボットハンド102の位置の制御やロボットアーム101に加わる力の制御を行う。
The grip force control means 108 receives the signal from the grip release determination means 107, the signal from the gravity compensation means 104, and the signal from the release instruction recognition means 109, and determines the grip force of the robot hand 102 based on the contents of those signals. Outputs a control signal. The release instruction recognition unit 109 recognizes an instruction to release the robot hand 102 from the outside.
The alarm unit 110 generates an alarm that alerts the outside when the gripping force control unit 108 releases the robot hand 102 or when the sensor value variable measurement unit 105 measures a variable exceeding the threshold value of the joint angle sensor 112. Do. The arm control unit 111 receives a joint angle feedback signal from the joint angle sensor 112, and gives a command to an actuator such as a motor that drives each joint of the robot arm 101, whereby the robot hand 102 attached to the robot arm 101 is given. And the force applied to the robot arm 101 are controlled.

把持手段113は、物品を把持する機構をなし、かつ、把持物に作用する外力を検出する。把持物外力推定手段114は、把持手段113が物品を把持している際に、物品に作用する力が変化した場合に、前記力の変化を引き起こした要因を推論するものである。   The gripping means 113 has a mechanism for gripping an article and detects an external force acting on the gripped object. The gripping object external force estimation means 114 infers a factor that causes the change in force when the force acting on the article changes while the gripping means 113 is gripping the article.

なお、本実施の形態では、把持手段113は、ロボットアーム101、ロボットハンド102、関節角センサ112、力センサ103及びアーム制御手段111を含む構成であり、把持物外力推定手段114は、重力補償手段104及びセンサ値変量測定手段105を含む構成である。   In the present embodiment, the gripping means 113 includes a robot arm 101, a robot hand 102, a joint angle sensor 112, a force sensor 103, and an arm control means 111, and the gripping object external force estimation means 114 is configured to compensate for gravity compensation. The configuration includes a means 104 and a sensor value variable measuring means 105.

ここで、物品を把持する場合の把持手段113の制御としては、人間の動作と同様に、ロボットアーム101を制御してロボットハンド102を物品が把持できる場所まで誘導し、そしてロボットハンド102によって物品を把持するものである。   Here, as to the control of the gripping means 113 when gripping an article, the robot arm 101 is controlled to guide the robot hand 102 to a place where the article can be gripped, and the article by the robot hand 102 as in the case of human movement. Is to hold.

また、把持物外力推定手段114による推論とは、ロボットハンド102が把持している物品に外力が作用した場合に、外力が、人によって物品を持ち取られようとして生じた力か、それ以外の力なのかを識別するものである。   The inference by the grasped object external force estimating means 114 is an external force that is generated when an external force is applied to an article held by the robot hand 102, or the other force is caused by a person trying to take the article. It identifies whether it is power.

図2は、重力補償手段104にて物体に及ぼす外力を算出する方法を示す図である。算出のための計算式は以下のように導くことができる。   FIG. 2 is a diagram illustrating a method for calculating the external force exerted on the object by the gravity compensation unit 104. The calculation formula for calculation can be derived as follows.

ここで、図2のようにΣ0は基準座標系とし、Σrはロボットアーム101の手先に固定された座標系とし、6次元のベクトルであるfsは力センサ103の検出値(物体がロボットアーム101の手先に加える力)とし、6次元のベクトルであるfhは人間が物体に及ぼす力とし、6次元のベクトルであるfgはfsとfhの物体重心での合成力とすると、物体の運動方程式は(数1)となる。 Here, as shown in FIG. 2, Σ 0 is a reference coordinate system, Σ r is a coordinate system fixed to the hand of the robot arm 101, and f s, which is a six-dimensional vector, is a detection value (the object is detected by the force sensor 103). The force applied to the hand of the robot arm 101), f h which is a six-dimensional vector is a force exerted on the object by a human, and f g which is a six-dimensional vector is a combined force at the object center of gravity of f s and f h. Then, the equation of motion of the object is (Equation 1).

Figure 0004228871
Figure 0004228871

ここで(数1)におけるM、V、hは、それぞれ(数2)、(数3)および(数5)で
、また(数3)におけるTgは(数4)で表される。
Here, M, V, and h in (Expression 1) are expressed by (Expression 2), (Expression 3), and (Expression 5), respectively, and T g in (Expression 3) is expressed by (Expression 4).

Figure 0004228871
Figure 0004228871

Figure 0004228871
Figure 0004228871

Figure 0004228871
Figure 0004228871

Figure 0004228871
Figure 0004228871

(数1)〜(数5)において、mは物体の質量、Iは物体の重心点における慣性テンソル、pgは物体の重心点の位置、ωは物体の重心点周りの角速度、qはロボットアーム101の関節変数ベクトル、Jはロボットアーム101のヤコビ行列、0rはΣ0からΣrへの回転行列、rgはΣrから見た物体の重心位置、gは重力加速度である。 (Number 1) to (number 5), m is the object of the mass, I is inertia tensor at the center of gravity point of the object, p g is the position of the center of gravity of the object, omega is angular velocity about the center of gravity of the object, q robot The joint variable vector of the arm 101, J is the Jacobian matrix of the robot arm 101, 0 R r is the rotation matrix from Σ 0 to Σ r , r l g is the gravity center position of the object viewed from Σ r , and g is the gravitational acceleration .

また、物体に働く力に関しては、(数6)の力の釣り合いの式が成り立つ。ここでTgは(数7)で表され、またrhはΣrから見た外力の作用点の位置である。 Further, with respect to the force acting on the object, the equation of balance of force of (Equation 6) is established. Here The T g is expressed by (Equation 7), also r l h is the position of the point of action of the external force as seen from the sigma r.

Figure 0004228871
Figure 0004228871

Figure 0004228871
Figure 0004228871

以上の運動方程式と、力の釣り合いの計算式とより、力センサ103の検出値から重力、慣性力、遠心力、コリオリ力成分を排除した外力による成分Fは、(数8)となる。   Based on the above equation of motion and the calculation formula of force balance, the component F due to the external force excluding gravity, inertial force, centrifugal force, and Coriolis force component from the detection value of the force sensor 103 is given by (Equation 8).

Figure 0004228871
Figure 0004228871

把持物外力推定手段114において行われる識別処理、すなわちロボットハンド102が把持している物品に外力が作用した場合に、外力が、人によって物品を持ち取られようとして生じた力か、それ以外の力なのかを識別する処理の一つには、この重力補償手段104における計算結果を用いて行う方法がある。   Identification processing performed in the grasped object external force estimation means 114, that is, when an external force is applied to an article held by the robot hand 102, the external force may be a force generated by a person trying to take the article or other One of the processes for identifying whether the force is a force is a method of using the calculation result in the gravity compensation means 104.

即ち、上記計算式により補償された値が重力方向と略一致する場合には、把持物品を落下しそうな状況であるために重力方向と合致する動摩擦力が作用したと判断し、ロボットハンド102の解放を停止し、把持力を増加させる信号を把持解放判断手段107に出力する。   That is, when the value compensated by the above calculation formula is approximately the same as the direction of gravity, it is determined that a dynamic frictional force that matches the direction of gravity has acted because the gripped article is likely to fall, and the robot hand 102 The release is stopped and a signal for increasing the gripping force is output to the grip release determination means 107.

一方、それ以外の力が検出された場合には人間が把持したものと判断し、ロボットハンド102の解放を行う信号を把持解放判断手段107に出力する。   On the other hand, if any other force is detected, it is determined that the person has gripped, and a signal for releasing the robot hand 102 is output to the grip release determination means 107.

センサ値変量測定手段105は、上記の力センサ103や関節角センサ112のセンサ値を所定の時間間隔で測定する。力センサ103については、重力補償手段104において把持物品にかかる重力および慣性力およびコリオリ力が排除された力の値が入力される。   The sensor value variable measuring means 105 measures the sensor values of the force sensor 103 and the joint angle sensor 112 at predetermined time intervals. For the force sensor 103, the gravity compensation means 104 receives the force value from which the gravitational force, inertial force and Coriolis force applied to the grasped article are excluded.

ここで、本実施の形態におけるロボットハンド102の制御は、力センサ103や関節角センサ112のセンサ値の変化量に基づいて行っているが、センサ値の変量を処理の最小単位時間の差だけで計算すると、ロボットハンド102に把持されている物品に対して外部から加えられる力が、非常にゆっくりと強められる場合には、力センサ103の値の変化が小さすぎるため、把持解放の制御が実施されない場合がある。このため、本実施の形態では入力された力センサ103の値は、過去の所定の時間まで遡って、時刻データとともにメモリに記憶する。   Here, the control of the robot hand 102 according to the present embodiment is performed based on the amount of change in the sensor values of the force sensor 103 and the joint angle sensor 112, but the amount of change in the sensor value is determined by the difference in the minimum unit time of processing. When the force applied from the outside to the article gripped by the robot hand 102 is strengthened very slowly, the change in the value of the force sensor 103 is too small, so that the grip release control is not performed. May not be implemented. For this reason, in the present embodiment, the input value of the force sensor 103 is stored in the memory together with time data, going back to a predetermined time in the past.

図3に、メモリに記憶されている時刻毎の力センサ103及び関節角センサ112の値をテーブル形式で示す。tは時刻で、t(0)が現在時刻である。Pは各時刻における力センサ103の値、Dは関節角センサ112の値である。また、括弧内の数が大きくなるほど過去に遡ることを示す。過去に遡ってセンサの値を蓄えておけば、ロボットハンド102に把持されている物品に対して外部から加えられる力が、非常にゆっくりと強められる場合でも、現在時刻における力の値と過去に遡って得た力の値との変化量が算出でき、それによって把持解放の制御が可能となる。   FIG. 3 shows the values of the force sensor 103 and the joint angle sensor 112 for each time stored in the memory in a table format. t is the time and t (0) is the current time. P is the value of the force sensor 103 at each time, and D is the value of the joint angle sensor 112. Moreover, it shows that it goes back in the past, so that the number in a parenthesis becomes large. If the sensor values are stored retroactively, even if the force applied from the outside to the article held by the robot hand 102 is strengthened very slowly, the force value at the current time and the past The amount of change from the value of the force obtained retroactively can be calculated, whereby grip release control can be performed.

このようにして、力センサ103と関節角センサ112で個別に設定されたセンサ値変化の許容量を超える値を所定の時間内において検出した場合に、後で説明する把持解放判断手段107とアラーム手段110とに、どのセンサで値の変化が起こったかの情報を送ることができる。   In this way, when a value exceeding the permissible amount of change in the sensor value set individually by the force sensor 103 and the joint angle sensor 112 is detected within a predetermined time, a grip release determination unit 107 and an alarm described later are alarmed. Information to which sensor the change in value has occurred can be sent to the means 110.

物品把持判断手段106はロボットハンド102が物品を把持しているかを判断するものであり、ロボットハンド102が物品を把持した際に、物品把持判断手段106と物品とが接触するようにロボットハンド102の内側に設置される。物品把持判断手段106としては、例えば、ロボットハンド102と物品との接触面において接触圧分布を測定する圧覚センサやロボットハンド102の内側に設置された光センサが使われる。光センサは、例えば赤外線LEDなどを光源とする発光素子とフォトダイオードなどの受光素子の
組を一つまたは複数個使うことで構成される。
The article gripping judgment means 106 judges whether or not the robot hand 102 is gripping an article. When the robot hand 102 grips an article, the article gripping judgment means 106 and the article are in contact with each other. Installed inside. As the article gripping determination means 106, for example, a pressure sensor that measures a contact pressure distribution on the contact surface between the robot hand 102 and the article, or an optical sensor installed inside the robot hand 102 is used. An optical sensor is configured by using one or a plurality of pairs of a light emitting element using, for example, an infrared LED as a light source and a light receiving element such as a photodiode.

なお、物品把持判断手段106としてどのようなセンサを使う場合でも、その配設において力センサ103と干渉することのないように注意する必要があることはいうまでもない。   Needless to say, no matter what sensor is used as the article gripping determination means 106, it is necessary to take care not to interfere with the force sensor 103 in the arrangement.

図4(a)は、ロボットハンド102の内側の両面に圧覚センサ401を配設した図であり、図4(b)は、ロボットハンド102の内側に、光センサとして、発光素子402と受光素子403の組を3つ配設した図である。なお、圧覚センサ401の配置は片面でもかまわない。   4A is a diagram in which pressure sensors 401 are disposed on both inner surfaces of the robot hand 102, and FIG. 4B is a diagram illustrating a light emitting element 402 and a light receiving element as optical sensors inside the robot hand 102. FIG. It is the figure which arranged three sets of 403. FIG. Note that the pressure sensor 401 may be arranged on one side.

解放指示認識手段109は、外部からのロボットハンド102の解放の指示を認識するものであり、例えばマイクと音声認識プログラムが使われる。すなわち人間が音声でロボットに設置されたマイクに向かって、ロボットハンド102を解放する内容の発話、例えば「手を離して」などと話しかけると、前記音声認識プログラムがその文の意味を解析し、話しかけた人間がロボットハンド102を解放することを要求していると判断する。その解放させるための解放指示信号を、後で説明するアーム制御手段111および把持力制御手段108にそれぞれ送信する。   The release instruction recognition unit 109 recognizes an instruction to release the robot hand 102 from the outside. For example, a microphone and a voice recognition program are used. That is, when a person speaks to the microphone installed in the robot by voice, the utterance of the content that releases the robot hand 102, for example, "release your hand", the voice recognition program analyzes the meaning of the sentence, It is determined that the person who has spoken requests that the robot hand 102 be released. The release instruction signal for releasing is transmitted to an arm control unit 111 and a gripping force control unit 108 which will be described later.

なお、解放の指示の判断は、マイクと音声認識プログラムによって行う以外に、例えば、ロボットハンド102の解放をさせるための物理的なスイッチをロボットに配設するなどしてもよい。   Note that the release instruction may be determined by using a microphone and a voice recognition program, for example, a physical switch for releasing the robot hand 102 may be provided in the robot.

また、アーム制御手段111は、関節角センサ112からの関節角のフィードバック信号を受け、ロボットアーム101の各関節を駆動するモーター等のアクチュエータに指令を与えることで、ロボットアーム101に取り付けられたロボットハンド102の位置の制御やロボットアーム101に加わる力の制御を行う。   Further, the arm control unit 111 receives a joint angle feedback signal from the joint angle sensor 112 and gives a command to an actuator such as a motor that drives each joint of the robot arm 101, whereby the robot attached to the robot arm 101. The position of the hand 102 and the force applied to the robot arm 101 are controlled.

また、解放指示認識手段109が、外部からのロボットハンド102の解放要求があったと認識した場合に、ロボットアーム101の手先位置を制御するためのフィードバックゲインの値を小さくすることで、ロボットアーム101の各関節の剛性を弱める処理を行うことができ、その後、後で説明するアラーム手段110に、その旨を知らせる情報を送信する。   Further, when the release instruction recognition unit 109 recognizes that there is a request for releasing the robot hand 102 from the outside, the robot arm 101 is reduced by reducing the value of the feedback gain for controlling the hand position of the robot arm 101. The process of weakening the rigidity of each joint can be performed, and thereafter, information notifying that is transmitted to the alarm means 110 described later.

また、把持解放判断手段107は、センサ値変量測定手段105での測定結果として、力センサ103によるセンサ値の変化情報の有無と、物品把持判断手段106の判断において、ロボットハンド102による物品の把持の有無との2つの状況を踏まえて、ロボットハンド102の把持力を弱めるかを判断し、弱める場合には、後で説明する把持力制御手段108に把持力緩和の信号を送出する。   Further, the grip release determination means 107 grasps the article by the robot hand 102 in the presence / absence of sensor value change information by the force sensor 103 and the article grip judgment means 106 as the measurement result by the sensor value variable measurement means 105. Whether or not the gripping force of the robot hand 102 is weakened is determined based on the two situations of whether or not the gripping force is present, and when weakening, a gripping force relaxation signal is sent to the gripping force control means 108 described later.

また、把持力制御手段108は、把持解放判断手段107からの信号、重力補償手段104の信号、解放指示認識手段109からの信号を受け、それらの信号の内容を踏まえて、ロボットハンド102の把持力を制御する信号を出力する。   The gripping force control means 108 receives a signal from the grip release determination means 107, a signal from the gravity compensation means 104, and a signal from the release instruction recognition means 109, and based on the contents of these signals, the gripping force control means 108 grasps the robot hand 102. Outputs a signal that controls the force.

また、アラーム手段110は、把持力制御手段108がロボットハンド102を解放する場合や、センサ値変量測定手段105が関節角センサ112の閾値を越える変量を測定した場合に、外部に注意を喚起するアラームを行う。   The alarm unit 110 alerts the outside when the gripping force control unit 108 releases the robot hand 102 or when the sensor value variable measurement unit 105 measures a variable exceeding the threshold value of the joint angle sensor 112. Perform an alarm.

なお、アラームの内容は、状況に応じて変更しても良い。また、アラームは音や音声など聴覚に訴える方法、LEDの点滅など視覚に訴える方法、それらをハイブリッドさせた
方法などを用いる。
The content of the alarm may be changed according to the situation. As the alarm, a method of appealing to hearing such as sound or voice, a method of appealing to vision such as blinking LED, a method of hybridizing them, or the like is used.

つぎに、以上の構成のロボット把持制御装置によるロボットハンド102の把持制御について、詳細に説明する。   Next, gripping control of the robot hand 102 by the robot gripping control device having the above configuration will be described in detail.

本実施の形態のロボットハンド102による把持制御は、ロボットアーム101の関節などに力センサ103を配置し、外部から把持物品に加えられる力を力センサ103で検出し、把持物品を解放する場合に、抽出された力センサ103の値の変化から、外部からの力が人間によるものか否かを判断するものである。   The grip control by the robot hand 102 of the present embodiment is performed when the force sensor 103 is arranged at the joint of the robot arm 101, the force applied to the gripped article from the outside is detected by the force sensor 103, and the gripped article is released. From the change in the value of the extracted force sensor 103, it is determined whether or not the external force is from a human.

まず、外部からの力によりロボットハンド102の把持力を緩和し、把持物品を解放する場合に、物品の移動状態から、外部からの力が人間によるものか否かを判断する方法について説明する。   First, a description will be given of a method for determining whether or not the external force is due to a human being from the moving state of the article when the grasping force of the robot hand 102 is relaxed by an external force and the grasped article is released.

図5は、人間によって把持物品が持ち取られる以外の状況で力センサ103の値の変化が検出される場合を示した図である。図5(a)は、ロボットハンド102で円柱状の物品501を把持したロボットが、壁502に向かって走行し、物品501が壁502に接触している状態を示した図であり、図5(b)は、図5(a)のロボットハンド102を上から見た平面図である。   FIG. 5 is a diagram illustrating a case where a change in the value of the force sensor 103 is detected in a situation other than the case where the gripped article is taken by a human. FIG. 5A is a diagram illustrating a state where the robot holding the cylindrical article 501 with the robot hand 102 travels toward the wall 502 and the article 501 is in contact with the wall 502. FIG. 5B is a plan view of the robot hand 102 of FIG.

図5(a)、(b)から分かるように、ロボットアーム101全体が壁502に向かって矢印Mの方向に移動しているのに対し、物品501は壁502に当たっているので、ロボットハンド102に配設された力センサ103としての圧覚センサ401が壁502からの物品501が壁502に当たって受ける外部からの力Fを検出する。   As can be seen from FIGS. 5A and 5B, the entire robot arm 101 moves in the direction of arrow M toward the wall 502, whereas the article 501 hits the wall 502. The pressure sensor 401 as the arranged force sensor 103 detects an external force F received by the article 501 from the wall 502 hitting the wall 502.

この壁502から受ける力Fにより、ロボットハンド102が物品501を解放する場合に、物品501はどのようにロボットハンド102から離れていくかを測定した結果に応じて、外部からの力Fが人間によるものかを判断するものである。つまり、外部からの力Fが人間でなければ、ロボットハンド102の把持力を緩めていくにつれて、物品501は重力によって落下するという物理法則を利用する。   When the robot hand 102 releases the article 501 due to the force F received from the wall 502, the external force F is applied to a human depending on the result of measuring how the article 501 moves away from the robot hand 102. It is to judge whether it is due to. That is, if the external force F is not a human, the physical law that the article 501 falls due to gravity as the gripping force of the robot hand 102 is loosened is used.

図6は、本実施の形態による物品の移動状態を用いたロボットハンド102の把持制御の処理を示したフローチャートである。   FIG. 6 is a flowchart showing the grip control processing of the robot hand 102 using the moving state of the article according to the present embodiment.

S201にて、ロボットによる物品501の把持の有無を物品把持判断手段106によって判断する。もし物品501を把持していなければ、ロボットハンド102解放の制御は不要なので直ちに処理を終了する。また、ロボットハンド102で物品501を把持している場合はS202の処理に進む。   In step S201, the article gripping determination unit 106 determines whether or not the article 501 is gripped by the robot. If the article 501 is not grasped, the control of releasing the robot hand 102 is unnecessary and the process is immediately terminated. If the article 501 is held by the robot hand 102, the process proceeds to S202.

S202にて、物品501の質量などのデータに基づいて物品501にかかる重力、慣性力、コリオリ力などの外力を重力補償手段104によって排除し、力センサ103は、人などの外部によって受けた力Fのみをセンサ値変量測定手段105に送る。   In S202, external force such as gravity, inertial force, and Coriolis force applied to the article 501 based on data such as the mass of the article 501 is eliminated by the gravity compensation means 104, and the force sensor 103 receives the force received by the outside such as a person. Only F is sent to the sensor value variable measuring means 105.

S203にて、センサ値変量測定手段105では、送られた力センサ103の値を時刻と共にメモリに書き込む。   In S203, sensor value variable measuring means 105 writes the value of force sensor 103 sent to the memory together with the time.

S204にて、メモリを参照し、現在から所定の過去にわたって、力センサ103の値の最小値を調べ、それと現在値との変化量が予め定めた閾値以上であった場合に、力センサ103値の変化があったという情報を把持解放判断手段107に送る。変化量が閾値以下の場合は、ロボットハンド102解放の制御は不要なので直ちに処理を終了する。   In S204, the minimum value of the value of the force sensor 103 is checked over a predetermined past from the present, and if the amount of change between the current value and the current value is equal to or greater than a predetermined threshold value, the value of the force sensor 103 is determined. Is sent to the grip release determination means 107. If the change amount is equal to or smaller than the threshold value, the control is not required for releasing the robot hand 102, and the process is immediately terminated.

S205にて、把持解放判断手段107は、センサ値変量測定手段105から力センサ103値の変化があったという情報を受けて、把持力制御手段108に把持力の緩和を指示する信号である把持力緩和信号を送出する。把持力制御手段108は把持力緩和の信号を受けると、まずアラーム手段110にアラームを行うように信号を送り、これを受けてアラーム手段110は音声や文字表示などを用いて「手を放します」等のアラームを発する。続いてロボットハンド102の把持力を緩和させる。   In step S205, the grip release determination unit 107 receives information from the sensor value variable measurement unit 105 that the force sensor 103 value has changed, and is a signal that instructs the grip force control unit 108 to relax the grip force. Sends a force relaxation signal. When the gripping force control means 108 receives the gripping force relaxation signal, the gripping force control means 108 first sends a signal to the alarm means 110 to give an alarm, and in response to this, the alarm means 110 releases the hand using voice or character display. ”Etc. Subsequently, the gripping force of the robot hand 102 is relaxed.

S206にて、ロボットの力センサ103が力Fを検出すると、S205でロボットハンド102を解放し始める。すると当然のことながら把持物品がロボットハンド102との接触による摩擦の力が弱まる。このまま把持力を弱め続け、ある程度弱まった時点で物品501にかかる重力が摩擦力を上回り、物品501がロボットハンド102を滑り鉛直方向に落下し始めようとする。この状態、すなわちロボットハンド102の把持力を弱め始めてからのち、さらに力センサ103が下向き方向の力を検出した場合、物品501にかかる力は重力によるものであると判断してS207に移行し、それ以外は処理を終了する。   When the robot force sensor 103 detects the force F in S206, the robot hand 102 starts to be released in S205. Then, as a matter of course, the friction force caused by the contact between the gripped article and the robot hand 102 is weakened. The gripping force continues to weaken as it is, and when the force weakens to some extent, the gravity applied to the article 501 exceeds the frictional force, and the article 501 slides the robot hand 102 and starts to fall in the vertical direction. In this state, that is, after starting to weaken the gripping force of the robot hand 102, if the force sensor 103 further detects a downward force, it is determined that the force applied to the article 501 is due to gravity, and the process proceeds to S207. Otherwise, the process ends.

S207にて、把持力制御手段108は、物品501を落とさないよう再度把持力を強化する把持力強化信号をロボットハンド102に出力する。   In step S <b> 207, the gripping force control unit 108 outputs a gripping force enhancement signal that strengthens the gripping force again so as not to drop the article 501 to the robot hand 102.

以上のように、物品501の移動状態を用いることによりロボットハンド102の制御を行うことができる。   As described above, the robot hand 102 can be controlled by using the moving state of the article 501.

次に、把持物外力推定手段114において行われる識別処理、即ちロボットが把持している物品501に外力が作用した場合に、外力が、人によって物品501を持ち取られようとして生じた力か、それ以外の力なのかを識別する処理について説明する。   Next, in the identification processing performed in the gripping object external force estimation means 114, that is, when an external force is applied to the article 501 held by the robot, the external force is a force generated when a person tries to take the article 501. Processing for identifying whether the force is other than that will be described.

まず、ロボットの力センサ103が、外部からの力Fを検出した時に、その外部からの力Fとは反対の方向の力を少しかけて、それに対する反応力が検出された場合は、外部からの力が人間によるものと判断し、前述の物理法則を利用せずに、人間同士が物品を手渡しするときの自然な反応に倣ったものとして処理する。即ち、人間は目の見えない状態で人間へ物品を渡そうとするときに、典型的には一度手元に弱く引っ張り戻すようにし、その反応力の有無により渡す相手が確実に物品を掴んだことを確認するが、これと同じ処理をロボットに行わせる。ここで、反対の方向の力とは、方向が完全に反対方向である必要はなく、反対方向の成分を有する力であればよい。   First, when the force sensor 103 of the robot detects an external force F, it applies a little force in the direction opposite to the external force F, and when a reaction force is detected, It is determined that the force of the human being is due to human beings, and without using the above-mentioned physical laws, it is processed as if the human beings were imitating a natural reaction when handing goods to each other. In other words, when a person tries to deliver an article to a person in an unseen state, typically, the article is pulled back weakly to the hand, and the person to whom it is handed is surely grasped by the presence or absence of the reaction force. Confirm that the robot performs the same process. Here, the force in the opposite direction does not need to be completely in the opposite direction, and may be a force having a component in the opposite direction.

図7は、本実施の形態による外部からの反応力を用いたロボット把持制御装置の処理の流れを示したフローチャートである。S301からS304までの処理は図6のフローチャートのS201からS204の処理と同じなので説明を省略する。   FIG. 7 is a flowchart showing a processing flow of the robot gripping control apparatus using the reaction force from the outside according to the present embodiment. The processing from S301 to S304 is the same as the processing from S201 to S204 in the flowchart of FIG.

S305にて、S304の処理でロボットの力センサ103が外部からの反応力を検出すると、力センサ103で受けた力Fとは異なる力を掛けるようにロボットアーム101を制御する。ここで、異なる力としては、典型的には受けた力と反対方向の反力が使われる。ここで、反対の方向とは、完全に方向が反対方向である必要はない。   In S305, when the robot force sensor 103 detects a reaction force from the outside in the process of S304, the robot arm 101 is controlled to apply a force different from the force F received by the force sensor 103. Here, as the different force, a reaction force opposite to the received force is typically used. Here, the opposite direction is not necessarily the opposite direction.

S306にて、S305の処理に対して、力センサ103がロボットアーム101にかけた力Fに対しての反力を検出したかどうかを重力補償手段104で計算する。   In S306, the gravity compensation means 104 calculates whether or not the force sensor 103 has detected a reaction force against the force F applied to the robot arm 101 in the process of S305.

S307にて、S306の処理でロボットアーム101が意図的にかけた力に対しての反力が検出されたら、外部からロボットハンド102が把持している物品501を掴み取
ろうとしていると判断し、S309の処理に移る。一方、S307で反力が検出されなかった場合は、S308で、S306の処理においてロボットアーム101が意図的にかけた力をただちに抜いて処理を終了する。
In S307, if a reaction force against the force intentionally applied by the robot arm 101 is detected in the process of S306, it is determined that the article 501 held by the robot hand 102 is being grasped from the outside. The process proceeds to S309. On the other hand, when the reaction force is not detected in S307, the force intentionally applied by the robot arm 101 in the process of S306 is immediately removed in S308, and the process is terminated.

S309にて、重力補償手段104は、把持力制御手段108に把持力緩和の信号を送出する。把持力制御手段108は前記信号を受けると、まずアラーム手段110にアラームを行うように信号を送り、これを受けてアラーム手段110は、音声や文字表示などを用いて「手を放します」等のアラームを発する。続いてロボットハンド102の把持力を緩和させ、処理を終了する。   In step S <b> 309, the gravity compensation unit 104 sends a gripping force relaxation signal to the gripping force control unit 108. When the gripping force control means 108 receives the signal, it first sends a signal to the alarm means 110 so as to make an alarm, and the alarm means 110 receives the signal and uses a voice or character display to “release the hand” or the like. Raise the alarm. Subsequently, the gripping force of the robot hand 102 is relaxed, and the process is terminated.

実際にロボットが動作しているときは、図6、図7のフローチャートの処理は一度行ったら済むというものではなく、決められた単位時間毎に常に処理される。なぜなら、把持した物品501をいつの時点で持ち取られるかはロボットにとって不明だからである。単位時間は、本処理を導入されたロボットが、どのような状況で使われるかに依存するので状況に応じて決めればよい。例えば、人間とのコミュニケーション用に作られたロボットであれば、ロボットの把持している物品を人間が持ち取ることを想定している場合、単位時間は、少なくとも人間が物品を掴んで引っ張り始めるのに要する時間よりも、短い時間にしなくてはならないことは明らかである。   When the robot is actually operating, the processes in the flowcharts of FIGS. 6 and 7 are not necessarily performed once, but are always performed at predetermined unit times. This is because it is unknown to the robot when the grasped article 501 can be taken. The unit time depends on the situation in which the robot into which this processing has been introduced is used, and may be determined according to the situation. For example, if a robot is designed for communication with a human being, it is assumed that the human being will take the article that the robot is holding. Obviously, the time must be shorter than the time required for.

以上から本実施の形態のように、ロボットハンド102が物品501を把持し、力センサ103により検知されたロボットハンド102に作用する力が変化した場合に、把持力制御手段108から出力される把持力緩和信号により、ロボットハンド102が把持力を緩めた後に、物品501の落下運動により生じる重力方向の動摩擦力を力センサ103が検知した場合は把持力を強化する。
一方、ロボットハンド102が取り付けられている複数の関節を含むロボットアーム101は、ロボットハンド102に作用する力が変化した場合に、作用する力の方向とは異なる少なくとも1つの方向に力を加え、ロボットハンド102は、ロボットアーム101が少なくとも1つの方向に移動した後に、力センサ103が反力を検知した場合に、把持している物品501を人間が掴んで持ち取ろうとしていると判断し、把持力を緩めるというように動作させる。したがって、ロボットハンド102が把持している物品501を人間が掴んで持ち取ろうとした場合に、その人間の操作を理解し、把持力を強めて物品を握り潰してしまうことなく、人間が人間に物を手渡すがごとく、把持力を緩める制御を実現することができる。
As described above, when the robot hand 102 grips the article 501 and the force acting on the robot hand 102 detected by the force sensor 103 changes as in the present embodiment, the gripping force output from the gripping force control means 108 is output. If the force sensor 103 detects a dynamic friction force in the direction of gravity generated by the drop motion of the article 501 after the robot hand 102 relaxes the gripping force by the force relaxation signal, the gripping force is strengthened.
On the other hand, the robot arm 101 including a plurality of joints to which the robot hand 102 is attached applies a force in at least one direction different from the direction of the acting force when the force acting on the robot hand 102 changes, The robot hand 102 determines that a human is about to grab and hold the article 501 held when the force sensor 103 detects a reaction force after the robot arm 101 moves in at least one direction. Operate to loosen the gripping force. Therefore, when a person tries to grab and hold the article 501 held by the robot hand 102, the person understands the operation of the person, strengthens the gripping force, and does not crush the article. As with handing over an object, it is possible to realize control that loosens the gripping force.

(実施の形態2)
本発明の実施の形態2は、ロボットアーム101の関節に関節角センサ112を設置し、そして人がこれから把持物品を取る旨をロボットに伝えると、ロボットはロボットアーム101を制御する力を、重力などの物理力では動かず、しかも外部からの力が掛かると自由に動く程度にまで緩め、外部から把持物品が引っ張られた場合に、それにつられてロボットの関節が動いたことを検出し、把持を解放するものである。以下図8を用いて、実施の形態2について説明する。
(Embodiment 2)
In the second embodiment of the present invention, when the joint angle sensor 112 is installed at the joint of the robot arm 101, and the person tells the robot that he / she will take a gripped article, the robot controls the force to control the robot arm 101 by gravity. When the gripping article is pulled from the outside, it is detected that the robot's joint has moved and gripped. Is to release. Hereinafter, the second embodiment will be described with reference to FIG.

図8は、実施の形態2によるロボット把持制御装置の処理の流れを示したフローチャートである。   FIG. 8 is a flowchart showing a process flow of the robot gripping control apparatus according to the second embodiment.

S401にて、ロボットによる物品の把持の有無を、物品把持判断手段106によって判断する。もし物品を把持していなければロボットハンド102の解放の制御は不要なので直ちに処理を終了する。ロボットハンド102で物品を把持している場合はS402の処理に進む。   In step S401, the article gripping determination unit 106 determines whether or not the article is gripped by the robot. If the article is not gripped, the control of releasing the robot hand 102 is unnecessary, and the process is immediately terminated. If the robot hand 102 is holding an article, the process proceeds to S402.

S402にて、ロボットハンド102を解放させるための外部からの指示の有無を解放指示認識手段109が判断し、もしロボットハンド102解放の指示があれば、アーム制御手段111及び把持力制御手段108に、解放指示信号を送る。一方、もしロボットハンド102解放の指示がなければ直ちに処理を終了する。   In S402, the release instruction recognition unit 109 determines whether or not there is an external instruction for releasing the robot hand 102. If there is an instruction to release the robot hand 102, the arm control unit 111 and the gripping force control unit 108 are notified. , Send a release instruction signal. On the other hand, if there is no instruction to release the robot hand 102, the process is immediately terminated.

S403にて、アーム制御手段111は、解放指示認識手段109から解放指示信号を受信すると、関節を構成するサーボモータの剛性を下げ、人が持ち取る際に、ロボットアーム101の手先が容易に移動するようにする。アーム制御手段111は、サーボモータの剛性を低下させた後、アラーム手段110にその旨を知らせる情報を送信する。アラーム手段110は、その情報を受けて、ロボットアーム101の剛性が弱まったことを意味する「腕の力を抜きました」等のアラームを、音声や文字表示などを用いて発する。   In S403, when the arm control unit 111 receives the release instruction signal from the release instruction recognition unit 109, the arm control unit 111 reduces the rigidity of the servo motor that constitutes the joint, and the hand of the robot arm 101 easily moves when the person carries it. To do. After the arm control means 111 reduces the rigidity of the servo motor, the arm control means 111 transmits information notifying the alarm means 110 to that effect. In response to the information, the alarm means 110 issues an alarm such as “I removed the arm's power”, which means that the rigidity of the robot arm 101 has been weakened, using voice or character display.

S404にて、センサ値変量測定手段105が、関節角センサ112の測定値を観測し、手先位置の目標値とのずれを検知すれば、人が把持部品を持ち取ったことを検知することができるため、ロボットアーム101の関節角センサ112の変化量が閾値以上である場合は、その情報を把持解放判断手段107に送りS405の処理に進む。S404で前記変化量が閾値未満の場合はS406に進み、S403の処理でロボットアームサーボ剛性を低下してからの経過時間を見て、一定時間が経過しているかどうかを判断する。もし一定時間が経過していればS407に進み、ロボットアームサーボ剛性をもとに戻すためのアラームをアラーム手段110にて行い、続いてロボットアームサーボ剛性を低下させる前の状態に戻して処理を終了する。一定時間が経過していなければ、S404の最初に戻って処理を繰り返す。   In S404, if the sensor value variable measuring means 105 observes the measurement value of the joint angle sensor 112 and detects a deviation from the target value of the hand position, it can detect that the person has held the gripped part. Therefore, if the change amount of the joint angle sensor 112 of the robot arm 101 is equal to or greater than the threshold value, the information is sent to the grip release determination means 107 and the process proceeds to S405. If the amount of change is less than the threshold value in S404, the process proceeds to S406, and it is determined whether or not a certain time has elapsed by looking at the elapsed time since the robot arm servo rigidity was reduced in the process of S403. If the predetermined time has elapsed, the process proceeds to S407, where an alarm for returning the robot arm servo rigidity is performed by the alarm means 110, and then the state before the robot arm servo rigidity is lowered is returned to the process. finish. If the predetermined time has not elapsed, the process returns to the beginning of S404 and is repeated.

S404の処理で関節角センサ112の変化量が閾値以上であるとの情報を把持解放判断手段107が受信した場合はS405に進み、把持力制御手段108に把持力の緩和を指示する信号である把持力緩和信号を送出する。把持力制御手段108は、把持解放判断手段107からの把持力緩和の信号を受けると、まずアラーム手段110にアラームを行うように信号を送り、これを受けてアラーム手段110は「手を放します」等のアラームを発する。続いてロボットハンド102の把持力を緩和させ、処理を終了する。   When the grip release determination unit 107 receives information that the change amount of the joint angle sensor 112 is equal to or greater than the threshold value in the process of S404, the process proceeds to S405, and is a signal that instructs the grip force control unit 108 to relax the grip force. Sends a grip force relaxation signal. When the gripping force control unit 108 receives the gripping force relaxation signal from the gripping release determination unit 107, the gripping force control unit 108 first sends a signal to the alarm unit 110 so as to give an alarm. ”Etc. Subsequently, the gripping force of the robot hand 102 is relaxed, and the process is terminated.

実施の形態2においても、実施の形態1と同様に、実際にロボットが動作しているときは、図8のフローチャートの処理は一度行ったら済むというものではなく、決められた単位時間毎に常に処理される。   Also in the second embodiment, as in the first embodiment, when the robot is actually operating, the processing of the flowchart of FIG. 8 is not limited to once, but is always performed at a determined unit time. It is processed.

実施の形態2においては、ロボットアーム101の関節に関節角センサ112を設置し、そして人がこれから把持物品を取る旨をロボットに伝えると、ロボットはロボットアーム101を制御する力を、重力などの物理力では動かず、しかも外部からの力が掛かると自由に動く程度にまで緩め、外部から把持物品が引っ張られた場合に、それにつられてロボットの関節が動いたことを検出し、把持を解放する。   In the second embodiment, when the joint angle sensor 112 is installed at the joint of the robot arm 101, and the person tells the robot that he will take a gripped article, the robot uses a force such as gravity to control the robot arm 101. It does not move with physical force, and loosens to the extent that it can move freely when external force is applied. When the gripping article is pulled from the outside, it detects that the robot's joint has moved and releases the grip. To do.

これによりロボットがロボットハンド102で把持している物品を人間が掴んで持ち取ろうとした場合に、その人間の操作を理解し、把持力を強めて物品を握り潰してしまうことなく、人間が人間に物を手渡すがごとく、把持力を緩める制御を実現することが可能となる。   As a result, when a person tries to grab and hold an article that the robot is holding with the robot hand 102, the person understands the operation of the person, strengthens the gripping force, and does not crush the article. Thus, it is possible to realize a control that loosens the gripping force as if the object is handed over to the vehicle.

(実施の形態3)
実施の形態3は、本発明のロボット把持制御装置を、人間型ロボット以外に適応したものである。
(Embodiment 3)
In the third embodiment, the robot grip control device of the present invention is adapted to other than a humanoid robot.

本実施の形態は、実施の形態1及び2に示した1本のアームと車輪による移動機構とを
持つロボット以外に、実施の形態1及び2に記載した把持手段113を構成要素としてもつロボットであれば、どのような態様のロボットに対しても応用可能である。例えば、2腕2脚を備えた人間型ロボットや、アームとハンドだけからなる腕型のロボットにも適用可能である。更には、人間型に限らず動物型ロボットにも適用することができる。
The present embodiment is a robot having the gripping means 113 described in the first and second embodiments as a component in addition to the robot having one arm and a wheel moving mechanism described in the first and second embodiments. If it exists, it can be applied to any kind of robot. For example, the present invention can be applied to a humanoid robot having two arms and two legs, or an arm type robot including only an arm and a hand. Furthermore, the present invention can be applied not only to a human type but also to an animal type robot.

図9は、ハンドやアームを持たない動物型のロボットに対応したものである。ロボットハンド901は物品904を把持するものであり、動物型ロボット903の口部に相当する。ロボットアーム902は、ロボットハンド901を移動させるものであり、動物型ロボット903の首部に相当する。   FIG. 9 corresponds to an animal type robot having no hand or arm. The robot hand 901 holds the article 904 and corresponds to the mouth of the animal type robot 903. The robot arm 902 moves the robot hand 901 and corresponds to the neck of the animal type robot 903.

なお、図9に図示していないが、図1におけるロボットアーム101と同様に、ロボットアーム902にはアーム制御手段111及び関節角センサ112が設置され、ロボットハンド901には力センサ103が設置されている。   Although not shown in FIG. 9, similarly to the robot arm 101 in FIG. 1, the arm control unit 111 and the joint angle sensor 112 are installed in the robot arm 902, and the force sensor 103 is installed in the robot hand 901. ing.

同様に、図9に図示していないが、図1における重力補償手段104、センサ値変量測定手段105、物品把持判断手段106、把持解放判断手段107、把持力制御手段108、解放指示認識手段109及びアラーム手段110は、動物型ロボット903の頭部又は胴体部に配置されている。   Similarly, although not shown in FIG. 9, the gravity compensation means 104, sensor value variable measurement means 105, article gripping determination means 106, grip release determination means 107, grip force control means 108, release instruction recognition means 109 in FIG. The alarm means 110 is disposed on the head or torso of the animal robot 903.

ロボットアーム902、アーム制御手段111、関節角センサ112、ロボットハンド901、力センサ103、重力補償手段104、センサ値変量測定手段105、物品把持判断手段106、把持解放判断手段107、把持力制御手段108、解放指示認識手段109及びアラーム手段110の構成および動作は、実施の形態1及び実施の形態2と同様であるため、ここでの説明は省略する。   Robot arm 902, arm control means 111, joint angle sensor 112, robot hand 901, force sensor 103, gravity compensation means 104, sensor value variable measurement means 105, article gripping judgment means 106, grip release judgment means 107, gripping force control means Since the configurations and operations of the release instruction recognition unit 109 and the alarm unit 110 are the same as those in the first and second embodiments, description thereof is omitted here.

本発明にかかるロボット把持制御装置及びロボット把持制御方法は、工場での自動製品組み立てラインにおける部品の把持運搬、自動化された倉庫での在庫品の運搬・管理、危険な場所における作業用ロボットなどの産業用のロボットや、人間と共存しながら人間の生活を支援する家事ロボット、ペット用ロボットなどの各種のヒューマノイド型ロボットに有用である。   The robot gripping control device and the robot gripping control method according to the present invention include parts gripping and transporting in an automatic product assembly line in a factory, transporting and managing inventory items in an automated warehouse, a working robot in a dangerous place, etc. It is useful for various humanoid robots such as industrial robots, domestic robots that support human life while coexisting with humans, and pet robots.

本発明の実施の形態1によるロボット把持制御装置の構成を示すブロック図1 is a block diagram showing a configuration of a robot grip control device according to a first embodiment of the present invention. 本発明の実施の形態1による重力補償手段にて物体に及ぼす外力を算出する方法を示す概念図Conceptual diagram showing a method for calculating an external force exerted on an object by the gravity compensation means according to the first embodiment of the present invention. 本発明の実施の形態1によるメモリの内容を示す図The figure which shows the content of the memory by Embodiment 1 of this invention (a)、(b)本発明の実施の形態1によるロボットハンドに配設したセンサを示す平面の断面図(A), (b) Plane sectional view showing a sensor disposed in the robot hand according to the first embodiment of the present invention. (a)本発明の実施の形態1による物品を把持したロボット把持制御装置が壁に接触している状態を示す斜視図(b)本発明の実施の形態1による物品を把持したロボット把持制御装置の一部の平面図(A) The perspective view which shows the state which the robot grip control apparatus which hold | gripped the articles | goods by Embodiment 1 of this invention is contacting the wall (b) The robot grip control apparatus which hold | gripped the articles | goods by Embodiment 1 of this invention Top view of part of 本発明の実施の形態1によるロボット把持制御装置の処理を示したフローチャートThe flowchart which showed the process of the robot holding | grip control apparatus by Embodiment 1 of this invention 本発明の実施の形態1によるロボット把持制御装置の処理を示したフローチャートThe flowchart which showed the process of the robot holding | grip control apparatus by Embodiment 1 of this invention 本発明の実施の形態2によるロボット把持制御装置の処理を示したフローチャートThe flowchart which showed the process of the robot holding | grip control apparatus by Embodiment 2 of this invention 本発明の実施の形態3によるロボット把持制御装置の構成を示す側面図The side view which shows the structure of the robot holding | grip control apparatus by Embodiment 3 of this invention.

符号の説明Explanation of symbols

101、902 ロボットアーム
102、901 ロボットハンド
103 力センサ
104 重力補償手段
105 センサ値変量測定手段
106 物品把持判断手段
107 把持解放判断手段
108 把持力制御手段
109 解放指示認識手段
110 アラーム手段
111 アーム制御手段
112 関節角センサ
113 把持手段
114 把持物外力推定手段
401 圧覚センサ
402 発光素子
403 受光素子
501、904 物品
502 壁
903 動物型ロボット



DESCRIPTION OF SYMBOLS 101,902 Robot arm 102,901 Robot hand 103 Force sensor 104 Gravity compensation means 105 Sensor value variable measurement means 106 Article gripping judgment means 107 Grip release judgment means 108 Grip force control means 109 Release instruction recognition means 110 Alarm means 111 Arm control means DESCRIPTION OF SYMBOLS 112 Joint angle sensor 113 Grasping means 114 Grasping object external force estimation means 401 Pressure sensor 402 Light emitting element 403 Light receiving element 501, 904 Article 502 Wall 903 Animal type robot



Claims (7)

物品を把持し、把持物に作用する外力の変化値を検出する把持手段と、
前記外力の変化値が予め定めた閾値以上である場合に、前記外力の変化値の要因を推定する把持物外力推定手段と、
前記推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する把持力制御手段とを備え、
前記把持物外力推定手段は、外力の変化値が予め定めた閾値以上である場合に、把持物の解放要求であると推定し、
更に、前記把持物外力推定手段は、把持手段が前記把持物を解放した後に、前記把持物の落下運動により生じる重力方向の動摩擦力を検知した場合に、前記把持物の受け渡しではないと推定するロボット把持制御装置。
Gripping means for gripping an article and detecting a change value of an external force acting on the gripped object;
When the change value of the external force is greater than or equal to a predetermined threshold value, a gripping object external force estimation unit that estimates a factor of the change value of the external force;
A gripping force control means for outputting a gripping force relaxation signal for relaxing the gripping force of the gripping means based on the estimation result or a gripping force enhancement signal for strengthening the gripping force of the gripping means,
The gripping object external force estimation means estimates that it is a release request for the gripping object when the change value of the external force is equal to or greater than a predetermined threshold value,
Furthermore, the holding object external force estimating means, estimates after the gripping means releases the previous SL grasped, when detecting the dynamic friction force in the direction of gravity caused by the falling motion of said grasped, not the delivery of the grasped Carlo bot grip controller.
物品を把持し、把持物に作用する外力の変化値を検出する把持手段と、
前記外力の変化値が予め定めた閾値以上である場合に、前記外力の変化値の要因を推定する把持物外力推定手段と、
前記推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する把持力制御手段とを備え、
前記把持物外力推定手段は、外力の変化値が予め定めた閾値以上であり、前記外力の作用する方向とは異なる少なくとも1つの方向に把持手段を移動させ、前記把持手段が反力を検知した場合に、前記把持物の受け渡しであると推定するロボット把持制御装置。
Gripping means for gripping an article and detecting a change value of an external force acting on the gripped object;
When the change value of the external force is greater than or equal to a predetermined threshold value, a gripping object external force estimation unit that estimates a factor of the change value of the external force;
A gripping force control means for outputting a gripping force relaxation signal for relaxing the gripping force of the gripping means based on the estimation result or a gripping force enhancement signal for strengthening the gripping force of the gripping means,
The gripping object external force estimation means has a change value of an external force equal to or greater than a predetermined threshold, moves the gripping means in at least one direction different from the direction in which the external force acts, and the gripping means detects a reaction force. case, the transfer is of grasped and estimated to Carlo bot gripping controller.
物品を把持し、把持物に作用する外力の変化値を検出する把持手段と、
前記外力の変化値が予め定めた閾値以上である場合に、前記外力の変化値の要因を推定する把持物外力推定手段と、
前記推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する把持力制御手段とを備え、
前記把持手段は、物品を把持するロボットハンドと、把持物に作用する外力の変化値を検知する力センサとを含む構成であり、
前記把持物外力推定手段が把持物の解放要求を推定した場合に、把持力制御手段が把持力緩和信号を前記ロボットハンドに出力して前記ロボットハンドの把持力を緩め、
前記把持物外力推定手段が把持物の受け渡しでないと推定した場合に、前記把持力制御手段が前記把持力を強化する把持力強化信号を前記ロボットハンドに出力するロボット把持制御装置。
Gripping means for gripping an article and detecting a change value of an external force acting on the gripped object;
When the change value of the external force is greater than or equal to a predetermined threshold value, a gripping object external force estimation unit that estimates a factor of the change value of the external force;
A gripping force control means for outputting a gripping force relaxation signal for relaxing the gripping force of the gripping means based on the estimation result or a gripping force enhancement signal for strengthening the gripping force of the gripping means,
The gripping means includes a robot hand that grips an article, and a force sensor that detects a change value of an external force acting on a gripped object,
Wherein when grasped external force estimation means has estimated the release request bunch personal effects, gripping force control means outputs a gripping force relaxation signals to the robot hand loosening the gripping force of the robot hand,
The grasped external force when the estimating means has estimated that a delivery of the bunch personal effects, the gripping force control means outputs to Carlo bot gripping controller gripping forces strengthen signal to the robot hand to enhance the grip.
物品を把持し、把持物に作用する外力の変化値を検出する把持手段と、
前記外力の変化値が予め定めた閾値以上である場合に、前記外力の変化値の要因を推定する把持物外力推定手段と、
前記推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する把持力制御手段とを備え、
前記把持手段は、物品を把持するロボットハンドと、外力の変化値を検知する力センサと、前記ロボットハンドが取り付けられたロボットアームと、前記ロボットアームの動作を制御するアーム制御手段とを含み、
前記アーム制御手段は、前記ロボットハンドに作用する外力の変化値が予め定めた閾値以上である場合に、前記外力の作用する方向とは異なる少なくとも1つの方向に前記ロボットアームを移動させ、
把持力制御手段は、前記ロボットアームが移動した後に、前記力センサが反力を検知し、更に、把持物外力推定手段が、前記把持物の受け渡しであると推定した場合には、把持力緩和信号をロボットハンドに出力するロボット把持制御装置。
Gripping means for gripping an article and detecting a change value of an external force acting on the gripped object;
When the change value of the external force is greater than or equal to a predetermined threshold value, a gripping object external force estimation unit that estimates a factor of the change value of the external force;
A gripping force control means for outputting a gripping force relaxation signal for relaxing the gripping force of the gripping means based on the estimation result or a gripping force enhancement signal for strengthening the gripping force of the gripping means,
The gripping means includes a robot hand for gripping an article, a force sensor for detecting a change value of an external force, a robot arm to which the robot hand is attached, and an arm control means for controlling the operation of the robot arm,
The arm control means moves the robot arm in at least one direction different from the direction in which the external force acts when the change value of the external force acting on the robot hand is greater than or equal to a predetermined threshold value.
The gripping force control means reduces the gripping force when the force sensor detects a reaction force after the robot arm moves, and the gripping object external force estimation means estimates that the gripping object is delivered. Carlo bot gripping controller to output the signal to the robot hand.
物品を把持する把持手段の把持物に作用する外力の変化値を検出する第1のステップと、
前記外力の変化値が予め定めた閾値と比較する第2のステップと、
前記外力の変化値が前記閾値以上である場合に、前記外力の変化値の要因を推定する第3のステップと、
前記第3のステップの推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する第4のステップとを含み、
前記第3のステップは、外力の変化値が予め定めた閾値以上である場合に、把持物の解放要求であると推定し、更に、把持手段が前記把持物を解放した後に、前記把持物の落下運動により生じる重力方向の動摩擦力を検知した場合には、前記把持物の受け渡しではないと推定し、
前記第4のステップは、把持手段の把持力を強化させる把持力強化信号を出力するロボット把持制御方法。
A first step of detecting a change value of an external force acting on a grasped object of a grasping means for grasping an article;
A second step of comparing the change value of the external force with a predetermined threshold;
A third step of estimating a factor of the change value of the external force when the change value of the external force is equal to or greater than the threshold;
A fourth step of outputting a gripping force relaxation signal for relaxing the gripping force of the gripping means or a gripping force strengthening signal for strengthening the gripping force of the gripping means based on the estimation result of the third step,
In the third step, when the change value of the external force is greater than or equal to a predetermined threshold value, it is estimated that the grasped object is released, and after the grasping means releases the grasped object, the grasping object is released. When detecting the dynamic frictional force in the direction of gravity caused by the falling motion, it is estimated that the gripped object is not delivered,
The fourth step, Carlo Bot gripping control method to output the gripping force reinforcing signal for reinforcing the gripping force of the gripping means.
物品を把持する把持手段の把持物に作用する外力の変化値を検出する第1のステップと、
前記外力の変化値が予め定めた閾値と比較する第2のステップと、
前記外力の変化値が前記閾値以上である場合に、前記外力の変化値の要因を推定する第3のステップと、
前記第3のステップの推定結果により前記把持手段の把持力を緩和させる把持力緩和信号又は前記把持手段の前記把持力を強化する把持力強化信号を出力する第4のステップとを含み、
前記第3のステップは、外力の変化値が予め定めた閾値以上であり、前記外力の作用する方向とは異なる少なくとも1つの方向に把持手段を移動させ、前記把持手段が反力を検知した場合には、前記把持物の受け渡しであると推定し、
前記第4のステップは、把持力を緩和する把持力緩和信号を前記把持手段に出力するロボット把持制御方法。
A first step of detecting a change value of an external force acting on a grasped object of a grasping means for grasping an article;
A second step of comparing the change value of the external force with a predetermined threshold;
A third step of estimating a factor of the change value of the external force when the change value of the external force is equal to or greater than the threshold;
A fourth step of outputting a gripping force relaxation signal for relaxing the gripping force of the gripping means or a gripping force strengthening signal for strengthening the gripping force of the gripping means based on the estimation result of the third step,
In the third step, the change value of the external force is equal to or greater than a predetermined threshold value, the gripping means is moved in at least one direction different from the direction in which the external force acts, and the gripping means detects the reaction force Is estimated to be the delivery of the gripped object,
The fourth step, Carlo Bot gripping control method to output the gripping force relaxation signals to mitigate the gripping force to the gripping means.
物品を把持するロボットハンドに設置された力センサが把持物に作用する外力の変化値を検出する第1のステップと、
前記外力の変化値が予め定めた閾値と比較する第2のステップと、
前記外力の変化値が前記閾値以上である場合に、前記外力の変化値の要因を推定する第3のステップと、
前記ロボットハンドに作用する外力の変化値が予め定めた閾値以上である場合に、前記外力の作用する方向とは異なる少なくとも1つの方向に、前記ロボットハンドが取り付けられたロボットアームを移動させる第4のステップと、
前記ロボットアームが移動した後に、前記力センサが反力を検知した場合に、把持物の受け渡しであると推定する第5のステップと、
前記第5のステップの推定結果が把持物の受け渡しである場合に、把持力緩和信号を前記ロボットハンドに出力する第6のステップとを有するロボット把持制御方法。
A first step of detecting a change value of an external force acting on a grasped object by a force sensor installed in a robot hand that grasps an article;
A second step of comparing the change value of the external force with a predetermined threshold;
A third step of estimating a factor of the change value of the external force when the change value of the external force is equal to or greater than the threshold;
When the change value of the external force acting on the robot hand is greater than or equal to a predetermined threshold value, a fourth robot arm that moves the robot arm to which the robot hand is attached is moved in at least one direction different from the direction in which the external force acts. And the steps
A fifth step of estimating that the gripping object is delivered when the force sensor detects a reaction force after the robot arm has moved; and
A robot gripping control method comprising: a sixth step of outputting a gripping force relaxation signal to the robot hand when the estimation result of the fifth step is delivery of a gripped object.
JP2003353467A 2002-10-29 2003-10-14 Robot grip control device and robot grip control method Expired - Fee Related JP4228871B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003353467A JP4228871B2 (en) 2002-10-29 2003-10-14 Robot grip control device and robot grip control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002313915 2002-10-29
JP2003353467A JP4228871B2 (en) 2002-10-29 2003-10-14 Robot grip control device and robot grip control method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008137594A Division JP4683073B2 (en) 2002-10-29 2008-05-27 Robot grip control device and robot grip control method

Publications (3)

Publication Number Publication Date
JP2004167674A JP2004167674A (en) 2004-06-17
JP2004167674A5 JP2004167674A5 (en) 2006-10-05
JP4228871B2 true JP4228871B2 (en) 2009-02-25

Family

ID=32715749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003353467A Expired - Fee Related JP4228871B2 (en) 2002-10-29 2003-10-14 Robot grip control device and robot grip control method

Country Status (1)

Country Link
JP (1) JP4228871B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102773865A (en) * 2011-05-10 2012-11-14 精工爱普生株式会社 Robot hand and robot

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006159399A (en) * 2004-11-12 2006-06-22 Yaskawa Electric Corp Working mobile robot
JP4317518B2 (en) 2004-12-14 2009-08-19 本田技研工業株式会社 Goods transport system
JP4456560B2 (en) 2005-12-12 2010-04-28 本田技研工業株式会社 Legged mobile robot control device, legged mobile robot, and legged mobile robot control method
US8676379B2 (en) 2006-07-04 2014-03-18 Panasonic Corporation Device and method for controlling robot arm, robot, and robot arm control program
JP4981472B2 (en) * 2007-02-14 2012-07-18 キヤノン株式会社 Optical fringe generating member control apparatus and method
KR101687626B1 (en) * 2010-01-06 2016-12-21 삼성전자주식회사 Robot and Control Method Thereof
WO2013038998A1 (en) * 2011-09-13 2013-03-21 株式会社安川電機 Self-propelled robot and self-propelled truck
JP5829103B2 (en) * 2011-11-04 2015-12-09 本田技研工業株式会社 Robot hand
JP6212086B2 (en) 2015-08-31 2017-10-11 ファナック株式会社 Injection molding system
JP6700726B2 (en) * 2015-11-06 2020-05-27 キヤノン株式会社 Robot controller, robot control method, robot control system, and computer program
JP6958091B2 (en) * 2017-08-08 2021-11-02 セイコーエプソン株式会社 Robot system and robot control method
US20220274262A1 (en) * 2019-07-23 2022-09-01 Sony Group Corporation Control device, control method, and control program
JP7458818B2 (en) * 2020-02-21 2024-04-01 キヤノン株式会社 Robot device, interface device, control device, end effector, control method, method for manufacturing articles using robot device, program, and recording medium
CN113733146B (en) * 2021-08-11 2024-02-27 埃华路(芜湖)机器人工程有限公司 Tool number detection method for gun changing disc of robot
CN115510727B (en) * 2022-11-15 2023-03-24 佛山科学技术学院 Calculation and control method for stable gripping force threshold of gripping mechanism

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102773865A (en) * 2011-05-10 2012-11-14 精工爱普生株式会社 Robot hand and robot
CN102773865B (en) * 2011-05-10 2015-11-18 精工爱普生株式会社 Manipulator and robot

Also Published As

Publication number Publication date
JP2004167674A (en) 2004-06-17

Similar Documents

Publication Publication Date Title
JP4683073B2 (en) Robot grip control device and robot grip control method
JP4228871B2 (en) Robot grip control device and robot grip control method
JP4756618B2 (en) Collision detection / stop control method for articulated robots
KR101741844B1 (en) Gripping judgment apparatus and gripping judgment method
JP6238021B2 (en) ROBOT, ROBOT CONTROL DEVICE AND CONTROL METHOD, AND ROBOT CONTROL PROGRAM
US10464210B2 (en) Method and device for open-loop/closed-loop control of a robot manipulator
JP6577326B2 (en) Robot control apparatus, robot system, and method for controlling robot that carries objects in cooperation with human
US8483877B2 (en) Workspace safe operation of a force- or impedance-controlled robot
JP5846479B2 (en) Robot and its control method
JP4490997B2 (en) Mobile robot
US20150367510A1 (en) Multi-joint robot having function for repositioning arm
JP7225563B2 (en) ROBOT, CONTROL DEVICE, AND ROBOT CONTROL METHOD
US20220398454A1 (en) Method and system for detecting collision of robot manipulator using artificial neural network
KR101323217B1 (en) Grasping force control system and method for a robotic hand
JP7136729B2 (en) Apparatus, method, program, controller and robot system for estimating load weight and center-of-gravity position using a robot
JP2019188514A (en) Device, method, and program for estimating weight and centroid position of load using robot
JP2009285824A (en) Device and method for controlling robot manipulator
JP2005219161A (en) Robot grip control device and robot grip control system
JP2004167674A5 (en)
Al-Mohammed et al. A switched adaptive controller for robotic gripping of novel objects with minimal force
Mellmann et al. Dynamic motion control: Adaptive bimanual grasping for a humanoid robot
JPH10100089A (en) Grasp control method of articulated multi-finger hand and object grasping method
KR20120048107A (en) Motion control system and method for grasping object with dual arms of robot
JP4055703B2 (en) Robot hand device
KR102643316B1 (en) Detecting device and method for calculating amount of impact of robot manipulator

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060823

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081124

R151 Written notification of patent or utility model registration

Ref document number: 4228871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees