JP6811465B2 - Learning device, learning method, learning program, automatic control device, automatic control method and automatic control program - Google Patents
Learning device, learning method, learning program, automatic control device, automatic control method and automatic control program Download PDFInfo
- Publication number
- JP6811465B2 JP6811465B2 JP2019098109A JP2019098109A JP6811465B2 JP 6811465 B2 JP6811465 B2 JP 6811465B2 JP 2019098109 A JP2019098109 A JP 2019098109A JP 2019098109 A JP2019098109 A JP 2019098109A JP 6811465 B2 JP6811465 B2 JP 6811465B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- value
- target device
- state value
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013016 learning Effects 0.000 title claims description 246
- 238000000034 method Methods 0.000 title claims description 19
- 230000008569 process Effects 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 description 16
- 238000005303 weighing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000012636 effector Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Manufacturing & Machinery (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
本発明は、対象機器の制御のための学習モデルに学習させる学習装置、学習方法および学習プログラムならびに当該学習モデルを用いた自動制御装置、自動制御方法および自動制御プログラムに関する。 The present invention relates to a learning device, a learning method and a learning program for training a learning model for controlling a target device, and an automatic control device, an automatic control method and an automatic control program using the learning model.
本発明者らは、ディープラーニングを用いて、対象機器(例えばロボット)の動作の学習(自己組織化)を行うことを検討している。非特許文献1には、ロボットを直接教示して物体操作タスクを行わせ、画像、音声信号、モータの各モーダリティーを複数のDeep Autoencoderによって統合して学習させることで、運動パターンを自己組織化できたことが記載されている。
The present inventors are studying learning (self-organization) of the movement of a target device (for example, a robot) by using deep learning. In Non-Patent
本発明者らは、より高い精度で対象機器の動作の学習を行うことを検討している。本発明の一態様は、高い精度で対象機器の動作の学習を行うことができる学習装置、学習方法および学習プログラムを実現することを目的とする。 The present inventors are studying to learn the operation of the target device with higher accuracy. One aspect of the present invention is to realize a learning device, a learning method, and a learning program capable of learning the operation of a target device with high accuracy.
上記の課題を解決するために、本発明の一態様に係る学習装置は、動作中の対象機器の状態値および当該動作の計測値を経時的に取得して蓄積する蓄積部と、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習部と、を備え、前記教師データは、前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを含む。 In order to solve the above problems, the learning device according to one aspect of the present invention has a storage unit that acquires and accumulates the state value of the target device in operation and the measured value of the operation over time, and the storage unit in operation. At least the state value of the target device and the measured value of the operation are input, and the first learning model for predicting the future state value of the target device is provided with a learning unit for learning the teacher data. , The time series data of the state value and the measured value accumulated in the storage unit are included.
本発明の一態様に係る学習方法は、動作中の対象機器の状態値および当該動作の計測値を経時的に取得して蓄積する蓄積工程と、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習工程と、を含み、前記教師データは、前記蓄積工程で蓄積された前記状態値および前記計測値の時系列データを含む。 The learning method according to one aspect of the present invention includes a storage step of acquiring and accumulating the state value of the target device in operation and the measured value of the operation over time, and the state value of the target device in operation and the operation. The first learning model in which at least the measured value is input and predicts the future state value of the target device includes a learning step of learning the teacher data, and the teacher data is the said accumulated in the accumulation step. Includes time-series data of state values and the measured values.
本発明の一態様に係る自動制御装置は、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルと、少なくとも動作中の前記対象機器の状態値および当該動作の計測値を前記第1の学習モデルに入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御部と、を備え、前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習している。 The automatic control device according to one aspect of the present invention includes a first learning model in which at least the state value of the target device in operation and the measured value of the operation are input to predict the future state value of the target device, and at least. The state value of the target device during operation and the measured value of the operation are input to the first learning model, and the state value of the target device is brought closer to the future state value predicted by the first learning model. The first learning model includes an automatic control unit that controls the target device, and learns teacher data including time-series data of the state value and the measured value of the target device in the past.
本発明の一態様に係る自動制御方法は、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、少なくとも動作中の前記対象機器の状態値および当該動作の計測値を入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御工程を含み、前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習している。 In the automatic control method according to one aspect of the present invention, at least the state value of the target device in operation and the measured value of the operation are input, and at least in the first learning model for predicting the future state value of the target device. The state value of the target device during operation and the measured value of the operation are input, and the target device is controlled so that the state value of the target device approaches the future state value predicted by the first learning model. The first learning model includes an automatic control step, and learns teacher data including time-series data of the state value and the measured value of the target device in the past.
本発明の一態様によれば、高い精度で対象機器の動作の学習を行うことができる。 According to one aspect of the present invention, it is possible to learn the operation of the target device with high accuracy.
以下、本発明の一実施形態について、詳細に説明する。 Hereinafter, one embodiment of the present invention will be described in detail.
図1は、本発明の一実施形態に係る学習システム1の概略構成を示すブロック図である。学習システム1は、図1に示すように、マニピュレータ(対象機器)10、カメラ13、計測装置14、入力デバイス15、ディスプレイ(表示部)16、および、学習装置(自動制御装置)100を備えている。
FIG. 1 is a block diagram showing a schematic configuration of a
図2は、学習システム1の外観を模式的に示す図である。本実施形態において、マニピュレータ10には、エンドエフェクタとしてスプーン17が装着されており、塩2を秤量する動作を行う。例えば、容器3内の塩2を、設定された量だけ、容器4に移す動作を行う。なお、マニピュレータ10の動作は塩の秤量に限定されず、他の物体(粉体、液体)の秤量を行うようになっていてもよいし、エンドエフェクタを交換することによって他の動作が可能になるように構成されていてもよい。エンドエフェクタは、スプーン、ハンド(グリッパ)、吸着ハンド、スプレーガン、又は溶接トーチであるが、これに限られない。
FIG. 2 is a diagram schematically showing the appearance of the
マニピュレータ10は、1以上の関節11を備えており、各関節11が駆動されることによって動作する。関節11は、アームの関節であってもよいし、エンドエフェクタの関節であってもよい。マニピュレータ10はまた、1以上のセンサ12を備えており、各センサ12には、例えば、各関節11の状態値(例えば、ジョイント角度、指角度)を検知する角度センサ、マニピュレータ10の特定の箇所における力覚(モーメント)を検知する力覚センサなどが含まれ得る。
The
カメラ13は、マニピュレータ10の動作(塩の秤量)の目的物(塩2、容器3、容器4)を撮像して撮像画像を取得する。
The
計測装置14は、重量計であり、マニピュレータ10の動作(塩の秤量)の計測値(容器3から容器4に移された塩2の量)を計測する。計測装置14は、重量計に限られず、対象機器の動作による変化量(例えば、塩の量)を計測可能な任意の装置であり得る。
The
入力デバイス15は、マニピュレータ10を手動で操作するための入力デバイスである。本実施形態において、入力デバイス15は、図2に示すような、マニピュレータ10と同じ形状を有し、各関節のジョイント角度を検知するセンサを備え、手で掴んで動かすことにより、マニピュレータ10を直感的に操作することができるマスタスレーブ方式の入力デバイスであるが、これに限定されず、入力デバイス15は、ロボットコントローラ、ティーチペンダント、キーボード、レバー、ボタン、スイッチ、タッチパッド等から構成されていてもよい。
The
ディスプレイ16は、各種情報を表示するための表示装置であり、例えば、LCDディスプレイなどであり得る。
The
(学習装置)
学習装置100は、図1に示すように、第1の学習モデル101、第2の学習モデル102、蓄積部103、取得部104、学習部105、手動制御部106、自動制御部107および表示制御部108を備えている。
(Learning device)
As shown in FIG. 1, the
第1の学習モデル101は、動作中のマニピュレータ10の状態値および当該動作の計測値が少なくとも入力され、マニピュレータ10の未来の状態値および計測値を予測する学習モデルであり、時系列データを学習可能な学習モデルであり得る。一態様において、第1の学習モデル101は、MTRNN(Multi Timescale RNN)、LSTM(Long Short Term Memory)等のRNN(Recurrent Neural Network)であるが、これに限定されず、ARIMA(AutoRegressive, Integrated and Moving Average)モデル、1次元CNN(Convolutional Neural Network)等であってもよい。
The
第2の学習モデル102は、画像を圧縮および復元可能な学習モデルであり得る。一態様において、第2の学習モデル102は、CAE(Convolutional Auto Encoder)であるが、これに限定されず、オートエンコーダ(Autoencoder)、RBM(Restricted Boltzmann Machine)、主成分分析(Principal Component Analysis)モデル等であってもよい。
The
蓄積部103は、動作中のマニピュレータ10の状態値を経時的に取得して蓄積する。一態様において、蓄積部103は、センサ12からマニピュレータ10の各関節11のジョイント角度(状態値)および力覚(状態値)を取得し、図示しない記憶部に記憶する。
The
蓄積部103はまた、マニピュレータ10の動作の目的物の撮像画像、および、当該撮像画像の特徴量の少なくとも一方を経時的に取得して蓄積する。一態様において、蓄積部103は、カメラ13が撮像した目的物(塩2、容器3、容器4)の撮像画像を図示しない記憶部に記憶する。また、一態様において、蓄積部103は、カメラ13が撮像した目的物の撮像画像を第2の学習モデル102によって圧縮し、圧縮したデータを撮像画像の特徴量として取得し、図示しない記憶部に記憶する。
The
蓄積部103はまた、マニピュレータ10の動作の計測値を経時的に取得して蓄積する。一態様において、蓄積部103は、取得部104が取得した計測値を、図示しない記憶部に記憶する。
The
一態様において、第2の学習モデル102は、CAE、オートエンコーダのような、入力画像と出力画像とが一致するように深層学習される学習モデルである。学習部105は、蓄積部103が取得したカメラ13の撮像画像の時系列データ(マニピュレータ10の動作の動画データ)を、第2の学習モデル102に学習させる。これにより、蓄積部103は、撮像画像を入力した第2の学習モデル102の中間層から当該撮像画像の特徴量を取得することができる。すなわち、入力画像と出力画像とが一致するように深層学習された学習モデルの中間層は、入力画像の次元よりも少ない次元で、入力画像の情報量を落とさずに表現したものと言えるため、目的物の撮像画像の特徴を示す特徴量として好適に用いることができる。
In one aspect, the
取得部104は、マニピュレータ10の動作(塩の秤量)の計測値(容器4に移動した塩2の量)を取得する。一態様において、取得部104は、容器4を計量する計測装置14から有線または無線により計測値を取得してもよいし、カメラ13が計測装置14のディスプレイを撮像するようになっており、カメラ13の撮像画像を画像解析することにより、計測値を取得してもよい。取得部104はまた、マニピュレータ10の動作が完了したときの計測値を結果値として取得する。
The
学習部105は、第1の学習モデル101に教師データを学習させる。教師データの詳細については後述する。
The
学習部105はまた、蓄積部103に蓄積されたカメラ13の撮像画像の時系列データを、第2の学習モデル102に学習させる。
The
手動制御部106は、入力デバイス15(外部)からの指示に応じてマニピュレータ10を制御する。
The
自動制御部107は、設定された目標値(塩2を容器4に移動させる量)、マニピュレータ10の状態値、撮像画像の特徴量、および、マニピュレータ10の動作の計測値を、第1の学習モデル101に入力し、第1の学習モデル101が予測した未来の状態値にマニピュレータ10の状態値を近づけるようにマニピュレータ10を制御する。詳細については後述する。
The
表示制御部108は、各種情報をディスプレイ16に表示させる。表示内容としては、特に限定されないが、カメラ13の撮像画像、未来の撮像画像の予測画像(詳細については後述する)、マニピュレータ10のモデリング画像、設定された目標値、計測された計測値等があり得る。
The
(自動制御)
図3は、学習装置100によるマニピュレータ10の自動制御の流れの一例を示すフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行してもよい。事前(過去)に後述する手動学習または自動学習がなされた学習装置100は、マニピュレータ10(対象機器)を自動制御することができる。
(Automatic control)
FIG. 3 is a flowchart showing an example of the flow of automatic control of the
ステップS1において、自動制御部107は、マニピュレータ10の動作の目標値を設定する。例えば、自動制御部107は、図示しない入力部を介して入力された値を目標値として設定してもよい。
In step S1, the
ステップS2において、自動制御部107は、センサ12からマニピュレータ10の状態値(各関節11のジョイント角、所定位置における力覚等)を取得する。
In step S2, the
ステップS3において、自動制御部107は、第2の学習モデル102から、カメラ13が撮像した撮像画像の特徴量を取得する。
In step S3, the
ステップS4において、自動制御部107は、取得部104から、マニピュレータ10の動作の計測値を取得する。
In step S4, the
ステップS5において、自動制御部107は、第1の学習モデル101に入力する入力パラメータを生成する。図4は、第1の学習モデル101の入力パラメータおよび出力パラメータを説明する図である。図4に示すように、入力パラメータの各次元には、取得した状態値、特徴量および計測値ならびに設定した目標値が割り振られている。状態値、特徴量、計測値および目標値は、複数次元に割り当てられていてもよい。また、状態値、特徴量、計測値および目標値は、各次元に対応する正規化項によって正規化される。
In step S5, the
ステップS6において、自動制御部107は、第1の学習モデル101に入力パラメータを入力し、出力パラメータを取得する。第1の学習モデル101は、入力パラメータが入力されたとき、未来に入力される入力パラメータを予測するように学習されており、例えば、時刻tの入力パラメータを入力したときに、第1の学習モデル101は、時刻t+1の入力パラメータの予測値を出力するように学習されている。換言すれば、第1の学習モデル101は、1フレーム先の入力パラメータを予測する。なお、目標値は固定値である。
In step S6, the
ステップS7において、自動制御部107は、第1の学習モデル101が予測した未来の状態値にマニピュレータ10の状態値を近づけるようにマニピュレータ10を制御する。一態様において、自動制御部107は、第1の学習モデル101が出力した出力パラメータのうち、各関節11のジョイント角を示すパラメータを参照し、マニピュレータ10の各関節11のジョイント角が、予測されたジョイント角に近づくように、各関節11を制御してもよい。
In step S7, the
ステップS8において、自動制御部107は、第1の学習モデル101が出力した出力パラメータのうち、未来の撮像画像の特徴量を示すパラメータを表示制御部108に出力する。表示制御部108は、第2の学習モデル102を用いて、未来の撮像画像の特徴量を示すパラメータから、未来の撮像画像を復元する。そして、表示制御部108は、カメラ13が撮像した撮像画像と、復元した未来の撮像画像とをディスプレイ16に表示させる。
In step S8, the
図5は、ステップS8におけるディスプレイ16の表示内容の一例を示す図である。表示制御部108は、ディスプレイ16に、カメラ13が撮像した現在の撮像画像200と、復元した未来の撮像画像201とを表示させる。そして、自動制御部107は、結果的に、現在の撮像画像200が未来の撮像画像201の状態になるように、マニピュレータ10を制御する。なお、ステップS8では、表示制御部108は、カメラ13が撮像した現在の撮像画像200のみをディスプレイ16に表示させてもよい。
FIG. 5 is a diagram showing an example of the display contents of the
ステップS9において、自動制御部107は、マニピュレータ10の動作が完了したか否かを判定し、完了していなかった場合は(ステップS9のNO)、ステップS2に戻って処理を継続し、完了していた場合は(ステップS9のYES)、処理を終了する。自動制御部107は、取得部104が取得した計測値が目標値以上となった場合、または、取得部104が取得した計測値と目標値との差が予め設定された閾値以下となった場合に、動作が完了したと判定すればよい。なお、一態様において、第1の学習モデル101は、マニピュレータ10の動作が完了している場合には、当該動作が完了したことを示す特定のパラメータを出力するように学習されており、自動制御部107は、第1の学習モデル101から、当該特定のパラメータが出力された場合に、マニピュレータ10の動作が完了したと判定してもよい。
In step S9, the
(手動学習)
図6は、学習装置100による手動学習の流れの一例を示すフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行してもよい。
(Manual learning)
FIG. 6 is a flowchart showing an example of the flow of manual learning by the
ステップS11において、ユーザは、入力デバイス15を操作して、マニピュレータ10の動作を入力する。一態様において、入力デバイス15は、図2に示すような、マニピュレータ10と同じ形状を有し、各関節のジョイント角度を検知するセンサを備えるものであり、入力デバイス15から手動制御部106に入力デバイス15の各関節のジョイント角を示す指示信号が送信される。
In step S11, the user operates the
ステップS12において、手動制御部106は、入力デバイス15(外部)からの指示を取得し、マニピュレータ10を制御する。一態様において、手動制御部106は、入力デバイス15からの指示信号を参照して、マニピュレータ10の各関節11のジョイント角が、入力デバイス15の各関節のジョイント角と同じになるように各関節を制御する。
In step S12, the
ステップS13において、蓄積部103は、センサ12からマニピュレータ10の状態値(各関節11のジョイント角、所定位置における力覚等)を取得し、時系列に沿って蓄積する。
In step S13, the
ステップS14において、蓄積部103は、カメラ13が撮像した撮像画像を取得し、時系列に沿って蓄積する。
In step S14, the
ステップS15において、蓄積部103は、取得部104が計測装置14から取得した計測値を取得し、時系列に沿って蓄積する。
In step S15, the accumulating
ステップS16において、手動制御部106は、マニピュレータ10の動作が完了したか否かを判定し、完了していなかった場合は(ステップS16のNO)、ステップS11に戻って処理を継続し、完了していた場合は(ステップS16のYES)、ステップS17に進む。一態様において、ユーザは入力デバイス15の操作により、動作の完了を指定することができる。
In step S16, the
ステップS17において、取得部104は、完了した動作の結果値を取得する。取得部104は、マニピュレータ10の動作の結果値(容器4に移動した塩2の量)を、計測装置14から有線または無線を介して受信することにより、または、カメラ13の撮像画像を画像解析することにより取得する。
In step S17, the
なお、ステップS11〜ステップS17は、十分な教師データを得るために複数回繰り返してもよい。 It should be noted that steps S11 to S17 may be repeated a plurality of times in order to obtain sufficient teacher data.
ステップS18において、学習部105は、第2の学習モデル102が撮像画像を圧縮および復元できるようになるように、蓄積部103に蓄積された撮像画像の時系列データを、第2の学習モデル102に学習させる。
In step S18, the
ステップS19において、学習部105は、手動制御部106による制御の結果として、マニピュレータ10の動作毎に、蓄積部103に蓄積された状態値、撮像画像および計測値の時系列データと取得部104が取得した結果値とを用いて教師データを生成する。まず、学習部105は、撮像画像の時系列データを第2の学習モデル102に入力し、特徴量の時系列データを取得する。そして、学習部105は、状態値、特徴量および計測値の時系列データならびに結果値を含む教師データを生成する。そして、ステップS20において、学習部105は、生成した教師データを第1の学習モデル101に学習させる。その後、手動制御部106は、処理を終了する。
In step S19, as a result of the control by the
(教師データの詳細)
教師データは、状態値、特徴量および計測値の時系列データと、目標値に代えて、結果値と、を含む。すなわち、一態様において、教師データは、図4に示す入力パラメータの時系列データであって、設定された目標値が割り当てられていたパラメータの代わりに、取得部104が取得した結果値が固定値として入力されたデータである。
(Details of teacher data)
The teacher data includes time series data of state values, features and measured values, and result values instead of target values. That is, in one aspect, the teacher data is time-series data of the input parameters shown in FIG. 4, and the result value acquired by the
一態様において、学習部105は、教師データに含まれる状態値、特徴量および計測値の時系列データを結果値(固定値)とともに順次入力し、次の時点の状態値、特徴量および計測値ならびに結果値(固定値)を正解データとして用いて、第1の学習モデル101の学習を行う。
In one aspect, the
以上のように、本実施形態では、学習装置100は、対象機器の動作を学習するとき、状態値や撮像画像の特徴量の時系列データに加えて、対象機器の動作の計測値(例えば、塩の秤量の場合の塩の移動量など)の時系列データを学習することにより、強化学習とは異なるアルゴリズムにより、計測値を反映させた学習を行うことができ、高い精度で対象機器の動作の学習を行うことができる。
As described above, in the present embodiment, when the
また、学習装置100は、対象機器の動作を学習するとき、当該動作の結果値を取得した後に、当該動作は当該結果値を目標値とした動作であったものとみなして学習を行う。換言すれば、学習装置100は、当該動作に係る状態値、特徴量、計測値等を蓄積しておき、当該動作の結果値を取得した後、蓄積しておいた状態値、特徴量、計測値等を、当該結果値を得るための動作の教師データとして用いて学習モデルを学習させる。これにより、強化学習とは異なるアルゴリズムにより、結果値を反映させた学習を行うことができ、高い精度で対象機器の動作の学習を行うことができる。
Further, when the
なお、教師データに含まれる、複数次元のパラメータの時系列データは、パラメータの次元毎に正規化項を設け、正規化することが好ましい。すなわち、一態様において、学習部105は、教師データにおける各次元の平均および分散を算出して、各次元のパラメータが平均0、分散1になるように正規化項を算出し、教師データを正規化した後に、第1の学習モデルに学習させる。これにより、オーダーが異なるマルチモーダルなパラメータの平均および分散を合わせ、高い精度で対象機器の動作の学習を行うことができる。
It is preferable that the time-series data of the multidimensional parameters included in the teacher data is normalized by providing a normalization term for each parameter dimension. That is, in one embodiment, the
この場合、第1の学習モデル101の学習に用いる損失関数に、次元差を埋める制約をつけることが好ましい。すなわち、損失関数を最小化する場合に次元数が大きいものを最小化する方向のみへ学習が進まないように、次元数が小さい値の損失関数への寄与度を大きくすることが好ましい。例えば、以下の式(1)に示す損失関数を用いることができる。Dimは、総次元数を表す。Miは、各モダリティ(例えば、ジョイント角度(状態値)、力覚(状態値)、特徴量および計測値)の次元数を表す。tは、正解データを表す。yは、予測データを表す。Nはデータ数を表す。
In this case, it is preferable to impose a constraint on the loss function used for learning of the
(自動学習)
学習装置100は、図2に示す自動制御部107による制御の結果として蓄積部103に蓄積された状態値および特徴量の時系列データと、取得部104が取得した計測値および結果値とを用いて教師データを生成し、学習を行うことができる。これにより、動作精度を自動的に向上させることができる。つまり、学習装置100は、人の手を介さずに、学習モデルを自習することができる。したがって、手動学習の回数が少なく、手動学習により得られた対象機器の動作精度が所望の動作精度より低い場合であっても、自動学習により、対象機器の動作精度を所望の動作精度まで向上させることができる。言い換えると、少ない手動学習により、高い動作精度を得ることができる。結果として、手動学習を行う作業者の手間を減らすと共に、学習に要する時間を短くすることができる。
(Automatic learning)
The
図7は、学習装置100による自動学習の流れの一例を示すフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行してもよい。
FIG. 7 is a flowchart showing an example of the flow of automatic learning by the
図7に示すフローチャートは、図3に示すフローチャートの一部を改変することによって実行される。まず、ステップS1を行った後、S2〜S4に代えてステップS21〜S23を行う。 The flowchart shown in FIG. 7 is executed by modifying a part of the flowchart shown in FIG. First, after performing step S1, steps S21 to S23 are performed instead of S2 to S4.
ステップS21において、自動制御部107は、センサ12からマニピュレータ10の状態値(各関節11のジョイント角、所定位置における力覚等)を取得し、蓄積する。
In step S21, the
ステップS22において、自動制御部107は、第2の学習モデル102から、カメラ13が撮像した撮像画像の特徴量を取得し、蓄積する。
In step S22, the
ステップS23において、自動制御部107は、取得部104から、マニピュレータ10の動作の計測値を取得し、蓄積する。
In step S23, the
続いて、ステップS5〜S9を行い、ステップS9がYESであった場合に、ステップS24〜S26を行う。 Subsequently, steps S5 to S9 are performed, and if step S9 is YES, steps S24 to S26 are performed.
ステップS24において、取得部104は、完了した動作の結果値を計測装置14から取得する。
In step S24, the
ステップS25において、学習部105は、自動制御部107による制御の結果として、マニピュレータ10の動作毎に、蓄積部103に蓄積された状態値、特徴量および計測値の時系列データと取得部104が取得した結果値と含む教師データを生成する。そして、ステップS26において、学習部105は、生成した教師データを第1の学習モデル101に学習させる。その後、自動制御部107は、処理を終了する。
In step S25, as a result of control by the
また、一態様において、学習部105は、マニピュレータ10の動作を完了させるまでに掛かった時間に基づいて、ステップS25〜S26を行うか否かを判定してもよい。すなわち、学習装置100は、自動制御の結果得られた時系列データのうち、動作速度が速いもの(動作を完了させるまでにかかった時間が閾値より短いもの)のみを教師データとして第1の学習モデル101に学習させることにより、自動制御時の動作を高速化することができる。一態様において、学習装置100は、結果値を所定の段階に分け、各段階の結果値が得られた動作の時系列データのうち、動作速度が速いものの時系列データのみを教師データとして第1の学習モデル101に学習させてもよい。
Further, in one aspect, the
(サンプリングレートについて)
蓄積部103が状態値、特徴量および計測値を取得する間隔は、マニピュレータ10の制御に要する時間に近いことが好ましい。換言すれば、教師データに用いる状態値、特徴量および計測値のサンプリングレートは、マニピュレータ10の制御の処理レートに近いことが好ましい。
(About sampling rate)
The interval at which the
そこで、一態様において、自動制御部107は、あらかじめ用意した擬似的な第1の学習モデル101を用いて自動制御を行い、自動制御部107が状態値、特徴量および計測値の少なくとも一つを取得してからマニピュレータ10を制御するまでに掛かった時間を測定する。そして、当該時間に基づいて、蓄積部103が、状態値、特徴量および計測値の少なくとも一つを取得する間隔を、当該時間に近づくように調整する。これにより、より高い精度で対象機器の動作の学習を行うことができる。
Therefore, in one embodiment, the
(変形例)
上記実施形態では、入力パラメータとして、撮像画像の特徴量が含まれているが、当該特徴量は含めなくともよい。また、入力パラメータとして、目標値(結果値)が含まれているが、目標値(結果値)は含めなくともよい。
(Modification example)
In the above embodiment, the feature amount of the captured image is included as the input parameter, but the feature amount may not be included. Further, although the target value (result value) is included as the input parameter, the target value (result value) may not be included.
また、マニピュレータ10の動作は、物体の秤量の他、物体の移動動作、塗装動作、溶接動作等であってもよい。また、計測値は、物体の量(重さ)の他、物体の移動距離、塗装色または範囲、温度等であってもよい。また、計測装置14は、重量計の他、測距装置、カメラ、温度計等であってもよい。計測装置14がカメラである場合、カメラ13を計測装置14として利用することも可能である。
Further, the operation of the
また、マニピュレータ10に替えて、その他制御可能な対象機器(例えば、工作機械、3Dプリンタ、建設機械、医療機器など)に対して本発明を適用することも可能である。
Further, instead of the
〔ソフトウェアによる実現例〕
学習装置100の制御ブロック(特に、蓄積部103、取得部104、学習部105、手動制御部106、自動制御部107および表示制御部108)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of realization by software]
The control block of the learning device 100 (particularly, the
後者の場合、学習装置100を、図8に示すようなコンピュータ(電子計算機)を用いて構成することができる。図8は、学習装置100として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばプロセッサ、RAM(random access memory)、ハードディスクドライブであってもよい。上記プロセッサとしては、例えばCPU(Central Processing Unit)およびGPU(Graphics Processing Unit)を用いることができる。第1の学習モデル101および第2の学習モデル102の学習は、GPUにより実行されるのが好ましい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
In the latter case, the
補助記憶装置914には、コンピュータ910を学習装置100として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ910を、学習装置100が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置913上に展開することなく実行可能なコンピュータであれば、主記憶装置913を省略してもよい。なお、上記各装置(演算装置912、主記憶装置913、補助記憶装置914、入出力インターフェース915、通信インターフェース916、入力装置920、および出力装置930)は、それぞれ1つであってもよいし、複数であってもよい。
The
また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
Further, the above program may be acquired from the outside of the
(まとめ)
本発明の態様1に係る学習装置は、動作中の対象機器の状態値および当該動作の計測値を経時的に取得して蓄積する蓄積部と、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習部と、を備え、前記教師データは、前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを含む。
(Summary)
The learning device according to the first aspect of the present invention has a storage unit that acquires and accumulates the state value of the target device in operation and the measured value of the operation over time, and the state value of the target device in operation and the operation. The first learning model in which at least the measured value is input and predicts the future state value of the target device is provided with a learning unit for learning the teacher data, and the teacher data is stored in the storage unit. Includes time series data of state values and the measured values.
本発明の態様2に係る学習装置は、前記態様1において、前記動作が完了したときの計測値である結果値を取得する取得部をさらに備え、前記第1の学習モデルの入力データは、前記対象機器の動作の目標値をさらに含み、前記教師データは、さらに、前記目標値に代えて、前記取得部が取得した前記結果値を含むものとしてもよい。 In the first aspect, the learning device according to the second aspect of the present invention further includes an acquisition unit for acquiring a result value which is a measured value when the operation is completed, and the input data of the first learning model is the said. The target value of the operation of the target device may be further included, and the teacher data may further include the result value acquired by the acquisition unit in place of the target value.
本発明の態様3に係る学習装置は、前記態様1または2において、外部からの指示に応じて前記対象機器を制御する手動制御部をさらに備え、前記学習部は、前記手動制御部による制御の結果として前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを少なくとも用いて学習を行うこととしてもよい。 The learning device according to the third aspect of the present invention further includes a manual control unit that controls the target device in response to an instruction from the outside in the first or second aspect, and the learning unit is controlled by the manual control unit. As a result, learning may be performed using at least the time-series data of the state value and the measured value accumulated in the storage unit.
本発明の態様4に係る学習装置は、前記態様1〜3において、動作中の前記対象機器の状態値および前記動作の計測値を前記第1の学習モデルに入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御部をさらに備えていることとしてもよい。 In the learning device according to the fourth aspect of the present invention, in the first to third aspects, the state value of the target device in operation and the measured value of the operation are input to the first learning model, and the first learning model It may be further provided with an automatic control unit that controls the target device so that the state value of the target device approaches the future state value predicted by.
本発明の態様5に係る学習装置は、前記態様4において、前記学習部が、前記自動制御部による制御の結果として前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを少なくとも用いて、学習を行うこととしてもよい。 In the learning device according to the fifth aspect of the present invention, in the fourth aspect, the learning unit collects at least the time series data of the state value and the measured value accumulated in the storage unit as a result of control by the automatic control unit. It may be used for learning.
本発明の態様6に係る学習装置は、前記態様5において、前記自動制御部は、前記動作を完了させるまでに掛かった時間に基づいて、当該動作の結果として前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを少なくとも用いた学習を前記学習部に行わせるか否かを判定することとしてもよい。 In the learning device according to the sixth aspect of the present invention, in the fifth aspect, the automatic control unit has accumulated in the storage unit as a result of the operation based on the time taken to complete the operation. It may be determined whether or not the learning unit is to perform learning using at least the time series data of the value and the measured value.
本発明の態様7に係る学習装置は、前記態様4〜6において、前記自動制御部は、前記状態値または前記計測値を取得してから前記対象機器を制御するまでに掛かった時間を測定し、当該時間に基づいて、前記蓄積部が、前記状態値または前記計測値を取得する間隔を調整することとしてもよい。 In the learning device according to the seventh aspect of the present invention, in the fourth to sixth aspects, the automatic control unit measures the time taken from the acquisition of the state value or the measured value to the control of the target device. , The interval at which the storage unit acquires the state value or the measured value may be adjusted based on the time.
本発明の態様8に係る学習装置は、前記態様1〜7において、前記蓄積部は、さらに、前記対象機器の動作の目的物を撮像した撮像画像の特徴量を経時的に取得して蓄積し、前記第1の学習モデルには、さらに、前記撮像画像の特徴量が入力され、前記教師データは、さらに、前記蓄積部に蓄積された前記特徴量の時系列データを含むこととしてもよい。 In the learning apparatus according to the eighth aspect of the present invention, in the first to seventh aspects, the storage unit further acquires and accumulates the feature amount of the captured image obtained by capturing the target object of the operation of the target device over time. The feature amount of the captured image is further input to the first learning model, and the teacher data may further include time-series data of the feature amount accumulated in the storage unit.
本発明の態様9に係る学習装置は、前記態様8において、前記蓄積部は、さらに、前記撮像画像を蓄積し、前記学習部は、入力画像と出力画像とが一致するように深層学習される第2の学習モデルに、前記蓄積部に蓄積された前記撮像画像を学習させ、前記撮像画像の特徴量は、当該撮像画像が入力された前記第2の学習モデルから得られることとしてもよい。 In the learning device according to the ninth aspect of the present invention, in the eighth aspect, the storage unit further accumulates the captured image, and the learning unit is deeply trained so that the input image and the output image match. The second learning model may be trained to learn the captured image accumulated in the storage unit, and the feature amount of the captured image may be obtained from the second learning model to which the captured image is input.
本発明の態様10に係る学習装置は、前記態様8または9において、前記第1の学習モデルは、さらに、未来の撮像画像の特徴量を予測し、前記第1の学習モデルが予測した前記未来の撮像画像の特徴量から復元した前記未来の撮像画像と、前記目的物を撮像した撮像画像とを表示部に表示させる表示制御部をさらに備えていることとしてもよい。 In the learning device according to the tenth aspect of the present invention, in the eighth or ninth aspect, the first learning model further predicts the feature amount of the captured image in the future, and the future predicted by the first learning model. It is also possible to further include a display control unit for displaying the future captured image restored from the feature amount of the captured image and the captured image obtained by capturing the target object on the display unit.
本発明の態様11に係る学習装置は、前記態様1〜10において、複数次元のパラメータの時系列データを含み、次元毎に前記パラメータが正規化されていることとしてもよい。 The learning device according to the eleventh aspect of the present invention may include time-series data of a plurality of dimensional parameters in the first to tenth aspects, and the parameters may be normalized for each dimension.
本発明の態様12に係る学習装置は、前記態様1〜11において、前記第1の学習モデルが、RNNであることとしてもよい。 In the learning device according to the twelfth aspect of the present invention, the first learning model may be an RNN in the first to eleventh aspects.
本発明の態様13に係る学習装置は、前記態様1〜12において、前記対象機器が、関節を有するマニピュレータであり、前記状態値が、前記関節の状態値であることとしてもよい。 In the learning device according to the thirteenth aspect of the present invention, in the first to twelve aspects, the target device may be a manipulator having a joint, and the state value may be the state value of the joint.
本発明の態様14に係る学習方法は、動作中の対象機器の状態値および当該動作の計測値を経時的に取得して蓄積する蓄積工程と、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習工程と、を含み、前記教師データは、前記蓄積工程で蓄積された前記状態値および前記計測値の時系列データを含む。
The learning method according to
本発明の態様15に係る自動制御装置は、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルと、少なくとも動作中の前記対象機器の状態値および当該動作の計測値を前記第1の学習モデルに入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御部と、を備え、前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習している。 The automatic control device according to the fifteenth aspect of the present invention includes a first learning model in which at least the state value of the target device in operation and the measured value of the operation are input to predict the future state value of the target device, and at least. The state value of the target device during operation and the measured value of the operation are input to the first learning model, and the state value of the target device is brought closer to the future state value predicted by the first learning model. The first learning model includes an automatic control unit that controls the target device, and learns teacher data including time-series data of the state value and the measured value of the target device in the past.
本発明の態様16に係る自動制御方法は、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、少なくとも動作中の前記対象機器の状態値および当該動作の計測値を入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御工程を含み、前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習している。 In the automatic control method according to the 16th aspect of the present invention, at least the state value of the target device in operation and the measured value of the operation are input, and at least in the first learning model for predicting the future state value of the target device. The state value of the target device during operation and the measured value of the operation are input, and the target device is controlled so that the state value of the target device approaches the future state value predicted by the first learning model. The first learning model includes an automatic control step, and learns teacher data including time-series data of the state value and the measured value of the target device in the past.
本発明の各態様に係る学習装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記学習装置が備える各部(ソフトウェア要素)として動作させることにより上記学習装置をコンピュータにて実現させる学習装置の学習プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The learning device according to each aspect of the present invention may be realized by a computer. In this case, the learning device is realized by the computer by operating the computer as each part (software element) included in the learning device. The learning program of the learning device and the computer-readable recording medium on which it is recorded also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention.
1 学習システム
2 塩
10 マニピュレータ(対象機器)
11 関節
12 センサ
13 カメラ
14 計測装置
15 入力デバイス
16 ディスプレイ(表示部)
100 学習装置
101 第1の学習モデル
102 第2の学習モデル
103 蓄積部
104 取得部
105 学習部
106 手動制御部
107 自動制御部
108 表示制御部
200 現在の撮像画像
201 未来の撮像画像
1
11
100
Claims (19)
動作中の対象機器の状態値および当該動作の目的に関する計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習部と、を備え、
前記教師データは、前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを含み、
前記動作が完了したときの計測値である結果値を取得する取得部をさらに備え、
前記第1の学習モデルの入力データは、前記対象機器の動作の目標値をさらに含み、
前記教師データは、さらに、前記目標値に代えて、前記取得部が取得した前記結果値を含むことを特徴とする学習装置。 A storage unit that acquires and accumulates the state value of the target device in operation and the measured value related to the purpose of the operation over time.
A learning unit for learning teacher data is provided in the first learning model in which at least the state value of the target device in operation and the measured value related to the purpose of the operation are input and the future state value of the target device is predicted. ,
The training data is seen containing a time series data of the storage unit stored the state value and the measured value,
Further provided with an acquisition unit for acquiring a result value which is a measured value when the operation is completed.
The input data of the first learning model further includes a target value of the operation of the target device.
The teacher data further, instead of the target value, the learning apparatus according to claim including Mukoto the result value acquired by the acquiring unit.
前記学習部は、前記手動制御部による制御の結果として前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを少なくとも用いて学習を行うことを特徴とする請求項1に記載の学習装置。 Further equipped with a manual control unit that controls the target device in response to an external instruction,
The learning unit, according to claim 1, characterized in that at least used learning time series data of the manual control unit the stored in the storage unit the said state value and the measured value as a result of control by the Learning device.
前記第1の学習モデルには、さらに、前記撮像画像の特徴量が入力され、
前記教師データは、さらに、前記蓄積部に蓄積された前記特徴量の時系列データを含むことを特徴とする請求項1〜6のいずれか一項に記載の学習装置。 The storage unit further acquires and stores the feature amount of the captured image obtained by capturing the target object of the operation of the target device over time.
The feature amount of the captured image is further input to the first learning model.
The learning device according to any one of claims 1 to 6 , wherein the teacher data further includes time-series data of the feature amount accumulated in the storage unit.
前記学習部は、入力画像と出力画像とが一致するように深層学習される第2の学習モデルに、前記蓄積部に蓄積された前記撮像画像を学習させ、
前記撮像画像の特徴量は、当該撮像画像が入力された前記第2の学習モデルから得られることを特徴とする請求項7に記載の学習装置。 The storage unit further stores the captured image,
The learning unit causes a second learning model, which is deeply trained so that the input image and the output image match, to learn the captured image stored in the storage unit.
The learning device according to claim 7 , wherein the feature amount of the captured image is obtained from the second learning model in which the captured image is input.
前記第1の学習モデルが予測した前記未来の撮像画像の特徴量から復元した前記未来の撮像画像と、前記目的物を撮像した撮像画像とを表示部に表示させる表示制御部をさらに備えていることを特徴とする請求項7または8に記載の学習装置。 The first learning model further predicts the features of future captured images.
The display control unit further includes a display control unit that displays the future captured image restored from the feature amount of the future captured image predicted by the first learning model and the captured image captured by the target object on the display unit. The learning device according to claim 7 or 8 .
前記状態値は、前記関節の状態値を含むことを特徴とする請求項1〜11のいずれか一項に記載の学習装置。 The target device is a manipulator having joints.
The learning device according to any one of claims 1 to 11 , wherein the state value includes a state value of the joint.
動作中の対象機器の状態値および当該動作の目的に関する計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習工程と、を含み、
前記教師データは、前記蓄積工程で蓄積された前記状態値および前記計測値の時系列データを含み、
前記動作が完了したときの計測値である結果値を取得する取得工程をさらに含み、
前記第1の学習モデルの入力データは、前記対象機器の動作の目標値をさらに含み、
前記教師データは、さらに、前記目標値に代えて、前記取得工程において取得した前記結果値を含むことを特徴とする学習方法。 A storage process that acquires and accumulates the state value of the target device in operation and the measured value related to the purpose of the operation over time, and
At least the state value of the target device in operation and the measured value related to the purpose of the operation are input, and the first learning model for predicting the future state value of the target device includes a learning step of learning the teacher data. ,
The training data is seen containing a time series data of the storage step in stored the state value and the measured value,
It further includes an acquisition step of acquiring a result value which is a measured value when the operation is completed.
The input data of the first learning model further includes a target value of the operation of the target device.
Learning the teacher data further that instead of the target value, the result value obtained in said obtaining step and said containing Mukoto.
少なくとも動作中の前記対象機器の状態値および当該動作の目的に関する計測値を前記第1の学習モデルに入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御部と、を備え、
前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習しており、
前記第1の学習モデルの入力データは、前記対象機器の動作の目標値をさらに含み、
前記教師データは、さらに、前記目標値に代えて、過去の前記対象機器の前記動作が完了したときの計測値である結果値を含むことを特徴とする自動制御装置。 A first learning model in which at least the state value of the target device in operation and the measured value related to the purpose of the operation are input to predict the future state value of the target device, and
At least the state value of the target device in operation and the measured value related to the purpose of the operation are input to the first learning model, and the state value of the target device is added to the future state value predicted by the first learning model. It is equipped with an automatic control unit that controls the target device so as to bring it closer to each other.
The first learning model learns teacher data including time-series data of the state value and the measured value of the target device in the past .
The input data of the first learning model further includes a target value of the operation of the target device.
The automatic control device further includes, in place of the target value, a result value which is a measured value when the operation of the target device in the past is completed .
前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習しており、
前記第1の学習モデルの入力データは、前記対象機器の動作の目標値をさらに含み、
前記教師データは、さらに、前記目標値に代えて、過去の前記対象機器の前記動作が完了したときの計測値である結果値を含むことを特徴とする自動制御方法。 At least the state value of the target device in operation and the measured value related to the purpose of the operation are input, and at least the state value of the target device in operation and the state value of the target device in operation and the state value of the target device in operation are input to the first learning model for predicting the future state value of the target device. It includes an automatic control step of inputting a measured value relating to the purpose of the operation and controlling the target device so as to bring the state value of the target device closer to the future state value predicted by the first learning model.
The first learning model learns teacher data including time-series data of the state value and the measured value of the target device in the past .
The input data of the first learning model further includes a target value of the operation of the target device.
An automatic control method , wherein the teacher data further includes, in place of the target value, a result value which is a measured value when the operation of the target device in the past is completed .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019098109A JP6811465B2 (en) | 2019-05-24 | 2019-05-24 | Learning device, learning method, learning program, automatic control device, automatic control method and automatic control program |
PCT/JP2020/014981 WO2020241037A1 (en) | 2019-05-24 | 2020-04-01 | Learning device, learning method, learning program, automatic control device, automatic control method, and automatic control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019098109A JP6811465B2 (en) | 2019-05-24 | 2019-05-24 | Learning device, learning method, learning program, automatic control device, automatic control method and automatic control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020194242A JP2020194242A (en) | 2020-12-03 |
JP6811465B2 true JP6811465B2 (en) | 2021-01-13 |
Family
ID=73547509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019098109A Active JP6811465B2 (en) | 2019-05-24 | 2019-05-24 | Learning device, learning method, learning program, automatic control device, automatic control method and automatic control program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6811465B2 (en) |
WO (1) | WO2020241037A1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022145213A1 (en) * | 2020-12-28 | 2022-07-07 | ソニーグループ株式会社 | Control device, control system, and control method |
WO2022145150A1 (en) * | 2020-12-28 | 2022-07-07 | ソニーグループ株式会社 | Control system and control method |
JP6955733B1 (en) * | 2021-02-17 | 2021-10-27 | 株式会社エクサウィザーズ | Information processing equipment, information processing methods, and programs |
JP7237382B1 (en) * | 2021-12-24 | 2023-03-13 | 知能技術株式会社 | Image processing device, image processing method, and image processing program |
US20230271319A1 (en) * | 2022-02-28 | 2023-08-31 | Denso Wave Incorporated | Method of generating a learning model for transferring fluid from one container to another by controlling robot arm based on a machine-learned learning model, and a method and system for weighing the fluid |
CN115446867B (en) * | 2022-09-30 | 2024-09-17 | 山东大学 | Industrial mechanical arm control method and system based on digital twin technology |
JP2024084012A (en) * | 2022-12-12 | 2024-06-24 | オムロン株式会社 | Robot System |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11272305A (en) * | 1998-03-23 | 1999-10-08 | Toshiba Corp | Plant control device |
JP6692740B2 (en) * | 2016-12-20 | 2020-05-13 | ヤフー株式会社 | Selection device, selection method, and selection program |
JP6886869B2 (en) * | 2017-06-09 | 2021-06-16 | 川崎重工業株式会社 | Motion prediction system and motion prediction method |
JP6693919B2 (en) * | 2017-08-07 | 2020-05-13 | ファナック株式会社 | Control device and machine learning device |
-
2019
- 2019-05-24 JP JP2019098109A patent/JP6811465B2/en active Active
-
2020
- 2020-04-01 WO PCT/JP2020/014981 patent/WO2020241037A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2020194242A (en) | 2020-12-03 |
WO2020241037A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6811465B2 (en) | Learning device, learning method, learning program, automatic control device, automatic control method and automatic control program | |
JP6810087B2 (en) | Machine learning device, robot control device and robot vision system using machine learning device, and machine learning method | |
JP6676030B2 (en) | Grasping system, learning device, gripping method, and model manufacturing method | |
EP1864764B1 (en) | Robot simulation apparatus | |
CN104552291B (en) | Robot controller, robot system, robot and robot control method | |
JP6680750B2 (en) | Control device and machine learning device | |
JP6931457B2 (en) | Motion generation method, motion generator, system and computer program | |
JP7458741B2 (en) | Robot control device and its control method and program | |
WO2011065034A1 (en) | Method for controlling action of robot, and robot system | |
US10807234B2 (en) | Component supply device and machine learning device | |
JP2019166626A (en) | Control device and machine learning device | |
CN113412178B (en) | Robot control device, robot system, and robot control method | |
US11059180B2 (en) | Control device and machine learning device | |
JP7128736B2 (en) | ROBOT CONTROL DEVICE, ROBOT SYSTEM AND ROBOT CONTROL METHOD | |
CN112638596B (en) | Autonomous learning robot device and method for generating operation of autonomous learning robot device | |
JP2022543926A (en) | System and Design of Derivative-Free Model Learning for Robotic Systems | |
JP2021501433A (en) | Generation of control system for target system | |
JP2018122376A (en) | Image processing device, robot control device, and robot | |
JP7376318B2 (en) | annotation device | |
CN114454176B (en) | Robot control method, control device, robot, and storage medium | |
JP2021084188A (en) | Control system | |
CN115958595A (en) | Mechanical arm guiding method and device, computer equipment and storage medium | |
Thompson et al. | Identification of unknown object properties based on tactile motion sequence using 2-finger gripper robot | |
US20230302636A1 (en) | Systems and Methods for Flexible Robotic Manipulation by Fast Online Load Estimation | |
JP2024101164A (en) | Information processing method, information processing device, robot system, control method of robot system, article manufacturing method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200107 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200107 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6811465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |