JP7377627B2 - 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム - Google Patents

Description

本発明は、物体検出装置、物体把持システム、物体検出方法及び物体検出プログラムに関する。

工場等において、ロボットの把持部によりワークを把持し、これによりワークを移動することが行われているが、この場合、ワークを撮像した画像に基づいてワークの位置を適切に検出する必要がある。

このように画像上における物体の位置検出に関する技術としては、近年、機械学習による学習済みモデルである推論モデルを用いて、二次元画像から当該物体の位置を検出する手法が開示されている。

例えば、非特許文献１には、画像中の物体を単一のニューラルネットワークを使用して検出する手法であるSingle Shot Multibox Detector（ＳＳＤ）が開示されている。

また、特許文献１には、フレーム間の差分画像に基づいて車両の輪郭を抽出する手法が開示されている。

特開２０１３－９６０９２号公報

Liu, Wei, et al. "SSD: Single shot multibox detector." European Conference on Computer Vision. Springer International Publishing, ２０１６年１０月, p.21-37

積み重なったワークをロボットの把持部により１つずつ把持する際には、ワークを撮像した二次元画像において、各ワークの外周や回転角度、ワークを掴むための位置であるピッキングポイント等をできるだけ正確に把握する必要がある。しかしながら、非特許文献１に記載の手法では、ｘ軸とｙ軸に沿った矩形のバウンディングボックスで物体を囲むため、矩形状の物体の場合、物体の回転角度によってはバウンディングボックス中の余白が多くなり、また、物体の回転角度に応じてバウンディングボックスの大きさも変化しやすい。したがって、非特許文献１に記載の手法を利用した場合、ワークが大体どこにあるかまでは分かるが、ワークのより正確な外周を検出することや、ピッキングポイントを検出することは困難であった。また、図９に示すように、実際にワークＷは重なっていない場合であっても、検出したバウンディングボックスＢＢには重なりがあることが多いため、ワークＷの重なりを正確に検知することが困難であった。図９の場合、実際のワークＷは重なり合っていないが、対応するバウンディングボックスＢＢが重なり合うため、ロボットの制御装置は両ワークＷが重なり合っていると判断してしまう。

本発明は、上記現状に鑑みてなされたものであり、１つ１つの物体が存在する領域をより正確に検出することが可能な物体検出装置、物体把持システム、物体検出方法及び物体検出プログラムを提供することを目的とするものである。

上述した課題を解決し、目的を達成するために、本発明は、物体検出装置であって、検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度がラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、検出対象の物体の画像から当該物体の位置及び回転角度を出力する推定部を備えることを特徴とする。

また、本発明は、上記発明において、前記ラベル情報には、前記物体の種類が更に含まれ、前記推定部は、前記物体の種類を更に出力することを特徴とする。

また、本発明は、上記発明において、前記物体は、表面と、前記表面と外観が異なる裏面とを有し、前記ラベル情報には、前記物体の前記表面及び前記裏面のうちのいずれかの面が撮像されているかを示す表裏情報が更に含まれ、前記推定部は、前記物体の表裏情報を更に出力することを特徴とする。

また、本発明は、上記発明において、前記物体は、側面を有し、前記ラベル情報には、前記物体の前記側面が撮像されているかを示す側面情報が更に含まれ、前記推定部は、前記物体の側面情報を更に出力することを特徴とする。

また、本発明は、上記発明において、前記ラベル情報には、前記物体を掴むための位置であるピッキングポイントが更に含まれ、前記推定部は、前記物体のピッキングポイントを更に出力することを特徴とする。

また、本発明は、上記発明において、前記物体検出装置は、前記物体の深度画像から、前記推定部により出力された前記ピッキングポイントにおける前記物体の傾きと面の荒れ具合とを算出する算出部を更に備えることを特徴とする。

また、本発明は、上記発明において、前記推論モデルは、深層学習を適用した学習用プログラムにより機械学習されたものであることを特徴とする。

また、本発明は、上記発明において、前記推論モデルは、Single Shot Multibox Detectorを利用した学習用プログラムにより機械学習されたものであることを特徴とする。

また、本発明は、物体把持システムであって、前記物体検出装置と、前記物体としてのワークの画像を撮像する撮像部と、ワークを把持するための把持部と、前記推定部から出力されたワークの位置及び回転角度に基づいて、前記把持部によりワークを把持させるように前記把持部を制御する制御部と、を備えることを特徴とする。

また、本発明は、上記発明において、前記ラベル情報には、ワークを掴むための位置である複数のピッキングポイントが更に含まれ、前記推定部は、ワークのピッキングポイントを更に出力し、前記制御部は、前記ピッキングポイントに基づいて、前記把持部により把持させるワークの位置を決定することを特徴とする。

また、本発明は、上記発明において、前記推定部は、前記ピッキングポイントの信頼度を更に出力することを特徴とする。

また、本発明は、上記発明において、ワークが複数存在し、前記推定部は、各ワークのピッキングポイントを出力し、前記制御部は、前記複数のワークのうち、前記推定部により出力されたピッキングポイントの数が相対的に多いワークを優先して前記把持部により把持させることを特徴とする。

また、本発明は、物体検出方法であって、検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度がラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、検出対象の物体の画像から当該物体の位置及び回転角度を出力する推定ステップを含むことを特徴とする。

また、本発明は、物体検出プログラムであって、検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度がラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、検出対象の物体の画像から当該物体の位置及び回転角度を出力する推定処理をコンピュータに実行させることを特徴とする。

また、本発明は、物体検出装置であって、検出対象の物体の画像に対して、少なくとも当該物体の位置と当該物体を掴むための位置であるピッキングポイントとがラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、検出対象の物体の画像から当該物体の位置及びピッキングポイントを出力する推定部を備えることを特徴とする。

本発明の物体検出装置、物体把持システム、物体検出方法及び物体検出プログラムによれば、１つ１つの物体が存在する領域をより正確に検出することができる。

実施形態１におけるワークの検出手法の概要を説明するための模式図であり、機械学習用のデータセットの生成段階におけるワークに対する矩形のバウンディングボックス及びピッキングポイントの設定方法を示す。 実施形態１におけるワークの検出手法の概要を説明するための別の模式図であり、学習済みモデルである推論モデルによって検出された矩形のバウンディングボックス（ワークの位置及び回転角度）及びピッキングポイントを示す。 実施形態１におけるバウンディングボックスの位置と回転角度を説明するための別の模式図である。 実施形態１に係る物体把持システムの全体構成を説明する図である。 実施形態１においてバラ積みされたワークの二次元画像を示す模式図である。 実施形態１においてバラ積みされたワークの二次元画像に基づいて推論モデルによって出力された矩形のバウンディングボックス（ワークの位置及び回転角度）及びピッキングポイントを示す模式図である。 実施形態１に係る物体検出装置の構成を説明するブロック図である。 実施形態１に係る物体把持システムで行われる物体検出処理及びピッキング処理の手順の一例を示すフローチャートである。 非特許文献１に記載の手法によって検出された矩形のバウンディングボックス（ワークの位置）を示す。

以下、本発明に係る物体検出装置、物体把持システム、物体検出方法及び物体検出プログラムの好適な実施形態を、図面を参照しながら説明する。本発明において、物体検出装置が検出する具体的な物体は、特に限定されないが、以下では、物体として、物体把持システムで把持されるワークを検出する場合について説明する。

＜ワークの検出手法の概要＞
まず、図１及び２を用いて、実施形態１におけるワークの検出手法の概要について説明する。本実施形態では、検出対象であるワークの二次元画像に対して、少なくとも当該ワークの位置及び回転角度がラベル情報（正解データ）として付されたデータセットにより機械学習された推論モデルを用いる。すなわち、図１に示すように、ワークＷの外周に沿うように、バウンディングボックスＢＢの中心に対して適宜回転させた矩形のバウンディングボックスＢＢを設定し、このバウンディングボックスＢＢの位置及び回転角度を学習用プログラムに学習させる。このとき、回転角度の基準となる方向（０°方向）も同時に学習させる。そして、このように機械学習させた推論モデルを用いて、ワークＷの二次元画像から当該ワークＷの位置及び回転角度を出力する。すなわち、図２に示すように、ワークＷの外周に沿うように、バウンディングボックスＢＢの中心に対して適宜回転した矩形のバウンディングボックスＢＢの位置及び回転角度が、当該ワークＷの位置及び回転角度として、推論モデルによって推定されることとなる。したがって、ワークＷの回転角度によらず、バウンディングボックスＢＢ中の余白を小さくすることができる。すなわち、非特許文献１に記載の手法に比べて、ワークＷが存在する領域にバウンディングボックスＢＢをより一致させることができるため、ワークＷが存在する領域をより正確に検出することが可能となる。また、実際にはワークＷが重なっていない場合において、検出したバウンディングボックスＢＢが重なり合ってしまう可能性を低減できることから、ワークＷの重なりをより正確に検知することが可能となる。もちろん、二次元画像に写っているワークＷの数も検出可能である。

なお、バウンディングボックスＢＢの位置、すなわち推定されるワークＷの位置は、図３に示すように、バウンディングボックスＢＢが回転角度θで回転する前のｘ軸とｙ軸に沿った状態での左上の座標（ｘ_１，ｙ_１）及び右下の座標（ｘ_２，ｙ_２）で表される。

また、本実施形態では、学習用プログラムに、ワークＷの種類（クラス）と、ワークＷの表裏及び側面と、物体把持システムでワークＷを掴むための位置であるピッキングポイントＰＰとを学習させる。そして、推論モデルにより、ワークＷの二次元画像から、当該ワークＷの種類（クラス）と、当該ワークＷがどの程度その種類であるかを示すワーク全体の信頼度と、当該ワークＷが表面、裏面又は側面のいずれが撮像されているを示す向き情報と、当該ワークＷのピッキングポイントＰＰと、ピッキングポイントＰＰが二次元画像上にどの程度写っているかを示すピッキングポイントＰＰの信頼度とを更に出力する。

なお、向き情報は、ワークＷの表面又は裏面のいずれかが撮像されているかを示す表裏情報と、ワークＷの側面が撮像されているかを示す側面情報とを包含するものである。

＜物体把持システムの全体構成＞
次に、図４を用いて、本実施形態の物体把持システムの全体構成について説明する。図４に示すように、本実施形態の物体把持システム１は、ワークＷを撮像する撮像部２と、撮像部２で取得されたワークＷの画像に基づいてワークＷの位置、回転角度等を検出する物体検出装置３と、物体検出装置３の検出結果に基づいてロボット５を制御する制御部としての制御装置４と、制御装置４の制御信号に基づいて動作し、ワークＷを把持する把持部５１を備えるロボット５と、を備えている。撮像部２は、物体検出装置３と通信可能に接続され、物体検出装置３は、制御装置４と通信可能に接続され、制御装置４は、ロボット５と通信可能に接続されている。本実施形態では、図４に示すように、一方のかご６ａ内にバラ積みされた複数の種類を含む複数のワークＷを一つずつ把持部５１で掴んで取り出し、他方のかご６ｂ内に移し替える。

撮像部２は、２つのかご６ａ及び６ｂの上方に固定されており、かご６ａ及び６ｂを含む所定エリアの画像、ここでは動画像（映像）を取得する。これにより、移動する前後と移動中のワークＷを同一画像内に収めることができる。また、撮像部２は、ＲＧＢのカラーの二次元画像を取得可能なカメラ（ビデオカメラ、図示せず）と、対象物までの距離情報を各画素が有する深度画像を取得可能なＤｅｐｔｈカメラ（図示せず）とを備えており、ワークＷの二次元画像及び深度画像をそれぞれ取得するとともに、取得した二次元画像及び深度画像を物体検出装置３に出力する。なお、本実施形態では、二次元画像として、ＲＧＢのカラー画像の代わりにグレースケール画像を使用してもよい。

物体検出装置３は、データセットの機械学習により作成された推論モデルを備え、撮像部２によって取得されたワークＷの二次元画像に基づいて、ワークＷの位置、回転角度等を検出するための装置である。物体検出装置３は、上述のように、推論モデルを用いて、図５に示すようなワークＷの二次元画像に基づいて、図６に示すようにかご６ａ内のワークＷの位置及び回転角度を出力する。また、推論モデルを用いて、ワークＷの種類と、ワーク全体の信頼度と、ワークＷの向き情報（表裏情報及び側面情報）と、ワークＷのピッキングポイントＰＰの座標と、ピッキングポイントＰＰの信頼度とを更に出力する。

また、物体検出装置３は、撮像部２によって取得されたワークＷの深度画像に基づいて、各ピッキングポイントＰＰにおけるワークＷの傾き及び面の荒れ具合と、各ピッキングポイントＰＰまでの距離とを算出する。

制御装置４は、ロボット５の動作を制御する装置であり、ワークＷの位置、回転角度等の物体検出装置３の検出結果に基づいて、ロボット５の動作を制御するための制御信号を生成し、ロボット５に出力する。制御装置４は、一般的なパーソナルコンピューター相当の機能を有する情報処理装置から構成されている。

ロボット５は、制御装置４の制御に基づいて動作するロボットであり、ワークＷを把持するための把持部５１と、把持部５１が装着され、回転及び移動可能なアーム部５２と、アーム部５２が装着され、水平面内で回転可能な土台部５３とを備えている。ロボット５は、制御装置４から出力された制御信号に従い、把持部５１やアーム部５２等を駆動し、把持部５１をかご６ａ内にバラ積みされたワークＷのうちの把持すべき一つのワークＷまで移動させ、そのワークＷを把持部５１で把持してかご６ａから取り出し、取り出したワークＷをかご６ｂ内に移動させ、そして、そのワークＷを離してかご６ｂ内に収容する。

把持部５１は、ワークを吸着することにより把持する吸着パッド５１ａを備えている。吸着パッド５１ａにはゴムチューブ等のエアー吸引管（図示せず）が取り付けられており、エアー吸引管の基端部分にはエアー吸引部（図示せず）が取り付けられている。そして、エアー吸引部によってエアー吸引管を介して吸着パッド５１ａからエアーが吸引されることにより、吸着パッド５１ａはワークＷを吸着する。本実施形態では、吸着パッド５１ａ、エアー吸引管及びエアー吸引部を組み合わせることにより、ワークＷを把持するための把持部５１が構成されている。

ワークＷは、ロボット５の把持部５１によって把持可能なものであれば特に限定されず、その形状や材質等も特に限定されないが、本実施形態では、ワークＷとして、袋状の容器に包装された複数種の菓子を扱う場合について説明する。各ワークＷは、平面視矩形状であるが、その外周は、中身の菓子の厚みや、外からの圧力に応じて、変形し得るものである。また、各ワークＷは、表面と裏面と側面とでそれぞれ異なる外観を有しており、ワークＷのサイズは、菓子の種類によって異なっている。

＜物体検出装置の構成＞
次に、図７を用いて、物体検出装置３の構成について更に説明する。図７に示すように、物体検出装置３は、一般的なパーソナルコンピューター相当の機能を有する情報処理装置から構成され、制御部１０及び記憶部２０を備えている。

制御部１０は、画像入力部１１と、推定部１２と、算出部１３と、出力部１４との機能を備えている。制御部１０は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するＣＰＵ（Central Processing Unit）と、該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部１０の動作に必要なソフトウェアプログラムやデータは記憶部２０に記憶される。

なお、制御部１０の図７に示した各部は、制御部１０のＣＰＵで物体検出プログラムを実行させることによって実現される。物体検出プログラムは、物体検出装置３に予め導入されてもよいし、汎用ＯＳ上で動作可能なアプリケーションプログラムとして、コンピュータ読み取り可能な記録媒体に記録して、又は、ネットワークを介して、操作者に提供されてもよい。

記憶部２０は、ハードディスク装置や不揮発性メモリ等の記憶装置から構成され、推論モデル２１を記憶している。

画像入力部１１は、撮像部２から二次元画像及び深度画像をそれぞれ取得する処理を行い、二次元画像を推定部１２に、深度画像を算出部１３に、それぞれ出力する。

推定部１２は、記憶部２０に記憶された推論モデル２１を用いて、画像入力部１１から出力されたワークの二次元画像に基づいて、ワークの位置と、ワークの回転角度と、ワークの種類と、ワーク全体の信頼度と、ワークの向き情報（表裏情報及び側面情報）と、ワークのピッキングポイントの座標と、ピッキングポイントの信頼度とを出力（推定）する。

なお、物体検出装置３は、撮像部２で撮影された画像を表示するモニタ（表示装置）を更に備えてもよく、推定部１２による出力結果をモニタに表示可能なように構成されていてもよい。例えば、図６に示したように、モニタにおいて、ワークＷの二次元画像上に、ワークＷを囲むバウンディングボックスＢＢと、ピッキングポイントＰＰとがオーバーレイ表示されてもよい。

ここで、推論モデル２１について説明する。推論モデル２１は、ラベル情報（正解データ）が付されたデータセット（教師データ）の教師あり機械学習により作成される。より具体的には、推論モデル２１は、ワークの二次元画像を入力データとし、そのワークに付与された位置や回転角度等の情報をラベルとして、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を利用した学習用プログラムにより深層学習（ディープラーニング）を行うことによって作成される。本実施形態では、畳み込みニューラルネットワークとして、Single Shot Multibox Detector（ＳＳＤ）のネットワークに対して、ワークの回転角度を出力するためのネットワークと、ワークのピッキングポイントを出力するためのネットワークとをそれぞれ追加したニューラルネットワークを利用する。

教師あり機械学習により作成された推論モデル２１は、学習済みパラメータが組み込まれた推論プログラム（学習済みモデル）として機能する。なお、学習済みパラメータは、データセットを用いた学習の結果、得られたパラメータ（係数）である。また。推論プログラムは、物体検出用プログラムであって、入力として与えられたワークの二次元画像に対して、学習の結果として取得された学習済みパラメータを適用し、当該画像に対する結果（具体的には、上述したようなワークの位置や回転角度等）を出力するための一連の演算手順を規定したプログラムである。

機械学習に用いるデータセットは、例えば、以下のようにして生成することができる。まず、各種のワークの表面、裏面及び側面それぞれの二次元画像を取得する。このとき、回転角度や形状等を適宜変更して様々な状態のワークの二次元画像を取得する。また、ワークの二次元画像は、一つのワークのみが撮像されたものでもよいし、二つ以上のワークが撮像されたものでもよい。二つ以上のワークを撮像する場合は、少なくとも二つのワークが重なり合っていてもよい。そして、取得した各二次元画像において、各ワークの外周に沿うように、バウンディングボックスの中心に対して適宜回転させた矩形のバウンディングボックスを設定することによって、バウンディングボックスの左上及び右下の座標をワークＷの位置に指定し、また、バウンディングボックスＢＢの回転角度をワークの回転角度に指定する。また、各ワークについて、種類と、表面、裏面又は側面のいずれかを示す向き情報と、ピッキングポイントの座標とを設定する。ピッキングポイントについては、把持部５１による把持に適した場所が選択され、基本的には、各ワークの中心部と、各ワークの四隅近傍との計５箇所を設定するが、ワークが重なり合っている場合やワークが大きく変形している場合、ワークの側面が撮像されている場合等は、ピッキングポイントの位置及び数は、適宜変更してもよい。以上の結果、各二次元画像に対して、各ワークの位置、回転角度、種類、向き情報（表裏情報及び側面情報）及びピッキングポイントがラベル情報として付されたデータが生成される。これにより、各ワークの画像と、そのワークの位置、回転角度、種類、向き情報及びピッキングポイントとが対応付けられることとなる。最後に、データオーギュメンテーションにより見かけ上のデータ数を増やすことによってデータセットを生成する。より具体的には、生成した上記データから各ワークの部分のみを切り出した部分画像と、ワークを把持する環境のみを別途撮像した背景画像とを乱数を利用して様々な状態で合成し、データセットを生成する。

なお、作成された推論モデル２１は、その後、追加学習されてもよい。すなわち、推論モデル２１に異なるデータセットを適用し、更なる学習を行うことによって、新たに学習済みパラメータを生成し、この新たな学習済みパラメータが組み込まれた推論プログラムを推論モデル２１として利用してもよい。

また、機械学習は、物体検出装置３が備えるプロセッサにより実行してもよいが、専用のサーバやクラウド上のサーバといった演算処理能力に優れたコンピュータにより実行することが好ましい。

算出部１３は、撮像部２によって取得されたワークの深度画像に基づいて、推論モデルによって出力された各ピッキングポイントにおけるワークの傾き及び面の荒れ具合を算出し、出力する。

ピッキングポイントにおけるワークの傾きは、ピッキングポイントにおけるワークの面の法線の向きであり、ピッキングポイントに該当する画素の距離情報と、その周辺の画素の距離情報とから算出される。

ピッキングポイントにおけるワークの面の荒れ具合は、ピッキングポイントを含む所定領域内においてワークの表面がどの程度平坦であるかを示すパラメータである。より具体的には、ピッキングポイントと、その付近の３Ｄ点群データを最小二乗法で面に近似したときの外れ値の割合で表される。外れ値の計算にはロバスト推定を用いる。

また、算出部１３は、ワークの深度画像に含まれる各画素の距離情報に基づいて、各ピッキングポイントまでの距離（各ピッキングポイントの深度）を出力する。

出力部１４は、推定部１２から出力されたワークの位置、回転角度等の情報と、算出部１３から出力された各ピッキングポイントにおけるワークの傾き等の情報とをそれぞれ取得する処理を行い、取得した情報を制御装置４に出力する。

＜ワークの把持及び移動方法＞
次に、物体把持システム１におけるワークの把持及び移動方法について説明する。まず、図６に示したように、物体検出装置３によって検出されたかご６ａ内の１以上のワークＷの中から、制御装置４が、ロボット５の把持部５１で把持する一つのワークＷを決定する。より具体的には、制御装置４は、推定部１２によって出力された、ワーク全体の信頼度と、ワークＷのピッキングポイントＰＰ及びその信頼度と、算出部１３によって出力された、各ピッキングポイントＰＰにおけるワークＷの傾き及び面の荒れ具合と、各ピッキングポイントまでの距離とに基づいて、物体検出装置３によって検出された１以上のワークＷの中から、把持対象となる一つのワークＷを決定する。把持対象となるワークＷとしては、ワーク全体の信頼度が高く、ピッキングポイントＰＰの数が多く、ピッキングポイントＰＰの信頼度が高く、各ピッキングポイントＰＰにおけるワークＷの傾き及び面の荒れ具合が小さく、各ピッキングポイントまでの距離が近いものが好ましい。特に、より上方に位置するワークＷの方が把持しやすいことから、制御装置４は、検出されたピッキングポイントＰＰの数が多いワークＷを優先的に把持対象とする。同様の観点から、制御装置４は、検出されたピッキングポイントＰＰまでの距離の平均が小さいワークＷを優先的に把持対象としてもよい。また、把持部５１の具体的な構成や、ピッキングポイントＰＰの場所や信頼度、その他の情報から、各ピッキングポイントＰＰに優先順位をあらかじめ設定してもよく、その場合、制御装置４が、優先順位が高いピッキングポイントＰＰが検出されたワークＷを優先的に把持対象としてもよい。

次いで、制御装置４は、把持対象となったワークＷの１以上のピッキングポイントＰＰに基づいて、把持部５１により把持させる位置に決定する。より具体的には、信頼度が低いピッキングポイントＰＰは隠れている場合が多いため、制御装置４は、信頼度が所定の値以下のピッキングポイントＰＰを除くピッキングポイントＰＰの中から、最も信頼度が高いピッキングポイントＰＰを把持部５１により把持させる位置に決定する。

次いで、制御装置４は、決定した位置（最も信頼度が高いピッキングポイントＰＰ）上に吸着パッド５１ａが到達するようにロボット５を移動させ、その後、エアー吸引部を制御し、エアー吸引部によってエアー吸引管を介して吸着パッド５１ａからエアーを吸引する。この結果、ワークＷが吸着パッド５１ａに吸着される。すなわち、ワークＷは、吸着パッド５１ａにより把持される。

そして、制御装置４は、ロボット５を移動させ、かご６ａから取り出されたワークＷがかご６ｂ内に到達すると、エアー吸引部による吸着パッド５１ａからのエアーの吸引を停止する。この結果、吸着パッド５１ａにより把持されていたワークＷが吸着パッド５１ａから離れ、かご６ｂ内に収容される。ワークＷをロボット５で移動する際、制御装置４は、推定部１２によって出力されたワークＷの回転角度に基づいて、必要に応じてワークＷを水平面内で回転させ、ワークＷの向きを所定の方向に一致させる。これにより、かご６ｂ内でワークＷを整列させることができる。また、ワークＷをロボット５で移動する際、制御装置４は、推定部１２によって出力されたワークＷの向き情報（表裏情報及び側面情報）に基づいて、当該ワークＷが表面と裏面と側面とのいずれの面が上方に向いているかを判定し、表面が上方に向いている場合は、ワークＷがそのままかご６ｂ内に載置されるようにロボット５を制御する。他方、裏面が上方に向いている場合は、ワークＷが上下反転するようにロボット５を制御し、側面が上方に向いている場合は、ワークＷの表面が上方に向くようにロボット５を制御する。これにより、表面が上方を向いた状態でワークＷをかご６ｂ内に収容することができる。

なお、制御装置４による把持対象のワークＷ及びその把持すべき位置の決定方法は、上述の方法に特に限定されず、例えば、制御装置４は、物体全体の信頼度が所定値以上のワークＷのうち、中心部のピッキングポイントＰＰの信頼度が最も高いワークＷを把持対象とし、そのワークＷの中心部のピッキングポイントＰＰを把持部５１によって把持する位置に決定してもよい。

また、制御装置４は、推定部１２によって出力されたワークＷの位置及び回転角度に基づいて、把持部５１によりワークＷを把持させるように把持部５１を制御してもよい。この場合、例えば、制御装置４は、把持対象となったワークＷの位置及び回転角度に基づいて、ワークＷが存在する領域を推定し、その領域内に把持部５１により把持させる位置を設定してもよい。

＜物体検出処理及びピッキング処理の手順＞
次に、図８を用いて、物体把持システム１で行われる物体検出処理及びピッキング処理の手順について説明する。

図８に示すように、まず、画像入力部１１に、撮像部２から複数のワークの二次元画像及び深度画像がそれぞれ入力される（画像入力ステップＳ１１）。

次に、推定部１２が、推論モデル２１を用いて、入力された二次元画像から、ワークの位置と、ワークの回転角度と、ワークの種類と、ワーク全体の信頼度と、ワークの向き情報（表裏情報及び側面情報）と、ワークのピッキングポイントと、ピッキングポイントの信頼度とを出力する（推定ステップＳ１２）。

次に、算出部１３が、入力された深度画像から、各ピッキングポイントにおけるワークの傾き及び面の荒れ具合を算出し、出力するとともに、各ピッキングポイントまでの距離を出力する（算出ステップＳ１３）。

次に、制御装置４が、かご６ａ内の複数のワークの中から把持対象となる一つのワークを決定するとともに、そのワーク上において把持部５１により把持させる位置を決定する（把持対象及び把持位置の決定ステップＳ１４）。

そして、制御装置４が、把持対象としたワークを把持部５１により把持させるようにロボット５を制御し、その後、そのワークＷをかご６ｂ内に移動して収容させるようにロボット５を制御し（把持及び移動ステップＳ１５）、物体検出処理及びピッキング処理を終了する。

以上説明したように、本実施形態では、検出対象のワークの画像（二次元画像）に対して、少なくとも当該ワークの位置及び回転角度がラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、推定部１２が、検出対象のワークの画像（二次元画像）から当該ワークの位置及び回転角度を出力することから、検出対象のワークの位置のみならず回転角度を推測することができる。したがって、１つ１つのワークが存在する領域をより正確に検出することができる。

また、本実施形態では、ラベル情報には、ワークの種類が更に含まれ、推定部１２が、ワークの種類を更に出力することから、検出対象のワークの種類を推測することができる。したがって、１つ１つのワークが存在する領域を種類ごとに検出することができる。

また、本実施形態では、ワークは、表面と、表面と外観が異なる側面及び裏面とを有し、ラベル情報には、ワークの表面、側面及び裏面のうちのいずれの面が撮像されているかを示す向き情報（表裏情報及び側面情報）が更に含まれ、推定部１２が、ワークの向き情報（表裏情報及び側面情報）を更に出力することから、検出対象のワークの表裏及び側面を推測することができる。

また、本実施形態では、ラベル情報には、ワークを掴むための位置であるピッキングポイントが更に含まれ、推定部１２が、ワークのピッキングポイントを更に出力することから、検出対象のワークのピッキングポイントを推測することができる。

また、本実施形態の物体検出装置３は、ワークの深度画像から、推定部１２により出力されたピッキングポイントにおけるワークの傾きと面の荒れ具合とを算出する算出部１３を更に備えることから、検出対象のワークのピッキングポイントにおける当該ワークの傾きと面の荒れ具合とに基づいて、当該ピッキングポイントを把持しやすいか否かを判定することができる。

また、本実施形態では、推論モデルが、ＳＳＤを利用した学習用プログラムにより機械学習されたものであることから、ワークの位置検出の処理を高速化することができる。

また、本実施形態では、物体検出装置３の推定部１２から出力されたワークの位置及び回転角度に基づいて、制御装置４が、把持部５１によりワークを把持させるように把持部５１を制御することから、ワークＷをより確実に把持部５１によって把持することができる。物体検出装置３によって１つ１つのワークが存在する領域をより正確に検出できるためである。

また、本実施形態では、ラベル情報には、ワークを掴むための位置である複数のピッキングポイントが更に含まれ、推定部１２が、ワークのピッキングポイントを更に出力し、制御装置４が、ピッキングポイントに基づいて、把持部５１により把持させるワークの位置を決定することから、推定部１２によって出力されるピッキングポイントの数を増やすことができる、すなわちピッキングポイントの選択肢を増やすことができる。したがって、ワークを更に確実に把持部５１によって把持することができる。

また、本実施形態では、推定部１２が、ピッキングポイントの信頼度を更に出力することから、物体検出装置３によって検出されたピッキングポイントとその信頼度に基づいてワークを把持する位置を決定することができる。したがって、ワークを更に確実に把持部５１によって把持することができる。

また、本実施形態では、ワークが複数存在し、推定部１２が、各ワークのピッキングポイントを出力し、制御装置４が、複数のワークのうち、推定部１２により出力されたピッキングポイントの数が相対的に多いワークを優先して把持部推定部１２により把持させることから、ピッキングポイントの数が相対的に多い、すなわち、より上方にあるワークを優先的に把持部５１により把持させることできる。したがって、ワークを更に確実に把持部５１によって把持することができる。

なお、上記実施形態では、把持部５１が、吸着パッド５１ａを備え、エアーを吸引することによってワークを把持する場合について説明したが、把持部５１の具体的な構成は、特に限定されず、例えば、把持部５１は、複数の挟持部材を備え、これらの挟持部材によりワークを挟持するものであってもよい。また、把持部５１の具体的な構成に応じて、把持対象として優先すべきピッキングポイントを変更してよい。例えば、吸着パッド５１ａを備える場合は、ワークの中心部のピッキングポイントを優先し、挟持部材を備える場合は、ワークの隅部のピッキングポイントを優先してもよい。

また、上記実施形態では、ワークの表裏情報及び側面情報を含む向き情報を出力する場合について説明したが、ワークの側面を学習用プログラムに学習させずにワークの表面及び裏面を学習用プログラムに学習させてもよい。すなわち、ワークは、表面と、表面と外観が異なる裏面とを有し、ラベル情報には、ワークの表面及び裏面のうちのいずれかの面が撮像されているかを示す表裏情報が更に含まれ、推定部１２が、ワークの表裏情報を更に出力してもよい。この場合は、検出対象のワークの表裏を推測することができる。他方、ワークの表面及び裏面を学習用プログラムに学習させずにワークの側面を学習用プログラムに学習させてもよい。すなわち、ワークは、側面を有し、ラベル情報には、ワークの側面が撮像されているかを示す側面情報が更に含まれ、推定部１２が、ワークの側面情報を更に出力してもよい。この場合は、検出対象のワークの側面が撮像されているかを推測することができる。

また、上記実施形態では、推論モデル２１が畳み込みニューラルネットワークを利用した深層学習により構築された場合について説明したが、推論モデル２１は、機械学習により作成されたものであれば特に限定されず、推論モデル２１は、深層学習以外の機械学習により作成されたものであってもよい。ただし、ワークの位置検出処理の高速化の観点からは、上述のＳＳＤや、You Only Look Once（ＹＯＬＯ）といった、畳み込みニューラルネットワークを利用した深層学習により構築されることが好ましい。特に、ＳＳＤが好ましい。

また、上記実施形態では、ワークの位置及び回転角度を推論モデルによって出力する場合について説明したが、少なくともワークの位置及びピッキングポイントを推論モデルによって出力してもよい。このように、回転角度を推論モデルによって出力しない場合であっても、ワークＷの回転角度によらず、ワークＷが存在する領域をより正確に検出することができる。ピッキングポイントは、ワークＷ上に検出されるためである。

また、上記実施形態では、物体検出装置３と制御装置４とを別々の装置とする場合について説明したが、これらの装置を一体の装置により実現してもよい。また反対に、各装置３、４の各機能を適宜複数の装置に分散した分散処理システムにより実現してもよい。

上記実施形態で説明したように、機械学習に用いられるワークの画像、及び学習済みの推論モデルに入力されるワークの画像としては、二次元画像が好適であるが、検出対象のワークの画像、すなわちワークの検出（認識）に用いられる画像の種類は、二次元画像に特に限定されない。

以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。また、各実施形態の構成は、本発明の要旨を逸脱しない範囲において適宜組み合わされてもよいし、変更されてもよい。

以上のように、本発明は、物体を撮影した二次元映像に基づいて、１つ１つの物体が存在する領域を検出するのに有用な技術である。

１：物体把持システム
２：撮像部
３：物体検出装置
４：制御装置（制御部）
５：ロボット
６ａ、６ｂ：かご
１０：制御部
１１：画像入力部
１２：推定部
１３：算出部
１４：出力部
２０：記憶部
２１：推論モデル
５１：把持部
５１ａ：吸着パッド
５２：アーム部
５３：土台部
Ｗ：ワーク
ＢＢ：バウンディングボックス
ＰＰ：ピッキングポイント

Claims (11)

1. 検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度並びに当該物体を掴むための位置であるピッキングポイントがラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、検出対象の物体の画像から当該物体の位置、回転角度及びピッキングポイントを出力する推定部と、
   前記物体の深度画像から、前記推定部により出力された前記ピッキングポイントにおける前記物体の傾きと前記ピッキングポイントを含む所定領域内において３Ｄ点群データを最小二乗法で面に近似したときの外れ値の割合を算出する算出部と、
   を備えることを特徴とする物体検出装置。
2. 前記ラベル情報には、前記物体の種類が更に含まれ、
   前記推定部は、前記物体の種類を更に出力する
   ことを特徴とする請求項１記載の物体検出装置。
3. 前記物体は、表面と、前記表面と外観が異なる裏面とを有し、
   前記ラベル情報には、前記物体の前記表面及び前記裏面のうちのいずれかの面が撮像されているかを示す表裏情報が更に含まれ、
   前記推定部は、前記物体の表裏情報を更に出力する
   ことを特徴とする請求項１又は２記載の物体検出装置。
4. 前記物体は、側面を有し、
   前記ラベル情報には、前記物体の前記側面が撮像されているかを示す側面情報が更に含まれ、
   前記推定部は、前記物体の側面情報を更に出力する
   ことを特徴とする請求項１～３のいずれかに記載の物体検出装置。
5. 前記推論モデルは、深層学習を適用した学習用プログラムにより機械学習されたものであることを特徴とする請求項１～４のいずれかに記載の物体検出装置。
6. 前記推論モデルは、Single Shot Multibox Detectorを利用した学習用プログラムにより機械学習されたものである
   ことを特徴とする請求項５記載の物体検出装置。
7. 請求項１～６のいずれかに記載の物体検出装置と、
   前記物体としてのワークの画像を撮像する撮像部と、
   ワークを把持するための把持部と、
   前記推定部から出力されたワークの位置、回転角度及びピッキングポイントに基づいて、前記把持部によりワークを把持させるように前記把持部を制御する制御部と、
   を備えることを特徴とする物体把持システム。
8. 前記推定部は、前記ピッキングポイントの信頼度を更に出力する
   ことを特徴とする請求項７記載の物体把持システム。
9. ワークが複数存在し、
   前記推定部は、各ワークのピッキングポイントを出力し、
   前記制御部は、前記複数のワークのうち、前記推定部により出力されたピッキングポイントの数が相対的に多いワークを優先して前記把持部により把持させる
   ことを特徴とする請求項７又は８記載の物体把持システム。
10. 検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度並びに当該物体を掴むための位置であるピッキングポイントがラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、検出対象の物体の画像から当該物体の位置、回転角度及びピッキングポイントを出力する推定ステップと、
    前記物体の深度画像から、前記推定ステップにより出力された前記ピッキングポイントにおける前記物体の傾きと前記ピッキングポイントを含む所定領域内において３Ｄ点群データを最小二乗法で面に近似したときの外れ値の割合を算出する算出ステップと、
    を含むことを特徴とする物体検出方法。
11. 検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度並びに当該物体を掴むための位置であるピッキングポイントがラベル情報として付されたデータセットにより機械学習された推論モデルを用いて、検出対象の物体の画像から当該物体の位置、回転角度及びピッキングポイントを出力する推定処理と、
    前記物体の深度画像から、前記推定処理により出力された前記ピッキングポイントにおける前記物体の傾きと前記ピッキングポイントを含む所定領域内において３Ｄ点群データを最小二乗法で面に近似したときの外れ値の割合を算出する算出処理と、
    をコンピュータに実行させることを特徴とする物体検出プログラム。
    

Images