JP2014240110A - ビンピッキング性能評価装置及び方法 - Google Patents

Abstract

【課題】膨大な計算時間がかかることなく、ビンピッキング装置の性能を模擬的に評価する。【解決手段】記憶装置１１は、ワークの形状を表すワーク形状モデルＷと、ロボットハンドの形状を表すロボットハンド形状モデルＨと、１回の試行でワークの取り出しに成功するときの単位サイクルタイムＴ１とを格納する。演算装置１２は、ワーク形状モデルＷに基づいて、ワークを複数の方向から模擬的に撮影して複数のワーク画像を生成する画像生成器２１と、複数のワーク画像及びロボットハンド形状モデルＨに基づいて、ワークを取り出す成功率を評価する成功率評価器２２と、成功率及び単位サイクルタイムＴ１に基づいて、ワークを取り出す推定サイクルタイムＴを計算する推定サイクルタイム計算器２３とを備える。【選択図】図１

Description

本発明は、視覚センサ及びロボットハンドを用いて、乱雑に積まれた物体（ワーク）を取り出す作業（バラ積み取り出しやビンピッキングと呼ばれる）の性能評価を、事前のシミュレーションにて行うビンピッキング性能評価装置及び方法に関する。

視覚センサ及びロボットハンドを用いて、乱雑に積まれた物体（ワーク）を取り出すビンピッキング装置が知られている（例えば特許文献１）。ビンピッキング装置の性能を評価するために、その動作を模擬的に実行するビンピッキング性能評価装置が知られている（例えば特許文献２）。

従来のビンピッキング性能評価装置は、仮想作業環境上において、実際の作業を行うのと同等の視覚センサ、ロボットハンド、及びワークを配置し、さらに、ワークを乱雑に積んだ状態を作成する。そして、その仮想作業環境上で実際の作業を模擬的に実行し、作業時間を推定する。

国際公開第ＷＯ２０１２／０６６８１９号 特許第４１５３５２８号公報

堂前、「一般物体把持のためのハンドモデル表現と距離画像へのフィッティング」、日本ロボット学会学術講演会予稿集、ROMBUNNO.2O3-2、2012

従来のビンピッキング性能評価装置では、実際の工程に基づき３次元の仮想作業環境上においてワークの取り出し作業を模擬的に実行するので、膨大な計算時間がかかるが、正確なシミュレーション結果を得ることができる。シミュレーションの正確さは、ロボット動作のオフライン教示など、実際のシステム構築の際の細かな課題解決に有効である。しかし、膨大な計算時間がかかるので、ビンピッキング装置を導入する顧客が技術セールスマンと打ち合わせする際に、ビンピッキング装置がどの程度の性能を有するのかを見積るような場合において、その場で見積り結果を出すことができない。

また、従来のビンピッキング性能評価装置は、システムインテグレータのような専門家でなければ扱うのが難しいという課題がある。ビンピッキング装置の性能を評価するために、技術セールスマンが商談時において簡易に実行可能なシミュレーション技術は未だ開発されていない。

本発明の目的は、以上の課題を解決し、膨大な計算時間がかかることなく、ビンピッキング装置の性能を模擬的に評価することができるビンピッキング性能評価装置及び方法を提供することにある。

本発明の態様に係るビンピッキング性能評価装置によれば、
視覚センサ及びロボットハンドを備えたビンピッキング装置がワークを取り出すサイクルタイムを模擬的に評価するビンピッキング性能評価装置において、
上記ビンピッキング性能評価装置は記憶手段及び演算手段を備え、
上記記憶手段は、
上記ワークの形状を表すワーク形状モデルと、
上記ロボットハンドの形状を表すロボットハンド形状モデルと、
１回の試行で上記ワークの取り出しに成功するときの単位サイクルタイムとを格納し、
上記演算手段は、
上記ワーク形状モデルに基づいて、上記ワークを複数の方向から模擬的に撮影して複数のワーク画像を生成する画像生成手段と、
上記複数のワーク画像及び上記ロボットハンド形状モデルに基づいて、上記ワークを取り出す成功率を評価する成功率評価手段と、
上記成功率及び上記単位サイクルタイムに基づいて、上記ワークを取り出す推定サイクルタイムを計算する推定サイクルタイム計算手段とを備えたことを特徴とする。

本発明のビンピッキング性能評価装置によれば、膨大な計算時間がかかることなく、ビンピッキング装置の性能を模擬的に評価することができる。

本発明の実施の形態１に係るビンピッキング性能評価装置１の基本構成を示す機能ブロック図である。 図１の演算装置１２によって実行されるビンピッキング性能評価処理を示すフローチャートである。 図２の認識率評価処理のステップＳ４を示すサブルーチンである。 図２の把持率評価処理のステップＳ５を示すサブルーチンである。 図２の単離率評価処理のステップＳ６を示すサブルーチンである。 （ａ）は例示的なロボットハンド形状モデルの側面図を示し、（ｂ）は（ａ）のロボットハンド形状モデルの投影図を示す図である。 （ａ）は例示的なワーク画像３３を示し、（ｂ）は（ａ）のワーク４１の凹部４２を示し、（ｃ）は（ａ）のワーク４１の内周４３を示す図である。 （ａ）はワークＷ１を単離可能な配置を示し、（ｂ）はワークＷ１を単離できない配置を示す図である。 本発明の実施の形態２に係るビンピッキング性能評価装置１Ａの基本構成を示す機能ブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。各図面にわたって、同様の構成要素は、同じ符号により示す。

実施の形態１．
図１は、本発明の実施の形態１に係るビンピッキング性能評価装置の基本構成を示す機能ブロック図である。ビンピッキング性能評価装置１は、視覚センサ及びロボットハンドを備えたビンピッキング装置がワークを取り出すサイクルタイムを模擬的に評価する。ビンピッキング性能評価装置１は、記憶装置１１及び演算装置１２を備える。

記憶装置１１には、ワーク形状モデルＷ、ロボットハンド形状モデルＨ、単位サイクルタイムＴ１が格納されている。ワーク形状モデルＷは、ロボットが把持する対象物であるワークの形状を表す。ワーク形状モデルＷは、顧客からＣＡＤデータとして受け取ってもよく、ワークの大まかな形状及び実寸法を取得し、その場で立方体及び球のようなプリミティブな形状を組み合わせて作成してもよく、又は、予め用意している多数の形状データからワークに似ているものを対話的に選択してもよく、視覚センサなどによりその場でワークの形状を取り込んで作成してもよい。ロボットハンド形状モデルＨは、ワークを把持するロボットハンドの形状を表す。ロボットハンドは、例えば、ワークを挟んで持つタイプ、ワークに吸着するタイプ、あるいは、ワークの穴に２つ以上の指を挿し込み広げて持つタイプなどを含む（特許文献１及び非特許文献１を参照）。ロボットハンド形状モデルＨもまた、顧客からＣＡＤデータとして受け取ってもよく、ワークの大まかな形状及び実寸法を取得し、その場で立方体や球のようなプリミティブな形状を組み合わせて作成してもよく、予め用意している多数の形状データからワークに似ているものを対話的に選択してもよく、視覚センサなどによりその場でワークの形状を取り込んで作成してもよい。ワーク形状モデルＷ及びロボットハンド形状モデルＨを取得するために、ビンピッキング性能評価装置１には、表示装置、入力装置、及びカメラが接続されてもよい。単位サイクルタイムＴ１は、１回の試行でワークの取り出しに成功するときの時間を表す。

演算装置１２は、画像生成器２１、成功率評価器２２、及び推定サイクルタイム計算器２３を備える。画像生成器２１は、ワーク形状モデルＷに基づいて、ワークを複数の方向から模擬的に撮影して複数のワーク画像を生成する。成功率評価器２２は、認識率評価器２４、把持率評価器２５、単離率評価器２６、及び成功率計算器２７を備え、複数のワーク画像及びロボットハンド形状モデルＨに基づいて、ワークを取り出す成功率を評価する。認識率評価器２４は、複数のワーク画像に基づいて、異なる姿勢のワークを区別する認識率を評価する。把持率評価器２５は、複数のワーク画像及びロボットハンド形状モデルＨに基づいて、ロボットハンドがワークを取り出す把持率を評価する。単離率評価器２６は、複数のワーク画像に基づいて、ワークを取り出すときに他のワークと絡ませることなく１つのワークだけ取り出す単離率を評価する。認識率、把持率、及び単離率は、実際にビンピッキングを行うときにワークのタイプに応じて大きく変化するものであり、これらを推定することによりビンピッキングの成功率を評価することができる。成功率計算器２７は、認識率、把持率、及び単離率に基づいて、後述するようにビンピッキングの成功率を計算する。推定サイクルタイム計算器２３は、成功率及び単位サイクルタイムＴ１に基づいて、ワークを取り出す推定サイクルタイムＴを計算する。計算された推定サイクルタイムＴは、例えば、演算装置１２に接続された表示装置に表示されてもよく、又は、演算装置に接続されたプリンタにより印字されてもよい。

この推定サイクルタイムＴに応じて、技術セールスマンは、顧客に向けて、例えば「このワークですと、１台のロボットでは要求サイクルタイムに達しませんが、ロボットの台数を増やすことで達成できます。その場合、システムの金額や床面積がこうなります。いかがでしょうか」というような話ができるようになる。

図２は、図１の演算装置１２によって実行されるビンピッキング性能評価処理を示すフローチャートである。

図２のステップＳ１〜Ｓ３は画像生成器２１によって実行される。ステップＳ１において、画像生成器２１は、記憶装置１１からワーク形状モデルＷを取得する。ステップＳ２において、画像生成器２１は、ステップＳ３においてワークの画像を生成する際に用いる、互いに異なるＮ個の視点を決定する。視点を決めるのに必要なワーキングディスタンス及びカメラパラメタは、実際にビンピッキング装置を構築するときに使う視覚センサの仕様に基づいて設定する。ステップＳ３において、画像生成器２１は、ステップＳ２で決定された各視点からワークを模擬的に撮影して、Ｎ個のワーク画像を生成する。ワーク画像は、視覚センサがカメラであればカメラ画像であり、視覚センサが３次元センサであれば距離画像（視覚センサからワークまでの距離を画素の明暗で表した画像）である。

次いでステップＳ４〜Ｓ６において、Ｎ個のワーク画像から、画像処理により認識率、把持率、及び単離率を計算する。

図３は、図２の認識率評価処理のステップＳ４を示すサブルーチンである。ステップＳ４は認識率評価器２４によって実行され、認識率評価器２４は、複数のワーク画像間の相関値を計算することにより、認識率を評価する。ステップＳ１１において、認識率評価器２４は、変数Ｒを０に初期化する。ステップＳ１２において、認識率評価器２４は、２つのワーク画像を選択し、それらの相関値を計算する。相関値は、正規化相互相関などのテンプレートマッチング、及び、Lucas-Kanade Tracker又はＳＩＦＴ（Scale-Invariant Feature Transform）のように画像から抽出した特徴点をもとに画像どうしを照合する方法などを含む、一般的な画像処理方法を用いて計算することができる。この相関値が高ければ、相関値を計算したワーク画像どうしの区別がつかないので、実際のビンピッキングにおいてワークの位置及び姿勢の認識ミスが発生する可能性がある。そこで、０〜１の範囲の相関値に対して例えばΓ＝０．９をしきい値として用い、それ以上の相関値をとるワーク画像は互いに区別できないと判断する一方、それ未満の相関値をとるワーク画像は互いに区別でき、ワークの位置及び姿勢を認識できると判断する。ステップＳ１３において、認識率評価器２４は、相関値がしきい値未満であるか否かを判断し、ＹＥＳのときはステップＳ１４に進み、ＮＯのときはステップＳ１５に進む。ステップＳ１４において、認識率評価器２４は、変数Ｒを１インクリメントする。変数Ｒは、相関値がしきい値未満であるワーク画像のペアの個数を示す。ステップＳ１５において、認識率評価器２４は、すべてのワーク画像の組み合わせで相関値を計算したか否かを判断し、ＹＥＳのときはステップＳ１６に進み、ＮＯのときはステップＳ１２に戻る。ステップＳ１６において、認識率評価器２４は、次式を用いて認識率を計算する。

図４は、図２の把持率評価処理のステップＳ５を示すサブルーチンである。ステップＳ５は把持率評価器２５によって実行され、把持率評価器２５は、各ワーク画像において、当該ワーク画像のワークを把持可能な把持位置を特定し、ロボットハンドがワークの他の位置に干渉することなくワークを把持位置において把持できるか否かを判断することにより、把持率を評価する。ステップＳ２１において、把持率評価器２５は、変数Ｇを０に初期化する。ステップＳ２２において、把持率評価器２５は、記憶装置１１からロボットハンド形状モデルＨを取得する。ステップＳ２３において、把持率評価器２５は、１つのワーク画像を選択する。

ステップＳ２４において、把持率評価器２５は、ワーク画像中のワークにおいてロボットハンドにより把持可能な把持位置を探す。このとき、ロボットハンドがワークを挟んで持つタイプである場合、把持位置は、ワークのつまみやすい突起部分及びエッジなどである。ロボットハンドがワークに吸着するタイプである場合、把持位置は、一定面積以上の面である。ロボットハンドがワークの穴に２つ以上の指を挿し込み広げて持つタイプである場合、把持位置は、ワークの表面に生じている穴である。把持位置は、ワーク画像に対してエッジ、面、円などを当てはめることで抽出することが可能である。把持位置を抽出するために、例えば、キャニー演算子又はソーベル演算子などを利用したエッジ検出を行う方法、ハフ変換による円抽出を行う方法、エッジで囲まれた領域をラベリングして面を抽出する方法、輝度のエッジ勾配方向又は強度を利用してテクスチャ部分を突起部として検出する方法、などの基本的な画像処理方法を使用可能である。

ステップＳ２５において、把持率評価器２５は、ワーク画像中のワークがロボットハンドにより把持可能であるか否かを判断する。このとき、把持率評価器２５は、ワーク画像中のワークにロボットハンド形状モデルＨを当てはめ、ワークを把持できるようなロボットハンドの姿勢が存在するかを判断する。本明細書では、説明の簡単化のために、ワーク画像を生成したときに視覚センサからワークを見たときと同じ方向から、ロボットハンドがワークに接近してワークを把持すると仮定する。図６（ａ）は例示的なロボットハンド形状モデルの側面図を示し、図６（ｂ）は図６（ａ）のロボットハンド形状モデルの投影図を示す図である。図６（ａ）のロボットハンド３１が−Ｚ方向に位置するワークに向かって接近する場合には、ロボットハンド３１の指の先端３２とワークとの接触のみを考慮すればよい。ワークは、ワーク画像３３上に表示されている。図６（ｂ）に示すように、ロボットハンド３１の指の先端３２（ワークに接触する部分）は、ワーク画像３３に投影される。ワーク画像が距離画像である場合、把持率評価器２５は、ワーク画像３３上においてロボットハンド３１の指の先端３２を動かし、ロボットハンドがワークの他の位置に干渉することなくワークを把持位置において把持できるか否かを判断する。ワーク画像がカメラ画像である場合、把持率評価器２５は、ワーク画像が距離画像である場合と同様に判断することに加えて、ワークの輪郭内に重なる領域は全て干渉する可能性のある部分であると判断する。ワーク画像中のワークがロボットハンドにより把持可能であるか否かについて、例えば０〜１又は０〜１００に正規化された評価値を計算し、０のときは把持できず、それ以外のときは把持できると判断してもよい。

ワーク画像中のワークがロボットハンドにより把持可能であるか否かについて、例えば、特許文献１又は非特許文献１に開示された方法を用いてもよい。ロボットハンド形状モデルは、例えば、以下のパラメータを含む。ロボットハンドがワークを挟んで持つタイプである場合、ロボットハンド形状モデルは、ロボットハンドがワークを把持する直前の指の開き幅、進入深さ、及び指の縦横の寸法により定義することができる。ロボットハンドがワークに吸着するタイプである場合、ロボットハンド形状モデルは、吸着する部分の半径により定義することができる。ロボットハンドがワークの穴に２つ以上の指を挿し込み広げて持つタイプである場合、ロボットハンド形状モデルは、指を差し込める穴の半径、穴周辺のワーク面の半径、及び進入深さにより定義することができる。ロボットハンドがワークに吸着するタイプである場合、ロボットハンド形状モデルと把持位置とのマッチングが高い部分を把持位置候補とする。把持位置の面積が小さかったり、把持位置の面内に穴が開いていたりして、モデルとの一致度が低い場合には、把持位置候補の照合スコアを低くする。こうしたマッチングは、３ＤモデルであればＩＣＰ（Iterative Closest Point）などの点群どうしの照合により、２Ｄモデルであれば、テンプレートマッチングによって、又は、モデルをフィルタと考えての畳みこみ処理によるマッチングによって、実現することができる。また、ロボットハンドがワークを挟んで持つタイプである場合、ロボットハンドがワークの穴に２つ以上の指を挿し込み広げて持つタイプである場合、さらに、ロボットハンドと周辺環境との干渉も同時に考慮することができる。すなわち、例えば、ロボットハンドがワークを挟んで持つタイプである場合、進入深さと指の縦幅の寸法とで定義される領域に計測データが含まれていた場合、照合スコアを下げることで実現する。把持率評価器２５は、ワークの複数の把持位置ごとに、当該ワークをロボットハンドが把持するときにマッチングスコアが最も高い姿勢を計算し、各把持位置の各姿勢を把持姿勢候補としてもよい。あるいは、把持率評価器２５は、ワークの単一の把持位置に対して、マッチングスコアが所定のしきい値よりも高い複数の姿勢を計算し、それら複数の姿勢を把持姿勢候補としてもよい。把持率評価器２５は、複数の把持姿勢候補から、最も掴みやすい把持姿勢候補を選択する。これは、マッチングスコアが最も高かったものを選んでもよいし、さらに追加の優先度を考慮してもよい。例えば、把持位置の平均高さ又は重心位置を利用して、ワークの最も高い位置にある把持位置において把持するときの把持位置姿勢を選択するなどしてもよい。

ステップＳ２５において、ＹＥＳのときはステップＳ２６に進み、ＮＯのときはステップＳ２７に進む。

ステップＳ２６において、把持率評価器２５は、変数Ｇを１インクリメントする。変数Ｇは、把持可能なワークを含むワーク画像の個数である。ステップＳ２７において、把持率評価器２５は、すべてのワーク画像を評価したか否かを判断し、ＹＥＳのときはステップＳ２８に進み、ＮＯのときはステップＳ２３に戻る。ステップＳ２８において、把持率評価器２５は、次式を用いて把持率を計算する。

図５は、図２の単離率評価処理のステップＳ６を示すサブルーチンである。ステップＳ６は単離率評価器２６によって実行され、単離率評価器２６は、各ワーク画像において、当該ワーク画像のワークにおける凹部の面積及び凹部の内周の曲率の少なくとも一方を計算することにより、単離率を評価する。ステップＳ３１において、単離率評価器２６は、変数Ｉを０に初期化する。ステップＳ３２において、単離率評価器２６は、１つのワーク画像を選択する。ステップＳ３３において、単離率評価器２６は、ワーク画像中のワークにおいて他のワークと絡まる部分を探す。ワーク画像中のワークにおいて他のワークと絡まる部分を探すために、ワークにおける凹部の面積及び凹部の内周の曲率を計算する。

図７（ａ）は例示的なワーク画像３３を示し、図７（ｂ）は図７（ａ）のワーク４１の凹部４２を示し、図７（ｃ）は図７（ａ）のワーク４１の内周４３を示す図である。図７（ａ）のように、例えば「Ｕ」字形（「コ」の字形）のワーク４１のビンピッキングを行う場合、ワーク４１の凹部４２に他のワークが挟まり、ワークを個別に取り出せなくなる可能性がある。単離率評価器２６は、ワーク４１の輪郭に含まれる領域（ワーク領域）を抽出し、ワーク領域からワーク４１の凹部４２を抽出する。視覚センサがカメラであっても３次元センサであっても、ワーク４１以外の背景には何も写っていない状態を仮定してワーク画像３３を生成するので、ワーク４１が写っている部分をワーク領域として抽出することは容易である。ワーク４１の凹部４２は、図７（ｂ）のようにワーク領域内に含まれる任意の２点Ｐ１，Ｐ２のペアについて、これら２点Ｐ１，Ｐ２を端点とする線分を生成し、この線分のうち、ワーク領域と重ならない区間の論理和をとることによって抽出される。計算時間の削減のために、ワーク領域上の全ての２点のペアについてではなく、ワーク４１の輪郭部分のみから２点のペアを抽出しても同様に、ワーク４１の凹部４２を抽出できる。ワーク４１の凹部４２の面積が大きければ、ワーク４１は他のワークと絡まる可能性が高くなる。さらに、図７（ｃ）に示すように、凹部４２の内周４３（ワーク４１のワーク領域と凹部４２とが接触する部分）を曲線とみなし、この曲線の各部分の曲率をワーク４１の重心Ｇから計算する。最大曲率が大きい場所がある場合、ワーク４１が他のワークと絡まる可能性が高くなる。

ステップＳ３４において、単離率評価器２６は、ワーク画像中のワークが単離可能であるか否かを判断し、ＹＥＳのときはステップＳ３５に進み、ＮＯのときはステップＳ３６に進む。ワークにおける凹部の面積のしきい値及び凹部の内周の曲率のしきい値を予め設定し、これらのしきい値を超える面積及び曲率を有する凹部を有するワークは他のワークと絡まる可能性があると判断する。面積及び曲率のどちらかがしきい値以下の場合、当該ワークが他のワークと絡まる可能性は０と判断する。ステップＳ３５において、単離率評価器２６は、変数Ｉを１インクリメントする。変数Ｉは、単離可能なワークを含むワーク画像の個数である。ステップＳ３６において、単離率評価器２６は、すべてのワーク画像を評価したか否かを判断し、ＹＥＳのときはステップＳ３７に進み、ＮＯのときはステップＳ３２に戻る。ステップＳ３７において、単離率評価器２６は、次式を用いて単離率を計算する。

単離率評価処理の変形例について説明する。図８（ａ）はワークＷ１を単離可能な配置を示し、図８（ｂ）はワークＷ１を単離できない配置を示す図である。ワークの単離率をより正確に判断するために、重力を考慮した物理シミュレータ環境下で、２つの同じワーク形状モデルＷ１，Ｗ２を姿勢を変えながら接触させる。このとき、互いに接触したワークＷ１，Ｗ２をロボットハンドで持ち上げる方向を、図８（ａ）及び図８（ｂ）の矢印のように予め決めておく。図８（ａ）のようにワークＷ１，Ｗ２が互いに接触している場合、矢印の方向にワークＷ１（又はワークＷ２）を動かしても、他方のワークは一緒に動くことはない。一方、図８（ｂ）のようにワークＷ１，Ｗ２が互いに接触している場合、矢印の方向にワークＷ１（又はワークＷ２）を動かすと、他方のワークも追従する。このように、物理シミュレータ環境下で、２つの同じワークＷ１，Ｗ２を互いに接触させ、一方のワークを動かしたときに他方のワークが移動するかどうかを評価する。この評価をワークＷ１，Ｗ２がそれぞれとりうる姿勢の個数だけ繰り返す。とりうる姿勢の個数がＮ個であり、一方のワークのみを動かすことができた試行がＩ個であるとすると、「Ｉ／Ｎ」を単離率として計算することができる。

図２では、ステップＳ４〜Ｓ６を並列に実行するように示したが、これらのステップＳ４〜Ｓ６を逐次に実行してもよい。

図２のステップＳ７において、成功率計算器２７は、数１〜数３の認識率、把持率、及び単離率に基づいて、次式によりピッキング成功率ｐを計算する。

ステップＳ８において、推定サイクルタイム計算器２３は、ピッキング成功率ｐ及び単位サイクルタイムＴ１に基づいて、推定サイクルタイムＴを計算する。推定サイクルタイム計算器２３は、まず、次式により、「ｋ回目までの試行でビンピッキングに成功する確率ｐ_ｋ」を計算する。

ｋ回のビンピッキングを行う推定サイクルタイムＴは、「ｋ×Ｔ１」である。導入するビンピッキング装置の要件に応じて確率ｐ_ｋを決定することにより試行の回数ｋが決まり、これに応じて、推定サイクルタイムＴを得ることができる。

以上説明したように、認識率、把持率、及び単離率を画像処理のみで簡易に推定し、推定サイクルタイムＴを計算することができる。

ビンピッキング装置に設けるロボットハンドのロボットハンド形状モデルＨを予め準備しておけば、あとは、顧客からワーク形状モデルＷを受け取るだけで、ビンピッキング性能評価装置１を用いて推定サイクルタイムＴを得ることができる。

以上の形態により、簡易な画像処理を行うだけで、認識、把持、単離というビンピッキングが失敗する可能性の高い工程の成功率を推定し、それを考慮して推定サイクルタイムＴを見積ることができる。

実施の形態２．
図９は、本発明の実施の形態２に係るビンピッキング性能評価装置１Ａの基本構成を示す機能ブロック図である。ビンピッキング性能評価装置１Ａにおいて、記憶装置１１には、ワークの拡散反射率を表すワーク表面モデルＳがさらに格納されている。画像生成器２１は、ワーク形状モデル及びワーク表面モデルに基づいて複数のワーク画像を生成する。画像生成器２１は、ワーク画像を生成するときに、ワーク表面モデルＳを考慮することで、より正確なワーク画像を生成することができる。ワーク表面モデルＳは、光がワークの表面に入射するときの拡散反射する割合を表し、残りの割合の光は鏡面反射をする。拡散反射率をもとにワークの表面で入射又は反射する光の状態をレンダリングすることで、カメラ画像のワーク画像を生成する場合にはワークの表面の質感及び鏡面反射状態を再現することができ、３次元センサのワーク画像を生成する場合には計測データのノイズ状態及び計測できる領域／できない領域を再現することができる。これにより、ビンピッキング装置の正確な性能評価を実現することができる。

ビンピッキング性能評価装置１Ａは、ワーク表面モデルをユーザ入力に応じて対話的に決定するデータ編集装置１３をさらに備える。ワーク表面モデルをユーザ入力に応じて対話的に決定するために、ビンピッキング性能評価装置１には、ディスプレイ２、キーボード３、及びポインティングデバイス４が接続される。ポインティングデバイス４は、例えば、マウス、又はディスプレイ２に一体化されたタッチパッドを含む。ワーク表面モデルＳは目視で判断するのは困難な値であるので、表面状態（金属のように光沢があるか、光沢のないマットな状態か、その中間か）の違う複数のワーク表面モデルＳをディスプレイ２上に表示し、いずれかのワーク表面モデルＳをキーボード３又はポインティングデバイス４などを使って対話的に選択する。データ編集装置１３は、顧客より受け取ったワーク形状モデルＷを記憶装置１１より抽出し、そのワークの拡散反射率を変えた複数のワーク候補画像を作成する。これらのワーク候補画像がディスプレイ２に表示される。これをユーザが対話的に選択し、選択されたワーク候補画像に対応するワーク表面モデルＳを記憶装置１１に格納する。このワーク表面モデルＳ及びワーク形状モデルＷを使ってワーク画像を生成することで、ユーザ（顧客及び技術セールスマン）が直感的に正確なシミュレーションを行い、これにより、ビンピッキング装置の正確な性能評価及び見積りを実現することができる。

また、以上説明した実施の形態に係るビンピッキング性能評価装置に関連して説明したステップを含むビンピッキング性能評価方法を実行することで、ビンピッキング装置の性能を模擬的に評価することができる。また、図２〜図５に関連して説明したステップを含む機械可読プログラムを構成してもよい。

本発明のビンピッキング性能評価装置及び方法によれば、膨大な計算時間がかかることなく、ビンピッキング装置の性能を模擬的に評価することができる。

本発明のビンピッキング性能評価装置及び方法によれば、複数のワーク画像から、バラ積みされたワークの計測しやすさ、認識のしやすさ、把持のしやすさ、単離しやすさを推定する、ビンピッキング装置の性能評価を行うことができる。

本発明のビンピッキング性能評価装置及び方法によれば、３次元空間にワーク形状モデルを乱雑に積み重ねた状態を再現しなくとも、画像処理だけで、少ない計算時間で簡単にビンピッキングのサイクルタイムを推定することができる。

本発明のビンピッキング性能評価装置及び方法によれば、ワークの形状によってビンピッキングの性能が変化する、ワークの認識率、把持率、及び単離率の影響を、サイクルタイムの推定に加味し、ビンピッキング装置の正確な性能評価を簡易に実現することができる。

本発明のビンピッキング性能評価装置及び方法によれば、少ない計算時間で認識率を計算でき、少ない計算時間で認識率を計算でき、少ない計算時間で単離率を計算できる。

本発明のビンピッキング性能評価装置及び方法によれば、性能推定と見積りが正確になり、誰でも容易に正確な性能推定と見積りができる。

本発明のビンピッキング性能評価装置及び方法によれば、ビンピッキング装置の性能評価を行うことにより、３次元空間での複雑なシミュレーションをせずとも、２次元空間での簡易な計算により、ビンピッキング装置の推定サイクルタイムを推定することができるので、少ない計算時間で性能評価を行うことができる。また、専門的な調整を簡易に行うことも可能となる。例えば商談時に技術セールスマンが顧客からワーク形状モデルを受け取れば、その場でビンピッキング装置の大まかな性能見積りを出すことができるようになる。

本発明のビンピッキング性能評価装置及び方法によれば、膨大な計算時間がかかることなく、ビンピッキング装置の性能を模擬的に評価することができる。

１ ビンピッキング性能評価装置、２ ディスプレイ、３ キーボード、４ ポインティングデバイス、１１ 記憶装置、１２ 演算装置、１３ データ編集装置、２１ 画像生成器、２２ 成功率評価器、２３ 推定サイクルタイム計算器、２４ 認識率評価器、２５ 把持率評価器、２６ 単離率評価器、２７ 成功率計算器、３１ ロボットハンド形状モデル、３２ ロボットハンドの指の先端、３３ ワーク画像、４１，Ｗ１，Ｗ２ ワーク、４２ 凹部、４３ 内周、Ｗ ワーク形状モデル、Ｈ ロボットハンド形状モデル、Ｓ ワーク表面モデル、Ｔ１ 単位サイクルタイム、Ｔ 推定サイクルタイム、Ｐ１，Ｐ２ ワーク形状モデル上の点、Ｇ 重心。

Claims (14)

1. 視覚センサ及びロボットハンドを備えたビンピッキング装置がワークを取り出すサイクルタイムを模擬的に評価するビンピッキング性能評価装置において、
   上記ビンピッキング性能評価装置は記憶手段及び演算手段を備え、
   上記記憶手段は、
   上記ワークの形状を表すワーク形状モデルと、
   上記ロボットハンドの形状を表すロボットハンド形状モデルと、
   １回の試行で上記ワークの取り出しに成功するときの単位サイクルタイムとを格納し、
   上記演算手段は、
   上記ワーク形状モデルに基づいて、上記ワークを複数の方向から模擬的に撮影して複数のワーク画像を生成する画像生成手段と、
   上記複数のワーク画像及び上記ロボットハンド形状モデルに基づいて、上記ワークを取り出す成功率を評価する成功率評価手段と、
   上記成功率及び上記単位サイクルタイムに基づいて、上記ワークを取り出す推定サイクルタイムを計算する推定サイクルタイム計算手段とを備えたことを特徴とするビンピッキング性能評価装置。
2. 上記成功率評価手段は、
   上記複数のワーク画像に基づいて、異なる姿勢のワークを区別する認識率を評価する認識率評価手段と、
   上記複数のワーク画像及び上記ロボットハンド形状モデルに基づいて、上記ロボットハンドが上記ワークを取り出す把持率を評価する把持率評価手段と、
   上記複数のワーク画像に基づいて、上記ワークを取り出すときの単離率を評価する単離率評価手段とのうち、少なくとも１つを備えたことを特徴とする請求項１記載のビンピッキング性能評価装置。
3. 上記認識率評価手段は、上記複数のワーク画像間の相関値を計算することにより、上記認識率を評価することを特徴とする請求項２記載のビンピッキング評価装置。
4. 上記把持率評価手段は、上記各ワーク画像において、当該ワーク画像のワークを把持可能な把持位置を特定し、上記ロボットハンドが上記ワークの他の位置に干渉することなく上記ワークを上記把持位置において把持できるか否かを判断することにより、上記把持率を評価することを特徴とする請求項２又は３記載のビンピッキング評価装置。
5. 上記単離率評価手段は、上記各ワーク画像において、当該ワーク画像のワークにおける凹部の面積及び上記凹部の内周の曲率の少なくとも一方を計算することにより、上記単離率を評価することを特徴とする請求項２から４のうちのいずれか１つに記載のビンピッキング評価装置。
6. 上記記憶手段は、上記ワークの拡散反射率を表すワーク表面モデルをさらに格納し、
   上記画像生成手段は、上記ワーク形状モデル及び上記ワーク表面モデルに基づいて上記複数のワーク画像を生成することを特徴とした請求項１から５のうちのいずれか１つに記載のビンピッキング評価装置。
7. 上記ワーク表面モデルをユーザ入力に応じて対話的に決定する手段を備えたことを特徴とした請求項６記載のビンピッキング評価装置。
8. 視覚センサ及びロボットハンドを備えたビンピッキング装置がワークを取り出すサイクルタイムを模擬的に評価するビンピッキング性能評価方法において、
   上記ワークの形状を表すワーク形状モデルと、上記ロボットハンドの形状を表すロボットハンド形状モデルと、１回の試行で上記ワークの取り出しに成功するときの単位サイクルタイムとを記憶手段に格納するステップと、
   上記ワーク形状モデルに基づいて、上記ワークを複数の方向から模擬的に撮影して複数のワーク画像を生成する画像生成ステップと、
   上記複数のワーク画像及び上記ロボットハンド形状モデルに基づいて、上記ワークを取り出す成功率を評価する成功率評価ステップと、
   上記成功率及び上記単位サイクルタイムに基づいて、上記ワークを取り出す推定サイクルタイムを計算する推定サイクルタイム計算ステップとを含むことを特徴とするビンピッキング性能評価方法。
9. 上記成功率評価ステップは、
   上記複数のワーク画像に基づいて、異なる姿勢のワークを区別する認識率を評価する認識率評価ステップと、
   上記複数のワーク画像及び上記ロボットハンド形状モデルに基づいて、上記ロボットハンドが上記ワークを取り出す把持率を評価する把持率評価ステップと、
   上記複数のワーク画像に基づいて、上記ワークを取り出すときの単離率を評価する単離率評価ステップとのうち、少なくとも１つを含むことを特徴とする請求項８記載のビンピッキング性能評価方法。
10. 上記認識率評価ステップは、上記複数のワーク画像間の相関値を計算することにより、上記認識率を評価するステップを含むことを特徴とする請求項９記載のビンピッキング評価方法。
11. 上記把持率評価ステップは、上記各ワーク画像において、当該ワーク画像のワークを把持可能な把持位置を特定し、上記ロボットハンドが上記ワークの他の位置に干渉することなく上記ワークを上記把持位置において把持できるか否かを判断することにより、上記把持率を評価するステップを含むことを特徴とする請求項９又は１０記載のビンピッキング評価方法。
12. 上記単離率評価ステップは、上記各ワーク画像において、当該ワーク画像のワークにおける凹部の面積及び上記凹部の内周の曲率の少なくとも一方を計算することにより、上記単離率を評価するステップを含むことを特徴とする請求項９から１１のうちのいずれか１つに記載のビンピッキング評価方法。
13. 上記ビンピッキング性能評価方法は、上記ワークの拡散反射率を表すワーク表面モデルを上記記憶手段にさらに格納するステップを含み、
    上記画像生成ステップは、上記ワーク形状モデル及び上記ワーク表面モデルに基づいて上記複数のワーク画像を生成するステップを含むことを特徴とした請求項８から１２のうちのいずれか１つに記載のビンピッキング評価方法。
14. 上記ワーク表面モデルをユーザ入力に応じて対話的に決定するステップを含むことを特徴とした請求項１３記載のビンピッキング評価方法。

Images