JP4004899B2 - 物品の位置姿勢検出装置及び物品取出し装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばバラ積みされた複数のワーク等の物品の３次元位置姿勢を検出する装置及び同装置とロボットとを組み合わせた物品取り出し装置に関する。
【０００２】
【従来の技術】
ビデオカメラで対象物（例えばワークなどの物品；以下、同じ）を撮像し、得られた画像に基づいて対象物の３次元的な位置や姿勢を検出する１つの手法として、ビデオカメラを複数台用いた、いわゆるステレオ方式が古くから知られている。ビデオカメラは３台以上使用されることもあるが、その内の２台に着目すれば、本質的にはビデオカメラ２台によるステレオ方式の内容に帰着すると考えることができる。そこで、以下ではビデオカメラが２台のみの場合に限定して記述する。
【０００３】
さて、ステレオ方式で対象物の検出を行なう場合に難しいのは、一方のビデオカメラで得られた画像中に検出された対象物の一部位の像が他方の画像中のどこに対応するのかを誤りなく定める、いわゆる「対応付け」である。対応付の例としては、例えば、特許文献１がある。同特許によれば、対象物形状をその一部に円または円弧形状の輸郭を有するものに限定し、ステレオ画像同士の局所領域が類似しているという条件と、特徴点が円弧上に分布しているという条件とを用いて対応付けを行なっている。
【０００４】
【特許文献１】
特許第３２３５３６４号
【０００５】
【発明が解決しようとする課題】
このように、一般にステレオ方式では画像の局所領域べ一スでステレオ画像同士の対応付けが試みられる。しかし、これは局所的な画像の比較に基づくがゆえに正確さや信頼性に問題が生じ易い。即ち、多くのケースにおいて、局所的な画像の比較からは類似領域が多数リストアップされる可能性は低くないと予想されるからである。
【０００６】
また、２台のビデオカメラの配置から得られる幾何学的な制約条件（エピポーラ拘束等）を考慮し、対応付けの信頼性を向上させる手法もあるが、十分でない場合が多い。言うまでもなく、対応付けの誤りは対象物の検出位置の誤りに直結する。前出の特許第３２３５３６４号では、検出される対象物の形状を限定することで対応付けのための制約条件を増やし、信頼性を向上させている。
【０００７】
しかし、この手法は、当然、検出できる対象物が限定されてしまうという欠点を持つ。
【０００８】
更に、従来のステレオ方式を用いた３次元位置姿勢検出方式では、物品同士の重なりにより、ある物品の一部が他の物品の陰になっていると、その「ある物品」について対応付けができなくなるという問題があった。
【０００９】
本願発明は、上記した従来技術の問題点を克服し、検出される対象物の形状に特に限定が課せられず、一般的な形状の対象物についてステレオ方式による対象物（物品）の検出を高い信頼性を持つ対応付けに基づいて行なうことのできる物品位置姿勢検出装置を提供しようとするものである。また、物品の一部が他の物品の陰になっていても、対応付けが可能とした物品位置姿勢検出装置を提供しようとするものである。更に、本発明は同物品位置姿勢検出装置を用いた物品取出し装置を提供しようとするものでもある。
【００１０】
【課題を解決するための手段】
本発明では、例えばバラ積み状態にあるワークなどの物品をステレオ方式で撮像し、得られた各画像中から物品像をその物品を表現する２次元教示モデルを用いて検出し、検出された物品像について対応付けを行なった後、前記２次元教示モデル上に予め定義しておいた参照点の３次元位置を算出することにより、各物品の位置と姿勢を求める方式を採用する。
【００１１】
即ち、本発明は先ず、同種の複数個の物品からなる集合を互いに異なる複数の視点で撮像して得られる複数の２次元画像に基づいて個々の物品の３次元位置姿勢を検出する装置に適用される。そして、同装置は、前記物品の２次元教示モデルと、該２次元教示モデル上に少なくとも３つの参照点を定義する手段と、該２次元教示モデルを使用して、前記複数の２次元画像の夫々の中にマッチングにより、１つ以上の物品の像を検出する物品像検出手段と、
該物品像検出手段によって、前記複数の２次元画像の夫々の中に検出された該１つ以上の物品の像について、前記複数の２次元画像間で同一物品の像同士を対応付ける対応付け手段と、前記２次元教示モデル上に定義された参照点に基づいて、前記対応付け手段によって対応付けされた各物品の像に対して、画像上での前記参照点の夫々の位置を求める参照点位置算出手段と、前記参照点位置算出手段によって求められた画像上での各参照点位置に基づいて、該各参照点の３次元位置を求め、該求められた各参照点の３次元位置を用いて前記物品の３次元位置姿勢を求める手段とを備えている。
【００１３】
上記装置において、前記物品像検出手段は、前記２次元教示モデルに対して複数の可変パラメータを含む可変パラメータセットで表現される幾何学的変形を施した可変２次元教示モデルを用意し、前記可変２次元教示モデルを使用して、前記各２次元画像中に物品像を検出する手段を含み、前記参照点位置算出手段は、前記物品像の検出に対応して定まる可変パラメータセットの値に基づいて、前記物品像上の前記参照点の位置を求める手段を含むものであって良い。
【００１４】
また、前記物品像検出手段は、前記２次元画像に対して複数の可変パラメータを含む可変パラメータセットで表現される幾何学的変形を施した２次元画像を用意し、前記２次元教示モデルを使用して、前記各可変２次元画像中に物品像を検出する手段を含み、前記対応付け手段及び前記参照点位置算出手段は、前記物品像の検出に対応して定まる可変パラメータセットの値に基づいて、前前記幾何学的変形前の２次元画像に対して用いられるものであっても良い。
【００１５】
なお、２次元教示モデルに対する変形を採用する場合であれば、前記可変パラメータのセットは、前記２次元教示モデルのアフィン変換あるいは透視変換を表現するパラメータを含むものであって良い。また、２次元画像に対する変形を採用する場合であれば、前記可変パラメータのセットは、前記２次元画像のアフィン変換あるいは透視変換を表現するパラメータを含むものであって良い。
【００１６】
更に、前記２次元教示モデル上に３つ以上の参照点を定義する代わりに、３つ以上の参照点と同義の情報を与える、該２次元教示モデルと３次元的な相対位置関係が固定された関係にある図形を定義するようにしても良い。
【００１７】
以上のような位置姿勢検出装置をロボットと組み合わせることで物品取出し装置を構成することができる。同物品取出し装置によれば、前記位置姿勢検出装置によって３次元位置姿勢が検出された物品をロボットで取り出すことができる。ロボットの制御には、前記位置姿勢検出装置によって検出された３次元位置姿勢が利用できる。３次元位置姿勢が検出された物品が複数存在する場合には、適当に定めた取り出し優先ルール（例えば最上の物品を優先して取り出す）に従って、次に取り出す物品を定めることができる。
【００１８】
【発明の実施の形態】
以下、図１〜図４を参照して本発明の１つの実施形態について説明する。なお、実施形態は、ワーク（物品の一例）の３次元位置姿勢を検出する位置姿勢検出装置をロボットと組み合わせたワーク取出し装置として説明される。先ず、図１は、本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。
【００１９】
同図において、符号４０はワークコンテナを表わし、同ワークコンテナ上に複数のワーク４１がバラ積み状態で積載されている。ワーク４１を取り出すためのワーク取出し装置の主要部は、ロボット制御装置３０で制御されるロボット３１と、２台のビデオカメラ１、２と画像処理装置５０を含む位置姿勢検出装置（ステレオ方式の３次元視覚センサ）で構成される。なお、図１において画像処理装置５０は、便宜上、同画像処理装置５０の行なう処理手順の概要を表わすブロック図部分を囲む形で示されている。
【００２０】
ロボット３１は、ワークコンテナ上のワーク４１を順次把持して取り出すのに適した位置に設置され、ビデオカメラ１、２は、ワークコンテナ４０上のワーク４１をほぼ真上の周辺から視野に収めて撮影できる位置に設置されている。ロボット制御装置３０と画像処理装置５０の間は通信回線３２で結ばれており、ロボット制御装置３０は、ビデオカメラ１、２で撮影され画像処理装置５０で処理されて求められたワーク４１の３次元位置姿勢を利用して、ワーク４１をハンドリング（アプローチ、把持、取出しの動作）する。ワーク４１の３次元位置姿勢の求め方については後述する。
【００２１】
ここで、通常は３次元位置姿勢が求められるワークは複数あるので、適当な優先ルールに従って次に取り出すワークを決定する。優先ルールは、その時点で最も取り出し易い、あるいはそれに準じた状態にあると推定されるワークを優先的に指定するように定めれば良い。例えば、３次元位置姿勢が求められた複数のワークの内、最上（Ｚ座標が最大）にあるワークを次に取り出すワークとすれば良い。その他、物品の姿勢も考慮する優先ルールなど種々考えられるので、そのアプリケーションに適したルールを採用すれば良い。この優先ルールについて、本発明では特に制限はない。いずれにしろ、３次元位置姿勢が正しく判っているワークのハンドリングであるから容易である。
【００２２】
以下、ビデオカメラ１、２と画像処理装置５０を用いたステレオ方式の画像処理によってワーク４１の３次元位置姿勢の求め方について説明する。
先ず準備として、検出対象とされるワーク４１についてモデル生成および参照点位置設定を次のように行なう。
【００２３】
１個のワーク４１あるいは同ワークを模した治具を基準位置に置き、ビデオカメラ１、２で撮像する。得られた各画像は画像処理装置５０のモデル生成手段９、１０（ブロックで描示）に送られ、ここでワークの２次元教示モデルが生成され、モデル情報２０として画像処理装置５０内のメモリ（図示省略）に保存される。また、生成された２次元教示モデルについて、少なくとも３個の参照点の位置が、参照点位置設定手段１１、１２によって定められる。定められた参照点位置は参照点位置情報２１として保存される。なお、２次元教示モデル上のどの点を参照点とするかの指定は、例えば画像処理装置５０に装備されたモニタディスプレイ上に２次元教示モデルを表示させ、マウス等のポインタで参照点を指定する方式で実行すれば良い。
【００２４】
ここで、ここまでの処理手順について、図２（ａ）、（ｂ）を参照して、具体例に即して簡単に再説しておく。図２（ａ）は、ワーク（２次元画像）の一例を示し、図２（ｂ）は同ワークのためのモデル情報２０として保存される２次元教示モデルの一例を示している。本実施形態における２次元教示モデルは、左上を原点、下方向をＸ軸、右方向をＹ軸とする画像座標系上に定義される。モデルの具体的な形式はモデル検出の手法によって様々なものがありうるが、例えばモデル検出が画像同士の正規化相関処理である場合には、（ｂ）は例えば濃淡画像情報である。
【００２５】
次に、図２（ｃ）は２次元教示モデル上に定義された参照点６１〜６３の一例を示す。一般には、１つのモデル上に定義される参照点の数は３以上の適当な数とされる。前述したように、これら参照点６１〜６３の位置は、例えば画像処理装置５０に装備されたモニタディスプレイ上で指定される。
【００２６】
続いて、ステレオ画像処理について説明する。ビデオカメラ１、２で撮像された各画像は、対象物検出手段３、４に送られ、ここで２つの画像中からそれぞれワークの像が検出される。検出処理においては、モデル情報２０が使用され、例えば前述の正規化相関処理等が行なわれる。対象物検出処理自体については、様々な既存技術が適用可能であるから、ここでは詳細については言及しない。
【００２７】
対象物検出手段３、４で検出されたワークの画像上での位置に関する情報は、同一対象物対応付け手段５に送られ、各画像中で検出された複数のワーク（ワーク像）の中から同一対象物同士（同一対象物の像同士）の対応付けが行なわれる。
【００２８】
以下では、図３を参照図に加えて、前述の対象物検出および同一対象物対応付けについてやや詳しく説明する。図３（ａ）は、ワークコンテナ４０上の水平なワークと水平な状態から傾斜しているワークをビデオカメラ１または２で撮像した画像４２、４３を示している。これらの画像は、実際にワークコンテナ４０上にあるワークの状態を代表している。但し、ワークの傾斜の仕方は多様にあり、また、画像にはビデオカメラの撮像方向等に応じて変形が生じ得る。
【００２９】
そこで、ワーク検出にあたって、図２（ｂ）に示した２次元教示モデルに可変的に幾何学的変形を施したもの（以下、可変的変形モデルという）、あるいは、図２（ａ）に示した２次元画像自身に可変的に幾何学的変形を施したもの（以下、可変的変形画像という）を用意する。
【００３０】
ここで、可変的な変形には、可変パラメータのセットで記述できるものを採用する。本実施形態における可変パラメータのセットは、図３（ｂ）中に記した（Ｓx，Ｓy，δ，θ，Ｘ’，Ｙ’）である。Ｓx、Ｓy、δ、θの定義は下記の通りである。なお、２次元画像自身に可変的に幾何学的変形を施したものを採用する場合には、図２（ａ）に示した２次元画像自身について同様に、変形を可変パラメータのセット（Ｓx，Ｓy，δ，θ，Ｘ’，Ｙ’）で表わす。
【００３１】
Ｓx：Ｘ軸方向のスケール
Ｓy：Ｙ軸方向のスケール
δ：９０度を基準（δ＝０）としたＸ軸−Ｙ軸間の広がり角
θ：回転角
（Ｘ’，Ｙ’）：ワーク原点の座標
なお、θ及び（Ｘ’，Ｙ’）については、可変的変形モデル（あるいは可変的変形画像）の２次元平面（画像座標系Ｏ−ＸＹ）上での姿勢及び位置に相当し、元の２次元教示モデル（図２（ｂ）参照）、あるいは、元の２次元画像（図２（ａ）参照）に対しては、回転と並進移動を表わしているが、ここではこれらも２次元教示モデルあるいは可変的変形画像に対する「幾何学的変形」の範疇に属するものとみなし、便宜上「可変パラメータのセット」に含ませることにする。
【００３２】
このようにして用意された可変的変形モデルあるいは可変的変形画像を用い、ビデオカメラ１で得られた画像とビデオカメラ２で得られた画像について正規化相関処理等の検出処理を行う。
【００３３】
このような処理により、各ワークの検出を達成することができる。例えば図３（ｂ）のような変形モデルによって図３（ａ）の中の左側のワーク４３が検出され、検出緒果として前述のパラメータセットの各パラメータの値（Ｓx，Ｓy，δ，θ，Ｘ’，Ｙ’）が得られる。
【００３４】
同一対象物応付け手段５（図１参照）では、これらのパラメータのうちＳx，Ｓy，δ,θに着目し、対象物検出手段３および４での対象物検出結果の間でこれら４つの値がある程度近いもの同士が同一対象物画像ペアの候補として選出される。さらにビデオカメラ１、２の視線の位置関係によるエピポーラ拘束等の幾何学的制約条件２２（図１参照）も制約条件として考慮され、同一物品の侯補が絞り込まれる。
【００３５】
もしこの段階で、あるワークについて対となる侯補が複数残っている場合には、同一物品侯補の近傍領域をステレオ画像間で相関処理した結果を評価することで、最も確からしい同一物品画像ペアの侯補に絞り込むことができる。
【００３６】
このようにして対応付けがなされたならば、参照点位置算出手段６、７では同一対象物応付け手段５で対応付けされた物品の画像上での参照点の位置が計算により求められる。算出式は例えば次のようになる。ここで、各符号は図３（ｂ）に示したものが対応している。
ｘ’＝Ｘ’＋ｘ・Ｓx ・cos θ＋ｙ・Ｓy ・cos (θ＋９０゜＋δ）
ｙ’＝Ｙ’＋ｘ・Ｓx ・sin θ＋ｙ・Ｓy ・sin (θ＋９０゜＋δ）
なお、ここで説明したパラメータセットは例示であり、２次元教示モデルあるいは２次元２画像に対する透視変換あるいはアフィン変換をを表現するパラメータセットを用いて、対応付けに用いても良い。
【００３７】
以上のようにして画像上での参照点の位置が求められれば、カメラ１、２から特定のワークの参照点へ向かう視線が求められ、実際のワーク上での参照点６１〜６３に相当する箇所の３次元位置が算出される。この計算は位置姿勢算出手段８で行なわれる。具体的な３次元位置計算処理はステレオ方式に関する既存技術が適用できるので、ここでは詳細に言及しない。
【００３８】
位置姿勢算出手段８では、各１つのワークについて、予め定義した３つ以上の参照点についての３次元位置が算出される。例えば参照点が３つ（モデル上では６１〜６３）の場合は、図４に示すように３つの参照点７１、７２、７３（それぞれ６１、６２、６３に対応）の３次元位置が算出され、これらによって定まる三角形の３次元位置姿勢によって例えば符号７４で示したような座標系が求められ、これによって一意的にワーク７０の位置姿勢を表現することができる。
【００３９】
更に、３つ以上の参照点を求めなくとも、例えば対象物上に図５に示したように仮想的に三角形ＡＢＣを定義し、この対象物についての２次元教示モデルにおいて、３つの参照点に代えて、対応する三角形を定義して対応付けを行なっても良い。なぜならば、この三角形から３つの参照点と同義の情報を一意的に導出することが可能だからである。なお、この場合、図１における参照点位置設定手段１１、１２は、三角形位置設定手段１１、１２とされ、３つの参照点位置に代えて、三角形の位置を特定する他の情報（例えば３辺を表わす直線の方程式のデータ）が定められる。
【００４０】
さて、前述したように、上記説明した態様で求められたワーク４１の３次元位置姿勢のデータ（Ｘ、Ｙ、Ｚ、Ｗ、Ｐ、Ｒ）は、ロボット制御装置３０に伝えられ、ロボット３１が動作してワークの取り出しが行なわれる。３次元位置姿勢の判ったワークのハンドリングの仕方については、既存の技術が周知なので、詳しい説明は省略する。
【００４１】
【発明の効果】
本発明においては、ステレオ方式の画像処理により、部分特徴べ一スではなく対象物品単位べ一スの対応付けが行なわれ、さらに各対象ワークの検出結果を対応付けのための制約条件として利用するので、対応付けの信頼性が向上する。また、参照点を利用することにより、幾何学的特徴が少ない単純な物品を扱う場合や、幾何学的特徴が一部他の物品の陰になって見えなくなっているような状況であっても、３点以上の参照点が計算上求められれば位置姿勢を求める処理が行なえるので、適用範囲の広い、安定した物品位置姿勢検出とそれに基づく取り出しを行なうことができる。
【００４２】
更に、本発明においては、「ある物品」について参照点を含めて幾何学的特徴が他の物品の陰になっていても、その（またはそれらの）参照点をパラメータセットの値を用いて計算上求められれば、その「ある物品」の３次元位置姿勢が算出可能である。
【図面の簡単な説明】
【図１】 本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。
【図２】 （ａ）はワーク（２次元画像）の一例を示し、（ｂ）は同ワークのためのモデル情報２０として保存される２次元教示モデルの一例を示している。また、（ｃ）は、２次元教示モデル上に定義された参照点の一例を示している。
【図３】 （ａ）は、ワークコンテナ上の水平なワークと水平な状態から傾斜しているワークをいずれかのビデオカメラで撮像した画像を示し、（ｂ）は２次元教示モデルに可変的に幾何学的変形を施して用意される可変変形モデルの例を示している。
【図４】 ワーク上の３つの参照点とそれに基づいて定められる座標系について説明する図である。
【図５】 三角形を定義して対応付けを行う例について説明する図である。
【符号の説明】
１、２ ビデオカメラ
３、４ 対象物検出手段
５ 同一対象物対応付け手段
６、７ 参照位置算出手段
８ 位置姿勢算出手段
９、１０ モデル生成手段
１１、１２ 参照点位置設定手段
２１ 参照点位置情報
２２ エピポーラ拘束等幾何学的制約条件
３０ ロボット制御装置
３１ ロボット
３２ 通信回線
４０ ワークコンテナ
４１、７０ ワーク
４２、４３ ワーク画像

Claims (9)

1. 同種の複数個の物品からなる集合を互いに異なる複数の視点で撮像して得られる複数の２次元画像に基づいて個々の物品の３次元位置姿勢を検出する装置であって、
   前記物品の２次元教示モデルと、
   該２次元教示モデル上に少なくとも３つの参照点を定義する手段と、
   該２次元教示モデルを使用して、前記複数の２次元画像の夫々の中にマッチングにより、１つ以上の物品の像を検出する物品像検出手段と、
   該物品像検出手段によって、前記複数の２次元画像の夫々の中に検出された該１つ以上の物品の像について、前記複数の２次元画像間で同一物品の像同士を対応付ける対応付け手段と、
   前記２次元教示モデル上に定義された参照点に基づいて、前記対応付け手段によって対応付けされた各物品の像に対して、画像上での前記参照点の夫々の位置を求める参照点位置算出手段と、
   前記参照点位置算出手段によって求められた画像上での各参照点位置に基づいて、該各参照点の３次元位置を求め、該求められた各参照点の３次元位置を用いて前記物品の３次元位置姿勢を求める手段と、
   を備えることを特徴とする物品の位置姿勢検出装置。
2. 前記物品像検出手段は、前記２次元教示モデルに対して複数の可変パラメータを含む可変パラメータセットで表現される幾何学的変形を施した可変２次元教示モデルを用意し、前記可変２次元教示モデルを使用して、前記各２次元画像中に物品像を検出する手段を含み、
   前記参照点位置算出手段は、前記物品像の検出に対応して定まる可変パラメータセットの値に基づいて、前記物品像上の前記参照点の位置を求める手段を含む、請求項１に記載の物品の位置姿勢検出装置。
3. 前記物品像検出手段は、前記２次元画像に対して複数の可変パラメータを含む可変パラメータセットで表現される幾何学的変形を施した可変２次元画像を用意し、前記２次元教示モデルを使用して、前記各可変２次元画像中に物品像を検出する手段を含み、
   前記対応付け手段及び前記参照点位置算出手段は、前記物品像の検出に対応して定まる可変パラメータセットの値に基づいて、前記幾何学的変形前の２次元画像に対して用いられることを特徴とする請求項１に記載の物品の位置姿勢検出装置。
4. 前記可変パラメータのセットは、前記２次元教示モデルのアフィン変換を表現するパラメータを含むものである、請求項２に記載の物品の位置姿勢検出装置。
5. 前記可変パラメータのセットは、前記２次元教示モデルの透視変換を表現するパラメータを含むものである、請求項２に記載の物品の位置姿勢検出装置。
6. 前記可変パラメータのセットは、前記２次元画像のアフィン変換を表現するパラメータを含むものである、請求項３に記載の物品の位置姿勢検出装置。
7. 前記可変パラメータのセットは、前記２次元画像の透視変換を表現するパラメータを含むものである、請求項３に記載の物品の位置姿勢検出装置。
8. 前記２次元教示モデル上に３つ以上の参照点を定義する代わりに、３つ以上の参照点と同義の情報を与える、該２次元教示モデルと３次元的な相対位置関係が固定された関係にある図形を定義することを特徴とする請求項１乃至請求項７の内、何れか１項に記載の物品の位置姿勢検出装置。
9. 請求項１乃至請求項８のいずれか１項に記載された位置姿勢検出装置とロボットとを組み合わせ、前記位置姿勢検出装置によって３次元位置姿勢が検出された物品をロボットによって取り出すことを特徴とする、物品取り出し装置。

Images