JP6025386B2 - 画像計測装置、画像計測方法及び画像計測プログラム - Google Patents

Description

本発明は、カメラによって撮像された画像からワークの二次元位置及び／又は姿勢を計測する画像計測に関する。

一般に、カメラで撮像した画像から撮像対象（以下、単にワークという）の二次元上の位置姿勢を計測可能であることが知られている。ところで、実際のワークの位置姿勢は実際の空間の座標（ワールド座標系）で表される一方、撮像された画像は画像座標（画像座標系）で表される。そのため、撮像された画像からワークの二次元上の位置姿勢を計測するためには、画像座標［pixel］の情報を実際の空間の座標［ｍｍ］に対応付ける必要がある。即ち、カメラの撮像平面と二次元計測を行う測定平面とを同定する必要がある。

これら２つの平面を同定するためには、カメラについて内部パラメータ（画像中心位置、焦点距離、レンズの歪みなどのパラメータ）及び外部パラメータ（回転パラメータや並進パラメータなど）の校正を行う必要がある。

従来、上記外部パラメータは、実空間上の相対位置関係を予め計測してある校正パターンを撮像し、この撮像された画像上での校正パターンと実空間上の校正パターンとの相対位置関係を比較することにより校正が行われている（特許文献１参照）。

特開２００３−５０１０７号公報

しかしながら上記特許文献１の方法では、外部パラメータを校正した平面と、実際に測定対象が置かれる平面との間に差異があると測定誤差が発生してしまう。通常、ワークが固定平面上に載置される場合、外部パラメータの校正を行った平面（以下校正平面という）と、ワークの測定平面との間に大きな差異が生じることはなく、このような測定誤差は問題とならない。しかしながら、例えばロボットアームのエンドエフェクタなどによってワークが把持される場合、このワークの把持位置によってワークの位置姿勢が変化してしまうことがある。そして、この場合、上記校正平面とワークの測定平面との差異が大きく、これら平面間の差異に基づく測定誤差も大きくなってしまうという問題がある。

そこで本発明は、ワークの測定平面と外部パラメータを校正した平面との間に差異が生じ得る場合においても、少ない誤差で二次元計測を可能にすることを目的とする。

本発明に係る画像計測装置は、カメラにより、校正平面に既知の校正パターンを備えた校正基準器を撮像し、撮像した校正パターンの画像に基づき、前記カメラにより前記校正パターンを撮像した時の外部パラメータを校正し、校正された外部パラメータを記憶して、前記カメラで保持装置により保持されたワークの測定平面を撮像し、撮像した前記測定平面の画像と、記憶した前記外部パラメータを用いた演算に基づき、ワークの二次元位置及び／又は姿勢を計測する画像計測装置において、前記カメラにより、前記保持装置によって保持された前記ワークを撮像するに際し、前記校正平面に直交する前記ワークの保持位置を検出する測長センサを介して前記測定平面と、前記校正パターンを撮像した時の前記校正平面と、の距離の差分を検出する検出装置と、前記検出装置が検出した前記差分に基づいて前記演算を補正し、補正された演算に基づき前記カメラにより撮像された画像から前記ワークの二次元位置及び／又は姿勢を測定する制御部と、を備えたことを特徴とする。

また、本発明に係る画像計測方法は、カメラにより、校正平面に既知の校正パターンを備えた校正基準器を撮像し、演算装置が、撮像した校正パターンの画像に基づき、前記カメラにより前記校正パターンを撮像した時の外部パラメータを校正する外部パラメータ校正工程と、前記カメラで保持装置により保持されたワークの測定平面を撮像する撮像工程と、前記演算装置が、撮像した前記測定平面の画像と、記憶した前記外部パラメータを用いた演算に基づき、ワークの二次元位置及び／又は姿勢を計測する画像処理工程と、を備えた画像測定方法において、前記演算装置が、前記校正平面に直交する前記ワークの保持位置を検出する測長センサを介して前記撮像工程において撮像した前記ワークの前記測定平面と、前記外部パラメータ校正工程において前記校正パターンを撮像した時の前記校正平面と、の距離の差分を演算する差分演算工程と、前記演算装置が、前記差分演算工程にて演算された前記測定平面と前記校正平面の位置の差分に基づいて、前記演算を補正する補正工程と、前記演算装置が、前記補正工程によって補正された演算に基づき、前記カメラにより撮像された画像から前記ワークの二次元位置及び／又は姿勢を測定する二次元計測工程と、を備えたことを特徴とする。

本発明によると、外部パラメータを校正した校正平面とワークの測定平面との差分に基づいて撮像した前記測定平面の画像と、記憶した前記外部パラメータを用いてワークの二次元位置及び／又は姿勢を計測するための演算を補正する。そのため、上記測定平面と校正平面とにズレがあったとしても、上記演算の補正により精度良くワークの二次元計測をすることができる。

本発明の第１の実施の形態に係る画像計測装置を備えた自動組立装置を示す模式図。 図１の画像計測装置の制御部を示す模式図。 図１の画像計測装置による外部パラメータの校正を示すフローチャート図。 （ａ）外部パラメータを校正する際の画像計測装置を示す模式図、（ｂ）校正基準器を示す模式図。 図１の画像計測装置による二次元画像計測を示すフローチャート図。 ワークを二次元計測する際の画像計測装置を示す模式図。 （ａ）校正基準器とワークとの初期変位を示す図、（ｂ）ワークの測定平面と校正平面との位置の違いを示す図。 本発明の第２の実施の形態に係る画像計測装置を備えた自動組立装置を示す模式図。 図８の画像計測装置が外部パラメータを校正する際の状態を示す模式図。 ワークの測定平面と校正平面の位置姿勢の違いを示す図。 本発明の第３の実施の形態に係る画像計測装置を備えた自動組立装置を示す模式図。 本発明の第３の実施の形態に係る保持装置がワークを保持した状態を示す平面図。

［第１の実施の形態］
［画像計測装置の構成］
以下、本発明の第１の実施の形態に係る画像計測装置１について図面に沿って説明をする。図１に示すように生産ライン上にてワーク２を把持して製品を自動的に組み立てる自動組立装置７は、その先端にワーク２を保持する保持装置３を有するロボットアーム５を備えている。また自動組立装置７は、上記保持装置３により保持されたワーク２を撮像するカメラ（第１カメラ）６と、上記カメラ６及びロボットアーム５が接続された制御部１０とを備えている。

上記保持装置３は、ワーク２を把持するチャックにより構成されており、具体的には、ワーク２を挟持するフィンガ（挟持部材）９と、このフィンガ９が取付けられる本体部１１と、から構成されている。また、この本体部１１には、ワーク２の把持位置を検出するためのレーザ測長器（検出装置）１２が設けられている。そして、自動組立装置７は、これらカメラ６、制御部１０及びレーザ測長器１２によって画像計測装置１を構成している。

上記制御部１０は、図２に示すように、演算装置１０２及び記憶装置１０３を有するコンピュータ本体に、上記ロボットアーム５、カメラ６及びレーザ測長器１２が接続されて構成されている。また、コンピュータ本体には、作業者が入力作業を行うための入力装置１０６やティーチングペンダント１３及び表示装置１０７なども接続されている。

上記記憶装置１０３には、カメラ６の外部パラメータ（以下、基準外部パラメータという）１１４及びこの基準外部パラメータを校正した校正平面の位置及び姿勢のデータ１１３が格納されている。また、その他にも、ロボットアーム５やカメラ６などの制御ドライバや、上記基準外部パラメータ１１４の補正及びワーク２の二次元計測をコンピュータに実行させる画像計測プログラム１１２などの各種プログラムが格納されている。

より詳しくは、コンピュータ本体は、ＣＰＵ１０２ａを主体として、画像処理装置１０２ｂ、音声処理装置１０２ｃを有して上記演算装置１０２を構成している。このＣＰＵ１０２ａには、上記画像処理装置１０２ｂ、音声処理装置１０２ｃの他に、ＲＯＭ１０３ａ及びＲＡＭ１０３ｂがバス１１１を介して接続されている。ＲＯＭ１０３ａには、コンピュータの基本制御に必要なプログラムが格納されていると共に、上述した画像計測プログラム１１２などの各種プログラムやデータが格納されている。ＲＡＭ１０３ｂには、ＣＰＵ１０２ａに対する作業領域が確保される。画像処理装置１０２ｂはＣＰＵ１０２ａからの描画指示に応じて表示装置１０７としての液晶ディスプレイを制御して、その画面上の所定の画像を表示させる。音声処理装置１０２ｃはＣＰＵ１０２ａからの発音指示に応じた音声信号生成してスピーカ１０９に出力する。

ＣＰＵ１０２ａにはバス１１１に接続された入力インターフェース１０６ｃを介して、入力装置１０６としてのキーボード１０６ａ及びマウス１０６ｂが接続されており、ワーク２の組み立てに必要な指定情報、或いはその他の指示の入力を可能としている。

また、バス１１１には、ロボットアーム５、カメラ６が接続されていると共に、記録メディア読取装置１１５が接続されており、画像計測プログラム１１２などを記録した記録媒体１１０を読み込み、例えばＲＯＭ１０３ａに格納できるようになっている。なお、上述した記憶装置１０３は、主記憶装置であるＲＯＭ１０３ａ及びＲＡＭ１０３ｂの他に、その他の外部記憶装置を備えて構成されている。

更に、バス１１１には、通信装置１１６が接続されており、上述したような記録媒体１１０を使用せずに、通信装置１１６を介してインターネット等から配信される画像計測プログラム１１２をダウンロード可能に構成されている。

また、本実施の形態では、制御部１０をカメラ６が接続されたコンピュータによって構成しているが、カメラ６に内蔵された演算装置と、共同して制御部を構成しても良く、またカメラ６の演算装置のみでこの制御部を構成しても良い。

［二次元計測動作］
ついで、上述した画像計測装置１によるワークの２次元計測について図３〜図７に基づいて説明をする。画像計測装置１は、ワークの二次元計測を行う準備段階として、まず校正基準器１５を用いて外部パラメータの校正を行い、上述した基準外部パラメータ１１４を求める。

具体的には、図３及び図４に示すように、画像計測装置１は、まず、ロボットアーム５の保持装置（以下、単にチャックという）３によって校正基準器１５を把持（保持）する（図３のステップＳ１、ワーク保持工程）。この校正基準器１５は、図４（ａ）に示すように、チャック３により把持するためのアタッチメント１５ａと、このアタッチメント上に載置された校正ボード１５ｂとによって構成されている。そして、校正ボード１５ｂの上面には、円形のマーカ１６が３×３列になるように並んだ校正パターンが形成されており、画像形成装置１は、この校正パターンをカメラ６によって撮像する（Ｓ２、校正基準器撮像工程）。

撮像された校正パターンの画像は制御部１０に通信され、この画像を用いて制御部１０は外部パラメータを校正する（Ｓ５、外部パラメータ校正工程）。具体的には、制御部１０は、まず撮像された画像から各マーカ１６の画像座標系における座標［ｕ，ｖ］を求める。ここで、画像座標系におけるマーカ１６の座標と、実空間上の座標系であるワールド座標系におけるマーカ１６の座標との関係は、以下の式（１）のように表すことができる。

Ａ：内部パラメータ、［Ｒ，ｔ］：外部パラメータ、
［Ｘｒ，Ｙｒ，Ｚｒ］：ワールド座標系におけるマーカ１６の座標

また、上記校正パターンが存在する校正平面１７をＸＹ平面と定義すると、式（１）は、以下の式（２）のように表すことができる。

校正パターンの各マーカ１６の相対位置関係は既知であるため、１つのマーカ１６を原点とすると、各マーカ１６の［Ｘｐ，Ｙｐ，０］は既知となる。制御部１０は、これらのマーカ１６の式（２）を最小二乗法などの数学的解放を用いて解くことにより上記外部パラメータ［Ｒ，ｔ］を校正する。そして、上記外部パラメータ［Ｒ，ｔ］が校正されると、この校正された外部パラメータを基準外部パラメータ１１４として記憶装置１０３に記憶する（Ｓ４、外部パラメータ記憶工程）。

また、上記校正基準器１５がチャック３によって把持されると、画像計測装置１は、上述した外部パラメータの校正と同時に、校正基準器１５の把持位置の検出も行う。即ち、チャック３の本体部１１の上面１１Ｕに設けられたレーザ測長器１２によって校正基準器１５の底面までの距離Ｌｐが計測される（Ｓ５、校正平面検出工程）。そして、制御部１０は、この校正平面１７に直交する方向の距離Ｌｐを把持位置として記憶する（Ｓ６、把持位置記憶工程）。

言い換えると、制御部１０は、上記距離Ｌｐを外部パラメータを校正した校正平面１７の位置として記憶しており、レーザ測長器１２は、この校正平面１７の位置を検出する検出装置となっている。

なお、上記外部パラメータを校正する前にカメラ６は内部パラメータを校正済みである。また、校正パターンは、一直線上に並ばない３つ以上のマーカを有していればどのような形態でもよく、マーカの形状は格子状であったり、円柱のような立体形状であったりしても良い。更に、校正基準器１５の形状も立方体であったり、板状であったり、どのような形状でも良い。

上記カメラパラメータ（外部パラメータ及び内部パラメータ）の校正が終わると、画像計測装置１は、ワーク２の二次元計測が可能な状態となる。以下、実際のワーク２の二次元計測における画像計測装置１の動作について図５乃至７に基づいて説明をする。

図６に示すように、生産ライン上においてロボットアーム５のチャック３によってワーク２が把持されると（図５のＳ７、ワーク把持工程）、まず、レーザ測長器１２によりワーク２の底面２Ｌまでの距離Ｌｍが測長される（Ｓ８、ワーク把持位置検出工程）。

制御部１０は、上記レーザ測長器１２によって検出された距離Ｌｍをワーク２の把持位置（保持位置）として記憶装置１０３に記憶する。即ち、上記レーザ測長器１２は、チャック（保持装置）３により把持（保持）されたワーク２の測定平面２０の位置を検出する検出装置となっており、制御部１０は、この距離Ｌｍをワーク２の把持位置つまりは、ワーク２の測定平面２０の位置として記憶する。

また、ワーク２がチャック３によって把持されると、画像計測装置１は、内部及び外部パラメータが校正されたカメラ６によりワーク２を撮像する（Ｓ９、ワーク撮像工程）。そして、この撮像したワーク２の画像に制御部１０により画像処理を施して、ワーク２の画像座標系における計測点の座標［ｕ，ｖ］を求める（Ｓ１０、画像処理工程）。

ここで、ワーク２をチャック３が把持した際の把持位置のズレにより、上記ワーク２の計測点が存在する測定平面２０と基準外部パラメータ１１４を校正した校正平面１７とにはズレが生じている可能性がある。そのため、制御部１０は、上記ワーク２の測定平面２０と基準外部パラメータ１１４を校正した校正平面１７との差分をレーザ測長器１２の検出値から演算する（Ｓ１１、差分演算工程）。

具体的には、図７（ａ）は、チャック３がワーク２を基準位置にて把持した場合と、基準外部パラメータ１１４を求める際にチャック３が校正基準器１５を把持した場合とを比較した図である。この図７（ａ）から分かるように、ワーク２と校正基準器１５とはその形状の違いから、校正平面１７と測定平面２０との間に第１初期変位Ｏｆｆｓｅｔ＿１がある。また、レーザ測長器１２によって測長されるワーク２及び校正基準器１５の底面２Ｌ，１５Ｌの間にも第２初期変位Ｏｆｆｓｅｔ＿２がある。即ち、ワーク２が基準位置で把持された際のレーザ測長器の検出値Ｌｍ’と基準外部パラメータを校正した際のレーザ測長器の検出値Ｌｐとの差分が上記第２初期変位Ｏｆｆｓｅｔ＿２となっている。そのため、校正平面１７と測定平面２０との間の把持位置方向（Ｚ軸方向）の位置の差分は、これらの初期変位Ｏｆｆｓｅｔ＿１及びＯｆｆｓｅｔ＿２を考慮して算出される。

即ち、図７（ｂ）に示すように、ワーク２を把持した際にレーザ測長器１２によって測長されたワーク２の底面２Ｌまでの距離をＬｍとすると、ワーク２の把持位置の変化による差分ΔＬは、式（３）のように表される。

そして、制御部１０は、校正平面１７と測定平面２０との実際の差分を、Ｏｆｆｓｅｔ＿１＋ΔＬとして演算する。

校正平面１７と測定平面２０との把持方向位置の差分が演算されると、制御部１０は、上記差分演算工程にて演算された校正平面１７と測定平面２０との距離の差分に基づいて、基準外部パラメータ１１４を用いる演算（式（２））を下記の式（４）のように補正する（Ｓ１２、外部パラメータ補正工程）。この場合、具体的には、ワーク２の測定平面２０と校正平面１７との差分が解消されるように、ワーク２の画像上の位置［ｕ，ｖ］と実際の位置との関係を示す式（４）の把持方向位置Ｚｐの値を、差分Ｏｆｆｓｅｔ＿１＋ΔＬとする。

そして、制御部１０は、上記式（４）の連立方程式を解くことにより、ワーク２の二次元位置を計測し（Ｓ１３、二次元計測工程）、計測結果とする（Ｓ１４）。即ち、制御部１０は、上記補正された外部パラメータを使用してワーク２の二次元位置の計測を行なっている。

なお、上記説明では、ワーク２の１つの計測点（例えばワークの中心（重心））の二次元位置の計測について説明をしたが、ワーク２及び校正基準器１５の少なくとも２点、好ましくは３点以上を計測すれば、ワーク２の姿勢についても計測することができる。

このように、上記画像計測装置１は、ワーク２の測定平面２０の位置及び／又は姿勢を単数又は複数のレーザ測長器（測長センサ）１２によって計測する。また、制御部１０がカメラ６の基準外部パラメータ１１４及びこの基準外部パラメータ１１４を校正した校正平面１７の位置又は姿勢を記憶している。そして、この制御部１０が、上記測定平面２０及び校正平面１７の位置又は姿勢が一致するように基準外部パラメータ１１４を補正する。従って、ワークのＸＹ軸方向位置を計測する二次元計測においても、ワーク２を把持する際の把持位置のズレに起因するＺ軸方向を考慮して、ワークの二次元位置及び／又は姿勢を精度良く測定することができる。

また、測定平面２０と校正平面１７との相対的な差分さえ求まれば基準外部パラメータ１１４を補正することができるため、上記測定平面２０及び校正平面１７の三次元位置を求めずに少ない演算量で基準外部パラメータ１１４を補正することができる。このため、校正平面１７に直交するワーク２の把持位置をレーザ測長器１２で計測することで、ワーク２の把持位置にズレが生じる度に簡単かつ正確に外部パラメータを補正することができる。

なお、ワーク２の把持位置を計測する測長センサとしては、超音波センサなどの非接触測定器やダイヤルゲージなどの接触測定器あってもよい。また、本実施の形態では、レーザ測長器をチャック３に配設して構成したが、ワーク２の把持位置が計測できれば良く、例えば、チャック３と離れた場所に配設されてもよい。

［第２の実施の形態］
次いで本発明の第２の実施の形態に係る画像計測装置について説明をする。なお、第２の実施の形態はステレオカメラ３１を用いて校正平面１７及び測定平面２０の位置及び／又は姿勢を計測する点で第１の実施の形態と相違しており、以下の説明において第１の実施の形態と同様の構成についてはその説明を省略する。

図８に示すように、画像計測装置１は、ワーク２を保持する保持装置として多指ロボットハンド（以下、単にロボットハンドという）３３を有している。このロボットハンド３３は、第１の実施の形態と同様にロボットアーム５の先端に取り付けられていると共に可動関節を備えた複数のフィンガ３４を有している。そして、これら複数のフィンガ３４によりワーク２を把持するように構成されている。

また、画像計測装置１は、ワーク２の位置姿勢を計測するためのカメラとして単眼カメラ（第１カメラ、以下単にカメラという）３０を有しており、このカメラ３０は演算装置３５が一体に組み込まれたスマートカメラによって構成されている。該演算装置３５は、撮像した画像を処理する画像処理装置となっており、この演算装置３５と、カメラ３０に対して撮像指令などを行う外部コンピュータ３６とによって画像計測装置１の制御部１０が構成されている。なお、この外部コンピュータ３６は第１の実施の形態の制御部と同様の構成をしている。

更に、画像計測装置１は、ワーク２の測定平面２０の位置及び／又は姿勢を検出する検出装置としてロボットハンド３３に設けられたステレオカメラ（第２カメラ）３１を有している。このステレオカメラ３１は、左右のカメラ３１ａ，３１ｂの視差情報を用いて三次元計測を可能とするカメラであり、ワーク上の特徴点（所定点）を三次元計測する際に使用される画像を撮像する。

上記画像計測装置１は、このステレオカメラ３１を用いてワーク上の特徴点を撮像することにより校正平面１７及び測定平面２０の位置及び／姿勢を検出する点において第１の実施の形態と相違している。以下、この相違点を中心に画像測定装置１によるワーク２の二次元計測について説明をする。

画像計測装置１は、制御部１０にワーク２の任意の特徴点２ａの設計時の寸法情報を記憶しており、このワーク自体を校正基準器として使用してカメラ３０の外部パラメータの校正を行う。

具体的には、図９に示すように、基準となるワーク２がロボットハンド３３によって把持されると、カメラ３０によって撮像し、このワーク２の特徴点２ａを校正基準器のマーカとして使用して、第１の実施の形態と同様の方法で外部パラメータを校正する。

また、この時同時に画像計測装置１は、ステレオカメラ３１によって、ワーク２の特徴点２ａを撮像する。制御部１０は、撮像されたステレオ画像から各特徴点２ａの位置についてステレオ法を用いて三次元計測を行う。そして、これら複数の特徴点２ａの三次元位置から制御部１０は校正平面１７の位置姿勢Ｈｐを演算し、記憶する。

ついで、ワーク２の位置姿勢の二次元計測について説明をする。ロボットハンド３３によってワーク２が把持されると、カメラ３０及びステレオカメラ３１によって特徴点２ａが存在するワーク２の測定平面２０が撮像される。

上記ステレオカメラ３１によって特徴点２ａが撮像されると、制御部１０は基準外部パラメータ１１４の校正時と同様に、特徴点２ａの三次元位置を計測し、これら特徴点２ａの三次元位置からワーク２の測定平面２０の位置姿勢Ｈｍを演算する。

図１０は、上記基準外部パラメータ１１４の校正時とワーク２の二次元計測時とを比較した図である。この図１０から分かるように、校正平面１７の位置姿勢Ｈｐと測定平面２０の位置姿勢Ｈｍとの間には、ズレが生じている。制御部１０は、これら校正平面１７と測定平面２０との位置及び姿勢Ｈｐ，Ｈｍを求めると、校正平面１７と測定平面２０との差分ΔＨを以下の式（５）のように演算する。

そして、上記差分ΔＨが求まると、制御部１０は、この差分ΔＨが無くなるように、即ち校正平面１７と測定平面２０とが一致するように、基準外部パラメータ１１４を補正する。なお、この補正された外部パラメータを［Ｒ’，ｔ’］と記載する。

また、制御部１０は、上記外部パラメータの補正と同時に、カメラ３０によって撮像された画像からワーク２の画像上の特徴点２ａの座標［ｕ，ｖ］を演算している。そして、制御部１０は、この画像座標系の座標とワールド座標系の座標との対応付けを行う式（１）に上記補正後の外部パラメータ［Ｒ’，ｔ’］を適用した式（６）の連立法定式を解くことによって、ワーク２の特徴点２ａの二次元位置［Ｘｐ，Ｙｐ］を求める。また、同様な作業を各特徴点２ａに対して行うことによってワーク２の姿勢を求めることができる。

このように、基準外部パラメータを校正した際の校正平面１７とワーク２の測定平面２０とを一致させるように上記基準外部パラメータを補正することにより、ワーク２の把持位置にズレが生じても、正確にワーク２の二次元位置姿勢を計測することができる。

また、ワーク２の把持位置検知を、ワーク２の位置姿勢の測定と同様に画像測定の手法を用いたため、ワークの位置・姿勢の計測を行う点と、把持位置の検知を行う点を一致させることができる。これにより、誤差要因を少なくすることができる。

なお、本実施の形態では、ワーク自体を校正基準器として使用したが、このワークと同じ形状を高精度に制作した原器を用いても良い。また、第２カメラは必ずしもステレオカメラである必要はなく、１つのカメラでも良い。この場合、モーションステレオ法、三次元ＣＡＤマッチング、透視歪み計算、光切断法や空間コード化法などの方法が校正平面１７及び測定平面２０の検出に用いられる。

［第３の実施の形態］
次いで本発明の第３の実施の形態について説明をする。なお、第３の施形態は、接触センサを用いて校正平面１７及び測定平面２０の位置及び／又は姿勢を計測する点で第１又は第２の実施の形態と相違しており、以下の説明において第１又は第２の実施の形態と同様の構成についてはその説明を省略する。

図１１に示すように、画像計測装置１は、ワークの測定平面の位置及び／又は姿勢を検出する検出装置として、チャック（保持装置）３のフィンガ９の先端部に面圧分布センサ４０を設けている。この面圧分布センサ４０は、掛かった力を検出するセンサが面上に複数個配置された力覚センサであり、ワーク２と接触する面がテーパー状に傾斜して形成されている。

より詳しくは、面圧分布センサ４０は、図１２に示すように、３本あるフィンガ９それぞれの先端部に設けられており、面圧分布センサの力検知分布の重心を算出することにより、ワーク２とフィンガ９（保持装置）との接触点を検出可能な接触センサとなっている。また、３点の接触点の位置を求めることによって、平面の位置及び姿勢を検出することができるようになっている。なお、フィンガ９が２本の場合は把持位置姿勢の補正は二次元となり、４本以上の場合は最小二乗法などを用いて複数の検出点に最も近い平面を算出し、この平面により三次元検知を行うことが可能となる。

このため、画像計測装置１は、外部パラメータの校正時には、校正基準器をチャック３が把持した際の上記フィンガ９の接触点の位置求めることによって、校正平面１７の位置姿勢Ｈｐを求めることができる。また、ワーク２の二次元計測時も同様に、ワーク２をチャック３が把持した際のフィンガ９の接触点の位置を求めることによって、測定平面２０の位置姿勢Ｈｍを求めることができる。

そして、基準位置にてワーク２を把持した際の測定平面２０の位置姿勢Ｈｍ’と校正平面１７の位置姿勢Ｈｐとの初期変位をＨｏｆｆｓｅｔとすると、制御部１０は、校正平面１７と測定平面２０との差分ΔＨを以下の式（７）のように演算することができる。

このため、画像計測装置１は、第２の実施の形態と同様の方法により、校正平面１７と測定平面２０との差分ΔＨを用いて基準外部パラメータを補正して、精度よくワークの二次元位置姿勢を計測することができる。

また、ワークを把持する部位に設けた力検出センサを用いて把持位置の検出を行うため、ワーク２を把持するワーク把持工程において、ワークの有無検知が可能となる。そのため、ワークを何かしらの原因で把持出来なかった場合に、ワーク把持位置検出工程に入る前に把持エラーを検出することができ、ワークの把持のリトライを行う時間を短縮することができる。また、ワークの有無をご認識することを防止することができる。

なお、上記第１乃至第３の実施の形態において、ワーク２を保持する保持装置として、チャック、ロボットハンドを用いたが、ワークを保持する事が出来れば必ずしもこれに限る必要はなく、例えば、吸引してワークを保持する吸引保持装置のような物でも良い。

また、上記保持装置は、必ずしもロボットハンドの先端に取り付けられている必要はなく、例えば、レール上に配置された駆動装置上に配置されても良い。更に、上記第１乃至第３の実施の形態に記載された発明は、どのように組み合わされても良いことは当然である。

１：画像計測装置、６，３０：カメラ（第１カメラ）、３，３３：チャック，ロボットハンド（保持装置）、１０：制御部、１２，３１，４０：レーザ測長器，ステレオカメラ，面圧分布センサ（検出装置）

Claims (3)

1. カメラにより、校正平面に既知の校正パターンを備えた校正基準器を撮像し、撮像した校正パターンの画像に基づき、前記カメラにより前記校正パターンを撮像した時の外部パラメータを校正し、校正された外部パラメータを記憶して、前記カメラで保持装置により保持されたワークの測定平面を撮像し、撮像した前記測定平面の画像と、記憶した前記外部パラメータを用いた演算に基づき、ワークの二次元位置及び／又は姿勢を計測する画像計測装置において、
   前記カメラにより、前記保持装置によって保持された前記ワークを撮像するに際し、前記校正平面に直交する前記ワークの保持位置を検出する測長センサを介して前記測定平面と、前記校正パターンを撮像した時の前記校正平面と、の距離の差分を検出する検出装置と、
   前記検出装置が検出した前記差分に基づいて前記演算を補正し、補正された演算に基づき前記カメラにより撮像された画像から前記ワークの二次元位置及び／又は姿勢を測定する制御部と、を備えた、
   ことを特徴とする画像計測装置。
2. カメラにより、校正平面に既知の校正パターンを備えた校正基準器を撮像し、演算装置が、撮像した校正パターンの画像に基づき、前記カメラにより前記校正パターンを撮像した時の外部パラメータを校正する外部パラメータ校正工程と、
   前記カメラで保持装置により保持されたワークの測定平面を撮像する撮像工程と、
   前記演算装置が、撮像した前記測定平面の画像と、記憶した前記外部パラメータを用いた演算に基づき、ワークの二次元位置及び／又は姿勢を計測する画像処理工程と、
   を備えた画像測定方法において、
   前記演算装置が、前記校正平面に直交する前記ワークの保持位置を検出する測長センサを介して前記撮像工程において撮像した前記ワークの前記測定平面と、前記外部パラメータ校正工程において前記校正パターンを撮像した時の前記校正平面と、の距離の差分を演算する差分演算工程と、
   前記演算装置が、前記差分演算工程にて演算された前記測定平面と前記校正平面の位置の差分に基づいて、前記演算を補正する補正工程と、
   前記演算装置が、前記補正工程によって補正された演算に基づき、前記カメラにより撮像された画像から前記ワークの二次元位置及び／又は姿勢を測定する二次元計測工程と、を備えた、
   ことを特徴とする画像計測方法。
3. 前記請求項２記載の画像計測方法の各工程を、コンピュータに実行させる画像計測プログラム。

Images