JP4003465B2

JP4003465B2 - 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置

Info

Publication number: JP4003465B2
Application number: JP2002018853A
Authority: JP
Inventors: 良介三高; 満白澤
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2002-01-28
Filing date: 2002-01-28
Publication date: 2007-11-07
Anticipated expiration: 2022-01-28
Also published as: JP2003216931A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子回路の位置決め等に応用されるパターン認識技術において、既知のパターンをあらかじめ記憶手段に記憶しておき、これと入力される画像との照合を行って画像中で既知パターンが相似変形して見える際の幾何学的パラメータ、すなわち位置、回転角度、スケール変動を検出する技術に関し、特にパターンの明度変動、他のパターンとの重なりあい、ノイズの発生などにより画像から抽出される画像特徴量が不安定となる場合にも正しい幾何学的パラメータの検出を可能にする、特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置に関するものである。
【０００２】
【従来の技術】
既知のパターンを入力画像から検出するパターン認識技術において、検出するべきパターンにスケール変動や回転がない平行移動のみが加わっている場合にそのパターンを検出するとき、パターンの画像そのものをテンプレートとしてあらかじめ記憶手段に記憶させておき、画像上のあらゆる位置においてテンプレートと画像との正規化相関値（認識対象画像の任意の位置でテンプレートと同サイズに切りだした画像の画素値と、テンプレートの画素値との間の相関係数）を算出し、正規化相関値が最大となる位置を検出する正規化相関パターンマッチング法が広く知られている。
【０００３】
また、認識対象画像のパターンが回転する可能性がある場合の認識方法の一例としての特開昭６０−２５８６８９号公報に記載された発明では、複数のパターンが撮影された画像からパターンの周囲長や面積などの特徴量を算出し、特徴量と既知パターンの特徴量を比較することにより所望のパターンを検出し、さらにパターンに含まれる直線部を検出することにより回転角度、位置を同定するようにすることで、回転の生じるパターンも認識可能としている。
【０００４】
【発明が解決しようとする課題】
しかしながら、正規化相関法では前述のようにパターンの回転、スケール変動が生じている場合や、部分的な明度変動、パターンの一部隠蔽などが生じている場合にも位置が正しく検出されないという問題があった。
【０００５】
また、特開昭６０−２５８６８９号公報に記載された発明では、ノイズや明度むらが大きい場合など、認識対象となるパターンと背景パターンを２値画像に分離することができない場合には適用できない欠点があった。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、照明変動や障害物、位置決め誤差などの環境の変動の影響などを受け難い頑健な認識が可能な、特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明は、デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、画像処理装置が認識対象画像の特定パターンを認識する特定パターン認識方法であって、前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出過程と、この局所パターン候補点抽出過程で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形過程と、このモデル変形過程で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価過程とを含むことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像の輪郭線を求め、この輪郭線における曲率値が所定値よりも大きい領域の部分画像から、前記局所パターンを抽出することを特徴とする。
【０００９】
請求項３記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像の部分画像について、画素毎に明度変化方向を求め、少なくとも異なる２方向に明度変化のピークが現れる部分の画像のパターンを前記局所パターンとして抽出することを特徴とする。
【００１０】
請求項４記載の発明は、請求項１記載の特定パターン認識方法において、前記連結パターンは画像パターンであることを特徴とする。
【００１１】
請求項５記載の発明は、請求項１記載の特定パターン認識方法において、前記連結パターンは、直線、少なくとも１つの中間節点を持つ折れ線および曲線のいずれかであり、その連結パターンデータは数式データであることを特徴とする。
【００１２】
請求項６記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像から、前記局所パターンの中心位置を原点とする極座標を、原点を中心とした角度を示す角度軸と原点からの距離を示す距離軸とを有する直交座標に変換して、直交変換画像を作成し、前記局所パターン候補点抽出過程では、前記認識対象画像を含むデジタル画像から、ある注目点を原点とする極座標を直交座標に変換して、直交変換画像を作成し、この直交変換画像と前記モデル生成過程で作成された直交変換画像とを角度軸方向に平行移動させながら、順次類似度を求め、これらの各類似度から最大類似度を抽出し、この最大類似度が所定の基準よりも大きければ、最大類似度が得られたときの直交変換画像の位置を前記局所パターン候補点の位置とするとともに、その最大類似度を与える移動量をもとに、対応する局所パターンに付与された方向を前記局所パターン候補点に割り当てることを特徴とする。
【００１３】
請求項７記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像から、前記局所パターンの中心位置を原点とする極座標を、原点を中心とした角度を示す角度軸と原点からの距離を示す距離軸とを有する直交座標に変換して、直交変換画像を作成し、この直交変換画像を角度軸に投影して１次元の波形データを作成し、前記局所パターン侯補点抽出過程では、前記認識対象画像を含むデジタル画像から、ある注目点を原点とする極座標を直交座標に変換して、直交変換画像を作成し、この直交変換画像を角度軸に投影して１次元の波形データを作成し、この１次元の波形データと、前記モデル生成過程で作成された波形データとを角度軸方向に平行移動させながら、順次類似度を求め、これらの各類似度から最大類似度を抽出し、この最大類似度が所定の基準よりも大きければ、最大類似度が得られたときの直交変換画像の位置を前記局所パターン候補点の位置とするとともに、その最大類似度を与える移動量をもとに、対応する局所パターンに付与された方向を前記局所パターン候補点に割り当てることを特徴とする。
【００１４】
請求項８記載の発明は、請求項６記載の特定パターン認識方法において、前記認識対象画像を含むデジタル画像から抽出した直交変換画像を距離軸方向に拡大または縮小して、前記モデル生成過程で作成された直交変換画像とマッチングすることを特徴とする。
【００１５】
請求項９記載の発明は、請求項１記載の特定パターン認識方法において、前記局所パターン侯補点抽出過程では、局所的に画素値の変化の大きい部分だけを事前に抽出し、その部分のみに対して局所パターン候補点抽出処理を行うことを特徴とする。
【００１６】
請求項１０記載の発明は、請求項１記載の特定パターン認識方法において、前記モデル変形過程では、前記変形候補の局所パターン候補点の方向と、対応する前記局所パターンの方向との角度差が所定角より大きい場合、その変形候補を前記類似度評価過程での類似度の評価から除外することを特徴とする。
【００１７】
請求項１１記載の発明は、請求項４記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが画像データである場合、前記モデル変形過程で求められた変形候補の変形パラメータに基づいて、前記連結パターンを変形し、この変形した連結パターンを含む変形した認識用モデルの全体パターンと前記認識対象画像とのマッチングを行うことを特徴とする。
【００１８】
請求項１２記載の発明は、請求項５記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定された全てのサンプリングライン上の画素値の分布と、連結パターン候補の位置で画素値がステップ状に変化する理想パターンとの相関値を算出して類似度とすることを特徴とする。
【００１９】
請求項１３記載の発明は、請求項５記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定されたサンプリングライン上の画素値の分布と、サンプリング点部分で画素値がステップ状に変化する理想パターンとの類似度を調べる処理をサンプリングラインごとに行い、類似度を全てのサンプリングラインに対して求めて平均値を算出し全体の類似度とすることを特徴とする。
【００２０】
請求項１４記載の発明は、請求項１１から１３のいずれかに記載の特定パターン認識方法において、前記認識対象画像に明暗のコントラスト反転が生じることが既知である場合、類似度として正規化相関値の絶対値を用いることを特徴とする。
【００２１】
請求項１５記載の発明は、請求項５記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定された全てのサンプリングラインの各々についてエッジ位置を求め、エッジ位置と連結パターンの距離の平均値をもって類似度とすることを特徴とする。
【００２２】
請求項１６記載の発明は、請求項１５記載の特定パターン認識方法において、前記サンプリングラインのある注目位置の左右で画素値の平均値を求め、平均画素値の差の絶対値を求め、注目位置を前記サンプリングラインの範囲内で移動させながら、平均画素値の差の絶対値を順次求め、その絶対値が最大となる位置をエッジ位置として用いることを特徴とする。
【００２３】
請求項１７記載の発明は、請求項１５記載の特定パターン認識方法において、前記連結パターンの各々について、エッジ位置をもとに最小自乗法を用いて連結パターンの数式に当てはめることを特徴とする。
【００２４】
請求項１８記載の発明は、請求項１記載の特定パターン認識方法において、前記局所パターンおよび連結パターンの特徴と、これらパターンの認識に対する最適な処理方法および認識パラメータのうち少なくとも一方との関係を記述したデータベースを予め作成し、前記認識用モデルを生成するモデル生成過程として、検出するべきパターンの特徴の解析を行い、この解析結果をもとに前記データベースを参照して、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法および認識パラメータのうち少なくとも一方を決定する過程をさらに含むことを特徴とする。
【００２５】
請求項１９記載の発明は、請求項１記載の特定パターン認識方法において、前記局所パターンおよび連結パターンの画像間変動の特徴と、それらパターンの認識に対する最適な処理方法および認識パラメータのうち少なくとも一方との関係を記述したデータベースを予め作成し、複数の教示画像に対して試験的に認識を行い、この認識結果をもとに前記データベースを参照して、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法および認識パラメータのうち少なくとも一方を決定することを特徴とする。
【００２６】
請求項２０記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、同じパターンを撮影して得た前記認識基準画像を含むデジタル画像を複数、教示用画像として用いる場合、前記局所パターンデータおよび連結パターンデータの画像間変動を正規化して統合することを特徴とする。
【００２７】
請求項２１記載の発明は、請求項１記載の特定パターン認識方法において、時系列で連続して入力されるデジタル画像に対してパターン照合および位置検出を行い、パターンの追跡を行う場合に、先に行ったパターン照合の結果をもとに前記認識用モデルを変更することを特徴とする。
【００２８】
請求項２２記載の発明は、請求項１記載の特定パターン認識方法において、時系列で連続して入力されるデジタル画像に対してパターン照合および位置検出を行い、パターンの追跡を行う場合に、先に行った位置検出の結果をもとに、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法を随時変更することを特徴とする。
【００２９】
請求項２３記載の発明は、デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、画像処理装置が認識対象画像の特定パターンを認識する特定パターン認識方法の処理手順を含む特定パターン認識プログラムであって、前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出過程と、この局所パターン候補点抽出過程で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形過程と、このモデル変形過程で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価過程とを含むことを特徴とする。
【００３０】
請求項２４記載の発明の特定パターン認識プログラム記録媒体は、請求項２３記載の特定パターン認識プログラムを前記コンピュータにより読み取り可能に記録したことを特徴とする。
【００３１】
請求項２５記載の発明は、撮像を行う撮像手段と、この撮像手段により撮像された画像信号から２次元マトリクスの各格子点ごとに明度値が記録されたデジタル画像を得る量子化手段と、この量子化手段で得られたデジタル画像のデータを少なくとも記憶する記憶手段とを備え、デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、認識対象画像の特定パターンを認識する特定パターン認識装置であって、前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出手段と、この局所パターン候補点抽出手段で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形手段と、このモデル変形手段で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価手段とを含むことを特徴とする。
【００３２】
ここで、本発明の方法によれば、全体パターンを特徴的な部分の局所パターンとそうでない部分の連結パターンとに分け、認識対象画像を含むデジタル画像から、局所パターンに似た部分を検出し、その部分の情報をもとに全体パターンの変形（位置、回転、スケール変動）を推定し、全体パターンの情報を用いて推定した全体パターンの変形が正しいかを検証することにより、全体パターンを認識するようにしたので、パターンの回転やスケール変動が生じている場合はもとより、ノイズや明度むらにより二値化処理などの簡易な方法ではパターンを背景から分離するのが困難な場合や、パターンの一部が隠蔽されて形状が変化して見える場合にも正しい認識が可能となる。
【００３３】
【発明の実施の形態】
図１は特定パターン認識装置の構成図、図２は図１中の処理装置によって実行される特定パターン認識方法の処理の流れを示すフローチャート、図３は図１中のカメラおよび量子化器から得られうる各種デジタル画像の例を示す図であり、これらの図を参照しながら本発明の一実施形態について説明する。
【００３４】
本実施形態の特定パターン認識装置は、例えば対象物１０の位置決めなどに応用されるものであり、図１に示すように、カメラ１１と、量子化器１２と、記憶装置１３と、画像表示装置１４と、処理装置１５とを備えている。
【００３５】
カメラ１１は、対象物１０を撮影して画像信号を得るＴＶカメラである。量子化器１２は、カメラ１１で得られた画像信号から、２次元マトリクスの各格子点ごとに明度値が記録され、対象物１０の認識対象画像Ｉ１０を所定サイズのフレーム内に含むデジタル画像Ｉ１２を得るものである。記憶装置１３は、半導体記憶装置などにより構成され、量子化器１２で得られたデジタル画像Ｉ１２の画像データを記憶するものである。画像表示装置１４はＣＲＴまたはＬＣＤなどにより構成され、各種情報を表示するものである。処理装置１５は、ＣＰＵおよびＲＡＭなどにより構成されるコンピュータの中枢部であり、例えば、パターンの認識処理を通して、対象物１０の位置決めなどに必要なその位置および向きを計測し、計測して得た結果を画像表示装置１４の画面に出力表示したり、図示しない外部機器にデータ出力したりするものである。
【００３６】
このような構成の装置では、量子化器１２から、デジタル画像中の認識対象画像が常に一定の状態で得られるとは限らず、図３の例に示すように、周囲環境の変動などに伴って認識対象画像に様々な変動が加わる。すなわち、図３（ａ）に示すように、認識対象画像が適正な状態で得られる場合もあれば、図３（ｂ）から（ｉ）に示すように、認識処理にとって不都合となる変動が認識対象画像に加わる場合もある。図３（ｂ）では、対象物１０の位置決め誤差により、認識対象画像が適正な向きに対し半時計周りにある角度回転した状態になっている。図３（ｃ）、図３（ｄ）では、対象物１０とカメラ１１との間の距離変動により、それぞれ、認識対象画像が適正な画像のサイズよりも大きなサイズになり、認識対象画像のピントがずれている。図３（ｅ）では、照明装置の照度変動により、明度にムラが生じている。図３（ｆ）、図３（ｇ）では、対象物１０を保護する半透明のシートなどにより、それぞれ、コントラストが低下し、画像にノイズが発生している。図３（ｈ）では、対象物１０上の不透明な物体により、認識対象画像の一部が隠された状態になっている。また、図３（ｉ）では、認識対象画像の局所パターンとなる部分の一部は見えているが、別の一部が隠された状態になっている。また、これらの変動は２つ以上が組み合わさって発生することもある。
【００３７】
本実施形態では、上記様々な変動が認識対象画像に加わっても、微視的に見れば、認識対象画像の位置および向きを特定することができる部分画像が、複数正常に撮影されることが多いので、それら複数の部分画像のパターン（以下、この特定パターンを「局所パターン」という）を通して、認識対象画像の全体パターンを推定するとともに、フレーム上におけるその全体パターンの位置、向きおよびスケール変化などを推定することにより、正確なパターンの認識処理を行うことができるように、処理装置１５を構成した。
【００３８】
すなわち、上記処理装置１５は、図１に示すように、モデル生成部１５１、局所パターン候補点抽出部１５２、モデル変形部１５３および類似度評価部１５４などの各種処理機能を具備し、認識対象画像の位置および向きを特定するための局所パターンの認識処理を通して、対象物１０の位置決めなどに必要な対象物１０の位置および向きを計測するように構成される。
【００３９】
モデル生成部１５１は、事前準備として、図３（ａ）の例に示すように、適正な状態で得られた認識対象画像（以下「認識基準画像」という）を含むあらかじめ用意されたデジタル画像に対し、これに含まれる認識基準画像の全体パターン構造（形状）を解析して、認識基準画像の全体パターンを、複数の局所パターンとこれら局所パターン間をそれぞれ連結する連結パターンとに分類することにより、これら局所パターンおよび連結パターンを、これから認識する認識対象画像の認識処理に利用する認識用モデルとして生成し、それら局所パターンおよび連結パターンのデータを半導体記憶装置やハードディスク装置などに記憶して登録するものである（図２の＃１）。
【００４０】
なお、本実施形態では、認識基準画像から自動的に上記認識用モデルが生成されて登録される構成となるが、これに限らず、人があらかじめ認識基準画像の全体パターン構造を解析して認識用モデルを生成して登録するようにしてもよい。
【００４１】
局所パターン候補点抽出部１５２は、認識対象画像を含むデジタル画像から、認識用モデルの局所パターンに符合する局所パターン候補の座標位置である局所パターン候補点を少なくともモデル変形過程における変形の推定に必要な数だけ抽出するとともに、各局所パターン候補点について認識用モデルの局所パターンごとに付与された局所パターンの当該デジタル画像上での方向を併せて求めるものである（図２の＃２）。
【００４２】
モデル変形部１５３は、局所パターン候補点抽出部１５２で抽出された局所パターン侯補点から、認識用モデルを構成する局所パターンのうち少なくとも２種類の相異なる局所パターンに符合する局所パターン候補点のペアを選び出すことによりフレームにおける認識対象画像の全体パターンの位置、方向、スケール変化を推定するものである（図２の＃３）。
【００４３】
類似度評価部１５４は、モデル変形部１５３で推定された認識対象画像の全体パターンとその認識対象画像との類似度を評価することにより、モデル変形部１５３での推定が正しいかどうか検証し、認識対象画像と認識用モデルとの照合を決定するものである（図２の＃４）。
【００４４】
以下、図面を適宜さらに追加しながら、上記モデル生成過程、局所パターン侯補点抽出過程、モデル変形過程および類似度評価過程の各々について順次説明する。
【００４５】
（１）モデル生成過程
１．認識用モデルの生成登録
図４はモデル生成過程の処理により生成された認識用モデルの例を示す図である。図４において、ｐ１〜ｐ４が局所パターンであり、これらのうち、局所パターンｐ１，ｐ３は認識基準画像の両端部分のパターンを示し、局所パターンｐ２，ｐ４は認識基準画像のコーナー部分のパターンを示している。これらはいずれも認識対象画像の位置および向きを特定するために利用することができる非対称形状になっており、後述するモデル変形過程においてパターン変形を推定する必要があるために、少なくとも２つの局所パターンおよび少なくとも１つの連結パターンが事前に決定されて登録される。また、局所パターンｐ１〜ｐ４には矢印で示される方向の情報が付与されるが、これらの各方向は認識基準画像の有る方向を示している。さらに、認識基準画像の画像データも、後述の局所パターン侯補点抽出過程の処理のために半導体記憶装置やハードディスク装置などに記憶される。
【００４６】
上記局所パターンおよび連結パターンは、以下の「２．第１のモデル自動生成方法」〜「３．第２のモデル自動生成方法」のいずれかの方法によって自動的に生成される。
【００４７】
２．第１のモデル自動生成方法
図５は認識基準画像を含むデジタル画像から抽出された輪郭線を示す図、図６は図５の輪郭線の曲率（半径の逆数）変化を表すグラフである。
【００４８】
第１のモデル自動生成方法では、図５の輪郭線から図６に示すように輪郭線の曲率が求められ、この輪郭線の曲率が局所パターンの自動生成に利用される。図６に示すように、輪郭線の曲率値をあるしきい値で２分すれば、認識基準画像の全体パターンを示す輪郭線を、局所パターンｐ１〜ｐ４と連結パターンｌ１〜ｌ４とに分類することができる。このように、認識基準画像を含むデジタル画像から輪郭線を求め、この輪郭線の曲率をその輪郭線の各位置毎に求め、各曲率値を所定のしきい値で２分することにより、自動的に、認識基準画像の全体パターンを局所パターンｐ１〜ｐ４と連結パターンｌ１〜ｌ４とに分類し、これらを認識用モデルとして生成することができる。
【００４９】
３．第２のモデル自動生成方法
図７は認識基準画像およびこれを含むデジタル画像中の複数の部分領域を示す図、図８は図７中の各部分領域内の明度変化方向を表すグラフである。ただし、図８（ａ）〜（ｄ）はそれぞれ図７中の部分領域Ｒ１〜Ｒ４の明度変化方向を表す。また、これらの各明度変化方向を表すグラフは、図７に示すように、画面上方向きに明度が低くなるような明度変化方向を０°方向として時計回りに方向を定義したとき、各注目領域内に存在する全画素について明度変化方向を求め、そのヒストグラムを取ったものである。
【００５０】
第２のモデル自動生成方法では、例えば輪郭線を得にくい場合に有効であり、図８に示すように明度変化方向の分布が利用される。認識基準画像を含むデジタル画像おける部分領域Ｒ１，Ｒ２では、図８（ａ），（ｂ）に示すように、明度変化方向の分布に顕著なピークが２つ以上現れるのに対し、部分領域Ｒ３，Ｒ４では、図７（ｃ），（ｄ）に示すように、顕著なピークは多くても１つしか現れない。
【００５１】
このように、認識基準画像を含むデジタル画像における各部分領域内の明度変化方向の分布を調べ、一の部分領域で異なる２方向以上に顕著な明度変化のピークが現れる場合、その部分領域内の部分画像のパターンを認識用モデルを構成する局所パターンとして抽出することができる。そして、抽出された局所パターンから、それらの間を連結する連結パターンを作成することができる。
【００５２】
４．連結パターンの変形例
図９は連結パターンの他の形状例を示す図である。図４の例では、連結パターンは直線になっているが、図９の例に示すように、対象物１０の形状に応じて連結パターンの形状を変化させてもよい。図９（ａ）は、少なくとも１つの中間節点を持つ折れ線形状の連結パターンの例を示している。図９（ｂ）は、曲線形状の連結パターンの例を示している。これらの連結パターンは、数式データで登録することができるが、エッジが不明瞭である場合や、図９（ｃ）に示すＱＦＰチップ部品のリードのように複雑なエッジパターンが繰り返し現れるような場合には、認識基準画像を含むデジタル画像から切り出した部分画像の画像データがそのまま連結パターンのデータとして登録される。
【００５３】
（２）局所パターン侯補点抽出過程
１．回転に影響されない手法
局所パターン侯補点抽出過程からは、認識基準画像ではなく、検査時などで、上記認識用モデルおよび認識基準画像を含むデジタル画像を利用して、カメラ１１および量子化器１２から得られ記憶装置１３に記憶された認識対象画像を含むデジタル画像Ｉ１２に対して処理が行われる。
【００５４】
この過程においては、認識対象画像を含むデジタル画像に対し、認識用モデルを構成する局所パターンに符合する可能性の高い局所パターン候補の座標位置である局所パターン候補点を抽出し、この局所パターン候補点に上記対応する局所パターンに付与された方向の情報を割り付ける処理が実行される。
【００５５】
この場合、図３（ｂ）〜（ｈ）に示すように、回転またはスケール変化などの変動がデジタル画像中の認識対象画像に加わっている可能性があるため、少なくとも回転に影響されない手法で局所パターン候補点の抽出等の処理が行われる。ここでは、画像の極座標→直交座標変換を行った上でマッチングを行う方法が用いられる。以下、これら極座標→直交座標変換およびマッチングについて説明する。
【００５６】
２．極座標→直交座標変換およびマッチング
図１０は極座標→直交座標変換処理の説明図、図１１は認識対象画像を含むデジタル画像に対する極座標→直交座標変換処理によって得られうる直交変換画像例を示す図である。
【００５７】
極座標→直交座標変換処理では、基準座標位置を求めるため、認識基準画像を含むデジタル画像に対し、図１０（ａ）に示すように、ある注目点を中心とし、画面上向きを０°として時計周りに１周分角度を変化させながら、任意の半径の線分上の画素値を切り出し、図１０（ｂ）に示すように、横軸を角度軸、縦軸を注目点からの距離軸とした直交座標系へ転記して、極座標を直交座標に変換することにより、直交変換画像が生成される。同図では、注目点が黒地に白色の直角コーナーの部分画像中のコーナー点となっているので、直交変換画像は角度軸の１／４が明るい縞状のパターンとなる。
【００５８】
同様に、図１１に示すように、認識対象画像を含むデジタル画像に対して直交変換画像を生成する処理が実行される。図１１（ａ）の例では、注目点が黒地に白色の直角コーナーの部分画像中のコーナー点の画素となっているので、図１１（ｂ）に示すように、直交変換画像は角度軸の１／４が明るい縞状のパターンとなる。これに対し、図１１（ｃ）の例では、注目点がコーナー点から外れた位置の画素となっているので、図１１（ｄ）に示すように、直交変換画像は角度軸の１／４が明るい縞状のパターンにはならない。
【００５９】
いずれの場合も、注目点がコーナー点の画素となるときの直交変換画像は、縞状のパターンとなるので、このときの双方の明るい縞状のパターン領域同士を比較すれば、認識対象画像の注目点に、認識基準画像の注目点に位置する局所パターンに符合する局所パターン候補が存在しているか否かを判定することができるとともに、局所パターンに対し、局所パターン候補にどの程度の回転の変動が加わっているかを検出することができる。本実施形態では、局所パターン候補にどの程度の回転の変動が加わっているかを示す情報を含む局所パターン候補の座標位置を、局所パターン候補点として求め、この局所パターン候補点に、対応する局所パターンに付与された方向の情報を割り付ける処理が実行される。
【００６０】
より具体的には、認識基準画像を含むデジタル画像の部分画像（注目点が中心となる上記半径の円内の画像）による直交変換画像のパターン（図１０（ｂ））と、認識対象画像を含むデジタル画像の部分画像による直交変換画像のパターン（図１１（ｂ））との相対位置を角度軸方向に移動させながら（角度軸は０°と３６０°の位置で連続とみなされる）、正規化相関値が順次計算される。
【００６１】
続いて、得られた各正規化相関値から最大の正規化相関値が抽出され、この最大の正規化相関値が予め定められた一致度の基準値より大きいか否かの判定が行われる。
【００６２】
最大の正規化相関値が基準値より大きい場合には、認識対象画像の注目点（図１１（ａ））に、認識基準画像の注目点（図１０（ａ））に位置する局所パターンに符合する局所パターン候補が存在していると判断される。そして、最大の正規化相関値となった位置から、局所パターン候補点が求められる。また、その最大相関値を与える移動量をもとに、局所パターン候補点に、対応する局所パターンに付与された方向を割り付けた情報が作成され、記憶装置１３に記憶される。
【００６３】
他方、最大の正規化相関値が基準値より大きくない場合には、認識対象画像の注目点（図１１（ｃ））に、認識基準画像の注目点（図１０（ａ））に位置する局所パターンに符合する局所パターン候補が存在していないと判断される。つまり、上記基準値は、この場合の最大の正規化相関値よりも大きい値に設定されることになる。
【００６４】
以上のように、認識基準画像を含むデジタル画像および認識対象画像を含むデジタル画像の両方に対し、極座標→直交座標変換処理を施して両方の直交変換画像を生成し、これら直交変換画像を用いて認識対象画像を含むデジタル画像から局所パターン候補点を抽出するようにすれば、回転に影響されることなく局所パターン候補点を抽出することができる。
【００６５】
３．その他のマッチング方法
図１２は直交変換画像が単純な縞状のパターンになる場合のマッチング方法の説明図、図１３は直交変換画像が複雑なパターンになる場合のマッチング方法の説明図である。
【００６６】
図１２は図１１と同様の直交変換画像であるが、このように直交変換画像が単純な縞状のパターンになる場合、認識対象画像を含むデジタル画像の部分画像による直交変換画像と認識基準画像を含むデジタル画像の部分画像による直交変換画像とをそれぞれ図１２（ｂ），（ｄ）に示すような直交座標系の角度軸に投影（角度軸の単位ごとに、距離軸方向の画素値を合計する処理を実施）した上で、一次元の正規化相関マッチングを行えばよい。つまり、図１２に示すように、上記投影により１次元の波形データを作成し、認識基準画像による波形データと認識対象画像による波形データとを角度軸方向に平行移動させながら、順次類似度を求め、これらの各類似度から最大類似度を抽出し、この最大類似度が所定の基準よりも大きければ、最大類似度が得られたときの直交変換画像の位置を局所パターン候補点の位置とするとともに、その最大類似度を与える移動量をもとに、対応する局所パターンに付与された方向を局所パターン候補点に割り当てればよい。
【００６７】
この方法を用いることにより、処理の負荷は大幅に低減できる。なお、この方法は局所パターンが単純な場合には投影した１次元のデータは元の局所パターン形状をよく反映するので特に有効であるが、局所パターンが複雑な場合であっても、回転角度を大まかに推定するための前処理として用いることができる。
【００６８】
図１３の例では、部分画像のパターンがスケール変動の影響を受ける形状になっており、直交変換画像のパターンがスケール変動の影響を受けてより複雑になっている。このように、スケール変動の影響を受けて直交変換画像が上下（距離軸方向）に圧縮ないし伸張（図１３（ｃ），（ｄ）では伸張）されると、スケール変動の補正が必要となる。したがって、この場合、距離軸方向に圧縮ないし伸張された直交変換画像を、距離軸の正の方向に拡大ないし縮小した上で、マッチングを行えば、局所パターン候補を正しく抽出することが可能となる。
【００６９】
４．極座標→直交座標変換およびマッチングの高速化
デジタル画像の各画素を注目画素として上記極座標→直交座標変換およびマッチングの処理を行うと、処理量が膨大となり、処理時間が長くなる。そこで、事前にエッジ抽出処理などを行って画素値の変化の大きい部分だけを取り出し、この部分の画素についてのみ前述の処理を行えば、処理の負荷を大幅に低減することができる。
【００７０】
（３）モデル変形過程
１．変形候補
図１４は認識対象画像例を示す図、図１５は局所パターン侯補点抽出過程によって図１４の認識対象画像から抽出された局所パターン侯補点を示す図、図１６はモデル変形過程の説明図である。
【００７１】
図１５において、ｃｐ１１〜ｃｐ１４は図４の認識用モデルを構成する局所パターンｐ１，ｐ３に符号する局所パターン候補点である。ｃｐ２１，ｃｐ２２は図４の局所パターンｐ２に符号する局所パターン候補点である。ｃｐ３１〜ｃｐ３６は図４のｐ４に符号する局所パターン候補点である。
【００７２】
モデル変形過程では、これら局所パターン侯補点をもとに、変形推定が行われる。変形推定は、局所パターンおよび局所パターン侯補点から、相異なる２つ以上の局所パターンと類似しているとされた局所パターン侯補点の組を選び出すことにより、全体パターンの回転、移動、スケール変動のパラメータを決定することを意味する。
【００７３】
具体的には、図１６の例に示すように、それぞれ図４に示す認識用モデルと図１５に示す局所パターン侯補点を次のように対応付けして、変形された認識用モデルの候補となる変形候補ｄｆ１〜ｄｆ４が作成ないし選定される。ただし、以下の変形候補以外にも多数の変形候補が考えられるが、ここではその一部を示してある。
【００７４】

このように、モデル変形過程では、局所パターン候補点抽出過程で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補が選定される。
【００７５】
また、選定された変形候補の各局所パターン侯補点の位置関係をもとに、認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを認識対象画像に重ね合わせる際の各変形パラメータが求められる。
【００７６】
例えば、図３（ｂ）〜（ｇ）のように、パターンの形状およびパターンの明度に変動がある場合であっても、前述の局所パターン候補点抽出過程において、局所パターン候補点はパターンのスケール、回転、明度などの各変動に影響されにくい方法で検出されているので、各局所パターン候補点は正しく求められているから変形候補を抽出できる。また、図３（ｅ）および（ｇ）に示す局所的な明度ムラやノイズ重畳の程度がひどく、局所パターンが見えない場合や、図３（ｉ）のように一部の局所パターンが障害物に隠されている場合に、複数（実施形態に示すパターンの場合、図４のｐ１〜ｐ４に示す４種類）の局所パターンのうち、幾つかの局所パターンに符合する局所パターン候補点が見つからなかったとしても、最低限２種類の局所パターンに符合する局所パターン候補点があれば変形候補を抽出できる。また、図３（ｈ）のように、連結パターンに符合する部分が隠されている場合には、局所パターンは問題なく見えているのでモデル変形過程において影響はない。
【００７７】
２．高速化処理
次に、高速化のために上記変形候補の絞込みが行われる。前段の局所パターン侯補点抽出過程では、局所パターンの種類毎にパターンが類似している座標位置とともに方向を抽出しているので、その方向が利用される。
【００７８】
すなわち、変形候補の全体パターンに対する局所パターン侯補点の方向の角度と、認識用モデルの全体パターンに対する局所パターンの方向の角度とを比較し、両者の角度差が所定角よりも大きければ、その変形候補は、ありえない変形であるとして除外される。
【００７９】
例えば、図１６中の変形候補ｄｆ１〜ｄｆ４のうち、変形候補ｄｆ４の全体パターンに対する局所パターン侯補点ｃｐ１２の方向の角度と、図４の認識用モデルの全体パターンに対する局所パターンｐ１の方向の角度とが大きく異なっているので、変形候補ｄｆ４が除外されることになる。また、このような場合の両者の角度差よりも小さい値に上記所定角が設定されることになる。これにより、図１６の変形候補ｄｆ１〜ｄｆ４が作成ないし選定されたとき、変形候補ｄｆ１〜ｄｆ３に絞り込まれることになる。
【００８０】
（４）類似度評価過程
１．照合
類似度評価過程では、認識対象画像とこれに対する変形モデルとを照合し、各変形モデルから最適な変形モデルを選択する処理が実行される。
【００８１】
具体的には、モデル変形過程で求められた変形候補の変形パラメータに基づいて、認識用モデルを変形し、この変形した認識用モデルを認識対象画像に重ね合わせ、変形候補と認識対象画像との類似度を評価する処理が実行される。
【００８２】
このとき、連結パターンが認識用モデルにおいてどのように表現されているか（画像か、数式化されているか）や画像の特性や認識の目的（明度ムラやパターン隠れが頻発するかどうか、あるいは単独バターンの認識を目的とするか、複数の類似パターンの識別を目的とするかなど）によって、種々の類似度評価方法から適切な類似度評価方法が選択されて使用される。以下、各類似度評価方法について説明する。
【００８３】
２．連結パターンが画像データである場合の類似度評価方法
図１７は類似度評価方法の説明図である。認識基準画像を含むデジタル画像において、局所パターン間の部分画像が不明瞭なパターンであったり、複雑なパターンであったりする場合には、局所パターン間の部分画像がそのまま連結パターンとして使用される。このとき、図１７の例に示すように、連結パターンを構成する部分画像を、上記変形候補の変形パラメータ（スケール、回転など）に合わせて変形させることにより、連結パターンを変形することができる。そして、この変形した連結パターン候補を含む変形した認識用モデルの全体パターンと、認識対象画像とを、正規化相関マッチングでマッチングすれば、類似度評価値を得ることができる。
【００８４】
３．連結パターンが数式データである場合の類似度評価方法
認識用モデルを構成する連結パターンが、エッジ形状を数式化したものである場合には、変形モデルと認識対象画像との照合方法は、画像の特性に応じて幾つかの方法を選択することができる。
【００８５】
（第１の照合方法）
図１８は連結パターンが数式データである場合の第１の照合方法の説明図である。第１の照合方法では、正規化相関法による照合方法が使用される。図１６に示す変形候補ｄｆ１〜ｄｆ３について、図１８に示すように認識用モデルの輪郭線内にある領域Ｐｉと認識用モデル輪郭の近傍の領域Ｏｉに含まれる画素に対して以下の数式に基づいて相関係数Ｓ１を計算し、最も相関係数が高いものを最適な照合として選択する。
【００８６】
【数１】

【００８７】
第１の照合方法によれば、多数の画素値を利用して照合を行うことができるため、明度ムラに弱い反面、類似した多数のパターンから最も類似したものを選択する必要がある場合やコントラストが低い場合などに信頼性の高い照合が可能となる。
【００８８】
（第２の照合方法）
図１９は連結パターンが数式データである場合の第２の照合方法の説明図である。図１９（ａ）は図１６のｄｆ１による変形モデルに対する照合方法を示し、図１９（ｃ）は図１６のｄｆ２による変形モデルに対する照合方法を示す。
【００８９】
第２の照合方法では、パターンのエッジ付近の明度変化を用いて類似度を評価する方法が使用される。
【００９０】
図１９に示すｌ１１〜ｌ１ｍ，ｌ２１〜ｌ２ｎ（ｍおよびｎはサンプリング点数）のように、図４の局所パターンｐ１の位置を始点とし、変形モデルの連結パターン候補に沿って、時計回りに連結パターン候補上にサンプリング点を複数配置する。続いて、サンプリング点ごとにサンプリング点を中心として連結パターン候補の法線方向に伸びる長さｌの線分（以下「サンプリングライン」という）を設定する。このとき、サンプリングラインに沿って明度を抽出すると、図１９（ｂ），（ｄ）に示すような結果となる。
【００９１】
これらの図に示す各サンプリングラインの明度変化について、サンプリングラインの中点（変形モデルの連結パターン候補上の位置）で、理想的なステップ状（図２０参照）に変化するエッジパターンとの相関係数Ｓ２を、以下の数式により求めれば、エッジ付近の画素のみを用いた照合ができる。
【００９２】
【数２】

【００９３】
最適な照合である図１６のｄｆ１の変形に対しては、図１９（ｂ）に示すごとく、エッジと理想的なステップ状エッジパターンの形状が各々のサンプリングラインにおいてよく類似しているため、相関係数Ｓ２が高くなる。他方、エッジ位置がずれている図１６のｄｆ２の変形に対しては、図１９（ｄ）に示すごとく、エッジと理想的なステップ状エッジパターンの形状が異なるため相関係数Ｓ２が低くなる。このことを利用して、複数の変形モデルから最適な照合を得ることが可能となる。このように、エッジ付近の明度変化のみを用いて照合を行うことにより、パターン内部に明度変動を起こしやすいパターンが存在する場合に信頼性の高い照合を行うことができる。
【００９４】
（第３の照合方法）
第３の照合方法では、第２の照合方法と同じ手順によりサンプリングラインを設定した後、次式により類似度を計算する方法が使用される。
【００９５】
【数３】

【００９６】
第２の照合方法と第３の照合方法との違いは、前者の方法では各サンプリングラインの明度変化を全て合計して、相関係数を１回だけ算出しているのに対し、後者の方法では相関係数を各サンプリングラインごとに計算し、その平均値を取っている点である。
【００９７】
前者の方法は、第１の照合方法において連結パターン候補の周囲だけを切り出して相関係数を算出する処理に相当するので、パターン内部に明度変動が起きやすい部分が存在する場合に、その部分の影響を排除できる特長があるが、連結パターン部分に明度のムラがある場合には誤認識を起こす可能性がある。
【００９８】
これに対し、後者の方法によれば、各サンプリングラインごとに相関係数を計算することにより、連結パターン部分に大きな明度ムラがある場合にも信頼性の高い照合が可能となる特長がある。
【００９９】
また、第１〜第３の照合方法において、計算した相関係数の値は−１〜１の間の数値を取るが、この相関係数は絶対値を取っても良い。こうすることにより、パターンの明暗が反転している場合であっても照合が可能となる。
【０１００】
（第４の照合方法）
図２１は連結パターンが数式データである場合の第４の照合方法の説明図、図２２はエッジ位置の検出方法の説明図である。
【０１０１】
第４の照合方法では、エッジ位置を用いる方法が使用される。第２および第３の方法と同様、変形モデルの連結パターン候補に直交するサンプリングラインを複数設定し、サンプリングラインごとにエッジ位置を検出する。図２１にはサンプリングラインごとにエッジ位置を抽出した状態が示されている。この各エッジ位置と線上パターンとの距離の平均を求め、平均距離が最小となる変形モデルを最適な照合として採用する。
【０１０２】
第４の照合方法において、エッジを検出する方法としては、微分値の最大値を用いる方法が簡便であるが、図２２に示すように、サンプリング線の任意の位置の右側の明度平均値ａ１と左側の明度平均値ａ２を求め、｜ａ１−ａ２｜が最大となる位置をエッジ位置として用いることにより、エッジ付近での局所的な明度変化の影響を受けることなく正しいエッジ位置の検出が可能となる。
【０１０３】
第４の照合方法には、最適な変形モデルの選択と同時に実際の認識対象画像におけるエッジの抽出も行うことができる特長がある。連結パターンが数式により表現されている場合には、抽出されたエッジ位置をもとに連結パターンの数式に最小自乗近似することにより、局所パターンの形状の影響によるマッチングのズレやパターンの歪み（相似変形でない変形）を補正し、認識精度を向上することができる。
【０１０４】
以上のように、モデル生成過程、局所パターン侯補点抽出過程、モデル変形過程、類似度評価過程の４つの処理過程を経ることにより、回転、サイズ変動はもとより、明度ムラ、ピントずれ、コントラスト低下、ノイズ、パターン隠れなどの変動が生じても認識ミスを発生しない頑健な認識が実現されるのである。
【０１０５】
なお、上記４つの処理過程の各過程における処理方法は、複数の特性の異なる方法から目的によって最適な処理方法やパラメータを選ぶ必要がある。したがって、使用者が各処理方法の特性を理解していないと最適な処理方法が採用できない問題があるので、この点を自動化することにより利便性を向上できる。
【０１０６】
具体的には、例えば連結パターンのデータが画像データであるか、エッジ形状の数式化されたデータであるかに応じて、類似度評価過程における照合方法を変更すればよく、あるいはパターン内部にまた別のパターンが存在するかどうかの情報を元に、類似度評価過程において第１の照合方法を用いるか第２の照合方法を用いるかを決定すればよい。この場合、局所パターンおよび連結パターンの特徴と、パターンの認識に対する最適な処理方法や認識パラメータとの関係を記述したデータベースをあらかじめ作成しておき、モデル生成過程において、検出すべきパターンの解析を行って局所パターンおよび連結パターンの分類を行う際、データベースを参照して後段の処理手順を決定するようにすればよい。
【０１０７】
また、時系列的に変動する要因を調べるために、複数の画像に対して認識を実行し、その結果をもとに最適な処理方法やパラメータを選ぶことにより、さらに利便性を向上することができる。具体的には、複数の画像に対して行った認識結果をもとに、明度ムラが多く発生していれば類似度評価過程における第３の照合方法を採用し、そうでなければ第１の照合方法を採用する方法などが挙げられる。この場合も、局所パターンおよび連結パターンの画像間変動の特徴と、パターンの認識に対する最適な処理方法および認識パラメータとの関係を記述したデータベースをあらかじめ作成しておき、複数の画像を用いた認識結果をもとにデータベースを参照して後段の処理手順を決定するようにすればよい。
【０１０８】
また、このように複数の教示用画像を用いる場合には、上記のように処理方法やパラメータだけでなく、認識用モデルの形状の変動も得ることができる。複数の教示用画像から局所パターンデータおよび連結パターンデータを抽出し、ある基準となる教示用画像（通常１枚目の画像）に合わせて他の教示用画像から得られた局所パターンデータおよび連結パターンデータを正規化し、データの平均および変動量を求めることにより、単一の教示用画像のみから認識用モデルを構築する場合よりも信頼性の高い認識が可能な認識用モデルを構築することができる。
【０１０９】
時系列で入力される連続画像に対する処理の場合には、時系列のある時点における認識方法をそれまでの認識結果を用いて変更することにより、認識速度の向上を図ることができる。
【０１１０】
上記連続画像に対する処理に係わる第１の方法として、先に行ったパターン照合の結果をもとに認識用モデルを変更する方法が考えられる。図２３に示すように、パターンが連続して歪みを起こす場合には、上述した相似変形でない変形を補正する場合と同様に、パターンの歪みを補正してパターン照合し、照合の結果を用いて局所パターンあるいは連結パターンを順次変更することにより、時系列で相似変形以外の変形を起こす対象物の追跡が可能となる。
【０１１１】
連続画像に対する処理に係わる第２の方法として、先に行ったパターン照合の結果をもとに処理方法を変更する方法が挙げられる。図２４に示すようにパターンが連続して回転、スケール変動するような連続画像においては、その時点より前の照合結果をもとに局所パターン侯補点抽出過程において局所パターンの位置、回転、スケール変動のパラメータを推定し、局所パターン侯補点抽出の際の探索範囲や局所パターンの回転範囲を限定することによりマッチング処理を効率化したり、抽出する局所パターン侯補点を絞り込むことにより後段の処理過程を効率化することができる。
【０１１２】
【発明の効果】
請求項１記載の発明は、デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、画像処理装置が認識対象画像の特定パターンを認識する特定パターン認識方法であって、前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出過程と、この局所パターン候補点抽出過程で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形過程と、このモデル変形過程で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価過程とを含むので、認識対象画像のパターンに、回転、サイズ変動、ピントずれ、明度ムラ、コントラスト低下、ノイズ、パターン隠れ等の変動が生じている場合であっても、認識対象画像の全体のうち、認識対象画像の位置および向きを特定することができる部分が正常に撮影されていれば、その部分に対応する局所パターンをもとに、認識対象画像の全体パターンを推定して認識対象画像との照合を行うことができるから、照明変動や障害物、位置決め誤差などの環境の変動の影響などを受け難い頑健な認識が可能となる。
【０１１３】
請求項２記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像の輪郭線を求め、この輪郭線における曲率値が所定値よりも大きい領域の部分画像から、前記局所パターンを抽出するので、画像のコントラストが高く輪郭線を容易に得ることができる場合には、位置、方向を特定しやすい局所パターンを簡単に抽出することができる。
【０１１４】
請求項３記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像の部分画像について、画素毎に明度変化方向を求め、少なくとも異なる２方向に明度変化のピークが現れる部分の画像のパターンを前記局所パターンとして抽出するので、請求項２記載の発明では輪郭検出が困難な複雑なパターンの場合に、方向画像のヒストグラムを作ってピークが２つある所を探すなどの方法により局所パターンを抽出することができる。
【０１１５】
請求項４記載の発明は、請求項１記載の特定パターン認識方法において、前記連結パターンは画像パターンであるので、連結パターンが複雑な形状をしている場合や不明瞭なパターンである等の理由でエッジ形状を数式で表現することが困難な場合にも連結パターンの表現が可能となる。
【０１１６】
請求項５記載の発明は、請求項１記載の特定パターン認識方法において、前記連結パターンは、直線、少なくとも１つの中間節点を持つ折れ線および曲線のいずれかであり、その連結パターンデータは数式データであるので、認識用モデルのデータ量を小さくすることができる。また、パターン照合および位置検出方法によって精度の向上や歪んだパターンの照合が可能になる。
【０１１７】
請求項６記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像から、前記局所パターンの中心位置を原点とする極座標を、原点を中心とした角度を示す角度軸と原点からの距離を示す距離軸とを有する直交座標に変換して、直交変換画像を作成し、前記局所パターン候補点抽出過程では、前記認識対象画像を含むデジタル画像から、ある注目点を原点とする極座標を直交座標に変換して、直交変換画像を作成し、この直交変換画像と前記モデル生成過程で作成された直交変換画像とを角度軸方向に平行移動させながら、順次類似度を求め、これらの各類似度から最大類似度を抽出し、この最大類似度が所定の基準よりも大きければ、最大類似度が得られたときの直交変換画像の位置を前記局所パターン候補点の位置とするとともに、その最大類似度を与える移動量をもとに、対応する局所パターンに付与された方向を前記局所パターン候補点に割り当てるので、パターンが回転している場合にも局所パターンを抽出するとともに方向も割り当てることができる。
【０１１８】
請求項７記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像から、前記局所パターンの中心位置を原点とする極座標を、原点を中心とした角度を示す角度軸と原点からの距離を示す距離軸とを有する直交座標に変換して、直交変換画像を作成し、この直交変換画像を角度軸に投影して１次元の波形データを作成し、前記局所パターン侯補点抽出過程では、前記認識対象画像を含むデジタル画像から、ある注目点を原点とする極座標を直交座標に変換して、直交変換画像を作成し、この直交変換画像を角度軸に投影して１次元の波形データを作成し、この１次元の波形データと、前記モデル生成過程で作成された波形データとを角度軸方向に平行移動させながら、順次類似度を求め、これらの各類似度から最大類似度を抽出し、この最大類似度が所定の基準よりも大きければ、最大類似度が得られたときの直交変換画像の位置を前記局所パターン候補点の位置とするとともに、その最大類似度を与える移動量をもとに、対応する局所パターンに付与された方向を前記局所パターン候補点に割り当てるので、パターンが回転している場合に簡易な１次元のパターンマッチングによりパターンの類似度および方向を求めることができる。
【０１１９】
請求項８記載の発明は、請求項６記載の特定パターン認識方法において、前記認識対象画像を含むデジタル画像から抽出した直交変換画像を距離軸方向に拡大または縮小して、前記モデル生成過程で作成された直交変換画像とマッチングするので、パターンの回転とともにスケール変化が生じている場合であっても局所パターンを抽出することができる。
【０１２０】
請求項９記載の発明は、請求項１記載の特定パターン認識方法において、前記局所パターン侯補点抽出過程では、局所的に画素値の変化の大きい部分だけを事前に抽出し、その部分のみに対して局所パターン候補点抽出処理を行うので、局所パターン抽出処理の負荷を軽減することができる。
【０１２１】
請求項１０記載の発明は、請求項１記載の特定パターン認識方法において、前記モデル変形過程では、前記変形候補の局所パターン候補点の方向と、対応する前記局所パターンの方向との角度差が所定角より大きい場合、その変形候補を前記類似度評価過程での類似度の評価から除外するので、類似度評価過程における処理の負荷を軽減することができる。
【０１２２】
請求項１１記載の発明は、請求項４記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが画像データである場合、前記モデル変形過程で求められた変形候補の変形パラメータに基づいて、前記連結パターンを変形し、この変形した連結パターンを含む変形した認識用モデルの全体パターンと前記認識対象画像とのマッチングを行うので、連結パターンとして使用するパターンが複雑であったり不明瞭であったりするために連結パターンとして画像を用いている場合に正しいマッチングを行うことができる。
【０１２３】
請求項１２記載の発明は、請求項５記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定された全てのサンプリングライン上の画素値の分布と、連結パターン候補の位置で画素値がステップ状に変化する理想パターンとの相関値を算出して類似度とするので、内部パターンを無視してエッジ近傍における類似度だけを評価することができるため、パターン内部に明度ムラや明度が変化するようなパターンが存在する場合にも正しいマッチングを行うことができる。
【０１２４】
請求項１３記載の発明は、請求項５記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定されたサンプリングライン上の画素値の分布と、サンプリング点部分で画素値がステップ状に変化する理想パターンとの類似度を調べる処理をサンプリングラインごとに行い、類似度を全てのサンプリングラインに対して求めて平均値を算出し全体の類似度とするので、大きな明度ムラが存在する場合にも正しいマッチングを行うことができる。
【０１２５】
請求項１４記載の発明は、請求項１１から１３のいずれかに記載の特定パターン認識方法において、前記認識対象画像に明暗のコントラスト反転が生じることが既知である場合、類似度として正規化相関値の絶対値を用いるので、明度のコントラスト反転が生じていても正しいマッチングを行うことができる。
【０１２６】
請求項１５記載の発明は、請求項５記載の特定パターン認識方法において、前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定された全てのサンプリングラインの各々についてエッジ位置を求め、エッジ位置と連結パターンの距離の平均値をもって類似度とするので、類似度判定と同時にエッジ抽出を行うことができ、実際の画像上でパターンの輪郭形状を求めることができる。
【０１２７】
請求項１６記載の発明は、請求項１５記載の特定パターン認識方法において、前記サンプリングラインのある注目位置の左右で画素値の平均値を求め、平均画素値の差の絶対値を求め、注目位置を前記サンプリングラインの範囲内で移動させながら、平均画素値の差の絶対値を順次求め、その絶対値が最大となる位置をエッジ位置として用いるので、局所的な特徴によりエッジ位置が著しく不正な位置に検出される危険を回避できる。
【０１２８】
請求項１７記載の発明は、請求項１５記載の特定パターン認識方法において、前記連結パターンの各々について、エッジ位置をもとに最小自乗法を用いて連結パターンの数式に当てはめるので、局所的にエッジ形状が乱れている場合にも正確なエッジ位置の推定が可能となる。
【０１２９】
請求項１８記載の発明は、請求項１記載の特定パターン認識方法において、前記局所パターンおよび連結パターンの特徴と、これらパターンの認識に対する最適な処理方法および認識パラメータのうち少なくとも一方との関係を記述したデータベースを予め作成し、前記認識用モデルを生成するモデル生成過程として、検出するべきパターンの特徴の解析を行い、この解析結果をもとに前記データベースを参照して、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法および認識パラメータのうち少なくとも一方を決定する過程をさらに含むので、利用者側がアルゴリズムや認識パラメータを決定する必要がなく、システムとしての使い勝手が向上する。
【０１３０】
請求項１９記載の発明は、請求項１記載の特定パターン認識方法において、前記局所パターンおよび連結パターンの画像間変動の特徴と、それらパターンの認識に対する最適な処理方法および認識パラメータのうち少なくとも一方との関係を記述したデータベースを予め作成し、複数の教示画像に対して試験的に認識を行い、この認識結果をもとに前記データベースを参照して、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法および認識パラメータのうち少なくとも一方を決定するので、時系列変化がある対象物にシステムを使用する場合の使い勝手を向上する。
【０１３１】
請求項２０記載の発明は、請求項１記載の特定パターン認識方法において、前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、同じパターンを撮影して得た前記認識基準画像を含むデジタル画像を複数、教示用画像として用いる場合、前記局所パターンデータおよび連結パターンデータの画像間変動を正規化して統合するので、単一の教示用画像のみから認識用モデルを構築する場合よりも信頼性の高い認識が可能な認識用モデルを構築することができる。
【０１３２】
請求項２１記載の発明は、請求項１記載の特定パターン認識方法において、時系列で連続して入力されるデジタル画像に対してパターン照合および位置検出を行い、パターンの追跡を行う場合に、先に行ったパターン照合の結果をもとに前記認識用モデルを変更するので、時系列で相似変形以外の変形を起こす対象物の追跡が可能となる。
【０１３３】
請求項２２記載の発明は、請求項１記載の特定パターン認識方法において、時系列で連続して入力されるデジタル画像に対してパターン照合および位置検出を行い、パターンの追跡を行う場合に、先に行った位置検出の結果をもとに、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法を随時変更するので、パターンの探索範囲の絞り込みなどが可能となり、より効率的なパターン照合および位置検出が可能となる。
【０１３４】
請求項２３記載の発明は、デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、画像処理装置が認識対象画像の特定パターンを認識する特定パターン認識方法の処理手順を含む特定パターン認識プログラムであって、前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出過程と、この局所パターン候補点抽出過程で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形過程と、このモデル変形過程で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価過程とを含むので、専用の画像処理装置以外の装置であっても、照明変動や障害物、位置決め誤差などの環境の変動の影響などを受け難い頑健な認識が可能となる。
【０１３５】
請求項２４記載の発明の特定パターン認識プログラム記録媒体は、請求項２３記載の特定パターン認識プログラムを前記コンピュータにより読み取り可能に記録したので、専用の画像処理装置以外の装置であっても、照明変動や障害物、位置決め誤差などの環境の変動の影響などを受け難い頑健な認識が可能となる。
【０１３６】
請求項２５記載の発明は、撮像を行う撮像手段と、この撮像手段により撮像された画像信号から２次元マトリクスの各格子点ごとに明度値が記録されたデジタル画像を得る量子化手段と、この量子化手段で得られたデジタル画像のデータを少なくとも記憶する記憶手段とを備え、デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、認識対象画像の特定パターンを認識する特定パターン認識装置であって、前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出手段と、この局所パターン候補点抽出手段で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形手段と、このモデル変形手段で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価手段とを含むので、照明変動や障害物、位置決め誤差などの環境の変動の影響などを受け難い頑健な認識が可能となる。
【図面の簡単な説明】
【図１】特定パターン認識装置の構成図である。
【図２】図１中の処理装置によって実行される特定パターン認識方法の処理の流れを示すフローチャートである。
【図３】図１中のカメラおよび量子化器から得られうる各種デジタル画像の例を示す図である。
【図４】モデル生成過程の処理により生成された認識用モデルの例を示す図である。
【図５】認識基準画像を含むデジタル画像から抽出された輪郭線を示す図である。
【図６】図５の輪郭線の曲率（半径の逆数）変化を表すグラフである。
【図７】認識基準画像およびこれを含むデジタル画像中の複数の部分領域を示す図である。
【図８】図７中の各部分領域内の明度変化方向を表すグラフである。
【図９】連結パターンの他の形状例を示す図である。
【図１０】極座標→直交座標変換処理の説明図である。
【図１１】認識対象画像を含むデジタル画像に対する極座標→直交座標変換処理によって得られうる直交変換画像例を示す図である。
【図１２】直交変換画像が単純な縞状のパターンになる場合のマッチング方法の説明図である。
【図１３】直交変換画像が複雑なパターンになる場合のマッチング方法の説明図である。
【図１４】認識対象画像例を示す図である。
【図１５】局所パターン侯補点抽出過程によって図１４の認識対象画像から抽出された局所パターン侯補点を示す図である。
【図１６】モデル変形過程の説明図である。
【図１７】類似度評価方法の説明図である。
【図１８】連結パターンが数式データである場合の第１の照合方法の説明図である。
【図１９】連結パターンが数式データである場合の第２の照合方法の説明図である。
【図２０】理想的なエッジにおける明度変化を示す図である。
【図２１】連結パターンが数式データである場合の第４の照合方法の説明図である。
【図２２】エッジ位置の検出方法の説明図である。
【図２３】パターンに時系列で連続して歪みを生じる状態のデジタル画像例を示す図である。
【図２４】パターンに時系列で連続して相似変形する状態のデジタル画像例を示す図である。
【符号の説明】
１０対象物
１１カメラ
１２量子化器
１３記憶装置
１４画像表示装置
１５処理装置
１５１モデル生成部
１５２局所パターン候補点抽出部
１５３モデル変形部
１５４類似度評価部

Claims

デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、画像処理装置が認識対象画像の特定パターンを認識する特定パターン認識方法であって、
前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出過程と、
この局所パターン候補点抽出過程で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形過程と、
このモデル変形過程で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価過程と
を含むことを特徴とする特定パターン認識方法。
前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像の輪郭線を求め、この輪郭線における曲率値が所定値よりも大きい領域の部分画像から、前記局所パターンを抽出することを特徴とする請求項１記載の特定パターン認識方法。
前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像の部分画像について、画素毎に明度変化方向を求め、少なくとも異なる２方向に明度変化のピークが現れる部分の画像のパターンを前記局所パターンとして抽出することを特徴とする請求項１記載の特定パターン認識方法。
前記連結パターンは画像パターンであることを特徴とする請求項１記載の特定パターン認識方法。
前記連結パターンは、直線、少なくとも１つの中間節点を持つ折れ線および曲線のいずれかであり、その連結パターンデータは数式データであることを特徴とする請求項１記載の特定パターン認識方法。
前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像から、前記局所パターンの中心位置を原点とする極座標を、原点を中心とした角度を示す角度軸と原点からの距離を示す距離軸とを有する直交座標に変換して、直交変換画像を作成し、
前記局所パターン候補点抽出過程では、前記認識対象画像を含むデジタル画像から、ある注目点を原点とする極座標を直交座標に変換して、直交変換画像を作成し、この直交変換画像と前記モデル生成過程で作成された直交変換画像とを角度軸方向に平行移動させながら、順次類似度を求め、これらの各類似度から最大類似度を抽出し、この最大類似度が所定の基準よりも大きければ、最大類似度が得られたときの直交変換画像の位置を前記局所パターン候補点の位置とするとともに、その最大類似度を与える移動量をもとに、対応する局所パターンに付与された方向を前記局所パターン候補点に割り当てる
ことを特徴とする請求項１記載の特定パターン認識方法。
前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、前記認識基準画像を含むデジタル画像から、前記局所パターンの中心位置を原点とする極座標を、原点を中心とした角度を示す角度軸と原点からの距離を示す距離軸とを有する直交座標に変換して、直交変換画像を作成し、この直交変換画像を角度軸に投影して１次元の波形データを作成し、前記局所パターン侯補点抽出過程では、前記認識対象画像を含むデジタル画像から、ある注目点を原点とする極座標を直交座標に変換して、直交変換画像を作成し、この直交変換画像を角度軸に投影して１次元の波形データを作成し、この１次元の波形データと、前記モデル生成過程で作成された波形データとを角度軸方向に平行移動させながら、順次類似度を求め、これらの各類似度から最大類似度を抽出し、この最大類似度が所定の基準よりも大きければ、最大類似度が得られたときの直交変換画像の位置を前記局所パターン候補点の位置とするとともに、その最大類似度を与える移動量をもとに、対応する局所パターンに付与された方向を前記局所パターン候補点に割り当てる
ことを特徴とする請求項１記載の特定パターン認識方法。
前記認識対象画像を含むデジタル画像から抽出した直交変換画像を距離軸方向に拡大または縮小して、前記モデル生成過程で作成された直交変換画像とマッチングすることを特徴とする請求項６記載の特定パターン認識方法。
前記局所パターン侯補点抽出過程では、局所的に画素値の変化の大きい部分だけを事前に抽出し、その部分のみに対して局所パターン候補点抽出処理を行うことを特徴とする請求項１記載の特定パターン認識方法。
前記モデル変形過程では、前記変形候補の局所パターン候補点の方向と、対応する前記局所パターンの方向との角度差が所定角より大きい場合、その変形候補を前記類似度評価過程での類似度の評価から除外することを特徴とする請求項１記載の特定パターン認識方法。
前記類似度評価過程では、前記連結パターンのデータが画像データである場合、前記モデル変形過程で求められた変形候補の変形パラメータに基づいて、前記連結パターンを変形し、この変形した連結パターンを含む変形した認識用モデルの全体パターンと前記認識対象画像とのマッチングを行うことを特徴とする請求項４記載の特定パターン認識方法。
前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定された全てのサンプリングライン上の画素値の分布と、連結パターン候補の位置で画素値がステップ状に変化する理想パターンとの相関値を算出して類似度とすることを特徴とする請求項５記載の特定パターン認識方法。
前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定されたサンプリングライン上の画素値の分布と、サンプリング点部分で画素値がステップ状に変化する理想パターンとの類似度を調べる処理をサンプリングラインごとに行い、類似度を全てのサンプリングラインに対して求めて平均値を算出し全体の類似度とすることを特徴とする請求項５記載の特定パターン認識方法。
前記認識対象画像に明暗のコントラスト反転が生じることが既知である場合、類似度として正規化相関値の絶対値を用いることを特徴とする請求項１１から１３のいずれかに記載の特定パターン認識方法。
前記類似度評価過程では、前記連結パターンのデータが線状のパターンを表す数式を用いて表される場合、前記連結パターンから得られた連結パターン候補上にサンプリング点を複数設定し、これらの各サンプリング点を中心として連結パターン候補の法線方向に任意長のサンプリングラインを設定し、設定された全てのサンプリングラインの各々についてエッジ位置を求め、エッジ位置と連結パターンの距離の平均値をもって類似度とすることを特徴とする請求項５記載の特定パターン認識方法。
前記サンプリングラインのある注目位置の左右で画素値の平均値を求め、平均画素値の差の絶対値を求め、注目位置を前記サンプリングラインの範囲内で移動させながら、平均画素値の差の絶対値を順次求め、その絶対値が最大となる位置をエッジ位置として用いることを特徴とする請求項１５記載の特定パターン認識方法。
前記連結パターンの各々について、エッジ位置をもとに最小自乗法を用いて連結パターンの数式に当てはめることを特徴とする請求項１５記載の特定パターン認識方法。
前記局所パターンおよび連結パターンの特徴と、これらパターンの認識に対する最適な処理方法および認識パラメータのうち少なくとも一方との関係を記述したデータベースを予め作成し、
前記認識用モデルを生成するモデル生成過程として、検出するべきパターンの特徴の解析を行い、この解析結果をもとに前記データベースを参照して、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法および認識パラメータのうち少なくとも一方を決定する過程をさらに含む
ことを特徴とする請求項１記載の特定パターン認識方法。
前記局所パターンおよび連結パターンの画像間変動の特徴と、それらパターンの認識に対する最適な処理方法および認識パラメータのうち少なくとも一方との関係を記述したデータベースを予め作成し、
複数の教示画像に対して試験的に認識を行い、この認識結果をもとに前記データベースを参照して、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法および認識パラメータのうち少なくとも一方を決定する
ことを特徴とする請求項１記載の特定パターン認識方法。
前記認識用モデルを生成するモデル生成過程をさらに含み、このモデル生成過程では、同じパターンを撮影して得た前記認識基準画像を含むデジタル画像を複数、教示用画像として用いる場合、前記局所パターンデータおよび連結パターンデータの画像間変動を正規化して統合することを特徴とする請求項１記載の特定パターン認識方法。
時系列で連続して入力されるデジタル画像に対してパターン照合および位置検出を行い、パターンの追跡を行う場合に、先に行ったパターン照合の結果をもとに前記認識用モデルを変更することを特徴とする請求項１記載の特定パターン認識方法。
時系列で連続して入力されるデジタル画像に対してパターン照合および位置検出を行い、パターンの追跡を行う場合に、先に行った位置検出の結果をもとに、前記局所パターン候補点抽出過程、モデル変形過程および類似度評価過程の各過程における処理方法を随時変更することを特徴とする請求項１記載の特定パターン認識方法。
デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、画像処理装置が認識対象画像の特定パターンを認識する特定パターン認識方法の処理手順を含む特定パターン認識プログラムであって、
前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出過程と、
この局所パターン候補点抽出過程で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形過程と、
このモデル変形過程で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価過程と
を含むことを特徴とする特定パターン認識プログラム。
請求項２３記載の特定パターン認識プログラムを前記コンピュータにより読み取り可能に記録したことを特徴とする特定パターン認識プログラム記録媒体。
撮像を行う撮像手段と、この撮像手段により撮像された画像信号から２次元マトリクスの各格子点ごとに明度値が記録されたデジタル画像を得る量子化手段と、この量子化手段で得られたデジタル画像のデータを少なくとも記憶する記憶手段とを備え、デジタル画像に含まれる特定パターンを有する認識対象画像の位置および向きを特定することができるものであって、前記認識対象画像に対応する基準となる認識基準画像を含むデジタル画像から得られ一の方向がそれぞれに付与された少なくとも２つの局所パターンと、これら局所パターン間を連結する少なくとも１つの連結パターンとから構成される認識用モデルを利用して、認識対象画像の特定パターンを認識する特定パターン認識装置であって、
前記認識用モデルを構成する局所パターンのうち、少なくとも２つの異なる局所パターンの各々に符合する局所パターン候補の位置である局所パターン候補点を、前記認識対象画像を含むデジタル画像から少なくとも１つ抽出し、その少なくとも１つの局所パターン候補点に、対応する局所パターンに付与された方向を割り当てる局所パターン候補点抽出手段と、
この局所パターン候補点抽出手段で抽出された局所パターン候補点から、少なくとも２つの相異なる局所パターンと符合する局所パターン候補点の組を少なくとも１組抽出することにより、抽出された組の各局所パターン侯補点からなる変形候補を選定し、選定された変形候補の各局所パターン侯補点の位置関係をもとに、前記認識用モデルに、位置、スケール、角度の変形を加えて、その認識用モデルの全体パターンを前記認識対象画像に重ね合わせる際の各変形パラメータを求めるモデル変形手段と、
このモデル変形手段で求められた変形パラメータに基づいて、前記認識用モデルを変形し、この変形した認識用モデルを前記認識対象画像に重ね合わせ、前記変形候補と前記認識対象画像との類似度を評価する類似度評価手段と
を含むことを特徴とする特定パターン認識装置。