JP3338115B2

JP3338115B2 - パターン認識装置及びパターン認識方法

Info

Publication number: JP3338115B2
Application number: JP10111593A
Authority: JP
Inventors: 雅晴瀧澤; 裕之石原
Original assignee: 富士通オートメーション株式会社
Priority date: 1993-04-27
Filing date: 1993-04-27
Publication date: 2002-10-28
Anticipated expiration: 2017-10-28
Also published as: JPH06309459A

Description

【発明の詳細な説明】

【０００１】〔目次〕産業上の利用分野従来の技術（図10，11）発明が解決しようとする課題（図12）課題を解決するための手段（図１，２）作用実施例（図３〜９）発明の効果

【０００２】

【産業上の利用分野】本発明は、パターン認識装置及び
パターン認識方法に関するものであり、更に詳しく言え
ば、円，四角形等が重なり合う形状パターンを分離識別
する装置及びその識別方法の改善に関するものである。
近年，画像処理分野において、高性能，高速データ処理
をする情報処理装置が使用され、例えば、食器の識別や
その計測をして飲食代金を自動清算する食堂清算システ
ムが採用される。

【０００３】当該システムは、社員食堂や大規模な食堂
において、好みの種類又は複数の単品料理等をお盆に載
置させ、それら食器の重なり部分や、はみ出し物を含ん
だ食器画像が撮像処理され、また、それを画像処理をし
た後に、予め決めてある食器の値段と、選択された食器
の計測結果とを照合し、飲食代金を自動算出するもので
ある。

【０００４】これによれば、そのパターン認識部におい
て、円形及び四角形等の食器を複合する被認識形状パタ
ーンの外部輪郭線を追跡し、各種食器パターンを認識し
ている。しかし、複数の円形状パターン等が環状を成し
て内部輪郭線を有する場合に、被認識対象のパターン認
識をすることが困難となる。そこで、各種形状パターン
が互いに接触又は重なり合うことにより、外部輪郭線と
内部輪郭線とが存在する場合であっても、外部輪郭線か
ら幾何学計算方法によって、内部輪郭線を抽出し、被認
識形状パターンから各種形状パターンを迅速に認識する
ことができる装置及び方法が望まれている。

【０００５】

【従来の技術】図10〜12は、従来例に係る説明図であ
る。図10は従来例に係るパターン認識装置の構成図であ
り、図11は従来例に係るパターン認識方法の説明図であ
る。なお、図12は、その問題点を説明する複合形状パタ
ーン図をそれぞれ示している。例えば、本発明の特許出
願人が先に出願（特開平０４−２９０１７４）したパタ
ーン認識方法を応用した装置は、図10において、撮像シ
ステム１，信号処理部２，計測／認識部３及び制御部４
から成る。

【０００６】当該装置の機能は、制御部４の処理フロー
チャートに示すように、まず、ステップＰ１で撮像シス
テム１により被認識対象１４の画像取得処理をする。こ
こで、信号処理部２により被認識対象１４の取得画像が
２値化信号処理され、その画像データＤINが計測／認識
部３に出力される。次に、ステップＰ２で外部輪郭線の
識別処理をし、次いで、ステップＰ３で外部輪郭線が計
測有効な線か否を判断する。この際に、外部輪郭線が有
効な線の場合（ＹES）には、ステップＰ４又はＰ５に移
行する。また、外部輪郭線が計測に向かない線の場合
（ＮＯ）には、その画像処理を終了してエラー表示等を
する。従って、ステップＰ３で有効な外部輪郭線と判断
された場合（ＹES）には、例えば、ステップＰ４で円形
計測処理をし、ステップＰ５で四角形や三角形等の多角
形計測処理をし、その後、ステップＰ６で計測結果の登
録処理をする。

【０００７】これにより、当該パターン認識装置を食堂
清算システムに採用した場合において、食器の識別やそ
の計測をすることにより、飲食代金の自動清算をするこ
とができる。次に、従来例に係る円形状や多角形状の食
器の識別やその計測処理について説明する。例えば、円
形状の食器のみにより被認識形状パターンＨ１が形成さ
れる場合、図11（Ａ）において、まず、被認識形状パタ
ーンＨ１に対し輪郭追跡方法により、外部輪郭線を抽出
する。ここで、屈曲点を求めるため、該パターンＨ１に
サンプリング点Ｐ１，Ｐ２…Ｐｍ…Ｐｎ…Ｐｏ…Ｐｐ…
を設定し、次に、隣接する３つのサンプリング点，例え
ば、Ｐ１，Ｐ２，Ｐ３の間の傾きベクトルＶ１，Ｖ２の
方向変化値を順次求める。

【０００８】次いで、ベクトルＶ１，Ｖ２の方向変化値
が所定の設定値の範囲内に存在するか否かの判断をし、
屈曲点Ｐｍ，Ｐｎ，Ｐｏ，Ｐｐを求める。その後、屈曲
点Ｐｍ〜Ｐｎのような屈曲点間の輪郭線は、同一円形の
食器から発生したものと考え、屈曲点Ｐｍ，Ｐｎ及びそ
の屈曲点間の輪郭線上に存在する任意の点Ｐｎ−ｍを通
る円を考える。そして、その円の中心座標を演算し、該
演算結果より半径及び中心座標が互いに近いもの同士を
統合して、同一円とする。これにより、２つの輪郭線Ｐ
ｍ〜Ｐｎ，Ｐｏ〜Ｐｐは同一円として統合され、当該食
器の円形状の種類と、その数とを識別することができ
る。

【０００９】また、図11（Ｂ）は、円形状Ａ，四角形Ｂ
及び不定形状Ｄにより被認識形状パターンが形成される
場合を示している。図11（Ｂ）において、このような円
形状Ａと四角形Ｂとが重なり合う状態，及び、四角形Ｂ
及び不定形状Ｄが重なり合う状のパターン認識をする場
合、円形食器のパターン認識の場合と同様に、外部輪郭
線を一定間隔でサンプリングし、隣合う２つのサンプル
点によって形成されるベクトル変化によって、図形の接
触点を示す屈曲点と多角形の頂点を示す屈曲点とを認識
して、輪郭線を分離する方法を採る。

【００１０】例えば、左回りに輪郭線追跡法により輪郭
点Ｐ１〜Ｐ11を検出し、この輪郭線を追いかけて輪郭点
座標（ｘ，ｙ）を抽出してベクトル化する。ここで、ベ
クトルは隣合う輪郭点を左回りに結んだものであり、そ
のベクトルのなす角は、着目するベクトルＶｍ，Ｖｎと
それぞれ１つ前のベクトルＶｍ−２，Ｖｎ−２で±方向
を定義して算出する。ここで、ベクトルのなす角が負に
なった場合には、凸変曲点Ｐ１，その角が急に正になっ
た場合には凹屈曲点Ｐ４とする。なお、ａ〜ｈ，ｊは部
分輪郭線であり、輪郭点Ｐ１→Ｐ９，Ｐ10→Ｐ11間の辺
により形成される。また、ｉ，ｋは円弧輪郭線であり、
輪郭点Ｐ９→Ｐ10，Ｐ11→Ｐ１間の円弧により形成され
る。

【００１１】次に、円形状を計測する場合、まず、円弧
輪郭線に対してサンプリング点の個数を取れる十分な大
きさの円弧輪郭線に基づき、最小二乗法により半径及び
中心座標を求める。その後、円形計測可能か否かの判断
をする。例えば、円弧輪郭線の始点Ｐ９→中心点→Ｐ10
の２つのベクトルのなす角θを求め、360 度の割合を算
出し、識別相対許容角度よりも大きい場合にはその計測
をする。なお、円弧輪郭線ｉ，ｋが同一の円形から発生
したものか否かが判断され、それが同一の円形から発生
したものと判断された場合には統合され、その円形状が
計測される。

【００１２】また、四角形を計測する場合には、辺輪郭
線に対してサンプリング点の個数を取れる十分な大きさ
の辺輪郭線に基づき、円形状や不定形状から四角形を抽
出して、それが計測可能か否かを判断する。例えば、辺
ａでのベクトルＶ１と次の辺のベクトルＶ２の内角が直
角となる場合、ベクトルＶ１と辺ｇでのベクトルＶ３が
平行で逆向きとなる場合、ベクトルＶ１とＶ３とで重な
りを持つ場合である。これを満足するか否かの四角形の
検証を行った後、それが計測可能であれば、それぞれの
辺に対してナンバリングを行い、向かい合う２辺の距離
（四角形の大きさ）を算出する。

【００１３】これにより、円形状Ａ，四角形Ｂ及び不定
形状Ｄにより被認識形状パターンが形成される場合に
も、円形状Ａ及び四角形Ｂを正確に抽出することができ
る。また、当該パターン認識方法を食堂清算システムに
採用した場合において、円形状Ａ及び四角形Ｂ等の食器
や、はみ出し等の不定形状Ｄを瞬時に判断識別やその計
測をすることができ、その自動精算を行うことが可能と
なる。

【００１４】

【発明が解決しようとする課題】ところで、従来例のパ
ターン認識方法によれば、図10の制御部４の処理フロー
チャートに示すように、そのステップＰ２おいて、円
形，三角形及び四角形等を複合する被認識形状パターン
Ｈ１〜Ｈ３の外部輪郭線を追跡し、各種形状（食器）パ
ターンを認識している。

【００１５】このため、図11（Ｂ）に示すような円形状
Ａ，四角形Ｂ及び不定形状Ｄが重畳される場合について
は、形状パターンの認識を容易に行うことができる。し
かし、図12（Ａ）に示すような複数の円形状パターンが
環状を成し、内部輪郭線を有する被認識対象１４のパタ
ーン認識をすることが困難となる。例えば、被認識対象
１４は、５つの円形状パターンＡ〜Ｅから成り、パター
ンＡとＢ，ＢとＣ，ＣとＤ，ＤとＥ，ＥとＡが接触又は
重なりを生じている状態である。このような場合、被認
識対象１４の被認識形状パターンを輪郭線追跡方法によ
りデータ処理しても、識別可能な部分輪郭線の情報量が
少なくなり、図12（Ｂ）に示すような丸みを帯びた五角
形状の外部輪郭線に係る抽出データのみしか得られな
い。

【００１６】これにより、図形パターンが互いに接触又
は重なり合うことにより、輪郭線が外側と内側とに分離
された場合、外部輪郭線の追跡抽出のみとなって、図12
（Ｃ）に示すような内部輪郭線に係る抽出データが得ら
れず、５つの円形状パターンＡ〜Ｅの個々の識別が困難
となる。このことで、当該パターン認識方法を食堂清算
システムに採用した場合において、エラー発生頻度が多
くなったり、当該システムの信頼性の低下を招くという
問題がある。

【００１７】本発明は、かかる従来例の問題点に鑑み創
作されたものであり、各種形状パターンが互いに接触又
は重なり合うことにより、外部輪郭線と内部輪郭線とが
存在する場合であっても、外部輪郭線から幾何学計算方
法によって、内部輪郭線を抽出し、被認識形状パターン
から各種形状パターンを迅速に認識することが可能とな
るパターン認識装置及びパターン認識方法の提供を目的
とする。

【００１８】

【課題を解決するための手段】上記した課題を解決する
ため、本発明はパターン認識装置に係り、外側形状を画
定する外側輪郭線及び内側の空洞部を画定する内側輪郭
線を備えた、所定形状の単独パターン、又は同一パター
ン若しくは異なる形状のパターンを含む複数のパターン
が重なるか若しくは接触する合成パターンの認識を行う
パターン認識装置であって、前記単独パターン又は合成
パターンの画像を取得して信号処理をする画像取得手段
と、前記画像取得手段からの信号に基づいて、前記外側
輪郭線及び前記内部輪郭線を認識する形状認識手段と、
前記画像取得手段及び前記形状認識手段の入出力を制御
する制御手段とを有し、前記形状認識手段は、前記外側
輪郭線の所定間隔を順次サンプリングして第１ベクトル
により前記外側輪郭線を認識すると共に、前記第１ベク
トルの角度変化に基づいて前記外側輪郭線の２つの線が
交差する屈曲部を特定して屈曲角度を求め、前記屈曲角
度の範囲の所定角度で第２ベクトルを前記外側輪郭線側
から前記内側輪郭線側に侵入させて、前記内側輪郭線の
所定間隔を順次サンプリングして前記第２ベクトルによ
り前記内側輪郭線を認識することを特徴とする。

【００１９】また、上記した課題を解決するため、本発
明はパターン認識方法に係り、外側形状を画定する外側
輪郭線及び内側の空洞部を画定する内側輪郭線を備え
た、所定形状の単独パターン、又は同一パターン若しく
は異なる形状のパターンを含む複数のパターンが重なる
か若しくは接触する合成パターンのパターン認識方法で
あって、前記外側輪郭線の所定間隔を順次サンプリング
して第１ベクトルにより前記外側輪郭線を認識すると共
に、前記第１ベクトルの角度変化に基づいて前記外側輪
郭線の２つの線が交差する屈曲部を特定して屈曲部の屈
曲角度を求め、前記屈曲角度の範囲の所定角度で第２ベ
クトルを前記外側輪郭線側から前記内側輪郭線側に侵入
させて、前記内側輪郭線の所定間隔を順次サンプリング
して前記第２ベクトルにより前記内側輪郭線を認識する
ことを特徴とする。

【００２０】上記したパターン認識方法において、前記
屈曲部を特定するときに、隣り合う２つの前記第１ベク
トルのなす角の屈曲方向と角度を求め、該屈曲方向が所
定の方向であり、かつ該角度が所定値を超えるときに、
前記２つの第１ベクトルの交点付近を屈曲部とすること
を特徴とする。

【００２１】上記したパターン認識方法において、前記
第２ベクトルを、前記屈曲角度を半分程度に分割する角
度で前記内側輪郭部側に侵入させることを特徴とする。

【００２２】

【作用】本発明のパターン認識装置によれば、図１に
示すように、画像取得手段１１，形状認識手段１２及び
制御手段１３が具備され、該制御手段１３が被認識対象
１４の各種形状パターンＡ，Ｂ，Ｃ…の外部輪郭線の探
索制御に基づいて内部輪郭線の探索制御をする。

【００２３】例えば、被認識対象１４の画像が画像取得
手段１１により取得され、その信号処理された画像取得
データＤINが形状認識手段１２に出力される。形状認識
手段１２では、制御手段１３を介して被認識対象１４か
ら各種形状パターンが抽出計測される。この際に、制御
手段１３により、被認識対象１４の各種形状パターン
Ａ，Ｂ，Ｃ…の外部輪郭線の探索制御に基づいて内部輪
郭線の探索制御が行われる。

【００２４】このため、各種形状パターンが互いに接触
又は重なり合い、その外部輪郭線と内部輪郭線とが存在
する場合であっても、外部輪郭線から幾何学計算方法に
よって、内部輪郭線を抽出することができる。これによ
り、被認識形状パターンの外部輪郭線の探索抽出データ
Ｄ１と、内部輪郭線の探索抽出データＤ２とに基づいて
被認識形状パターンから各種形状パターンを迅速に認識
することが可能となる。

【００２５】また、本発明のパターン認識方法によれ
ば、図２（Ａ）の処理フローチャートに示すように、ス
テップＰ２で外部輪郭線の探索抽出処理に基づいて被認
識形状パターンの内部輪郭線の探索抽出処理をしてい
る。例えば、ステップP2Ａで被認識形状パターンが重な
り合う外部輪郭線上の輪郭点から、当該外部輪郭線によ
り囲まれる領域内に向けて内部探索処理が行われる。こ
の際に、図２（Ｂ）に示すように、被認識形状パターン
の外部輪郭線上の屈曲点ｐｉを基準にして、外部輪郭線
上の輪郭点ｐ１，ｐ２に至る２方向にベクトルＶ１，Ｖ
２が設定され、両ベクトルＶ１，Ｖ２の成す屈曲角θを
２分割するベクトルＶ〔θ〕の反転ベクトル−Ｖ〔θ〕
の方向に探索処理が継続される。次に、ステップP2Ｂで
当該領域内において、輪郭線追跡方法により、部分輪郭
線が抽出処理され、その後、ステップP2Ｃで部分輪郭線
が統合処理される。

【００２６】このため、各種形状パターンが互いに接触
又は重なり合うことにより、外部輪郭線と内部輪郭線と
が存在する被認識形状パターンであって、従来例の処理
方法では困難であった内部輪郭線の探索抽出データＤ２
を得ることが可能となる。このことから、ステップＰ３
で、例えば、外部輪郭線の探索抽出データＤ１に内部輪
郭線の探索抽出データＤ２を追加することにより、被認
識対象１４の各種形状パターンＡ，Ｂ，Ｃ…の分離識別
処理を的確に行うことができる。

【００２７】これにより、当該パターン認識装置や方法
を応用した高信頼度の食堂清算システム等を提供するこ
とが可能となる。

【００２８】

【実施例】次に、図を参照しながら本発明の実施例につ
いて説明をする。図３〜９は、本発明の実施例に係るパ
ターン認識装置及びパターン認識方法を説明する図であ
り、図３は、本発明の実施例に係るパターン認識装置の
構成図である。例えば、食器の識別やその計測をして飲
食代金を自動清算する食堂清算システムに適用可能なパ
ターン認識装置は図３において、ＣＣＤカメラ21Ａ，Ａ
／Ｄ変換回路21Ｂ，論理フィルタ回路21Ｃ，画像メモリ
21Ｄ及び形状認識制御システム100 から成る。

【００２９】すなわち、ＣＣＤカメラ21Ａ，Ａ／Ｄ変換
回路21Ｂ，論理フィルタ回路21Ｃ及び画像メモリ21Ｄは
画像取得手段１１の一例を構成するものであり、ＣＣＤ
カメラ21Ａは被認識対象１４の画像を取得してその画像
取得信号ＡinをＡ／Ｄ変換回路21Ｂに出力する。Ａ／Ｄ
変換回路21Ｂは画像取得信号ＡinをＡ／Ｄ変換して、そ
のデジタル画像データを論理フィルタ回路21Ｃに出力す
る。論理フィルタ回路21Ｃはデジタル画像データを二値
化し、その画像取得データＤINを画像メモリ22Ａに出力
する。画像メモリ21Ｄは画像取得データＤINを格納す
る。

【００３０】形状認識制御システム100 は形状認識手段
１２や制御手段１３を構成するものであり、形状抽出／
計測部２２，Ｉ／Ｏインターフェース部（以下単にＩ／
Ｏ部という）23Ａ，ＲＯＭ（読出し専用メモリ）23Ｂ，
輪郭点用ＲＡＭ（随時書込み／読出し可能なメモリ）23
Ｃ，円輪郭線用ＲＡＭ23Ｄ，辺輪郭線用ＲＡＭ23Ｅ及び
ＣＰＵ（中央演算処理装置）23Ｆから成る。

【００３１】形状抽出／計測部２２は形状認識手段１２
の一例であり、被認識対象１４から各種形状パターンを
抽出計測するものである。なお、形状抽出／計測部２２
の機能については、図４〜６に示すパターン認識の処理
フローチャートが主要内容を成すため、図４〜６におい
て詳述する。Ｉ／Ｏ部23Ａ，ＲＯＭ23Ｂ，輪郭点用ＲＡ
Ｍ23Ｃ，円輪郭線用ＲＡＭ23Ｄ，辺輪郭線用ＲＡＭ23Ｅ
及びＣＰＵ23Ｆは制御手段１３を構成するものであり、
Ｉ／Ｏ部23Ａは、画像取得データＤIN，認識結果データ
ＤOUT 及びその他の制御データを入出力するものであ
る。

【００３２】ＲＯＭ23Ｂは、当該パターン認識装置の処
理プログラムを格納するメモリである。例えば、円形状
を判断する条件や、図９（Ｂ）に示すような四角形の判
断条件〜等が格納される。輪郭点用ＲＡＭ23Ｃは被
認識形状パターンの輪郭点データＤ3 を格納するメモリ
である。円輪郭線用ＲＡＭ23Ｄは、その外部輪郭線の探
索抽出データＤ１や内部輪郭線の探索抽出データＤ２を
格納するメモリである。辺輪郭線用ＲＡＭ23Ｅは、被認
識形状パターンの辺輪郭データＤ４を格納するメモリで
ある。

【００３３】ＣＰＵ23ＦはＣＣＤカメラ21Ａ及び形状抽
出／計測部２２の入出力を制御する。例えば、ＣＰＵ23
Ｆは被認識対象１４の各種形状パターンの外部輪郭線の
探索制御に基づいて内部輪郭線の探索制御をする。ここ
で、外部輪郭線の探索制御とは、形状抽出／計測部２２
に対し被認識形状パターンの外部輪郭に沿ってパターン
を抽出する制御をいうものとする。また、内部輪郭線の
探索制御とは、同様に、被認識形状パターンの外部輪郭
線上の屈曲点を基準にして、その内部領域に存在すると
思われるパターンを抽出する制御をいうものとする。

【００３４】このようにして、本発明の実施例に係るパ
ターン認識装置によれば、図３に示すように、ＣＣＤカ
メラ21Ａ，Ａ／Ｄ変換回路21Ｂ，論理フィルタ回路21Ｃ
及び画像メモリ21Ｄ及び形状認識制御システム100 が具
備され、該ＣＰＵ23Ｆが被認識対象１４の各種形状パタ
ーンの外部輪郭線の探索制御に基づいて内部輪郭線の探
索制御をする。

【００３５】例えば、被認識対象１４の画像がＣＣＤカ
メラ21Ａにより取得され、その画像取得信号ＡinがＡ／
Ｄ変換回路21Ｂ，論理フィルタ回路21Ｃにより信号処理
され、その二値化された画像取得データＤINが形状抽出
／計測部２２に出力される。形状抽出／計測部２２で
は、ＣＰＵ23Ｆを介して被認識対象１４から各種形状パ
ターンが抽出計測される。この際に、ＣＰＵ23Ｆによ
り、被認識対象１４の各種形状パターンの外部輪郭線の
探索制御に基づいて内部輪郭線の探索制御が行われる。

【００３６】このため、各種形状パターンが互いに接触
又は重なり合い、その外部輪郭線と内部輪郭線とが存在
する場合であっても、外部輪郭線から幾何学計算方法に
よって、内部輪郭線を抽出することができる。これによ
り、被認識形状パターンの外部輪郭線の探索抽出データ
Ｄ１と、内部輪郭線の探索抽出データＤ２とに基づいて
被認識形状パターンから各種形状パターンを迅速に認識
することが可能となる。

【００３７】次に、本発明の実施例に係るパターン認識
方法について、当該装置の動作を補足しながら説明をす
る。図４〜６は、本発明の実施例に係るパターン認識の
処理フローチャート（その１〜３）であり、図７は、被
認識形状パターンの説明図である。また、図８，９はそ
のパターン認識方法の補足説明図（その１，２）をそれ
ぞれ示している。

【００３８】例えば、図７に示すような４つの形状パタ
ーンＡ，Ｂ，Ｃ，Ｄが複合する被認識対象１４のパター
ン認識処理をする場合、図３において、まず、ステップ
Ｐ１で被認識対象１４の画像取得処理をする。この際
に、次に、ステップＰ２〜Ｐ４で被認識対象１４の画像
取得データＤINから被認識形状パターンＨ14の外部輪郭
線の探索抽出処理をする。例えば、ステップＰ２で被認
識対象１４の二値化画像（以下被認識形状パターンとい
う）Ｈ14の外部輪郭点を検出する。ここで、図７におい
て、当該形状パターンＨ14に対して左回りに輪郭線追跡
方法により外部輪郭線，例えば、屈曲点ｐ１〜ｐ６を含
む形状パターンＡ，Ｂ，Ｃ，Ｄの外側の輪郭線（円弧
ａ，辺ｂ，ｃ，ｄ，円弧ｅ，ｆ）を検出する。

【００３９】次いで、ステップＰ３で被認識形状パター
ンＨ14の外部輪郭座標値を抽出する。この際に、外部輪
郭線を追いかけて、外部輪郭座標値を抽出し、その輪郭
点データＤ３をベクトル化する。輪郭点データＤ３は輪
郭点用ＲＡＭ23Ｃに格納する。さらに、ステップＰ４で
被認識形状パターンＨ14の外部輪郭線上の屈曲点ｐ１〜
ｐ６を抽出する。ここで、図８（Ａ）において、屈曲角
θを定義する。屈曲角θは、各ベクトルＶ１〜Ｖ３…Ｖ
ｍ−１，Ｖｍ…Ｖｎ−１，Ｖｎ…を左回りに結んだ場合
であって、着目するベクトルＶｍと１つ前のベクトルＶ
ｍ−１の成す角をいう。また、屈曲角θを±方向を以て
定義する。例えば、図８（Ａ）に示すように、屈曲角θ
が急に正に変化する場合には、屈曲点ｐ１は凹屈曲点と
判断され、また、屈曲角θが急に負に変化する場合に
は、屈曲点ｐ３は凸屈曲点と判断される。

【００４０】その後、ステップＰ５で被認識形状パター
ンＨ14の内側領域に輪郭線が存在するか否かを判断す
る。この際に、その内側領域に輪郭線が存在する場合
（ＹES）には、ステップＰ６に移行する。ここで、輪郭
追跡方法により得られた屈曲点ｐ１〜ｐ６の数が３箇所
以上となり、内部輪郭線が存在する確率が多くなる。ま
た、屈曲点ｐ１〜ｐ６の数が２箇所以下の場合には、輪
郭線が存在しない場合（ＮＯ）に該当するため、ステッ
プＰ９に移行する。

【００４１】従って、屈曲点の数が３箇所以上となる場
合（ＹES）には、被認識形状パターンＨ14が重なり合う
外部輪郭線上の輪郭点から、当該外部輪郭線により囲ま
れる領域内に向けて内部探索処理を実行する。すなわ
ち、ステップＰ６〜Ｐ８で被認識形状パターンＨ14の内
部輪郭線の探索抽出処理をする。まず、ステップＰ６で
被認識形状パターンＨ14の内部輪郭点を検出する。ここ
で、当該形状パターンＨ14とな異なる例であるが、図８
（Ｂ）に示すように、円形状パターンが複合する被認識
形状パターンＨ15の外部輪郭線上の屈曲点Ｐｊを基準に
して、内部輪郭点の探索処理を実行する。なお、屈曲角
θの回転方向が正となるため、外部輪郭線上の屈曲点Ｐ
ｊを基準にして、外部輪郭線上の輪郭点Ｐｉ，Ｐｋに至
る２方向にベクトルＶｉ，Ｖｋを設定し、ベクトルＶ
ｉ，Ｖｋの成す屈曲角θを２分割するベクトルＶ〔θ〕
の反転ベクトル−Ｖ〔θ〕の方向に、単位ベクトルεを
延伸し、内部輪郭点の探索処理を継続する。また、単位
ベクトルεはラベルデータの無い領域（当該円形状パタ
ーンデータの無い領域）まで延伸し、該ラベルデータが
検出された場合には、その座標位置からＸ方向に進ませ
る。

【００４２】次いで、ステップＰ７で当該形状パターン
Ｈ14の内部輪郭座標値を抽出する。この際に、図７にお
いて、当該形状パターンＨ14の内部輪郭点に対して左回
りに輪郭線追跡方法により内部輪郭線，例えば、屈曲点
ｐ７〜ｐ10を含む形状パターンＡ，Ｂ，Ｃ，Ｄの内側の
輪郭線（円弧ｇ，辺ｈ，円弧ｉ，ｊ）を検出する。さら
に、ステップＰ８で当該形状パターンＨ14の内部輪郭線
上の屈曲点ｐ７〜ｐ10を抽出する。この際に、内部輪郭
線を追いかけて、内部輪郭座標値を抽出し、その輪郭点
データＤ３をベクトル化する。輪郭点データＤ３は輪郭
点用ＲＡＭ23Ｃに格納する。これにより、外部輪郭線の
探索抽出データＤ１に、部分輪郭線の統合処理により得
られる内部輪郭線の探索抽出データＤ２が追加される。

【００４３】その後、ステップＰ９で部分輪郭線の分類
処理をする。例えば、図９（Ａ）に示すような円弧や直
線から成る部分輪郭線をｑ等分化をする。ｑ値は当該形
状抽出／計測部２２の識別相対許容値によって決める。
ここで、小さい画像ノイズに対しての誤差を考え、着目
するベクトルと２つ先のベクトルとのなす角α１，α
２，α３……αｑ及びβ１，β２，β３……βｐを算出
して、その平均値（α１＋α２＋α３＋……＋αｑ）／
ｑ，（β１＋β２＋β３＋……＋βｐ）／ｑを求める。
この値が許容設定値よりも小さい場合（０に近い場合）
には、被認識形状パターンＨ14の多角形状から発生した
直線，つまり、辺輪郭線とし、また、それが許容設定値
よりも大きい場合には、円形状パターンから発生した円
弧輪郭線として分類する。

【００４４】これにより、外部輪郭線や内部輪郭線の部
分輪郭線から、円弧ａ，ｅ，ｆ，ｇ，ｉ，ｊと、辺ｂ，
ｃ，ｄ，ｈとが分類され、円弧輪郭線ａ，ｅ，ｆ，ｇ，
ｉ，ｊの座標値を探索抽出データＤ１，Ｄ２として、円
輪郭線用ＲＡＭ23Ｄに格納する。また、辺輪郭線ｂ，
ｃ，ｄ，ｈの座標値を辺輪郭データＤ４として、辺輪郭
線用ＲＡＭ23Ｅに格納する。

【００４５】次いで、ステップＰ10で被認識形状パター
ンＨ14の計測処理に先立ち、サンプリング点が取れる輪
郭線か否かを判断する。この際に、サンプリング点が取
れる輪郭線の場合（ＹES）には、ステップＰ11又はＰ18
に移行する。また、それが取れない輪郭線の場合（Ｎ
Ｏ）には、従来例と同様にその制御を終了する。従っ
て、ステップＰ10でサンプリング点が取れる輪郭線と判
断された場合（ＹES）には、ステップＰ11〜Ｐ17で円形
計測処理を実行し、ステップＰ18〜Ｐ28で矩形計測処理
を実行する。これにより、被認識形状パターンＨ14の外
部輪郭線の探索抽出データＤ１及び内部輪郭線の探索抽
出データＤ２に基づいて被認識対象１４の各種形状パタ
ーンＡ，Ｂ，Ｃ，Ｄの分離識別処理をすることができ
る。

【００４６】例えば、円形計測処理を先に実行するもの
とすれば、ステップＰ11で円弧に対する中心座標，半径
を求める。ここで、サンプリング点数が取れる十分な長
さの円弧輪郭線に対し最小二乗法により中心座標Ｏを算
出する。ここで、円形状を判断する条件がＲＯＭ23Ｂか
ら読み出される。次に、ステップＰ12で当該輪郭線が統
合する円弧か否かの判断をする。この際に、それぞれの
円弧輪郭線ａ，ｅ，ｆ，ｇ，ｉ，ｊに関し、その算出し
た半径、中心座標Ｏが比較され、その差が識別相対許容
角度範囲内ならば、同一の円から発生したと見なされ
る。この結果、輪郭線が統合する円弧の場合（ＹES）と
判断され、ステップＰ13に移行して部分円弧輪郭線の統
合をする。その後、ステップＰ14で統合された円弧から
中心座標，半径を求める。具体的には、複数存在してい
る円弧輪郭線を、再度、最小二乗法により中心座標Ｏを
利用して、円弧輪郭線の始点ｐ１→中心点→終点ｐ２の
２つのベクトルのなす屈曲角θ１を求め、360〔°〕の
割合を算出する。

【００４７】その後、ステップＰ12に戻って、当該輪郭
線を統合しない円弧の場合（ＮＯ）には、ステップＰ15
に移行して、円弧の割合が計測可能な許容値にあるか否
かを判断する。この際に、円弧の割合が許容値にある場
合（ＹES）には、ステップＰ16に移行して、当該輪郭線
が計測可能な円形であるか否かを判断する。ここで、図
７に示した円弧輪郭線ａ，ｅが同一円から発生したもの
であり、計測可能な円形と判断された場合（ＹES）に
は、ステップＰ17で被認識形状パターンＨ14の円形パタ
ーンの計測処理を実行する。

【００４８】なお、ステップＰ15で屈曲角θ１が識別相
対許容角度よりも小さい場合には、誤認識の恐れがある
ため、円弧の割合が計測可能な許容値に達しない場合
（ＮＯ）と判断され、その制御を終了する。また、ステ
ップＰ16で計測可能な円形でない場合（ＮＯ）にも計測
対象外となる。また、ステップＰ10でサンプリング点が
取れる輪郭線の場合（ＹES）と判断され、被認識形状パ
ターンＨ14の矩形パターンの計測処理を実行する場合に
は、ステップＰ18に移行する。具体的には、辺輪郭線用
ＲＡＭ23Ｅに格納された辺輪郭データＤ４を読出し、形
状抽出／計測部２２により、辺輪郭線内にサンプリング
点数が取れる十分な長さの辺輪郭線に対し、その不定形
状から多角形を抽出，計測をする。

【００４９】すなわち、ステップＰ18で当該被認識形状
パターンＨ14の輪郭線が統合する辺か否かの判断をす
る。この際に、輪郭線が統合する辺の場合（ＹES）に
は、ステップＰ19に移行して部分直線輪郭線の統合をす
る。また、それが統合する辺でない場合（ＮＯ）には、
ステップＰ20に移行する。具体的には、図７において、
多角形Ｃに対して次に示す条件に適合すれば、「四角
形」として計測対象となり、それに適合しなければ誤認
識の恐れがあるため、計測対象外となる。ここで、四角
形を判断する条件がＲＯＭ23Ｂから読み出される。その
内容は、図９（Ｂ）の条件に示すように、ベクトルＶ
１とベクトルＶ２の内角が直角でなければならない。こ
れを図７の多角形Ｃに適合すると、辺ｂによるベクトル
Ｖ１と次辺ｃによるベクトルＶ２の内角が直角となって
いる。

【００５０】また、ステップＰ20では、向かい合う２辺
のベクトルが並行で逆向きか否かを判断する。この際
に、２辺のベクトルが並行で逆向きの場合（ＹES）に
は、ステップＰ21に移行する。ここで、多角形Ｃが四角
形であるためには、図９（Ｂ）の条件に示すように、
ベクトルＶ１と対向するベクトルＶ３が並行で逆向きで
なければならい。これを図７の多角形Ｃに適合すると、
辺ｂによるベクトルＶ１と対向辺ｄによるベクトルＶ３
が並行で逆向きになっている。

【００５１】これにより、ステップＰ21に移行して、向
かい合う２辺のベクトルが重なり合う部分を持つか否か
を判断する。この際に、ベクトルが重なり合う部分を持
つ場合（ＹES）には、ステップＰ22に移行する。ここ
で、多角形Ｃが四角形であるためには、図９（Ｂ）の条
件に示すように、ベクトルＶ１とベクトルＶ３との間
で重なり部分を持たなけれならい。これを図７の多角形
Ｃに適合すると、辺ｂによるベクトルＶ１と対向辺ｄに
よるベクトルＶ３との間で差なり部分を持っている。

【００５２】従って、ステップＰ22に移行して、基本辺
に対向する辺を抽出する。ここで、対向辺が複数存在す
る場合には最も近接する辺を抽出する。なお、ステップ
Ｐ23で向かい合う辺の周辺の位置関係を検証し、その
後、ステップＰ24で被認識形状パターンＨ14の２辺の幅
を計測する。これにより、多角形Ｃを四角形として決定
することができる。

【００５３】なお、ステップＰ20で２辺のベクトルが並
行で逆向きでない場合（ＮＯ）やステップＰ21で２辺の
ベクトルが重なり合う部分を持たない場合（ＮＯ）と判
断された場合には、その制御を終了する。そして、ステ
ップＰ25で計測結果の登録処理をする。これにより、円
形状パターンＡとＢ，円形状パターンＢと四角形状パタ
ーンＣ，該パターンＣと円形状パターンＤ，円形状パタ
ーンＤとＡが接触又は重なりを生じている被認識対象１
４の３つの円形状パターンＡ〜Ｃと１つの四角形Ｄを個
別にパターン認識することができる。

【００５４】このようにして、本発明の実施例に係るパ
ターン認識方法によれば、図４〜６の処理フローチャー
ト（その１〜３）に示すように、ステップＰ２〜Ｐ４の
外部輪郭線の探索抽出処理に基づいてステップＰ６〜Ｐ
８で被認識形状パターンＨ14の内部輪郭線の探索抽出処
理をしている。例えば、ステップＰ６で被認識形状パタ
ーンＨ14が重なり合う外部輪郭線上の輪郭点ｐ１から、
当該外部輪郭線により囲まれる領域内に向けて内部探索
処理が行われる。この際に、図８（Ｂ）に示すように、
被認識形状パターンＨ14の外部輪郭線上の屈曲点Ｐｊを
基準にして、外部輪郭線上の輪郭点Ｐｉ，Ｐｋに至る２
方向にベクトルＶｉ，Ｖｋが設定され、両ベクトルＶ
ｉ，Ｖｋの成す屈曲角θを２分割するベクトルＶ〔θ〕
の反転ベクトル−Ｖ〔θ〕の方向に、単位ベクトルεが
延伸され、次に、ステップＰ７，Ｐ８で当該領域内にお
いて、輪郭線追跡方法により、部分輪郭線が抽出処理さ
れ、その後、ステップＰ９で部分輪郭線が統合処理され
る。

【００５５】このため、各種形状パターンＨ14が互いに
接触又は重なり合うことにより、外部輪郭線と内部輪郭
線とが存在する被認識形状パターンＨ14であって、従来
例の処理方法では困難であった内部輪郭線の探索抽出デ
ータＤ２を得ることが可能となる。このことから、ステ
ップＰ８で、外部輪郭線の探索抽出データＤ１に内部輪
郭線の探索抽出データＤ２が追加されることにより、被
認識対象１４の各種形状パターンＡ，Ｂ，Ｃ，Ｄの分離
識別処理を正確に行うことができる。すなわち、従来例
では外部輪郭線の探索処理のみに依存していたことか
ら、多角形Ｃの辺輪郭線ｈを抽出することができず、四
角形の判断条件をクリアできずに計測不能に即陥ってい
た。これに対し、本発明によれば、辺輪郭線ｈを正確に
抽出できるので、多角形Ｃを容易に四角形として識別す
ること、及びその計測を行うことが可能となる。

【００５６】これにより、各種形状パターンが互いに接
触又は重なり合うことにより、外部輪郭線と内部輪郭線
とが存在する場合であっても、外部輪郭線から幾何学計
算方法によって、内部輪郭線を抽出することにより、被
認識形状パターンＨ14から各種形状パターンＡ，Ｂ，
Ｃ，Ｄを迅速に認識することが可能となる。このこと
で、当該パターン認識装置や方法を応用した高信頼度の
食堂清算システム等を提供することが可能となる。

【００５７】

【発明の効果】以上説明したように、本発明のパターン
認識装置によれば、画像取得手段，形状認識手段及び制
御手段が具備され、該制御手段が被認識対象の各種形状
パターンの外部輪郭線の探索制御に基づいて内部輪郭線
の探索制御をする。このため、各種形状パターンが互い
に接触又は重なり合い、その外部輪郭線と内部輪郭線と
が存在する場合であっても、外部輪郭線から幾何学計算
方法によって、内部輪郭線を抽出することができる。こ
のことから、被認識形状パターンの外部輪郭線の探索抽
出データと、内部輪郭線の探索抽出データとに基づいて
被認識形状パターンから各種形状パターンを迅速に認識
することが可能となる。

【００５８】また、本発明のパターン認識方法によれ
ば、外部輪郭線の探索抽出処理に基づいて被認識形状パ
ターンの内部輪郭線の探索抽出処理をしている。このた
め、外部輪郭線の探索抽出処理によって得られた探索抽
出データに、内部輪郭線の探索抽出処理によって得られ
た探索抽出データを追加することにより、被認識対象か
ら各種形状パターンを正確に分離識別することが可能と
なる。

【００５９】これにより、当該パターン認識装置や方法
を応用した高信頼度の食堂清算システム等の提供に寄与
するところが大きい。

【図面の簡単な説明】

【図１】本発明に係るパターン認識装置の原理図であ
る。

【図２】本発明に係るパターン認識方法の原理図であ
る。

【図３】本発明の実施例に係るパターン認識装置の構成
図である。

【図４】本発明の実施例に係るパターン認識の処理フロ
ーチャート（その１）である。

【図５】本発明の実施例に係るパターン認識の処理フロ
ーチャート（その２）である。

【図６】本発明の実施例に係るパターン認識の処理フロ
ーチャート（その３）である。

【図７】本発明の実施例に係る被認識形状パターンの説
明図である。

【図８】本発明の実施例に係るパターン認識方法の補足
説明図（その１）である。

【図９】本発明の実施例に係るパターン認識方法の補足
説明図（その２）である。

【図10】従来例に係るパターン認識装置の構成図であ
る。

【図11】従来例に係るパターン認識方法の説明図であ
る。

【図12】従来例に係る問題点を説明する複合形状パター
ン図である。

【符号の説明】

１１…画像取得手段、１２…形状認識手段、１３…制御手段、Ｌ１…外部輪郭線、Ｌ２…内部輪郭線、Ａ〜Ｄ…各種形状パターン、ＤIN…画像取得データ、Ｄ１，Ｄ２…探索抽出データ、 θ…屈曲角、Ｖ１，Ｖ２…ベクトル、Ｖ〔θ〕，−Ｖ〔θ〕…ベクトル，反転ベクトル、ｐ１，ｐ２…屈曲点。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/60 G01B 11/24 G06T 1/00 280

Claims

(57)【特許請求の範囲】

【請求項１】外側形状を画定する外側輪郭線及び内側
の空洞部を画定する内側輪郭線を備えた、所定形状の単
独パターン、又は同一パターン若しくは異なる形状のパ
ターンを含む複数のパターンが重なるか若しくは接触す
る合成パターンの認識を行うパターン認識装置であっ
て、前記単独パターン又は合成パターンの画像を取得して信
号処理をする画像取得手段と、前記画像取得手段からの信号に基づいて、前記外側輪郭
線及び前記内部輪郭線を認識する形状認識手段と、前記画像取得手段及び前記形状認識手段の入出力を制御
する制御手段とを有し、前記形状認識手段は、前記外側輪郭線の所定間隔を順次
サンプリングして第１ベクトルにより前記外側輪郭線を
認識すると共に、前記第１ベクトルの角度変化に基づい
て前記外側輪郭線の２つの線が交差する屈曲部を特定し
て屈曲角度を求め、前記屈曲角度の範囲の所定角度で第
２ベクトルを前記外側輪郭線側から前記内側輪郭線側に
侵入させて、前記内側輪郭線の所定間隔を順次サンプリ
ングして前記第２ベクトルにより前記内側輪郭線を認識
することを特徴とするパターン認識装置。
【請求項２】外側形状を画定する外側輪郭線及び内側
の空洞部を画定する内側輪郭線を備えた、所定形状の単
独パターン、又は同一パターン若しくは異なる形状のパ
ターンを含む複数のパターンが重なるか若しくは接触す
る合成パターンのパターン認識方法であって、前記外側輪郭線の所定間隔を順次サンプリングして第１
ベクトルにより前記外側輪郭線を認識すると共に、前記
第１ベクトルの角度変化に基づいて前記外側輪郭線の２
つの線が交差する屈曲部を特定して屈曲角度を求め、前
記屈曲角度の範囲の所定角度で第２ベクトルを前記外側
輪郭線側から前記内側輪郭線側に侵入させて、前記内側
輪郭線の所定間隔を順次サンプリングして前記第２ベク
トルにより前記内側輪郭線を認識することを特徴とする
パターン認識方法。
【請求項３】前記屈曲部を特定するときにおいて、隣
り合う２つの前記第１ベクトルのなす角の屈曲方向と角
度とを求め、該屈曲方向が所定の方向であり、かつ該角
度が所定値を超えるときに、前記２つの第１ベクトルの
交点付近を屈曲部とすることを特徴とする請求項２に記
載のパターン認識方法。
【請求項４】前記第２ベクトルを、前記屈曲角度を半
分程度に分割する角度で前記内側輪郭部側に侵入させる
ことを特徴とする請求項２又は３に記載のパターン認識
方法。