JP5111794B2

JP5111794B2 - 紙葉類識別装置、紙葉類識別方法、及び辞書作成方法

Info

Publication number: JP5111794B2
Application number: JP2006176735A
Authority: JP
Inventors: 直毅名取
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-08-08
Filing date: 2006-06-27
Publication date: 2013-01-09
Anticipated expiration: 2026-06-27
Also published as: EP1752934B1; CN1912932B; DE602006017634D1; EP1752934A3; EP2189951A1; CN101739749A; EP1752934A2; US20070031021A1; CN1912932A; ATE485574T1; US7991197B2; JP2007073035A; EP2189951B1; CN101739749B

Description

本発明は、たとえば、有価証券等の紙葉類の自動鑑査装置において、紙葉類から得られる画像パターンとあらかじめ設定される基準パターンとを比較することにより当該紙葉類の種類や真偽等を識別する紙葉類識別装置、紙葉類識別方法、及び辞書作成方法に関する。

一般に、デジタル画像パターン（以下、単にパターンと称す）の識別処理は、高度な識別を目指すほど高解像度のセンサ入力を必要とする傾向にあるが、同時に実用性の観点から、少ない計算コストと実時間での処理を実現しなければならない。

そこで、パターンの一部（画素あるいは画素の集合）を選択して処理するための様々な方法が提案されている。一般に、パターンは冗長性を多く含んでいるので、適切な選択を行なえば、解像度を保持したまま少ない計算量で充分な識別性能が得られる。

たとえば、ランダムな画素選択を行なうことで処理対象画素を絞り込み、高解像度と高速処理とを両立した技術が知られている（たとえば、特許文献１参照）。この公知技術では、画素選択が検査ごとにランダムに実施されることから、検査部位の探知が事実上不可能となり、信頼性を向上させている。
特開平９−１３４４６４号公報

しかしながら、上記した公知技術では、位置的な重み付けについては考慮されておらず、むしろ信頼性の観点から、選択される画素がパターン全領域に均等に分布することが望ましいとされていた。確かに、検査部位の探知を困難にするという目的では、パターン全領域から均等に画素を選択するのが理想的であるが、一般に、パターンの全領域を画一的に処理して識別結果を得る方法は、局所的な特徴を充分に識別できなかったり、逆に、局所的な媒体変動（汚れ、かすれ等）が識別性能に影響を及ぼしたりという問題がある。
したがって、高速性および信頼性を保ちつつ局所的な特徴を充分に識別し得る識別方法が求められていた。
また、パターンの一部を選択して処理する際、紙葉類の搬送状態等に起因する紙葉類のスライドやスキュー、印刷濃度変動の影響を受けることがある。

そこで、本発明は、紙葉類の画像パターンを複数の領域（画素あるいは画素の集合）に分割し、重み付けや選択を行ない、領域ごとに識別結果を得て、その論理的な組み合わせで全体の識別結果を決定することにより、紙葉類のクラスを効率的に推定し、かつ、媒体変動にロバストなパターン識別が可能となる紙葉類識別装置、紙葉類識別方法、及び辞書作成方法を提供することを目的とする。

本発明の紙葉類識別装置は、識別すべき紙葉類のクラスの基準となる画像が格子状に均等な複数の領域に分割され、分割された領域の内から識別に用いられる領域の選択率と、前記選択率に応じて選択された選択領域と、その選択領域の画像と、その選択領域毎の重みとが記憶された辞書と、識別すべき紙葉類を搬送する搬送手段と、前記搬送手段で搬送されている紙葉類の画像を入力する画像入力手段と、前記搬送されている紙葉類のスキュー量とスライド量とを検出する搬送状態検出手段と、前記画像入力手段により入力した画像を格子状に均等な複数の領域に分割する領域分割手段と、前記搬送状態検出手段により検出したスキュー量及びスライド量に基づいて、前記辞書に登録されている前記選択領域の画像を回転する回転手段と、前記回転手段により回転した各クラスの選択領域の画像と、前記領域分割手段により分割された複数の領域の内の、前記選択領域に対応する領域の画像とのそれぞれの類似度の大小比較に基づき領域毎の識別結果を得る識別結果取得手段と、前記識別結果取得手段により取得された領域ごとの識別結果と前記辞書に登録されている選択領域毎の重みとに基づいて全体の識別結果を決定する識別結果決定手段と、を具備する。

また、本発明の紙葉類識別方法は、識別すべき紙葉類のクラスの基準となる画像が格子状に均等な複数の領域に分割され、分割された領域の内から識別に用いられる領域の選択率と、前記選択率に応じて選択された選択領域と、その選択領域の画像と、その選択領域毎の重みとを登録し、搬送されている紙葉類から紙葉類の画像を入力し、前記紙葉類のスキュー量とスライド量とを検出し、前記入力した画像を格子状に均等な複数の領域に分割し、検出したスキュー量及びスライド量に基づいて、登録された前記選択領域の画像を回転し、回転された各クラスの選択領域の画像と、前記分割された複数の領域の内の、前記選択領域に対応する領域の画像とのそれぞれの類似度の大小比較に基づき領域毎の識別結果を取得し、前記取得された領域ごとの識別結果と登録された選択領域毎の重みとに基づいて全体の識別結果を決定する。

本発明によれば、紙葉類の画像パターンを複数の領域（画素あるいは画素の集合）に分割し、重み付けや選択を行ない、領域ごとに識別結果を得て、その論理的な組み合わせで全体の識別結果を決定することにより、紙葉類のクラスを効率的に推定し、かつ、媒体変動にロバストなパターン識別が可能となる紙葉類識別装置、紙葉類識別方法、及び辞書作成方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
なお、本発明に係る紙葉類識別装置は、紙葉類（媒体）の画像パターンに基づいて、当該紙葉類の種類や真偽を識別するもので、たとえば、有価証券（紙幣等）などの紙葉類上に印刷された画像を光学的に読取って得られる画像パターン（画像データ）に基づいて、当該紙葉類の種類（クラス、金種）や真偽を識別するものである。

まず、第１の実施の形態について説明する。
図１は、本発明の実施の形態に係る紙葉類識別装置の構成を概略的に示すものである。この紙葉類識別装置は、紙葉類上の画像を光学的に読取って得られる画像パターン（入力パターン）を入力する入力インタフェイス（Ｉ／Ｆ）部１、前段の識別結果や識別処理の候補を一時的に蓄積する前段識別結果バッファ部１０、入力される画像パターン（入力パターン）を一時的に蓄積する入力パターンバッファ部１１、入力された画像パターンを複数の領域に分割する領域分割手段としての分割部２、分割パラメータを保存する分割パラメータ保存部２１、分割された領域に対し重み付けを行なう重み付け手段としての重み付け部３、重みパラメータを保存する重みパラメータ保存部３１、重み付けされた領域から識別に用いる領域を選択する領域選択手段としての選択部４、選択パラメータを保存する選択パラメータ保存部４１、選択された領域ごとの基準パターンとの識別結果を取得する識別結果取得手段としての領域識別部５、領域ごとの識別結果を保存する領域識別結果保存部５１、全体の識別結果を決定する全体識別部６、全体識別結果を保存する全体識別結果保存部６１、領域ごとの識別結果の論理的な組み合わせで全体の識別結果を決定する識別結果決定手段としての最終識別部７、最終の識別結果を保存する最終識別結果保存部７１、識別結果を出力する出力インタフェイス（Ｉ／Ｆ）部８、および、出力結果を一時的に蓄積する出力結果バッファ部８１を有して構成される。

図２は、第１の実施の形態に係る識別処理を説明するフローチャートを示しており、以下、このフローチャートに基づき識別処理を説明する。
まず、分割パラメータを初期化する（ＳＴ１）。ここで、分割パラメータとは、パターンの領域分割を表現する具体的な数値のこととする。たとえば、図３では、入力されたパターンを横３２×縦１３（計４１６）の格子状に均等に領域分割する例を示している。このとき、分割パラメータは、たとえば、
ｐｉ＝｛ｈｉ，ｖｉ，ｌｉ，ｄｉ｝
のように表される。ただし、ｐｉはｉ番目領域の分割パラメータ（１≦ｉ≦４１６）、ｈｉはｉ番目領域の始点水平座標、ｖｉはｉ番目領域の始点垂直座標、ｌｉはｉ番目領域の水平幅、ｄｉはｉ番目領域の垂直高さである。分割パラメータの初期化では、ｐｉに具体的な数値を代入する。

次に、重みパラメータを初期化する（ＳＴ２）。重みパラメータは、領域の重要度を表すものであるが、初期状態ではどの領域がどれだけ重要なのかは不明なので、ここでは全て同じ値とする。すなわち、
ｗｉ＝１／４１６
である。ｗｉはｉ番目領域の重みパラメータである。

さらに、選択パラメータを初期化する（ＳＴ３）。ここで、選択パラメータをＱとすると、選択パラメータＱは、選択率ｑ０と選択領域番号ｑｊ（ｊ≧１）とに分けられる。すなわち、
Ｑ＝｛ｑ０，ｑ１，ｑ２，‥‥｝
である。選択率は、全領域に対する選択領域の割合である。すなわち、
０．０≦ｑ０≦１．０
である。また、そのときの選択された領域の番号を選択領域番号とする。選択領域番号の数は選択率に応じて定まる。選択領域番号の値は、本実施の形態では、
１≦ｑｊ≦４１６
の範囲となる。初期状態では、どの領域がどれだけ重要なのかは不明なので、適当な値を登録する。たとえば、選択率ｑ０＝０．２５ならば、選択パラメータＱは、
Ｑ＝｛０．２５，１，２，‥‥，１０４｝
のように初期化する。

パラメータの初期化が完了すると、基準パターンが入力される。なお、本実施の形態では、説明をわかりやすくするためにパターンのクラス数を「２」とし、２クラス識別問題とする。図４、図５および図６、図７は、クラスの異なる２つのパターンを模式的に図示したものである。このとき、基準パターンとは、媒体の汚損や入力変動の影響のない、クラスの基準となるべきパターンのことである。基準パターンは、１クラスにつき１つである。

また、基準パターンの属するクラスは既知である。このような基準パターンが入力されると、領域分割が行なわれる。図４に示す基準パターン（クラスＡ）に対して、図５に示す領域分割がなされるものである。また、図６に示す基準パターン（クラスＢ）に対して図７に示す領域分割がなされるものである。図５および図７は、領域分割の様子を模式的に表したものである。基準パターンの入力と領域分割は、全てのクラスについて繰り返し実行される（ＳＴ４〜ＳＴ６）
全てのクラスの基準パターン入力と領域分割が完了すると、重みパラメータが更新される（ＳＴ７）。この段階では、クラス間の相違によって重みパラメータが更新される。たとえば、２つのクラスＡおよびＢの基準パターンをａ（０）およびｂ（０）と表し、１つの領域に含まれる画素の数をＮとすると、特徴量は、たとえば、
f(a(0), i) = {a(0, i, 1), a(0, i, 2), … , a(0, i, n), … , a(0, i, N)}
f(b(0), i) = {b(0, i, 1), b(0, i, 2), … , b(0, i, n), … , b(0, i, N)}
のように表される。ただし、f(a(0), i)およびf(b(0), i)は、それぞれａ（０）およびｂ（０）のｉ番目領域の特徴量である（１≦ｉ≦４１６）。また、a(0, i, n)およびb(0, i, n)は、それぞれａ（０）およびｂ（０）のｉ番目領域のｎ番目画素の画素値である（１≦ｎ≦Ｎ）。

すなわち、特徴量は、Ｎ個の画素値によって決まるＮ次元ベクトルである。このとき、重みパラメータは以下のように算出される。
wi = D(f(a(0),i), f(b(0),i)) / Σi{D(f(a(0),i), f(b(0),i))}
ただし、D(f(a(0),i), f(b(0),i))は、i番目領域におけるa(0)とb(0)とのユークリッド距離であり、
D(f(a(0),i), f(b(0),i)) = sqrt[Σn{b(0,i,n)-a(0,i,n)}2]
で表される。すなわち、重みパラメータは、領域ごとの基準パターン間距離を全領域の基準パターン間距離の総和で割った値となる。一般に、クラスを代表する基準パターン間の距離が大きい領域ほどクラス間の識別に有利と考えてよいので、領域重み付けの第一段階としては妥当である。

しかしながら、対象パターンによってはクラス内で変動する領域が存在する場合がある。たとえば、スタンプ、シグネチャ、記番号などである。クラス間の識別をより安定なものとするためには、これらの領域の重みを低くすべきである。そこで、本実施の形態では学習パターンを用いて重みパラメータをチューニングする。ここで、学習パターンとは、上記基準パターンを除き、その属するクラスが既知であるサンプルのことである。学習パターンは、ある程度のサンプル数があり、その属するクラスのパターン全体集合の分布を反映したものであることが望ましい。このような学習パターンが入力されると、上記基準パターンと同様に領域分割が行なわれる。学習パターンの入力と領域分割は、全てのクラスの全てのサンプルについて繰り返し実行される。（ＳＴ８〜ＳＴ１０）
全てのクラスの全てのサンプルの学習パターン入力と領域分割が完了すると、重みパラメータが更新される（ＳＴ１１）。この段階では、クラス内の変動によって重みパラメータが更新される。たとえば、クラスＡおよびＢのそれぞれＭ個の学習パターンをａ（ｋ）およびｂ（ｋ）と表すと（１≦ｋ≦Ｍ）、
ｓ（ａ，ｉ）＝Σｋ‖ｆ（ａ（ｋ），ｉ）−μ（ａ，ｉ）‖
ｓ（ｂ，ｉ）＝Σｋ‖ｆ（ｂ（ｋ），ｉ）−μ（ｂ，ｉ）‖
は変動を表す値である。ただし、ｓ（ａ，ｉ）およびｓ（ｂ，ｉ）は、それぞれクラスＡおよびＢのｉ番目領域の変動値、μ（ａ（ｋ），ｉ）およびμ（ｂ（ｋ），ｉ）は、それぞれクラスＡおよびＢのｉ番目領域の平均ベクトルである。すなわち、本実施の形態での変動値は、クラスごとの学習パターンの標準偏差を領域ごとに算出したものである。このとき、重みパラメータは以下のように更新される。
ｗｉ←ｗｉ／｛ｓ（ａ）＋ｓ（ｂ，ｉ）｝
すなわち、元の重みの値をクラスＡおよびＢの変動値の和で割ったものである。更新後、さらに以下のように正規化する。
ｗｉ←ｗｉ／Σｉｗｉ
このようにして、クラス間の相違とクラス内の変動とを考慮した重みパラメータが決定される。

次に、選択パラメータを更新する（ＳＴ１２）。本実施の形態では、重みの大きい順に上位から選択率Ｑの分だけ選択する。たとえば、選択率ｑ０＝０．２５ならば、重みの大きい順に上位から、４１６の４分の１である１０４個の領域の番号を選択領域番号ｑｊとして登録する。以上のようにして、クラス間の相違とクラス内の変動に基づいた領域の重み付けおよび選択がなされ、学習フェーズが完了する。

続いて、識別フェーズについて説明する。識別フェーズでは、未知のパターンが入力され、その識別結果が出力される。ここで、未知のパターンとは、その属するクラスが未知であるサンプルのことである。このような未知パターンが入力されると（ＳＴ１３，ＳＴ１４）、基準パターンや学習パターンと同様に領域分割が行なわれる（ＳＴ１５）。
次に、上記選択パラメータで指定された領域を選択する（ＳＴ１６）。さらに、選択された領域について、領域ごとに識別処理を行なう（ＳＴ１７〜ＳＴ１９）。

本発明では、識別処理自体のアルゴリズムについて特に限定されるものではないが、２クラスの識別問題の場合、識別処理の結果が「クラスＡ」、「クラスＢ」、「リジェクト」のいずれかとなることとする。最も原始的な識別アルゴリズムは、基準パターンと未知パターンとのユークリッド距離を用いるものである。たとえば、未知パターンをｘとし、未知パターンｘに対するｉ番目領域の識別結果をｚ（ｘ，ｉ）とすると、
z(x, i) = クラスA (もし、D(f(x,i), f(b(0),i)) > D(f(x,i), f(a(0),i))+ε ならば)
z(x, i) = クラスB (もし、D(f(x,i), f(a(0),i)) > D(f(x,i), f(b(0),i))+ε ならば)
z(x, i) = リジェクト(もし、|D(f(x,i), f(a(0),i)) - D(f(x,i), f(b(0),i))|≦ε ならば)
のように表される。ただし、εはクラス間の有意な差を定義するための適当な定数である。

次に、領域ごとの識別結果を基に全体の識別結果を決定する。前述した通り、本発明は、領域ごとに一旦識別結果を得て、その多数決、論理式、あるいは、それらの重み付けで全体の識別結果を決定することを特徴の１つとしている。

従来、たとえば、前述したような領域ごとのユークリッド距離を算出し、領域ごとに識別結果を出さず、その単純平均や重み付き平均を求め全体の識別判定を行なうものがあったが、局所的な特徴を充分に識別できなかったり、逆に、局所的な媒体変動（汚れ、かすれ等）が識別性能に影響を及ぼしたりという問題がある。

本実施の形態によれば、局所的な特徴を他所に左右されず、局所的な変動を他所に影響を与えず、捉えることができるため、より高精度な識別処理が実現できる。たとえば、未知パターンをｘとし、未知パターンｘに対する全体識別結果をｚ（ｘ）とすると、多数決であれば、
z(x) = クラスA (もし、ΣiI(z(x,i)=クラスA) が最も多いならば)
z(x) = クラスB (もし、ΣiI(z(x,i)=クラスB) が最も多いならば)
z(x) = リジェクト (もし、ΣiI(z(x,i)=リジェクト) が最も多いならば)
のように表される。ただし、ΣiI(z(x,i)=クラスA)、ΣiI(z(x,i)=クラスB)、ΣiI(z(x,i)=リジェクト)は、領域の識別結果がそれぞれクラスA、クラスB、リジェクトとなった領域の数である。

また、ΣiI(z(x,i)=クラスA)、ΣiI(z(x,i)=クラスB)、ΣiI(z(x,i)=リジェクト)の関係を論理式で表し、全体の識別結果を決定することもできる。たとえば、
もし、ΣiI(z(x,i)=クラスB)/ΣiI(z(x,i)=クラスA)<α、かつ、
(ΣiI(z(x,i)=クラスA)+ΣiI(z(x,i)=クラスB))>ΣiI(z(x,i)=リジェクト)+β
ならば、
z(x) = クラスA
もし、ΣiI(z(x,i)=クラスA) / ΣiI(z(x,i)=クラスB)<α=リジェクト)+β
ならば、
z(x) = クラスB
それ以外ならば、
z(x) = リジェクト
のように表される。ただし、αはクラス間の有意な差を定義するための適当な定数、βはリジェクトの割合を調整するための適当な定数である。このように、全体識別の振る舞いがパラメータ(αやβなど)によって簡単に調整可能である点も本実施の形態の特徴である。

さらに、上記多数決や論理式に重みパラメータの重みを考慮し、重み付け多数決や重み付け論理式とすることもできる。すなわち、
z(x) = クラスA (もし、Σi wi I(z(x,i)=クラスA) が最も多いならば)
z(x) = クラスB (もし、Σi wi I(z(x,i)=クラスB) が最も多いならば)
z(x) = リジェクト (もし、Σi wi I(z(x,i)=リジェクト) が最も多いならば)
あるいは、
もし、Σi wi I(z(x,i)=クラスB) / Σi wi I(z(x,i)=クラスA) < α 、かつ、(Σi wi I(z(x,i)=クラスA) + Σi wi I(z(x,i)=クラスB)) > Σi wi I(z(x,i)=リジェクト)+β
ならば、
z(x) = クラスA
もし、Σi wi I(z(x,i)=クラスA) / Σi wi I(z(x,i)=クラスB) < α 、かつ、(Σi wi I(z(x,i)=クラスA) + Σi wi I(z(x,i)=クラスB)) > Σi wi I(z(x,i)=リジェクト)+β
ならば、
z(x) = クラスB
それ以外ならば、
z(x) = リジェクト
などである。
以上のような処理により得られた未知パターンの識別結果ｚ（ｘ）が出力される（ＳＴ１９）。

このように、第１の実施の形態によれば、紙葉類の画像パターンを複数の領域（画素あるいは画素の集合）に分割し、重み付けや選択を行ない、領域ごとに識別結果を得て、その論理的な組み合わせで全体の識別結果を決定することにより、紙葉類のクラスを効率的に推定し、かつ、媒体変動にロバストなパターン識別が可能となる。
特に、クラス間の相違とクラス内の変動に基づいて領域の重み付けや選択を行なうので、計算量を削減できるとともに、パターン全体を画一的に処理する方法に比べて高い識別性能が得られる。

また、領域ごとに一旦識別結果を求め、それらの多数決、論理式、あるいは、それらの重み付けで全体の識別結果を決定するので、領域ごとの特徴量の単純平均などに比べ、局所的な特徴を他所に左右されず、局所的な変動を他所に影響を与えず、捉えることができ、かつ、全体識別の振る舞いがパラメータによって簡単に調整可能である。

次に、第２の実施の形態について説明する。
図８は、第２の実施の形態に係る識別処理を説明するフローチャートを示している。分割パラメータの初期化、重みパラメータの初期化、選択パラメータの初期化（ＳＴ１，ＳＴ２，ＳＴ３）については第１の実施の形態と同様であるので、ここでは説明を省略する。第２の実施の形態では、学習パターンを入力しながらランダムな領域選択を繰り返し、評価に応じて重みパラメータを逐次最適化していく。

パラメータの初期化が完了すると、第１の実施形態と同様に基準パターンが入力される（ＳＴ４〜ＳＴ６）。なお、第２の実施の形態でも、説明をわかりやすくするためにパターンのクラス数を「２」とし、２クラス識別問題とする。基準パターンとは、媒体の汚損や入力変動の影響のない、クラスの基準となるべきパターンのことである。基準パターンは、１クラスにつき１つである。また、基準パターンの属するクラスは既知である。

このような基準パターンが入力されると、領域分割が行なわれる。基準パターンの入力と領域分割は、全てのクラスについて繰り返し実行される。第２の実施の形態では、第１の実施の形態のような基準パターンを用いた重みパラメータの更新は行なわない。

続いて、第１の実施の形態と同様に学習パターンが入力される（ＳＴ８，ＳＴ９）。学習パターンは、ある程度のサンプル数があり、その属するクラスのパターン全体集合の分布を反映したものであることが望ましい。学習パターンが入力されると、領域分割が行なわれる（ＳＴ１０）。

ここで、選択領域番号がランダムに設定される（ＳＴ２１）。たとえば、選択率ｑ０＝０．２５ならば、４１６の４分の１である１０４個の領域の番号を重複せずランダムに抽出し、選択領域番号ｑｊとして登録する（ＳＴ２２）。

次に、ランダムに選択された領域について評価を実施する（ＳＴ２３）。基本的な評価の方策としては、入力された学習パターンの識別に有効であれば、そのとき選択された領域の重みパラメータを増加させ、無効であれば、そのとき選択された領域の重みパラメータを減少させる。どのように有効、無効を判断するかについて本発明は限定するものではないが、最も原始的な評価アルゴリズムは、基準パターンと学習パターンとのユークリッド距離を用いるものである。たとえば、２つのクラスの基準パターンをａ（０）およびｂ（０）とし、クラスＡに属する学習パターンをｙとすると、
もし、Σi D(f(y,i), f(b(0),i)) > D(f(y,i), f(a(0),i))+θ ならば、
wi ← wi + δ
それ以外ならば、
wi ← wi - δ
とする。ただし、θはその領域選択が有効かどうかを定義するための適当な定数、δはｗｉに対して小さな修正項（δ＞０）である。このような重みパラメータの更新が、全ての学習パターンについて繰り返し実行され（ＳＴ２４）、更新後、さらに以下のように正規化される（ＳＴ２５）。
wi ← wi /Σi wi
このようにして、ランダムな領域選択と評価とを交互に繰り返し、その評価に基づいた重みパラメータが決定される。

次に、選択パラメータを更新するが、その内容は第１の実施の形態と同様、重みの大きい順に上位から選択領域番号として登録する（ＳＴ２６）ものである。ただし、第２の実施の形態では、上記選択領域番号をさらにランダムに絞り込む（ＳＴ２７）ことを特徴としている。以上のようにして、学習フェーズが完了する。

第２の実施の形態の識別フェーズ（未知パターンの入力以降（ＳＴ１３〜ＳＴ１９））については、第１の実施の形態と同様である。最終的に、未知パターンの識別結果が出力される。

なお、ランダムな領域選択を行なわずに、全領域ごとの評価を繰り返し、評価に応じて重みパラメータを逐次最適化していく方法もある。図９は、第２の実施の形態でランダムな領域選択を行なわない場合のフローチャートを示したものである。フローチャートの各処理については、上で（図８で）述べたものと同様であるため説明を省略する。

このように、第２の実施の形態によれば、ランダムに選択された領域あるいは全領域ごとの評価を繰り返し、その評価に基づいて領域の重みを逐次更新するので、実データに即したパラメータでの識別が可能となる。
また、選択された領域に対しランダムマスクをかけて絞り込むことで、識別性能と信頼性を両立できる。

次に、第３の実施の形態について説明する。
図１０は、第３の実施の形態に係る識別処理を説明するフローチャートを示している。パラメータの初期化は、第１の実施の形態における分割パラメータの初期化、重みパラメータの初期化、選択パラメータの初期化のことであり、ここでは説明を省略する。第３の実施の形態では、複数回の領域選択による複数の識別結果の多数決、論理式、あるいは、それらの重み付けで最終的な識別結果を決定することを特徴としている。

まず、複数回の領域選択を実施する（ＳＴ３１、ＳＴ３２）。領域選択のアルゴリズムは、第１の実施の形態によるものでも、第２の実施の形態によるものでも構わない。ループ回数をＬＯＯＰＭＡＸとすると、ＬＯＯＰＭＡＸ通りの選択パラメータＱｌｏｏｐが得られる。
Ｑｌｏｏｐ（１≦ｌｏｏｐ≦ＬＯＯＰＭＡＸ）
以上のようにして、学習フェーズが完了する（ＳＴ３３〜ＳＴ３５）。

続いて、識別フェーズについて説明する。識別フェーズでは、未知パターンが入力され（ＳＴ３６、ＳＴ３７）、その識別結果が出力されるが（ＳＴ３８）、第１の実施の形態や第２の実施の形態と異なり、ＬＯＯＰＭＡＸ通りの選択パラメータに基づくＬＯＯＰＭＡＸ通りの未知パターン処理が行なわれ、結果としてＬＯＯＰＭＡＸ通りの全体の識別結果が得られる（ＳＴ３９〜ＳＴ４２）。未知パターンをｘとし、選択パラメータＱｌｏｏｐに基づいた未知パターンｘに対する全体の識別結果をｚ（ｘ，ｌｏｏｐ）とする。

すると、最終識別が行なわれる（ＳＴ４３）。前述した通り、本実施の形態は、複数回の領域選択による複数の識別結果の多数決、論理式、あるいは、それらの重み付けで最終的な識別結果を決定することを特徴としている。たとえば、多数決であれば、
z(x) = クラスA (もし、ΣloopI(z(x,loop)=クラスA) が最も多いならば)
z(x) = クラスB (もし、ΣloopI(z(x,loop)=クラスB) が最も多いならば)
z(x) = リジェクト (もし、ΣloopI(z(x,loop)=リジェクト) が最も多いならば)
のように表される。ただし、ΣloopI(z(x,loop)=クラスA)、ΣloopI(z(x,loop)=クラスB)、ΣloopI(z(x,loop)=リジェクト)は、全体の識別結果がそれぞれクラスA、クラスB、リジェクトとなった数である。

また、ΣloopI(z(x,loop)=クラスA)、ΣloopI(z(x,loop)=クラスB)、ΣloopI(z(x,loop)=リジェクト)の関係を論理式で表し、最終の識別結果を決定することもできる。たとえば、
もし、ΣloopI(z(x,loop)=クラスB) / ΣloopI(z(x,loop)=クラスA) < α 、かつ、(ΣloopI(z(x,loop)=クラスA) + ΣloopI(z(x,loop)=クラスB)) > ΣloopI(z(x,loop)=リジェクト)+β
ならば、
z(x) = クラスA
もし、ΣloopI(z(x,loop)=クラスA) / ΣloopI(z(x,loop)=クラスB) < α 、かつ、(ΣloopI(z(x,loop)=クラスA) + ΣloopI(z(x,loop)=クラスB)) > ΣloopI(z(x,loop)=リジェクト)+β
ならば、
z(x) = クラスB
それ以外ならば、
z(x) = リジェクト
のように表される。ただし、αはクラス間の有意な差を定義するための適当な定数、βはリジェクトの割合を調整するための適当な定数である。

さらに、上記多数決や論理式に重みパラメータの重みを考慮し、重み付け多数決や重み付け論理式とすることもできる。すなわち、
z(x) = クラスA (もし、Σloop wi I(z(x,loop)=クラスA) が最も多いならば)
z(x) = クラスB (もし、Σloop wi I(z(x,loop)=クラスB) が最も多いならば)
z(x) = リジェクト (もし、Σloop wi I(z(x,loop)=リジェクト) が最も多いならば)
あるいは、
もし、Σloop wi I(z(x,loop)=クラスB) / Σloop wi I(z(x,loop)=クラスA) < α 、かつ、(Σloop wi I(z(x,loop)=クラスA) + Σloop wi I(z(x,loop)=クラスB)) > Σloop wi I(z(x,loop)=リジェクト)+β
ならば、
z(x) = クラスA
もし、Σloop wi I(z(x,loop)=クラスA) / Σloop wi I(z(x,loop)=クラスB) < α 、かつ、(Σloop wi I(z(x,loop)=クラスA) + Σloop wi I(z(x,loop)=クラスB)) > Σloop wi I(z(x,loop)=リジェクト)+β
ならば、
z(x) = クラスB
それ以外ならば、
z(x) = リジェクト
などである。

以上のような処理により得られた未知パターンの識別結果ｚ（ｘ）が出力される（ＳＴ４４）。

このように、第３の実施の形態によれば、複数回の領域選択による複数の識別結果の多数決、論理式、あるいは、それらの重み付けで最終的な識別結果を決定すれば、様々な見方で識別した結果を統合できるので、１回の領域選択よりもロバストな識別性能が得られる。

次に、第４の実施の形態について説明する。
図１１は、第４の実施の形態に係る識別処理を説明するフローチャートを示している。第４の実施形態では、前段に置かれる別の識別手段から得られる前段の識別処理結果の１位、２位ないし上位の複数（ｎ個）の候補、あるいは、識別したい任意の順位の少なくとも２つ以上の候補、たとえば、識別したい任意の順位の２つないしｎ個の候補を識別処理候補とし、それらを組み合わせて最終的な識別結果を決定することを特徴としている。

まず、前段の識別処理結果を入力する（ＳＴ５１）。本実施の形態は、前段識別処理のアルゴリズムについてとくに限定するものではないが、一般に識別処理の結果は「順位、クラス（カテゴリ）、スコア（類似度）」の組で表される。たとえば、
１、＄１、９９０
２、＄１００、９００
３、＄２０、５００
４、‥‥
のようなものである。

次に、識別処理の候補を選択する（ＳＴ５２）。たとえば、上記の例で、前段の識別処理結果の１位候補のスコア（９９０）と２位候補のスコア（９００）との差が少なく、前段の識別処理がリジェクト判定したとする。そのとき、本実施の形態では、１位候補（＄１）と２位候補（＄１００）の２つのクラスを識別処理候補として登録する。あるいは、識別したい任意の順位の２つの候補を選択してもよい。たとえば、別の例で、
１、＄２０（旧）、９９０
２、＄２０（新）、９８０
３、＄１、９００
４、‥‥
のようなものがあったとする。１位候補（＄２０（旧））と２位候補（＄２０（新））はスコアが接近しているが、世代が異なるのみで額面は同じ、つまり、詳細識別の必要のない場合がある。そのような場合は、たとえば、１位候補（＄２０（旧））と３位候補（＄１）を選択する。

このようにして、識別処理の候補を選択した後は、未知パターンを入力し（ＳＴ５３、ＳＴ５４）、識別処理の候補に関して未知パターンの処理を行なう（ＳＴ５５）。その内容については、上記で説明した他の実施の形態と同様であるため、ここでは説明を省略する。

以上のような処理により得られた未知パターンの識別結果ｚ（ｘ）が出力される（ＳＴ５６）。

なお、上記第４の実施の形態では、前段の識別処理に誤り（エラー）がないものとしているが、実際の場面では、前段の識別処理がエラーを起こすことも考えられる。たとえば、前段の識別処理では１位候補が＄２０（旧）で、２位候補が＄２０（新）であるが、正解は＄２０（新）である、といった場合である。そこで、前段の識別処理結果からの候補選択を２つではなくｎ個とし、ｎ個の候補に関して未知パターンの処理を行ない、その処理結果から、最終的な識別結果を決定する方法がある。

図１２は、第４の実施の形態でｎ個の候補に関して処理し、最終的な識別結果を決定する場合のフローチャートを示している。図１１に対して、１次未知パターン識別結果を組み合わせる処理（ＳＴ５７）が追加されている。１次未知パターン識別結果ｚ_ｉｊ（ｘ）は、ｉ番目の候補とｊ番目の候補とによる未知パターン識別結果である。上記した
１、＄２０（旧）、９９０
２、＄２０（新）、９８０
３、＄１、９００
の場合で説明すると、たとえば、１次未知パターン識別結果が
ｚ_１２（ｘ）＝＄２０（新）
ｚ_１３（ｘ）＝リジェクト
ｚ_２３（ｘ）＝＄２０（新）
であるとする。前段の識別処理結果の１位候補が＄２０（旧）であるにもかかわらず、ｚ_１２（ｘ）が＄２０（新）という結果となった。また、ｚ_１３（ｘ）がリジェクトである。このような場合、前段の識別処理がエラーを起こしていると判断し、ｚ_２３（ｘ）の結果を最終的な未知パターンの識別結果とする、といった方法などが考えられる。

このように、第４の実施の形態によれば、前段に置かれる別の識別手段から得られる前段の識別処理結果の１位、２位ないし上位の複数（ｎ個）の候補、あるいは、識別したい任意の順位の少なくとも２つ以上の候補を識別処理候補とし、それらを組み合わせて最終的な識別結果を決定することすることで、処理すべきクラス数を削減できるとともに、前段の識別処理でリジェクト判定された場合でも、前述したような本発明の高い識別能力によりアクセプト判定が可能となる場合がある。

次に、第５の実施の形態について説明する。
図１３は、第５の実施の形態に係る識別処理を説明するフローチャートを示している。第５の実施の形態では、紙葉類に筆記や印刷されるシグネチャやスタンプなど、特徴が不定であり、除外すべきであることが既知である領域を除外領域としてあらかじめ登録し、それ以降、除外領域以外を対象として処理することを特徴としている。

そこで、たとえば、領域ごとに除外領域フラグを設け、当該除外領域フラグを除外領域ならば「１」を、そうでなければ「０」を設定することで（ＳＴ６１）、除外領域か否かを判断できるようにする。除外領域フラグ設定以降の処理（ＳＴ６１）については、上記で説明した他の実施の形態と同様であるため、ここでは説明を省略する。

このように、第５の実施の形態によれば、あらかじめ既知の除外領域を登録することで、除外領域以外を対象として領域選択以降の処理を行なうことができるので、高速かつ安定した識別が可能となる。

次に、第６の実施の形態について説明する。
図１４は、第６の実施の形態に係る識別処理を説明するフローチャートを示している。第６の実施の形態では、紙葉類の搬送状態などに起因する紙葉類のスライドやスキューを検出し（ＳＴ７１）、その検出したスライド量、スキュー量からあらかじめ用意されたオフセット換算表により該当するオフセット値を読込み（ＳＴ７２）、そのオフセット値により各領域の座標を変換する（ＳＴ７３）。座標変換以降は領域分割からの処理（ＳＴ７４）に進む。領域分割からの処理については、上記で説明した他の実施の形態と同様であるため、ここでは説明を省略する。

図１５は、第６の実施の形態を説明するための紙葉類の模式図である。紙葉類Ｐが搬送されると、たとえば、透過光センサにより、紙葉類Ｐの位置が検出される。ここで、紙葉類Ｐの理想的な搬送状態により入力された場合の紙葉類Ｐの位置(基準位置)を
(X_LT,Y_LT), (X_RT,Y_RT), (X_LB,Y_LB), (X_RB,Y_RB)
で表す。ただし、(X_LT,Y_LT)は紙葉類Ｐの左上端点座標、(X_RT,Y_RT)は紙葉類Ｐの右上端点座標、(X_LB,Y_LB)は紙葉類Ｐの左下端点座標、(X_RB,Y_RB)は紙葉類Ｐの右下端点座標である。

次に、紙葉類Ｐの搬送状態などに起因するスライドやスキューの影響を受けて入力された場合の紙葉類Ｐの位置を
(X’_LT,Y’_LT), (X’_RT,Y’_RT), (X’_LB,Y’_LB), (X’_RB,Y’_RB)
で表す。ただし、(X’_LT,Y’_LT)は紙葉類Ｐの左上端点座標、(X’_RT,Y’_RT)は紙葉類Ｐの右上端点座標、(X’_LB,Y’_LB)は紙葉類Ｐの左下端点座標、(X’_RB,Y’_RB)は紙葉類Ｐの右下端点座標である。このとき、紙葉類Ｐのスライド量は、たとえば、以下のように算出される。
△X_C = X’_C - X_C
△Y_C = Y’_C - Y_C
ただし、
X_C = (X_LT + X_RT + X_LB + X_RB) / 4
Y_C = (Y_LT + Y_RT + Y_LB + Y_RB) / 4
X’_C = (X’_LT + X’_RT + X’_LB + X’_RB) / 4
Y’_C = (Y’_LT + Y’_RT + Y’_LB + Y’_RB) / 4
である。すなわち、理想的な場合とスライド、スキューの影響を受けた場合のそれぞれについて４つの端点座標の重心を求め、両者の差をスライド量とする方法である。

また、スキュー量は、たとえば、以下のように算出される。
θ = arctan [ (Y’_RT - Y’_LT) / (X’_RT - X’_LT) ]
あるいは、
θ = arctan [ (Y’_RB - Y’_LB) / (X’_RB - X’_LB) ]
すなわち、紙葉類Ｐの左上端点座標と右上端点座標、あるいは、左下端点座標と右下端点座標から傾きを求め、スキュー量を算出する方法である。

このようにして得られるスライド量△X_C、△Y_Cおよびスキュー量θから、以下のようにして各領域の座標が変換される。
X’_i = X_icos [θ] - Y_isin [θ] + △X_C
Y’_i = X_isin [θ] + Y_icos [θ] + △Y_C
ただし、(X_i,Y_i)は理想的な場合のi番目領域の座標、 (X’_i,Y’_i) はスライド、スキューの影響を考慮した場合のｉ番目領域の座標である。

なお、arctan、cos、sinなどの三角関数は計算量が多いため、あらかじめ部分的な計算結果をオフセット換算表に登録し、処理時にはオフセット換算表から該当するオフセット値を読込み利用する方法が考えられる。

このように、第６の実施の形態によれば、紙葉類の搬送状態などに起因する紙葉類のスライドやスキューを検出し、そのスライド量、スキュー量からあらかじめ用意されたオフセット換算表により該当するオフセット値を読込み、そのオフセット値により各領域の座標を変換することで、以降の領域分割を高速かつ正確に行なうことができる。

次に、第７の実施の形態について説明する。
図１６は、第７の実施の形態に係る識別処理を説明するフローチャートを示している。第７の実施の形態では、領域ごとに識別結果を得る際、対象とする１つないし２つのパターンについて、座標、濃度を一定の範囲で振らせて処理を繰り返し、それらの処理に基づいて識別結果を決定することを特徴とする。

今、座標、濃度を振らせた状態をパラメータで表すことにし、それを「ずらしパラメータ」と呼ぶことにする。ずらしパラメータは、たとえば、以下のようなものである。
r_i = {α_i,β_i,γ_i,δ_i}
ただし、ｒ_ｉはｊ番目のずらしパラメータ (1≦j≦J)、αは水平方向オフセット、βは垂直方向オフセット、γは濃度ゲイン、δは濃度オフセットを表す要素である。αやβのとりうる範囲としては、たとえば、基準±１(画素)などである。また、γのとりうる範囲としては基準±２０（％）など、δのとりうる範囲としては基準±２(レベル)などである。

本実施の形態では、Ｊ通りのずらしパラメータについて、設定されたずらしパラメータによりクラスｃの基準パターンｃ（０）のｉ番目領域の特徴量 f(c(0),i) を、ずらし特徴量 f’(c(0),i) に変換し（ＳＴ８１〜ＳＴ８４）、そのずらし特徴量に対して処理を実施する（ＳＴ８５，ＳＴ８６）。

ここで、座標の振らせ方について説明する。図１７は、座標の振らせ方を説明するための模式図である。図１７では、座標に関するオフセット量であるα、βのとり得る範囲を基準±１(画素)としている。今、図１７に示すような切り出された入力パターン(i番目領域)Ｐ１と、同じく図１７に示すような基準パターンＰ２との距離を算出することを考える。図１７において、 (X_i,Y_i) はi番目領域の基準座標である。α＝０、β＝０(基準座標)のとき、距離は「２５６」である。

なお、ここでの距離は、説明を簡単にするためにユークリッド距離ではなく、２つのパターン間の画素どうしの濃度差を合計したものとする。たとえば、α＝０、β＝０(基準座標)のときの距離は、
|0-66|+|0-0|+|0-66|+|0-0|+|80-50|+|0-0|+|0-34|+|0-0|+|60-0|=256
となる。図１７では、α＝１、β＝１のときに距離が最小（４４）となることを示している。

次に、濃度の振らせ方について説明する。図１８は、濃度の振らせ方を説明するための模式図である。図１８では、濃度ゲイン量γのとりうる範囲を基準±２０（％）、濃度オフセット量δのとりうる範囲を基準±２(レベル)としている。今、図１８に示すような入力パターンＰ３と基準パターンＰ４との距離を算出することを考える。なお、距離の定義については、上記同様に２つのパターン間の画素どうしの濃度差を合計したものとする。たとえば、γ＝１００、δ＝０（基準濃度）のときの距離は「４４」である。図１８では、γ＝８０、δ＝２のときに距離が最小（０）となることを示している。

こうして座標や濃度を一定の範囲で振らせることで、合計Ｊ通りの処理結果が得られる。最後に、それらＪ通りの処理結果に基づいて、最終的な領域識別結果を決定する（ＳＴ８７）。最も単純な決定方法の例としては、Ｊ通りのうち最小となる距離の値を採用することがあげられる。上記の例では、α＝１、β＝１、γ＝８０、δ＝２のときに距離が最小（０）となるため、この値を採用する。なお、別の決定方法としては、Ｊ通りの距離の平均を採用するなどが考えられる。

このように、第７の実施の形態によれば、領域ごとに識別結果を得る際、対象とする１つないし２つのパターンについて座標、濃度を一定の範囲で振らせて処理を繰り返し、それらの処理に基づいて識別結果を決定することで、紙葉類の搬送状態などに起因するスライド、スキュー、照明変動などが発生し、領域の特徴量に一定範囲の誤差が生じた場合でも、その影響を考慮した特徴量の変換が行なわれ、以降の領域識別を正確に行なうことができる。

なお、本発明は前記実施の形態に限定されるものではない。たとえば、多クラスの識別問題は２クラス識別問題の重ね合わせに帰結するので、本発明が適用できる。また、領域識別アルゴリズムは、ユークリッド距離を用いるものに限らず、たとえば、単純類似度法、部分空間法、ベクトル量子化法など様々な方法が適用可能である。

本発明の実施の形態に係る紙葉類識別装置の構成を概略的に示すブロック図。第１の実施の形態に係る紙葉類の識別処理を説明するためのフローチャート。パターンの領域分割および分割パラメータを説明するための図。クラスＡの基準パターンの一例を示す図。クラスＡの基準パターンに対する領域分割の様子を模式的に表した図。クラスＢの基準パターンの一例を示す図。クラスＢの基準パターンに対する領域分割の様子を模式的に表した図。第２の実施の形態に係る紙葉類の識別処理を説明するためのフローチャート。第２の実施の形態に係る紙葉類の識別処理の変形例を説明するためのフローチャート。第３の実施の形態に係る紙葉類の識別処理を説明するためのフローチャート。第４の実施の形態に係る紙葉類の識別処理を説明するためのフローチャート。第４の実施の形態に係る紙葉類の識別処理の変形例を説明するためのフローチャート。第５の実施の形態に係る紙葉類の識別処理を説明するためのフローチャート。第６の実施の形態に係る紙葉類の識別処理を説明するためのフローチャート。第６の実施の形態における紙葉類の搬送状態を説明するための模式図第７の実施の形態に係る紙葉類の識別処理を説明するためのフローチャート。第７の実施の形態における座標の振らせ方を説明するための模式図。第７の実施の形態における濃度の振らせ方を説明するための模式図。

符号の説明

１…入力インタフェイス部、２…分割部（領域分割手段）、３…重み付け部（重み付け手段）、４…選択部（領域選択手段）、５…領域識別部（識別結果取得手段）、６…全体識別部、７…最終識別部（識別結果決定手段）、８…出力インタフェイス部。

Claims

識別すべき紙葉類のクラスの基準となる画像が格子状に均等な複数の領域に分割され、分割された領域の内から識別に用いられる領域の選択率と、前記選択率に応じて選択された選択領域と、その選択領域の画像と、その選択領域毎の重みとが記憶された辞書と、
識別すべき紙葉類を搬送する搬送手段と、
前記搬送手段で搬送されている紙葉類の画像を入力する画像入力手段と、
前記搬送されている紙葉類のスキュー量とスライド量とを検出する搬送状態検出手段と、
前記画像入力手段により入力した画像を格子状に均等な複数の領域に分割する領域分割手段と、
前記搬送状態検出手段により検出したスキュー量及びスライド量に基づいて、前記辞書に登録されている前記選択領域の画像を回転する回転手段と、
前記回転手段により回転した各クラスの選択領域の画像と、前記領域分割手段により分割された複数の領域の内の、前記選択領域に対応する領域の画像とのそれぞれの類似度の大小比較に基づき領域毎の識別結果を得る識別結果取得手段と、
前記識別結果取得手段により取得された領域ごとの識別結果と前記辞書に登録されている選択領域毎の重みとに基づいて全体の識別結果を決定する識別結果決定手段と、
を具備することを特徴とする紙葉類識別装置。
前記識別結果決定手段は、予め設定されるオフセット換算表から、前記搬送状態検出手段により検出したスキュー量とスライド量に該当するオフセット値を読み込み、読み込んだオフセット値に基づいて前記画像入力手段により入力する画像の座標を変換する座標変換手段、
をさらに具備することを特徴とする請求項１に記載の紙葉類識別装置。
前記識別結果決定手段は、前記識別結果取得手段により取得された領域ごとの識別結果に対応する多数決、論理式、あるいは、それらの重み付けで全体の識別結果を決定することを特徴とする請求項１に記載の紙葉類識別装置。
前記識別結果決定手段は、前段に置かれる別の識別手段から得られる前段識別処理結果の１位、２位ないし上位の複数の候補、あるいは、識別したい任意の順位の少なくとも２つ以上の候補を識別処理候補として選択し、選択した候補を用いて全体の識別結果を決定することを特徴とする請求項１に記載の紙葉類識別装置。
識別すべき紙葉類のクラスの基準となる画像が格子状に均等な複数の領域に分割され、分割された領域の内から識別に用いられる領域の選択率と、前記選択率に応じて選択された選択領域と、その選択領域の画像と、その選択領域毎の重みとを登録し、
搬送されている紙葉類から紙葉類の画像を入力し、
前記紙葉類のスキュー量とスライド量とを検出し、
前記入力した画像を格子状に均等な複数の領域に分割し、
検出したスキュー量及びスライド量に基づいて、登録された前記選択領域の画像を回転し、
回転された各クラスの選択領域の画像と、前記分割された複数の領域の内の、前記選択領域に対応する領域の画像とのそれぞれの類似度の大小比較に基づき領域毎の識別結果を取得し、
前記取得された領域ごとの識別結果と登録された選択領域毎の重みとに基づいて全体の識別結果を決定する、
ことを特徴とする紙葉類識別方法。
予め設定されるオフセット換算表から、前記検出した前記紙葉類のスキュー量とスライド量に該当するオフセット値を読み込み、読み込んだオフセット値に基づいて入力する画像の座標を変換する、
ことを特徴とする請求項５に記載の紙葉類識別方法。