JP4852086B2 - パターン認識装置 - Google Patents

Description

本発明は、文字などのパターン認識を行うパターン認識装置に関する。

従来の文字などのパターンの認識を行うパターン認識装置における特徴抽出部のパラメータは人手によって設計されている。しかし、たとえば文字の認識で類似文字のグループごとに特徴抽出方式やパラメータを変える必要があるときには、その方式の数が膨大であることから、実際に人手で特徴抽出部のパラメータを作成することが困難である。このため、特徴抽出パラメータを自働的に学習を用いて決定する手法がおもに音声認識の分野で知られている。たとえば、以下のような公開技術（非特許文献１ないし４）がある。

非特許文献１および２で公開されている技術は音声信号を入力とし、特徴抽出する時のフィルタバンク、リフタのパラメータを確率降下法によって求めるものである。しかしながら、これらの技術を文字認識の特徴抽出に用いることはできなかった。

非特許文献３および４は入力ベクトルに線形変換を施して特徴ベクトルを得るものであるが、この特徴変換行列の更新則をあらわす計算式は、本発明におけるフィルタ学習の計算式と表現方法が異なるものの、式そのものは同じ内容である。しかしながら、これら従来技術と本発明では学習則を適用する部分が異なっており、学習の目的がまったく異なるので、本発明と特徴変換行列学習とは本質的に異なる方式である。本発明が学習しているものは、入力画像から特徴ベクトルを作るときのフィルタのパラメ−タであり、これに対して従来方式の特徴変換行列学習は入力画像から得られた特徴ベクトルをさらに線形変換する時の線形変換行列に対する学習である。特徴変換行列学習には、本発明で導入している部分領域の概念がなく、単なるベクトルからベクトルへの線形変換一般に対する一般的な学習規則を提供しているにすぎない。また、本発明では特徴ベクトルを作成するプロセスに非線形なサプレス関数を導入しており、特徴抽出が特に線形変換である必要もない。要するに、従来方式では特徴抽出そのものの学習はできなかった。

本発明の目的は類似パターンを精度良く認識することにある。類似文字の認識方式として以下の方式が提案されている（特許文献１ないし３を参照）。これらの文献では、類似している文字の相違部分に着目し、その部分について認識を行ったりチェックを行う手法が開示されている。
Feature Extraction Based on Minimum Classification Error / Generalized Probabilistic Descent Method"，A. Biem et.al.，Proc. IEEE Int. Conf. Acoust.，Speech，Signal Processing，Vol.2，pp275-278，(1993) "Filter Bank Design Based on Discriminative Feature Extraction"，A. Biem et.al.，Proc. IEEE Int. Conf. Acoust.，Speech，Signal Processing，Vol.1，pp485-488，(1994) "Minimum Classification Error Training Algorithm for Feature Extractor and Pattern Classifier in Speech Recognition"，K.K. paliwal et.al，EUROSPEECH’95，vol.1，pp541-544，(1995) 「最小分類誤り学習による特徴選択型文字認識」河村他、電子情報通信学会論文誌D-II，Vol.J81-D-II，No.12，pp.2749-2756，(1998) 特開２００４−１８５２６４公報 特開２００３−１６２６８８公報 特開平１１−２５９５９９公報

従来の公知の手法では、入力画像の一部分のみに着目して認識を行うため、着目すべき位置が不適切だと精度良く認識を行うことができない問題があった。また、学習によって特徴抽出パラメータを自動的に決定することもできなかった。

本発明はこのような課題を解決するためのもので、入力画像の認識にとって重要な部分に対して着目を強めた特徴抽出を行うことで、類似文字の認識精度の向上を図ることのできるパターン認識装置を提供することを目的としている。

上記の課題を解決するために、本発明のパターン認識装置は、入力されたパターン画像に対して、画像の領域にて数的に不均一に設定された複数の部分領域それぞれの特徴量を計算する部分領域特徴量計算部と、部分領域特徴量計算部により計算された複数の部分領域それぞれの特徴量から入力されたパターンの特徴ベクトルを生成する特徴ベクトル生成部と、特徴ベクトル生成部より出力された特徴ベクトルを用いて入力されたパターンの識別を行うパターン識別部とを具備するものである。また、本発明において、複数の部分領域は、画像の領域の一部において他の部分に比べて数的に密に配置されるように設定されている。このように構成を採用することによって、入力画像の認識にとって重要な部分に対して着目を強めた特徴抽出を行うことが可能となり、類似文字の認識精度が向上する。

また、本発明において、部分領域特徴量計算部は、類似する認識対象のグループごとに設けられている。また、部分領域特徴量計算部を類似する認識対象のグループごとに複数設けることによって、手書き文字に現れる個人の癖を反映した特徴に応じた特徴抽出パラメータをそれぞれ部分領域特徴量計算部に設定することができ、認識精度が向上する。

さらに、複数の部分領域は、二軸方向の複数の線で全体の領域を区分することによって形成されるものであってもよい。この構成によれば、二軸方向の複数の線の位置をそれぞれ変えることによって、特徴抽出パラメータを容易に可変することができ、学習による特徴抽出パラメータの生成のための処理が簡単になる。

さらに、本発明のパターン認識装置は、１または複数の部分領域を変更しつつその都度学習パターンの認識を行って得られた結果を評価することによって、部分領域特徴量計算部に設定される複数の部分領域を選定する学習部をさらに具備するものであってもよい。これにより、学習によって特徴抽出パラメータの自動的な生成が可能なパターン認識装置を提供できる。

また、特徴ベクトル生成部を、部分領域特徴量計算部より計算された複数の部分領域それぞれの特徴量にそれぞれの部分領域ごとに決められた重み値を乗じて得られた特徴量から入力されたパターンの特徴ベクトルを生成するものとし、部分領域ごとの重み値が、学習パターンの認識を行って得られた標準パターンとの相違度または類似度の損失値を求めるための損失関数を前記重み値を表す変数によって微分し、この微分した値と前記学習パターンの認識を行って得られた結果を評価することによって変更されたものであってもよい。これにより、学習によって特徴抽出パラメータの自動的な生成が可能になる。

さらに、上記手段を変形した手段として以下の手段も可能である。特徴ベクトル生成部を、部分領域特徴量計算部において、部分領域内の画素値または画素に対応した特徴値と画素に対応した重みの積和により計算される、部分領域に対応した特徴量から入力されたパターンの特徴ベクトルを生成するものとし、部分領域ごとの画素に対応する重み値が、学習パターンの認識を行って得られた標準パターンとの相違度または類似度の損失値を求めるための損失関数を前記重み値を表す変数によって微分し、この微分した値と前記学習パターンの認識を行って得られた結果を評価することによって変更されたものであってもよい。

本発明によれば、入力画像の認識にとって重要な部分に対して着目を強めた特徴抽出を行うことができ、類似文字の認識精度の向上を図れる。また、学習によって特徴抽出パラメータを自動的に生成することができる。

以下、本発明の実施の形態を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態にかかるパターン認識装置の構成を示すブロック図である。同図に示すように、本実施形態のパターン認識装置１００は、一次認識部１１０と二次認識部１２０とで構成される。

一次認識部１１０は、特徴抽出部１１１とパターン識別部１１２と辞書１１３で構成される。特徴抽出部１１１は、入力パターンの特徴を濃度パターン法、加重方向ヒストグラム法などの公知の方法で抽出して特徴ベクトルを生成する。パターン識別部１１２は、特徴抽出部１１１より入力された特徴ベクトルと、辞書１１３に格納された検出対象文字種の標準パターンの特徴ベクトルとを照合して類似度の高い１以上の文字の候補を判定して、その判定結果を一次認識部１１０の出力として二次認識部１２０へ与える。

二次認識部１２０は、特徴抽出部１２１とパターン識別部１２２と辞書１２３を有する。特徴抽出部１２１はさらに複数の部分領域特徴量計算部１２４−ｘ（１２４−０，１２４−１，・・・）と、切り替え部１２５と、特徴ベクトル生成部１２６とを有している。

複数の部分領域特徴量計算部１２４−ｘは、類似する文字のグループごとに設けられている。複数の部分領域特徴量計算部１２４−ｘは切り替え部１２５によって一つが選択され、選択された部分領域特徴量計算部１２４−ｘは、一次認識部１１０へ入力された入力パターンについて、予め設定された複数の部分領域ごとの特徴量の計算を行う。

１個の部分領域特徴量計算部１２４−ｘにおける特徴量の計算は次のように行われる。図２は入力されたパターン画像の例を示す図、図３はパターン画像の全体領域にて数的に不均一に設定された複数の部分領域の例を示す図である。ここで、Ｋ個の部分領域をＡｉ（ｉ＝０，…，Ｋ−１）とする。なお、Ｋは任意に決められた値である。これらの部分領域Ａｉはそれぞれパターン画像全体の一部を占める領域であり、互いに位置的に分断されていてもよいし、互いに一部が重なるように配置されていてもよい。

図３では「ぼ」という文字を含む類似文字のグループに対応する部分領域特徴量計算部１２４−ｘに設定された部分領域Ａｉの配置を示している。なお、「ぼ」という文字を含む類似文字のグループには「ぼ」の他に「ほ」「ぽ」「は」「ば」「ぱ」などが属している。これらの類似文字はそれぞれ右上の部分が認識にとって重要な部分となる。そこで、部分領域Ａｉは右上部分にて比較的に密に配置され、その他の部分では比較的に疎に配置されている。ここで部分領域Ａｉを密に配置するとは、小さいサイズの部分領域を数的に多く配置することを意味し、疎に配置するとはサイズの大きい部分領域を数的に少なく配置することを意味する。このような部分領域の設定内容は特徴抽出パラメータとして部分領域特徴量計算部１２４−ｘに設定される。

また、各々の部分領域Ａｉに含まれる画素Ｐｉｊ（ｊ＝０，…，Ｍ−１）にはそれぞれ重み値Ｗｉｊ（ｊ＝０，…，Ｍ−１）が決められている。なお、Ｍは部分領域Ａｉに含まれる画素数であり、部分領域Ａｉによって異なる。部分領域特徴量計算部１２４−ｘは、入力パターンの個々の部分領域Ａｉごとに、たとえば濃度パターン法などによって特徴量を求める。すなわち、部分領域Ａｉに含まれる画素Ｐｉｊの値Ｖｉｊと、その画素Ｐｉｊに対して予め決められている重み値Ｗｉｊとの内積値を計算し、この結果を当該部分領域Ａｉの特徴量Ｚｉとして得る。ただし、この方法に限らず、加重方向ヒストグラム法など、他の公知の方法を用いてもよい。

ところで、たとえば「大」「太」などの文字を含む類似文字のグループについては、これらの類似文字の下部が認識にとって重要な部分となる。このような類似文字のグループに対しては、「ぼ」という文字を含む類似文字のグループに対して設けられた部分領域特徴量計算部１２４−ｘとは別の部分領域特徴量計算部１２４−ｙが用意される。すなわち、この部分領域特徴量計算部１２４−ｙに設定された部分領域は下部においては密に、その他の領域においては疎に配置される。このように部分領域特徴量計算部１２４−ｘは、認識にとって重要な部分が異なる類似文字のグループごとに設けられている。

切り替え部１２５は、一次認識部１１０の認識結果をもとに入力パターンを与える１以上の部分領域特徴量計算部１２４−ｘを選択する。たとえば、切り替え部１２５は、一次認識部１１０の認識結果である文字候補を含む類似文字のグループを判定して、そのグループに対応する部分領域特徴量計算部１２４−ｘを選択し、その部分領域特徴量計算部１２４−ｘへ入力パターンを与える。このためにパターン認識装置１００は、文字とグループと部分領域特徴量計算部１２４−ｘとの対応を知るためのテーブル（図示せず）を保持している必要がある。切り替え部１２５は、このテーブルを参照して文字候補の属するグループを調べ、さらにこのグループに対応する部分領域特徴量計算部１２４−ｘを判定する。さらに具体的には、たとえば、一次認識部１１０の認識結果として「ぼ」と「ぽ」という２つの文字候補が得られた場合に、切り替え部１２５は、これらの文字を含む類似文字のグループを判定して、そのグループに対応する部分領域特徴量計算部１２４−ｘ、つまり画像全体の領域の右上部分に部分領域が密に配置された部分領域特徴量計算部１２４−ｘを選択し、その部分領域特徴量計算部１２４−ｘへ入力パターンを与える。

特徴ベクトル生成部１２６は、選択された部分領域特徴量計算部１２４−ｘによって求められた部分領域Ａｉごとの特徴量Ｚｉから入力パターンの特徴量を表す特徴ベクトルを生成して、これを特徴抽出部１１１の出力としてパターン識別部１２２に与える。なお、このとき部分領域Ａｉの特徴量Ｚｉと部分領域Ａｉに対して予め決められた重み値Ｆｉとの積を求め、これを最終的な部分領域Ａｉの特徴量Ｄｉとし、これらをもとに入力パターンの特徴ベクトルを生成するようにしてもよい。あるいは、重み値Ｆｉや最終的な特徴量Ｄｉを非線形関数Ｇ（ｘ）によって変換した値を特徴ベクトルとしてもよい。

パターン識別部１２２は、特徴抽出部１２１からの出力である特徴ベクトルと、辞書１２３に格納された標準パターンの特徴ベクトルとを照合して類似度の最も高い文字を最終的な認識結果として出力する。

ここでは、辞書１２３とパターン識別部１２２を１つ設定するようにしているが、辞書とパターン識別部を部分領域特徴値計算部１２４−ｘに対応させて分割して複数設定するようにし、切り替え部１２５の選択に応じた辞書とパターン識別部を用い、パターン識別するように構成しても良い。

次に、この実施形態のパターン認識装置１００の動作を説明する。

まず、対象文字のパターン画像が一次認識部１１０へ入力される。一次認識部１１０は、特徴抽出部１１１にてその入力パターンから特徴を抽出して特徴ベクトルを生成してパターン識別部１１２へ与える。パターン識別部１１２は、入力された特徴ベクトルと、辞書１１３に格納された標準パターンの特徴ベクトルとを照合して、類似度の高い１以上の文字を判定し、これらを認識文字の候補として二次認識部１２０に入力する。

二次認識部１２０は、一次認識部１１０より与えられた認識文字の候補を特徴抽出部１２１の切り替え部１２５に入力する。切り替え部１２５はこの認識文字の属するグループを調べ、さらにこのグループに対応する部分領域特徴量計算部１２４−ｘを判定して、その部分領域特徴量計算部１２４−ｘに認識対象文字のパターン画像を与える。このとき一次認識部１１０より得られた認識文字の候補が複数あって、それぞれの文字の属するグループが異なる場合には、それぞれのグループに対応する別々の部分領域特徴量計算部１２４−ｘへ検出対象文字の入力パターンをそれぞれ与える。

部分領域特徴量計算部１２４−ｘは、部分領域ごとの特徴量を計算してその結果を特徴ベクトル生成部１２６へ与える。特徴ベクトル生成部１２６は、部分領域特徴量計算部１２４−ｘより与えられた部分領域ごとの特徴量から入力パターンの特徴量を表す特徴ベクトルを生成して、パターン識別部１２２へ与える。このとき、複数の部分領域特徴量計算部１２４−ｘから部分領域ごとの特徴量が特徴ベクトル生成部１２６へ入力された場合には、それぞれに対応する特徴ベクトルが生成されてパターン識別部１２２へ与えられる。

パターン識別部１２２は、特徴ベクトルを取得すると、この特徴ベクトルと辞書１２３に格納された標準パターンの特徴ベクトルとを照合して類似度を計算し、最も高い類似度が得られた文字を認識結果として出力する。

以上のように、この実施形態によれば、類似文字のグループごとに、その類似文字の認識にとって重要な部分に対する着目を強めた特徴抽出を行うことができる。すなわち、パターン画像において認識にとって重要な部位に部分領域を密に配置し、そうでない部位には部分領域を疎に配置したことによって、認識にとって重要な部分の特徴量を計算するための情報量が増大し、この結果、類似文字間での文字の識別精度を高めることができる。

（第２の実施形態）
次に、１または複数の前記部分領域を変更しつつその都度学習パターンの認識を行って得られた結果を評価することによって、部分領域特徴量計算部１２４−ｘにおける複数の部分領域の設定情報である特徴抽出パラメータを生成する方法を説明する。

以下は、コンピュータとこれを学習ツールとして機能させるプログラムによって、部分領域特徴量計算部１２４−ｘの特徴抽出パラメータを生成する方法である。

図４は、この学習ツールによる特徴抽出パラメータの生成方法を示すフローチャートである。

まず、学習ツールは、部分領域特徴量計算部１２４−ｘに最初の学習パターンを与えて（ステップ４０１）、部分領域特徴量計算部１２４−ｘに初期設定されている各部分領域Ａｉそれぞれの特徴量Ｚｉの計算を実行させる（ステップ４０２）。次に、学習ツールは、部分領域特徴量計算部１２４−ｘより得られた計算結果である部分領域Ａｉごとの特徴量Ｚｉに、部分領域ごとに設定された重み値Ｆｉを乗算して各部分領域Ａｉの特徴量Ｄｉを求める（ステップ４０３）。

学習ツールは、このように計算された各部分領域Ａｉの特徴量Ｄｉから特徴ベクトルを生成し、この特徴ベクトルについてパターン認識を行う（ステップ４０４）。学習ツールは、パターン認識により得られた最大類似度の値をもとに、各部分領域Ａｉの重み値Ｆｉの更新量をそれぞれ求め（ステップ４０５）、これらの更新量で各部分領域Ａｉの重み値Ｆｉをそれぞれ更新した結果を記憶する（ステップ４０６）。

各部分領域Ａｉの重み値Ｆｉの更新量を計算する方法としては、たとえば、確率降下法などが挙げられるが、その他の方法を用いてもよい。確率降下法では、特徴ベクトル｛Ｄｉ｝と辞書の特徴ベクトル｛Ｅｉ｝とのユークリッド距離の２乗を相違度としてパターン認識を行った場合、１つの入力パターンに対する各部分領域Ａｉの重み値Ｆｉの更新量は、

となる。ここでｄは正解カテゴリの相違度から不正解カテゴリの相違度を引いたもので、ｗは損失関数の微分である。αは学習重み値係数である。

学習ツールは、以上の学習を、学習パターンを変えながら、決められた回数繰り返しＦｉを更新する。決められた回数の学習が完了すれば処理は終了となる。この繰り返しで、すべてのパターンを使い終わったら、再び最初のパターンから学習を繰り返す（ステップ４０７）。

上記の説明で、Ｆｉの更新をすぐに特徴量計算に反映せず、仮のＦｉ’を用意して、初期値としてＦｉ’にＦｉを代入し、全学習パターンについての更新を仮のＦｉ’に対して行い、全パターンについての更新が終了したところでＦｉをＦｉ’で置き換えるようにしても良い。そしてこの一連の学習をさらに複数回行うようにする。

（第３の実施形態）
図５は学習ツールによる特徴抽出パラメータの別の生成方法を示すフローチャートである。

まず、学習ツールは、部分領域特徴量計算部１２４−ｘに初期設定されている部分領域群の中から２つの部分領域を選出してこれら部分領域どうしの相関値を求める（ステップ５０１）。ここで、一方の部分領域に属する各画素の重み値からなるベクトルと他方の部分領域に属する各画素の重み値からなるベクトルとの内積の２乗を、それぞれのベクトルのノルムの２乗で割ったものが、２つの部分領域どうしの相関値となる。なお、２つの部分領域は互いに一部が重なるように配置されている場合があるので、この場合、２つの部分領域に共通に含まれる画素についてはそれぞれの部分領域での画素の重み値をそのまま採用し、一方の部分領域にしか含まれない画素については他方の部分領域での画素の重み値をゼロとして相関値の計算が行われる。相関値は０から１の値をとり、その値が大きいほど相関が高い、つまり２つの部分領域どうしが似ていることを意味する。

学習ツールは、この相関値とあらかじめ決められたしきい値とを比較し（ステップ５０２）、相関値がしきい値よりも大きいことを判断すると（ステップ５０２のＹＥＳ）、２つの部分領域のうちの一方を削除するか、２つの部分領域をこれらの平均部分領域に置き換える（ステップ５０３）。

平均部分領域とは、２つの部分領域が占める領域を新たな部分領域として、２つの部分領域に共通に含まれている画素については、各々の部分領域での画素の重み値の平均値を当該新たな部分領域の画素の重み値とし、一方の部分領域にしか含まれていない画素については、他方の部分領域でのその画素の重み値をゼロとして、それぞれの画素の重み値の平均を当該新たな部分領域の画素の重み値としたものである。画素の重み値の平均が、あらかじめ決められたしきい値に満たないものについては、この画素を部分領域から外すようにしてもよい。

このようにして変更された部分領域特徴量計算部１２４−ｘに基づいて、すべてのまたは一部の学習パターンを入力してパターン認識を行う。すなわち部分領域ごとの特徴量の計算を実行させる（ステップ５０４，５０５）。特徴量計算結果として得られるベクトルの中から例えば一定割合のベクトルを用いて辞書を作成し、次に、この特徴ベクトルの中から例えば一定割合のベクトルを評価用ベクトルとして、この辞書ベクトルと評価用ベクトルとの照合により類似度の最も高い文字とその最大類似度の値を認識結果として得る（ステップ５０６）方法によりパターン認識を行う。

次に、学習ツールは認識精度が合格基準に達しているかどうかを判定する（ステップ５０７）。たとえば、認識精度があらかじめ決められた値以上かどうかを評価する。または、性能向上率があらかじめ決められた値以下であるかどうかを評価する。認識精度が合格基準に達していない場合には、学習ツールは第二回目の学習サイクルを開始する。第二回目の学習サイクルは、第一回目の学習サイクルで残った部分領域群を対象に、同様に２つの部分領域どうしの相関値を求めることによって行われる。この後、学習ツールは再び、部分領域特徴量計算部１２４−ｘに学習パターンを入力し、パターン認識を行い、認識精度が合格基準に達しているかどうかを判定する。以上の学習が所定の終了条件を満たすまで、たとえば、認識精度が合格基準に達するまで、あるいは、所定の回数の学習サイクルが終了するまで繰り返される（ステップ５０８）。

（第４の実施形態）
図６は学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャートである。

学習ツールは、Ｋ個の部分領域の中のＫ−ｉ個の部分領域の組み合わせを選出して、これらＫ−ｉ個の部分領域の特徴量から特徴ベクトルを生成する（ステップ６０２、６０３、６０４）。なお、ｉの初期値は１とする（ステップ６０１）。これによって学習パターンの一部または全部から辞書を作成し、この辞書と学習パターンの一部または全部を評価用パターンとしてパターン認識を行う。パターン認識は、生成した特徴ベクトルと辞書パターンとの照合により類似度の最も高い文字とその最大類似度の値を認識結果として得ることにより行われる（ステップ６０５）。

次に、学習ツールは、特徴ベクトルの生成に含めない部分領域を切り替えることによって、Ｋ−ｉ（ｉ＝１）個の部分領域の別の組み合わせを選出して（ステップ６０７）、同様の処理を行い、これをＫ−ｉ個の部分領域の全ての組み合わせに対する処理が終了するまで繰り返す（ステップ６０６）。この後、学習ツールは、各認識結果において最も高い認識精度が得られたＫ−ｉ（ｉ＝１）個の部分領域の組み合わせを判定する（ステップ６０８）。

次に、学習ツールは、この判定で得られた認識精度が合格基準に達したかどうかを判定する（ステップ６０９）。認識精度が合格基準に達していない場合には、学習ツールは、ステップ６０８で判定されたＫ−ｉ（ｉ＝１）個の部分領域の中から、さらに１つの部分領域を除いたＫ−ｉ（ｉ＝２）個の部分領域の組み合わせを選出して（ステップ６１０）、ステップ６０２からステップ６０８の処理を同様に行う。

以上の処理を繰り返して、認識精度が合格基準に達したときのＫ−ｉ個の部分領域の組み合わせを最終的な判定結果とする。また、認識精度が合格基準に達しなくても、部分領域Ａｉが所定数まで絞り込まれた場合にも本処理は終了となる（ステップ６０９）。

（第５の実施形態）
図７は学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャートである。

まず、学習ツールは、部分領域特徴量計算部１２４−ｘに初期設定されているＫ個の部分領域の中から任意の２つの部分領域を選出し、これらの平均部分領域を作成して新たな部分領域として設定し元の２つの部分領域に差し替える（ステップ７０１）。平均部分領域の作成方法については第３の実施形態で説明した通りである。

次に、学習ツールは、部分領域特徴量計算部１２４−ｘに学習パターンを入力して（ステップ７０２）、各部分領域の特徴量を得る（ステップ７０３）。続いて学習ツールは、各部分領域の特徴量から特徴ベクトルを生成する（ステップ７０４）。これによって学習パターンの一部または全部から辞書を作成し、この辞書と学習パターンの一部または全部を評価用パターンとしてパターン認識を行う。パターン認識は生成した特徴ベクトルと辞書パターンとの照合により類似度の最も高い文字とその最大類似度の値を認識結果として得ることにより行われる（ステップ７０５）。

次に、学習ツールは、部分領域特徴量計算部１２４−ｘの部分領域を初期状態に戻し、別の２つの部分領域を選出して（ステップ７０７）、ステップ７０１に戻って、これらの平均部分領域を新たな部分領域として設定し、上記と同様の処理を行う（ステップ７０２−７０５）。全ての部分領域に関して上記の処理が完了したところで（ステップ７０６のＹＥＳ）、学習ツールは、これまでに得られた認識結果のなかで認識精度が最も高いもの、たとえば平均類似度が高いものや、学習パターンの正解が分かっている時は、正読率の高いものを選択し、この認識結果を得たとき部分領域特徴量計算部１２４−ｘに設定されていた部分領域を再設定する（ステップ７０８）。これにより、部分領域特徴量計算部１２４−ｘに設定された部分領域の数はＫ−１個となる。

次に、学習ツールは、この判定で得られた認識精度が合格基準に達したかどうかを判定する（ステップ７０９）。認識精度が合格基準に達していない場合には（ステップ７０９のＮＯ）、学習ツールは、ステップ７０１に戻って、Ｋ−１個の部分領域に対して、２つの部分領域の平均部分領域を作成して同様の処理を繰り返す。

以上の処理を繰り返して、認識精度が合格基準に達したときの部分領域の組み合わせを最終的な判定結果とする。また、認識精度が合格基準に達しなくても、部分領域が所定数まで絞り込まれた場合にも本処理は終了となる。

なお、平均部分領域を生成する際に、３つ以上の部分領域の平均部分領域を作成するようにしてもよい。また、平均部分領域をもとの２つの部分領域と差し替えるのではなく、もとの２つの部分領域の上に別の部分領域として追加するようにしてもよい。

（第６の実施形態）
図８は学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャートである。

まず、学習ツールは、部分領域特徴量計算部１２４−ｘに初期設定されているＫ個の部分領域の中の一つの部分領域を選出して、この部分領域を複数の部分領域に分解する（ステップ８０１）。たとえば、一つの部分領域に含まれる画素を右上、右下、左上、左下の４つのグループに分け、各々のグループに属する画素から新しい部分領域を生成する。このとき複数のグループに共通に含まれる画素があってもよい。学習ツールは、新しい部分領域に対してあらかじめ設定されている重み値を割り振る。次に、学習ツールは、このようにして作成された複数の部分領域を、部分領域特徴量計算部１２４−ｘに設定されている元の部分領域と差し替える。

次に、学習ツールは、部分領域特徴量計算部１２４−ｘに学習パターンを入力して（ステップ８０２）、各部分領域の特徴量を得る（ステップ８０３）。学習ツールは、各部分領域の特徴量から特徴ベクトルを生成し（ステップ８０４）、これによって学習パターンの一部または全部から辞書を作成し、この辞書と学習パターンの一部または全部を評価用パターンとしてパターン認識を行う。パターン認識は特徴ベクトルと辞書パターンとの照合により類似度の最も高い文字とその最大類似度の値を認識結果として得ることにより行われる（ステップ８０５）。

次に、学習ツールは、部分領域特徴量計算部１２４−ｘの部分領域を初期状態に戻し、別の１つの部分領域を選出して（ステップ８０７）、ステップ８０１に戻って同様の処理を繰り返す。すべての部分領域について上記の処理が終了したところで（ステップ８０６のＹＥＳ）、学習ツールは、これまでに得られた認識結果のなかで認識精度が最も高いもの、たとえば平均類似度が高いものや、学習パターンの正解が分かっている時は、正読率の高いものを選択し、この認識結果を得たとき部分領域特徴量計算部１２４−ｘに設定されていた部分領域を再設定する（ステップ８０８）。

次に、学習ツールは、この判定で得られた認識精度が合格基準に達したかどうかを判定する（ステップ８０９）。認識精度が合格基準に達していない場合には（ステップ８０９のＮＯ）、学習ツールは、再設定された部分領域の１つを選出してさらに分解して同様の処理を繰り返す。

以上の処理を繰り返して、認識精度が合格基準に達したときの部分領域の組み合わせを最終的な判定結果とする。また、認識精度が合格基準に達しなくても、部分領域の数の増加率や増加数、あるいは分解の階層数などが、あらかじめ決められた値に達した場合にも本処理は終了となる。

なお、部分領域を一度に分解する数はいくつであってもよい。また、分解した部分領域をもとの部分領域と差し替えるのではなく、もとの部分領域の上に別の部分領域として追加するようにしてもよい。

（第７の実施形態）
図９は学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャートである。

まず、学習ツールは、初期状態の部分領域特徴量計算部１２４−ｘに学習パターンを入力して各部分領域の特徴量を得た後、各部分領域の特徴量から特徴ベクトルを生成し、生成した特徴ベクトルと検出対象文字種の標準パターンの特徴ベクトルとの照合により類似度の最も高い文字とその最大類似度の値を認識結果として得て、その認識結果を記憶する（ステップ９０１）。

次に、学習ツールは、部分領域特徴量計算部１２４−ｘに初期設定されているＫ個の部分領域に一つの部分領域を追加する（ステップ９０２）。たとえば、部分領域特徴量計算部１２４−ｘに対応する類似文字の認識に有効な領域において、部分領域が比較的疎に配置された位置を検出して、そこに一定サイズの部分領域を追加する。部分領域が比較的疎に配置された位置の検出方法としては、部分領域特徴量計算部１２４−ｘに対応する類似文字の認識に有効な領域内の個々の画素について、その画素を含む部分領域の数をカウントして、その数があらかじめ決められた値よりも少ない位置を検出結果とする方法がある。また、その画素を含む部分領域の重み値を積算して、この積算値があらかじめ決められた値よりも低い位置を検出結果としてもよい。

この後、学習ツールは、部分領域特徴量計算部１２４−ｘに再び学習パターンを入力して（ステップ９０３）、各部分領域の特徴量を得る（ステップ９０４）。続いて学習ツールは、各部分領域の特徴量から特徴ベクトルを生成し（ステップ９０５）、これによって学習パターンの一部または全部から辞書を作成し、この辞書と学習パターンの一部または全部を評価用パターンとしてパターン認識を行う。パターン認識は生成した特徴ベクトルと辞書パターンとの照合により類似度の最も高い文字とその最大類似度の値を認識結果として得ることにより行われる（ステップ９０６）。

次に、学習ツールは、部分領域の追加前に得た認識結果と追加後に得た認識結果とを比較し（ステップ９０７）、認識精度の向上を確認できたなら（ステップ９０７のＹＥＳ）、追加した部分領域を有効と判断して部分領域特徴量計算部１２４−ｘにそのまま残す。

この後、学習ツールは、認識精度が合格基準に達したかどうかを判定する（ステップ９０８）。認識精度が合格基準に達していない場合には（ステップ９０８のＮＯ）、学習ツールは、ステップ９０２に戻って別の部分領域を新たに追加し、同様の処理を行う。また、認識精度が合格基準に達した場合（ステップ９０８のＹＥＳ）、あるいは認識精度が合格基準に達しなくても、部分領域の数の増加率や増加数があらかじめ決められた値に達した場合にも本処理は終了となる。

また、ステップ９０７の判定で、認識精度の向上を確認できなかった場合には、追加した部分領域を部分領域特徴量計算部１２４−ｘから削除し（ステップ９０９）、ステップ９０２に戻って、新たに別の部分領域の追加を行い、同様の処理を繰り返す。

（第８の実施形態）
図１０に示すように、全体のパターン画像を複数の縦線Ｘｉ（ｉ＝１，…，ｎ）と横線Ｙｉ（ｉ＝１，…，ｍ）で区切ってできた矩形領域を部分領域Ａｉとして、この部分領域Ａｉごとの特徴量を計算するようにしてもよい。これらの縦線Ｘｉと横線Ｙｉは、これらによってできる矩形領域（部分領域Ａｉ）が認識に有効な位置では密に、そうでないところでは疎になるようにピッチが設定されている。

図１１に示すように、縦線Ｘｉと横線Ｙｉは画素Ｐｉを分断するように設定され得る。この場合にはその画素Ｐｉは隣接するどちらの部分領域Ａｉにも含まれることとする。

このように縦線Ｘｉと横線Ｙｉによって分断された画素Ｐｉを含む部分領域Ａｉの特徴量の計算方法を以下に示す。計算対象である部分領域Ａｉの特徴量は、この計算対象である部分領域Ａｉに含まれる画素Ｐｉごとの特徴量の総和とする。画素Ｐｉごとの特徴量を求める方法としては、濃度特徴、加重方向ヒストグラムなどの特徴の抽出によるものがある。図１１において、斜線で塗り潰した画素Ｐｉはその一部分しか計算対象である部分領域Ａｉに含まれていない。したがって、これらの画素Ｐｉについては、その画素全体の特徴量から計算対象の部分領域Ａｉに属する領域の面積比に相当する値だけを、計算対象である部分領域Ａｉの特徴量に振り当てる。

図１２は本実施形態の部分領域特徴量計算部１２４−ｘに設定される部分領域を学習ツールにより生成する方法を示すフローチャートである。

各縦線Ｘｉのｘ座標値と各横線Ｙｉのｙ座標値のそれぞれの可変の範囲と可変ピッチを決めておき、この可変範囲と可変ピッチで決まる各縦線Ｘｉと各横線Ｙｉのｘｙ座標値のすべての組み合わせを学習ツールに保持しておく。

まず、学習ツールは、各縦線Ｘｉと各横線Ｙｉのｘｙ座標値の組み合わせの一つに従って部分領域特徴量計算部１２４−ｘに複数の部分領域Ａｉを設定し（ステップ１２０１）、部分領域特徴量計算部１２４−ｘに学習パターンを入力して（ステップ１２０２）、各部分領域Ａｉの特徴量を得る（ステップ１２０３）。次に、学習ツールは、各部分領域Ａｉの特徴量から特徴ベクトルを生成する（ステップ１２０４）。これによって学習パターンの一部または全部から辞書を作成し、この辞書と学習パターンの一部または全部を評価用パターンとしてパターン認識を行う。パターン認識は生成した特徴ベクトルと辞書パターンとの照合により類似度の最も高い文字とその最大類似度の値を認識結果として得ることにより行われる（ステップ１２０５）。

次に、学習ツールは、ステップ１２０１に戻り、各縦線Ｘｉと各横線Ｙｉのｘｙ座標値の次の組み合わせをもとに部分領域特徴量計算部１２４−ｘの各部分領域Ａｉを設定し直して上記と同様の処理を行う。この処理を、学習ツールに保持された、各縦線Ｘｉと各横線Ｙｉのｘｙ座標値のすべての組み合わせについて繰り返す（ステップ１２０６）。

この後、学習ツールは、これまでに得られた認識結果のなかで認識精度が最も高いもの、たとえば平均類似度が高いものや、学習パターンの正解が分かっている時は、正読率の高いものを選択し、この認識結果を得たとき部分領域特徴量計算部１２４−ｘに設定されていた部分領域Ａｉを再設定する（ステップ１２０７）。

また、縦線Ｘｉ、横線Ｙｉを削除したり追加して、その都度、認識精度を求めて学習を行うようにしてよい。その際、削除あるいは追加する縦横の線の数を変えて認識精度を求めるようにしてもよい。

（第９の実施形態）
第１の実施形態では、類似文字のグループごとに部分領域特徴量計算部１２４−ｘが設けられているが、類似文字のグループごとに複数の部分領域特徴量計算部を設けてもよい。たとえば、図１３において、１２４−０１，１２４−０２はある類似文字のグループごとに設けられた複数の部分領域特徴量計算部であり、１２４−１１，１２４−１２は別の類似文字のグループごとに設けられた複数の部分領域特徴量計算部である。

図１４の例に示すように、たとえば「ぼ」を手書きした文字は、書き方の癖によって、たとえば濁点の位置や形状に相違が発生する。類似文字のグループごとの複数の部分領域特徴量計算部１２４−０１，１２４−０２（１２４−１１，１２４−１２）は、このような手書き文字の特徴の違いに応じて各々の部分領域のレイアウトが設定されている。

次に、この実施形態のパターン認識装置２００の動作を説明する。

まず、検出対象文字の入力パターンが一次認識部１１０へ入力される。一次認識部１１０では、その入力パターンから特徴抽出部１１１にて特徴が抽出されて特徴ベクトルがパターン識別部１１２へと与えられる。パターン識別部１１２では、入力された特徴ベクトルと、辞書１１３に格納された検出対象文字種の標準パターンの特徴ベクトルとの照合が行われて、類似度の高い１以上の文字候補が判定される。この文字候補は一次認識部１１０の認識結果として二次認識部１２０に入力される。

二次認識部１２０では、特徴抽出部１２１内の切り替え部１２５にその文字候補が与えられる。切り替え部１２５はこの文字候補の属するグループを調べ、さらにこのグループに対応する部分領域特徴量計算部１２４−ｘを判定する。たとえば、切り替え部１２５は複数の部分領域特徴量計算部１２４−０１，１２４−０２が当該グループに対応するものとして判定して、これらの部分領域特徴量計算部１２４−０１，１２４−０２に認識対象文字の入力パターンを与える。このとき一次認識部１１０より得られた文字候補が複数であって、それぞれの文字候補の属するグループが異なる場合には、それぞれのグループに対応する部分領域特徴量計算部１２４−ｘへ認識対象文字の入力パターンをそれぞれ与える。

各々の部分領域特徴量計算部１２４−０１，１２４−０２では、部分領域ごとの特徴量の計算が行われてその結果が特徴ベクトル生成部１２６へ与えられる。特徴ベクトル生成部１２６では、各々の部分領域特徴量計算部１２４−０１，１２４−０２より与えられた部分領域ごとの特徴量から入力パターンの特徴量を表す特徴ベクトルの生成が行われて、その結果が特徴抽出部１２１の出力としてパターン識別部１２２へ与えられる。パターン識別部１２２は、それぞれの特徴ベクトルごとに辞書１２３に格納された標準パターンの特徴ベクトルとの照合によって類似度を計算して、それぞれの特徴ベクトルごとに最も高い類似度が得られた文字とその最大類似度の値を総合判定部１２７に出力する。総合判定部１２７は、２つの類似度を比較して類似度の高い認識結果の方の文字を最終的な認識結果として出力する。

なお、類似文字のグループごとの部分領域特徴量計算部は３以上設けてもよいことは言うまでもない。

（第１０の実施形態）
これまで説明した学習ツールの機能は、パターン認識装置１００に学習手段として実装するようにしてもよい。

図１５は学習部１２８を実装したパターン認識装置３００の構成を示すブロック図である。学習部１２８は、先に説明したいずれかの方法で、部分領域特徴量計算部１２４−ｘに設定される部分領域を最適化するための学習を行い、その結果を部分領域特徴量計算部１２４−ｘに反映させる。学習パターン格納部１２９には、学習のための入力パターンである学習パターンが格納されている。

図１６は学習部１２８を実装したパターン認識装置３００の学習動作に関するフローチャートである。

学習部１２８は、二次認識部１２０のパターン識別部１２２にて得られた認識結果を取得し（ステップ１６０１）、この認識結果をもとに学習を行うかどうか判断する（ステップ１６０２）。たとえば、認識結果として得られた最大類似度の値があらかじめ決められたしきい値よりも低い場合などに、学習部１２８は学習を行うことを判断する。

学習部１２８は、まず、最大類似度の値がしきい値に満たなかったときの入力パターンを学習パターン記憶部１２９に記憶する（ステップ１６０３）。この後、学習部１２８は、学習を行うために必要な条件が成立するのを待って、学習のための処理を開始する（ステップ１６０４）。ここで、学習を行うために必要な条件とは、たとえば、学習パターン記憶部１２９に記憶された入力パターンの数が学習に必要な所定数に達し、かつ、パターン認識装置３００の状態が学習を行うのに適した状態、たとえばパターン認識装置３００が運用されていない状態になったときなどを言う。

学習部１２８は、学習を開始するために、学習パターン記憶部１２９に格納された学習パターンを読み込んでこれを部分領域特徴量計算部１２４−ｘに入力し、特徴ベクトル生成部１２６、パターン識別部１２２を通して得られた認識結果をもとに最適な部分領域の生成を行う。その具体的な手順は上記の実施形態で述べた通りである。

（第１１の実施形態）
第２の実施形態を変形、改良した学習ツールの説明を行う。
パターン画像の画素の値を、

とする。ｉ，ｊは、それぞれ縦位置、横位置である。一方、パターン画像上に複数のサンプル点を設定し、その位置を、

とする。この位置におけるフィルタを

とする。また、フィルタ後に得られた値をサプレスする関数を導入する。この関数にはたとえば、

が考えられるが、これに限定しなくともよい。

特徴抽出は出力ベクトルの要素値をχ_abとした時に、

とおいて、

で与えられる。ここで出力ベクトルの要素値は各位置ｓ_ａ，ｒ_ｂについて求めるため、次元はｎ×ｍとなる。

このようにして求められた特徴ベクトルχ＝｛χ_ab｝と辞書ベクトルφ＝｛φ_ab｝とによって相違度を

で定義する。

辞書ベクトルは文字の種類ごと、すなわちカテゴリごとに決められており、この相違度が最小になったカテゴリを正解カテゴリとして出力することによって認識を行う。

次に、この認識系において、学習によって辞書ベクトルφとフィルタＦを求める手法を示す。以下、確率降下法に基づいて学習を行う。まず、φ_abをパラメータとして、Ｄを微分する。

なので、

となり、

と書ける。ここでw（ｄ）は窓関数で、損失関数を微分したものである。損失関数とは、正解カテゴリの相違度Ｄ_okと不正解カテゴリの相違度Ｄ_errの差であるｄ＝Ｄ_ok−Ｄ_err上の関数で、右肩上がりの関数である。更新式におけるαaは学習係数で大きな値ほど学習強度が高く、学習時の辞書の変動幅が大きい。これはうまく学習が進むように適切な値を実験的に求めて適用する。更新式における上側の符号は正解カテゴリに対する更新、下側は不正解カテゴリに対する更新をあらわす。この更新は正解、不正解どちらの場合も第１位、すなわち最小相違度となるカテゴリを用いる。しかしながら、それ以外のカテゴリに対しても同様な処理を施すようにすることも可能である。

次に、Ｆ_ab（ｋ，ｈ）をパラメータとしてＤを微分する。

これによりフィルタの更新式は

となる。βは学習係数。

文字認識の結果とこの更新式によって、辞書、フィルタを微小変動させて更新して文字認識を行う。この更新を繰り返しによって学習を行う。

認識精度に基づいて、あらかじめ設定された終了条件によって上記の学習を終了させるようにする。この学習方法によって、より性能の高い辞書、フィルタを作成することができる。

本発明では、上記の実施形態の特徴抽出プロセスにおいて、ρ（ｔ）を取り除いて線形フィルタにすることもできる。また、このようにして作成されたフィルタを用いた認識プロセスでは上記のユークリッド距離ではなく、別の認識系による認識を用いても良い。もちろん、学習において用いている認識系もユークリッド距離に限定せず、例えば内積を用いる単純類似度など、確率降下法を適用できるものであれば何でもよい。

また、上述の実施形態では、フィルタを一種類として説明したが、複数の種類のフィルタを作成するようにしてもよい。この場合、複数のフィルタから出力される全部または一部の特徴値をまとめたものがパターン識別部へ入力される特徴ベクトルとなる。学習方式での更新式は上記の実施形態と同じでよい。また、学習において、最初は一種類のフィルタで学習を行い、学習がある程度進んだ段階で新たなフィルタを追加し、以降、学習はその２つのフィルタで行うようにしてもよい。３個目以降のフィルタについても同様である。

上記の説明では画素値を用いて説明したが、これは各画素とその周辺の画素も用いて求めた特徴値であってもよい。

以上、本発明を文字の認識に採用した実施形態を述べたが、本発明は画像やマークなど、パターン認識可能な対象の認識に適用することが可能である。

また、上記の実施形態では、一次認識部によって絞り込まれた文字から最終的な認識結果を絞り込む二次認識部に本発明を適用した場合を説明したが、このような構成を採らずに一次認識のみで最終的な認識結果を得る場合にも適用することができる。また上記実施形態で説明した各々の手段を組み合わせて学習を実施することも可能である。
なお、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の第１の実施形態にかかるパターン認識装置の構成を示すブロック図。 入力されたパターン画像の例を示す図。 パターン画像の全体領域にて数的に不均一に設定された複数の部分領域の例を示す図。 学習ツールによる特徴抽出パラメータの生成方法を示すフローチャート。 学習ツールによる特徴抽出パラメータの別の生成方法を示すフローチャート。 学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャート。 学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャート。 学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャート。 学習ツールによる特徴抽出パラメータのさらに別の生成方法を示すフローチャート。 パターン画像の全体領域に複数の部分領域を生成する別の方法を示す図 図１０の部分領域の生成方法において縦線と横線によって分断された画素を含む部分領域の特徴量の計算方法を説明する図。 図１０の部分領域の生成方法において部分領域特徴量計算部に設定される部分領域を学習ツールにより生成する方法を示すフローチャート。 類似文字のグループごとに複数の部分領域特徴量計算部を設けたパターン認識装置の構成を示すブロック図。 図１３の類似文字グループごとに設けられた複数の部分領域特徴量計算部に設定された部分領域を示す図。 学習部を実装したパターン認識装置の構成を示すブロック図である。 図１５の学習部を実装したパターン認識装置の学習動作に関するフローチャート。

符号の説明

１００…パターン認識装置
１２１…特徴抽出部
１２２…パターン識別部
１２３…辞書
１２４…部分領域特徴量計算部
１２５…切り替え部
１２６…特徴ベクトル生成部
１２７…総合判定部
１２８…学習部
１２９…学習パターン格納部

Claims (2)

1. 入力されたパターン画像に対して、画像の領域に設定された複数の部分領域それぞれの特徴量を計算する部分領域特徴量計算部と、
   前記部分領域特徴量計算部により計算された複数の部分領域それぞれの特徴量から前記入力されたパターンの特徴ベクトルを生成する特徴ベクトル生成部と、
   前記特徴ベクトル生成部より出力された特徴ベクトルを用いて前記入力されたパターンの識別を行うパターン識別部とを具備し、
   前記特徴ベクトル生成部は、
   前記部分領域特徴量計算部において、部分領域内の画素値または画素に対応した特徴値と画素に対応した重みの積和により計算される、部分領域に対応した特徴量から前記入力されたパターンの特徴ベクトルを生成するものであって、
   前記部分領域ごとの画素に対応した重み値が、
   学習パターンの認識を行って得られた標準パターンとの相違度または類似度の損失値を求めるための損失関数を、前記重み値を表す変数によって微分し、この微分した値と前記学習パターンの認識を行って得られた結果を評価することによって変更されたものであることを特徴とするパターン認識装置。
2. 入力されたパターン画像に対して、画像の領域に設定された複数の部分領域それぞれの特徴量を計算する部分領域特徴量計算部と、
   前記部分領域特徴量計算部により計算された複数の部分領域それぞれの特徴量から前記入力されたパターンの特徴ベクトルを生成する特徴ベクトル生成部と、
   前記特徴ベクトル生成部より出力された特徴ベクトルを用いて前記入力されたパターンの識別を行うパターン識別部とを具備し、
   前記特徴ベクトル生成部は、
   前記部分領域特徴量計算部より計算された複数の部分領域それぞれの特徴量にそれぞれの部分領域ごとに決められた重み値を乗じて得られた特徴量から前記入力されたパターンの特徴ベクトルを生成するものであって、
   前記部分領域ごとの重み値が、
   学習パターンの認識を行って得られた標準パターンとの相違度または類似度の損失値を求めるための損失関数を、前記重み値を表す変数によって微分し、この微分した値と前記学習パターンの認識を行って得られた結果を評価することによって変更されたものであることを特徴とするパターン認識装置。

Images