JPH05101028A - 複数特徴量の統合判定方法 - Google Patents

Abstract

(57)【要約】 【目的】 １つの認識対象に対する複数の特徴量の統合
判定を最適あるいは準最適化する。 【構成】 ある認識対象から抽出した２つの特徴ベクト
ルＡ、Ｂをそれぞれニューラルネットワーク１１，１２
に入力し、その各出力を統合用ニューラルネットワーク
１３に入力し、その出力中の最大値となるニューロンに
対応するクラスを認識結果とする。統合用ニューラルネ
ットワーク１３も他のニューラルネットワークと同様に
バックプロパゲーション学習によりニューラルネットワ
ーク１１，１２の各出力の要素間の結合が最適化される
ため高い認識率が得られる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ある認識対象から抽
出した複数の特徴量をそれぞれ各別のニューラルネット
ワークに入力し、これらの出力を統合して認識対象を判
定する統合判定方法に関する。

【０００２】

【従来の技術】ある認識対象から抽出した複数の特徴量
を、複数のニューラルネットワークに個別に入力し、こ
れら複数のニューラルネットワークの出力値を統合して
認識対象を判定する統合判定方法に関する従来技術を説
明する。ここでは２つの特徴量を、２つの個別のニュー
ラルネットワークに入力する場合を例にとって説明す
る。

【０００３】また、ニューラルネットワークとして、入
力層、中間層、出力層からなる多層構造型ニューラルネ
ットワークを採用し、これをバックプロパゲーション・
アルゴリズム［参考文献 Ｒｕｍｅｌｈａｒｔ，Ｄ．
Ｅ．ｅｔ ａｌ．：Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂ
ｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１，ＭＩＴ
Ｐｒｅｓｓ（１９８６）］により学習する場合を例にと
って説明する。

【０００４】図４Ａは、多層構造型ニューラルネットワ
ークの構成例を示し、１は入力層のニューロンを、２は
中間層のニューロンを、３は出力層のニューロンをそれ
ぞれ示し、入力層と中間層のニューロンは接続線４で接
続され、中間層と出力層のニューロンは接続線５で接続
されている。図４Ｂは、従来技術で採用している統合判
定方法の構成例を示し、第一の特徴量は第一のニューラ
ルネットワーク６に入力され、第二の特徴量は第二のニ
ューラルネットワーク７に入力され、２つのニューラル
ネットワーク６，７の出力値をもとに、統合的に認識対
象が統合判定部８で判定される。

【０００５】従来、複数のニューラルネットワークの出
力値を統合して認識対象を判定する場合、次の２つの方
法が採用されていた。第一は、複数のニューラルネット
ワークの出力値を加算あるいは乗算して、その結果が最
大値となるニューロンに対応するクラスを認識結果とす
る方法である。

【０００６】第二は、個々のニューラルネットワークの
出力値をもとに基本確率を計算し、この基本確率を用い
て、Ｄｅｍｐｓｔｅｒの結合アルゴリズムにより認識結
果を得る方法である［参考文献 Ｓｈａｆｅｒ，Ｇ．：
Ａ Ｍａｔｈｅｍａｔｉｃａｌ Ｔｈｅｏｒｙ ｏｆ
Ｅｖｉｄｅｎｃｅ，Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒ
ｓｉｔｙ Ｐｒｅｓｓ（１９７６）］。

【０００７】以下、手書き数字認識を例題として、上記
２つの方法について具体的に説明する。いま、手書き数
字より、横方向濃淡頻度分布と縦方向濃淡頻度分布（手
書き数字を横方向、あるいは縦方向に見たときの黒画素
の数の分布）という２つの特徴量（とくに３２次元）を
抽出して、この２つの特徴量を２つの個別のニューラル
ネットワークに入力する。

【０００８】ニューラルネットワークの規模は、とも
に、３２−１０−１０（入力層のニューロン数３２個、
中間層のニューロン数１０個、出力層のニューロン数１
０個）である。次に、各ニューラルネットワークをバッ
クプロパゲーション・アルゴリズムにより独立に学習さ
せた後、２つのニューラルネットワークの出力値を用い
て統合的に判定する。

【０００９】例えば、教師信号として、正解クラスに対
応するニューロンには０．９０を、その他のニューロン
には０．１０を与えて学習させた。７５０パターンで学
習させた後、ほかの７５０パターンで未知テストを行わ
せた結果、横方向分布入力では８３．２０％、縦方向分
布入力では５１．３３％の認識率だった。２つのニュー
ラルネットワークの出力を用いて、統合的に判定する第
一の方法として、両者の出力値を加算した値が最大とな
るニューロンに対応するクラスを認識結果とする場合を
述べる。

【００１０】ある未知の手書き数字「０」に対応する結
果を図５に示す。横方向分布を入力としたニューラルネ
ットワークの出力値をみると、「８」に対応するニュー
ロンの出力値が最大で、正解の「０」に対応するニュー
ロンの出力値は第２位だった。これに対し、縦方向分布
を入力としたニューラルネットワークの出力値をみる
と、正解の「０」に対応するニューロンの出力値が最大
だった。両方の出力値を加算した結果では、正解の
「０」に対応する値が最大となり正しい認識結果が得ら
れた。未知データ全体の認識率は８６．００％と向上し
た。

【００１１】次に、統合的に判定する第二の方法とし
て、ニューラルネットワークの出力値から基本確率を計
算し、得られた２つの基本確率をＤｅｍｐｓｔｅｒの結
合アルゴリズムにより統合して認識結果を得る場合を述
べる。ある未知の手書き数字「０」に対応する結果を図
６に示す。横方向分布を入力としたニューラルネットワ
ークの出力値をもとに計算した基本確率は、「８」に対
応する値が最大の０．３６５であり、正解の「０」に対
応するニューロンの値は２番目に大きい０．３０５だっ
た。これに対し、縦方向分布を入力としたニューラルネ
ットワークの出力値をもとに計算した基本確率は、正解
の「０」に対応する値が最大で０．４４７だった。両方
の基本確率を用いてＤｅｍｐｓｔｅｒの結合アルゴリズ
ムにより求めた確率値は正解の「０」に対応する値が最
大となり正しい認識結果が得られた。未知データ全体の
認識率は８６．５３％と向上した。

【００１２】

【発明が解決しようとする課題】従来技術における統合
判定方法では、複数の特徴量を個別の直接入力とした複
数のニューラルネットワークの出力値を統合する場合、
各出力値を同等に扱うのが一般的である。つまり、例え
ば加算する方法では、どの特徴量を重要視して、大きな
重みを付けて加算したらよいかという工学的な指針を得
ることが難しいために、複数の出力値を同等の重みで加
算する方法が採用されている。

【００１３】従来技術の項で説明した横方向分布や縦方
向分布のように、特徴空間で互いに直交するような特徴
量の場合には、２つの特徴量は、ほぼ同等に有効である
と考えられる。しかし、１つの認識対象が発生する複数
の異種の特徴量（例えば、音声と画像など）を入力とし
て判定する場合には、必ずしもすべての特徴量が認識過
程において、同等に貢献しているとはかぎらない。むし
ろ、認識対象あるいは認識問題の性質に応じて、特に重
要となる特徴量、補助的に必要な特徴量というように分
類されるものと考えられる。

【００１４】このような特徴量間の重み付けを実現しよ
うとした場合、従来技術では、人間が試行錯誤的に重み
パラメータを決定することになる。この場合、得られた
パラメータ値が最適であるという保証はない。以上説明
したように、従来の統合判定方法では、複数の特徴量を
複数のニューラルネットワークへ個別に入力して、複数
の出力値を合成して統合的にパターン認識をしようとし
たとき、どの特徴量を、より重視して重み付けしたらよ
いかという工学的な指針を得ることが困難なために、同
等に扱う方法が一般的である。このような従来技術で
は、複数の異種の特徴量をもとに統合的に判定するよう
なパターン認識問題では十分な性能を実現できないとい
う問題があった。

【００１５】この発明の目的は、ある認識対象が発生す
る複数の異種の特徴量を合成して統合的にパターン認識
を行う際に、それぞれの特徴量間の重み付けを、工学的
な方法により、最適あるいは準最適に決定することがで
きるような統合判定方法を確立することにある。

【００１６】

【課題を解決するための手段】上記目的を達成するため
に、この発明の統合判定方法は、ある認識対象から抽出
した複数の特徴量を直接の入力するニューラルネットワ
ーク群のほかに、統合用ニューラルネットワークを設
け、上記ニューラルネットワーク群の出力を、上記統合
用ニューラルネットワークへの入力とし、その統合用ニ
ューラルネットワークの出力値により認識対象を判定す
る。

【００１７】

【作用】この発明の統合判定方法においては、認識対象
から抽出した複数の特徴量を直接の入力するニューラル
ネットワーク群のほかに、統合用ニューラルネットワー
クを設け、上記ニューラルネットワーク群の出力を、上
記統合用ニューラルネットワークへの入力とし、バック
プロパゲーション・アルゴリズムにより判定メカニズム
を学習させる。この学習により、この発明の統合判定方
法では、ニューラルネットワークと、与えられた学習セ
ットを用いて、統合判定に関して最適あるいは準最適な
機能を有する統合判定部を工学的に実現でき、しかも、
従来技術の統合判定方法よりも優れた判定能力をもつよ
うな統合判定方法を実現できる。

【００１８】

【実施例】この発明の実施例について、ある認識対象か
ら抽出した２つの特徴量（特徴ベクトルＡと、特徴ベク
トルＢ）を、２つの個別のニューラルネットワークに入
力する場合を例にとって説明する。分類すべきクラスの
数は１０とする。また、第一の特徴量である特徴ベクト
ルＡは３２次元、第２の特徴量である特徴ベクトルＢは
１６次元とする。

【００１９】図１にこの発明の統合判定方法を適用した
認識装置の構成例を示す。第一の特徴量である特徴ベク
トルＡは第一のニューラルネットワーク１１に入力さ
れ、第二の特徴量である特徴ベクトルＢは第二のニュー
ラルネットワーク１２に入力され、第一、第二のニュー
ラルネットワーク１１，１２の出力は統合用ニューラル
ネットワーク１３に入力される。ニューラルネットワー
クの規模は、特徴ベクトルＡを入力するニューラルネッ
トワーク１１は３２−１０−１０とし、特徴ベクトルＢ
を入力するニューラルネットワーク１２は１６−１０−
１０とする。また統合用ニューラルネットワーク１３は
２０−１０−１０とする。

【００２０】図２に、この発明の統合判定方法におい
て、統合用ニューラルネットワーク１３の学習方法の実
施例を示す。すなわち第一に、学習データから抽出した
第一の特徴量（特徴ベクトルＡ）を第一のニューラルネ
ットワーク１１への入力とし、バックプロパゲーション
・アルゴリズムにより、分類メカニズムを学習させる
（ステップ１１０）。教師信号として、正解クラスに対
応するニューロンには０．９０を、その他のニューロン
には０．１０を与える。

【００２１】第二に、学習データから抽出した第二の特
徴量（特徴ベクトルＢ）を第二のニューラルネットワー
ク１２への入力とし、バックプロパゲーション・アルゴ
リズムにより、分類メカニズムを学習させる（ステップ
１２０）。教師信号として、正解クラスに対応するニュ
ーロンには０．９０を、その他のニューロンには０．１
０を与える。

【００２２】第三に、学習後の、第一のニューラルネッ
トワーク１１と、第二のニューラルネットワーク１２と
の各出力を統合用ニューラルネットワークへの入力と
し、バックプロパゲーション・アルゴリズムにより、統
合判定メカニズムを学習させる（ステップ１３０）。教
師信号として、正解クラスに対応するニューロンには
０．９０を、その他のニューロンには０．１０を与え
る。

【００２３】以上の学習操作（ステップ１１０〜１３
０）で、ニューラルネットワーク１１，１２の各出力の
ニューロン間の結合が統合用ニューラルネットワーク１
３で要素により最適化され、統合判定に関して最適ある
いは準最適な機能を有する統合判定部を、ニューラルネ
ットワークの学習により工学的に実現できることは明ら
かである。

【００２４】図３は、この発明の統合判定方法の実施例
を示す。第一に、入力データから抽出した第一の特徴量
（特徴ベクトルＡ）を第一のニューラルネットワーク１
１へ入力する（ステップ２１０）。第二に、入力データ
から抽出した第二の特徴量（特徴ベクトルＢ）を第二の
ニューラルネットワーク１２へ入力する（ステップ２２
０）。

【００２５】第三に、第一のニューラルネットワーク１
１の出力と、第二のニューラルネットワーク１２の出力
を、統合用ニューラルネットワーク１３へ入力する（ス
テップ２３０）。第四に、統合用ニューラルネットワー
ク１３の出力の中で最大の値となるニューロンに対応す
るクラスを認識結果とする（ステップ２４０）。

【００２６】以上の操作（ステップ２１０〜２４０）
で、複数の特徴量を入力としたときの複数のニューラル
ネットワークの出力を用いた統合判定処理を、最適ある
いは準最適に実現できることは明らかである。以上の説
明では、統合用ニューラルネットワーク１３への教師信
号として、正解クラスに対応するニューロンには０．９
０、その他のニューロンには０．１０というように、断
定的な値を与える場合を例にとって説明したが、所定の
範囲で最大と最小の実数値を決めたとき、正解クラスの
ニューロンには最大の実数値を、その他のニューロンに
は最小値以上、最大値未満の値を与える（ニューロンに
よって異なってもよい）場合にも適用できることは明ら
かである。つまり正解クラス以外のニューロンに最大値
と最小値との中間値を与えた方がよい場合がある。

【００２７】

【発明の効果】以上説明したように、この発明では、複
数のニューラルネットワークを用いた統合判定方法にお
いて、ある認識対象から抽出した複数の特徴量を直接の
入力するニューラルネットワーク群のほかに、統合用ニ
ューラルネットワークを設け、ニューラルネットワーク
群の出力を、統合用ニューラルネットワークへの入力と
し、バックプロパゲーション・アルゴリズムにより判定
メカニズムを学習させる。従って、この発明の統合判定
方法では、ニューラルネットワークと、与えられた学習
セットを用いて、学習により統合判定に関して最適ある
いは準最適な機能を有する統合判定部を工学的に実現で
き、しかも、従来技術の統合判定方法よりも優れた判定
能力をもつような統合判定方法を実現できる。

【図面の簡単な説明】

【図１】この発明方法を適用した認識装置を示すブロッ
ク図。

【図２】図１のニューラルネットワークの学習方法の実
施例を示す流れ図。

【図３】図１の統合判定方法の実施例を示す流れ図。

【図４】Ａは多層構造型ニューラルネットワークを示す
図、Ｂは従来の複数特徴量の統合判定方法を示すブロッ
ク図である。

【図５】従来の統合判定処理の具体例を示す図。

【図６】従来の統合判定処理の他の具体例を示す図。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ある認識対象から抽出した複数の特徴量
   を、複数のニューラルネットワークに個別に入力し、こ
   れら複数のニューラルネットワークの出力値を統合して
   認識対象を判定する統合判定方法において、 上記複数のニューラルネットワークの出力を、統合用ニ
   ューラルネットワークへの入力とし、その統合用ニュー
   ラルネットワークの出力値により認識対象を判定するこ
   とを特徴とする複数特徴量の統合判定方法。