JP3323894B2 - ニューラルネットワーク学習方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多層型ニューラルネッ
トワークを用いてパターン認識やデータ圧縮などを行な
う処理分野において、特に、教師信号を用いてネットワ
ークの重みの学習を行なうニューラルネットワーク学習
方法及び装置に関する。

【０００２】

【従来の技術】ニューラルネットワークとは、人間の脳
における神経回路網を簡略化したモデルであり、それは
神経細胞ニューロンが、一方向にのみ信号が通過するシ
ナプスを介して結合されているネットワークである。ニ
ューロン間の信号の伝達は、このシナプスを通して行な
われ、シナプスの抵抗、すなわち重みを適当に調整する
ことにより、様々な情報処理が可能となる。各ニューロ
ンでは、他のニューロンからの出力をシナプスの重み付
けをして入力し、それらの総和を非線形応答関数の変形
を加えて再度他のニューロンへ出力する。ニューラルネ
ットワークの構造には、大きく分けて相互結合型と多層
型の二種類があり、前者は最適化問題に後者はパターン
認識などの認識問題に適している。本発明は、多層型ニ
ューラルネットワークに関わる。パターン認識やデータ
圧縮に、多層型ニューラルネットワークを用いる場合、
ネットワークが正しい出力を出すように、入力パターン
と出力パターンが対になった教師信号を用意し、それら
を用いてネットワークの重みを予め学習しておく必要が
ある。それには通常、バックプロパゲーションと呼ばれ
る最適化手法を用いて行なわれる。この手法に関して
は、例えばＰＤＰモデル、産業図書（１９８９年）第３
２５頁から第３３１頁において論じられている。この手
法の特徴は、ニューロンの非線形応答関数にシグモイド
関数のような非減少で連続関数を使うことと、次式で示
すように重みを更新することによって、ネットワークの
出力誤差を小さくすることにある。

【数１】 ｄｗ/ｄｔ ＝ −∂Ｅ/∂ｗ ‐‐‐‐‐‐‐‐‐‐（数１） ｗ：重み Ｅ：ネットワークの出力誤差 ｔ：時間 一方、このバックプロパゲーションの問題点として学習
に時間が掛かることが指摘されている。特にパラメータ
依存性が大きいため、最適なパラメータの設定を行なわ
ないと、その場合の１０倍から１００００倍の学習時間
が掛かることがあった。この様な問題を解決するための
方法の一つとして、非線形最適化手法を学習に取り入れ
ることがなされている。文献などで幅広く紹介されてい
るその内の方法として共役勾配法が挙げられるが、これ
は１次微分のみを使うため計算量が少なく高速な学習が
可能である。

【０００３】共役勾配法を説明する前に、その基礎とな
るバックプロパゲーションの処理手順を、図４を用いて
示す。まず、図４内の学習データ１０について説明す
る。学習データ１０は、図５に示すように入力信号と教
師信号からなり、それぞれ(入力層ニューロン数×学習
パターン数)、(出力層ニューロン数×学習パターン数)
だけのデータ数を持つ。入力信号パターンと教師信号パ
ターンは対応しており、例えば入力信号パターン１を入
力層に入力して、出力層からでる出力と教師信号パター
ン１との誤差を計算し、それを学習に使用する。ステッ
プ３５では、学習データ１０の入力信号パターンを入力
層ニューロンに入力する。ステップ３６では、（数２）
式に従い入力信号を出力層側のニューロンに次々と伝搬
させ、最終的に出力層ニューロンの出力を求める。

【数２】 これらの式から分かる様に、ニューロンの総入力を求め
る時、重みと出力の内積を取る。そこで、以下では１つ
のニューロンに対する重みの組を重みベクトル、及び重
みベクトルの大きさをノルムと呼ぶことにする。式によ
るノルムの定義は（数３）式により与える。

【数３】 ステップ３７では、学習データ１０の教師信号とステッ
プ３６で計算した出力層ニューロンの出力により、（数
４）式を用いて出力誤差を計算する。

【数４】 ステップ３８では、（数５）式に従い各ニューロンの重
みに対し入力信号ｐの最急降下の勾配を求める。

【数５】 ステップ３９では、（数６）式を用いて最急降下の勾配
と前回の修正量より今回の修正量を求め、対応する各重
みに加える。

【数６】 但し、右辺第２項はモーメント項と呼ばれ、学習を加速
するために経験的に加える項である。ステップ４０で
は、全ての入力パターンについてステップ３５からステ
ップ３９の処理を行なう。ステップ４１では、ステップ
４０を、出力誤差が学習終了の基準となる一定の誤差の
上限以内に収まるまで繰り返す。以上が、バックプロパ
ゲーションによる学習の原理である。

【０００４】次に、共役勾配法を説明する。共役勾配法
は、重み空間における誤差の超曲線が局所的には２次曲
面で近似できると仮定して探索を行なう山登り法であ
る。最初に共役方向を説明する。例として２次元２次関
数の目的関数の等高線f(x)＝ｘＱｘ＝ｄを表す楕円群を
書いた図６を考える。任意の直線ｌとある等高線f(x)＝
ｃ₁との接点をＡとする。同様に別の点から引いた直線
ｌに平行な直線ｍと等高線f(x)＝ｃ₂との接点をＢとす
る。この時点Ａと点Ｂを結ぶ直線ｎ上には目的関数の最
小点が存在する。これは、２次関数の目的関数の等高線
を示す楕円群の持つ性質である。そして、直線ｌとｎは
共役な方向であるという。共役方向が見つかれば、ｎ次
元の２次関数の最小値探索の場合、初期点から共役方向
にｎ回直線探索を繰り返すと、最小点に達することが証
明されている。共役勾配法は、目的関数の勾配方向を利
用してこの共役方向を生成しながら、探索を行なう方法
である。前回の共役方向と目的関数の最急降下勾配方向
より次の共役方向を生成する式は（数７）式、（数８）
式により与えられる。

【数７】

【数８】 但し、探索の最初は最急降下方向から始める。この手法
に関しては、例えば、「システムの最適理論と最適化」
（１９８７年）第７７頁から第８５頁において論じられ
ている。上記探索方法は２次関数の探索のみならず、そ
れ以外の一般の関数の最小点探索に用いることができ
る。その場合には、もはやｎ回の探索で最小点への収束
は保証されないので、更に続けて探索を行なう必要があ
る。しかし、共役方向の生成は２次関数であることを仮
定しているので、ｎ回以上探索を繰り返すと探索方向が
悪くなり、かえって収束を悪くする。従ってｎ回計算し
た後、もう一度最急降下方向から探索をやり直すことが
必要になる。この手法をニューラルネットワークの学習
に応用した場合の共役方向の生成を（数９）式、（数１
０）式により与える。

【数９】

【数１０】 ここでＥは、（数４）式と違い（数１１）式に示すよう
に全ての学習パターンについて足し込んでいる。

【数１１】

【０００５】さらに図８を用いて、その学習アルゴリズ
ムを説明する。ステップ５５では、学習を始めるために
乱数を用いて重みの初期値を与える。ステップ５６で
は、（数１２）式に従い重み(座標)に対する誤差の最急
降下勾配を求める。

【数１２】 図９にステップ５６の詳細処理を示す。ステップ７０で
は、学習データ１０の入力信号パターンを入力層ニュー
ロンに入力する。ステップ７１では、（数２）式を用い
て入力信号を出力層側のニューロンに次々と伝搬させ、
最終的に出力層ニューロンの出力を求める。ステップ７
２では、学習データ１０の教師信号とステップ７１で計
算した出力層ニューロンの出力により、（数４）式を用
いて出力誤差を計算する。ステップ７３では、（数５）
式に従い各ニューロンの重みに対し入力信号ｐの最急降
下の勾配を求める。ステップ７４では、ステップ７３で
求めた入力信号Ｐの最急降下勾配を各重みごとに足し込
んでいく。ステップ７５では、全ての入力パターンにつ
いてステップ７０からステップ７４の処理を行なう。以
上のステップ５６の結果、（数１２）式で表される最急
降下勾配が求まる。ステップ５７、５８、５９では、次
の共役方向を生成するために、最急降下方向に前回の共
役方向を足し込む割合β(i)を計算する。i mod n ＝ 0
ならば、ステップ５８でβ(i)を０にリセットする。i m
od n ≠ 0ならば、ステップ５９でβ(i)を（数１０）式
に従って計算する。ステップ５８は、収束の悪化を防ぐ
ためｎ(ネットワークの全重みの個数)回ごとに最急降下
方向から始める必要があるので、ｎ回毎にβ(i)を０に
リセットする。ステップ６０では、最急降下勾配と前回
の共役方向より（数９）式を用いて次の共役方向を計算
する。ステップ６１では、共役方向に直線探索を行なっ
て誤差を最小にするη(i)を求める。ステップ６２で
は、ステップ６１で求めたη(i)を用いて重みを更新す
る。以上のステップを、出力誤差が学習終了の基準とな
る一定の誤差の上限以内に収まるまで繰り返す。以上
が、従来の共役勾配法による学習の原理である。

【０００６】共役勾配法とバックプロパゲーションの原
理の比較を図６と図７を用いて説明する。図７は２次元
２次関数の最小値探索をバックプロパゲーション（最大
傾斜法）を用いて行なった図である。この手法では、最
急降下の方向に固定ステップで探索を行なうので効率が
悪い。それに対し、図６の共役勾配法では、共役方向が
見つかるとその直線上に最小値が存在するので、直線探
索をうまく行なえば効率的に探索が可能になる。

【０００７】

【発明が解決しようとする課題】この共役勾配法を用い
た学習の進行上の問題点として、『重みが過剰に増大す
ることによる学習の停滞』が挙げられる。この問題点に
ついて、図１０〜図１３を用いて詳細に説明する。まず
初めに、例として入力が１次元の時のニューロンの学習
を考える。ニューロンの出力の式は次で与えられる。

【数１３】 ｆ（ｎｅｔ）＝１／（１＋ｅｘｐ（−ｎｅｔ））‐‐（数１３）

【数１４】 ｎｅｔ＝ｗ・ｏ ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐(数１４) 図１０、図１１はそれぞれシグモイド関数ｆ、シグモイ
ド関数の微分df/dnetのｗ依存性を表している。図１０
で示すように同じ入力ｏが入っても重みｗが大きい時
は、シグモイド関数が立上り、入力の正負両側で１また
は０に急速に近づきすぐに飽和してしまう。その場合、
図１１で示す通りシグモイド関数の微分値もｘ＝０から
離れると急速に０に近づく。図８のステップ５６で説明
したように、重みの修正に関わる最急降下勾配にはシグ
モイド関数の微分が積の形で入っているので、ｗが大き
くなると誤差勾配は小さくなって学習が停滞する。図１
２、図１３を用いてこの原理をさらに詳しく説明する。
これは、２次元の入力を持つニューロンに、信号ａとｂ
の線形分離を行なう学習をさせる場合で、図１３はその
学習完了状態を示したものである。つまり、信号ａが入
力された時ニューロンは0.9を出力し、信号ｂが入力さ
れた時に0.1を出力するように学習させる。下の式はニ
ューロンの出力O₃計算を示す。

【数１５】 Ｏ₃＝ｆ（ｎｅｔ）＝１／（１＋ｅｘｐ（−ｎｅｔ））‐‐（数１５）

【数１６】 ｎｅｔ＝ｗ₁・ｏ₁＋ｗ₂・ｏ₂＋θ‐‐‐‐‐‐‐‐‐‐‐‐(数１６) 図１２は学習をはじめる前の状態である。ここで、Ｕは
net=0を表す直線であり、以下、これを分離平面と呼
ぶ。この状態では信号ａに対して0.6を出力し、信号ｂ
に対して0.4を出力している。シグモイド関数はnet=0か
ら離れるほど０または１に近づく。そこで、学習によっ
て図１３の状態にするためには、直線Ｕを回転させて
ａ、ｂからＵをできるだけ離すと同時に、重みのノルム
を大きくしてシグモイド関数の立ち上がりを急にする必
要がある。そのようにすれば、ａでは出力を０．９に、
ｂでは出力を０．１に近づけることができる。しかし、
そのためにＵを十分に回転させる前にノルムが大きくな
ってしまうと、上述したように誤差勾配に掛け算で入る
df/dnetが小さくなるので、最急降下勾配も小さくな
り、結果として重みの修正量も減少するので、学習の進
行がほとんど停滞してしまうことになる。共役勾配法で
は、図８のステップ６１の直線探索によってとにかく誤
差を減らそうとする。誤差を減少させる方法には、上で
述べたようにシグモイド関数の立上りを急にすることと
分離平面を回転させることの２通りの方法があるが、共
役勾配法はしばしば前者のみを使って誤差を減少させる
ことがある。前者の方法はすなわち重みのノルムを大き
くすることなので、結果として図１１で示したようにdf
/dnetが小さくなる。それ故、df/dnetが積で入っている
誤差勾配も小さくなり、学習が停滞してしまうことがあ
った。

【０００８】本発明の目的は、共役勾配法を用いた学習
において、分離平面の回転とシグモイド関数の立上りを
急にすることによるバランスの崩れから、学習が停滞す
ることを防ぎ、その結果、バックプロパゲーションより
も高速な学習を実現するためのニューラルネットワーク
学習方法及び装置を提供することである。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、共役勾配法を用いた多層型ニューラルネットワーク
の学習において、ニューロンの重みの初期値を与えるス
テップと、ニューロンの重みに対する誤差の最急降下勾
配を求めるステップと、最急降下方向に前回の共役方向
を足し込む割合を計算し、最急降下勾配と前回の共役方
向より次の共役方向を求めるステップと、直線探索の探
索開始点におけるニューロンの重みのノルムの層平均と
探索点における重みのノルムの層平均の差がある一定の
値を越えない範囲で誤差最小点を求めるステップと、誤
差最小点に対応して重みを更新するステップを有する。
また、多層型ニューラルネットワークの学習において、
ニューロンの重みの初期値を生成する重み初期化部と、
ニューロンの重みに対する誤差の最急降下勾配を求める
最急降下勾配計算部と、最急降下方向に前回の共役方向
を足し込む割合を計算するβ計算部と、最急降下勾配と
前回の共役方向より次の共役方向を求める共役方向計算
部と、直線探索の探索開始点におけるニューロンの重み
のノルムの層平均と探索点における重みのノルムの層平
均の差がある一定の値を越えない範囲で誤差最小点を求
める直線探索部を有し、誤差最小点に対応して重みを更
新する。

【００１０】

【作用】上記手段は、直線探索中に無制限に重みを増加
させるのではなく、それに一定の上限を設け、その範囲
内で探索を行なうことにある。すなわち、直線探索を始
める前に、（数１７）式によって、重みのノルムを計算
し各層ごとにその平均を求める。直線探索中は、重みを
変更しながら誤差の値を見て探索を行なう。その時に各
層ごとに重みのノルムの層平均を計算し、探索を始める
前からの重みの増加が一定の上限を越えない範囲内で誤
差最小点の探索を行なう。これにより、直線探索におけ
る重みの増加が一定の上限内に収まるので、重みの急激
な増加が起こらずに、分離平面の回転とシグモイド関数
を立てることのバランスが保たれながら、誤差を小さく
できる。その結果、学習の停滞が非常に起こりにくくな
り、学習が高速になる。

【００１１】

【実施例】以下、本発明の方法の実施例を、図１〜図
３、図５及び図９を用いて説明する。図１は、実施例の
処理全体の流れを示したものであり、本発明の特徴は波
線をつけて表している。図２は、重みの増加に上限を設
けた直線探索ＰＡＤの詳細を示した図であり、本発明の
特徴である。図３は、直線探索における探索の制限を説
明する図である。図５は、重み学習を行なうための学習
データ１０の詳細を示す図である。４５は入力層ニュー
ロンに入力する入力信号であり、(入力層ニューロン数
×学習パターン数)のデータ数がある。４６は出力層ニ
ューロンの出力と比較して誤差を求めるための教師信号
であり、(出力層ニューロン数×学習パターン数)のデー
タ数がある。入力信号４５と教師信号４６は対になって
おり、例えば、入力信号パターン１（４７）、（４８）
には教師信号パターン１（４９）、（５０）がそれぞれ
対応している。

【００１２】次に、図１を用いて、本実施例の処理の流
れについて説明する。図においてステップ７が本発明の
特徴となっている。 〈ステップ１〉では、学習を始めるために、乱数を用い
て重みの初期値を与える。 〈ステップ２〉では、（数１２）式で与えられる重み
(座標)に対する誤差の最急降下勾配を求める。

【００１３】図９にステップ２の詳細処理を示す。ステ
ップ７０では、学習データ１０の入力信号パターンを入
力層ニューロンに入力する。ステップ７１では、（数
２）式を用いて入力信号を出力層側のニューロンに次々
と伝搬させ、最終的に出力層ニューロンの出力を求め
る。ステップ７２では、学習データ１０の教師信号とス
テップ７１で計算した出力層ニューロンの出力により、
（数４）式を用いて出力誤差を計算する。ステップ７３
では、（数５）式に従い各ニューロンの重みに対し入力
信号ｐの最急降下の勾配を求める。ステップ７４では、
ステップ７３で求めた入力信号Ｐの最急降下勾配を各重
みごとに足し込んでいく。ステップ７５では、全ての入
力パターンについてステップ７０からステップ７４の処
理を行なう。以上のステップ２の結果、（数１２）式で
表される最急降下勾配が求まる。

【００１４】 〈ステップ３、４、５〉では、次の共役方向を生成する
ために、最急降下方向に前回の共役方向を足し込む割合
β(i)を計算する。i mod n ＝ 0ならば、ステップ４で
β(i)を０にリセットする。i mod n ≠ 0ならば、ステ
ップ５でβ(i)を（数１０）式に従って計算する。ステ
ップ４は、収束の悪化を防ぐためｎ(ネットワークの全
重みの個数)回ごとに最急降下方向から始める必要があ
るので、ｎ回毎にβ(i)を０にリセットする。 〈ステップ６〉では、最急降下勾配と前回の共役方向よ
り（数９）式を用いて次の共役方向を計算する。 〈ステップ７〉では、探索の開始点からの重みのノルム
の層平均の増加がある一定の閾値κを越えない範囲にお
いて、共役方向に直線探索を行なって誤差を最小にする
η(i)を求める。

【００１５】図２にステップ７の詳細を示す。ステップ
１５では、探索のための初期ステップ長さdh₀の設定、
（数１７）式で与えられる重みのノルムの層平均の計
算、探索開始点η₀の誤差Ｅ(η₀)を計算する。そこで、
Ｅ(η)は（数１８）式により定義する。

【数１７】

【数１８】 ここで、ｗ/、ｄ|はそれぞれ全ての重み、全ての共役方
向をシンボリックに表している。ステップ１６では、開
始点より初期ステップ長さdh₀だけ離れたη₁における重
みを生成する。そして、その重みに対するノルムの層平
均を計算する。この層平均とステップ１５で求めた層平
均の差を各層ごとに求める。この定義は（数１９）式に
より与える。

【数１９】 また、新しく生成した重みに対して誤差Ｅ(η₁)を計算
する。ステップ１７では、ノルムの層平均の差が上限κ
未満で、且つ探索の開始点より誤差が減少していればス
テップ１８へ進み、さもなくばステップ２０へ進む。ス
テップ１８からステップ２４では、ノルムの層平均の探
索開始点との差が上限κより小さい範囲において、誤差
が最小になるηをステップ長さを大きくしながら求め
る。以下にその詳細を述べる。ステップ２２では、ステ
ップ長さを２倍にしてηに足し込む。ステップ２３で
は、新しい重みに対するノルムの層平均の探索開始点と
の差を計算する。ステップ２４では、新しい重みに対す
る誤差を計算する。ステップ１８では、ノルムの層平均
の差がκ未満で且つ前回よりも誤差が小さい間、ステッ
プ２２からステップ２４を繰り返す。さらに図３を用い
てこれを説明する。図はステップ長さdh₀、２dh₀、２²d
h₀、２³dh₀に対応したη₀、η₁、η₂、η₃、η₄におけ
る誤差を示す。図で示すようにη₃における誤差よりη₄
の誤差の方が小さい。しかし、η₄はノルムの層平均の
差が上限κより大きい領域（斜線）にあるので、η₃を
最小点と見做して探索を終了する。ステップ１９では、
最小点と見做されたη_qを重み修正のηに代入する。ス
テップ２０からステップ２７では、ノルムの層平均の探
索開始点との差が上限κより小さい範囲において、誤差
が最小になるηをステップ長さを小さくしながら求め
る。以下にその詳細を述べる。ステップ２５では、ステ
ップ長さを１/３にしてη_q+1に代入する。ステップ２６
では、新しい重みに対するノルムの層平均の探索開始点
との差を計算する。ステップ２７では、新しい重みに対
する誤差を計算する。ステップ２０では、ノルムの層平
均の差が上限κ以上か又は前回よりも誤差が大きい間、
ｑ≦ｑ_maxの範囲でステップ２５からステップ２７を繰
り返す。ｑ≦ｑ_maxの制限を設けたのは、探索方向が間
違っていた場合、その方向には最小値が見つからないた
めに、無限にステップ長さを小さくして探索してしまう
ことを防ぐためである。ステップ２１では、ｑ＝ｑ_max
ならば、探索方向が間違っていたと見做して重み修正の
ηに０を代入し、さもなくば探索したη_qを代入する。
η＝０の時はもう一度最急降下から始める。以上のステ
ップ７の結果、重みのノルムの層平均の増加が上限κを
越えない範囲において、誤差を最小にするηが求められ
る。

【００１６】 〈ステップ８〉では、ステップ４１で求めたη(i)を用
いて重みを更新する。 〈ステップ９〉では、ステップ２からステップ８を、出
力誤差が学習終了の基準となる一定の誤差の上限以内に
収まるまで、繰り返す。

【００１７】次に、本発明の装置の実施例を、図１５を
用いて説明する。図１５は、本実施例の装置の構成全体
を示したものであり、特に、破線は直線探索部を示す。
以下、この装置の動作を図１及び図２の処理フローに対
応させて詳述する。なお、ステップ１、２、３…はそれ
ぞれ図１及び図２のステップを指す。ステップ１では、
重み初期化部８０が学習を始めるために乱数を用いて重
みの初期値を生成し、ネットワーク重み記憶部８４に記
憶する。ステップ２では、最急降下勾配計算部８１が、
学習データ記憶部１０に記憶された学習データとネット
ワーク重み記憶部８４に記憶された重みデータを読み出
し、方法の実施例で説明したことと同様な手続きで、重
みに対する誤差の最急降下勾配を計算する。そして、そ
の結果を最急降下勾配記憶部８５に記憶する。ステップ
３、４、５では、β計算部８２が、次の共役方向を生成
するために、最急降下方向に前回の共役方向を足し込む
割合β(i)を計算する。、i mod n ＝ 0ならば、ステッ
プ４でβ計算部８２がβ(i)を０にリセットする。imod
n ≠ 0ならば、ステップ５でβ計算部８２が最急降下勾
配記憶部８５から最急降下勾配データを読み出し、β
(i)を（数１０）式に従って計算する。β計算部８２が
β(i)を０にリセットするのは、収束の悪化を防ぐため
ｎ(ネットワークの全重みの個数)回ごとに最急降下方向
から始める必要があるからである。ステップ６では、共
役方向計算部８３が、最急降下勾配記憶部８５から最急
降下勾配データを、共役方向記憶部８６から前回の共役
方向データをそれぞれ読み出し、β計算部８２で計算し
たβ(i)を用いて（数９）式に従い次の共役方向を計算
し、それを共役方向記憶部８６に記憶する。ステップ７
では、探索の開始点からの重みのノルムの層平均の増加
がある一定の閾値κを越えない範囲で、共役方向に直線
探索を行なって誤差を最小にするη(i)を求める。図２
にステップ７の詳細を示す。ステップ１５では、探索の
ための初期ステップ長さdh₀の設定、及び、探索開始点
η₀において、（数１７）式で与えられる重みのノルム
の層平均の計算、誤差Ｅ(η₀)の計算を行なう。まず、
重み計算部８８が探索のための初期ステップ長さdh₀の
設定する。その後、ネットワーク重み記憶部８４から重
みデータを読み出し、探索開始点η₀における重みとし
て、直線探索用重み記憶部９１に記憶する。さらに、重
みの大きさチェック部９２が直線探索用重み記憶部９１
から重みデータを読み出し、重みのノルムの層平均を計
算して、結果を重みの大きさ記憶部ｃ８９に記憶する。
一方、誤差計算部８７は学習データ記憶部１０に記憶さ
れた学習データと、ネットワーク重み記憶部８４に記憶
された重みデータを読み出し、探索開始点η₀の誤差Ｅ
(η₀)を計算する。ステップ１６では、開始点より初期
ステップ長さdh₀だけ離れたη₁における重みを生成す
る。そして、その重みに対するノルムの層平均を計算し
て、この層平均とステップ１５で求めた層平均の差を各
層ごとに求める。また、新しく生成した重みに対して誤
差Ｅ(η₁)を計算する。最初に、重み計算部８８がネッ
トワーク重み記憶部８４から重みデータを、共役方向記
憶部８６から共役方向のデータをそれぞれ読み出し、η
₁における重みを計算して直線探索用重み記憶部９１に
記憶する。次に、重みの大きさチェック部９２が直線探
索用重み記憶部９１から重みデータを読み出し、その重
みに対するノルムの層平均を計算して重みの大きさ記憶
部ｄ９０に記憶する。その後、重みの大きさ記憶部ｃ８
９からη₀における重みのノルム層平均を、重みの大き
さ記憶部ｄ９０からη₁における重みのノルム層平均を
それぞれ読み出し、重みの大きさの層平均の差を各層ご
とに計算する。誤差計算部８７は、学習データ記憶部１
０に記憶された学習データと、直線探索用重み記憶部９
１に記憶された重みデータを読み出し、誤差Ｅ(η₁)を
計算する。ステップ１７では、ステップ１６で重みの大
きさチェック部９２が計算したノルムの層平均の差が上
限κ未満で、且つ探索の開始点より誤差が減少している
ことを重み計算部８８が判定し、その条件を満たしてい
ればステップ１８へ進み、さもなくばステップ２０へ進
む。ステップ１８からステップ２４では、ノルムの層平
均の探索開始点との差が上限κより小さい範囲で、誤差
が最小になるηをステップ長さを大きくしながら求め
る。以下にその詳細を述べる。ステップ２２では、重み
計算部８８がステップ長さを２倍にしてηに足し込む。
その後、ネットワーク重み記憶部８４から重みデータ
を、共役方向記憶部８６から共役方向のデータをそれぞ
れ読み出し、新しいηにおける重みを計算して直線探索
用重み記憶部９１に記憶する。ステップ２３では、新し
い重みに対するノルムの層平均の探索開始点との差を計
算する。まず、重みの大きさチェック部９２が直線探索
用重み記憶部９１から重みデータを読み出し、その重み
に対するノルムの層平均を計算し、重みの大きさ記憶部
ｄ９０に記憶する。その後、重みの大きさ記憶部ｃ８９
からη₀における重みのノルム層平均を、重みの大きさ
記憶部ｄから新しいηにおける重みノルム層平均をそれ
ぞれ読み出し、重みのノルムの層平均の差を各層ごとに
計算する。 ステップ２４では、誤差計算部８７が、学
習データ記憶部１０ｂに記憶された学習データと、直線
探索用重み記憶部９１に記憶された重みデータをそれぞ
れ読み出し、新しい重みに対する誤差を計算する。ステ
ップ１８では、重み計算部８８がノルムの層平均の差が
上限κ未満で且つ前回よりも誤差が小さいかどうか判定
し、その時はステップ２２からステップ２４を繰り返
す。ステップ１９では、重み計算部８８が最小点と見做
されたη_qを重み修正のηに代入する。ステップ２０か
らステップ２７では、ノルムの層平均の探索開始点との
差が上限κより小さい範囲で、誤差が最小になるηをス
テップ長さを小さくしながら求める。以下にその詳細を
述べる。ステップ２５では、重み計算部８８がステップ
長さを１/３にしてη_q+1に代入する。さらに、重み計算
部８８がネットワーク重み記憶部８４から重みデータ
を、共役方向記憶部８６から共役方向のデータをそれぞ
れ読み出し、η_q+1における重みを計算し直線探索用重
み記憶部９１に記憶する。ステップ２６では、ステップ
２３で説明したことと同様に、重みの大きさチェック部
９２が新しい重みに対するノルムの層平均の探索開始点
との差を計算する。 ステップ２７では、誤差計算部８
７が新しい重みに対する誤差を計算する。ステップ２０
では、重み計算部８８がノルムの層平均の差がκ以上か
又は前回よりも誤差が大きいかどうか判定し、その時は
ｑ≦ｑｉ_maxの範囲でステップ２５からステップ２７を
繰り返す。ｑ≦ｑ_maxの制限を設けたのは、探索方向が
間違っていた場合、その方向には最小値が見つからない
ために、無限にステップ長さを小さくして探索してしま
うことを防ぐためである。ステップ２１では、ｑ＝ｑ
_maxならば、探索方向が間違っていたと見做して、ステ
ップ２８で重み計算部８８が重み修正のηに０を代入
し、さもなくばステップ２９で探索したη_qを代入す
る。η＝０の時はもう一度最急降下から始める。以上の
ステップ７の結果、重みのノルムの層平均の増加が上限
κを越えない範囲で誤差を最小にするη(i)が求められ
る。ステップ８では、重み計算部８８がネットワーク重
み記憶部８４から重みデータを、共役方向記憶部８６か
ら共役方向のデータをそれぞれ読み出し、ステップ２１
で求めたη(i)を用いて重みを更新し、ネットワーク重
み記憶部８４に記憶する。ステップ９では、ステップ２
からステップ８を、出力誤差が学習終了の基準となる一
定の誤差の上限以内に収まるまで繰り返す。

【００１８】以上詳述したように、本発明の方法及び装
置では、共役勾配法における重みの増加に一定の上限を
設けたので、重みの急激な増加を防ぐことができ、これ
により、分離平面の回転とシグモイド関数を立てること
の両方のバランスを取りながら、重みを更新していくこ
とが可能になる。その結果、バックプロパゲーションよ
りも高速な学習が可能になる。

【００１９】なお、重みのノルムの定義は、本実施例の
ものに限るものではなく、例えば、（数２０）式、（数
２１）式のものを採用してもよい。

【数２０】

【数２１】 また、重みの増加の定義も本実施例のものに限るもので
はなく、例えば、ノルムの層平均の増加ではなく、個々
のニューロンのノルムの増加の最大値を取ってもよい。

【００２０】

【発明の効果】上記の実施例を用いた学習方法とバック
プロパゲーション学習方法との比較を、次のベンチマー
クテストにより、行なった結果を示し、効果を説明す
る。比較基準は計算機のcputimeと収束率である。そこ
で、収束率は『初期重みを複数用意し、学習を試行し、
その内学習終了条件を満たしたものの割合』である。学
習の終了条件は、全ての教師パターンに対して、個々の
出力層ニューロンの出力の誤差が０．１以下になった時
とした。比較に用いた学習問題を次に示す。 （１）１６ｂｉｔ ｅｎｃｏｄｅｒ （２）文字認識（０〜９，１３７７パターン） １６ｂｉｔ ｅｎｃｏｄｅｒは、１個のニューロンが１
でその他は全て０である１６通りのパターンを用意し、
入力層と出力層にそれぞれ同じパターンを提示し、中間
層ニューロン数を少くして、そこで情報圧縮を行う問題
である。各層のユニット数、学習パターン数、及び、cp
utimeの平均や学習の収束率を測定するために初期重み
を変更して、学習を試みた回数を表１（図１６）に示
す。バックプロパゲーションのパラメータは、モーメン
ト係数については０．９に固定し、学習係数については
最も学習時間が短いものを採用した。一方、本方法の重
みの増加の上限κは０．４に固定した。ベンチマークテ
スト結果を図１４に示す。バックプロパゲーションのcp
utimeのグラフで上部が波上になっているのは、学習が
終了しなかったことを示す。各ベンチマークテストと
も、cputimeについては本方法がバックプロパゲーショ
ンの１．５倍〜１０倍以上高速であり、また収束率につ
いても本方法の方が高いことが分かる。一方、従来の共
役勾配法の場合、１６ｂｉｔ ｅｎｃｏｄｅｒは約３０
回（２．８秒）、文字認識は３回（１７５６秒）で学習
が停滞した。このことは、直線探索において探索開始点
と探索点との重みのノルム平均の差の範囲を設けること
で、分離平面の回転とシグモイド関数の立上りを急にす
ることのバランスが良くなったことによる。このよう
に、本発明によれば、共役勾配法における重みの急激な
増加を防ぐことができるので、重みが急激に大きくなら
ず、分離平面の回転とシグモイド関数を立てることの両
方のバランスを取りながら、重みを更新していくことが
可能になる。その結果、バックプロパゲーションよりも
高速な学習が可能になる。さらに、別の効果として、直
線探索における誤差の計算回数の低減が図れる。すなわ
ち、図２のステップ１８及びステップ２０で、重みのノ
ルム平均の増加が上限κより小さいことの判定を誤差の
計算より先に行なえば、不必要な誤差の計算を防ぐこと
が可能となる。例えば、図３の場合ではη₄の誤差計算
が不要になる。

【図面の簡単な説明】

【図１】本発明の方法の実施例の処理全体を示すＰＡＤ
である。

【図２】重みの増加に上限を設けた直線探索のＰＡＤで
ある。

【図３】重みの増加に上限を設けた直線探索を説明する
ための例を示す図である。

【図４】バックプロパゲーションの処理手順の詳細を示
す図である。

【図５】学習データの詳細を示す図である。

【図６】共役方向を説明する図である。

【図７】バックプロパゲーションによる最小値探索を示
す図である。

【図８】従来の共役勾配法の処理全体を示すＰＡＤであ
る。

【図９】最急降下勾配の計算手順の詳細を示すＰＡＤで
ある。

【図１０】シグモイド関数のｗ依存性を示す図である。

【図１１】シグモイド関数の微分値のｗ依存性を示す図
である。

【図１２】ニューロンが信号ａ、ｂ分離の学習を始める
前の状態を示す。

【図１３】ニューロンが信号ａ、ｂ分離の学習を終えた
後の状態を示す。

【図１４】１６ｂｉｔ ｅｎｃｏｄｅｒ、文字認識のベ
ンチマークテスト結果を示す図である。

【図１５】本発明の装置の実施例を示す。

【図１６】学習データを示す表１である。

【符号の説明】

１ 重みの初期設定 ２ 最急降下勾配の計算 ６ 共役方向の生成 ７ 重みの大きさの増加に上限を設けた直線探索 ８ 重みの更新 １０ 学習データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 東野 純一 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所 中央研究所内 (56)参考文献 特開 平２−222061（ＪＰ，Ａ) 特開 平３−252857（ＪＰ，Ａ) 金寺登・他，「ニューラルネットによ る連続音声の音韻セグメンテーショ ン」，電子情報通信学会論文誌，日本, 社団法人電子情報通信学会・発行，1990 年 １月25日，Ｖｏｌ．Ｊ−73−Ｄ−Ｉ Ｉ，Ｎｏ．１，ｐｐ．72−79，（特許庁 ＣＳＤＢ文献番号：ＣＳＮＴ 199800709009) 高木英行・他，「ニューラルネット学 習における非線形最適化手法の効果」, 電子情報通信学会論文誌，日本，社団法 人電子情報通信学会・発行，1991年 ４ 月25日，Ｖｏｌ．Ｊ74−Ｄ−ＩＩ，Ｎ ｏ．４，ｐｐ．528−535，（特許庁ＣＳ ＤＢ文献番号：ＣＳＮＴ200000735008) 立石、木下，「ニューラルネットワー クによる手書き文字認識」，沖電気研究 開発，日本，沖電気工業株式会社・発 行，1991年 ４月 １日，Ｖｏｌ．58, Ｎｏ．２，ｐｐ．53−56，（ＪＳＴ資料 番号：Ｆ0243Ａ) 西川、三宮、茨木，「岩波講座 情報 科学19 最適化」，日本，株式会社岩波 書店・発行，1982年 ９月10日，初版, ｐｐ．41−55 甘利俊一・監訳，「ＰＤＰモデル − 認知科学とニューロン回路網の探索 −」，日本，産業図書株式会社・発行, 1989年 ２月27日，初版，ｐｐ．325− 334 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 G06F 9/44 G06F 19/00 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 共役勾配法を用いた多層型ニューラルネ
   ットワークの学習において、ニューロンの重みの初期値
   を与えるステップと、ニューロンの重みに対する誤差の
   最急降下勾配を求めるステップと、最急降下方向に前回
   の共役方向を足し込む割合を計算し、最急降下勾配と前
   回の共役方向より次の共役方向を求めるステップと、直
   線探索の探索開始点におけるニューロンの重みのノルム
   の層平均と探索点における重みのノルムの層平均の差が
   ある一定の値を越えない範囲で誤差最小点を求めるステ
   ップと、誤差最小点に対応して重みを更新するステップ
   を有することを特徴とするニューラルネットワーク学習
   方法。
2. 【請求項２】 請求項１において、ニューロンの重みの
   ノルムの層平均を次の式とすることを特徴とするニュー
   ラルネットワーク学習方法。 【数２２】
3. 【請求項３】 多層型ニューラルネットワークの学習に
   おいて、ニューロンの重みの初期値を生成する重み初期
   化部と、ニューロンの重みに対する誤差の最急降下勾配
   を求める最急降下勾配計算部と、最急降下方向に前回の
   共役方向を足し込む割合を計算するβ計算部と、最急降
   下勾配と前回の共役方向より次の共役方向を求める共役
   方向計算部と、直線探索の探索開始点におけるニューロ
   ンの重みのノルムの層平均と探索点における重みのノル
   ムの層平均の差がある一定の値を越えない範囲で誤差最
   小点を求める直線探索部を有し、誤差最小点に対応して
   重みを更新することを特徴とするニューラルネットワー
   ク学習装置。