JPH02193251A - エラー後方伝ぱん法と神経網システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （技術分野） 本発明は層状神経網システＬ　（ｌａｙｅｒｅｄ　ｎｅ
ｕｒａｌｎｅｔｗｏｒｋ　ｓｙｓｔｅｍ）に使用される
エラー後方伝ぱん法（ｅｒｒｏｒ　ｂａｃｋ−ｐｒｏｐ
ａｇａｔｉｏｎ　ｍｅｔｈｏｄ）に関連し、また網シス
テムそれ自身に関連している。

本発明は分類、パターン認識、文字認識、会話信号処理
、影像処理、データ圧縮等に関連する問題を解決するた
めに使用されている。

（背景技術） ニューロンは非常に稠密な網（ｄｅｎｓｅ　ｎｅｔｗｏ
ｒｋ）で相互接続されている非線形基本能動要素（ｎｏ
ｎｌｉｎｅａｒ　ｅｌｅｍｅｎｔａｒｙ　ａｃｔｉｖｅ
　ｅｌｅｍｅｎｔ）である。２つのタイプの網が考慮さ
れている。すなわち、ホップフィールド網（Ｈｏｐｆｉ
ｅｌｄ　ｎｅｔｉｙｏｒｋ）として規定されている完全
接続網、 ニューロンが連続層にグループ化されている層状網であ
って、各ニューロンは次の層のすべてのニューロンに接
続され、情報はそれが出力層に到達するまで入力層から
次の層（隠された層：ｈｉｄｄｅｎ　１ａｙｅｒｓ）に
通過する。

これらのシステムは実例によって訓練するか、あるいは
それら自身を組織化することにより訓練できる。逐次型
コンピュータの非常に長い計算時間はトレーニング相（
ｔｒａｉｎｉｎｇ　ｐｈａｓｅ）あるいは分解相（ｒｅ
ｓｏｌｖｉｎｇ　ｐｈａｓｅ）に並列に含まれた動作を
実行することにより実質的に減少できる。

トレーニングアルゴリズムは次の２つのカテゴリに分割
できる。すなわち 入力ニューロンｉを出力ニューロンｊに結合するシナプ
ス係数（ｓｙｎａｐｔｉｃ　ｃｏｅｆｆｉｃｉｅｎｔ）
　Ｃ＋Ｊの修正がニューロンｉ（！：、ｉの情報のみに
依存している局所トレーニング（ｌｏｃａｌ　ｔｒａｉ
ｎｉｎｇ）、それが網の至るところに存在する情報に依
存する非局所トレーニング、 である。後者のトレーニングは例えば層状網のエラー後
方伝ぱんであり、これは本発明の主題である。

この種の方法と網はジェー・ジェー・パラロス（Ｊ、　
Ｊ、　Ｐａｕｌｏｓ）とピー・ダブリユウ・ポリス（Ｐ
、　Ｗ、　Ｈｏ１ｌｉｓ　）の文献、ｒｆｃ合後方伝ぱ
んによるフィードフォアワード回路網のＶＬＳ　Ｉアー
キテクチュア−（Ａ　ＶＬＳＩ　Ａｒｃｈｉｔｅｃｔｕ
ｒｅ　ｆｏｒ　ｆｅｅｄｆｏｒｖａｒｄｎｅｔｗｏｒｋ
ｓ　ｗｉｔｈ　ｉｎｔｅｇｒａｌ　ｂａｃｋ−ｐｒｏｐ
ａｇａｔｉｏｎ）Ｊ　。

神経Ｍ４（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）　、Ｎｏ、
　　ｌ、付録１、頁３９９．１９８８年から知られてい
る。これは２つの副回路網を具えるアナログ／ディジタ
ル回路であり、分解ステップは第１副回路網で実行され
、一方、後方伝ぱんステップは第２副回路網で起こる。

それはまた係数をアップデートする計算ユニット（ＡＬ
ＩＩ）を具えている。係数のアンプデートは直列的に起
こる。

（発明の開示） このように、本発明が対面する問題はデータ伝達を制限
しながらそのような回路網の処理速度を増大することで
ある。

分解相は前方伝ぱん（ｆｏｒｔｖａｒｄ　ｐｒｏｐａｇ
ａｔｉｏｎ）によりに個の連続層を通して延在する通路
に沿うｊ個の入力ニューロンに基づく１個の出力ニュー
ロン状態の決定からなっている。このように、層ｋ（１
からＫの間のｋ）のニューロンｊは表現式％式％） に従ってシナプス係数Ｃｉ　ｊによって加重された層ｋ
　−１−１のニューロンｉにその状態ｖＪを伝達し、こ
こでｆは一般に非線形関数である。

トレーニング相は得られた縄出力状態と所望の出力状態
の間のエラーδ、の決定と、このエラー伝ぱんを先行通
路に逆方向に伝ぱんさせることからなっている。この目
的で、学習すべき一例は網の入力に伝えられ、その後で
分解ステップが実行される。最後のＪｉＫにおいて、得
られた出力（Ｖｉ）ｉは以下のエラーを計算するために
所望の出力（Ｖｉ）ｉと比較される。

δｉ−ｆ、［ｆ−’（Ｖ工）］・（］Ｖ、−Ｖ、ここで
ｆ−１はｆの逆数であり、ｆｌは非線形関数の導関数で
ある。このエラーは次の表現式に従って先行層に一つの
層から引き続いて後方伝ぱんされる。ここでＴ”　はシ
ナプス係数マトリクスＣｋ−１に関連する転置マトリク
スを示しでいる。

このエラー伝ぱん機構は分解ステップの間にニューロン
状態を決定する機構に似ている。

アップデート機構はエラーの後方伝ぱんの後で得られた
結果を考慮に入れ、かつこれらの３つの機構の完全に新
しいサイクルの新しいシナプス係数を再定義することか
ら構成されよう。

係数は次の学習規則に従ってアップデートされる。

および ここでηは利得因数（スケールファクタ）である。

これらのステップは各処理手段で実行された局所ステッ
プであり、かつ情報を前方（分解）あるいは後方（後方
伝ぱん）に伝ぱんし、係数のアップデートは上流情報な
らびに下流情報で用いている（伝ぱん方向にかかわらず
）。このように、種々のステップは（層ｋから層に＋１
あるいはその逆方向に）並列に実行できる。これは本発
明に従って転置マトリクスを第２グループに負荷するこ
とにより入力（インデクスｊ）ならびに出力（インデク
スｉ）で並列に実行可能な同一の処理手段を用いること
で起こる。この計算方法は２つの伝ぱん方向のアップデ
ートステップの−様な実行を可能にする。それは を取ることで十分である。

これらの種々の機構は例えば２つのグループと（例えば
ホストコンピュータである）自動処理装置の間に分布で
きる。ニューロンのに個の連続層に組織化された神経網
に対して、第１グループはに一１個の処理手段を具え、
そして第２グループは前の処理手段と同一ではあるがし
かし異なる情報で使用されているに一２個の処理手段を
具えている。

種々のステップは次のように介在（ｉｎｔｅｒｌｅａｖ
ｅ）できる。

第１グループで： 全グループのシナプス係数メモリのシナプス係数Ｃ３ｊ
の初期化、 第２グループで： 全グループのシナプス係数メモリの７トリクスＣｉｊの
転置マトリクスＴ　ｊ　ｉの初期化。

初期化ステップは神経網の使用の最初で一度だけ実行さ
れる。

第１グループで： 第１層の処理手段の状態メモリのｊ入力ニューロンの状
態の初期化、 第１グループで： 入力ニューロンｊの状態に基づく各出力ニューロンｉの
状態の各層の決定であって、処理手段の出力ニューロン
の状態は次の処理手段の入力ニューロンの状態となり、 中央処理装置で： 得られた状態と最後の層の各出力ニューロンｉの所望の
状態の比較と、これら２つの状態の間のエラーδ、の決
定、 第２グループで： 最後の層の処理手段の状態メモリへのエラーδ工の導入
、 第２グループで： 最後の層の出力状態から第１層の入力状態に進み、一方
、各処理手段において入力ニューロンｉの状態に基づく
各出力ニューロンｊの状態の決定を実行するエラーの後
古仏ぱん、および点ＶＪにおける非線形逆関数から導か
れた関数によりとられた値によりこの出力状態の中央処
理装置での乗算は第１グループの対応処理手段の入力ニ
ューロンｊの状態であり、 中央処理装置で： 第１層の処理手段の状態メモリに含まれた新しいエラー
値に基づいて、シナプス係数Ｃｉ　ｊとＴｌＪに同時に
印加すべき増分Δ、゛　とＤｌの決定、第１グＪレーフ
“で； Ｃ＝　；　（ｎｅｗ）　−Ｃｔ　；　（ｏｌｄ）＋Δ、
　　、■。

となるようにシナプス係数Ｃｉ　ｊのアップデート、第
２グループで： Ｔ　Ｊｉ　（ｎｅｗ）　＝Ｔ　ｉ＝　（ｏｌｄ）　＋　
Ｄ　Ｊ・δ。

となるように先行アップデート操作と同時にシナプス係
数Ｔ　ｊ　ｉをアップデートすること。

アップデートステップが２つのグループのブロックで同
時に起こり、かつ初期化とＣｉｊおよびＴ　ｉ　ｉの増
分が同一であると言う事実が与えられると、各分解ステ
ップあるいは後古仏ぱんステップにおいて２つのサブア
センブリは同じシナプス係数を用いることが保証される
。もしＣｉ　ｊとＴ　ｊ　ｉのの値が制限されるなら、
この制限（飽和、モジュロ、反射のいずれか）における
規則が２つの網で同じであると仮定してこのことはまた
有効である。

上の実例のシナプス係数のアップデートは最急降下法（
ｓｔｅｅｐｅｓｔ　ｄｅｓｃｅｎｔ　ｍｅｔｈｏｄ　ｏ
ｒ　ｇｒａｄｉｅｎｔｄｅｃｅｎｔ　ｍｅｔｈｏｄ）を
使用している。当業者にとって明らかであろうが、モー
メンタム学習規則（ｍｏｍｅｎｔｕｍ　ｌｅａｒｎｉｎ
ｇ　ｒｕｌｅ　）のような最急降下部分を含む関連学習
規則は本発明による方法と網に有効に使用できる。

本発明を添付図面を参照して今後詳細に説明する。

（実施例） 第１図は２つの処理グループＩＬ　１２と中央処理装置
１０を具える神経網システムを示している。処理グルー
プ１１は分解ステップを実行し、処理グループ１２はエ
ラー後古仏ぱんを実行する。グループ１１は処理手段１
３．、１３□、１３３を具え、これらはニューロン（ｋ
　＝１．２，３．４）のに＝４７ｉに縦続接続されてい
る。これらの手段は各シナプス係数マトリクス を蓄積する。

グループ１２は処理手段１３４，１３ｓを具え、これら
は縦続接続され、かつ層に＝４．に＝３およびに−２の
間で動作する。それらは各シナプス係数マその関連マト
リクスＣの転置マトリクスである。

例えば中央処理装置からグループ１１は第１処理手段１
３１に導入される入力状態Ｖ、を受信し、第１処理手段
１３□の出力状態は第２手段１３□の入力に印加される
。分解ステップの間に、中央処理袋Ｗｌｏに印加される
計算状態■、は３つの処理手段の出力に現れる。中央制
御装置１０は最後の手段１３３の出力で得られた状態■
、と、入力に伝えられた状態に関連した所望の出力状態
を比較する。検出された差はエラーδ、として現れ、こ
れは層４の各出力ニューロンｉに相応する。中央処理装
置１０はこのエラーδ、を第２グループの処理手段１３
４に導入する。層３上で得られた結果、 は中央処理装置に（接続線１４を通して）印加され、こ
れはこれらの結果を ｆ　Ｉ　［ｆ−１（Ｖ、）］ によって乗算する。

これらの積はδ、を構成し、 入力に導入される。最後に、 それは手段１３．の この手段は を計算し、その結果はδ８を決定する中央処理装置１０
に印加される。

現在の限られた実例以上に多い層が存在する場合、動作
はすべての層に対してこのような態様で実行される。こ
のように中央処理装置１０は増分Δ、−η・δ、゛とＤ
Ｊ−η・■、 を決定し、シナプス係数Ｃｉ　ｊとＴ　ｊ　ｉをアップ
デートするために、これらは第１グループ１１の処理手
段に導入され、従って グループ１３１はΔ、を受信し、 グループ１３□はΔ１を受信し、 グループ１３３はΔ、を受信し、 また第２グループ１２の処理手段に導入され、従つて グループ１３４はＤＪを受信し、 グループ１３４はＤＪを受信する。

そのようなアップデートは分解ステップを実行する第１
グループでｊで並列に実行され、かつ後古仏ぱんを実行
する第２グループでｉで並列に起こる。この並列性は層
毎のニューロン状態Ｖｊｋおよび層毎のエラー状態δ、
の同時利用可能性に依存している。

第２Ａ図は分解ステップの間の第１グループのデータの
処理を例示している。第２Ｂ図はエラー後古仏ぱんステ
ップの間の第２グループのデータ処理を例示している。

第２Ａ図は層に＝３の出力ニューロンｉ＝３の状態を決
定するために処理手段１３゜の層２と層３の間で実行さ
れた計算の一部分を示している。層２のシナプス係数は
Ｃ３１１Ｃ３゜、　　Ｃ３３，Ｃ３４であり、実行され
た計算は である。この計算は層に＝１から層に＝４に進むすべて
の層のすべてのニューロンに同様なやり方で実行される
。

同じ図面はまた増分Δ３−η・δ３を示し、これはシナ
プス係数０３Ｊの同時アップデートに用いられる。

第２Ｂ図は処理手段１３４で層に＝４からに＝３に進む
エラー後古仏ぱんの計算の一部分を示している。ニュー
ロンｊ＝２に以下の結果 を供給するために、エラーδ１．δ２．δ３はそれる。

この計算はその結果が最終結果に対して不動作である層
に＝１を除いて、すべての層のすべてのニューロンに同
様なやり方で実行される。同じ図面はシナプス係数Ｔ２
４の同時アップデートに用いられる増分Ｄ２−η・■２
をまた示している。

第３図はシナプス係数の決定とアップデートを含んでい
る分解ステップならびにトレーニングステップを実行す
る処理手段を示している。メモリ３０は現在のシナプス
係数を蓄積する。状態レジスタ３１は中央処理装置１０
かあるいは実例の環境からのいずれかから入力ニューロ
ンｊの状態を受信する。計算ユニット３２は（バス３８
より）シナプス係数Ｃｉ　ｊと状態■４を受信し、かつ
計算ΣＣ，，，・Ｖ４を実行する。計算ユニットはまた
以前の和に非線形関数を適用する手段を具えている。こ
の結果はニューロンｉの新しい状態を構成し、かつレジ
スタ３３に蓄積される。本発明によると、増分Δ１を乗
算する乗数３４．−−−３４Ｎ　（ここでＮ＝Ｎｋ）が
備えられ、それは外部処理装置から発生されるならレジ
スタ３６に蓄積されるかあるいはレジスタ３１からの状
態■、により形成されるかいずれかでベクトルＳＪによ
ってレジスタ３５に蓄積される。各乗算の結果は双方向
バス３８を介してメモリ３０に接続されている加算器３
７１−−−３７８を用いてシナプス係数Ｃｊｊをアップ
デートするために使用される。データＳ、がレジスタ３
１に蓄積されたベクトル■。

によって形成される場合にレジスタ３６は省略される。

データＳ１が例えば中央制御装置から発生する場合にレ
ジスタ３６は機能する。第１図のグループ１１と１２は
上述の同じ制御手段１３を使用するが、しかしそこで処
理されたデータは異なっている。

グループ１１において、レジスタ３６からかあるいはレ
ジスタ３１から直接に発生するニューロン状態により乗
算される増分Δ８をレジスタ３５は受信する。

グループ１２において、各処理手段１３のレジスタ３６
に蓄積されたエニーδ、によって乗算される増分ＤＪを
レジスタ３５は受信する。

このようにアップデート手段は、 積δ、・Ｖ、（あるいはＤＪ・δ、）を決定するＮ個の
計算演算子、 双方向バスを用いてメモリにアップデートされる新しい
シナプス係数を計算するＮ個の加算器、を具えている。

分解ステップは異なる並列操作を用いてグループ１１で
実行される。これらの場合、メモリ３０は行ならびに列
に関してアドレス可能である。このように、入力ニュー
ロンｊの状態に基づく各出力ニューロンｉの状態の決定
は、そのシナプスが出力ニューロンｉに向かって収斂す
るすべての入力ニューロンで並列に局所処理操作を実行
することにより実行できる。

入力ニューロンｊの状態に基づく各出力ニューロンｉの
状態の決定はそのシナプスが入力ニューロンｊから出発
するすべての出力ニューロンｉに並列に処理操作を実行
することにより同様に実行できる。

入力ニューロンｊの状態に基づく各出力ニューロンｉの
状態の決定はそのシナプスが出力ニューロンｉに向かっ
て収斂するすべての入力ニューロンｊで、そしてそのシ
ナプスが入力ニューロンｊから出発するすべての出力ニ
ューロンｉで並列に局所処理操作を実行することにより
同様に実行できる。

類似の並列性は第２グループで実現できる。

この目的で、入力エラー６４に基づく各出力エラーδ、
の決定はそのシナプスが出力エラーδ。

を含むニューロンに向かって収斂する入力エラーδ、を
含むすべてのニューロンで並列に局所処理操作を実施す
ることにより実行できる。

入力エラーδ、に基づく各出力エラーδ、の決定はその
シナプスが入力エラー６１を含むニューロンから出発す
る出力エラー６８を含むすべてのニューロンで並列に処
理操作を実施することにより同様に実行できる。

入力エラー６３に基づく各出力エラーδ、の決定ばその
シナプスが出力エラーδ、を含むニューロンに向かって
収斂する入力エラー６４を含むすべてのニューロンで、
およびそのシナプスが入ノｊエラー６１を含むニューロ
ンから出発する出力エラー６８を含むすべてのニューロ
ンで並列に局所処理操作を実施することにより実行でき
る。

乗算装置３４１．３４□−−−３４８は分解ステップの
すべてのインデクスｊに対する並列乗算Ｃｉ　ｊ・■４
、あるいはアップデートステップのすべてのインデクス
ｊに対する並列乗算Δ、・■４を選択的に実行する計算
ユニット３２を組み込むことができる。制御手段は乗算
装置の正しい入力に所要のデータをルーチングするため
に備えられるべきである。このアーキテクチャ−は本発
明による神経網のＩＣによる実施例で基板面積を節約す
ると言う利点を有している。

【図面の簡単な説明】

第１図は本発明による方法を用いる神経網システムの一
般線図を示し、 第２八図と第２Ｂ図は分解ステップとエラー後古仏ぱん
ステップ間の計算の実施を例示する２つの線図をそれぞ
れ示し、 第３図は本発明による神経網の処理手段の線図を示して
いる。 １０・・・中央処理装置 １１、１２・・・処理グループ １３・・・処理手段　　　　１４・・・接続線３０・・
・メモリ　　　　　３１・・・状態レジスタ３２・・・
計算ユニット　　３３・・・レジスタ３４・・・乗算器
　　　　　３５．３６・・・レジスタ３７・・・加算器
　　　　　３８・・・バス　７一

Claims (10)

【特許請求の範囲】
1. １．エラー後方伝ぱんに応じて蓄積シナプス係数をアッ
   プデートする方法であって、各シナプス係数は層状神経
   網の一対の連続層間の相互接続の重みを表しており、該
   方法は ―次の高い各層に対して、先行層の出力ニューロン状態
   ベクトルと、その層と先行層の 間の相互接続に関連する各シナプス係数マ トリクスとを含むマトリクス乗算を用いて 出力ニューロン状態ベクトルを決定するこ と、 ―神経網の出力層の出力ニューロン状態ベクトルに対す
   る出力エラーベクトルを計算す ること、 ―各関連先行層に対して、次の高い層のエラーベクトル
   と、その層と次の高い層との間 の相互接続に関連したシナプス係数マトリ クスの転置型を含むマトリクス乗算を用い て、関連先行層に関する出力エラーベクト ルを後方伝ぱんすること、 ―シナプス係数の増分を含む特定層と先行層の間の相互
   接続に関連した各シナプス係数 をアップデートし、ここでこの増分が先行 層の出力ニューロン状態ベクトルの各成分 と特定層のエラーベクトルの各成分の測ら れた少なくとも積項を含むもの、 の各ステップを具えるものにおいて、 ―現在の電流シナプス係数マトリクスが蓄積され、 ―現在の転置シナプス係数マトリクス、すなわち入力層
   と次の層状神経網の層との間の 相互接続に関連するもの以外の少なくとも マトリクスが蓄積され、 ―各シナプス係数マトリクスのアップデートが各出力ニ
   ューロン状態ベクトルあるいは 各エラーベクトルのいずれかの成分に対し て並行に実行され、 ―各関連転置シナプス係数マトリクスのアップデートが
   関連エラーベクトルあるいは関 連出力ニューロン状態ベクトルのいずれか の成分に対して並行に実行されること、 を特徴とする方法。
2. ２．特定シナプス係数マトリクスのアップデート、およ
   びそれに関連した転置シナプス係数マトリクスのアップ
   デートが同時に実行されることを特徴とする請求項１に
   記載の方法。
3. ３．請求項１あるいは２に記載の方法を実行する神経網
   システムであって、 ―上記の各シナプス係数マトリクスに対して各第１メモ
   リを具え、かつ上記の関連転置 シナプス係数マトリクスに対して各第２メ モリを具え、上記の第１および第２メモリ の各々は蓄積された各マトリクスの選択さ れた行のシナプス係数に基づいて並列読み 取りあるいは書き込み動作を可能とし、 ―上記のマトリクスの特定のものをアップデートするア
   ップデート手段が、 ―アップデートステップにおいて各マトリクスの選択さ
   れた行のシナプス係数に関連し た上記の積項を並列に発生する乗算手段、 ―アップデートステップで各マトリクスの選択された行
   に対して並列に増大する乗算手 段の出力に結合されている加算手段、 を具えること、 を特徴とするアップデートステップを実行するアップデ
   ート手段を含む神経網システム。
4. ４．上記のアップデート手段が、 ―各積項の発生を要求して、関連出力ニューロン状態ベ
   クトルあるいは関連エラーベク トルのいずれかをそれぞれ蓄積する第１レ ジスタであって、上記の第１レジスタが乗 算手段の第１入力に結合されているもの、 ―各積項の発生を要求して、関連エラーベクトルあるい
   は関連出力ニューロン状態ベク トルのいずれかの各単一成分を表すスカラ ーを蓄積する第２レジスタであって、上記 のレジスタが上記の乗算手段の第２入力に 結合されているもの、 を含むことを特徴とする請求項３に記載の神経網システ
   ム。
5. ５．上記のマトリクスの各々に対して各アップデート手
   段が備えられていることを特徴とする請求項３あるいは
   ４に記載の神経網システム。
6. ６．請求項５に記載の神経網システムであって、―各層
   の関連出力ニューロン状態ベクトルを連続的に決定する
   フィードフォアワード部 分、 ―出力層に関連する出力エラーベクトルを計算する計算
   手段、 ―先行層の各エラーベクトルを連続的に決定する後方伝
   ぱん部分、 を含むものにおいて、 連続層の各対に対して、フイードフオアワ ード部分が、 ―関連第１メモリと、 ―関連アップデート手段、 を含むモジュールを具え、 ―出力エラーベクトルの後方伝ぱんに関連する連続層の
   各対に対して、後方伝ぱん部分 は、 ―関連第２メモリと、 ―関連アップデート手段、 を含むべつのモジュールを具えること、 を特徴とする神経網システム。
7. ７．各モジュールが、 層の各対の下側のものの出力ニューロン状 態と関連シナプス係数マトリクスを含むマトリクス乗算
   を各マトリクス列に対して並列に行的に実行するマトリ
   クス乗算手段、 を具え、 かつ別の各モジュールが、 連続層の上記の各対のより高いもののエラ ーベクトルと関連転置シナプス係数マトリクスを含むマ
   トリクス乗算を各マトリクス列に対して並列に行的に実
   行する別のマトリクス乗算手段、 を具えることを特徴とする請求項６に記載の神経網シス
   テム。
8. ８．各出力ニューロン状態ベクトルを決定するマトリク
   ス乗算を実行するかかあるいは関連シナプス係数マトリ
   クスをアップデートするために必要な積項を発生するか
   どうかの選択に基づき、そして各エラーベクトルを決定
   するマトリクス乗算を実行するかあるいはシナプスマト
   リクスの関連転置型をアップデートするために必要な積
   項を発生するかどうかの選択に基づいて、 マトリクス乗算手段が各モジュールに関連 する乗算手段を含むこと、かつ 別のマトリクス乗算手段が別の各モジュー ルに関連する乗算手段を含むこと、 を特徴とする請求項７に記載の神経網。
9. ９．各モジュールが集積回路で実現されていることを特
   徴とする請求項６あるいは７あるいは８に記載の神経網
   。
10. １０．アップデートステップで各乗算手段が各積項を発
    生する複数の２重入力乗算器回路を含み、かつ 各加算手段が各メモリの各書き込み入力に 結合された複数の加算器を含むこと、 を特徴とする請求項６に記載の神経網。