ニュ-ラルネットワ-クの分散型学習アルゴリズムとその応用に関する研究

1991 Fiscal Year Annual Research Report

• Project/Area Number: 02650235
• Research Institution: The University of Elector-Communications
• Principal Investigator: 高橋 治久 電気通信大学, 電気通信学部, 助教授 (90135418)
• Co-Investigator(Kenkyū-buntansha): 武田 光夫 電気通信大学, 電気通信学部, 教授 (00114926) ; 富田 悦次 電気通信大学, 電気通信学部, 教授 (40016598)
• Keywords: ニュ-ラルネットワ-ク / バックプロパゲ-ション / リカレントプロパゲ-ション / リカレントネットワ-ク / 線型分離

Research Abstract

研究発表の下から順に述べる。
1)リカレントプロパゲ-ション法の高速な学習法の開発とその評価を行い電子情報通信学会論文誌に投稿中である。
2)3層フィ-ドフォワ-ド型ニュ-ラルネットの中間表現が線型分離可能であるための必要十分条件の確立を行い,更にこれを用いた効率的な判定アルゴリズムを確立した。このアルゴリズムは,敷居値論理の分野で従来知られている判定基準(Assummability)よりも計算量において格段に効率的である。また中間素子数が大きいときは線形計画法を適用するよりも効率的となる。
3)非線型連続関数を近似する高速なニュ-ラルライクなネットワ-クを提案した。このネットワ-クは関数を領域区分で近似し,領域を競合によって学習する機構と各領域で最小自乗法によって最適な線型関数を求める。この学習法はロ-カルミニマを持たず,BP法の数千倍の速度で所望の近似が得られる。
4)本研究で開発した高速リカレントプロパゲ-ション法を応用し連想記憶を実現した。従来の連想記憶は,隠れ層を持たすことが不可能であったが,リカレントプロパゲ-ション法では任意の個数の隠れ層が許されるため,記憶容量をいくらでも増大させることが出来る。

Research Products

• [Publications] 石川 和弘: "リカレントプロパゲ-ションによる連想記憶" 電子情通信学会NC(ニュ-ロコンピュ-ティング)研究技術報告. NC91. (1992)
• [Publications] 本村 陽一: "連続関数の領域区分近似を実現するネットワ-ク" 電子情報通信学会NLP研究技術報告. NLP91ー21. (1991)
• [Publications] 高橋 治久: "Sepチrability of Internal Representation in Multilayer Perceptrons" Neural Networks.
• [Publications] 高橋 治久: "リカレントプロパゲ-ション学習法の高速化" 電子情報通信学会論文誌.