記憶・学習の非平衡統計力学的な観点からの基礎的研究

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06260102
• Research Institution: Kyoto University
• Principal Investigator: 青柳 富誌生 京都大学, 工学部, 助手 (90252486)
• Co-Investigator(Kenkyū-buntansha): 樺島 祥介 奈良女子大学, 理学部, 助手 (80260652)
• Keywords: neural network / temporal coding / parity machine / least action Algorithm / oscillator network / phase pattern

Research Abstract

本研究においては、以下の視点から、記憶・学習の数理モデルの構成と解析を行った。
記憶に関しては主に次の観点から研究を行った。従来のモデルでは、ニューロンにおいて情報をコードしているのは平均発火率であり、それ以外の要素が情報をコードする可能性はあまり考慮されていなかった。しかしながら、最近行われた神経生理学の実験がきっかけとなって、ニューロンの発火の相関(同期・非同期)などに情報をコードすることが、ネットワークの情報処理の能力を質的に高めることが出来るのではないかと、関心を集めている。一方、周期的に発火しているニューロンが互いにに弱く相互作用している場合、そのダイナミクスは位相という発火のタイミングを表現する変数により記述できることが知られている。本研究では、位相と同時に発火の強さを表現していると考えられる振幅の自由度を導入し、発火・非発火も含めて与えられた位相パターン(発火のタイミング)を想起し得るネットワークを構成した。このネットワークの特徴として次のようなことがあげられる。(1)非発火の素子を除いたネットワークのダイナミクスは、通常の振動子の位相モデルに帰着される。(2)各ニューロンの振動数が同じである時、安定な想起を保証するリヤプノフ関数が存在する。(3)パターン数が十分少ない時は通常のHebbルールで学習可能である。
学習に関しては主に次の2つの研究を行なった。i)パーセプトロン学習における解空間の連結性学習に伴い解空間の連結性が失われる簡単なパーセプトロン型モデルを用いて、その幾何学的な性質が例題数の増加とともにどのように変化するかを調べた。その結果、マルチフラクラルの解析法と類似の手法をレプリカ法に応用することにより解空間での飛び地の個数を定量的に評価することに成功した。ii)多層パーセプトロンのオンライン学習解を探索するための時間的コストも考慮したより現実的な学習を論じるため多層パーセプトロンのオンライン学習について研究を行なった。具体的なネットワークとしてはParity Machineを取り上げ、Least Action Alogorithmを用いた学習を解析的・数値的に調べた。

Research Products

• [Publications] Toshio Aoyagi: "A Network of Neural Oscillator for Retrieving Phase Information" Physical Review Letters. (発表予定). (1995)
• [Publications] Yoshiyuki Kabashima: "Perfect Loss of Generalization due to Noise in K=2 Parity Machines" Journal of Physics A:Mathematical and General. 27. 1917-1927 (1994)
• [Publications] Tohio Aoyagi: "Temporal Association Realized by a Network of Bnrsting Neurons" Proceedings of International Joint Conference on Neural Networks. 3. 2359-2362 (1993)
• [Publications] Yoshiyuki Kabashima: "Acceleration of Learning in Binary Choice Problems" Proceedings of the sixth Annual ACM Conference on C.L.T.1. 446-452 (1993)
• [Publications] Toshio Aoyagi: "A Network of Bursting Neurons for Temporal Association" Europhysics Letter. 20. 565-570 (1992)