遅延と切断を有するニューラルネットワークの理論解析

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13780313
• Research Institution: Kobe City College of Technology
• Principal Investigator: 三好 誠司 神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
• Keywords: 連想記憶 / ニューラルネットワーク / 遅延 / シナプス切断 / 統計神経力学

Research Abstract

相関型の連想記憶モデルではシナプスを切断するとシナプス一本あたりの記憶容量が増大することが知られている。しかしその場合、ネットワーク全体の記憶容量は減少してしまう。この困難を解決するために、リカレントニューラルネットワークに遅延シナプスを導入し、シナプス本数は一定にしながら、シナプスの結合率を小さくすることを提案した。まず、シナプスに遅延を有するリカレントニューラルネットワークのモデルを設定した。次に、このようなモデルの巨視的状態遷移方程式と巨視的定常状態方程式を統計神経力学と離散フーリエ変換を用いて導出した。導出された理論を用いて、まず、シナプスが全結合している場合、すなわち、シナプスに切断がない場合について、ネットワークの初期状態によるダイナミクスや記憶容量の違いについて検討した。さらに、無作為切断と系統的切断の2通りのシナプス切断について理論的な解析を行った。その結果、いずれの場合においても、c×L一定(ここで、cはシナプスの結合率、Lは遅延段数)、すなわち、シナプス総本数一定の条件下でシナプスの結合率cを下げながら遅延段数Lを増すと記憶容量が増大することがわかった。また、遅延段数Lが大きい極限で、無作為切断の場合には記憶容量が2/πに漸近するのに対し、系統的切断の場合には、記憶容量が4/πln Lとなり、遅延段数Lの対数に比例して発散することが理論的に明らかになった。これらの結果は計算機シミュレーションとの比較により検証された。今回得られたこれらの知見は、脳がシナプスの過剰生成と刈り込みを行うという事実の理論的な裏付けとなるものである。また、脳内においては平衡状態よりも系列やリミットサイクル等の動的なアトラクタを記憶する方が望ましいことを強く示唆するものである。

Research Products

• [Publications] Miyoshi, S., Okada, M.: "Associative Memory by Neural Networks with Delays and Pruning"Electronics and Communication in Japan Part 3: Fundamental Electronic Science, John Wiley & Sons. 86・6. 48-58 (2003)
• [Publications] Miyoshi, S., Okada, M.: "A theory of associative memory model with synaptic delay and pruning"Proc. Symposium on Nonlinear & Linear Information Processing Systems. 44-51 (2002)
• [Publications] Miyoshi, S., Yanai, H.F., Okada, M.: "Associative memory by recurrent neural networks with delay elements"Proc. 9th Int. Conf. on Neural Information Processing (ICONJP'02). 1. 70-74 (2002)