遅延と切断を有するニューラルネットワークの理論解析

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13780313
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Research Institution: Kobe City College of Technology
• Principal Investigator: 三好 誠司 神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
• Keywords: 連想記憶 / ニューラルネットワーク / 遅延 / シナプス切断 / 統計神経力学

Research Abstract

相関型の連想記憶モデルではシナプスを切断するとシナプス一本あたりの記憶容量が増大することが知られている。しかしその場合、ネットワーク全体の記憶容量は減少してしまう。この困難を解決するために、リカレントニューラルネットワークに遅延シナプスを導入し、シナプス本数は定にしながら、シナプスの結合率を小さくすることを提案した。まず、シナプスに遅延を有するリカレントニューラルネットワークのモデルを設定した。このとき、解析を容易にするため、ネットワークは離散時間同期型で動作するものとし、また、各要素が±1をそれぞれ50%の確率でとるようなランダムパターンの系列を相関学習で記憶するものとした。次に、このようなモデルの巨視的状態遷移方程式を統計神経力学を用いて導出した。導出された理論を用いて、シナプスが全結合している場合、すなわち、シナプスに切断がない場合について、ネットワークの初期状態によるダイナミクスや記憶容量の違いについて検討した。さらに、無作為切断と系統的切断の2通りのシナプス切断について理論的な解析を行った。その結果、いずれの場合においても、シナプス総本数一定の条件下でシナプスの結合率を下げながら遅延段数を増すと記憶容量が増大することがわかった。また、その増大の傾向は、無作為切断の場合よりも系統的切断の場合により顕著であることがわかった。これらの結果は計算機シミュレーションとの比較により検証された。今回得られたこれらの知見は、脳がシナプスの過剰生成と刈り込みを行うという事実の理論的な裏付けとなるものである。また、脳内においては平衡状態よりも系列やリミットサイクル等の動的なアトラクタを記憶する方が望ましいことを強く示唆するものである。

Research Products

• [Publications] 三好誠司, 岡田真人: "遅延と切断を有するニューラルネットワークによる連想記憶"電子情報通信学会論文誌A. J85-A・1. 124-133 (2002)
• [Publications] Miyoshi, S., Okada, M: "Associative Memory by Neural Networks with Delays and Pruning"Electronics and Communication in Japan Part 3: Fundamental Electronic Science, John Wiley & Sons. (掲載予定).