ニューラルネットワーク連想メモリの追加学習に関する研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10780223
• Research Institution: University of Yamanashi
• Principal Investigator: 服部 元信 山梨大学, 工学部, 助手 (40293435)
• Keywords: 連想メモリ / 追加学習 / 自己組織化特徴マップ / シナプス硬直条件 / シナプス半硬直条件 / マップの再構築 / 多対多 / 時系列情報

Research Abstract

連想メモリを含む多くのニューラルネットワークは、情報をニューロン間の重みに分散して記憶するため、一旦学習が終了した後に新規な情報のみを記憶させようとすると、それまでに記憶した情報に破局的な忘却をもたらす。すなわち、追加学習が極めて因難であるという問題がある。本研究では、追加学習を可能とする連想メモリの構築を目的としている。昨年度までの研究では、入力層からマップ層への重みの学習に改良を加えた、連想メモリとして動作可能な自己組織化特徴マップに、シナプス硬直条件およびシナプス半硬直条件を導入することで、追加学習が可能な連想メモリの構築を行った。しかし、本モデルでは入力データ間の類似関係をマップ上に保存しにくいことが明らかになっている。開発した連想メモリは、新規な情報によって過去の記憶が破壊されることがないため、長期記憶のモデルとみなすことができる。今年度の研究では、これに短期記憶に相当する小容量のバッファを付加し、そこに蓄えたデータを用いてマップの再構築を行う方法を開発した。具体的には、新規な情報と類似した既記憶情報をネットワークの重みから取り出してバッファに一時的に格納し、新規情報とともに学習を行う。これにより、マップの小領域に入力データの類似関係が精度良く写像される。これを新規な情報が与えられる度に繰り返すことにより、マップ全体が入力データの類似関係を反映することができる。さらに、本モデルで1対多や多対多の連想が扱えることを確認するとともに、マップ上のニューロンの内部状態が過去の発火履歴を含むようにニューロンモデルを変更し、時系列情報を取り扱えるようにモデルに改良を加えた。

Research Products

• [Publications] 山田剛生,服部元信,森澤正之,伊藤洋: "自己組織化特徴マップを用いた追加学習可能な連想メモリ"電子情報通信学会技術研究報告. NC98-93. 93-100 (1999)
• [Publications] Hasegawa,K. and Hattori,M: "Improved Pseudo-Relaxation Learning Algorithm for Robust Bidirectional Associative Memory"Artificial Neural Nets and Genetic Algorithms. 288-293 (1999)
• [Publications] Yamada,T., Hattori,M., Morisawa,M. and Ito,H.: "Sequential Learning for Associative Memory using Kohonen Feature Map"Proceedings of IEEE and INNS International Joint Conference on Neural Networks. (1999)
• [Publications] Hattori,M. and Hagiwara,M.: "Associative Memory for Intelligent Control"Mathematics and Computers in Simulation. 51. 349-374 (2000)