長期記憶を導入したニューラルネットモデルの提案と動的環境におけるロバスト性の検証

2002 年度 実績報告書

• 研究課題/領域番号: 14780285
• 研究機関: 神戸大学
• 研究代表者: 小澤 誠一 神戸大学, 自然科学研究科, 助教授 (70214129)
• キーワード: ニューラルネット / 追加学習 / 教師あり学習 / 強化学習 / 動的環境 / 長期記憶 / メモリベース学習

研究概要

ニューラルネットの学習において訓練サンプルが逐次的に与えられたとき,新しい訓練サンプルの追加学習によって過去に学習した知識を忘却する問題が以前から指摘されている.この問題を解決する方法として,逐次的に学習される入出力関係の中から代表的なものを長期記憶として蓄積し,追加学習時において長期記憶に蓄えられた記憶アイテムを想起・学習することで忘却を抑制する方法を提案している.これまで教師あり学習に対して学習アルゴリズムを提案してきたが,本研究では,まずこれを強化学習に拡張し,報酬が逐次的にしか与えられない状況であっても忘却を抑制し,正しい行動価値関数の学習が行なわれることを示した.この研究成果は国際会議ICONIP2002において発表した.次に,複数の定常環境が次々と移り変わっていく動的環境を想定し,この動的環境の下で過去に経験した環境の知識を想起・学習することで,環境への迅速な適応が可能になる教師あり学習モデルを提案した.この成果は国際シンポジウムHART2002で発表した.なお,環境変動の検知アルゴリズムを改良したモデルを現在提案しており,この性能評価を国際会議IJCNN2003(筆頭著者Tsumori)で発表する予定である.提案している追加学習モデルはニューラルネットを利用したものであるが,その学習アルゴリズムは最急降下法に基づいており,学習スピードが遅いという間題があった.これを改良するため,ニューラルネットの学習を線形方程式の解法に帰着して行なう方法を適用した新しい追加学習方式を提案した.この性能評価を国際会議IJCNN2003(筆頭著者Okamoto)で発表する予定である.現在,備品として購入した小型移動ロボットKheperaに本学習アルゴリズムをインプリメントし,動作を確認しているところである.

研究成果

• [文献書誌] Naoto Shiraga: "A Reinforcement Learning Algorithm for Neural Networks with Incremental Learning Ability"Proc.of Int.Conf.on Neural Information Processing 2002 (ICONIP2002). 5. 2566-2570 (2002)
• [文献書誌] Seiichi Ozawa: "A Memory-Based Learning Approach in Neural Networks Under Dynamic Environments"Proc.of the Third Int.Symposium on Human and Artificial Intelligence Systems (HART2002). 402-405 (2002)
• [文献書誌] Kenji Tsumori: "Incremental Learning in Dynamic Environments Using Neural Network with Long-term Memory"Prof.of the International Joint Conference on Neural Networks 2003 (IJCNN2003). (印刷中). (2003)
• [文献書誌] Keisuke Okamoto: "A Fast Incremental Learning Algorithm of RBF Networks with Long-Term Memory"Prof.of the International Joint Conference on Neural Networks 2003 (IJCNN2003). (印刷中). (2003)