短期記憶と長期記憶に基づく連想記憶モデルと条件反射による推論の高速化

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13780262
• Research Institution: Hokkaido University
• Principal Investigator: 山内 康一郎 北海道大学, 大学院・工学研究科, 助教授 (00262949)
• Keywords: 神経回路 / 追加学習 / GRBF / モデル選択 / k-Nearest Neighbors / 情報圧縮 / 条件反射 / 逆モデル / 睡眠

Research Abstract

ロボットに求められるモデルベース学習法として、1)少ないリソースで多くのエピソードを記憶できること.2)学習が高速であること.3)追加学習をサポートすること.が挙げられる.昨年度から上記の条件を実現するシステムを構築して来たが、本年度はこのシステムを完成するべく、次を行った。
1.昨年度まで提案してきた,速い学習と遅い学習を組み合わせた追加学習法を煮詰め、構造を簡素化し、汎化能力を高めた上、曖昧なクラスタリングにも適用できるよう改良した。具体的には3個あったネットワークを2個に削減し、構造を劇的に簡素化し、事後確率推定を行えるように学習アルゴリズムを発展させた。これにより現在までにUCI machine learning repositoryにある少なくとも10個以上のデータセットに対してk-Nearest Neighborsと遜色無い汎化能力を示しただけでなく、必要なリソースを劇的に減らすことができることを確認している。
2.条件反射を使った推論の高速化の研究として,メタ学習を用いた最適化問題の高速解法の研究を行った.ここでは川人らが提案した随意運動のモデルをヒントにして、彼らが提案している逆モデルが、神経回路の追加学習におけるパラメータの推定問題を解いているとみなしてシステムを構築した。すなわち,新しい追加サンプルが与えられると過去の記憶を保持しつつ新しい学習サンプルに適応する荷重パラメータを条件反射的に一撃で局所最適解の近くまで移動させ,残りは小数回の勾配法の適用によって局所最適解に導くというものである.これを行うに当たって,昨年度は神経回路としてRadial Basis Function (RBF)を選び,核関数の中心位置と分散を固定するという制限を設けていた。本年度はRBFに加えていた制限を取り除き、Resource Allocating Networkを用いて適応的に細胞数を増加させるネットワークで実現し、カオス系列の学習等、学習に周期性が生じるような問題に有効であることを示した。
3.条件反射を使った推論の高速化の研究として、人間の解発見方略を心理実験で調査し、工学的応用を図った。特に変数選択を含むモデル選択課題に対して、人間の高速な解発見能力を調べた。すると、人間は事前知識を積極的に利用していること、入力と出力との短時間相関を元に変数選択を行うこと、および解候補の局所的変更と大局的変更とを交互に操り返しているらしいことをつきとめた。これをマルチエージェント環境に応用して人の集団の振舞の予測への応用の可能性を探った。

Research Products

• [Publications] K.Yamauchi, et al.: "Incremental Learning with Sleep -Learning of noiseless datasets-"in International Conference on Neural Information Processing ICONIP2002. Vol.1. 398-403 (2002)
• [Publications] 山内: "睡眠期間を導入したモデル選択付き追加学習-曖昧データへの適用-"日本神経回路学会 第12回全国大会jnns鳥取. 109-112 (2002)
• [Publications] 大平, 山内, 大森: "メタ学習による追加学習の高速化"日本神経回路学会 第12回全国大会jnns鳥取. 113-116 (2002)
• [Publications] 山内: "睡眠期間を導入したモデル選択付追加学習"電子情報通信学会技術報告. NC2001-192(3月発表). (2003)
• [Publications] 大平, 山内, 大森: "メタ学習による追加学習の高速化"電子情報通信学会技術報告. NC2002-193(3月発表). (2002)
• [Publications] 森, 山内, 石川, 大森: "モデル選択問題に対する人間の解発見方略のモデル化及びマルチエージェント環境への適用"電子情報通信学会技術報告. NC2002-178(3月発表). (2003)