| Research Abstract |
神経回路などのモデルベース学習機械は,テーブルルックアップ手法等のように全事例記憶型の学習機械に比べて少ないパラメータ数で実現できるため,小規模な計算機でも高度な能力を実現できるという特徴を持つ.しかし,神経回路の従来の学習方法では,追加的な学習を行わせると,一部の記憶を忘却すると言う問題がある.これは少ないパラメータに多くの事例を集約させて記憶させるためであり,一つのパラメータを別の事例に合わせるように学習させると,別の過去に提示した事例の記憶を破壊するのである.これを防ぐには,神経回路に冗長なパラメータ(中間細胞)を増やせばある程度防ぐことが可能だが,これではテーブルルックアップ手法と変わり無く,神経回路を使うメリットが無くなってしまう.
これを解決するため,本年度は,昨年度から暫定的に構築を始めていた学習システムに大幅な改良を施した.新しいシステムは認識を専門に行うMain Networkと,昼間に暫定的にテーブルルックアップ手法と似た形で新規事例を高速に学習するFast-Learning-Network(F-Net),夜の間にF-Netの学習結果を少ないパラメータに圧縮し記憶するSlow-Learning-Network(S-Net)によって構成される.F-NetとS-NetはいずれもGaussian Radial Basis Function Networkと呼ばれるネットワークで構成されていて,その中間細胞の出力関数はガウス関数で表現される.
本年度のシステムではF-NetとS-Netが同時に学習しないところが昨年度とは重なる.夜間、S-Netは,Main-Networkの中間細胞の中でF-Netの出力と重なるもののみを取り出し,それを自分の中間細胞とする.次に,S-Netは自らの出力関数とF-Netの出力関数とのヒルベルト空間上でのノルムを算出する.この計算は,中間細胞の出力関数がガウス関数故に,一撃で算出可能である.そして,このノルムを極小化する項と必要な細胞を増やす項,逆に冗長な細胞を削除する制約項とを合わせたものを学習時の評価関数とする.学習後,S-Netの中間細胞はMain-Networkにコピーされ,S-Netは削除される.これによって,昨年度は実現できなかった,忘却を防ぐ追加学習を実現できるだけでなく,その中間細胞数も少なくできる.一部のベンチマーク課題では,提案システムが所定の能力を維持しつつ,必要なリソースがテーブルルックアップ手法の約半分程度に減少することを確認している.今後詳細なベンチマークテストを多数行い,問題点の洗い出しと改善を行っていく.
また,本計画の2年目の目標である少ないリソースによる連想メモリーの構築も試みた.このシステムは事例集合をガウス混合モデルで表し,ユーザがデータを検索するように、キーとなる部分パターンから,そのキーに最も尤もらしい全体のパターンを連想する.これをカラーコーディネーションシステムに実装してその効果を確認した.但し現状ではon-line学習ができない.
|
