| 研究概要 |
本年度は,学習系の中に定義された実体が行う局所的な動作/学習則と,それによって実現される系全体の大局的性質,特に学習の汎化能力について明らかにするために,これまで研究代表者が進めてきたモデルスイッチング学習法において,訓練集合の入力に対する中間層素子の応答と,学習の汎化能力の関係を明らかにすることを目的に研究を進めた.特に,これまで訓練集合の入力に対する中間層素子の応答の従属性が低い場合に汎化能力の向上が見られていたことに着目し,学習の評価関数に中間層素子の応答の従属性をペナルティとする項を導入することで,学習誤差と従属性のペナルティの和を小さくするように学習させる新たな学習法を提案し,学習におけるパラメータの修正法を導出した.このペナルティ項の導入は,学習の過程において本研究で着目している「局所的な相互作用」として,中間層素子の組の間に従属性を低くする「斥力」がはたらくことに相当する.この提案法と,従属性の高い素子の組を融合することによりモデルを動的に変更しながら学習を進めるモデルスイッチングを併用した神経回路網シミュレータを,本研究課題により導入した計算機上に実現し、いくつかのパターン認識問題に適用した.その結果,テストセットに対する汎化能力の向上が見られることを実験的に示すことができ,ペナルティ項の導入と素子融合の併用により中間層素子の独立性を帯く保つことによって,汎化能力が向上することできることが実験的に明らかとなった.本研究の成果は,関連国際学会に報告した.
|
