神経回路網の上位学習アルゴリズムの開発とその並列分散系による実現

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15700177
• Research Institution: University of Tsukuba
• Principal Investigator: 亀山 啓輔 筑波大学, 電子・情報工学系, 講師 (40242309)
• Keywords: 神経回路網 / 学習 / モデル / 汎化能力 / パターン認識

Research Abstract

本年度は,学習系の中に定義された実体が行う局所的な動作/学習則と,それによって実現される系全体の大局的性質,特に学習の汎化能力について明らかにするために,これまで研究代表者が進めてきたモデルスイッチング学習法において,訓練集合の入力に対する中間層素子の応答と,学習の汎化能力の関係を明らかにすることを目的に研究を進めた.特に,これまで訓練集合の入力に対する中間層素子の応答の従属性が低い場合に汎化能力の向上が見られていたことに着目し,学習の評価関数に中間層素子の応答の従属性をペナルティとする項を導入することで,学習誤差と従属性のペナルティの和を小さくするように学習させる新たな学習法を提案し,学習におけるパラメータの修正法を導出した.このペナルティ項の導入は,学習の過程において本研究で着目している「局所的な相互作用」として,中間層素子の組の間に従属性を低くする「斥力」がはたらくことに相当する.この提案法と,従属性の高い素子の組を融合することによりモデルを動的に変更しながら学習を進めるモデルスイッチングを併用した神経回路網シミュレータを,本研究課題により導入した計算機上に実現し、いくつかのパターン認識問題に適用した.その結果,テストセットに対する汎化能力の向上が見られることを実験的に示すことができ,ペナルティ項の導入と素子融合の併用により中間層素子の独立性を帯く保つことによって,汎化能力が向上することできることが実験的に明らかとなった.本研究の成果は,関連国際学会に報告した.

Research Products

• [Publications] K.Kameyama, K.Taga: "Layered Neural Network training with Model Switching and Hidden Layer Feature Regularization"Proc.2003 International Joint Conference on Neural Networks. Vol.3. 2294-2299 (2003)
• [Publications] K.Taga, K.Kameyama, K.Toraichi: "Regularization of Hidden Layer Unit Response for Neural Networks"Proc.2003 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing. 348-351 (2003)
• [Publications] S.-N.Kim, M.Suzuki, K.Kameyama, K.Toraichi, T.Yamamoto: "A system for Content-Retrieval and Browsing of Kaou Monogram Images using Contour and Color Characteristics"Proc.2003 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing. 844-847 (2003)