2004 Fiscal Year Annual Research Report

多数の学習機械の協調メカニズムとその動的過程に関する研究

Research Project

Project/Area Number	16500146
Research Institution	Tokyo Metropolitan College of Technology
Principal Investigator	原一之東京都立工業高等専門学校, 電子情報工学科, 助教授 (30311004)
Co-Investigator(Kenkyū-buntansha)	三好誠司神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
Keywords	協調メカニズム / 動的過程 / アンサンブル学習 / 情報統計力学 / 単純パーセプトロン / 多数決
Research Abstract	本研究では、学習対象を関数近似とする.複雑な関数を学習する場合、学習機械の構造は、例えばパーセプトロンでは複数の線形判別機械の出力の加算であり、混合ガウスモデルでは複数のガウス関数の線形和であるように、2段構成がほとんどである.また、学習機械を構成するガウス関数や線形判別器に別々の役割を与える必要が有るが、一般に関数の隠れたパラメータが陽に与えられないため、これら単純な学習機械に別々の役割を与えるのに時間がかかり,学習が停滞するという割当問題,同じ役割を複数の学習機械が担うことによる特異値問題が有ることが知られている.これらの問題を解決する方法の1つとして、単純な学習機械を多数用い、多数決的な協調で答えを出すという方法が考えられる.これをアンサンブル学習という。用いる学習機械は構造が単純なため、一般に学習は容易であり、これらの協調によって、複雑な関数を表現出来る、という利点が有る. 本研究ではまず線形の学習機械を用いたアンサンブル学習の挙動を記述する巨視的なパラメータの動的過程を導出する.次にその知見を用いて線形アンサンブル学習の汎化誤の動過程を導出する.これらの結果を踏まえて線形の理論を非線型へと拡張し、非線型パーセプトロンの代表的な学習則であるヘブ則、パーセプトロン則、アダトロン則を用いた場合の非線型アンサンブル学習の学習の過程を解析する.また、割当問題,特異値問題の発生の有無についても検討する. さらに、アンサンブル学習では初期の生徒の性質が異なっていることが重要であり、その影響についても検討する。