2005 Fiscal Year Annual Research Report
多数の学習機械の協調メカニズムとその動的過程に関する研究
| Project/Area Number |
16500146
|
|---|
| Research Institution | Tokyo Metropolitan College of Technology |
|---|
Principal Investigator |
原 一之 東京都立工業高等専門学校, 電子情報工学科, 教授 (30311004)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三好 誠司 神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
|
|---|
| Keywords | 協調メカニズム / 動的過程 / アンサンブル学習 / 情報統計力学 / 単純パーセプトロン / 多数決 |
|---|
| Research Abstract |
本研究では、学習対象を関数近似とする.複雑な関数を学習する場合、学習機械の構造は、例えばパーセプトロンでは複数の線形判別機械の出力の加算であり、混合ガウスモデルでは複数のガウス関数の線形和であるように、2段構成がほとんどである.また、学習機械を構成するガウス関数や線形判別器に別々の役割を与える必要が有るが、一般に関数の隠れたパラメータが陽に与えられないため、これら単純な学習機械に別々の役割を与えるのに時間がかかり,学習が停滞するという割当問題,同じ役割を複数の学習機械が担うことによる特異値問題が有ることが知られている.これらの問題を解決する方法の1つとして、単純な学習機械を多数用い、多数決的な協調で答えを出すという方法が考えられる.これをアンサンブル学習という。用いる学習機械は構造が単純なため、一般に学習は容易であり、これらの協調によって、複雑な関数を表現出来る、という利点が有る.
本研究ではまず線形の学習機械を用いたアンサンブル学習の挙動を記述する巨視的なパラメータの動的過程を導出する.次にその知見を用いて線形アンサンブル学習の汎化誤の動過程を導出する.これらの結果を踏まえて線形の理論を非線型へと拡張し、非線型パーセプトロンの代表的な学習則であるヘブ則、パーセプトロン則、アダトロン則を用いた場合の非線型アンサンブル学習の学習の過程を解析する.また、割当問題,特異値問題の発生の有無についても検討する.
さらに、アンサンブル学習では初期の生徒の性質が異なっていることが重要であり、その影響についても検討する。
本年度は線形アンサンブル学習機械の巨視的なパラメータの動的課程を導出し,その解析解を求めた.さらに、汎化誤差を巨視的なパラメータの関数として記述し,その動的過程を解析的に求めた.その結果,生徒数が∞の極限では,アンサンブル学習の汎化誤差は1個の生徒の1/2になることが明らかになった.又,非線形アンサンブル学習機械の場合,アダトロン学習則を用いることにより生徒数が∞の極限での汎化誤差は1個の場合の汎化誤差の0.68になることが明らかになった.
|
Research Products
(3 results)
