2006 Fiscal Year Annual Research Report
多数の学習機械の協調メカニズムとその動的過程に関する研究
| Project/Area Number |
16500146
|
|---|
| Research Institution | Tokyo metropolitan college of industrial technology |
|---|
Principal Investigator |
原 一之 東京都立産業技術高等専門学校, ものづくり工学科, 教授 (30311004)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三好 誠司 神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
|
|---|
| Keywords | アンサンブル学習 / オンライン学習 / 相互学習 / 線形パーセプトロン / 非線型パーセプトロン / 統計力学 |
|---|
| Research Abstract |
本研究では、学習対象を関数近似とする。複雑な関数を学習する場合、学習機械の構造は、例えばパーセプトロンでは複数の線形判別機械の出力の加算であり、混合ガウスモデルでは複数のガウス関数の線形和であるように、2段構成がほとんどである。また、学習機械を構成するガウス関数や線形判別器に別々の役割を与える必要が有るが、一般に関数の隠れたパラメータが陽に与えられないため、これら単純な学習機械に別々の役割を与えるのに時間がかかり、学習が停滞するという割当問題、同じ役割を複数の学習機械が担うことによる特異値問題が有ることが知られている。これらの問題を解決する方法の1つとして、単純な学習機械を多数用い、多数決的な協調で答えを出すという方法が考えられる。これをアンサンブル学習という。用いる学習機械は構造が単純なため、一般に学習は容易であり、これらの協調によって、複雑な関数を表現出来る、という利点が有る。
本研究ではまず線形の学習機械を用いたアンサンブル学習の挙動を記述する巨視的なパラメータの動的過程を導出する。次にその知見を用いて線形アンサンブル学習の汎化誤の動過程を導出する。これらの結果を踏まえて線形の理論を非線型へと拡張し、非線型パーセプトロンの代表的な学習則であるヘブ則、パーセプトロン則、アダトロン則を用いた場合の非線型アンサンブル学習の学習過程を解析する。また、割当問題特異値問題の発生の有無についても検討する。さらに、アンサンブル学習では初期の生徒の性質が異なっていることが重要であり、その影響についても検討する。
今年度は初期学習を行った2個の生徒が、互いに相手を教師と見なして学習を行う、相互学習の動特性について、統計力学的な手法を用いて解析した。簡単のため、2個の生徒は線形パーセプトロンを用いた。2個の生徒の学習ステップサイズを同じとした場合、相互学習を行うとアンサンブル学習の1つであり、生徒の平均によりアンサンブル出力を計算する統合法であるバギングに収束することがわかった。また、学習ステップサイズを0の極限では、相互学習は一時的に最適なアンサンブル学習の統合法と同じ性能を実現することを示した。
|
Research Products
(1 results)
