2006 Fiscal Year Annual Research Report
時間的・空間的に特徴を持つオンライン学習の統計力学的解析
| Project/Area Number |
18500183
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Kobe City College of Technology |
|---|
Principal Investigator |
三好 誠司 神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
|
|---|
| Keywords | 統計的学習理論 / 統計力学 / 機械学習 / オンライン学習 / 汎化能力 / 汎化誤差 / 時間方向アンサンブル学習 |
|---|
| Research Abstract |
オンライン学習の枠組みで,生徒を時間方向に組み合わせる学習(時間方向アンサンブル学習)の汎化能力について統計力学的手法を用いた理論的解析を行った.まず,学習機械が線形パーセプトロンであり,それらの出力に分散が既知のガウス雑音が重畳される場合について解析した.巨視的変数のダイナミクスを記述する連立微分方程式を熱力学的極限における自己平均性に基づき決定論的な形で導出した.それらは解析的に解くことが可能であり,汎化誤差を理論的に計算することができた.その結果,生徒を時間方向に組み合わせることにより汎化能力を改善することができることが明らかになった.特に,通常のアンサンブル学習と比較した場合,時間方向アンサンブル学習は2倍の効果があることが明らかになった.次に,学習機械が非線形パーセプトロン(単純パーセプトロン)である場合についても同様な手法で解析した.線形パーセプトロンと異なり、非線形パーセプトロンでは、巨視的変数のダイナミクスを記述する連立微分方程式に現れるサンプル平均を計算するために複雑なガウス積分を実行しなければならないが,教師が非単調な出力特性を持ち,生徒が学習則としてパーセプトロン学習を使う場合について巨視的変数のダイナミクスを数値的に求めた.その結果,線形な場合とは異なり,生徒の汎化能力が非単調なダイナミクスを有すること,異なる時刻の生徒を組み合わせることにより汎化能力を大幅に改善できることなど興味深い事実が明らかになった.
|
