2008 Fiscal Year Annual Research Report
時間的・空間的に特徴を持つオンライン学習の統計力学的解析
| Project/Area Number |
18500183
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
三好 誠司 Kansai University, システム理工学部, 准教授 (10270307)
|
|---|
| Keywords | 情報統計力学 / 統計的学習理論 / 統計力学 / 機械学習 / オンライン学習 / 汎化能力 / 汎化誤差 |
|---|
| Research Abstract |
学習とは観測データを用いてその背後にあるデータの生成過程を推定することである。学習はバッチ学習とオンライン学習に大別できる。バッチ学習では与えられたいくつかの例題を繰り返し使用するのに対し,オンライン学習では一度使った例題は捨ててしまう。この場合,過去に使った例題に対して生徒が必ず正しく答えられるとは限らないが,多くの例題を蓄えておくためのメモリが不要であり,また時間的に変化する教師にも追随できるなどの利点がある。
単純パーセプトロンの学習則としてはヘブ学習,パーセプトロン学習,アダトロン学習がよく知られているが,本年度我々は新たに同時摂動形学習を用いる場合について,オンライン学習の枠組みで統計力学的手法を用いた理論解析を行った。巨視的変数のダイナミクスを記述する連立微分方程式を熱力学的極限における自己平均性に基づき決定論的な形で導出し,それらを数値的に解くことにより汎化誤差のダイナミクスを理論的に求めることができた。その結果,この場合の汎化誤差は例題数の-1/3乗で減少するダイナミクスを有し,これはパーセプトロン学習と同じであることが明らかになった。
また,線形パーセプトロンである生徒モデルが複数の教師モデルをゆっくり切り替えながら学習する場合についても同様の手法を用いて解析を行った。この場合は汎化誤差のダイナミクスが解析的に得られた。教師の数の違いによるダイナミクスの違いは切り替え時間が短いほど大きいことが明らかになった。
|
