2007 Fiscal Year Annual Research Report
時間的・空間的に特徴を持つオンライン学習の統計力学的解析
| Project/Area Number |
18500183
|
|---|
| Research Institution | Kobe City College of Technology |
|---|
Principal Investigator |
三好 誠司 Kobe City College of Technology, 電子工学科, 教授 (10270307)
|
|---|
| Keywords | 情報統計力学 / 統計的学習理論 / 統計力学 / 機械学習 / オンライン学習 / 汎化能力 / 汎化誤差 / ブロック直交射影学習 |
|---|
| Research Abstract |
学習とは観測データを用いてその背後にあるデータの生成過程を推定するとである。学習はバッチ学習とオンライン学習に大別できる。バッチ学習では与えられたいくつかの例題を繰り返し使用するのに対し,オンライン学習では一度使った例題は捨ててしまう。この場合,過去に使った例題に対して生徒が必ず正しく答えられるとは限らないが,多くの例題を蓄えておくためのメモリが不要であり,また時間的に変化する教師にも追随できるなどの利点がある。オンライン学習の応用を考えると,同時に使う例題に相関がある場合の解析を行っておくことは非常に有意義である。そこで,オンライン学習の枠組みで,入力が相関を持つような場合の学習について統計力学的手法を用いた理論解析を行った。学習機械が線形パーセプトロンであり,それらの出力に分散が既知のガウス雑音が重畳される場合について解析した。巨視的変数のダイナミクスを記述する連立微分方程式を熱力学的極限における自己平均性に基づき決定論的な形で導出した。それらは解析的に解くことが可能であり,汎化誤差のダイナミクスを理論的に求めることができた。学習アルゴリズムとして勾配法を使った場合には同時に使う入力間の相関が大きいほど,また,同時に使う入力の数が多いほど,学習係数が満たすべき条件が厳しくなることが明らかになった。そこで,新たな学習則としてブロック直交射影学習を提案し,その理論を導出した。その結果,ノイズがない場合には同時に使う入力間の相関の影響をうけず,学習速度は同時に使う入力の数に比例することが明らかになった。一方,ノイズがある場合には同時に使う入力間の相関が大きいほど学習が遅くなり,残留汎化誤差も大きくなることが明らかになった。
|
