2011 Fiscal Year Annual Research Report
多様なモデルのオンライン学習に関する網羅的・系統的研究
| Project/Area Number |
21500228
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
三好 誠司 関西大学, システム理工学部, 教授 (10270307)
|
|---|
| Keywords | 情報統計力学 / 統計的学習理論 / 統計力学 / 機械学習 / オンライン学習 / 汎化能力 / 汎化誤差 |
|---|
| Research Abstract |
学習とは観測データを用いてその背後にあるデータの生成過程を推定することである。学習はバッチ学習とオンライン学習に大別できる。バッチ学習では与えられたいくつかの例題を繰り返し使用するのに対し、オンライン学習では一度使った例題は捨ててしまう。この場合、過去に使った例題に対して生徒が必ず正しく答えられるとは限らないが、多くの例題を蓄えておくためのメモリが不要であり、また時間的に変化する教師にも追随できるなどの利点がある。
単純パーセプトロンの学習則としてはヘブ学習、パーセプトロン学習、アダトロン学習がよく知られている。一方、線形パーセプトロンの学習則としては勾配法が一般的である。我々は多数の非定常な教師から生徒がオンライン学習を行う場合について、教師と生徒がいずれも雑音が重畳する線形パーセプトロンであるようなモデルを対象に統計力学的手法を用いて解析的に調べた。その結果、教師の学習係数、生徒の学習係数、教師の数によって生じる汎化誤差の違いが定量的に明らかになった。また、多数の教師自身が学習をしている場合としていない場合について、生徒の汎化誤差に違いが生じることが明らかになった。また、この解析手法を新たに半教師付学習に適用した。ヘブ学習とパーセプトロン学習の二つの学習則を対象に解析した結果、ヘブ学習の場合には、同時に用いる入力パターンの数Kが大きいほど学習初期での汎化誤差減少は速いが、学習終盤では逆にKが小さい方が汎化誤差が小さくなることがわかった。一方、パーセプトロン学習の場合には汎化誤差は減少しないことが明らかになった。
|
