研究課題
学習とは観測データを用いてその背後にあるデータの生成過程を推定することである。学習はバッチ学習とオンライン学習に大別できる。バッチ学習では与えられたいくつかの例題を繰り返し使用するのに対し、オンライン学習では一度使った例題は捨ててしまう。この場合、過去に使った例題に対して生徒が必ず正しく答えられるとは限らないが、多くの例題を蓄えておくためのメモリが不要であり、また時間的に変化する教師にも追随できるなどの利点がある。単純パーセプトロンの学習則としてはヘブ学習、パーセプトロン学習、アダトロン学習がよく知られている。一方、線形パーセプトロンの学習則としては勾配法が一般的である。我々は多数の非定常な教師から生徒がオンライン学習を行う場合について、教師と生徒がいずれも雑音が重畳する線形パーセプトロンであるようなモデルを対象に統計力学的手法を用いて解析的に調べた。その結果、教師の学習係数、生徒の学習係数、教師の数によって生じる汎化誤差の違いが定量的に明らかになった。また、多数の教師自身が学習をしている場合としていない場合について、生徒の汎化誤差に違いが生じることが明らかになった。また、この解析手法を新たに半教師付学習に適用した。ヘブ学習とパーセプトロン学習の二つの学習則を対象に解析した結果、ヘブ学習の場合には、同時に用いる入力パターンの数Kが大きいほど学習初期での汎化誤差減少は速いが、学習終盤では逆にKが小さい方が汎化誤差が小さくなることがわかった。一方、パーセプトロン学習の場合には汎化誤差は減少しないことが明らかになった。
すべて 2012 2011 その他
すべて 雑誌論文 (5件) (うち査読あり 5件) 学会発表 (27件) 備考 (1件)
Journal of the Physical Society of Japan
巻: 81 ページ: 064002(6pages)
Electronics Letters
巻: 47 ページ: 997-999
10.1049/el.2011.1691
巻: 80 ページ: 093802(4pages)
10.1143/JPSJ.80.093802
IEICE Transactions on Information and Systems
巻: E94-D ページ: 1937-1940
巻: E94-D ページ: 1941-1944
http://www2.itc.kansai-u.ac.jp/~miyoshi/cnt/gyoseki.html
