研究概要 |
学習とは観測データを用いてその背後にあるデータの生成過程を推定することである。学習はバッチ学習とオンライン学習に大別できる。バッチ学習では与えられたいくつかの例題を繰り返し使用するのに対し,オンライン学習では一度使った例題は捨ててしまう。この場合,過去に使った例題に対して生徒が必ず正しく答えられるとは限らないが,多くの例題を蓄えておくためのメモリが不要であり,また時間的に変化する教師にも追随できるなどの利点がある。 単純パーセプトロンの学習則としてはヘブ学習,パーセプトロン学習,アダトロン学習がよく知られている。また我々は過去に,同時摂動形学習についてオンライン学習の枠組みで統計力学的手法を用いた理論解析を行い,同時摂動型学習の汎化誤差の漸近特性は例題数の-1/3乗であることを明らかにしている.今年度はパーセプトロン学習とアダトロン学習の違いを深く考察し,これを同時摂動型学習に適用することにより適応型同時摂動学習を提案し,その汎化能力を統計力学的手法を用いて解析した。その結果,提案学習則の汎化誤差がアダトロン学習と同様に例題数の-1乗に比例する漸近特性を有することを明らかにした。 また,相関を有する例題を用いるオンライン学習に関する解析を進めた。巨視的変数のダイナミクスを記述する連立微分方程式を熱力学的極限における自己平均性に基づき決定論的な形で導出し,それらを交換モンテカルロ法を用いて数値的に解くことにより汎化誤差のダイナミクスを理論的に求めた。その結果,ヘブ学習とアダトロン学習では同時に用いる例題を増やすと学習が遅くなるのに対し,パーセプトロン学習では逆にある時間領域において学習が速くなることが明らかになった。
|