| 研究概要 |
学習とは観測データを用いてその背後にあるデータの生成過程を推定することである。学習はバッチ学習とオンライン学習に大別できる。バッチ学習では与えられたいくつかの例題を繰り返し使用するのに対し,オンライン学習では一度使った例題は捨ててしまう。この場合,過去に使った例題に対して生徒が必ず正しく答えられるとは限らないが,多くの例題を蓄えておくためのメモリが不要であり,また時間的に変化する教師にも追随できるなどの利点がある。
単純パーセプトロンの学習則としてはヘブ学習,パーセプトロン学習,アダトロン学習がよく知られている。また我々は過去に,同時摂動形学習についてオンライン学習の枠組みで統計力学的手法を用いた理論解析を行い,同時摂動型学習の汎化誤差の漸近特性は例題数の-1/3乗であることを明らかにしているが,今年度はこれを例題数の-1乗に改良する学習則を提案し,その予備的検討を行った。
また,相関を有する例題を用いるオンライン学習に関する予備的検討を行った。巨視的変数のダイナミクスを記述する連立微分方程式を熱力学的極限における自己平均性に基づき決定論的な形で導出し,それらを交換モンテカルロ法を用いて数値的に解くことにより汎化誤差のダイナミクスを理論的に求めた。その結果,パーセプトロン学習では同時に用いる例題を増やすと汎化誤差が減少するのに対し,ヘブ学習とアダトロン学習では下限があり,学習則により質的な違いが存在することを示唆する結果が得られた。
|
