| 研究概要 |
オンライン学習の枠組みで,教師が真の教師と一定の方向余弦を保ったまま真の教師のまわりを動き続ける場合の生徒の汎化能力について統計力学的手法を用いて理論的な解析を行った.その結果,生徒が動く教師の入出力だけを例題として使用するにもかかわらず,動く教師の汎化誤差よりも生徒の汎化誤差の方が小さくなりうることが明らかになった.現実の人間社会においても,生徒が入出力を観測できる教師は必ずしも正しい解答を示すとは限らず,また,教師自身も学習しており,変わり続ける存在である場合が多いことから,この解析は統計的学習理論と現実社会のアナロジーを考える上で興味深いものである.次に,現実の人間社会においては,生徒が複数の教師の入出力を観測することができ,また,その教師たちが少しずつ違っているという場合も多いことから,このようなモデルの解析を行い,不完全な複数の教師たちの使い方について解析した.すなわち,まず真の教師というものを考え,K個の教師集団がそのまわりに存在し,生徒が各教師の入出力を順番に例題として用いる場合の汎化能力を解析した.特に,真の教師,アンサンブル教師,生徒のいずれもが雑音の重畳された線形なパーセプロトンである場合を考え,オンライン学習の枠組みで統計力学的手法を用いることにより巨視的変数や汎化誤差を解析的に求めた.その結果,生徒の学習係数ηが1より小さい場合には教師数Kが多いほど,また,教師の多様性が豊かであるほど生徒の汎化誤差が小さくなるが,ηが1より大きい場合には逆であるという非常に興味深い結果が明らかになった.また,教師の多様性が十分に豊かであるときには,η→0,K→∞の極限での教師と生徒の方向余弦が1になることが明らかになった.
|
