| 研究概要 |
精度の低い学習機械(生徒)を多数組み合わせることにより精度の高い分類を行おうとすることはアンサンブル学習と呼ばれている.ヘブ学習,パーセプトロン学習,アダトロン学習の三つの学習則についてK個の生徒が多数決や平均値で統合出力を決定するアンサンブル学習の汎化誤差をオンライン学習の枠組みで統計力学的手法を用いて理論的に解析した.その結果,これら三つの学習則は「生徒の多様性維持」というアンサンブル学習との相性においてそれぞれ異なった性質を有しており,アダトロン学習が最も優れているという興味深い事実が明らかになった.次に,教師がコミティマシンや非単調な出力特性を有する場合についても解析を行った.その結果,学習則毎の顕著な特徴が明らかになった.また,教師が真の教師と一定の方向余弦を保ったまま真の教師のまわりを動き続ける場合の生徒の汎化能力についても解析を行い,生徒が動く教師の入出力だけを例題として使用するにもかかわらず,動く教師の汎化誤差よりも生徒の汎化誤差の方が小さくなりうることが明らかになった.現実の人間社会においても,生徒が入出力を観測できる教師は必ずしも正しい解答を示すとは限らず,また,教師自身も学習しており,変わり続ける存在である場合が多いことから,この解析は統計的学習理論と現実社会のアナロジーを考える上で興味深いものである.さらに,現実の人間社会においては,生徒が複数の教師の入出力を観測することができ,また,その教師たちが少しずつ違っているという場合も多いことから,このようなモデルの解析を行い,不完全な複数の教師たちの使い方について解析した.その結果,生徒の学習係数ηが1より小さい場合には教師数Kが多いほど,また,教師の多様性が豊かであるほど生徒の汎化誤差が小さくなるが,ηが1より大きい場合には逆であるという非常に興味深い結果が明らかになった.
|
