2004 Fiscal Year Annual Research Report
| Project/Area Number |
15500151
|
|---|
| Research Institution | Kobe City College of Technology |
|---|
Principal Investigator |
三好 誠司 神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
|
|---|
| Keywords | 統計的学習理論 / オンライン学習 / アンサンブル学習 / 汎化誤差 / ヘブ学習 / パーセプトロン学習 / アダトロン学習 / 非線形パーセプトロン |
|---|
| Research Abstract |
精度の低いルールや学習機械(生徒)を多数組み合わせることにより精度の高い予測や分類を行おうとすることは一般にアンサンブル学習(集団学習)と呼ばれている.教師が変化(移動)するような場合におけるオンライン学習の特性解析の準備として,教師が不変(固定)な場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで理論的に解析した.アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒一個のモデル空間内にないような場合のアンサンブル学習の解析は非常に興味深い.そこで本年度は,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習について解析を行った,教師と生徒の類似度と生徒間の類似度という二つの巨視的変数のダイナミクスを記述する決定論的連立微分方程式を導出し,これを数値的に解いた結果を用いてメトロポリス法で汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では生徒の多様性が消滅せず,そのためにアンサンブルの効果が残ること,アダトロン学習では一種の過学習が起こることなど,学習則毎の顕著な特徴が明らかになった.さらに,教師が非単調なパーセプトロンであり生徒が単純パーセプトロンである場合のアンサンブル学習についても解析を行った.その結果,ヘブ学習では学習の初期においてアンサンブルの効果があるものの,やがて生徒の多様性がなくなりアンサンブルの効果も消滅してしまうのに対し,パーセプトロン学習では生徒の多様性は消滅せず,そのために十分時間が経過した後でもアンサンブルの効果が残ることがわかった.
|
