| 研究概要 |
柔軟なモデルにおけるアンサンブル学習の効果について考えた.アンサンブル学習の効果を考えるため,特にモデル選択とモデルのアンサンブル,つまりモデルの平均をとる方法の比較を行った.
1990年代半ばからモデル選択における不確実性についての議論が盛んとなっており,予測の観点では,モデル選択を行うよりもベイジアン・モデル・アベレージングなどのモデルの平均を用いる手法が有効であるとする報告が多数なされている.特に,ニューラルネットワークや混合分布といった柔軟のモデルを用いた予測を考えると,モデルの解釈が難しいため,モデル選択を行うよりも,モデルの平均をとることで良い予測を得る効果は大きい.本研究では,モデル選択とモデルの平均をとったものを比較するため,状況を非常に簡単化して漸近論を用いて理論的解析を行った.まず,真の分布がモデルに含まれる場合は,モデル選択を行うよりも,ベイズ法により適切に重みをつけたモデルの平均を用いる方が有効であるということを示した.次に,真の分布がモデルに含まれない場合においても,ベイズ法を用いたモデルの平均を用いる方がモデル選択を行うよりも有効になる条件を求めた.モデルの平均をとる場合は,重みのとり方が問題になる.上記の議論は,ベイズ法を背景としたモデルのアンサンブルを用いた方法を使ったが,ブートストラップ法を用いて重みを決めてやることもできる.ブートストラップ法を用いてモデルの平均のとる場合の重みを決めてやることもできる.ブートストラップ法を用いてモデルの平均をとる場合の重みを決める方法の有効性を数値実験によって確かめた.
また,2005年12月に東京大学で行われた2nd International Symposium on Information Geometry and its Applicationsにおいて研究成果を発表した.
|
