2005 Fiscal Year Annual Research Report
理論統計学と機械学習理論の統合による新しいモデル選択規準の開発
| Project/Area Number |
05J10018
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
小林 景 統計数理研究所, 数理・推論研究系, 特別研究員(PD)
|
|---|
| Keywords | カーネルマシン / 情報量規準 / モデル選択 / ベイズ予測 |
|---|
| Research Abstract |
カーネル学習機械に用いる情報量規準を提案した論文を最終投稿し,受理された.その際に,従来対象としていたサポートベクトルマシン以外にもカーネルロジスティック回帰に対しても情報量規準の構成を行った.これにより,サポートベクトルマシンの情報量規準計算時に行う対数分布関数の近似の精度を考察した.また,従来のベイズモデルと異なるSollichによるサポートベクトルマシンのベイズモデルを用いた情報量規準も提案した.さらに,Nystrom近似法を用いてカーネル行列を近似することにより,情報量規準の計算量を大幅に減少させることに成功した.この手法を用いることにより,現在広く用いられている交差検証法と比べて,同程度の精度を持ち,計算量が少ないモデル選択が可能となった.
また以上の研究とは別に,ベイズ縮小予測理論を用いて,従来の線形回帰分析手法を優越するベイズ予測分布を構成した.具体的には,分散共分散行列が訓練サンプルと未来のサンプルの分布で異なる場合の正規分布の期待値パラメータの予測問題において,一様事前分布によるベイズ予測分布をKLダイバージェンスの意味で優越する予測分布を提案した.
また,今回提案した予測分布が,現在機械学習理論で広く用いられているリッジ回帰型の正規事前分布を用いる縮小予測と比べて,縮小中心が真の値からずれている場合においてロバスト性をもつことを,数値実験により明示した.縮小による予測分布の改良は,次元が高くなる程有効であるので,カーネルマシン等への応用も期待される.本研究の手法は高次元の特徴空間における判別本研究の研究成果は国際学会において発表された.
|
